KR102441048B1 - Apparatus and Method for Detecting Vehicle Proximity - Google Patents

Apparatus and Method for Detecting Vehicle Proximity Download PDF

Info

Publication number
KR102441048B1
KR102441048B1 KR1020160077600A KR20160077600A KR102441048B1 KR 102441048 B1 KR102441048 B1 KR 102441048B1 KR 1020160077600 A KR1020160077600 A KR 1020160077600A KR 20160077600 A KR20160077600 A KR 20160077600A KR 102441048 B1 KR102441048 B1 KR 102441048B1
Authority
KR
South Korea
Prior art keywords
vehicle
moving object
pattern
reference pattern
approach
Prior art date
Application number
KR1020160077600A
Other languages
Korean (ko)
Other versions
KR20170143389A (en
Inventor
김진권
김삼용
윤유진
류성숙
이활리
이병준
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160077600A priority Critical patent/KR102441048B1/en
Publication of KR20170143389A publication Critical patent/KR20170143389A/en
Application granted granted Critical
Publication of KR102441048B1 publication Critical patent/KR102441048B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/2665—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on rear-view mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Abstract

본 발명은 AVM(Around View Monitor)과 차량 측면에 장착된 조명용 웰컴 라이트(welcome light) 등의 구조화 광원을 이용하여, 자기차량이나 차선 대비 끼어드는 차량의 헤딩각에 대한 인식 정확도를 높임으로써, 정확하게 차량의 끼어들기를 판단할 수 있도록 하기 위한, 근접 차량 검출 장치 및 방법에 관한 것이다.The present invention uses a structured light source such as an AVM (Around View Monitor) and a welcome light for lighting mounted on the side of the vehicle, to increase the recognition accuracy of the heading angle of the vehicle or the intervening vehicle compared to the own vehicle or lane. The present invention relates to an apparatus and method for detecting a nearby vehicle for determining whether a vehicle has cut in.

Description

근접 차량 검출 장치 및 방법{Apparatus and Method for Detecting Vehicle Proximity}Apparatus and Method for Detecting Vehicle Proximity

본 발명은 근접 차량 검출 장치 및 방법에 관한 것으로서, 특히, 차량 자율주행 시스템 등에 적용을 위한 AVM(Around View Monitor)과 웰컴 라이트(welcome light) 등의 구조화 광원을 이용한 근접 차량 검출 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for detecting a proximity vehicle, and more particularly, to an apparatus and method for detecting a proximity vehicle using a structured light source such as an AVM (Around View Monitor) and a welcome light for application to a vehicle autonomous driving system will be.

차량 자율주행 및 경보 시스템에, 저속 정체구간에서 끼어드는 차량의 움직임을 예측하여 경보하는 기술을 적용하기 위하여 많은 연구가 진행중이다. 종래에 저속으로 끼어드는 차량을 검출하기 위하여, 차량에 장착된 센서 중 초음파 센서와 AVM을 이용하고 있다. A lot of research is in progress in order to apply a technology for predicting and alerting the motion of an intervening vehicle in a low-speed congested section to a vehicle autonomous driving and warning system. Conventionally, in order to detect a vehicle intervening at a low speed, an ultrasonic sensor and an AVM among sensors mounted on the vehicle are used.

그러나, 초음파 센서를 이용하는 경우 근접 물체까지의 거리를 측정하여 차량 존재 여부를 파악하는 정도가 가능하지만 정확하게 차량의 끼어들기를 판단하지 못하며, AVM을 이용하는 경우 차선 대비 차량의 위치 등을 알 수 있으나 외부 광환경에 의해 영향을 많이 받을 수 밖에 없고, 예를 들어 야간 주행 시 어두운 색 차량의 경우 식별에 어려움이 있는 문제점이 있다. However, in the case of using an ultrasonic sensor, it is possible to determine whether a vehicle exists by measuring the distance to a nearby object, but it is not possible to accurately determine whether a vehicle is intervening. It is inevitably affected by the light environment, and for example, there is a problem in that it is difficult to identify a dark-colored vehicle when driving at night.

따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, AVM(Around View Monitor)과 차량 측면에 장착된 조명용 웰컴 라이트(welcome light) 등의 구조화 광원을 이용하여, 자기차량이나 차선 대비 끼어드는 차량의 헤딩각에 대한 인식 정확도를 높임으로써, 정확하게 차량의 끼어들기를 판단할 수 있도록 하기 위한, 근접 차량 검출 장치 및 방법을 제공하는 데 있다. Accordingly, the present invention has been devised to solve the above-described problems, and an object of the present invention is to use a structured light source such as an AVM (Around View Monitor) and a welcome light for lighting mounted on the side of the vehicle. An object of the present invention is to provide an apparatus and method for detecting a proximity vehicle for accurately determining a vehicle's cut-off by increasing the recognition accuracy of the heading angle of the intervening vehicle compared to the vehicle or lane.

먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 근접 물체 검출 장치는, 차량 측방에서 이동 물체의 접근을 감지하는 물체 접근 감지부; 구조화된 기준 패턴의 빛을 상기 측방으로 조명하기 위한 구조화 광원; 상기 기준 패턴의 빛이 상기 이동 물체로 비쳐진 해당 영상을 획득하는 측방 영상 획득부; 및 상기 획득된 영상으로부터, 상기 이동 물체에 비쳐진 상기 기준 패턴의 변형 패턴을 인식하여 상기 이동 물체의 위험 접근 여부를 결정하는 결정부를 포함한다.First, to summarize the features of the present invention, a proximity object detection apparatus according to an aspect of the present invention for achieving the above object includes: an object approach detection unit for detecting the approach of a moving object from a vehicle side; a structured light source for illuminating the light of the structured reference pattern laterally; a lateral image acquisition unit for acquiring a corresponding image in which the light of the reference pattern is irradiated to the moving object; and a determination unit configured to determine whether or not to approach the moving object in danger by recognizing a deformation pattern of the reference pattern reflected on the moving object from the obtained image.

상기 이동 물체는 차량, 또는 차량 운행에 장애가 되는 다른 장애물을 포함할 수 있다.The moving object may include a vehicle or other obstacles that impede the operation of the vehicle.

상기 물체 접근 감지부는 초음파 센서를 이용하여 상기 이동 물체를 감지하거나, 차량 측면에 설치된 카메라로부터 획득된 영상을 분석하여 상기 이동 물체를 감지할 수 있다.The object approach detecting unit may detect the moving object using an ultrasonic sensor or may detect the moving object by analyzing an image obtained from a camera installed on the side of the vehicle.

상기 구조화 광원은 차량 측면의 사이드 미러 하부에 설치될 수 있다.The structured light source may be installed under the side mirror of the vehicle.

상기 결정부는, 상기 획득된 영상으로부터 차선을 더 인식하여, 상기 차선에 대하여 상기 변형 패턴이 꺽여진 각도를 상기 이동 물체의 헤딩각으로서 결정할 수 있다.The determiner may further recognize a lane from the acquired image, and determine an angle at which the deformable pattern is bent with respect to the lane as a heading angle of the moving object.

상기 결정부는, 상기 변형 패턴과 메모리에 저장된 상기 기준 패턴 간의 대응되는 위치별 화소값 차이의 합이 임계값 이상인 경우 상기 이동 물체의 위험 접근을 결정할 수 있다.The determining unit may determine the dangerous approach of the moving object when a sum of a difference in pixel values for each corresponding position between the modified pattern and the reference pattern stored in the memory is equal to or greater than a threshold value.

상기 결정부는, 상기 변형 패턴 상의 복수의 평행선 상에서 상기 기준 패턴과 대응되는 상기 변형 패턴의 위치별 화소값 차이가 소정의 값 이상으로 변하는 점들을 연결한 선과, 상기 획득된 영상으로부터 인식한 차선, 사이에 이루어지는 각도를 상기 이동 물체의 헤딩각으로서 결정할 수 있다.The determining unit may include: a line connecting points on the plurality of parallel lines on the deformable pattern in which the pixel value difference for each position of the deformed pattern corresponding to the reference pattern changes by more than a predetermined value, and a lane recognized from the acquired image. An angle formed by ? may be determined as a heading angle of the moving object.

상기 결정부는, 상기 기준 패턴과 상기 변형 패턴 간의 위치별 화소값 차이에 대하여 소정의 축 방향으로 해당 축상의 누적 합산값 분포를 산출하고, 상기 기준 패턴과 상기 변형 패턴의 회전 각도별 누적 합산값의 분포 정보를 포함하는 룩업테이블을 참조하여, 산출한 상기 누적 합산값 분포에 매칭되는 상기 룩업테이블 상의 회전 각도를 상기 이동 물체의 헤딩각으로서 결정할 수 있다.The determining unit is configured to calculate a distribution of cumulative sum values on a corresponding axis in a predetermined axial direction with respect to a pixel value difference for each position between the reference pattern and the deformed pattern, With reference to a lookup table including distribution information, a rotation angle on the lookup table matching the calculated cumulative sum value distribution may be determined as the heading angle of the moving object.

그리고, 본 발명의 다른 일면에 따른 차량에서의 근접 물체 검출 방법은, 차량의 측방에서 이동 물체의 접근을 감지하는 단계; 구조화 광원에서 조사하는 기준 패턴의 빛이 상기 이동 물체로 비쳐진 해당 영상을 획득하는 단계; 및 상기 획득된 영상으로부터, 상기 이동 물체에 비쳐진 상기 기준 패턴의 변형 패턴을 인식하여 상기 이동 물체의 위험 접근 여부를 결정하는 단계를 포함할 수 있다.And, according to another aspect of the present invention, a method for detecting a proximity object in a vehicle includes: detecting an approach of a moving object from a side of the vehicle; obtaining a corresponding image in which light of a reference pattern irradiated from a structured light source is irradiated to the moving object; And from the acquired image, recognizing a deformation pattern of the reference pattern reflected on the moving object may include the step of determining whether the dangerous approach of the moving object.

본 발명에 따른 근접 차량 검출 장치 및 방법에 따르면, 종래에 초음파 센서를 이용하여 차량 존재 여부 정도를 파악하거나, 종래에 AVM을 이용하여 차량의 위치를 파악하지만 외부 광환경에 의한 영향으로 야간에 차량 식별에 어려움이 있는 방식을 개선하여, 차량 측면에 장착된 조명용 웰컴 라이트(welcome light) 등의 구조화 광원을 이용하여, 자차나 차선 대비 끼어드는 차량의 헤딩각에 대한 인식 정확도를 높일 수 있다. 이에 따라, 차량 자율주행 시스템 등에 적용하여 정확하게 차량의 끼어들기를 판단할 수 있다. According to the apparatus and method for detecting a proximity vehicle according to the present invention, conventionally, the degree of the presence of a vehicle is determined using an ultrasonic sensor, or the location of a vehicle is determined using an AVM. By improving the method that is difficult to identify, it is possible to increase the recognition accuracy of the heading angle of the intervening vehicle compared to the own vehicle or lane by using a structured light source such as a welcome light for illumination mounted on the side of the vehicle. Accordingly, it is possible to accurately determine the interruption of a vehicle by applying it to a vehicle autonomous driving system or the like.

도 1은 본 발명의 일 실시예에 따른 근접 차량 검출 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 근접 차량 검출 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 구조화 광원이 평면 바닥에 비쳐진 기준 패턴을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 구조화 광원이 근접 차량에 비추어진 변형 패턴의 확인을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 조명의 변형 패턴과 차선 간 사이각으로 근접차량의 헤딩각을 산출하는 방식을 설명하기 위한 도면이다.
도 6은 본 발명에서 헤딩각을 산출하기 위한 측방 접근 물체의 지면과의 경계선에 대한 제1산출방식을 설명하기 위한 도면이다.
도 7a 내지 도 7d는 본 발명에서 헤딩각을 산출하기 위한 측방 접근 물체의 지면과의 경계선에 대한 제2산출방식을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 근접 차량 검출 장치의 구현 방법의 일례를 설명하기 위한 도면이다.1 is a view for explaining an apparatus for detecting a proximity vehicle according to an embodiment of the present invention.
2 is a flowchart illustrating an operation of an apparatus for detecting a proximity vehicle according to an embodiment of the present invention.
3 is a view for explaining a reference pattern in which a structured light source is projected on a flat floor according to an embodiment of the present invention.
4 is a view for explaining the confirmation of the deformation pattern when the structured light source is illuminated on a nearby vehicle according to an embodiment of the present invention.
FIG. 5 is a view for explaining a method of calculating a heading angle of an adjacent vehicle based on an angle between a light deformation pattern and a lane according to an embodiment of the present invention.
6 is a view for explaining a first calculation method for a boundary line of a lateral approach object with the ground for calculating a heading angle in the present invention.
7A to 7D are diagrams for explaining a second calculation method for a boundary line of a side approaching object with the ground for calculating a heading angle in the present invention.
8 is a view for explaining an example of a method for implementing a proximity vehicle detection apparatus according to an embodiment of the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In this case, the same components in each drawing are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of already known functions and/or configurations will be omitted. The content disclosed below will focus on parts necessary to understand the operation according to various embodiments, and descriptions of elements that may obscure the gist of the description will be omitted. Also, some components in the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not fully reflect the actual size, so the contents described herein are not limited by the relative size or spacing of the components drawn in each drawing.

도 1은 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)를 설명하기 위한 도면이다.1 is a view for explaining an apparatus 100 for detecting a proximity vehicle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)는, 제어부(110), 메모리(111), 물체 접근 감지부(120), 구조화 광원(130), 측방 영상 획득부(140), 및 결정부(150)를 포함할 수 있다. Referring to FIG. 1 , an apparatus 100 for detecting a proximity vehicle according to an embodiment of the present invention includes a controller 110 , a memory 111 , an object approach detection unit 120 , a structured light source 130 , and lateral image acquisition. It may include a unit 140 and a determination unit 150 .

본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)의 각부 구성 요소들은 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 근접 차량 검출 장치(100)는 차량 내에 장착될 수 있으며, 차량 운행 중 자기차량이나 차선 대비 끼어드는 차량의 헤딩각에 대하여 정확히 인식할 수 있다. 이와 같은 근접 차량 검출 장치(100)는 독립 모듈로서 동작하거나 차량 자율주행 시스템 등 응용 시스템에 적용되어 정확하게 차량의 끼어들기를 판단하여 경보할 수 있다. Each component of the apparatus 100 for detecting a proximity vehicle according to an embodiment of the present invention may be implemented by hardware such as a semiconductor processor, software such as an application program, or a combination thereof. The proximity vehicle detection apparatus 100 may be mounted in a vehicle, and may accurately recognize a heading angle of an intervening vehicle compared to the own vehicle or lane while the vehicle is running. The proximity vehicle detection apparatus 100 may operate as an independent module or be applied to an application system such as a vehicle autonomous driving system to accurately determine and warn of a vehicle interruption.

먼저, 영상 내의 물체에 대한 측면 검출을 위한, 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)의 구성 요소들에 대하여 간략히 설명한다. First, components of the proximity vehicle detection apparatus 100 according to an embodiment of the present invention for side detection of an object in an image will be briefly described.

제어부(110)는 근접 차량 검출 장치(100)의 각부 구성 요소들의 전반적인 제어를 담당한다. 제어부(110)는 근접 차량 검출 장치(100)의 다른 구성 요소들 중 하나 이상의 기능을 포함하도록 구현될 수 있으며, 제어부(110)의 일부 기능이 다른 유닛과 같은 별도 구성 요소 형태로 구현되는 것도 가능하다. The control unit 110 is in charge of overall control of each component of the proximity vehicle detection apparatus 100 . The control unit 110 may be implemented to include one or more functions among other components of the proximity vehicle detection apparatus 100, and some functions of the control unit 110 may be implemented in the form of separate components such as other units. do.

메모리(111)는 근접 차량 검출 장치(100)의 운영에 필요한 정보나 설정 등을 저장한다. 메모리(111)는 근접 차량 검출 장치(100)의 동작 상에서 발생하는 임시 데이터 등을 저장할 수도 있다. 또한, 하기하는 바와 같이 메모리(111)에는 구조화 광원(130) 빛의 기준 패턴에 대한 정보가 미리 저장되어 관리된다.The memory 111 stores information or settings necessary for the operation of the proximity vehicle detection apparatus 100 . The memory 111 may store temporary data generated during the operation of the proximity vehicle detecting apparatus 100 . Also, as described below, information on a reference pattern of light from the structured light source 130 is stored and managed in advance in the memory 111 .

물체 접근 감지부(120)는 차량 측방에서(좌측 또는 우측) 이동 물체의 접근을 감지한다. 여기서, 이동 물체는 자차와 동일 차선으로 끼어들기 하는 차량인 것으로 예를 들어 설명하지만, 이에 한정되는 것은 아니며, 본 발명에서 이동 물체는 차량 이외에도 자기 차량의 운행에 장애가 되는 다른 장애물(예, 짐승, 전방 차량에서 떨어진 물건 등 접근하는 모든 물체 또는 수직 입체물)일 수 있다.The object approach detection unit 120 detects the approach of the moving object from the vehicle side (left or right). Here, the moving object is described as a vehicle that intervenes in the same lane as the own vehicle, but is not limited thereto, and in the present invention, the moving object includes other obstacles (e.g., animals, Any object approaching, such as an object away from the vehicle in front, or a vertical solid object).

물체 접근 감지부(120)는 초음파 센서를 이용하여 이동 물체를 감지하거나, 차량 측면에 설치된 카메라로부터 획득된 영상을 분석하여 이동 물체를 감지할 수 있다. 예를 들어, 초음파 센서를 이용하는 경우, 입사파에 대한 반사파의 도달 시간을 측정하여 그 존재나 위치를 파악할 수 있다. 또한, AVM(Around View Monitor)용의 카메라 등 차량 좌측이나 우측에 설치된 카메라로부터 획득된 영상에 대한 특징점 추출 등의 방식으로 영상을 분석하여 이동 물체를 감지할 수 있다.The object approach detection unit 120 may detect a moving object using an ultrasonic sensor or may detect a moving object by analyzing an image obtained from a camera installed on the side of the vehicle. For example, in the case of using an ultrasonic sensor, the presence or location of a reflected wave with respect to an incident wave may be measured to determine its presence or location. In addition, it is possible to detect a moving object by analyzing an image by extracting feature points from an image acquired from a camera installed on the left or right side of the vehicle, such as a camera for an AVM (Around View Monitor).

구조화 광원(130)은 구조화된 기준 패턴의 빛을 측방으로(차량 등 이동물체 쪽) 조명하기 위한 광원으로서, 차량 측면의 사이드 미러 하부 등 차량 측면의 적절한 위치에 설치될 수 있다. 예를 들어, 구조화 광원(130)은 웰컴 라이트(welcome light)와 같이 사이드 미러 하부에 적절히 설치될 수 있으며, 측방의 차량 등 이동물체쪽으로 조명하도록 적절한 방향 설정되어 설치될 수 있다. 이때, 구조화 광원(130)은 도 3과 같이, 측방으로 체크 패턴(또는 체스판)과 같이 구조화된 기준 패턴(10)의 빛을 방출할 수 있다. The structured light source 130 is a light source for illuminating the light of the structured reference pattern laterally (toward a moving object such as a vehicle), and may be installed at an appropriate position on the side of the vehicle, such as under the side mirror of the vehicle. For example, the structured light source 130 may be appropriately installed under the side mirror like a welcome light, and may be installed in an appropriate direction to illuminate a moving object such as a vehicle on the side. In this case, the structured light source 130 may emit light of the reference pattern 10 structured like a check pattern (or chessboard) laterally, as shown in FIG. 3 .

메모리(111)에는 구조화 광원(130) 빛의 기준 패턴에 대한 정보가 미리 저장되어 관리된다. 예를 들어, 도 3과 같이, 구조화 광원(130)이 평면 바닥에 조명된 후 AVM 용의 카메라 등 차량 좌측/우측에 설치된 카메라로부터 획득된 기준 패턴에 대한 영상에 대하여, 각 픽셀 위치의 화소값(또는 휘도값)을 미리 확보하여, 획득된 값들을 메모리(111)에 기준 패턴에 대한 정보로서 저장할 수 있다. In the memory 111 , information on a reference pattern of light from the structured light source 130 is stored and managed in advance. For example, as shown in FIG. 3 , after the structured light source 130 is illuminated on a flat floor, with respect to an image for a reference pattern obtained from a camera installed on the left/right side of the vehicle, such as an AVM camera, the pixel value of each pixel position (or a luminance value) may be secured in advance, and the obtained values may be stored in the memory 111 as information about the reference pattern.

측방 영상 획득부(140)는 구조화 광원(130)에서 조명되는 기준 패턴의 빛이 측방의 이동 물체로 비쳐진 해당 영상을 획득한다. 이때, AVM 용의 카메라 등 차량 좌측/우측에 설치된 카메라를 이용할 수 있다. The lateral image acquisition unit 140 acquires a corresponding image in which the light of the reference pattern illuminated from the structured light source 130 is illuminated by the lateral moving object. In this case, a camera installed on the left/right side of the vehicle, such as an AVM camera, may be used.

결정부(150)는 측방 영상 획득부(140)에서 획득된 영상으로부터, 이동 물체에 비쳐진 기준 패턴의 변형 패턴(도 4의 20 참조)을 인식하여 이동 물체의 위험 접근 여부를 결정한다. 결정부(150)는 측방 영상 획득부(140)에서 획득된 영상을 분석하여, 획득된 영상 중 측방에서 다가오는 차량 등 주변 영상을 제외하고 기준 패턴의 빛이 이동 물체로 비쳐진 영상, 예를 들어, 도 4와 같이, 기준 패턴의 변형 패턴(도 4의 20 참조)을 인식할 수 있다. 결정부(150)는 기준 패턴의 변형 패턴(도 4의 20 참조)에 기초하여 이동 물체의 헤딩각을 산출함으로써 이동 물체의 위험 접근 여부(예, 충돌 가능성 여부)를 결정한다.The determination unit 150 determines whether the moving object is approaching dangerously by recognizing a deformation pattern (refer to 20 of FIG. 4 ) of the reference pattern reflected on the moving object from the image obtained by the lateral image obtaining unit 140 . The determination unit 150 analyzes the image acquired by the side image acquisition unit 140, and from the acquired images, except for surrounding images such as vehicles approaching from the side, the image in which the light of the reference pattern is reflected as a moving object, for example, As shown in FIG. 4 , a modified pattern (refer to 20 of FIG. 4 ) of the reference pattern may be recognized. The determination unit 150 determines whether the moving object approaches a danger (eg, whether a collision is possible) by calculating the heading angle of the moving object based on the deformation pattern of the reference pattern (see 20 of FIG. 4 ).

예를 들어, 결정부(150)는 측방 영상 획득부(140)에서 획득된 영상으로부터 차선을 인식하여, 해당 차선에 대하여 상기 변형 패턴이 꺽여진 각도를 이동 물체의 헤딩각으로서 결정할 수 있다. 또한, 결정부(150)는 상기 변형 패턴과 메모리(111)에 저장된 기준 패턴 (정보) 간의 대응되는 위치별 화소값 차이의 합이 임계값 이상인 경우 이동 물체의 위험 접근으로 결정할 수 있다.For example, the determiner 150 may recognize a lane from the image acquired by the lateral image acquisition unit 140 , and determine an angle at which the deformable pattern is bent with respect to the corresponding lane as the heading angle of the moving object. In addition, the determination unit 150 may determine the dangerous approach of the moving object when the sum of the pixel value difference for each corresponding position between the modified pattern and the reference pattern (information) stored in the memory 111 is equal to or greater than a threshold value.

이하 도 2의 흐름도를 참조하여 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)의 동작을 좀더 자세히 설명한다. Hereinafter, an operation of the proximity vehicle detecting apparatus 100 according to an embodiment of the present invention will be described in more detail with reference to the flowchart of FIG. 2 .

도 2는 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)의 동작을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an operation of the apparatus 100 for detecting a proximity vehicle according to an embodiment of the present invention.

도 2를 참조하면, 먼저, 차량 운행 중 물체 접근 감지부(120)는 차량 측방에서(좌측 또는 우측) 차량 등 이동 물체(차량, 짐승, 전방 차량에서 떨어진 물건 등 자기 차량의 운행에 장애가 되는 모든 물체 또는 장애물)의 접근을 감지한다(S110). 물체 접근 감지부(120)는 초음파 센서를 이용하여 차량 등 이동 물체를 감지하거나, 차량 측면에 설치된 카메라로부터 획득된 영상을 분석하여 이동 물체를 감지할 수 있다. 예를 들어, 초음파 센서를 이용하는 경우, 입사파에 대한 반사파의 도달 시간을 측정하여 그 존재나 위치를 파악할 수 있다. 또한, AVM(Around View Monitor)용의 카메라 등 차량 좌측이나 우측에 설치된 카메라로부터 획득된 영상에 대한 특징점 추출 등의 방식으로 영상을 분석하여 이동 물체를 감지할 수 있다.Referring to FIG. 2 , first, while the vehicle is driving, the object approach detection unit 120 detects all moving objects (vehicles, animals, objects falling from the front vehicle, etc.) The approach of an object or obstacle) is detected (S110). The object approach detection unit 120 may detect a moving object, such as a vehicle, using an ultrasonic sensor, or may detect a moving object by analyzing an image obtained from a camera installed on the side of the vehicle. For example, in the case of using an ultrasonic sensor, the presence or location of a reflected wave with respect to an incident wave may be measured to determine its presence or location. In addition, it is possible to detect a moving object by analyzing an image by extracting feature points from an image acquired from a camera installed on the left or right side of the vehicle, such as a camera for an AVM (Around View Monitor).

이와 같이 차량 운행 중 물체 접근 감지부(120)가 차량 등 이동 물체의 접근을 감지하면, 제어부(110)는 구조화 광원(130)을 턴온시킨다(S120). 웰컴 라이트(welcome light)와 같이 차량 측면에 적절히 설치된 구조화 광원(130)은, 도 5와 같이, 체크 패턴(또는 체스판 패턴)과 같이 구조화된 기준 패턴의 빛을 측방으로(차량 등 이동물체 쪽) 조명한다. As such, when the object approach detecting unit 120 detects the approach of a moving object such as a vehicle while driving the vehicle, the control unit 110 turns on the structured light source 130 ( S120 ). The structured light source 130 appropriately installed on the side of the vehicle, such as a welcome light, emits light of a structured reference pattern such as a check pattern (or chessboard pattern) laterally (toward a moving object such as a vehicle), as shown in FIG. ) to illuminate.

메모리(111)에는 이와 같은 구조화 광원(130) 빛의 기준 패턴에 대한 정보가 미리 저장되어 관리된다. 예를 들어, 도 3과 같이, 구조화 광원(130)이 평면 바닥에 조명된 후 AVM 용의 카메라 등 차량 좌측/우측에 설치된 카메라로부터 획득된 기준 패턴에 대한 영상에 대하여, 각 픽셀 위치의 화소값(또는 휘도값)을 미리 확보하여, 획득된 값들을 메모리(111)에 기준 패턴에 대한 정보로서 저장할 수 있다.The memory 111 stores and manages information on the reference pattern of the light from the structured light source 130 in advance. For example, as shown in FIG. 3 , after the structured light source 130 is illuminated on a flat floor, with respect to an image for a reference pattern obtained from a camera installed on the left/right side of the vehicle, such as an AVM camera, the pixel value of each pixel position (or a luminance value) may be secured in advance, and the obtained values may be stored in the memory 111 as information about the reference pattern.

이와 같이, 구조화 광원(130)은, 도 5와 같이, 체크 패턴(또는 체스판 패턴)과 같이 구조화된 기준 패턴의 빛을 측방으로(차량 등 이동물체 쪽) 조명한 후에, 측방 영상 획득부(140)는 구조화 광원(130)에서 조명되는 기준 패턴의 빛이 측방의 차량 등 이동 물체로 비쳐진 해당 영상을 획득한다(S130). 이때, AVM 용의 카메라 등 차량 좌측/우측에 설치된 카메라를 이용할 수 있다. In this way, the structured light source 130 illuminates the light of the reference pattern structured like a check pattern (or chessboard pattern) laterally (toward a moving object such as a vehicle), as shown in FIG. 5, and then the lateral image acquisition unit ( 140) acquires a corresponding image in which the light of the reference pattern illuminated by the structured light source 130 is illuminated by a moving object such as a vehicle on the side (S130). In this case, a camera installed on the left/right side of the vehicle, such as an AVM camera, may be used.

측방 영상 획득부(140)가 AVM 용 카메라 등을 이용하여, 구조화 광원(130)의 기준 패턴이 차량 등 이동 물체로 비쳐진 영상을 획득하면, 결정부(150)는 측방 영상 획득부(140)에서 획득된 영상으로부터, 이동 물체에 비쳐진 기준 패턴의 변형 패턴(도 4의 20 참조)을 인식하여 이동 물체의 위험 접근 여부를 결정할 수 있다. 결정부(150)는 측방 영상 획득부(140)에서 획득된 영상을 분석하여, 획득된 영상 중 측방에서 다가오는 차량 등 주변 영상을 제외하고 기준 패턴의 빛이 이동 물체로 비쳐진 영상, 예를 들어, 도 4와 같이, 기준 패턴의 변형 패턴(도 4의 20 참조)을 인식할 수 있다(S140). 결정부(150)는 기준 패턴의 변형 패턴(도 4의 20 참조)에 기초하여 이동 물체의 헤딩각을 산출함으로써 이동 물체의 위험 접근 여부(예, 충돌 가능성 여부)를 결정할 수 있다.When the lateral image acquisition unit 140 acquires an image in which the reference pattern of the structured light source 130 is reflected by a moving object, such as a vehicle, using an AVM camera, etc., the determination unit 150 is From the acquired image, it is possible to determine whether the moving object approaches dangerously by recognizing a deformation pattern (refer to 20 of FIG. 4 ) of the reference pattern reflected on the moving object. The determination unit 150 analyzes the image acquired by the side image acquisition unit 140, and from the acquired images, except for surrounding images such as vehicles approaching from the side, the image in which the light of the reference pattern is reflected as a moving object, for example, As shown in FIG. 4 , a modified pattern (refer to 20 of FIG. 4 ) of the reference pattern may be recognized ( S140 ). The determination unit 150 may determine whether the moving object approaches a danger (eg, whether a collision is possible) by calculating a heading angle of the moving object based on the deformation pattern of the reference pattern (see 20 of FIG. 4 ).

예를 들어, 결정부(150)는 측방 영상 획득부(140)에서 획득된 영상 내에 포함된 차선(자차 주행 레인의 양차선 중 접근 차량쪽의 한 차선)을 인식하여, 해당 차선에 대하여 상기 변형 패턴(20)이 꺽여진 각도를 이동 물체의 헤딩각으로서 결정할 수 있다(S150). 또한, 결정부(150)는 상기 변형 패턴(20)과 메모리(111)에 저장된 기준 패턴 (정보) 간의 대응되는 위치별 화소값 차이의 합이 임계값 이상인 경우 이동 물체의 위험 접근으로 결정할 수도 있다.For example, the determination unit 150 recognizes a lane (one lane on the approaching vehicle side among both lanes of the own vehicle driving lane) included in the image acquired by the side image acquisition unit 140 , and transforms the lane with respect to the corresponding lane. The angle at which the pattern 20 is bent may be determined as the heading angle of the moving object (S150). In addition, the determination unit 150 may determine the dangerous approach of the moving object when the sum of the pixel value difference for each corresponding position between the modified pattern 20 and the reference pattern (information) stored in the memory 111 is equal to or greater than a threshold value. .

결정부(150)가 헤딩각을 결정하는 방식에 대하여 도 6과 도 7을 참조하여 좀 더 자세히 설명한다. A method in which the determination unit 150 determines the heading angle will be described in more detail with reference to FIGS. 6 and 7 .

도 6은 본 발명에서 헤딩각을 산출하기 위한 측방 접근 물체의 지면과의 경계선에 대한 제1산출방식을 설명하기 위한 도면이다.6 is a view for explaining a first calculation method for a boundary line of a lateral approach object with the ground for calculating a heading angle in the present invention.

도 6과 같이, 결정부(150)는, 변형 패턴(20) 상의 복수의 평행선(A0, A1, A2) 상에서 메모리(111)의 기준 패턴(10)의 화소값과 그에 대응되는 변형 패턴(20)의 위치별 화소값 차이가 소정의 값 이상으로 변하는 점들(a0, a1, a2)을 연결한 선(AB)과, 위와 같이 획득된 영상으로부터 인식한 차선(도 5 참조), 사이에 이루어지는 각도를 차량 등 이동 물체의 헤딩각으로서 결정할 수 있다. As shown in FIG. 6 , the determination unit 150 includes the pixel values of the reference pattern 10 of the memory 111 on the plurality of parallel lines A0 , A1 , and A2 on the modified pattern 20 and the corresponding modified pattern 20 . ), the angle formed between the line AB connecting the points a0, a1, a2 where the pixel value difference for each location changes by more than a predetermined value and the lane recognized from the image obtained as above (refer to FIG. 5) may be determined as the heading angle of a moving object such as a vehicle.

도 7a 내지 도 7d는 본 발명에서 헤딩각을 산출하기 위한 측방 접근 물체의 지면과의 경계선에 대한 제2산출방식을 설명하기 위한 도면이다.7A to 7D are diagrams for explaining a second calculation method for a boundary line of a side approaching object with the ground for calculating a heading angle in the present invention.

도 7a 내지 도 7d와 같이, 결정부(150)는, 기준 패턴(10)과 변형 패턴(20) 간의 위치별 화소값 차이에 대하여 소정의 축(예, x축, 임의의 축) 방향으로 해당 축상의 누적 합산값 분포를 산출하고, 기준 패턴(10)과 변형 패턴(20)의 회전 각도별 누적 합산값의 분포 정보가 저장된 룩업테이블(LUT, Look-up Table)(메모리(111) 등에 저장)을 참조하여, 산출한 상기 누적 합산값 분포에 매칭되는 상기 룩업테이블 상의 회전 각도를 차량 등 이동 물체의 헤딩각으로서 결정할 수 있다. 7A to 7D , the determination unit 150 corresponds to a pixel value difference for each position between the reference pattern 10 and the modified pattern 20 in a predetermined axis (eg, x-axis, arbitrary axis) direction. Calculating the distribution of the cumulative sum on the axis, and storing the distribution information of the cumulative sum of values for each rotation angle of the reference pattern 10 and the deformation pattern 20 is stored in a look-up table (LUT, Look-up Table) (memory 111, etc.) ), a rotation angle on the lookup table matching the calculated cumulative sum value distribution may be determined as a heading angle of a moving object such as a vehicle.

도 7a는, 회전각 0도에서 평면바닥에 사영된 기준 패턴(10)과 변형 패턴(20)의 위치관계와, 기준 패턴(10)과 변형 패턴(20) 간의 위치별 화소값 차이를 x축 방향으로 사영(projection)하여 누적 합산할 때의 해당 누적 합산값의 분포에 대한 그래프를 나타낸다. 마찬가지로, 도 7b 내지 도 7d는 회전각 15도, 30도, 90도에 대한 기준 패턴(10)과 변형 패턴(20)의 위치관계와 해당 위치별 화소값 차이의 축 방향 누적 합산값의 분포를 나타낸다. 이와 같은 기준 패턴(10)과 변형 패턴(20)의 회전 각도별 누적 합산값의 분포 정보가 미리 메모리(111) 등의 룩업테이블에 저장되어 관리될 수 있다.7A shows the positional relationship between the reference pattern 10 and the deformed pattern 20 projected on the flat floor at a rotation angle of 0 degrees, and the difference in pixel values for each position between the reference pattern 10 and the deformed pattern 20 on the x-axis. A graph of the distribution of the corresponding cumulative summation value when the cumulative summation is performed by projection in the direction is shown. Similarly, FIGS. 7B to 7D show the positional relationship between the reference pattern 10 and the deformation pattern 20 for rotation angles of 15 degrees, 30 degrees, and 90 degrees, and the distribution of the axial cumulative summation value of the pixel value difference for each location. indicates. Distribution information of the cumulative sum values for each rotation angle of the reference pattern 10 and the deformation pattern 20 may be stored and managed in advance in a lookup table such as the memory 111 .

이와 같은 룩업테이블을 참조하여, 결정부(150)는, 기준 패턴(10)과 변형 패턴(20) 간의 위치별 화소값 차이에 대한 해당 축상의 누적 합산값 분포에 대하여, 그와 매칭되는 상기 룩업테이블 상의 회전 각도를 차량 등 이동 물체의 헤딩각으로서 결정할 수 있다. With reference to such a lookup table, the determiner 150 , with respect to the distribution of the cumulative sum values on the corresponding axis for the pixel value difference for each position between the reference pattern 10 and the modified pattern 20 , the lookup matched thereto The angle of rotation on the table may be determined as the heading angle of a moving object such as a vehicle.

이와 같이 결정부(150)가 헤딩각을 결정함으로써 자기차량이나 차선 대비 끼어드는 차량의 헤딩각에 대한 정확한 값을 제공할 수 있다. 예를 들어, 차량 자율주행 시스템 등에 적용하는 경우, 결정부(150)는 위와 같은 헤딩각에 대한 정확한 값의 제공과 함께, 헤딩각의 정도와 주위 차량 간의 거리, 속도 등을 종합적으로 판단하여 차량의 끼어들기가 예상된다는 결정과 그에 따른 경보 등을 제공할 수 있다. 차량의 끼어들기가 예상된다는 경보는 차량의 스피커, 디스플레이 장치 등을 통하여 소리 또는 화면으로 표시될 수 있다. As such, when the determination unit 150 determines the heading angle, it is possible to provide an accurate value for the heading angle of the intervening vehicle compared to the own vehicle or the lane. For example, when applied to a vehicle autonomous driving system, etc., the determination unit 150 provides an accurate value for the heading angle as described above, and comprehensively determines the degree of the heading angle, the distance between the surrounding vehicles, the speed, etc. It can provide a determination that interruptions are expected and alerts accordingly. An alert that the vehicle is expected to intervene may be displayed as a sound or a screen through a speaker of the vehicle, a display device, or the like.

도 8은 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 근접 차량 검출 장치(100)는 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 근접 차량 검출 장치(100)는 도 8과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다. 8 is a view for explaining an example of an implementation method of the apparatus 100 for detecting a proximity vehicle according to an embodiment of the present invention. The proximity vehicle detection apparatus 100 according to an embodiment of the present invention may be formed of hardware, software, or a combination thereof. For example, the proximity vehicle detection apparatus 100 may be implemented as a computing system 1000 as shown in FIG. 8 .

컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다. The computing system 1000 includes at least one processor 1100 , a memory 1300 , a user interface input device 1400 , a user interface output device 1500 , a storage 1600 connected through a bus 1200 , and a network. An interface 1700 may be included. The processor 1100 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 1300 and/or the storage 1600 . The memory 1300 and the storage 1600 may include various types of volatile or nonvolatile storage media. For example, the memory 1300 may include a read only memory (ROM) 1310 and a random access memory (RAM) 1320 .

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.Accordingly, the steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware, a software module executed by the processor 1100 , or a combination of the two. A software module resides in a storage medium (ie, memory 1300 and/or storage 1600 ) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM. You may. An exemplary storage medium is coupled to the processor 1100 , the processor 1100 capable of reading information from, and writing information to, the storage medium. Alternatively, the storage medium may be integrated with the processor 1100 . The processor and storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.

상술한 바와 같이, 본 발명에 따른 근접 차량 검출 장치(100)에서는, 종래에 초음파 센서를 이용하여 차량 존재 여부 정도를 파악하거나, 종래에 AVM을 이용하여 차량의 위치를 파악하지만 외부 광환경에 의한 영향으로 야간에 차량 식별에 어려움이 있는 방식을 개선하여, 차량 측면에 장착된 조명용 웰컴 라이트(welcome light) 등의 구조화 광원을 이용하여, 자기차량이나 차선 대비 끼어드는 차량의 헤딩각에 대한 인식 정확도를 높일 수 있다. 이에 따라, 차량 자율주행 시스템 등에 적용하여 정확하게 차량의 끼어들기를 판단할 수 있다. As described above, in the proximity vehicle detection apparatus 100 according to the present invention, the degree of vehicle presence is conventionally determined using an ultrasonic sensor, or the vehicle location is conventionally determined using an AVM, but By improving the method that makes it difficult to identify a vehicle at night due to the influence, using a structured light source such as a welcome light for illumination mounted on the side of the vehicle, the recognition accuracy of the heading angle of the vehicle or the intervening vehicle compared to the lane can increase Accordingly, it is possible to accurately determine the interruption of a vehicle by applying it to a vehicle autonomous driving system or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all technical ideas with equivalent or equivalent modifications to the claims as well as the claims to be described later are included in the scope of the present invention. should be interpreted as

제어부(110)
메모리(111)
물체 접근 감지부(120)
구조화 광원(130)
측방 영상 획득부(140)
결정부(150)control unit 110
memory(111)
Object approach detection unit 120
structured light source 130
Lateral image acquisition unit 140
decision unit 150

Claims (9)

차량의 측방에서 이동 물체의 접근을 감지하는 물체 접근 감지부;
구조화된 기준 패턴의 빛을 상기 차량의 측방으로 조명하기 위한 구조화 광원;
상기 기준 패턴의 빛이 상기 이동 물체로 비쳐진 해당 영상을 획득하는 측방 영상 획득부; 및
상기 획득된 영상으로부터, 상기 이동 물체에 비쳐진 상기 기준 패턴의 변형 패턴을 인식하고, 상기 기준 패턴과 상기 변형 패턴 간의 위치별 화소값 차이에 대하여 소정의 축 방향으로 해당 축상의 누적 합산값 분포를 산출하여 상기 이동 물체의 위험 접근 여부를 결정하는 결정부
를 포함하는 것을 특징으로 하는 근접 물체 검출 장치.an object approach detection unit for detecting an approach of a moving object from a side of the vehicle;
a structured light source for illuminating the structured reference pattern of light to the side of the vehicle;
a lateral image acquisition unit for acquiring a corresponding image in which the light of the reference pattern is irradiated to the moving object; and
From the acquired image, the deformation pattern of the reference pattern reflected on the moving object is recognized, and the cumulative sum value distribution on the corresponding axis is calculated for the pixel value difference for each position between the reference pattern and the deformation pattern in a predetermined axial direction. a decision unit to determine whether the moving object is approaching dangerous
Proximity object detection apparatus comprising a. 제1항에 있어서,
상기 이동 물체는 차량, 또는 차량 운행에 장애가 되는 다른 장애물을 포함하는 것을 특징으로 하는 근접 물체 검출 장치.The method of claim 1,
Wherein the moving object includes a vehicle or other obstacles that impede the operation of the vehicle. 제1항에 있어서,
상기 물체 접근 감지부는 초음파 센서를 이용하여 상기 이동 물체를 감지하거나, 상기 차량의 측면에 설치된 카메라로부터 획득된 영상을 분석하여 상기 이동 물체를 감지하는 것을 특징으로 하는 근접 물체 검출 장치.The method of claim 1,
The proximity object detection apparatus according to claim 1, wherein the object approach detecting unit detects the moving object using an ultrasonic sensor or detects the moving object by analyzing an image obtained from a camera installed on the side of the vehicle. 제1항에 있어서,
상기 구조화 광원은 상기 차량의 측면의 사이드 미러 하부에 설치된 것을 특징으로 하는 근접 물체 검출 장치.According to claim 1,
The structured light source is a proximity object detection device, characterized in that installed under the side mirror of the side of the vehicle. 제1항에 있어서,
상기 결정부는, 상기 획득된 영상으로부터 차선을 더 인식하여, 상기 차선에 대하여 상기 변형 패턴이 꺽여진 각도를 상기 이동 물체의 헤딩각으로서 결정하는 것을 특징으로 하는 근접 물체 검출 장치.The method of claim 1,
The determining unit further recognizes a lane from the acquired image, and determines an angle at which the deformable pattern is bent with respect to the lane as a heading angle of the moving object. 제1항에 있어서,
상기 결정부는, 상기 변형 패턴과 메모리에 저장된 상기 기준 패턴 간의 대응되는 위치별 화소값 차이의 합이 임계값 이상인 경우 상기 이동 물체의 위험 접근을 결정하는 것을 특징으로 하는 근접 물체 검출 장치.The method of claim 1,
The determining unit is configured to determine the dangerous approach of the moving object when the sum of the pixel value difference for each corresponding position between the modified pattern and the reference pattern stored in the memory is equal to or greater than a threshold value. 제1항에 있어서,
상기 결정부는,
상기 변형 패턴 상의 복수의 평행선 상에서 상기 기준 패턴과 대응되는 상기 변형 패턴의 위치별 화소값 차이가 소정의 값 이상으로 변하는 점들을 연결한 선과, 상기 획득된 영상으로부터 인식한 차선, 사이에 이루어지는 각도를 상기 이동 물체의 헤딩각으로서 결정하는 것을 특징으로 하는 근접 물체 검출 장치.According to claim 1,
The determining unit is
On the plurality of parallel lines on the deformation pattern, an angle formed between a line connecting points where the pixel value difference for each position of the deformation pattern corresponding to the reference pattern changes by a predetermined value or more and a lane recognized from the acquired image on the plurality of parallel lines A proximity object detection device, characterized in that it is determined as a heading angle of the moving object. 제1항에 있어서,
상기 결정부는,
상기 기준 패턴과 상기 변형 패턴의 회전 각도별 누적 합산값의 분포 정보를 포함하는 룩업테이블을 참조하여, 산출한 상기 누적 합산값 분포에 매칭되는 상기 룩업테이블 상의 회전 각도를 상기 이동 물체의 헤딩각으로서 결정하는 것을 특징으로 하는 근접 물체 검출 장치.According to claim 1,
The determining unit is
With reference to a lookup table including distribution information of the cumulative sum values for each rotation angle of the reference pattern and the deformation pattern, the rotation angle on the lookup table matching the calculated cumulative sum value distribution is set as the heading angle of the moving object. Proximity object detection device, characterized in that determining. 차량의 측방에서 이동 물체의 접근을 감지하는 단계;
구조화 광원에서 조사하는 기준 패턴의 빛이 상기 이동 물체로 비쳐진 해당 영상을 획득하는 단계; 및
상기 획득된 영상으로부터, 상기 이동 물체에 비쳐진 상기 기준 패턴의 변형 패턴을 인식하고, 상기 기준 패턴과 상기 변형 패턴 간의 위치별 화소값 차이에 대하여 소정의 축 방향으로 해당 축상의 누적 합산값 분포를 산출하여 상기 이동 물체의 위험 접근 여부를 결정하는 단계
를 포함하는 것을 특징으로 하는 차량에서의 근접 물체 검출 방법.detecting an approach of a moving object from a side of the vehicle;
obtaining a corresponding image in which light of a reference pattern irradiated from a structured light source is irradiated to the moving object; and
From the acquired image, the deformation pattern of the reference pattern reflected on the moving object is recognized, and the cumulative sum value distribution on the corresponding axis is calculated for the pixel value difference for each position between the reference pattern and the deformation pattern in a predetermined axial direction. to determine whether the moving object is approaching dangerous
A method for detecting a nearby object in a vehicle, comprising:
KR1020160077600A 2016-06-21 2016-06-21 Apparatus and Method for Detecting Vehicle Proximity KR102441048B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160077600A KR102441048B1 (en) 2016-06-21 2016-06-21 Apparatus and Method for Detecting Vehicle Proximity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160077600A KR102441048B1 (en) 2016-06-21 2016-06-21 Apparatus and Method for Detecting Vehicle Proximity

Publications (2)

Publication Number Publication Date
KR20170143389A KR20170143389A (en) 2017-12-29
KR102441048B1 true KR102441048B1 (en) 2022-09-06

Family

ID=60939155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160077600A KR102441048B1 (en) 2016-06-21 2016-06-21 Apparatus and Method for Detecting Vehicle Proximity

Country Status (1)

Country Link
KR (1) KR102441048B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114261332A (en) * 2021-12-17 2022-04-01 一汽奔腾轿车有限公司 Vehicular greeting system based on micro-lens array and control method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205360A (en) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd Vehicle obstacle detection device and vehicle obstacle detection method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101782496B1 (en) * 2013-08-21 2017-09-27 주식회사 만도 Back-sideways alarming system of vehicle and alarming control method of the same
KR101692809B1 (en) * 2014-12-02 2017-01-05 주식회사 유라코퍼레이션 Camera apparatus for vehicle and method for measuring obstacle distance using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009205360A (en) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd Vehicle obstacle detection device and vehicle obstacle detection method

Also Published As

Publication number Publication date
KR20170143389A (en) 2017-12-29

Similar Documents

Publication Publication Date Title
EP3121761A1 (en) A system and method for verifying road position information for a motor vehicle
JP6795027B2 (en) Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs
US10210400B2 (en) External-environment-recognizing apparatus
JP6450294B2 (en) Object detection apparatus, object detection method, and program
JP6246014B2 (en) Exterior recognition system, vehicle, and camera dirt detection method
JP2020098151A5 (en)
US10339405B2 (en) Image recognition device and image recognition method
CN112130158B (en) Object distance measuring device and method
US20140354815A1 (en) Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
US11472404B2 (en) Collision prediction device, collision prediction method, and program
JP2018125639A (en) Thermal image processing apparatus, infrared imaging apparatus, thermal image processing method, and thermal image processing program
KR102441048B1 (en) Apparatus and Method for Detecting Vehicle Proximity
KR101276073B1 (en) System and method for detecting distance between forward vehicle using image in navigation for vehicle
US9245342B2 (en) Obstacle detection device
KR102529555B1 (en) System and method for Autonomous Emergency Braking
JP2016162130A (en) Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection
CN109823344B (en) Driving prompting method and system
JP7043787B2 (en) Object detection system
US10896337B2 (en) Method for classifying a traffic sign, or road sign, in an environment region of a motor vehicle, computational apparatus, driver assistance system and motor vehicle
TWI665647B (en) System and method for warning against vehicular collisions when driving
JP5989443B2 (en) Semiconductor integrated circuit and object distance measuring device
US10789850B2 (en) Obstacle detection device, driving assistance system, and obstacle detection method
WO2022185085A1 (en) Object detection method and object detection device
JP2016018354A (en) Safety driving support device and safety driving support method
JP4823282B2 (en) Perimeter monitoring sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant