KR20160050436A - Dual Polarization LIDAR sensor system of vehicle and the operating method - Google Patents
Dual Polarization LIDAR sensor system of vehicle and the operating method Download PDFInfo
- Publication number
- KR20160050436A KR20160050436A KR1020140148536A KR20140148536A KR20160050436A KR 20160050436 A KR20160050436 A KR 20160050436A KR 1020140148536 A KR1020140148536 A KR 1020140148536A KR 20140148536 A KR20140148536 A KR 20140148536A KR 20160050436 A KR20160050436 A KR 20160050436A
- Authority
- KR
- South Korea
- Prior art keywords
- reflection coefficient
- polarized
- image
- composite
- vehicle
- Prior art date
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 47
- 230000009977 dual effect Effects 0.000 title claims abstract description 26
- 238000011017 operating method Methods 0.000 title 1
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 239000002131 composite material Substances 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 description 4
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- B60W2420/408—
Abstract
Description
본 발명은 차량용 이중 편광 LIDAR 센서 시스템 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 편광 영상합성 기법을 적용하여 물체의 오인식 및 인식률 성능을 개선하기 용이한 차량용 이중 편광 LIDAR 센서 시스템 및 그 동작방법에 관한 것이다.The present invention relates to a dual polarized LIDAR sensor system for a vehicle and a method of operating the same. More particularly, the present invention relates to a dual polarized LIDAR sensor system for a vehicle, .
최근 차량 전방의 보행자를 인식하고, 충돌 위험이 존재하는 경우 운전자에게 경고하거나 자동으로 제동 제어나 조향 제어를 수행함으로써 충돌을 회피하는 시스템이 개발되고 있다.Recently, a system has been developed in which pedestrians in front of a vehicle are recognized, a warning is given to a driver when there is a risk of collision, or a braking control or a steering control is automatically performed to avoid a collision.
이러한 시스템이 제대로 작동하기 위해서는 차량 전방의 물체가 보행자인지, 아니면 차량인지, 아니면 이외의 다른 물체인지를 빠르고 정확하게 판별하는 것이 선행되어야 한다. For such a system to function properly, it must be preceded by a quick and accurate determination of whether the object in front of the vehicle is a pedestrian, a vehicle, or any other object.
전방의 물체를 인식하는 방법으로는 현재 사용되고 있는 것은 카메라를 이용하는 방법, 레인지 센서를 이용하는 방법 등이 있다.As a method of recognizing a forward object, there are a method using a camera and a method using a range sensor, which are currently being used.
카메라를 이용한 방법으로는 적외선 카메라, 스테레오 카메라, 모노 카메라 등을 이용한 방법이 있으며, 레인지 센서를 이용하는 방법으로는 초음파 센서를 이용하는 방법, 레이더를 이용하는 방법, 레이저 레이더를 이용하는 방법 등이 있다.A method using a camera includes an infrared camera, a stereo camera, a monocamera, and the like. As a method using a range sensor, there are a method using an ultrasonic sensor, a method using a radar, and a method using a laser radar.
최근에는 물체 인식률을 향상시키기 위해 두 개의 레이저를 이용하여 근거리 및 원거리 물체를 인식하는 이중 편광 LIDAR 센서를 이용하는 방식을 연구 중에 있다.Recently, a dual polarized LIDAR sensor that recognizes near and distant objects using two lasers is under study to improve the object recognition rate.
본 발명의 목적은, 편광 영상합성 기법을 적용하여 물체의 오인식 및 인식률 성능을 개선하기 용이한 차량용 이중 편광 LIDAR 센서 시스템 및 그 동작방법을 제공함에 있다.It is an object of the present invention to provide a dual polarized LIDAR sensor system for a vehicle and a method of operating the same, which can improve the recognition accuracy and recognition rate of an object by applying a polarized image synthesis technique.
본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템은, P-편광영상을 출력하는 제1 LIDAR 센서, S-편광영상을 출력하는 제2 LIDAR 센서 및 상기 P-편광영상의 제1 반사계수, 상기 S-편광영상의 제2 반사계수 및 상기 P-편광영상과 상기 S-편광영상을 합성한 편광합성영상의 합성반사계수를 기반으로 상기 물체를 인식하는 신호처리 제어부를 포함한다.A dual polarized LIDAR sensor system for a vehicle according to the present invention includes a first LIDAR sensor outputting a P-polarized image, a second LIDAR sensor outputting an S-polarized image, and a second LIDAR sensor outputting a first reflection coefficient of the P- And a signal processing controller for recognizing the object based on a second reflection coefficient of the polarized image and a composite reflection coefficient of the polarized composite image obtained by synthesizing the P-polarized image and the S-polarized image.
상기 제1 LIDAR 센서는, 상기 물체에 송신한 P-편광 레이저에 대한 반사광에 따라 상기 P-편광영상을 생성 및 출력하며, 상기 제2 LIDAR 센서는, 상기 물체에 송신한 S-편광 레이저에 대한 반사광에 따라 상기 S-편광영상을 생성 및 출력한다.Wherein the first LIDAR sensor generates and outputs the P-polarized image in accordance with the reflected light for the P-polarized laser transmitted to the object, and the second LIDAR sensor generates the P-polarized image for the S- And generates and outputs the S-polarized image according to the reflected light.
상기 신호처리 제어부는, 상기 P-편광영상 및 상기 S-편광영상을 상기 편광합성영상으로 합성하는 영상처리부 및 상기 제1, 2 반사계수 및 상기 합성반사계수 각각에 대응하는 제1, 2 기준반사계수 및 기준합성반사계수와 매칭하여, 상기 물체를 인식하는 물체인식부를 포함한다.Wherein the signal processing control unit comprises: an image processing unit for combining the P-polarized image and the S-polarized image into the polarized composite image; and an image processing unit for combining the first and second reference reflection And an object recognition unit for recognizing the object by matching with the coefficient and the reference composite reflection coefficient.
상기 편광합성영상은, 상기 P-편광영상 및 상기 S-편광영상을 합하여 합성한 편광합 영상, 상기 상기 P-편광영상 및 상기 S-편광영상을 차한 편광차 영상 및 상기 편광합 영상에 상기 편광차 영상을 나눈 편광도 영상을 포함한다.Wherein the polarized light composite image includes a polarization summing image obtained by combining the P-polarized image and the S-polarized image, a P-polarized image obtained by adding the S-polarized image, and a polarized light difference image obtained by adding the S- And a polarization degree image obtained by dividing the difference image.
상기 합성반사계수는, 상기 편광합 영상의 제1 합성반사계수, 상기 편광차 영상의 제2 합성반사계수 및 상기 편광차 영상의 제3 합성반사계수를 포함하며, 상기 기준합성반사계수는, 상기 제1 합성반사계수에 대응하는 제1 기준합성반사계수, 상기 제2 합성반사계수에 대응하는 제2 기준합성반사계수 및 상기 제3 합성반사계수에 대응하는 제3 기준합성반사계수를 포함한다.Wherein the composite reflection coefficient includes a first composite reflection coefficient of the polarization summing image, a second composite reflection coefficient of the polarization difference image, and a third composite reflection coefficient of the polarization difference image, A first reference composite reflection coefficient corresponding to the first composite reflection coefficient, a second reference composite reflection coefficient corresponding to the second composite reflection coefficient, and a third reference composite reflection coefficient corresponding to the third composite reflection coefficient.
상기 물체인식부는, 상기 제1 반사계수가 상기 제1 기준반사계수에 매칭되면, P편광 방향으로 크기를 갖는 물체로 인식하고, 상기 제2 반사계수가 상기 제2 기준반사계수에 매칭되면 S-편광 방향으로 크리를 가지는 물체로 인식하며, 상기 제1 합성반사계수가 상기 제1 기준합성반사계수에 매칭되면 복잡한 외형을 갖는 물체로 인식하며, 상기 제2 합성반사계수가 상기 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경의 물체를 인식하고, 상기 제3 합성반사계수가 상기 제3 기준합성반사계수에 매칭되면 반사계수가 낮은 물체를 인식한다.The object recognizing unit recognizes the object as an object having a size in the P polarization direction when the first reflection coefficient is matched with the first reference reflection coefficient and if the second reflection coefficient matches the second reference reflection coefficient, Recognizes the object as an object having a crisscross in the polarization direction and recognizes the object as a complex outline if the first synthetic reflection coefficient is matched with the first reference synthetic reflection coefficient, And recognizes an object having a high reflection coefficient when the third composite reflection coefficient is matched with the third reference composite reflection coefficient.
상기 신호처리 제어부는, 상기 물체 인식시, 물체인식 신호를 출력하고, 상기 물체인신호 수신시, 차량의 제동 및 조향을 제어하는 차량제어부를 더 포함한다.The signal processing control unit further includes a vehicle control unit for outputting an object recognition signal when the object is recognized and for controlling the braking and steering of the vehicle when the object is received.
본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 동작방법은, 차량 시동 온 시, 차량 주행중인지 판단하는 단계, 상기 차량 주행중이면, 제1 LIDAR 센서가 촬영한 P-편광영상 및 제2 LIDAR 센서가 촬영한 S-편광영상을 전달받고,상기 P-편광영상 및 상기 S-편광영상을 합성편광영상으로 합성하는 단계 및 상기 P-편광영상의 제1 반사계수, 상기 S-편광영상의 제2 반사계수 및 상기 합성편광영상의 합성반사계수를 기반으로, 물체 및 상기 물체의 종류를 인식하는 단계를 포함한다.A method of operating a dual polarized LIDAR sensor system for a vehicle according to the present invention comprises the steps of: determining whether the vehicle is in a starting state or in a vehicle traveling state; if the vehicle is running, the P-polarized image captured by the first LIDAR sensor and the second LIDAR sensor Receiving an S-polarized image, synthesizing the P-polarized image and the S-polarized image into a synthesized polarized image, and generating a first reflection coefficient of the P-polarized image, a second reflection coefficient of the S- And recognizing the object and the type of the object based on the composite reflection coefficient of the synthesized polarized image.
상기 합성편광영상은, 상기 P-편광영상 및 상기 S-편광영상을 합하여 합성한 편광합 영상, 상기 상기 P-편광영상 및 상기 S-편광영상을 차한 편광차 영상 및 상기 편광합 영상에 상기 편광차 영상을 나눈 편광도 영상을 포함한다.Wherein the synthesized polarized image comprises a polarized sum image obtained by combining the P-polarized image and the S-polarized image, a polarized difference image obtained by adding the P-polarized image and the S-polarized image, And a polarization degree image obtained by dividing the difference image.
상기 합성반사계수는, 상기 편광합 영상의 제1 합성반사계수, 상기 편광차 영상의 제2 합성반사계수 및 상기 편광차 영상의 제3 합성반사계수를 포함하며, 상기 물체 인식 단계는, 상기 제1 반사계수가 설정된 제1 기준반사계수에 매칭되면, P편광 방향으로 크기를 갖는 물체로 인식하고, 상기 제2 반사계수가 설정된 제2 기준반사계수에 매칭되면 S-편광 방향으로 크리를 가지는 물체로 인식하며, 상기 제1 합성반사계수가 설정된 제1 기준합성반사계수에 매칭되면 복잡한 외형을 갖는 물체로 인식하며, 상기 제2 합성반사계수가 설정된 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경의 물체를 인식하고, 상기 제3 합성반사계수가 설정된 제3 기준합성반사계수에 매칭되면 반사계수가 낮은 물체를 인식한다.Wherein the composite reflection coefficient includes a first composite reflection coefficient of the polarization summing image, a second composite reflection coefficient of the polarization difference image, and a third composite reflection coefficient of the polarization difference image, If the first reflection coefficient is matched with the first reference reflection coefficient set, it is recognized as an object having a size in the P polarization direction. If the second reflection coefficient is matched with the second reference reflection coefficient set, If the first composite reflection coefficient is matched with the set first reference composite reflection coefficient, the second composite reflection coefficient is recognized as an object having a complex appearance. If the second composite reflection coefficient is matched with the set second reference composite reflection coefficient, Recognizes an object in a severe environment, and recognizes an object having a low reflection coefficient if the third composite reflection coefficient is matched with the set third reference composite reflection coefficient.
본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 동작방법은, 상기 물체 및 상기 물체의 종류를 인식 시, 상기 차량의 제동 및 조향을 제어하는 단계를 더 포함한다.The method of operating a dual polarization LIDAR sensor system for a vehicle according to the present invention further comprises controlling braking and steering of the vehicle when recognizing the object and the type of object.
본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템 및 그 동작방법은, 서로 다른 편광을 갖는 두 개의 LIDAR 센서를 동시에 사용하여 물체의 기하학적 형태나 주변 환경에 의한 노이즈 발생 등에서도 높은 물체 인식 성능을 제공할 수 있는 이점이 있다.The dual polarized LIDAR sensor system and method for operating the same according to the present invention can provide high object recognition performance even when noise is generated due to the geometric shape of the object or the surrounding environment by simultaneously using two LIDAR sensors having different polarizations There is an advantage.
도 1은 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템에 대한 개념도이다.
도 2는 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 제어 구성을 나타낸 제어 블록도이다.
도 3은 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 동작방법을 나타낸 순서도이다.1 is a conceptual diagram of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
2 is a control block diagram showing a control configuration of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
3 is a flowchart illustrating an operation method of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
이하에서는 도면을 참조하여 실시예를 보다 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.
도 1은 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템에 대한 개념도이다.1 is a conceptual diagram of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
도 1을 참조하면, 차량용 이중 편광 LIDAR 센서 시스템은 차량(1)의 전방에 배치된 제1, 2 LIDAR 센서(110, 120) 및 제1, 2 LIDAR 센서(110, 120)를 통하여 입력된 영상에서 물체(2)를 인식하는 신호처리 제어부(미도시)를 포함할 수 있다.1, a vehicle dual polarized LIDAR sensor system includes a first and
제1 LIDAR 센서(110)은 차량(1)의 전방 일측에 배치되며, 설정된 제1 촬영범위로 P-편광 레이저를 송신하고, 상기 P-편광 레이저에 대한 반사광에 따라 P-편광영상(P-M)을 생성 및 출력한다.The first LIDAR
제2 LIDAR 센서(110)은 차량(1)의 전방 타측에 배치되면, 설정된 제2 촬영범위로 S-편광 레이저를 송신하고, 상기 S-편광 레이저에 대한 반사광에 따라 S-편광영상(S-M)을 생성 및 출력한다.When the second LIDAR
이때, 상기 신호처리 제어부는 P-편광영상(P-M) 및 S-편광영상(S-M)을 기반으로 물체(2)를 인식하고, 차량제어부(미도시)로 물체(2)의 인식 여부를 전달한다.At this time, the signal processing control unit recognizes the
상기 차량제어부는 물체(2)를 인식한 물체인식신호 수신시, 차량(1)의 제동 및 조향을 제어할 수 있다.The vehicle control unit can control the braking and steering of the
도 2는 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 제어 구성을 나타낸 제어 블록도이다.2 is a control block diagram showing a control configuration of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
도 2를 참조하면, 차량용 이중 편광 LIDAR 센서 시스템은, 제1, 2 LIDAR 센서(110, 120), 신호처리 제어부(130) 및 차량제어부(140)를 포함할 수 있다.Referring to FIG. 2, the dual polarization LIDAR sensor system for a vehicle may include first and
제1 LIDAR 센서(110)는 P-편광 레이저를 송신하는 제1 송신부(112), 상기 P-편광 레이저가 임의의 물체에 의해 반사된 반사광을 수신하는 제1 수신부(114) 및 상기 반사광에 따라 P-편광 영상(P-M)을 생성 및 출력하는 모듈부(116)를 포함할 수 있다.The first LIDAR
또한, 제2 LIDAR 센서(120)는 S-편광 레이저를 송신하는 제2 송신부(122), 상기 S-편광 레이저가 임의의 물체에 의해 반사된 반사광을 수신하는 제2 수신부(124) 및 상기 반사광에 따라 S-편광 영상(S-M)을 생성 및 출력하는 모듈부(126)를 포함할 수 있다.The second LIDAR
신호처리 제어부(130)는 영상처리부(132) 및 물체인식부(134)를 포함할 수 있다.The signal
영상처리부(132)는 P-편광 영상(P-M) 및 S-편광 영상(S-M)를 수신하면, P-편광 영상(P-M) 및 S-편광 영상(S-M)을 합성하여 편광합성영상(PSM)을 출력할 수 있다.Upon receiving the P-polarized image PM and the S-polarized image SM, the
이때, 영상처리부(132)는 P-편광 영상(P-M) 및 S-편광 영상(S-M)을 합하여 편광합 영상(P+S), S-편광 영상(S-M)에 P-편광 영상(P-M)를 차한 편광차 영상(S-P) 및 편광합 영상(P+S)에 편광차 영상(S-P)을 나눈 편광도 영상(APS)을 포함하는 편광합영상(PSM)를 물체인식부(134)로 출력할 수 있다.At this time, the
물체인식부(134)는 설정된 제1, 2 기준합성반사계수 및 기준합성반사계수를 기반으로, 물체(2)를 인식할 수 있다.The
즉, 물체인식부(134)는 P-편광 영상(P-M)의 제1 반사계수, S-편광 영상(S-M)의 제2 반사계수, 편광합 영상(P+S)의 제1 합성반사계수, 편광차 영상(S-P)의 제2 합성반사계수 및 편광도 영상(APS)의 제3 합성반사계수를 산출한다.That is, the
이후, 물체인식부(134)는 상기 제1 반사계수가 상기 제1 기준합성반사계수에 매칭되는지, 또는 상기 제2 반사계수가 상기 제2 기준합성반사계수에 매칭되는지, 또는 상기 제1 합성반사계수가 상기 기준합성반사계수에 포함된 제1 기준합성반사계수에 매칭되는지, 또는 상기 제2 합성반사계수가 상기 기준합성반사계수에 포함된 제2 기준합성반사계수에 매칭되는지 또는 상기 제3 합성반사계수가 상기 기준합성반사계수에 포함된 제3 기준합성반사계수에 매칭되는지 확인하여, 물체(2) 및 물체(2)의 종류를 인식할 수 있다.The
물체인식부(134)는 상기 제1 반사계수가 상기 제1 기준합성반사계수에 매칭되면, p-편광 방향으로 크기를 가지는 물체로 인식하고, 상기 제2 반사계수가 상기 제2 기준합성반사계수에 매칭되면, S-편광 방향으로 크기를 가지는 물체로 인식하고, 상기 제1 합성반사계수가 상기 기준합성반사계수에 포함된 제1 기준합성반사계수에 매칭되면 복잡한 외형을 지니는 물체, 예를 들면 오토바이, 자전거 등으로 물체를 인식하고, 상기 제2 합성반사계수가 상기 기준합성반사계수에 포함된 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경에 위치한 물체를 인식하며, 상기 제3 합성반사계수가 상기 기준합성반사계수에 포함된 제3 기준합성반사계수에 매칭되면, 반사계수가 낮은 물체, 예를 들면 보행자를 인식할 수 있다.When the first reflection coefficient is matched with the first reference composite reflection coefficient, the
이때, 물체인식부(134)는 물체(2)를 인식하면 물체인식 신호(pp)를 차량제어부(140)로 출력할 수 있다.At this time, when the
차량제어부(140)는 물체인식 신호(pp) 수신시, 차량(1)의 제동 및 제어하여 차량(1)의 능동안전제어를 수행하도록 제어할 수 있다.The
또한, 차량제어부(140)는 차량(1)이 시동 온 되고, 주행모드로 차량(1)이 동작하면, 제1, 2 LIDAR 센서(110, 120) 및 신호처리 제어부(130) 중 적어도 하나가 동작되게 제어할 수 있으며, 이에 한정을 두지 않는다.When the
도 3은 본 발명에 따른 차량용 이중 편광 LIDAR 센서 시스템의 동작방법을 나타낸 순서도이다.3 is a flowchart illustrating an operation method of a dual polarization LIDAR sensor system for a vehicle according to the present invention.
도 3을 참조하면, 차량용 이중 편광 LIDAR 센서 시스템은 차량(1) 시동 온 시, 차량 주행중인지 판단하고(S110), 차량(1) 주행중이면, 제1 LIDAR 센서(110)가 촬영한 P-편광영상(P-M) 및 제2 LIDAR 센서(120)가 촬영한 S-편광영상(S-M)을 전달받고, P-편광영상(P-M) 및 S-편광영상(S-M)을 합성편광영상(APS)으로 합성한다(S120).Referring to FIG. 3, the dual polarized LIDAR sensor system for a vehicle determines whether the
즉, 신호처리 제어부(130)는 차량제어부(140)로부터 전달된 제어신호에 따라 제1, 2 LIDAR 센서(110, 120)를 동작시켜 촬영된 P-편광영상(P-M) 및 S-편광영상(S-M)을 전달받는다.That is, the
이때, 신호처리 제어부(130)는 P-편광 영상(P-M) 및 S-편광 영상(S-M)를 수신하면, P-편광 영상(P-M) 및 S-편광 영상(S-M)을 합성하여 편광합성영상(PSM)을 출력할 수 있다.Upon receiving the P-polarized image PM and the S-polarized image SM, the
신호처리 제어부(130)는 P-편광 영상(P-M) 및 S-편광 영상(S-M)을 합하여 편광합 영상(P+S), S-편광 영상(S-M)에 P-편광 영상(P-M)를 차한 편광차 영상(S-P) 및 편광합 영상(P+S)에 편광차 영상(S-P)을 나눈 편광도 영상(APS)을 포함하는 편광합영상(PSM)를 출력한다.The
차량용 이중 편광 LIDAR 센서 시스템은 P-편광영상(P-M)의 제1 반사계수, S-편광영상(S-M)의 제2 반사계수 및 합성편광영상(ASP)의 합성반사계수를 기반으로, 물체 및 상기 물체의 종류를 인식한다(S130).The dual polarized LIDAR sensor system for a vehicle uses the first reflection coefficient of the P-polarized image PM, the second reflection coefficient of the S-polarized image SM, and the composite reflection coefficient of the synthesized polarized image ASP, The type of the object is recognized (S130).
신호처리 제어부(130)는 P-편광 영상(P-M)의 제1 반사계수, S-편광 영상(S-M)의 제2 반사계수, 편광합 영상(P+S)의 제1 합성반사계수, 편광차 영상(S-P)의 제2 합성반사계수 및 편광도 영상(APS)의 제3 합성반사계수를 산출한다.The signal
신호처리 제어부(130)는 상기 제1 반사계수가 상기 제1 기준합성반사계수에 매칭되면, p-편광 방향으로 크기를 가지는 물체로 인식하고, 상기 제2 반사계수가 상기 제2 기준합성반사계수에 매칭되면, S-편광 방향으로 크기를 가지는 물체로 인식하고, 상기 제1 합성반사계수가 상기 기준합성반사계수에 포함된 제1 기준합성반사계수에 매칭되면 복잡한 외형을 지니는 물체, 예를 들면 오토바이, 자전거 등으로 물체를 인식하고, 상기 제2 합성반사계수가 상기 기준합성반사계수에 포함된 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경에 위치한 물체를 인식하며, 상기 제3 합성반사계수가 상기 기준합성반사계수에 포함된 제3 기준합성반사계수에 매칭되면, 반사계수가 낮은 물체, 예를 들면 보행자를 인식할 수 있다.When the first reflection coefficient is matched with the first reference composite reflection coefficient, the
차량용 이중 편광 LIDAR 센서 시스템은 상기 물체 및 상기 물체의 종류를 인식 시, 차량(1)의 제동 및 조향을 제어한다(S140).When recognizing the type of the object and the object, the dual polarization LIDAR sensor system for the vehicle controls the braking and steering of the vehicle 1 (S140).
즉, 신호처리 제어부(130)는 물체를 인식하면 물체인식 신호(pp)를 차량제어부(140)로 출력하면, 차량제어부(140)는 물체인식 신호(pp)가 입력되면, 차량의 제동 및 조향을 제어할 수 있다.That is, when the signal
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.
이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.
Claims (11)
S-편광영상을 출력하는 제2 LIDAR 센서; 및
상기 P-편광영상의 제1 반사계수, 상기 S-편광영상의 제2 반사계수 및 상기 P-편광영상과 상기 S-편광영상을 합성한 편광합성영상의 합성반사계수를 기반으로 상기 물체를 인식하는 신호처리 제어부;를 포함하는 차량용 이중 편광 LIDAR 센서 시스템A first LIDAR sensor for outputting a P-polarized image;
A second LIDAR sensor outputting an S-polarized image; And
And a second reflection coefficient of the P-polarized image, a second reflection coefficient of the S-polarized image, and a composite reflection coefficient of a polarized composite image obtained by synthesizing the P-polarized image and the S- A dual polarization LIDAR sensor system for vehicles
상기 제1 LIDAR 센서는,
상기 물체에 송신한 P-편광 레이저에 대한 반사광에 따라 상기 P-편광영상을 생성 및 출력하며,
상기 제2 LIDAR 센서는,
상기 물체에 송신한 S-편광 레이저에 대한 반사광에 따라 상기 S-편광영상을 생성 및 출력하는 차량용 이중 편광 LIDAR 센서 시스템.The method according to claim 1,
Wherein the first LIDAR sensor comprises:
Generates and outputs the P-polarized image according to the reflected light for the P-polarized laser transmitted to the object,
Wherein the second LIDAR sensor comprises:
And generates and outputs the S-polarized image in accordance with the reflected light for the S-polarized laser transmitted to the object.
상기 신호처리 제어부는,
상기 P-편광영상 및 상기 S-편광영상을 상기 편광합성영상으로 합성하는 영상처리부; 및
상기 제1, 2 반사계수 및 상기 합성반사계수 각각에 대응하는 제1, 2 기준반사계수 및 기준합성반사계수와 매칭하여, 상기 물체를 인식하는 물체인식부;를 포함하는 차량용 이중 편광 LIADR 센서 시스템.The method according to claim 1,
Wherein the signal processing control unit comprises:
An image processor for synthesizing the P-polarized image and the S-polarized image into the polarized composite image; And
And an object recognition unit for recognizing the object by matching the first, second reference reflection coefficient, and reference composite reflection coefficient corresponding to the first and second reflection coefficients and the composite reflection coefficient, respectively, .
상기 편광합성영상은,
상기 P-편광영상 및 상기 S-편광영상을 합하여 합성한 편광합 영상, 상기 상기 P-편광영상 및 상기 S-편광영상을 차한 편광차 영상 및 상기 편광합 영상에 상기 편광차 영상을 나눈 편광도 영상을 포함하는 차량용 이중 편광 LIADR 센서 시스템. The method of claim 3,
The polarized composite image is obtained by:
A polarized summing image obtained by combining the P-polarized image and the S-polarized image, a polarized light obtained by dividing the polarized light difference image by the polarized summed image obtained by adding the P-polarized image and the S- A dual polarized LIADR sensor system for vehicles containing images.
상기 합성반사계수는,
상기 편광합 영상의 제1 합성반사계수, 상기 편광차 영상의 제2 합성반사계수 및 상기 편광차 영상의 제3 합성반사계수를 포함하며,
상기 기준합성반사계수는,
상기 제1 합성반사계수에 대응하는 제1 기준합성반사계수, 상기 제2 합성반사계수에 대응하는 제2 기준합성반사계수 및 상기 제3 합성반사계수에 대응하는 제3 기준합성반사계수를 포함하는 차량용 이중 편광 LIADR 센서 시스템. 5. The method of claim 4,
The composite reflection coefficient
A first composite reflection coefficient of the polarization summing image, a second composite reflection coefficient of the polarization difference image, and a third composite reflection coefficient of the polarization difference image,
The reference composite reflection coefficient,
A first reference composite reflection coefficient corresponding to the first composite reflection coefficient, a second reference composite reflection coefficient corresponding to the second composite reflection coefficient, and a third reference composite reflection coefficient corresponding to the third composite reflection coefficient Dual polarized LIADR sensor system for vehicles.
상기 물체인식부는,
상기 제1 반사계수가 상기 제1 기준반사계수에 매칭되면, P편광 방향으로 크기를 갖는 물체로 인식하고, 상기 제2 반사계수가 상기 제2 기준반사계수에 매칭되면 S-편광 방향으로 크리를 가지는 물체로 인식하며, 상기 제1 합성반사계수가 상기 제1 기준합성반사계수에 매칭되면 복잡한 외형을 갖는 물체로 인식하며, 상기 제2 합성반사계수가 상기 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경의 물체를 인식하고, 상기 제3 합성반사계수가 상기 제3 기준합성반사계수에 매칭되면 반사계수가 낮은 물체를 인식하는 차량용 이중 편광 LIDAR 센서 시스템.6. The method of claim 5,
The object recognizing unit,
When the first reflection coefficient is matched with the first reference reflection coefficient, the second reflection coefficient is recognized as an object having a size in the P polarization direction, and when the second reflection coefficient is matched with the second reference reflection coefficient, When the first composite reflection coefficient is matched with the first reference composite reflection coefficient, the first composite reflection coefficient is recognized as an object having a complicated contour. When the second composite reflection coefficient is matched with the second reference composite reflection coefficient, A dual polarization LIDAR sensor system for a vehicle that recognizes an object in a highly scattered environment and recognizes an object having a low reflection coefficient if the third synthetic reflection coefficient matches the third reference synthetic reflection coefficient.
상기 신호처리 제어부는, 상기 물체 인식시, 물체인식 신호를 출력하고,
상기 물체인신호 수신시, 차량의 제동 및 조향을 제어하는 차량제어부를 더 포함하는 차량용 이중 편광 LIDAR 센서 시스템.The method according to claim 1,
Wherein the signal processing control unit outputs an object recognition signal when the object is recognized,
Further comprising a vehicle control section for controlling braking and steering of the vehicle upon reception of the signal which is the object.
상기 차량 주행중이면, 제1 LIDAR 센서가 촬영한 P-편광영상 및 제2 LIDAR 센서가 촬영한 S-편광영상을 전달받고,상기 P-편광영상 및 상기 S-편광영상을 합성편광영상으로 합성하는 단계; 및
상기 P-편광영상의 제1 반사계수, 상기 S-편광영상의 제2 반사계수 및 상기 합성편광영상의 합성반사계수를 기반으로, 물체 및 상기 물체의 종류를 인식하는 단계;를 포함하는 차량용 이중 편광 LIDAR 센서 시스템의 동작방법.Determining whether the vehicle is turned on and whether the vehicle is running;
When the vehicle is running, the P-polarized image captured by the first LIDAR sensor and the S-polarized image captured by the second LIDAR sensor are received, and the P-polarized image and the S-polarized image are synthesized into synthesized polarized images step; And
Recognizing an object and a type of the object based on a first reflection coefficient of the P-polarized image, a second reflection coefficient of the S-polarized image, and a composite reflection coefficient of the synthesized polarized image; A method of operating a polarized LIDAR sensor system.
상기 합성편광영상은,
상기 P-편광영상 및 상기 S-편광영상을 합하여 합성한 편광합 영상, 상기 상기 P-편광영상 및 상기 S-편광영상을 차한 편광차 영상 및 상기 편광합 영상에 상기 편광차 영상을 나눈 편광도 영상을 포함하는 차량용 이중 편광 LIDAR 센서 시스템의 동작방법.9. The method of claim 8,
The synthesized polarized image is obtained by,
A polarized summing image obtained by combining the P-polarized image and the S-polarized image, a polarized light obtained by dividing the polarized light difference image by the polarized summed image obtained by adding the P-polarized image and the S- A method of operating a dual polarizing LIDAR sensor system for a vehicle, the method comprising:
상기 합성반사계수는,
상기 편광합 영상의 제1 합성반사계수, 상기 편광차 영상의 제2 합성반사계수 및 상기 편광차 영상의 제3 합성반사계수를 포함하며,
상기 물체 인식 단계는,
상기 제1 반사계수가 설정된 제1 기준반사계수에 매칭되면, P편광 방향으로 크기를 갖는 물체로 인식하고, 상기 제2 반사계수가 설정된 제2 기준반사계수에 매칭되면 S-편광 방향으로 크리를 가지는 물체로 인식하며, 상기 제1 합성반사계수가 설정된 제1 기준합성반사계수에 매칭되면 복잡한 외형을 갖는 물체로 인식하며, 상기 제2 합성반사계수가 설정된 제2 기준합성반사계수에 매칭되면 빛 산란이 심한 환경의 물체를 인식하고, 상기 제3 합성반사계수가 설정된 제3 기준합성반사계수에 매칭되면 반사계수가 낮은 물체를 인식하는 차량용 이중 편광 LIDAR 센서 시스템의 동작방법.10. The method of claim 9,
The composite reflection coefficient
A first composite reflection coefficient of the polarization summing image, a second composite reflection coefficient of the polarization difference image, and a third composite reflection coefficient of the polarization difference image,
In the object recognition step,
When the first reflection coefficient is matched with the set first reference reflection coefficient, it is recognized as an object having a size in the P polarization direction. When the second reflection coefficient is matched with the second reference reflection coefficient set, If the first composite reflection coefficient is matched with the set first reference composite reflection coefficient, the second composite reflection coefficient is recognized as an object having a complex appearance. If the second composite reflection coefficient is matched with the set second reference composite reflection coefficient, A method of operating a bi-polarized LIDAR sensor system for a vehicle that recognizes an object in a highly scattered environment and recognizes an object having a low reflection coefficient if the third synthetic reflection coefficient is matched to a set third reference synthetic reflection coefficient.
상기 물체 및 상기 물체의 종류를 인식 시, 상기 차량의 제동 및 조향을 제어하는 단계;를 더 포함하는 차량용 이중 편광 LIDAR 센서 시스템의 동작방법.9. The method of claim 8,
And controlling the braking and steering of the vehicle upon recognizing the object and the type of the object. ≪ Desc / Clms Page number 19 >
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140148536A KR102303221B1 (en) | 2014-10-29 | 2014-10-29 | Dual Polarization LIDAR sensor system of vehicle and the operating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140148536A KR102303221B1 (en) | 2014-10-29 | 2014-10-29 | Dual Polarization LIDAR sensor system of vehicle and the operating method |
Publications (3)
Publication Number | Publication Date |
---|---|
KR20160050436A true KR20160050436A (en) | 2016-05-11 |
KR102303221B1 KR102303221B1 (en) | 2021-09-16 |
KR102303221B9 KR102303221B9 (en) | 2022-03-15 |
Family
ID=56025397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140148536A KR102303221B1 (en) | 2014-10-29 | 2014-10-29 | Dual Polarization LIDAR sensor system of vehicle and the operating method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102303221B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180099093A (en) | 2017-02-28 | 2018-09-05 | 한온시스템 주식회사 | Cold Plate |
CN109991614A (en) * | 2019-03-27 | 2019-07-09 | 深圳市速腾聚创科技有限公司 | Laser radar range device |
KR20220165281A (en) * | 2020-06-30 | 2022-12-14 | 오로라 오퍼레이션스, 인크. | Self-driving vehicle control system and method using depolarization ratio of return signal |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210682A (en) * | 1996-02-06 | 1997-08-12 | Ishikawajima Harima Heavy Ind Co Ltd | Device for detecting inclination of road surface by laser |
KR20120085935A (en) * | 2009-12-25 | 2012-08-01 | 가부시키가이샤 리코 | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
-
2014
- 2014-10-29 KR KR1020140148536A patent/KR102303221B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210682A (en) * | 1996-02-06 | 1997-08-12 | Ishikawajima Harima Heavy Ind Co Ltd | Device for detecting inclination of road surface by laser |
KR20120085935A (en) * | 2009-12-25 | 2012-08-01 | 가부시키가이샤 리코 | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180099093A (en) | 2017-02-28 | 2018-09-05 | 한온시스템 주식회사 | Cold Plate |
CN109991614A (en) * | 2019-03-27 | 2019-07-09 | 深圳市速腾聚创科技有限公司 | Laser radar range device |
KR20220165281A (en) * | 2020-06-30 | 2022-12-14 | 오로라 오퍼레이션스, 인크. | Self-driving vehicle control system and method using depolarization ratio of return signal |
CN115867476A (en) * | 2020-06-30 | 2023-03-28 | 欧若拉运营公司 | System and method for autonomous vehicle control using depolarization rate of return signals |
CN115867476B (en) * | 2020-06-30 | 2024-01-02 | 欧若拉运营公司 | System and method for autonomous vehicle control using depolarization rate of return signal |
US11858533B2 (en) | 2020-06-30 | 2024-01-02 | Aurora Operations, Inc. | Systems and methods for autonomous vehicle control using depolarization ratio of return signal |
Also Published As
Publication number | Publication date |
---|---|
KR102303221B1 (en) | 2021-09-16 |
KR102303221B9 (en) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI814804B (en) | Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program | |
WO2019039279A1 (en) | Signal processing device, signal processing method, program, moving body, and signal processing system | |
US10499014B2 (en) | Image generation apparatus | |
KR20190060341A (en) | Radar-camera fusion system and target detecting method using the same | |
KR20150027543A (en) | LIDAR Sensor System | |
JP6939807B2 (en) | Image processing device and image processing method | |
WO2017090319A1 (en) | Device for detecting direction of line of sight, and system for detecting direction of line of sight | |
WO2017195459A1 (en) | Imaging device and imaging method | |
KR20160050436A (en) | Dual Polarization LIDAR sensor system of vehicle and the operating method | |
US20160244037A1 (en) | Control apparatus of brake system and method of controlling the same | |
KR102535618B1 (en) | Driver assistance system for detecting obstacle using fusion object sensing information and method thereof | |
WO2016013167A1 (en) | Vehicle display control device | |
WO2018207664A1 (en) | Imaging device, imaging method, and program | |
TW201945758A (en) | Ranging processing device, ranging module, ranging processing method, and program | |
US11259159B2 (en) | Method and device for controlling vehicle sensor systems | |
US11242063B2 (en) | Method and device for operating a first vehicle | |
WO2020246264A1 (en) | Distance measurement sensor, signal processing method, and distance measurement module | |
WO2017149964A1 (en) | Image processing device, image processing method, computer program, and electronic device | |
JP2015219721A (en) | Operation support system and object recognition device | |
JP2021174135A (en) | Image recognition device and image recognition method | |
WO2019111529A1 (en) | Image processing device and image processing method | |
US20230341556A1 (en) | Distance measurement sensor, signal processing method, and distance measurement module | |
US20220381913A1 (en) | Distance measurement sensor, signal processing method, and distance measurement module | |
WO2021106624A1 (en) | Distance measurement sensor, distance measurement system, and electronic apparatus | |
KR102535598B1 (en) | Vision based obstacle detection apparatus and method using radar and camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
G170 | Re-publication after modification of scope of protection [patent] |