KR20160013736A - Intergrated sensor system of the vehicles - Google Patents

Intergrated sensor system of the vehicles Download PDF

Info

Publication number
KR20160013736A
KR20160013736A KR1020140095942A KR20140095942A KR20160013736A KR 20160013736 A KR20160013736 A KR 20160013736A KR 1020140095942 A KR1020140095942 A KR 1020140095942A KR 20140095942 A KR20140095942 A KR 20140095942A KR 20160013736 A KR20160013736 A KR 20160013736A
Authority
KR
South Korea
Prior art keywords
target
information
targets
coordinate
sensor module
Prior art date
Application number
KR1020140095942A
Other languages
Korean (ko)
Other versions
KR102192256B1 (en
Inventor
류수용
김영신
김원겸
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140095942A priority Critical patent/KR102192256B1/en
Publication of KR20160013736A publication Critical patent/KR20160013736A/en
Application granted granted Critical
Publication of KR102192256B1 publication Critical patent/KR102192256B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/68—Radar-tracking systems; Analogous systems for angle tracking only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/70—Radar-tracking systems; Analogous systems for range tracking only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Abstract

The present invention provides an integrated sensor system for a vehicle, comprising: a lidar sensor module outputting target information by detecting a first target driving within a first area; a camera module outputting target image information including a second target driving within a second area, wherein the second area is an overlapping area of the first area and some areas; and a control module which actively controls speed of a vehicle or generates a warning by determining whether the first and the second target is identical in accordance with a set fusion recognition algorithm.

Description

자동차의 통합센서 시스템{Intergrated sensor system of the vehicles}[0001] The present invention relates to an integrated sensor system of the vehicles,

본 발명은 자동차의 통합센서 시스템에 관한 것으로서, 더욱 상세하게는 차량의 전방에 주행하는 선행차량을 인식하기 용이한 자동차의 통합센서 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an integrated sensor system of an automobile, and more particularly, to an integrated sensor system of an automobile which is easy to recognize a preceding vehicle traveling in front of the vehicle.

라이다(Lidar) 센서와 카메라 센서는 차량 전방의 장애물을 관측하여 충돌 경보 혹은 AEB를 작동시키기 위한 목적으로 사용된다. Lidar sensors and camera sensors are used to observe obstacles in front of the vehicle and to operate collision alarms or AEBs.

라이다 센서는 물체 검출 신뢰성 및 거리 정확도는 높지만 물체 분류가 어려운 반면, 카메라는 물체 분류는 가능하지만 거리 정확도와 검출율이 낮으며 환경에 민감한 단점을 갖고 있다. Although the Raidasensor has high object detection reliability and distance accuracy, it is difficult to classify objects, while cameras can classify objects, but have low distance accuracy and detection rate and are environmentally sensitive.

따라서, 두 센서를 상호보완적으로 퓨전하여 통합 센서 시스템의 성능 및 신뢰성을 높이는 것이 필요하다.Therefore, it is necessary to enhance the performance and reliability of the integrated sensor system by complementarily fusing the two sensors.

하지만, 통합 센서 시스템은 일반적으로 두 센서에서 모두 물체가 검출된 경우에만 물체 검출로 판단하고 하나의 센서에서 물체 검출이 되지 않은 경우에는 미검출로 판단하고 검출된 정보를 버리는 방법을 사용하고 있어, 물체 검출이 된 경우의 신뢰성은 높여주는 반면 물체 검출율은 오히려 낮출수 있다.However, in the integrated sensor system, in general, both of the sensors detect an object only when the object is detected, and when one object does not detect the object, it is determined that the object is not detected and the detected information is discarded, The reliability of the object detection is increased, but the object detection rate can be lowered.

최근 들어, 통합 센서 시스템을 적용하여, 물체 검출에 대한 정확도 및 검출율을 높이기 위한 연구가 진행 중에 있다.In recent years, research is underway to increase the accuracy and detection rate for object detection by applying an integrated sensor system.

본 발명의 목적은, 차량의 전방에 주행하는 선행차량을 인식하기 용이한 자동차의 통합센서 시스템을 제공함에 있다.An object of the present invention is to provide an integrated sensor system of a vehicle which is easy to recognize a preceding vehicle traveling in front of the vehicle.

본 발명에 따른 자동차의 통합센서 시스템은, 제1 영역 내에 주행하는 제1 타겟(target)을 감지하여, 타겟정보를 출력하는 라이다 센서모듈, 상기 제1 영역과 일부 영역이 중첩되는 제2 영역 내에 주행하는 제2 타겟(target)을 포함하는 타겟영상정보를 출력하는 카메라 센서모듈 및 상기 타겟정보 및 상기 타겟영상정보 입력시, 설정된 퓨전인식 알고리즘에 따라 상기 제1, 2 타겟이 동일타겟 여부를 판단하여, 차속을 능동제어하거나 또는 경고를 발생시키는 제어모듈을 포함할 수 있다.An integrated sensor system of an automobile according to the present invention includes a Raid sensor module for sensing a first target traveling in a first area and outputting target information, a second sensor module for overlapping the first area with a first area, And a second sensor that detects whether or not the first and second targets are the same target according to a fusion recognition algorithm that is set upon inputting the target information and the target image information. And may include a control module for judging, actively controlling the vehicle speed, or generating an alarm.

상기 제1 라이다 센서모듈은, 상기 제1 영역으로 제1 신호를 송신하는 송신부, 상기 제1 영역 내에 주행하는 상기 제1 타겟으로부터 상기 제1 신호에 따라 반사된 제2 신호를 수신하는 수신부 및 상기 제1, 2 신호를 기반으로 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부를 포함할 수 있다.Wherein the first RL sensor module comprises: a transmitter for transmitting a first signal to the first area; a receiver for receiving a second signal reflected from the first target running in the first area according to the first signal; And a sensor control unit for generating and outputting the target information for the first target based on the first and second signals.

상기 수신부는, 상기 제2 신호를 수신하는 수신각도가 다른 복수의 라이다 센서를 포함할 수 있다.The receiving unit may include a plurality of Lada sensors for receiving the second signal at different receiving angles.

상기 센서제어부는, 상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간 중 적어도 하나를 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력한다.The sensor control unit may control the position, the distance, and the position of the first target based on at least one of the signal size of the first and second signals, the reception angle of the second signal, and the transmission / reception time between the first and second signals. And generates and outputs the target information including the relative speed.

상기 카메라 센서모듈은, 상기 제2 타겟이 포함된 영상을 촬영하는 적어도 하나의 이미지 센서를 포함하고, 상기 카메라 센서모듈은, 상기 적어도 하나의 이미지 센서에서 촬영한 상기 영상에 대응하는 상기 타겟영상정보를 생성 및 출력한다.Wherein the camera sensor module includes at least one image sensor for capturing an image including the second target, wherein the camera sensor module is configured to detect the target image information corresponding to the image captured by the at least one image sensor, Respectively.

상기 제1 영역은, 상기 라이다 센서모듈의 설치지점에서 상기 차량의 전방으로 20m의 거리를 포함하는 영역이며, 상기 일부영역은, 상기 설치지점에서 7m 에서 20m의 거리를 포함하는 영역이다.The first region is a region including a distance of 20 m from the installation point of the Lidar sensor module to the front of the vehicle, and the partial region is a region including a distance of 7 m to 20 m from the installation point.

상기 제2 영역은, 상기 카메라 센서모듈의 설치지점에서 7 m 떨어진 지점에서 100 m의 거리를 포함하는 영역이다.The second area is a region including a distance of 100 m at a point 7 m away from the installation point of the camera sensor module.

상기 제어모듈은, 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 상기 일부영역에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부 및 상기 일부영역에서 상기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어하거나, 또는 상기 제1, 2 타겟이 다른타겟이면 경고를 발생시키는 타겟인식 실행부를 포함할 수 있다.Wherein the control module comprises: a target determination unit for aligning the input time of the target information and the target video information in synchronization, determining whether the target information is input in the partial area according to the aligned synchronization sequence, The information on the target is applied to the fusion recognition algorithm, and if the first and second targets are the same target, the fusion target ID is assigned to actively control the vehicle speed, or if the first and second targets are different targets, And a recognition execution unit.

상기 타겟인식 실행부는, 상기 일부영역에서 상기 타겟정보 입력시, 상기 타겟정보에 포함된 수신각도를 기반으로 상기 제1 타겟의 위치에 대응하는 제1 위치좌표를 라이다좌표계에서 영상좌표계로 변환하는 좌표 변환부, 상기 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표가 설정된 제1 임계값 범위 내에 속하는지 판단하는 좌표 판단부, 상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하는 거리 판단부, 상기 타겟정보에 포함된 상대속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단하는 속도 판단부 및 상기 제1, 2, 3 임계값 범위 내에 모두 속하면 상기 제1, 2 타겟이 동일타겟으로 판단하여 퓨전타겟ID를 부여하여 상기 차속을 능동제어하고, 상기 제1, 2, 3 임계값 범위 중 하나라도 속하지 않으면 상기 제1, 2 타겟이 다른타겟으로 판단하면 상기 경고를 발생시키는 제어부를 포함할 수 있다.The target recognition execution unit converts the first position coordinate corresponding to the position of the first target from the Lada coordinate system to the image coordinate system based on the reception angle included in the target information when the target information is input in the partial area A first target center coordinate and a second target center coordinate are calculated on the basis of the first position coordinate and the second position coordinate of the second target, A distance determination unit for determining whether a distance difference between the first and second targets is within a second threshold value range set based on the first position coordinate and the second position coordinate, A speed determination unit for determining whether a speed difference between a relative speed included in the target information and a speed calculated based on the target image information is within a set third threshold range, 2, and 3 threshold values, the first and second targets are determined to be the same target, and the fusion target ID is assigned thereto to actively control the vehicle speed. If none of the first, second, and third threshold values are included And a controller for generating the warning if the first and second targets are determined to be different targets.

상기 제어부는, 상기 일부영역에서 상기 타겟정보가 입력되지 않으면, 상기 경고를 발생시킨다.The control unit generates the warning if the target information is not input in the partial area.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 전방에 주행하는 선행차량, 즉 타겟을 라이다 센서모듈 및 카메라 센서모듈을 검출하고, 라이다 센서모듈 및 카메라 센서모듈에서 검출한 타겟이 동일 타겟으로 판단하기 용이하도록 함으로써 타겟에 대한 검출 인식에 대한 정확도 및 검출율을 높일 수 있는 이점이 있다.The integrated sensor system of an automobile according to the present invention detects a preceding vehicle, that is, a target that runs on the front of the vehicle, a Lidar sensor module and a camera sensor module, It is advantageous to increase the accuracy and detection rate for detection recognition of the target.

또한, 본 발명에 따른 자동차의 통합센서 시스템은, 라이다 센서모듈에서 감지한 타겟과 카메라 센서모듈에서 감지한 타겟이 서로 다른 타겟이면, 경고를 발생시킬 수 있는 이점이 있다.In addition, the integrated sensor system of the automobile according to the present invention has an advantage that a warning can be generated if the target detected by the Lada sensor module and the target detected by the camera sensor module are different from each other.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에서 타겟을 검출하는 영역을 나타낸 도이다.
도 2는 본 발명에 따른 자동차의 통합센서 시스템에 대한 제어구성을 나타낸 제어블록도이다.
도 3은 본 발명에 따른 자동차의 통합센서 시스템에 대한 동작방법을 나타낸 순서도이다.1 is a view showing a region for detecting a target in an integrated sensor system of a vehicle according to the present invention.
2 is a control block diagram showing a control configuration for an integrated sensor system of an automobile according to the present invention.
3 is a flowchart illustrating an operation method for an integrated sensor system of an automobile according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 발광소자를 이루는 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.Further, the angles and directions mentioned in the course of describing the structure of the present invention are based on those described in the drawings. In the description of the structure of the light emitting device in the specification, reference points and positional relationship with respect to angles are not explicitly referred to, refer to the related drawings.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에서 타겟을 검출하는 영역을 나타낸 도 및 도 2는 본 발명에 따른 자동차의 통합센서 시스템에 대한 제어구성을 나타낸 제어블록도이다.FIG. 1 is a view showing a region for detecting a target in an integrated sensor system of an automobile according to the present invention, and FIG. 2 is a control block diagram showing a control structure for an integrated sensor system of an automobile according to the present invention.

도 1 및 도 2를 참조하면, 자동차의 통합센서 시스템은 차량의 중앙부, 즉 윈드쉴드(windshield)에 장착되며, 차량의 진행방향을 위치한 물체, 즉 장애물 및 전방차량을 감지할 수 있다.Referring to FIGS. 1 and 2, an integrated sensor system of an automobile is installed in a central portion of a vehicle, that is, a windshield, and can detect an object in which a traveling direction of the vehicle is located, that is, an obstacle and a forward vehicle.

실시 예에서, 통합센서 시스템은 라이다 센서모듈(110), 카메라 센서모듈(120) 및 제어모듈(130)을 포함할 수 있다.In an embodiment, the integrated sensor system may include a Lidar sensor module 110, a camera sensor module 120, and a control module 130.

여기서, 라이다 센서모듈(110) 및 카메라 센서모듈(120)은 별도의 센서모듈인 것으로 나타내고 설명하지만, 하나의 통합센서 모듈로 구현될 수 있으며, 이에 한정을 두지 않는다.Here, the LIDAR sensor module 110 and the camera sensor module 120 are illustrated as being separate sensor modules, but they may be implemented as one integrated sensor module, but are not limited thereto.

(a)는 통합센서 시스템에 대하여 상면 또는 평면으로 감지하는 영역을 나타낸 것이며, (b)는 통합센서 시스템에서 차량의 측면으로 감지하는 영역을 나타낸 것이다.(a) shows an area sensed on the upper surface or the plane of the integrated sensor system, and (b) shows a sensing area on the side of the vehicle in the integrated sensor system.

(a) 및 (b)에 나타낸 바와 같이, 통합센서 시스템은 차량의 전방방향으로 라이다 센서모듈(110)의 제1, 2 보조영역(①, ②)을 포함하는 제1 영역(미도시)에 위치한 제1 타겟을 검출할 수 있으며, 카메라 센서모듈(120)의 제2, 3 보조영역(②, ③)을 포함하는 제2 영역(미도시)에 위치한 제2 타겟을 검출할 수 있다.the integrated sensor system includes a first area (not shown) including the first and second auxiliary areas (1, 2) of the Raid sensor module 110 in the front direction of the vehicle, as shown in FIGS. And detects a second target located in a second area (not shown) including the second and third auxiliary areas (2, 3) of the camera sensor module 120. [

여기서, 제2 보조영역(②)은 상기 제1, 2 영역 사이에 서로 중첩되는 일부영역이며, 이에 한정을 두지 않는다.Here, the second auxiliary area (2) is a partial area overlapping between the first and second areas, but is not limited thereto.

실시 예에서, 라이다 센서모듈(110) 및 카메라 센서모듈(120) 각각은 하나의 제1, 2 타겟을 검출하는 것으로 설명하였으나, 상기 제1, 2 타겟의 개수 및 위치에 대하여 한정을 두지 않는다.In the embodiment, each of the LIDAR sensor module 110 and the camera sensor module 120 is described as detecting one of the first and second targets, but the number and position of the first and second targets are not limited .

우선, 라이다 센서모듈(110)은 차량에서 제1 거리(d1)에 해당되는 제1 보조영역(①) 및 제1 보조영역(①)에서 제2 거리(d2)에 해당되는 제2 보조영역(②)에 위치한 상기 제1 물체를 검출할 수 있다.First, the RIDAR sensor module 110 includes a first auxiliary area (1) corresponding to a first distance (d1) in the vehicle and a second auxiliary area (1) corresponding to a second distance (d2) The first object located at the second position (2) can be detected.

제1 거리(d1)는 라이다 센서모듈(110)의 설치지점에서 7m의 거리이며, 제2 거리(d2)는 상기 설치지점에서 제1 거리(d1) 이후에 7m 에서 20m의 거리이다.The first distance d1 is a distance of 7 m from the installation point of the Raidasensor module 110 and the second distance d2 is a distance of 7 m to 20 m after the first distance d1 at the installation point.

즉, 라이다 센서모듈(110)은 제1, 2 보조 영역(①, ②)으로 제1 신호를 송신하는 송신부(112), 제1, 2 보조 영역(①, ②)에 위치한 상기 제1 타겟에서 상기 제1 신호에 대응하여 반사된 제2 신호를 수신하는 수신부(114) 및 상기 제1, 2 신호를 기반으로, 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부(116)를 포함할 수 있다.That is, the RIAR sensor module 110 includes a transmitter 112 for transmitting a first signal to the first and second subareas (1 and 2), a transmitter 112 for transmitting the first signal to the first target A sensor control unit 116 for generating and outputting the target information for the first target based on the first and second signals, . ≪ / RTI >

여기서, 송신부(112)는 제1, 2 보조 영역(①, ②)으로 상기 제1 신호를 송신 또는 방사할 수 있다.Here, the transmission unit 112 can transmit or radiate the first signal to the first and second subareas (1, 2).

수신부(114)는 송신부(112)에서 송신된 상기 제1 신호에 대응하며, 상기 제1 물체에서 반사된 제2 신호를 수신할 수 있다.The receiving unit 114 may receive the second signal corresponding to the first signal transmitted from the transmitting unit 112 and reflected from the first object.

실시 예에서, 수신부(114)는 상기 제2 신호를 수신하는 복수의 라이다 센서를 포함할 수 있으며, 상기 복수의 라이다 센서 중 적어도 하나는 상기 제2 신호를 수신하는 수신각도가 서로 다를 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the receiving unit 114 may include a plurality of RADIUS sensors for receiving the second signal, at least one of the plurality of RADIAS sensors may receive different signals at different receiving angles There is no limitation.

센서제어부(116)는 상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간 중 적어도 하나를 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력할 수 있다.The sensor control unit 116 controls the position and distance of the first target based on at least one of the signal size of the first and second signals, the reception angle of the second signal, and the transmission / reception time between the first and second signals. And the relative speed of the target information.

카메라 센서모듈(120)은 제2, 3 보조영역(②, ③)에 위치하는 상기 제2 타겟을 포함하는 영상을 촬영하여, 상기 영상에 대응하는 타겟영상정보를 생성 및 출력할 수 있다.The camera sensor module 120 may capture an image including the second target located in the second and third auxiliary areas (2, 3), and may generate and output target image information corresponding to the image.

즉, 카메라 센서모듈(120)은 제2 보조 영역(②)에서 제3 거리(d3)에 해당하는 제3 보조영역(③)에 대한 상기 영상을 촬영하는 적어도 하나의 이미지 센서를 포함할 수 있다.That is, the camera sensor module 120 may include at least one image sensor for capturing the image of the third subarea (3) corresponding to the third distance d3 in the second subarea (2) .

제3 거리(d3)는 제2 거리(d2) 이후지점에서 80m 의 거리이다.The third distance d3 is a distance of 80 m from the point after the second distance d2.

카메라 센서모듈(120)은 상기 적어도 이미지 센서에서 촬영한 상기 영상을 기반으로 상기 타겟영상정보를 생성할 수 있으며, 실시 예에서 상기 타겟영상정보에는 상기 제2 타겟이 포함된 것으로 설명한다.The camera sensor module 120 may generate the target image information based on the image captured by the at least the image sensor. In an exemplary embodiment, the target image information includes the second target.

제어모듈(130)은 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 제2 보조 영역(②)에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부(132) 및 제2 보조 영역(②)에서 상기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어하거나, 또는 상기 제1, 2 타겟이 다른타겟이면 경고를 발생시키는 타겟인식 실행부(134)를 포함한다.The control module 130 aligns and aligns the input time of the target information and the target video information, and determines whether the target information is input in the second subarea (2) according to the aligned synchronization sequence. ) And the second subarea (2), the target information is applied to the fusion recognition algorithm to provide a fusion target ID if the first and second targets are the same target, And a target recognition executing unit 134 for generating a warning if the two targets are different targets.

우선, 타겟 판단부(132)는 라이다 센서모듈(110)로부터 입력된 상기 타겟정보 및 카메라 센서모듈(120)로부터 입력된 상기 타겟영상정보의 입력시점을 기준으로 시간 정렬하하고, 정렬된 동기화 순서에 따라 제2 보조 영역(②)에서 상기 타겟정보가 입력되는지 판단할 수 있다.First, the target determining unit 132 performs time alignment on the basis of the input time of the target information input from the Rather sensor module 110 and the target image information input from the camera sensor module 120, It is possible to determine whether the target information is input in the second subarea (2) according to the order.

타겟인식 실행부(134)는 좌표 변환부(135), 좌표 판단부(136), 거리 판단부(137), 속도 판단부(138) 및 제어부(139)를 포함할 수 있다.The target recognition execution unit 134 may include a coordinate transformation unit 135, a coordinate determination unit 136, a distance determination unit 137, a velocity determination unit 138, and a control unit 139.

우선, 좌표 변환부(135)는 라이다 센서모듈(110)에서 감지된 상기 제1 타겟이 제2 보조 영역(②)에 존재하는 것으로 판단하면, 카메라 로직 구현에 이용한 Visual C를 이용하여 이미지 프로세스 chip에 로직을 구현되며, 이미지 처리를 위해서는 라이다 센서모듈(110)에서 입력된 상기 타겟정보를 라이다 좌표계에서 설정된 영상 좌표계로 변환한다.First, when the coordinate conversion unit 135 determines that the first target detected by the Raidasensor module 110 is present in the second auxiliary area (2), the coordinate transformation unit 135 performs an image process chip. In order to process the image, the target information input from the RIDASensor module 110 is converted into an image coordinate system set in the Raid coordinate system.

이때, 좌표 변환부(135)는 상기 타겟정보에 포함된 상기 제2 신호의 수신각도를 이용하여 변환한다. At this time, the coordinate transforming unit 135 transforms using the angle of reception of the second signal included in the target information.

즉, 좌표변환부(137)는 라이다 센서모듈(110)에서 감지한 상기 제1 타겟과 카메라 센서모듈(120)에서 촬영한 상기 제2 타겟이 동일 타겟인지 확인하기 위해 동일한 영상좌표계로 변환한다. That is, the coordinate transformation unit 137 transforms the first target detected by the Raidasensor module 110 and the second target captured by the camera sensor module 120 into the same image coordinate system to determine whether they are the same target .

좌표변환부(137)는 하기의 [수학식 1]에 따라 상기 수신각도를 기반으로 상기 제1 타겟의 위치좌표로 변환할 수 있다.다.The coordinate transforming unit 137 may transform the position coordinates of the first target based on the reception angle according to Equation (1).

Figure pat00001
Figure pat00001

여기서, Y위치좌표는 영상좌표계로 변환된 제1 물체의 위치좌표이며, C중심위치는 제1 물체의 외관에 따른 거리에 따라 형성된 외관 중 중심거리에 해당되는 위치이며, T거리좌표이미지는 제1 물체의 외관 이미지 크기이며, N라이다센서개수는 라이다 센서모듈(110)에 포함된 복수의 라이다 센서 개수이며, X수신각도는 복수의 라이다 센서에서 제2 신호를 수신하는 수신각도를 나타낸다.Here, Y position coordinates are position coordinates of the first object is converted into the image coordinate system, a position corresponding to the center distance of the C center of gravity is outside formed in accordance with the distance along the exterior of the first object, T distance coordinate image of the The number of sensors is the number of Lidar sensors included in the Lidar sensor module 110 and the X receiving angle is the number of Lidar sensors included in the receiving angle < RTI ID = 0.0 > .

좌표 판단부(136)는 상기 제1 타겟의 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단한다.The coordinate determination unit 136 calculates a first target center coordinate and a second target center coordinate based on the first position coordinate of the first target and the second position coordinate of the second target, It is determined whether the difference between the target center coordinates falls within a first threshold value range set.

또한, 상기 제1 임계값 범위는 영상좌표계의 x축 중심좌표를 사이에 두고 설정된 상기 제1 임계값 범위 내에 상기 제1, 2 위치좌표 또는 상기 제1, 2 타겟 중심좌표가 속하는지 판단할 수 있다.In addition, the first threshold value range may determine whether the first, second position coordinates, or the first and second target center coordinates fall within the first threshold value range set between the x-axis center coordinates of the image coordinate system have.

좌표 판단부(136)는 상기 제1, 2 타겟 중심좌표 사이의 차가 상기 제1 임계값 범위 내에 속하면 상기 제1, 2 타겟을 그룹핑한다.The coordinate determination unit 136 groups the first and second targets when the difference between the first and second target center coordinates falls within the first threshold value range.

거리 판단부(137)는 상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지를 판단한다.The distance determination unit 137 determines whether a distance difference between the first and second targets is within a second threshold value range that is set based on the first position coordinate and the second position coordinate.

즉, 거리 판단부(137)는 좌표 판단부(136)와 별도로 동작하여, 상기 제1, 2 타겟 사이이 거리차가 상기 제2 임계값 범위 내에 속하면 동일 타겟으로 그룹핑할 수 있다.That is, the distance determination unit 137 operates separately from the coordinate determination unit 136, and can group the target into the same target when the distance difference between the first and second targets falls within the second threshold value range.

속도 판단부(138)는 상기 타겟정보에 포함된 상대속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단한다.The speed determination unit 138 determines whether the speed difference between the relative speed included in the target information and the speed calculated based on the target image information is within a third threshold value range set.

즉, 속도 판단부(138)는 차량의 차속을 기반으로 상기 제1 타겟의 상대속도 및 상기 제2 타겟의 속도를 정확하게 판단할 수 있으며, 이에 따라 상기 제1, 2 타겟 사이의 속도차가 상기 제3 임계값 범위 내에 속하면 상기 제1, 2 타겟을 그룹핑한다.That is, the speed determiner 138 can accurately determine the relative speed of the first target and the speed of the second target based on the vehicle speed of the vehicle, so that the speed difference between the first and second targets 3 threshold value range, the first and second targets are grouped.

제어부(139)는 좌표 판단부(136), 거리 판단부(137) 및 속도 판단부(138) 각각의 판단결과에 따라 상기 제1, 2 타겟이 동일 타겟인지를 판단하며, 상기 제1, 2 타겟이 동일 타겟으로 판단되면 퓨전타겟ID를 부여하여 차속을 능동제어하고, 상기 제1, 2 타겟이 다른 타겟으로 판단하면 경고를 발생시킬 수 있다.The control unit 139 determines whether the first and second targets are the same target according to the determination result of the coordinate determination unit 136, the distance determination unit 137, and the speed determination unit 138, If the target is determined to be the same target, the fusion target ID is assigned to actively control the vehicle speed. If the first and second targets are determined to be different targets, a warning may be generated.

여기서, 제어부(139)는 상기 제1, 2 타겟이 동일 타겟이 아니면, 상기 제1, 2 타겟이 각각 제2, 3 보조 영역(②, ③)에 위치하는 것으로 인식하여 경고를 발생시킨다.Here, if the first and second targets are not the same target, the controller 139 recognizes that the first and second targets are located in the second and third subareas (2, 3), respectively, and generates a warning.

도 3은 본 발명에 따른 자동차의 통합센서 시스템에 대한 동작방법을 나타낸 순서도이다.3 is a flowchart illustrating an operation method for an integrated sensor system of an automobile according to the present invention.

도 3을 참조하면, 통합센서 시스템은 라이다 센서모듈(110)로부터 타겟정보 및 카메라 센서모듈(120)로부터 타겟영상정보를 수신하고(S110), 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고(S120), 상기 동기화된 상기 타겟정보 및 상기 타겟영상정보 각각에 포함된 제1, 2 타겟의 위치좌표를 설정된 동일 좌표계로 변환한다(S130).3, the integrated sensor system receives target information from the lidar sensor module 110 and target video information from the camera sensor module 120 (S110), and inputs the target information and the input time of the target video information (S120), and the position coordinates of the first and second targets included in the synchronized target information and the target image information are converted into the same coordinate system (S130).

상기 동일 좌표계는 상술한 바와 같이 영상 좌표계일 수 있으며, 다른 좌표계일 수 있으며, 이에 한정을 두지 않는다.The same coordinate system may be an image coordinate system as described above, and may be a different coordinate system, but is not limited thereto.

이때, 통합센서 시스템은 라이다 센서모듈(110)에서 수신한 상기 타겟정보 내에 상기 제1 타겟이 감지되었는지 판단하고(S140), 상기 제1 타겟이 감지되면 상기 제1 타겟이 설정된 제1 보조영역(①) 내에 위치하는지 판단한다(S150).At this time, the integrated sensor system determines whether the first target is detected in the target information received by the Raidasensor module 110 (S140). If the first target is detected, (1) (S150).

통합센서 시스템은 상기 제1 타겟이 제1 보조영역(①)에 위치하지 않으면, 좌표 판단부(136)에서 상기 제1, 2 타겟 각각에 대응하는 제1, 2 타겟 중심좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단하고(S160), 거리 판단부(137)에서 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하고(S170), 속도 판단부(138)에서 상기 제1 타겟의 상대속도 및 상기 제2 타겟의 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단한다(S180).If the first target is not located in the first subarea (1), the coordinate determination unit (136) determines the difference between the first and second target center coordinates corresponding to the first and second targets (S160). The distance determination unit 137 determines whether the distance difference between the first and second targets falls within a second threshold value range (S170). The speed determination unit 138 (S180) whether the speed difference between the relative speed of the first target and the speed of the second target is within a set third threshold range.

통합센서 시스템은 (S160) 단계, (S170) 단계 및 (S180) 단계 모두의 판단결결과, 상기 제1, 2, 3 임계값 범위 내에 속하면 상기 제1, 2 타겟이 제2 보조영역(②)에 위치하는 것으로 판단하여, 상기 제1, 2 타겟을 그루핑하여 퓨전타겟ID를 부여하며 차속을 능동제어하고(S190), (S160) 단계, (S170) 단계 및 (S180) 단계 중 어느 하나라도 임계값을 만족하지 않으면, 상기 제1, 2 타겟이 다른 타겟으로 판단하고 제2, 3 보조영역(② ③)에 각각 위치하는 것으로 판단하여 경고를 발생시킨다(S200).If the integrated sensor system is within the first, second, and third threshold values as a result of the determination in step S160, step S170 and step S180, the first and second targets are in the second subareas S190), S160, S170, and S180 are performed to determine whether or not the first target and the second target are located, If the threshold value is not satisfied, it is determined that the first and second targets are different targets and are located in the second and third subareas (2 & cir &

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.It is to be understood that the terms "comprises", "comprising", or "having" as used in the foregoing description mean that the constituent element can be implanted unless specifically stated to the contrary, But should be construed as further including other elements.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

Claims (10)

제1 영역 내에 주행하는 제1 타겟(target)을 감지하여, 타겟정보를 출력하는 라이다 센서모듈;
상기 제1 영역과 일부 영역이 중첩되는 제2 영역 내에 주행하는 제2 타겟(target)을 포함하는 타겟영상정보를 출력하는 카메라 센서모듈; 및
상기 타겟정보 및 상기 타겟영상정보 입력시, 설정된 퓨전인식 알고리즘에 따라 상기 제1, 2 타겟이 동일타겟 여부를 판단하여, 차속을 능동제어하거나 또는 경고를 발생시키는 제어모듈;을 포함하는 자동차의 통합센서 시스템.A Lada sensor module for sensing a first target traveling in a first area and outputting target information;
A camera sensor module for outputting target image information including a second target traveling in a second region in which the first region overlaps with the first region; And
And a control module for determining whether the first target and the second target are the same target according to a fusion recognition algorithm when the target information and the target video information are inputted and thereby to actively control the vehicle speed or to generate a warning Sensor system. 제 1 항에 있어서,
상기 제1 라이다 센서모듈은,
상기 제1 영역으로 제1 신호를 송신하는 송신부;
상기 제1 영역 내에 주행하는 상기 제1 타겟으로부터 상기 제1 신호에 따라 반사된 제2 신호를 수신하는 수신부; 및
상기 제1, 2 신호를 기반으로 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부;를 포함하는 자동차의 통합센서 시스템.The method according to claim 1,
Wherein the first RL sensor module comprises:
A transmitter for transmitting a first signal to the first area;
A receiver for receiving a second signal reflected from the first target traveling in the first region according to the first signal; And
And a sensor controller for generating and outputting the target information for the first target based on the first and second signals. 제 2 항에 있어서,
상기 수신부는,
상기 제2 신호를 수신하는 수신각도가 다른 복수의 라이다 센서를 포함하는 자동차의 통합센서 시스템.3. The method of claim 2,
The receiver may further comprise:
And a plurality of radar sensors having different receiving angles for receiving the second signals. 제 2 항에 있어서,
상기 센서제어부는,
상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간 중 적어도 하나를 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력하는 자동차의 통합센서 시스템.3. The method of claim 2,
The sensor control unit,
A distance and a relative speed of the first target based on at least one of a signal size of the first and second signals, a reception angle of the second signal, and a transmission / reception time between the first and second signals, And generates and outputs the target information. 제 1 항에 있어서,
상기 카메라 센서모듈은,
상기 제2 타겟이 포함된 영상을 촬영하는 적어도 하나의 이미지 센서를 포함하고,
상기 카메라 센서모듈은,
상기 적어도 하나의 이미지 센서에서 촬영한 상기 영상에 대응하는 상기 타겟영상정보를 생성 및 출력하는 자동차의 통합센서 시스템.The method according to claim 1,
Wherein the camera sensor module comprises:
And at least one image sensor for capturing an image including the second target,
Wherein the camera sensor module comprises:
And generates and outputs the target image information corresponding to the image photographed by the at least one image sensor. 제 1 항에 있어서,
상기 제1 영역은,
상기 라이다 센서모듈의 설치지점에서 상기 차량의 전방으로 20m의 거리를 포함하는 영역이며,
상기 일부영역은,
상기 설치지점에서 7m 에서 20m의 거리를 포함하는 영역인 자동차의 통합센서 시스템. The method according to claim 1,
Wherein the first region comprises:
An area including a distance of 20 m from the installation point of the LIDAR sensor module to the front of the vehicle,
The partial area may include,
And an area including a distance of 7 m to 20 m from the installation point. 제 6 항에 있어서,
상기 제2 영역은,
상기 카메라 센서모듈의 설치지점에서 7 m 떨어진 지점에서 100 m의 거리를 포함하는 영역인 자동차의 통합센서 시스템.The method according to claim 6,
Wherein the second region comprises:
And a distance of 100 m from a point 7 m away from the installation point of the camera sensor module. 제 1 항에 있어서,
상기 제어모듈은,
상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 상기 일부영역에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부; 및
상기 일부영역에서 상 기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어하거나, 또는 상기 제1, 2 타겟이 다른타겟이면 경고를 발생시키는 타겟인식 실행부;를 포함하는 자동차의 통합센서 시스템.The method according to claim 1,
The control module includes:
A target determining unit for aligning the input time of the target information and the target video information by aligning them and determining whether the target information is input in the partial area according to the aligned synchronization sequence; And
If the target information is input in the partial region, the fusion target algorithm is applied to the fusion recognition algorithm to provide the fusion target ID if the first and second targets are the same target, or the vehicle speed is actively controlled, And a target recognition executing unit for generating a warning if the target is a target. 제 8 항에 있어서,
상기 타겟인식 실행부는,
상기 일부영역에서 상기 타겟정보 입력시, 상기 타겟정보에 포함된 수신각도를 기반으로 상기 제1 타겟의 위치에 대응하는 제1 위치좌표를 라이다좌표계에서 영상좌표계로 변환하는 좌표 변환부;
상기 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표가 설정된 제1 임계값 범위 내에 속하는지 판단하는 좌표 판단부;
상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하는 거리 판단부;
상기 타겟정보에 포함된 상대속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단하는 속도 판단부; 및
상기 제1, 2, 3 임계값 범위 내에 모두 속하면 상기 제1, 2 타겟이 동일타겟으로 판단하여 퓨전타겟ID를 부여하여 상기 차속을 능동제어하고, 상기 제1, 2, 3 임계값 범위 중 하나라도 속하지 않으면 상기 제1, 2 타겟이 다른타겟으로 판단하면 상기 경고를 발생시키는 제어부;를 포함하는 자동차의 통합센서 시스템.9. The method of claim 8,
Wherein the target recognition unit
A coordinate converter for converting a first position coordinate corresponding to a position of the first target from a Lada coordinate system to an image coordinate system based on a reception angle included in the target information when the target information is input in the partial area;
Calculating a first target center coordinate and a second target center coordinate based on the first position coordinate and the second position coordinate of the second target and calculating the first target center coordinate within a first threshold value range A coordinate determination unit for determining whether the object belongs;
A distance determination unit for determining whether a distance difference between the first and second targets is within a second threshold value range based on the first position coordinate and the second position coordinate;
A speed determining unit for determining whether a speed difference between a relative speed included in the target information and a speed calculated based on the target image information is within a third threshold value range set; And
The first and second targets are determined to be the same target and the fusion target ID is given to active control of the vehicle speed, and if the first and second targets are within the first, second and third threshold values, And generating the warning if the first and second targets are determined to be different targets if at least one of the first and second targets is not included. 제 9 항에 있어서,
상기 제어부는,
상기 일부영역에서 상기 타겟정보가 입력되지 않으면, 상기 경고를 발생시키는 자동차의 통합센서 시스템.10. The method of claim 9,
Wherein,
And if the target information is not input in the partial area, generates the warning.
KR1020140095942A 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles KR102192256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Publications (2)

Publication Number Publication Date
KR20160013736A true KR20160013736A (en) 2016-02-05
KR102192256B1 KR102192256B1 (en) 2020-12-17

Family

ID=55353553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Country Status (1)

Country Link
KR (1) KR102192256B1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (en) * 2017-02-23 2017-06-30 苏州大学 Obstacle detection method based on multi-sensor information fusion
KR20200067506A (en) * 2018-12-04 2020-06-12 현대자동차주식회사 Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same
KR20210048890A (en) * 2019-10-24 2021-05-04 현대모비스 주식회사 Automotive sensor integration module
KR20210048891A (en) * 2019-10-24 2021-05-04 현대모비스 주식회사 Automotive sensor integration module and system using the same
KR20210049237A (en) * 2019-10-24 2021-05-06 현대모비스 주식회사 Automotive sensor integration module
KR20210050570A (en) * 2019-10-24 2021-05-07 트라이아이 엘티디. Photonics system and method
KR20210066572A (en) * 2019-11-28 2021-06-07 슈어소프트테크주식회사 Electronic device for combining image data and sensing data, and data combining method of the electronic device
CN114291077A (en) * 2021-12-23 2022-04-08 海宁奕斯伟集成电路设计有限公司 Vehicle anti-collision early warning method and device
US11606515B2 (en) 2019-10-24 2023-03-14 Trieye Ltd Methods and systems for active SWIR imaging using germanium receivers
US11664471B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems, methods, and computer program products for image generation
US11665447B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems and methods for compensating for dark current in a photodetecting device
KR20230078846A (en) * 2021-11-26 2023-06-05 재단법인 지능형자동차부품진흥원 Omnidirectional image awareness device for autonomous vechicles using multiple sensors and method thereof
US11768918B2 (en) 2019-10-25 2023-09-26 Hyundai Mobis Co., Ltd. Automotive sensor integration module
US11811194B2 (en) 2019-10-24 2023-11-07 Trieye Ltd. Passive Q-switched lasers and methods for operation and manufacture thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244474A (en) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd External world recognition device of automobile
KR20110126938A (en) * 2010-05-18 2011-11-24 주식회사 만도 Sensor and alignment adjusting method
JP4933144B2 (en) * 2006-05-15 2012-05-16 本田技研工業株式会社 Object detection device
JP2014006123A (en) * 2012-06-22 2014-01-16 Toyota Motor Corp Object detection device, information processing device, and object detection method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4933144B2 (en) * 2006-05-15 2012-05-16 本田技研工業株式会社 Object detection device
JP2010244474A (en) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd External world recognition device of automobile
KR20110126938A (en) * 2010-05-18 2011-11-24 주식회사 만도 Sensor and alignment adjusting method
JP2014006123A (en) * 2012-06-22 2014-01-16 Toyota Motor Corp Object detection device, information processing device, and object detection method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (en) * 2017-02-23 2017-06-30 苏州大学 Obstacle detection method based on multi-sensor information fusion
CN106908783B (en) * 2017-02-23 2019-10-01 苏州大学 Based on obstacle detection method combined of multi-sensor information
KR20200067506A (en) * 2018-12-04 2020-06-12 현대자동차주식회사 Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same
US11789141B2 (en) 2018-12-04 2023-10-17 Hyundai Motor Company Omnidirectional sensor fusion system and method and vehicle including the same
US11606515B2 (en) 2019-10-24 2023-03-14 Trieye Ltd Methods and systems for active SWIR imaging using germanium receivers
US11810990B2 (en) 2019-10-24 2023-11-07 Trieye Ltd. Electro-optical systems, methods and computer program products for image generation
KR20210050570A (en) * 2019-10-24 2021-05-07 트라이아이 엘티디. Photonics system and method
CN114679531B (en) * 2019-10-24 2024-03-05 趣眼有限公司 System for generating image, method for generating image information, and computer-readable medium
US11827236B2 (en) 2019-10-24 2023-11-28 Hyundai Mobis Co., Ltd. Automotive sensor integration module and system using the same
CN114679531A (en) * 2019-10-24 2022-06-28 趣眼有限公司 System for generating image, method for generating image information, and computer-readable medium
KR20210048891A (en) * 2019-10-24 2021-05-04 현대모비스 주식회사 Automotive sensor integration module and system using the same
US11664471B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems, methods, and computer program products for image generation
US11665447B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems and methods for compensating for dark current in a photodetecting device
US11811194B2 (en) 2019-10-24 2023-11-07 Trieye Ltd. Passive Q-switched lasers and methods for operation and manufacture thereof
KR20210049237A (en) * 2019-10-24 2021-05-06 현대모비스 주식회사 Automotive sensor integration module
US11782153B2 (en) 2019-10-24 2023-10-10 Hyundai Mobis Co., Ltd. Automotive sensor integration module
KR20210048890A (en) * 2019-10-24 2021-05-04 현대모비스 주식회사 Automotive sensor integration module
US11768918B2 (en) 2019-10-25 2023-09-26 Hyundai Mobis Co., Ltd. Automotive sensor integration module
KR20210066572A (en) * 2019-11-28 2021-06-07 슈어소프트테크주식회사 Electronic device for combining image data and sensing data, and data combining method of the electronic device
KR20230078846A (en) * 2021-11-26 2023-06-05 재단법인 지능형자동차부품진흥원 Omnidirectional image awareness device for autonomous vechicles using multiple sensors and method thereof
CN114291077A (en) * 2021-12-23 2022-04-08 海宁奕斯伟集成电路设计有限公司 Vehicle anti-collision early warning method and device

Also Published As

Publication number Publication date
KR102192256B1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
KR102192256B1 (en) Intergrated sensor system of the vehicles
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
JP6369390B2 (en) Lane junction determination device
US9223311B2 (en) Vehicle driving support control apparatus
US9623869B2 (en) Vehicle driving support control apparatus
US9809223B2 (en) Driving assistant for vehicles
KR101787996B1 (en) Apparatus of estimating traffic lane in vehicle, control method of thereof
US10922561B2 (en) Object recognition device and vehicle travel control system
KR102027771B1 (en) Obstacle detecting apparatus and method for adaptation to vehicle velocity
JP6361366B2 (en) Object recognition device
US10836388B2 (en) Vehicle control method and apparatus
KR102178433B1 (en) Auto emergency braking system and method for recognizing pedestrian of the same
KR102042438B1 (en) Radar-camera fusion system and target detecting method using the same
JP2014085331A (en) Method and system for recognizing space of road shoulder
US10527719B2 (en) Object detection apparatus and object detection method
KR20140137577A (en) Apparatus and method for providing vehicle of circumference environment information
KR20180007412A (en) Multi sensor based obstacle detection apparatus and method
JP2010162975A (en) Vehicle control system
JP7122101B2 (en) Vehicle obstacle detection device
KR20150142542A (en) Intergrated sensor system of the vehicles
KR20150142543A (en) Intergrated sensor system of the vehicles
KR101789294B1 (en) Around view system of vehicle and method thereof
JP4394476B2 (en) Vehicle driving support device
KR102535598B1 (en) Vision based obstacle detection apparatus and method using radar and camera
JP6014534B2 (en) Vehicle white line recognition device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right