KR102192256B1 - Intergrated sensor system of the vehicles - Google Patents

Intergrated sensor system of the vehicles Download PDF

Info

Publication number
KR102192256B1
KR102192256B1 KR1020140095942A KR20140095942A KR102192256B1 KR 102192256 B1 KR102192256 B1 KR 102192256B1 KR 1020140095942 A KR1020140095942 A KR 1020140095942A KR 20140095942 A KR20140095942 A KR 20140095942A KR 102192256 B1 KR102192256 B1 KR 102192256B1
Authority
KR
South Korea
Prior art keywords
target
area
targets
vehicle
information
Prior art date
Application number
KR1020140095942A
Other languages
Korean (ko)
Other versions
KR20160013736A (en
Inventor
류수용
김영신
김원겸
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140095942A priority Critical patent/KR102192256B1/en
Publication of KR20160013736A publication Critical patent/KR20160013736A/en
Application granted granted Critical
Publication of KR102192256B1 publication Critical patent/KR102192256B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/68—Radar-tracking systems; Analogous systems for angle tracking only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/70—Radar-tracking systems; Analogous systems for range tracking only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 제1 영역 내에 주행하는 제1 타겟(target)을 감지하여, 타겟정보를 출력하는 라이다 센서모듈, 상기 제1 영역과 일부 영역이 중첩되는 제2 영역 내에 주행하는 제2 타겟(target)을 포함하는 타겟영상정보를 출력하는 카메라 센서모듈 및 상기 타겟정보 및 상기 타겟영상정보 입력시, 설정된 퓨전인식 알고리즘에 따라 상기 제1, 2 타겟이 동일타겟 여부를 판단하여, 차속을 능동제어하거나 또는 경고를 발생시키는 제어모듈을 포함하는 자동차의 통합센서 시스템을 제공한다.The present invention provides a lidar sensor module that detects a first target traveling in a first area and outputs target information, and a second target traveling in a second area where the first area and a partial area overlap. target), and when the target information and the target image information are input, it is determined whether the first and second targets are the same target according to a set fusion recognition algorithm, and the vehicle speed is actively controlled. It provides an integrated sensor system of a vehicle including a control module that generates or generates an alarm.

Description

자동차의 통합센서 시스템{Intergrated sensor system of the vehicles}Integrated sensor system of the vehicles

본 발명은 자동차의 통합센서 시스템에 관한 것으로서, 더욱 상세하게는 차량의 전방에 주행하는 선행차량을 인식하기 용이한 자동차의 통합센서 시스템에 관한 것이다. The present invention relates to an integrated sensor system of a vehicle, and more particularly, to an integrated sensor system of a vehicle that facilitates recognizing a preceding vehicle traveling in front of the vehicle.

라이다(Lidar) 센서와 카메라 센서는 차량 전방의 장애물을 관측하여 충돌 경보 혹은 AEB를 작동시키기 위한 목적으로 사용된다. Lidar sensor and camera sensor are used for the purpose of activating a collision warning or AEB by observing obstacles in front of the vehicle.

라이다 센서는 물체 검출 신뢰성 및 거리 정확도는 높지만 물체 분류가 어려운 반면, 카메라는 물체 분류는 가능하지만 거리 정확도와 검출율이 낮으며 환경에 민감한 단점을 갖고 있다. Although the lidar sensor has high object detection reliability and distance accuracy, it is difficult to classify objects, while the camera can classify objects, but has low distance accuracy and detection rate, and is sensitive to the environment.

따라서, 두 센서를 상호보완적으로 퓨전하여 통합 센서 시스템의 성능 및 신뢰성을 높이는 것이 필요하다.Therefore, it is necessary to improve the performance and reliability of the integrated sensor system by complementary fusion of the two sensors.

하지만, 통합 센서 시스템은 일반적으로 두 센서에서 모두 물체가 검출된 경우에만 물체 검출로 판단하고 하나의 센서에서 물체 검출이 되지 않은 경우에는 미검출로 판단하고 검출된 정보를 버리는 방법을 사용하고 있어, 물체 검출이 된 경우의 신뢰성은 높여주는 반면 물체 검출율은 오히려 낮출수 있다.However, in general, the integrated sensor system uses a method of determining object detection only when an object is detected by both sensors, and judging that the object is not detected by one sensor, and discarding the detected information. When an object is detected, the reliability of the object is improved, while the object detection rate can be lowered.

최근 들어, 통합 센서 시스템을 적용하여, 물체 검출에 대한 정확도 및 검출율을 높이기 위한 연구가 진행 중에 있다.Recently, research is underway to increase the accuracy and detection rate of object detection by applying an integrated sensor system.

본 발명의 목적은, 차량의 전방에 주행하는 선행차량을 인식하기 용이한 자동차의 통합센서 시스템을 제공함에 있다.An object of the present invention is to provide an integrated sensor system for a vehicle that is easy to recognize a preceding vehicle running in front of a vehicle.

본 발명에 따른 자동차의 통합센서 시스템은, 제1 영역 내에 주행하는 제1 타겟(target)을 감지하여, 타겟정보를 출력하는 라이다 센서모듈, 상기 제1 영역과 일부 영역이 중첩되는 제2 영역 내에 주행하는 제2 타겟(target)을 포함하는 타겟영상정보를 출력하는 카메라 센서모듈 및 상기 타겟정보 및 상기 타겟영상정보 입력시, 설정된 퓨전인식 알고리즘에 따라 상기 제1, 2 타겟이 동일타겟 여부를 판단하여, 차속을 능동제어하거나 또는 경고를 발생시키는 제어모듈을 포함하고 상기 제어모듈은 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 상기 일부영역에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부 및 상기 일부영역에서 상기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어고, 상기 제1, 2 타겟이 서로 다른 타겟이면 경고를 발생시키는 타겟인식 실행부를 포함하고, 상기 타겟인식 실행부는 상기 일부영역에서 상기 타겟정보 입력시, 상기 타겟정보에 포함된 수신각도를 기반으로 상기 제1 타겟의 위치에 대응하는 제1 위치좌표를 라이다좌표계에서 영상좌표계로 변환하는 좌표 변환부, 상기 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표의 x축 좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단하는 좌표 판단부, 상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하는 거리 판단부상기 타겟정보에 포함된 속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단하는 속도 판단부 및 상기 제1, 2, 3 임계값 범위 내에 모두 속하면 상기 제1, 2 타겟을 동일타겟으로 판단하여 퓨전타겟ID를 부여하여 상기 차속을 능동제어하고, 상기 제1, 2, 3 임계값 범위 중 하나라도 속하지 않으면 상기 제1, 2 타겟을 다른타겟으로 판단하여 상기 경고를 발생시키는 제어부를 포함하고, 상기 제1 임계값 범위는 영상좌표계의 x축 중심좌표를 중심으로 하는 x축에 대한 범위이다.The integrated sensor system of a vehicle according to the present invention includes a lidar sensor module that detects a first target traveling in a first area and outputs target information, and a second area in which the first area and a partial area overlap. A camera sensor module that outputs target image information including a second target driving within and when the target information and the target image information are input, whether the first and second targets are the same target according to a set fusion recognition algorithm And a control module that determines and actively controls the vehicle speed or generates a warning, and the control module synchronizes and arranges the input time of the target information and the target image information, and in the partial area according to the aligned synchronization order. A target determination unit that determines whether target information is input and when the target information is input in the partial area, it is applied to the fusion recognition algorithm, and if the first and second targets are the same target, a fusion target ID is assigned to actively control the vehicle speed. , When the first and second targets are different targets, a target recognition execution unit that generates a warning, and the target recognition execution unit, when the target information is input in the partial region, based on a reception angle included in the target information A coordinate conversion unit that converts a first position coordinate corresponding to the position of a first target from a lidar coordinate system to an image coordinate system, based on the first position coordinate and the second position coordinate of the second target, the first target center coordinate And a coordinate determination unit that calculates a second target central coordinate and determines whether a difference between the x-axis coordinates of the first and second target central coordinates falls within a set first threshold value range, the first position coordinate and the second position. A distance determination unit that determines whether the distance difference between the first and second targets falls within a set second threshold range based on coordinates, and the speed difference between the speed included in the target information and the speed calculated based on the target image information is A speed determination unit that determines whether or not it falls within a set third threshold range, and if it falls within the first, second, and third threshold ranges, determines the first and second targets as the same target and assigns a fusion target ID to the It includes a control unit that actively controls the vehicle speed and generates the warning by determining the first and second targets as different targets if they do not belong to any of the first, second, and third threshold ranges, and the first threshold range is It is the range of the x-axis centered on the x-axis center coordinate of the image coordinate system.

상기 라이다 센서모듈은, 상기 제1 영역으로 제1 신호를 송신하는 송신부, 상기 제1 영역 내에 주행하는 상기 제1 타겟으로부터 상기 제1 신호에 따라 반사된 제2 신호를 수신하는 수신부 및 상기 제1, 2 신호를 기반으로 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부를 포함할 수 있다.The lidar sensor module includes a transmitter configured to transmit a first signal to the first area, a receiver configured to receive a second signal reflected according to the first signal from the first target traveling in the first area, and the second It may include a sensor controller that generates and outputs the target information for the first target based on signals 1 and 2.

상기 수신부는, 상기 제2 신호를 수신하는 수신각도가 다른 복수의 라이다 센서를 포함할 수 있다.The receiver may include a plurality of lidar sensors having different reception angles for receiving the second signal.

상기 센서제어부는, 상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간을 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력한다.The sensor control unit, based on the signal level of the first and second signals, the reception angle of the second signal, and the time required for transmission and reception between the first and second signals, the position, distance, and relative speed of the first target. Generates and outputs the included target information.

상기 카메라 센서모듈은, 상기 제2 타겟이 포함된 영상을 촬영하는 적어도 하나의 이미지 센서를 포함하고, 상기 카메라 센서모듈은, 상기 적어도 하나의 이미지 센서에서 촬영한 상기 영상에 대응하는 상기 타겟영상정보를 생성 및 출력한다.The camera sensor module includes at least one image sensor for capturing an image including the second target, and the camera sensor module includes the target image information corresponding to the image captured by the at least one image sensor. And output.

상기 제1 영역은, 상기 라이다 센서모듈의 설치지점에서 상기 자동차의 전방으로 20m의 거리를 포함하는 영역이며, 상기 일부영역은, 상기 설치지점에서 7m 에서 20m의 거리를 포함하는 영역이다.The first area is an area including a distance of 20m from the installation point of the lidar sensor module to the front of the vehicle, and the partial area is an area including a distance of 7m to 20m from the installation point.

상기 제2 영역은, 상기 카메라 센서모듈의 설치지점에서 7 m 떨어진 지점에서 100 m의 거리를 포함하는 영역이다.The second area is an area including a distance of 100 m from a point 7 m away from the installation point of the camera sensor module.

삭제delete

삭제delete

상기 제어부는, 상기 일부영역에서 상기 타겟정보가 입력되지 않으면, 상기 경고를 발생시킨다.When the target information is not input in the partial area, the control unit generates the warning.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 전방에 주행하는 선행차량, 즉 타겟을 라이다 센서모듈 및 카메라 센서모듈을 검출하고, 라이다 센서모듈 및 카메라 센서모듈에서 검출한 타겟이 동일 타겟으로 판단하기 용이하도록 함으로써 타겟에 대한 검출 인식에 대한 정확도 및 검출율을 높일 수 있는 이점이 있다.The integrated sensor system of a vehicle according to the present invention detects a lidar sensor module and a camera sensor module as a preceding vehicle traveling in front of the vehicle, that is, a target, and the target detected by the lidar sensor module and the camera sensor module is the same target. By making it easy to determine as, there is an advantage in that the accuracy and detection rate for detection and recognition of the target can be increased.

또한, 본 발명에 따른 자동차의 통합센서 시스템은, 라이다 센서모듈에서 감지한 타겟과 카메라 센서모듈에서 감지한 타겟이 서로 다른 타겟이면, 경고를 발생시킬 수 있는 이점이 있다.In addition, the integrated sensor system of a vehicle according to the present invention has the advantage of generating a warning if the target detected by the lidar sensor module and the target detected by the camera sensor module are different targets.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에서 타겟을 검출하는 영역을 나타낸 도이다.
도 2는 본 발명에 따른 자동차의 통합센서 시스템에 대한 제어구성을 나타낸 제어블록도이다.
도 3은 본 발명에 따른 자동차의 통합센서 시스템에 대한 동작방법을 나타낸 순서도이다.1 is a diagram showing an area for detecting a target in an integrated sensor system of a vehicle according to the present invention.
2 is a control block diagram showing a control configuration for an integrated sensor system of a vehicle according to the present invention.
3 is a flow chart showing a method of operating the integrated sensor system of a vehicle according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 발광소자를 이루는 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.In addition, angles and directions mentioned in the process of describing the structure of the present invention are based on those described in the drawings. In the description of the structure constituting the light emitting device in the specification, when the reference point and the positional relationship with respect to the angle are not clearly mentioned, the related drawings will be referred to.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에서 타겟을 검출하는 영역을 나타낸 도 및 도 2는 본 발명에 따른 자동차의 통합센서 시스템에 대한 제어구성을 나타낸 제어블록도이다.1 is a view showing an area for detecting a target in an integrated sensor system of a vehicle according to the present invention, and FIG. 2 is a control block diagram showing a control configuration for an integrated sensor system of a vehicle according to the present invention.

도 1 및 도 2를 참조하면, 자동차의 통합센서 시스템은 차량의 중앙부, 즉 윈드쉴드(windshield)에 장착되며, 차량의 진행방향을 위치한 물체, 즉 장애물 및 전방차량을 감지할 수 있다.Referring to FIGS. 1 and 2, the integrated sensor system of a vehicle is mounted on a central part of a vehicle, that is, a windshield, and can detect an object located in a traveling direction of the vehicle, that is, an obstacle and a vehicle ahead.

실시 예에서, 통합센서 시스템은 라이다 센서모듈(110), 카메라 센서모듈(120) 및 제어모듈(130)을 포함할 수 있다.In an embodiment, the integrated sensor system may include a lidar sensor module 110, a camera sensor module 120 and a control module 130.

여기서, 라이다 센서모듈(110) 및 카메라 센서모듈(120)은 별도의 센서모듈인 것으로 나타내고 설명하지만, 하나의 통합센서 모듈로 구현될 수 있으며, 이에 한정을 두지 않는다.Here, the lidar sensor module 110 and the camera sensor module 120 are shown and described as being separate sensor modules, but may be implemented as one integrated sensor module, and the present invention is not limited thereto.

(a)는 통합센서 시스템에 대하여 상면 또는 평면으로 감지하는 영역을 나타낸 것이며, (b)는 통합센서 시스템에서 차량의 측면으로 감지하는 영역을 나타낸 것이다.(a) shows the area that the integrated sensor system detects from the top or plane, and (b) shows the area that the integrated sensor system detects from the side of the vehicle.

(a) 및 (b)에 나타낸 바와 같이, 통합센서 시스템은 차량의 전방방향으로 라이다 센서모듈(110)의 제1, 2 보조영역(①, ②)을 포함하는 제1 영역(미도시)에 위치한 제1 타겟을 검출할 수 있으며, 카메라 센서모듈(120)의 제2, 3 보조영역(②, ③)을 포함하는 제2 영역(미도시)에 위치한 제2 타겟을 검출할 수 있다.As shown in (a) and (b), the integrated sensor system includes a first area (not shown) including the first and second auxiliary areas (①, ②) of the lidar sensor module 110 in the front direction of the vehicle. A first target located in may be detected, and a second target located in a second area (not shown) including the second and third auxiliary areas ② and ③ of the camera sensor module 120 may be detected.

여기서, 제2 보조영역(②)은 상기 제1, 2 영역 사이에 서로 중첩되는 일부영역이며, 이에 한정을 두지 않는다.Here, the second auxiliary region ② is a partial region overlapping each other between the first and second regions, and the present invention is not limited thereto.

실시 예에서, 라이다 센서모듈(110) 및 카메라 센서모듈(120) 각각은 하나의 제1, 2 타겟을 검출하는 것으로 설명하였으나, 상기 제1, 2 타겟의 개수 및 위치에 대하여 한정을 두지 않는다.In the embodiment, it has been described that each of the lidar sensor module 110 and the camera sensor module 120 detects one first and second target, but the number and location of the first and second targets are not limited. .

우선, 라이다 센서모듈(110)은 차량에서 제1 거리(d1)에 해당되는 제1 보조영역(①) 및 제1 보조영역(①)에서 제2 거리(d2)에 해당되는 제2 보조영역(②)에 위치한 상기 제1 물체를 검출할 수 있다.First, the lidar sensor module 110 is a first auxiliary area (①) corresponding to the first distance (d1) from the vehicle and a second auxiliary area corresponding to the second distance (d2) from the first auxiliary area (①) The first object located at (②) may be detected.

제1 거리(d1)는 라이다 센서모듈(110)의 설치지점에서 7m의 거리이며, 제2 거리(d2)는 상기 설치지점에서 제1 거리(d1) 이후에 7m 에서 20m의 거리이다.The first distance d1 is a distance of 7m from the installation point of the lidar sensor module 110, and the second distance d2 is a distance of 7m to 20m after the first distance d1 from the installation point.

즉, 라이다 센서모듈(110)은 제1, 2 보조 영역(①, ②)으로 제1 신호를 송신하는 송신부(112), 제1, 2 보조 영역(①, ②)에 위치한 상기 제1 타겟에서 상기 제1 신호에 대응하여 반사된 제2 신호를 수신하는 수신부(114) 및 상기 제1, 2 신호를 기반으로, 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부(116)를 포함할 수 있다.That is, the lidar sensor module 110 is a transmitter 112 that transmits a first signal to the first and second auxiliary areas (①, ②), and the first target located in the first and second auxiliary areas (①, ②). A receiving unit 114 for receiving a second signal reflected in response to the first signal at and a sensor control unit 116 for generating and outputting the target information for the first target based on the first and second signals It may include.

여기서, 송신부(112)는 제1, 2 보조 영역(①, ②)으로 상기 제1 신호를 송신 또는 방사할 수 있다.Here, the transmitter 112 may transmit or radiate the first signal to the first and second auxiliary regions (①, ②).

수신부(114)는 송신부(112)에서 송신된 상기 제1 신호에 대응하며, 상기 제1 물체에서 반사된 제2 신호를 수신할 수 있다.The receiving unit 114 corresponds to the first signal transmitted from the transmitting unit 112 and may receive a second signal reflected from the first object.

실시 예에서, 수신부(114)는 상기 제2 신호를 수신하는 복수의 라이다 센서를 포함할 수 있으며, 상기 복수의 라이다 센서 중 적어도 하나는 상기 제2 신호를 수신하는 수신각도가 서로 다를 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the receiver 114 may include a plurality of lidar sensors for receiving the second signal, and at least one of the plurality of lidar sensors may have different reception angles for receiving the second signal. However, it is not limited thereto.

센서제어부(116)는 상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간 중 적어도 하나를 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력할 수 있다.The sensor control unit 116 is based on at least one of the signal level of the first and second signals, the reception angle of the second signal, and the time required for transmission and reception between the first and second signals, and the position and distance of the first target. And it is possible to generate and output the target information including the relative speed.

카메라 센서모듈(120)은 제2, 3 보조영역(②, ③)에 위치하는 상기 제2 타겟을 포함하는 영상을 촬영하여, 상기 영상에 대응하는 타겟영상정보를 생성 및 출력할 수 있다.The camera sensor module 120 may capture an image including the second target located in the second and third auxiliary areas ② and ③, and generate and output target image information corresponding to the image.

즉, 카메라 센서모듈(120)은 제2 보조 영역(②)에서 제3 거리(d3)에 해당하는 제3 보조영역(③)에 대한 상기 영상을 촬영하는 적어도 하나의 이미지 센서를 포함할 수 있다.That is, the camera sensor module 120 may include at least one image sensor for photographing the image of the third auxiliary area ③ corresponding to the third distance d3 from the second auxiliary area ②. .

제3 거리(d3)는 제2 거리(d2) 이후지점에서 80m 의 거리이다.The third distance d3 is a distance of 80 m from the point after the second distance d2.

카메라 센서모듈(120)은 상기 적어도 이미지 센서에서 촬영한 상기 영상을 기반으로 상기 타겟영상정보를 생성할 수 있으며, 실시 예에서 상기 타겟영상정보에는 상기 제2 타겟이 포함된 것으로 설명한다.The camera sensor module 120 may generate the target image information based on at least the image captured by the image sensor. In an embodiment, it will be described that the target image information includes the second target.

제어모듈(130)은 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 제2 보조 영역(②)에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부(132) 및 제2 보조 영역(②)에서 상기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어하거나, 또는 상기 제1, 2 타겟이 다른타겟이면 경고를 발생시키는 타겟인식 실행부(134)를 포함한다.The control module 130 synchronizes and aligns the target information and the input time of the target image information, and determines whether the target information is input in the second auxiliary area ② according to the aligned synchronization order. ) And the second auxiliary area (②), when the target information is input, applied to the fusion recognition algorithm, and if the first and second targets are the same target, a fusion target ID is assigned to actively control the vehicle speed, or the first , 2 It includes a target recognition execution unit 134 that generates a warning if the target is another target.

우선, 타겟 판단부(132)는 라이다 센서모듈(110)로부터 입력된 상기 타겟정보 및 카메라 센서모듈(120)로부터 입력된 상기 타겟영상정보의 입력시점을 기준으로 시간 정렬하하고, 정렬된 동기화 순서에 따라 제2 보조 영역(②)에서 상기 타겟정보가 입력되는지 판단할 수 있다.First, the target determination unit 132 performs time alignment based on the input time of the target information input from the lidar sensor module 110 and the target image information input from the camera sensor module 120, and aligns the alignment. It may be determined whether the target information is input in the second auxiliary area ② according to an order.

타겟인식 실행부(134)는 좌표 변환부(135), 좌표 판단부(136), 거리 판단부(137), 속도 판단부(138) 및 제어부(139)를 포함할 수 있다.The target recognition execution unit 134 may include a coordinate conversion unit 135, a coordinate determination unit 136, a distance determination unit 137, a speed determination unit 138, and a control unit 139.

우선, 좌표 변환부(135)는 라이다 센서모듈(110)에서 감지된 상기 제1 타겟이 제2 보조 영역(②)에 존재하는 것으로 판단하면, 카메라 로직 구현에 이용한 Visual C를 이용하여 이미지 프로세스 chip에 로직을 구현되며, 이미지 처리를 위해서는 라이다 센서모듈(110)에서 입력된 상기 타겟정보를 라이다 좌표계에서 설정된 영상 좌표계로 변환한다.First, if the coordinate conversion unit 135 determines that the first target detected by the lidar sensor module 110 exists in the second auxiliary area (②), the image process is performed using Visual C used to implement the camera logic. The logic is implemented on the chip, and for image processing, the target information input from the lidar sensor module 110 is converted into an image coordinate system set in the lidar coordinate system.

이때, 좌표 변환부(135)는 상기 타겟정보에 포함된 상기 제2 신호의 수신각도를 이용하여 변환한다. In this case, the coordinate conversion unit 135 converts the second signal by using the reception angle of the second signal included in the target information.

즉, 좌표변환부(137)는 라이다 센서모듈(110)에서 감지한 상기 제1 타겟과 카메라 센서모듈(120)에서 촬영한 상기 제2 타겟이 동일 타겟인지 확인하기 위해 동일한 영상좌표계로 변환한다. That is, the coordinate conversion unit 137 converts the first target detected by the lidar sensor module 110 and the second target photographed by the camera sensor module 120 into the same image coordinate system to determine whether the same target. .

좌표변환부(137)는 하기의 [수학식 1]에 따라 상기 수신각도를 기반으로 상기 제1 타겟의 위치좌표로 변환할 수 있다.다.The coordinate conversion unit 137 may convert the position coordinates of the first target based on the reception angle according to Equation 1 below.

Figure 112014071290154-pat00001
Figure 112014071290154-pat00001

여기서, Y위치좌표는 영상좌표계로 변환된 제1 물체의 위치좌표이며, C중심위치는 제1 물체의 외관에 따른 거리에 따라 형성된 외관 중 중심거리에 해당되는 위치이며, T거리좌표이미지는 제1 물체의 외관 이미지 크기이며, N라이다센서개수는 라이다 센서모듈(110)에 포함된 복수의 라이다 센서 개수이며, X수신각도는 복수의 라이다 센서에서 제2 신호를 수신하는 수신각도를 나타낸다.Here, the Y position coordinate is the position coordinate of the first object converted to the image coordinate system, the C center position is the position corresponding to the center distance among the appearances formed according to the distance according to the outer appearance of the first object, and the T distance coordinate image is 1 is the size of the external image of the object, the number of N lidar sensors is the number of lidar sensors included in the lidar sensor module 110, and X reception angle is the reception angle at which the second signal is received from the lidar sensors. Represents.

좌표 판단부(136)는 상기 제1 타겟의 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표의 x축 좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단한다.The coordinate determination unit 136 calculates a first target center coordinate and a second target center coordinate based on the first location coordinate of the first target and the second location coordinate of the second target, and the first and second target center coordinates. It is determined whether the difference between the x-axis coordinates of the target center coordinates falls within the set first threshold value range.

또한, 상기 제1 임계값 범위는 영상좌표계의 x축 중심좌표를 사이에 두고 설정된 상기 제1 임계값 범위 내에 상기 제1, 2 위치좌표 또는 상기 제1, 2 타겟 중심좌표가 속하는지 판단할 수 있다.In addition, the first threshold range may determine whether the first and second position coordinates or the first and second target central coordinates fall within the first threshold range set with the x-axis center coordinate of the image coordinate system therebetween. have.

좌표 판단부(136)는 상기 제1, 2 타겟 중심좌표 사이의 차가 상기 제1 임계값 범위 내에 속하면 상기 제1, 2 타겟을 그룹핑한다.The coordinate determination unit 136 groups the first and second targets when the difference between the first and second target central coordinates falls within the first threshold range.

거리 판단부(137)는 상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지를 판단한다.The distance determination unit 137 determines whether a distance difference between the first and second targets falls within a set second threshold range based on the first and second positional coordinates.

즉, 거리 판단부(137)는 좌표 판단부(136)와 별도로 동작하여, 상기 제1, 2 타겟 사이이 거리차가 상기 제2 임계값 범위 내에 속하면 동일 타겟으로 그룹핑할 수 있다.That is, the distance determination unit 137 operates separately from the coordinate determination unit 136, so that when the distance difference between the first and second targets falls within the second threshold range, they may be grouped into the same target.

속도 판단부(138)는 상기 타겟정보에 포함된 상대속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단한다.The speed determination unit 138 determines whether a speed difference between the relative speed included in the target information and the speed calculated based on the target image information falls within a set third threshold value range.

즉, 속도 판단부(138)는 차량의 차속을 기반으로 상기 제1 타겟의 상대속도 및 상기 제2 타겟의 속도를 정확하게 판단할 수 있으며, 이에 따라 상기 제1, 2 타겟 사이의 속도차가 상기 제3 임계값 범위 내에 속하면 상기 제1, 2 타겟을 그룹핑한다.That is, the speed determination unit 138 may accurately determine the relative speed of the first target and the speed of the second target based on the vehicle speed of the vehicle, and accordingly, the speed difference between the first and second targets is If it falls within the 3 threshold range, the first and second targets are grouped.

제어부(139)는 좌표 판단부(136), 거리 판단부(137) 및 속도 판단부(138) 각각의 판단결과에 따라 상기 제1, 2 타겟이 동일 타겟인지를 판단하며, 상기 제1, 2 타겟이 동일 타겟으로 판단되면 퓨전타겟ID를 부여하여 차속을 능동제어하고, 상기 제1, 2 타겟이 다른 타겟으로 판단하면 경고를 발생시킬 수 있다.The control unit 139 determines whether the first and second targets are the same target according to the determination results of the coordinate determination unit 136, the distance determination unit 137, and the speed determination unit 138, respectively, and the first and second targets When the target is determined to be the same target, a fusion target ID is assigned to actively control the vehicle speed, and when the first and second targets are determined to be different targets, a warning may be generated.

여기서, 제어부(139)는 상기 제1, 2 타겟이 동일 타겟이 아니면, 상기 제1, 2 타겟이 각각 제2, 3 보조 영역(②, ③)에 위치하는 것으로 인식하여 경고를 발생시킨다.Here, if the first and second targets are not the same target, the control unit 139 recognizes that the first and second targets are located in the second and third auxiliary areas ② and ③, respectively, and generates a warning.

도 3은 본 발명에 따른 자동차의 통합센서 시스템에 대한 동작방법을 나타낸 순서도이다.3 is a flow chart showing a method of operating the integrated sensor system of a vehicle according to the present invention.

도 3을 참조하면, 통합센서 시스템은 라이다 센서모듈(110)로부터 타겟정보 및 카메라 센서모듈(120)로부터 타겟영상정보를 수신하고(S110), 상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고(S120), 상기 동기화된 상기 타겟정보 및 상기 타겟영상정보 각각에 포함된 제1, 2 타겟의 위치좌표를 설정된 동일 좌표계로 변환한다(S130).3, the integrated sensor system receives target information from the lidar sensor module 110 and target image information from the camera sensor module 120 (S110), and determines the input time of the target information and the target image information. Synchronized and aligned (S120), and the synchronized position coordinates of the first and second targets included in each of the target information and the target image information are converted into a set coordinate system (S130).

상기 동일 좌표계는 상술한 바와 같이 영상 좌표계일 수 있으며, 다른 좌표계일 수 있으며, 이에 한정을 두지 않는다.The same coordinate system may be an image coordinate system as described above, or may be a different coordinate system, but is not limited thereto.

이때, 통합센서 시스템은 라이다 센서모듈(110)에서 수신한 상기 타겟정보 내에 상기 제1 타겟이 감지되었는지 판단하고(S140), 상기 제1 타겟이 감지되면 상기 제1 타겟이 설정된 제1 보조영역(①) 내에 위치하는지 판단한다(S150).At this time, the integrated sensor system determines whether the first target is detected in the target information received from the lidar sensor module 110 (S140), and when the first target is detected, a first auxiliary area in which the first target is set. It is determined whether it is located within (①) (S150).

통합센서 시스템은 상기 제1 타겟이 제1 보조영역(①)에 위치하지 않으면, 좌표 판단부(136)에서 상기 제1, 2 타겟 각각에 대응하는 제1, 2 타겟 중심좌표의 x축 좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단하고(S160), 거리 판단부(137)에서 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하고(S170), 속도 판단부(138)에서 상기 제1 타겟의 상대속도 및 상기 제2 타겟의 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단한다(S180).In the integrated sensor system, if the first target is not located in the first auxiliary area (①), the coordinate determination unit 136 is used between the x-axis coordinates of the first and second target center coordinates corresponding to each of the first and second targets. It is determined whether the difference of is within the set first threshold range (S160), and the distance determination unit 137 determines whether the distance difference between the first and second targets falls within the set second threshold range (S170), and the speed The determination unit 138 determines whether a speed difference between the relative speed of the first target and the speed of the second target falls within a set third threshold range (S180).

통합센서 시스템은 (S160) 단계, (S170) 단계 및 (S180) 단계 모두의 판단결결과, 상기 제1, 2, 3 임계값 범위 내에 속하면 상기 제1, 2 타겟이 제2 보조영역(②)에 위치하는 것으로 판단하여, 상기 제1, 2 타겟을 그루핑하여 퓨전타겟ID를 부여하며 차속을 능동제어하고(S190), (S160) 단계, (S170) 단계 및 (S180) 단계 중 어느 하나라도 임계값을 만족하지 않으면, 상기 제1, 2 타겟이 다른 타겟으로 판단하고 제2, 3 보조영역(② ③)에 각각 위치하는 것으로 판단하여 경고를 발생시킨다(S200).In the integrated sensor system, if the determination result of all of the steps (S160), (S170) and (S180) falls within the first, second, and third threshold ranges, the first and second targets are in the second auxiliary area (②). ), the first and second targets are grouped to give a fusion target ID, and the vehicle speed is actively controlled (S190), (S160), (S170), and (S180). If the threshold is not satisfied, the first and second targets are determined to be different targets, and a warning is generated by determining that they are respectively located in the second and third auxiliary areas (② ③) (S200).

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.Terms such as "include", "consist of", or "have" described above, unless otherwise stated, mean that the corresponding component may be included, and thus other components are not excluded. It should be interpreted as being able to further include other components.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and common knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Of course, various modifications may be made by the operator, and these modifications should not be understood individually from the technical spirit or prospect of the present invention.

Claims (10)

제1 영역 내에 주행하는 제1 타겟(target)을 감지하여, 타겟정보를 출력하는 라이다 센서모듈;
상기 제1 영역과 일부 영역이 중첩되는 제2 영역 내에 주행하는 제2 타겟(target)을 포함하는 타겟영상정보를 출력하는 카메라 센서모듈; 및
상기 타겟정보 및 상기 타겟영상정보 입력시, 설정된 퓨전인식 알고리즘에 따라 상기 제1, 2 타겟의 동일타겟 여부를 판단하여, 차속을 능동제어하거나 또는 경고를 발생시키는 제어모듈;을 포함하고
상기 제어모듈은,
상기 타겟정보 및 상기 타겟영상정보의 입력시간을 동기화시켜 정렬하고, 정렬된 동기화 순서에 따라 상기 일부영역에서 상기 타겟정보가 입력되는지 판단하는 타겟 판단부; 및
상기 일부영역에서 상기 타겟정보가 입력되면, 상기 퓨전인식 알고리즘에 적용하여 상기 제1, 2 타겟이 동일타겟이면 퓨전타겟ID를 부여하여 차속을 능동제어고, 상기 제1, 2 타겟이 서로 다른 타겟이면 경고를 발생시키는 타겟인식 실행부를 포함하고,
상기 타겟인식 실행부는,
상기 일부영역에서 상기 타겟정보 입력시, 상기 타겟정보에 포함된 수신각도를 기반으로 상기 제1 타겟의 위치에 대응하는 제1 위치좌표를 라이다좌표계에서 영상좌표계로 변환하는 좌표 변환부;
상기 제1 위치좌표 및 상기 제2 타겟의 제2 위치좌표를 기반으로, 제1 타겟 중심좌표 및 제2 타겟 중심좌표를 산출하고, 상기 제1, 2 타겟 중심좌표의 x축 좌표 사이의 차가 설정된 제1 임계값 범위 내에 속하는지 판단하는 좌표 판단부;
상기 제1 위치좌표 및 상기 제2 위치좌표를 기반으로 상기 제1, 2 타겟 사이의 거리차가 설정된 제2 임계값 범위 내에 속하는지 판단하는 거리 판단부;
상기 타겟정보에 포함된 속도 및 상기 타겟영상정보를 기반으로 산출한 속도 사이의 속도차가 설정된 제3 임계값 범위 내에 속하는지 판단하는 속도 판단부; 및
상기 제1, 2, 3 임계값 범위 내에 모두 속하면 상기 제1, 2 타겟을 동일타겟으로 판단하여 퓨전타겟ID를 부여하여 상기 차속을 능동제어하고, 상기 제1, 2, 3 임계값 범위 중 하나라도 속하지 않으면 상기 제1, 2 타겟을 다른타겟으로 판단하여 상기 경고를 발생시키는 제어부
를 포함하고,
상기 제1 임계값 범위는 영상좌표계의 x축 중심좌표를 중심으로 하는 x축에 대한 범위인
자동차의 통합센서 시스템.A lidar sensor module configured to detect a first target traveling in the first area and output target information;
A camera sensor module for outputting target image information including a second target traveling in a second area where the first area and a partial area overlap; And
When the target information and the target image information are input, a control module that determines whether the first and second targets are the same target according to a set fusion recognition algorithm, and actively controls vehicle speed or generates a warning; and
The control module,
A target determination unit that synchronizes and aligns the target information and the input time of the target image information, and determines whether the target information is input in the partial region according to the aligned synchronization order; And
When the target information is input in the partial area, it is applied to the fusion recognition algorithm, and if the first and second targets are the same target, a fusion target ID is assigned to actively control the vehicle speed, and the first and second targets are different targets. Includes a target recognition execution unit that generates a warning on the back side,
The target recognition execution unit,
When the target information is input in the partial region, a coordinate conversion unit converts a first position coordinate corresponding to the position of the first target from a lidar coordinate system to an image coordinate system based on a reception angle included in the target information;
Based on the first position coordinates and the second position coordinates of the second target, the first target center coordinates and the second target center coordinates are calculated, and the difference between the x-axis coordinates of the first and second target center coordinates is set. A coordinate determination unit that determines whether it falls within a first threshold range;
A distance determination unit determining whether a distance difference between the first and second targets falls within a set second threshold range based on the first and second positional coordinates;
A speed determination unit that determines whether a speed difference between the speed included in the target information and the speed calculated based on the target image information falls within a set third threshold value range; And
If it falls within the first, second, and third threshold ranges, the first and second targets are determined as the same target, and a fusion target ID is assigned to actively control the vehicle speed, and among the first, second, and third threshold values, If at least one does not belong, the control unit determines the first and second targets as other targets and generates the warning
Including,
The first threshold value range is a range for the x-axis centered on the x-axis center coordinate of the image coordinate system.
Integrated sensor system for automobiles. 제 1 항에 있어서,
상기 라이다 센서모듈은,
상기 제1 영역으로 제1 신호를 송신하는 송신부;
상기 제1 영역 내에 주행하는 상기 제1 타겟으로부터 상기 제1 신호에 따라 반사된 제2 신호를 수신하는 수신부; 및
상기 제1, 2 신호를 기반으로 상기 제1 타겟에 대한 상기 타겟정보를 생성 및 출력하는 센서제어부;를 포함하는 자동차의 통합센서 시스템.The method of claim 1,
The lidar sensor module,
A transmitter for transmitting a first signal to the first area;
A receiver configured to receive a second signal reflected according to the first signal from the first target traveling in the first area; And
And a sensor control unit for generating and outputting the target information for the first target based on the first and second signals. 제 2 항에 있어서,
상기 수신부는,
상기 제2 신호를 수신하는 수신각도가 다른 복수의 라이다 센서를 포함하는 자동차의 통합센서 시스템.The method of claim 2,
The receiving unit,
An integrated sensor system for a vehicle including a plurality of lidar sensors having different reception angles for receiving the second signal. 제 2 항에 있어서,
상기 센서제어부는,
상기 제1, 2 신호의 신호크기, 상기 제2 신호의 수신각도 및 상기 제1, 2 신호 사이의 송수신 소요시간을 기반으로, 상기 제1 타겟의 위치, 거리 및 상대속도를 포함하는 상기 타겟정보를 생성 및 출력하는 자동차의 통합센서 시스템.The method of claim 2,
The sensor control unit,
The target information including the position, distance and relative speed of the first target based on the signal level of the first and second signals, the reception angle of the second signal, and the time required for transmission and reception between the first and second signals The integrated sensor system of the vehicle that generates and outputs. 제 1 항에 있어서,
상기 카메라 센서모듈은,
상기 제2 타겟이 포함된 영상을 촬영하는 적어도 하나의 이미지 센서를 포함하고,
상기 카메라 센서모듈은,
상기 적어도 하나의 이미지 센서에서 촬영한 상기 영상에 대응하는 상기 타겟영상정보를 생성 및 출력하는 자동차의 통합센서 시스템.The method of claim 1,
The camera sensor module,
Includes at least one image sensor for photographing an image including the second target,
The camera sensor module,
An integrated sensor system for a vehicle that generates and outputs the target image information corresponding to the image captured by the at least one image sensor. 제 1 항에 있어서,
상기 제1 영역은,
상기 라이다 센서모듈의 설치지점에서 상기 자동차의 전방으로 20m의 거리를 포함하는 영역이며,
상기 일부영역은,
상기 설치지점에서 7m 에서 20m의 거리를 포함하는 영역인 자동차의 통합센서 시스템. The method of claim 1,
The first area,
It is an area including a distance of 20m from the installation point of the lidar sensor module to the front of the vehicle,
The partial region,
An integrated sensor system for a vehicle that is an area including a distance of 7m to 20m from the installation point. 제 6 항에 있어서,
상기 제2 영역은,
상기 카메라 센서모듈의 설치지점에서 7 m 떨어진 지점에서 100 m의 거리를 포함하는 영역인 자동차의 통합센서 시스템.The method of claim 6,
The second area,
An integrated sensor system for a vehicle that includes a distance of 100 m from a point 7 m away from the installation point of the camera sensor module. 삭제delete 삭제delete 제 1 항에 있어서,
상기 제어부는,
상기 일부영역에서 상기 타겟정보가 입력되지 않으면, 상기 경고를 발생시키는 자동차의 통합센서 시스템.The method of claim 1,
The control unit,
Integrated sensor system of a vehicle generating the warning when the target information is not input in the partial area.
KR1020140095942A 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles KR102192256B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Publications (2)

Publication Number Publication Date
KR20160013736A KR20160013736A (en) 2016-02-05
KR102192256B1 true KR102192256B1 (en) 2020-12-17

Family

ID=55353553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095942A KR102192256B1 (en) 2014-07-28 2014-07-28 Intergrated sensor system of the vehicles

Country Status (1)

Country Link
KR (1) KR102192256B1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783B (en) * 2017-02-23 2019-10-01 苏州大学 Based on obstacle detection method combined of multi-sensor information
KR102569900B1 (en) * 2018-12-04 2023-08-23 현대자동차주식회사 Apparatus and method for performing omnidirectional sensor-fusion and vehicle including the same
US11606515B2 (en) 2019-10-24 2023-03-14 Trieye Ltd Methods and systems for active SWIR imaging using germanium receivers
US11811194B2 (en) 2019-10-24 2023-11-07 Trieye Ltd. Passive Q-switched lasers and methods for operation and manufacture thereof
US11665447B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems and methods for compensating for dark current in a photodetecting device
US11664471B2 (en) 2019-10-24 2023-05-30 Trieye Ltd. Systems, methods, and computer program products for image generation
KR102634605B1 (en) * 2019-10-24 2024-02-08 현대모비스 주식회사 Automotive sensor integration module
KR102635388B1 (en) 2019-10-24 2024-02-13 현대모비스 주식회사 Automotive sensor integration module and system using the same
KR102634606B1 (en) 2019-10-24 2024-02-13 현대모비스 주식회사 Automotive sensor integration module
CN114720991A (en) * 2019-10-24 2022-07-08 趣眼有限公司 Active short wave infrared imaging system and method for generating short wave infrared image
KR20210050052A (en) 2019-10-25 2021-05-07 현대모비스 주식회사 Automotive sensor integration module
KR102346849B1 (en) * 2019-11-28 2022-01-06 슈어소프트테크주식회사 Electronic device for combining image data and sensing data, and data combining method of the electronic device
KR102550021B1 (en) * 2021-11-26 2023-07-03 재단법인 지능형자동차부품진흥원 Omnidirectional image awareness device for autonomous vechicles using multiple sensors and method thereof
CN114291077A (en) * 2021-12-23 2022-04-08 海宁奕斯伟集成电路设计有限公司 Vehicle anti-collision early warning method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244474A (en) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd External world recognition device of automobile
JP4933144B2 (en) * 2006-05-15 2012-05-16 本田技研工業株式会社 Object detection device
JP2014006123A (en) * 2012-06-22 2014-01-16 Toyota Motor Corp Object detection device, information processing device, and object detection method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172240B1 (en) * 2010-05-18 2012-08-07 주식회사 만도 Sensor and alignment adjusting method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4933144B2 (en) * 2006-05-15 2012-05-16 本田技研工業株式会社 Object detection device
JP2010244474A (en) * 2009-04-09 2010-10-28 Hitachi Automotive Systems Ltd External world recognition device of automobile
JP2014006123A (en) * 2012-06-22 2014-01-16 Toyota Motor Corp Object detection device, information processing device, and object detection method

Also Published As

Publication number Publication date
KR20160013736A (en) 2016-02-05

Similar Documents

Publication Publication Date Title
KR102192256B1 (en) Intergrated sensor system of the vehicles
JP6369390B2 (en) Lane junction determination device
KR102178433B1 (en) Auto emergency braking system and method for recognizing pedestrian of the same
US9623869B2 (en) Vehicle driving support control apparatus
US9223311B2 (en) Vehicle driving support control apparatus
EP3159866B1 (en) Object recognition apparatus and vehicle travel controller using same
US10279809B2 (en) Travelled-route selecting apparatus and method
KR101787996B1 (en) Apparatus of estimating traffic lane in vehicle, control method of thereof
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
JP6361366B2 (en) Object recognition device
RU151809U1 (en) VIDEO SYSTEM FOR SECURITY OF VEHICLES
US20180005056A1 (en) Object recognition device
US10688989B2 (en) Apparatus, system, and method for vehicle collision avoidance control
US11150333B2 (en) Object sensing apparatus and object sensing method
KR20190060341A (en) Radar-camera fusion system and target detecting method using the same
KR20140137577A (en) Apparatus and method for providing vehicle of circumference environment information
JP2016218649A (en) Travel support apparatus
JP2010162975A (en) Vehicle control system
JP5698618B2 (en) Absolute speed estimation device
KR20150142542A (en) Intergrated sensor system of the vehicles
US20130107049A1 (en) Accident avoiding system and method
KR101789294B1 (en) Around view system of vehicle and method thereof
KR20150142543A (en) Intergrated sensor system of the vehicles
JP2023078488A (en) Object detection device, information processing device and object detection method
JP4394476B2 (en) Vehicle driving support device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right