KR101281260B1 - Method and Apparatus for Recognizing Vehicle - Google Patents

Method and Apparatus for Recognizing Vehicle Download PDF

Info

Publication number
KR101281260B1
KR101281260B1 KR1020090030030A KR20090030030A KR101281260B1 KR 101281260 B1 KR101281260 B1 KR 101281260B1 KR 1020090030030 A KR1020090030030 A KR 1020090030030A KR 20090030030 A KR20090030030 A KR 20090030030A KR 101281260 B1 KR101281260 B1 KR 101281260B1
Authority
KR
South Korea
Prior art keywords
vehicle
candidate
vertical edge
image
lidar data
Prior art date
Application number
KR1020090030030A
Other languages
Korean (ko)
Other versions
KR20100111543A (en
Inventor
조영하
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020090030030A priority Critical patent/KR101281260B1/en
Publication of KR20100111543A publication Critical patent/KR20100111543A/en
Application granted granted Critical
Publication of KR101281260B1 publication Critical patent/KR101281260B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0002—Type of accident
    • B60R2021/0004—Frontal collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 인식 방법 및 장치에 관한 것이다. The present invention relates to a vehicle recognition method and apparatus.

본 발명은 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하는 것을 특징으로 하는 차량 인식 장치를 제공한다. The present invention provides a lidar data acquisition unit for obtaining lidar data for the front through a lidar sensor; An image acquisition unit which acquires an image of the front side through a camera sensor; And a front vehicle recognizing unit recognizing the front vehicle in front of the vehicle based on the distance information obtained from the obtained lidar data and the acquired image.

본 발명에 의하면, 라이다 센서와 카메라 센서를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다. According to the present invention, the lidar sensor and the camera sensor are merged to more accurately recognize the front vehicle, thereby effectively providing a front collision avoidance.

차량 인식, 라이다 센서, 카메라 센서 Vehicle recognition, lidar sensor, camera sensor

Description

차량 인식 방법 및 장치{Method and Apparatus for Recognizing Vehicle}Vehicle recognition method and apparatus {Method and Apparatus for Recognizing Vehicle}

본 발명은 차량 인식 방법 및 장치에 관한 것이다. 더욱 상세하게는, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높여주는 차량 인식 방법 및 장치에 관한 것이다.The present invention relates to a vehicle recognition method and apparatus. More specifically, the present invention relates to a vehicle recognition method and apparatus for recognizing a vehicle in front by combining a lidar sensor capable of obtaining accurate distance information and a camera sensor having a high object discrimination accuracy, thereby increasing vehicle vehicle accuracy.

요즈음, 차량이 고도로 지능화되어 차량에 탑재된 각종 센서를 이용하여 여러가지 지능화 기능을 수행하는데, 그 중에서 전방 차량을 감지하여 충돌을 미연에 방지하는 전방 충돌 방지 시스템(FCW: Foward Collision Warning)이 있다. These days, the vehicle is highly intelligent and performs various intelligence functions by using various sensors mounted on the vehicle. Among them, there is a forward collision prevention system (FCW) that detects a vehicle ahead and prevents a collision.

이러한 전방 충돌 방지 시스템에서 전방 충돌을 효과적으로 방지하기 위해서는, 라이다(Lidar) 센서 또는 카메라 센서와 같은 특정 센서를 통해, 전방 차량 간의 거리정보를 정확하게 알아내야만 하고, 전방에 있는 전방 차량과 비 차량 간의 정확한 물체 판별력을 가져야만 한다. In order to effectively prevent a front collision in such a front collision avoidance system, a specific sensor such as a lidar sensor or a camera sensor must accurately find distance information between the front vehicles, and the front and non-vehicle in front of the vehicle. Must have accurate object discrimination ability

종래의 전방 충돌 방지 시스템에서 이용하는 라이다 센서는 물체 판별 정확성은 다소 떨어지나 정확한 거리정보를 얻을 수 있는 장점이 있고, 이에 비해 카메라 센서는 획득되는 영상이 단안 영상이기에 거리정보의 정확성은 떨어지나 높은 물체 판별 정확성을 보이는 장점이 있다. The lidar sensor used in the conventional anti-collision prevention system has an advantage of obtaining accurate distance information although the object discrimination accuracy is somewhat lower. On the other hand, the camera sensor is a monocular image. It has the advantage of showing accuracy.

종래의 전방 충돌 방지 시스템은 라이다(Lidar) 센서만을 이용하여 전방 차량을 인식하거나, 카메라 센서만을 이용하여 전방 차량을 인식하기 때문에, 물체 판별 정확성 또는 거리정보의 정확성이 떨어져 제대로 된 차량 인식이 불가능한 문제점을 가진다. The conventional front collision avoidance system recognizes a vehicle ahead using only a Lidar sensor, or recognizes a vehicle ahead using only a camera sensor. I have a problem.

전술한 문제점을 해결하기 위한 본 발명의 목적은, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 데 있다. An object of the present invention for solving the above-described problems is to increase the accuracy of vehicle recognition by recognizing a vehicle in front by combining a lidar sensor capable of obtaining accurate distance information and a camera sensor having high object discrimination accuracy.

또한, 본 발명의 다른 목적은, 라이다 센서와 카메라 센서를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 데 있다. In addition, another object of the present invention is to merge the lidar sensor and the camera sensor to more accurately recognize the front vehicle, thereby effectively providing a front collision avoidance.

전술한 목적을 달성하기 위한 본 발명은, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하는 것을 특징으로 하는 차량 인식 장치를 제공한다. The present invention for achieving the above object, a lidar data acquisition unit for obtaining the lidar data for the front through a lidar (Lidar) sensor; An image acquisition unit which acquires an image of the front side through a camera sensor; And a front vehicle recognizing unit recognizing the front vehicle in front of the vehicle based on the distance information obtained from the obtained lidar data and the acquired image.

상기 전방 차량 인식부는, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터가 매핑된 영상을 토대로 상기 거리정보에 근거하여 관심영 역(ROI: Region of Interest)을 설정하는 라이다 데이터 매핑부; 미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출부; 상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출부; 상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출부; 상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출부; 및 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별부를 포함하는 것을 특징으로 한다. The front vehicle recognition unit maps the LiDAR data to the image, and sets a region of interest (ROI) based on the distance information based on the image to which the LiDAR data is mapped. part; A vertical edge extracting unit extracting a vertical edge in the set ROI based on a predefined edge extracting operator; A real vehicle vertical edge candidate extractor which obtains a profile of the extracted vertical edge and extracts a real vehicle vertical edge candidate of a real vehicle based on the obtained profile; A vehicle candidate region detector configured to detect a vehicle candidate region in which the actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted real vehicle vertical edge candidates; A final vehicle candidate group extracting unit configured to extract a final vehicle candidate group through a symmetry test on the detected vehicle candidate region; And a vehicle determination unit determining whether the final vehicle candidate included in the extracted maximum vehicle candidate group is the real vehicle, and determining the final vehicle candidate determined as the real vehicle as the front vehicle.

또한, 본 발명은, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득 단계; 및 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계를 포함하는 것을 특징으로 하는 차량 인식 방법을 제공한다. In addition, the present invention, a lidar data obtaining step of obtaining the lidar data for the front through the Lidar (Lidar) sensor; An image acquiring step of acquiring an image of the front side through a camera sensor; And a front vehicle recognition step of recognizing the front vehicle in front of the vehicle, based on the distance information obtained from the obtained lidar data and the obtained image.

이상에서 설명한 바와 같이 본 발명에 의하면, 정확한 거리정보를 얻을 수 있는 라이다 센서와 높은 물체 판별 정확성을 보이는 카메라 센서를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 효과가 있다. As described above, according to the present invention, a lidar sensor capable of obtaining accurate distance information and a camera sensor having high object discrimination accuracy are combined to recognize a vehicle ahead, thereby increasing the accuracy of vehicle recognition.

또한, 본 발명에 의하면, 라이다 센서와 카메라 센서를 병합하여 전방 차량 을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다. In addition, according to the present invention, by combining the lidar sensor and the camera sensor to recognize the vehicle ahead more accurately, through this there is an effect of effectively providing a front collision avoidance.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 대한 블록 구성도이다. 1 is a block diagram of a vehicle recognition apparatus 100 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 라이다(Lidar) 센서(11)를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부(110); 카메라 센서(12)를 통해 전방에 대한 영상을 획득하는 영상 획득부(120); 및 획득된 라이다 데이터로부터 얻어진 거리정보 및 획득된 영상에 근거하여, 전방에 있는 전방 차량을 인식하는 전방 차량 인식부(130) 등을 포함한다.Referring to FIG. 1, the vehicle recognition apparatus 100 according to an exemplary embodiment of the present invention may obtain a lidar data acquisition unit 110 for obtaining lidar data for the front through a lidar sensor 11. ; An image acquisition unit 120 which acquires an image of the front through the camera sensor 12; And a front vehicle recognizing unit 130 for recognizing a front vehicle in front of the vehicle, based on the acquired distance information and the acquired image.

위에서 언급한 라이다 센서(11) 및 카메라 센서(12)는 해당 차량의 전면부(예: 전면 유리 근처 등)에 장착될 수 있으며, 각각은 고유의 FOV(Field Of View) 또는 측정가능거리 등이 설정되거나 정의되어 있을 수 있다. The above-mentioned lidar sensor 11 and camera sensor 12 can be mounted on the front side of the vehicle (eg near the windshield), each with its own field of view (FOV) or measurable distance, etc. This may be set or defined.

도 1에 도시된 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 전방 차량 인식시 필요한 거리정보 및 물체 판별을 위해, 물체 판별 정확성은 다소 떨어지나 정확한 거리정보를 얻을 수 있는 라이다(Lidar) 센서(11)와, 획득되는 영상이 단안 영상이기에 거리정보의 정확성은 떨어지나 높은 물체 판별 정확성을 보이는 카메라 센서(12)를 동시에 이용함으로써, 전방 차량에 대한 높은 차량 인식을 가능하게 한다. In the vehicle recognition apparatus 100 according to an exemplary embodiment of the present invention illustrated in FIG. 1, in order to determine distance information and an object required to recognize a front vehicle, an object discrimination accuracy may be somewhat reduced, but an accurate distance information may be obtained. Lidar) By using the sensor 11 and the camera sensor 12 showing a high object discrimination accuracy, although the accuracy of the distance information is reduced because the obtained image is a monocular image, high vehicle recognition for the front vehicle is possible.

도 1에 도시된 본 발명의 일 실시예에 따른 차량 인식 장치(100)는, 전방 차량을 인식하여 인식된 전방 차량에 대한 충돌(Collision)을 미연에 방지하는 전방 충돌 방지(FCW: Foward Collision Warning) 시스템에 포함되어, 전방 충돌 방지 효과를 높일 수 있다. The vehicle recognition apparatus 100 according to an exemplary embodiment of the present invention illustrated in FIG. 1 may recognize a front collision warning (FCW) for preventing a collision for a recognized front vehicle in advance. It is included in the system, and can improve the front collision avoidance effect.

도 1을 참조하여 전술한 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)는 도 2를 참조하여 더욱 상세하게 설명한다. The front vehicle recognition unit 130 included in the vehicle recognition apparatus 100 according to an embodiment of the present invention described above with reference to FIG. 1 will be described in more detail with reference to FIG. 2.

도 2는 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)에 대한 블록 구성도이다. 2 is a block diagram of the front vehicle recognition unit 130 included in the vehicle recognition apparatus 100 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 차량 인식 장치(100)에 포함된 전방 차량 인식부(130)는, 라이다 데이터 매핑부(210), 수직 에지 추출부(220), 실제 차량 수직 에지 후보 추출부(230), 차량 후보 영역 검출부(240), 최종 차량 후보군 검출부(250) 및 차량 판별부(260) 등을 포함한다. Referring to FIG. 2, the front vehicle recognition unit 130 included in the vehicle recognition apparatus 100 according to an embodiment of the present disclosure may include a lidar data mapping unit 210, a vertical edge extracting unit 220, and an actual vehicle. The vehicle vertical edge candidate extractor 230, the vehicle candidate region detector 240, the final vehicle candidate group detector 250, the vehicle discriminator 260, and the like are included.

라이다 데이터 매핑부(210)는, 라이다 센서(11)를 통해 획득된 라이다 데이터를 카메라 센서(12)를 통해 획득된 영상에 매핑(Mapping)하고, 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 관심영역(ROI: Region of Interest)을 설정한다. 수직 에지 추출부(220)는, 미리 정의된 에지 추출 연산자를 토대로 앞에서 설정된 관심영역에서의 수직 에지(Edge)를 추출한다. 실제 차량 수직 에지 후보 추출부(230)는, 추출된 수직 에지의 프로파일(Profile)을 구하고, 이렇게 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출한다. 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출한다. 최종 차량 후보군 검출부(250)는 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출한다. 차량 판별부(260)는, 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지를 판별하고, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정한다. The lidar data mapping unit 210 maps the lidar data acquired through the lidar sensor 11 to an image acquired through the camera sensor 12, and based on the image on which the lidar data is mapped. A region of interest (ROI) is set based on distance information included in LiDAR data. The vertical edge extracting unit 220 extracts a vertical edge in the region of interest previously set based on a predefined edge extraction operator. The real vehicle vertical edge candidate extractor 230 obtains a profile of the extracted vertical edge and extracts a real vehicle vertical edge candidate of the real vehicle based on the obtained profile. The vehicle candidate region detection unit 240 detects a vehicle candidate region in which an actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted actual vehicle vertical edge candidate. The final vehicle candidate group detector 250 extracts the final vehicle candidate group through a symmetry test on the detected vehicle candidate region. The vehicle determination unit 260 determines whether the final vehicle candidate included in the extracted maximum vehicle candidate group is a real vehicle, and determines the final vehicle candidate determined as the actual vehicle as the front vehicle.

전술한 라이다 데이터 매핑부(210)는, 라이다 센서(110)를 통해 획득된 라이다 데이터를 미리 정의된 매트릭스(Matrix)를 통해 뷰(View) 데이터로 변환하고 변환된 뷰 데이터를 영상 좌표로 다시 역변환함으로써, 라이다 데이터를 카레라 센 서(12)를 통해 획득된 영상에 매핑한다. 라이다 데이터 매핑부(210)를 통해, 라이다 데이터가 매핑된 영상은 도 3에 예시되어 있다. The lidar data mapping unit 210 converts the lidar data obtained through the lidar sensor 110 into view data through a predefined matrix and converts the converted view data into image coordinates. By inversely transforming the data, the Lidar data is mapped to an image obtained through the Carrera sensor 12. An image to which lidar data is mapped through the lidar data mapping unit 210 is illustrated in FIG. 3.

위에서 언급한 미리 정의된 매트릭스(H)는, 아래 예시된 식을 참조하면, 카메라 센서(12)에 대하여, 지면에 대한 카메라 센서(12)의 장착 높이(H c ), 이미지 플레인(Image Plane)의 피치각(Pitch Angle)(φ), 이미지 플레인(Image Plane)의 요각(Yaw Angle)(θ) 및 렌즈의 초점거리(f) 등에서 하나 이상의 카메라 센서 설정 정보를 포함한다. The predefined matrix H mentioned above, with reference to the equation illustrated below, with respect to the camera sensor 12, the mounting height H c of the camera sensor 12 with respect to the ground, the image plane It includes one or more camera sensor setting information in the Pitch Angle ( φ ), the Yaw Angle ( θ ) of the Image Plane and the focal length ( f ) of the lens.

Figure 112009020948488-pat00001
Figure 112009020948488-pat00001

전술한 라이다 데이터 매핑부(210)는, 전술한 방식에 따라 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 차량 인식을 위해 관심을 갖게 되는 관심영역(ROI: Region of Interest)을 도 5에서와 같이 설정하는데, 이때 설정된 관심영역은, 라이다 센서(11)와 전방 차량 간의 거리에 따른 측정된 차량 폭(차폭)에 대한 '차폭 및 거리 간의 관계 특성'으로 인해, 종래 차량 인식 기술에 따른 관심영역에 비해 상당히 줄어들게 된다. 그로 인해, 본 발명에서는 관심영역 설정 및 그와 관련된 기능을 수행하기 위한 연산량이 상당히 줄어든다. According to the above-described LiDAR data mapping unit 210, a region of interest (ROI) that is of interest for vehicle recognition based on distance information included in the LiDAR data based on an image to which the LiDAR data is mapped according to the above-described method. Region of Interest) is set as shown in FIG. 5, wherein the region of interest is set as a 'characteristic relationship between vehicle width and distance' with respect to the measured vehicle width (vehicle width) according to the distance between the lidar sensor 11 and the front vehicle. Therefore, compared with the region of interest according to the conventional vehicle recognition technology is significantly reduced. Therefore, in the present invention, the amount of computation for performing the ROI setting and related functions is significantly reduced.

본 발명에서 설정된 관심영역을 줄어들게 하는 요인이 되는, 라이다 센 서(11)와 전방 차량 간의 거리에 따른 측정된 차량 폭(차폭)에 대한 '차폭 및 거리 간의 관계 특성'은 도 4의 그래프를 통해 확인해볼 수 있다. 도 4를 참조하면, 라이다 센서(11)와 전방 차량 간의 거리(X축)가 멀어짐에 따라 측정된 차폭도 증가하게 되는데, 대략 10m 이하의 근거리에서는 1.8m로 가정한 실제 차폭보다 작은 값으로 차폭이 측정되고, 대략 10m가 넘는 원거리에서는 .8m로 가정한 실제 차폭보다 큰 값으로 차폭이 측정되는 '차폭 및 거리 간의 관계 특성'을 가지게 된다. The relationship characteristic between the vehicle width and the distance with respect to the measured vehicle width (vehicle width) according to the distance between the lidar sensor 11 and the front vehicle, which is a factor of reducing the region of interest set in the present invention, is shown in the graph of FIG. 4. You can check it out. Referring to FIG. 4, the measured vehicle width also increases as the distance between the lidar sensor 11 and the vehicle ahead (X-axis) increases, and at a short distance of about 10m or less, the vehicle width is smaller than the actual vehicle width assumed to be 1.8m. The vehicle width is measured, and at a distance greater than about 10m, the vehicle width is measured to a value larger than the actual vehicle width assumed to be .8m.

전술한 방식에 따라, 라이다 데이터 매핑부(210)에서는, 차량 인식을 위한 영역을 관심영역으로 줄이게 되며, 전술한 수직 에지 추출부(220)는 이렇게 줄여진 영역인 관심영역에서 수직 에지(Edge)를 추출한다. 여기서, 에지는, 물체의 외곽을 나타낸 선, 영상 중 물체와 물체의 경계, 또는 물체와 배경의 경계 등을 의미할 수 있다. According to the above-described method, the lidar data mapping unit 210 reduces the area for vehicle recognition to the ROI, and the vertical edge extracting unit 220 described above has a vertical edge in the ROI that is the reduced area. ). Here, the edge may mean a line representing an outline of the object, a boundary between the object and the object in the image, or a boundary between the object and the background.

수직 에지를 추출하기 위해, 수직 에지 추출부(220)는, 미리 정의된 에지 추출 연산자를 토대로 설정된 관심영역에서의 수직 에지(Edge)를 추출할 수 있다. 일 예로서, 수직 에지 추출부(220)는 미리 정의된 에지 추출 연산자로서 아래와 같은 '소벨(Sobel) 연산자(G)'를 이용할 수 있으며, 그 추출 결과인 수직 에지에 대한 영상은 도 6에서 확인할 수 있다.In order to extract the vertical edge, the vertical edge extractor 220 may extract a vertical edge in the ROI set based on a predefined edge extraction operator. As an example, the vertical edge extracting unit 220 may use the following 'Sobel operator ( G )' as a predefined edge extraction operator. Can be.

Figure 112009020948488-pat00002
Figure 112009020948488-pat00002

위에서는, 수직 에지 추출부(220)는, 수직 에지 추출을 위한 에지 추출 연산자로서, 소벨(Sobel) 연산자 이외에도, 로버트(Roberts) 연산자, 프리위트(Prewitt) 연산자 및 프라이-첸(Frei-Chen) 연산자 등을 이용할 수도 있다. In the above, the vertical edge extracting unit 220 is an edge extraction operator for vertical edge extraction, and in addition to the Sobel operator, the Roberts operator, the Prewitt operator, and Frei-Chen Operators and the like can also be used.

전술한 실제 차량 수직 에지 후보 추출부(230)는, 열(Column)에 대한 수직 에지의 행의 합(Row Sum of Vertical Edge)에 대한 수직 에지의 프로파일을 나타내는 도 7의 그래프와 같이, 수직 에지 추출부(220)에서 추출된 수직 에지의 프로파일(Profile)을 구하고, 이렇게 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하게 되는데, 이때, 일 예로서, 구해진 프로파일을 이루는 곡선을 구하고, '사프니스 체크(Sharpness Check)'를 이용하여 곡선에서 실제 차량 수직 에지 후보를 추출할 수 있다. 더 상세하게는, 구해진 곡선에서 피크(Peak)가 있는 부분에 대하여 표준편차를 계산하고, 이렇게 계산된 표준편차가 미리 정의된 임계값(예: 10)을 초과한 부분을 실제 차량에 대한 실제 차량 수직 에지 후보로서 추출할 수 있다. 이렇게 추출된 실제 차량 수직 에지 후보를 관심영역의 영상에 나타낸 것을 도 8에 예시적으로 도시한다. 도 8를 참조하면, 실제 차량 수직 에지 후보(길게 표시된 수직선으로 표시됨)가 영상의 가운데 있는 실제 차량 이외에도 다른 물체나 부분에 표시된 것을 확인할 수 있다. 따라서, 차량 후보 영역 검출부(240)는 추출된 실제 차량 수직 에지 후보들 중에서 실제로 존재할 것 같은 수직 에지 후보를 검출하여 그를 통해 차량 후보 영역을 검출한다. The actual vehicle vertical edge candidate extractor 230 described above is a vertical edge, as shown in the graph of FIG. 7 showing a profile of a vertical edge with respect to a row sum of vertical edges with respect to a column. A profile of the vertical edges extracted by the extractor 220 is obtained, and the actual vehicle vertical edge candidate of the actual vehicle is extracted based on the obtained profile. In this case, a curve constituting the obtained profile is obtained, 'Sharpness Check' can be used to extract the actual vehicle vertical edge candidate from the curve. More specifically, the standard deviation is calculated for the peaked portion of the obtained curve, and the portion of the calculated standard deviation that exceeds the predefined threshold (e.g. 10) for the actual vehicle. Can be extracted as a vertical edge candidate. 8 illustrates an example of the extracted actual vehicle vertical edge candidate in an image of the ROI. Referring to FIG. 8, it can be seen that an actual vehicle vertical edge candidate (indicated by a long vertical line) is displayed on another object or part in addition to the actual vehicle in the center of the image. Accordingly, the vehicle candidate region detector 240 detects a vertical edge candidate that is actually present among the extracted actual vehicle vertical edge candidates, and detects the vehicle candidate region through it.

다시 말해, 전술한 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출한다. In other words, the above-described vehicle candidate region detection unit 240 detects a vehicle candidate region in which an actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted actual vehicle vertical edge candidate.

이와 같이, 차량 후보 영역 검출부(240)에 의해 수행된 차량 후보 영역 검출 방식을 더 상세하게 설명하면, 차량 후보 영역 검출부(240)는, 추출된 실제 차량 수직 에지 후보를 2개씩 묶어, 한 쌍(Pair)으로 묶인 2개의 실제 차량 수직 에지 후보를 하나의 실제 차량 수직 에지 후보 쌍으로 하여, 실제 차량 수직 에지 후보 쌍을 하나 이상 구하고, 이렇게 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하며, 구해진 예측 차폭 중에서 '미리 정의된 차량 후보 영역 검출 조건'을 만족하는 예측 차폭을 갖는 실제 차량 수직 에지 후보 쌍을 추출하고, 추출된 실제 차량 수직 에지 후보 쌍이 이루는 영역을 실제 차량이 존재할 차량 후보 영역으로 검출한다. 도 9에서는, 검출된 차량 후보 영역을 이루는 실제 차량 수직 에지 후보 쌍을 나타낸다. As described above, the vehicle candidate region detection method performed by the vehicle candidate region detection unit 240 will be described in more detail. The vehicle candidate region detection unit 240 bundles two extracted actual vehicle vertical edge candidates, Pairs of two real vehicle vertical edge candidates bounded by a pair as one real vehicle vertical edge candidate pair, and one or more real vehicle vertical edge candidate pairs are obtained, and a prediction difference width is obtained for each of the one or more real vehicle vertical edge candidate pairs thus obtained. And extracting a real vehicle vertical edge candidate pair having a predicted vehicle width that satisfies a 'predefined vehicle candidate region detection condition' from the obtained predicted vehicle widths, and extracting a real vehicle vertical edge candidate pair from a vehicle candidate in which a real vehicle will exist. Detect by area. In FIG. 9, actual vehicle vertical edge candidate pairs constituting the detected vehicle candidate region are shown.

위에서 언급한 '미리 정의된 차량 후보 영역 검출 조건'은, 일 예로서, 구해진 예측 차폭이 미리 정의된 기준 차폭의 절반값을 초과하고 기준 차폭의 2배 값보다 작은 조건일 수 있다. The above-mentioned 'predetermined vehicle candidate region detection condition' may be, for example, a condition in which the obtained prediction vehicle width is greater than half of the predefined reference vehicle width and smaller than twice the reference vehicle width.

또한, 차량 후보 영역 검출부(240)는, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하기 위한 방법으로서, 라이다 데이터에 포함된 거리 정보를 영상에 투영하여, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍을 이루는 2개의 실제 차량 수직 후보 간의 픽셀 거리 정보를 구함으로써, 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여, 예측 차폭을 구 할 수 있다. In addition, the vehicle candidate region detection unit 240 is a method for obtaining a prediction vehicle width for each of the obtained one or more pairs of actual vehicle vertical edge candidates. The vehicle candidate region detection unit 240 projects the distance information included in the lidar data onto the image to obtain one or more actual vehicles. By obtaining pixel distance information between two real vehicle vertical candidates constituting the vertical edge candidate pair, for each of the obtained one or more real vehicle vertical edge candidate pairs, a prediction difference width can be obtained.

이후, 전술한 최종 차량 후보군 추출부(250)는, 차량 후보 영역 검출부(240)에서 검출한 차량 후보 영역을 토대로 하나 이상의 최종 차량 후보를 포함하는 최종 차량 후보군을 추출한다. 이를 위해, 최종 차량 후보군 추출부(250)는, 검출된 차량 후보 영역에 대하여, 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 그 차이의 합이 미리 정의된 기준 값보다 작은 경우를 최종 차량 후보로 결정하고, 이렇게 결정된 최종 차량 후보를 최종 차량 후보군에 포함시키는 '대칭성 검사'를 수행함으로써, 최종 차량 후보군을 추출한다. Thereafter, the aforementioned final vehicle candidate group extracting unit 250 extracts a final vehicle candidate group including one or more final vehicle candidates based on the vehicle candidate region detected by the vehicle candidate region detecting unit 240. To this end, the final vehicle candidate group extracting unit 250 compares the difference between the left and right brightness information with respect to the detected vehicle candidate region based on the symmetry axis in the image, and determines that the sum of the differences is smaller than a predefined reference value. The final vehicle candidate group is extracted by performing a symmetry test that determines the final vehicle candidate and includes the thus determined final vehicle candidate in the final vehicle candidate group.

위에서 언급한 '대칭성 검사'는, 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 그 차이의 합을 아래의 수학식 1을 이용하여 ISE(Intensity Symmetry Error)를 계산하여 계산된 값을 미리 정의된 기준 값과 비교하여 비교 결과를 토대로 최종 차량 후보군을 추출하는 검사이다. In the above-mentioned 'symmetry test', the difference between left and right brightness information is compared based on the symmetry axis in the image, and the sum of the differences is calculated by calculating Intensity Symmetry Error (ISE) using Equation 1 below. The final vehicle candidate group is extracted based on the comparison result by comparing with a predefined reference value.

Figure 112009020948488-pat00003
Figure 112009020948488-pat00003

상기 수학식 1에서, w는 검출된 차량 후보 영역에 대한 폭(즉, 차량 후보 영상의 폭)이고, I는 각 픽셀의 밝기 값이다. 상기 수학식 1을 통해 계산된 ISE 값을 차량과 차량이 아닌 물체(비 차량)에 대하여 각각 나타내면 도 10과 같다. In Equation 1, w is the width of the detected vehicle candidate region (ie, the width of the vehicle candidate image), and I is the brightness value of each pixel. The ISE values calculated through Equation 1 are shown for the vehicle and the non-vehicle object (non-vehicle), respectively, as shown in FIG. 10.

전술한 차량 판별부(260)는, 앞서 최종 차량 후보군 추출부(250)를 통해 추출된 최종 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지 아닌지를 판별하여 차량 인식을 마무리하게 된다. 그 예로서, 차량 판별부(260)는 '서포트 벡터 머신(SVM: Support Vector Machine)'의 학습 데이터에 근거하여, 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지 판별함으로써, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정하여 차량 인식이 마무리된다. 이렇게 전방 차량으로 결정되어 인식된 차량은 도 11에서 도시하며, 도 3에서의 영상에서 차량 부분만 인식된 것을 확인할 수 있다. The vehicle determination unit 260 described above may determine whether the final vehicle candidate included in the final vehicle candidate group extracted through the final vehicle candidate group extracting unit 250 is a real vehicle or not and finish vehicle recognition. As an example, the vehicle determination unit 260 determines whether the final vehicle candidate included in the extracted maximum vehicle candidate group is a real vehicle based on the learning data of the 'Support Vector Machine (SVM)', thereby real vehicle. The vehicle recognition is completed by determining the final vehicle candidate determined as the front vehicle. The vehicle determined and recognized as the front vehicle is illustrated in FIG. 11, and it is confirmed that only the vehicle portion is recognized in the image of FIG. 3.

도 12는 이상에서 전술한 본 발명의 일 실시예에 따른 차량 인식 장치(100)가 수행하는 차량 인식 방법에 대한 흐름도로서, 이 차량 인식 방법은, 라이다(Lidar) 센서(11)를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계(S1200); 카메라 센서(12)를 통해 전방에 대한 영상을 획득하는 영상 획득 단계(S1202) 및 획득된 라이다 데이터로부터 얻어진 거리정보 및 획득된 영상에 근거하여, 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계(S1204)를 포함한다. 12 is a flowchart illustrating a vehicle recognition method performed by the vehicle recognition apparatus 100 according to an exemplary embodiment of the present invention described above, and the vehicle recognition method is forward through a lidar sensor 11. A lidar data acquiring step (S1200) of acquiring lidar data for the apparatus; An image acquiring step (S1202) of acquiring an image of the front through the camera sensor 12 and a front vehicle recognition step of recognizing a front vehicle in front of the vehicle based on the acquired distance information and the acquired image. (S1204).

도 13은 전술한 전방 차량 인식 단계(S1204)에 대한 세부 흐름도를 나타낸 것으로서, 도 13을 참조하면, 전술한 전방 차량 인식 단계(S1204)는, 라이다 데이터를 영상에 매핑하고, 라이다 데이터가 매핑된 영상을 토대로 라이다 데이터에 포함된 거리정보에 근거하여 관심영역(ROI: Region of Interest)을 설정하는 라이다 데이터 매핑 단계(S1300); 미리 정의된 에지 추출 연산자를 토대로 설정된 관심영 역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출 단계(S1302); 추출된 수직 에지의 프로파일(Profile)을 구하고, 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출 단계(S1304); 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출 단계(S1306); 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출 단계(S1308); 및 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 실제 차량인지를 판별하고, 실제 차량으로 판별된 최종 차량 후보를 전방 차량으로 결정하는 차량 판별 단계(S1310) 등을 포함한다. FIG. 13 is a detailed flowchart illustrating the above-described front vehicle recognition step S1204. Referring to FIG. 13, the above-described front vehicle recognition step S1204 may map lidar data to an image, and A lidar data mapping step of setting a region of interest (ROI) based on distance information included in the lidar data based on the mapped image (S1300); A vertical edge extraction step S1302 for extracting a vertical edge in the region of interest set based on a predefined edge extraction operator; An actual vehicle vertical edge candidate extraction step (S1304) of obtaining a profile of the extracted vertical edges and extracting an actual vehicle vertical edge candidate of the actual vehicle based on the obtained profile; A vehicle candidate region detection step (S1306) of detecting a vehicle candidate region in which an actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted actual vehicle vertical edge candidate; A final vehicle candidate group extraction step (S1308) of extracting a final vehicle candidate group through a symmetry check on the detected vehicle candidate region; And a vehicle determination step (S1310) of determining whether the final vehicle candidate included in the extracted maximum vehicle candidate group is a real vehicle, and determining the final vehicle candidate determined as the actual vehicle as the front vehicle.

이상에서 설명한 바와 같이 본 발명에 의하면, 정확한 거리정보를 얻을 수 있는 라이다 센서(11)와, 높은 물체 판별 정확성을 보이는 카메라 센서(12)를 병합하여 전방 차량을 인식함으로써, 차량 인식의 정확성을 높이는 효과가 있다. As described above, according to the present invention, the lidar sensor 11 capable of obtaining accurate distance information and the camera sensor 12 showing high object discrimination accuracy are combined to recognize the vehicle ahead, thereby improving the accuracy of vehicle recognition. The height is effective.

또한, 본 발명에 의하면, 라이다 센서(11)와 카메라 센서(12)를 병합하여 전방 차량을 보다 정확하게 인식하고, 이를 통해 전방 충돌 방지를 효과적으로 제공하는 효과가 있다. In addition, according to the present invention, the lidar sensor 11 and the camera sensor 12 are merged to more accurately recognize the front vehicle, thereby providing an effect of effectively preventing the front collision.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들 의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented in one independent hardware, each part or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a module. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따 라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. It is to be understood, however, that the present invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 차량 인식 장치에 대한 블록 구성도, 1 is a block diagram of a vehicle recognition apparatus according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 차량 인식 장치에 포함된 전방 차량 인식부에 대한 블록 구성도, 2 is a block diagram of a front vehicle recognition unit included in a vehicle recognition apparatus according to an embodiment of the present invention;

도 3은 라이다 데이터가 매핑된 영상을 예시적으로 나타낸 도면, 3 is a diagram illustrating an image to which lidar data is mapped by way of example;

도 4는 라이다 센서와 전방 차량 간의 거리에 따른 측정된 차폭에 대한 관계 그래프, 4 is a relationship graph for measured vehicle width according to a distance between a lidar sensor and a front vehicle;

도 5는 라이다 데이터에 포함된 거리정보를 이용하여 줄어든 관심영역을 나타낸 도면, 5 is a view illustrating a reduced ROI using distance information included in LiDAR data;

도 6은 추출된 수직 에지에 대한 영상을 나타낸 도면, 6 is a view showing an image for the extracted vertical edge,

도 7은 수직 에지의 프로파일을 나타낸 도면, 7 shows a profile of a vertical edge,

도 8은 추출된 실제 차량 수직 에지 후보를 관심영역의 영상에 나타낸 도면, 8 is a diagram illustrating an extracted actual vehicle vertical edge candidate in an image of an ROI;

도 9는 검출된 차량 후보 영역을 이루는 실제 차량 수직 에지 후보 쌍을 나타낸 도면, 9 illustrates an actual vehicle vertical edge candidate pair constituting a detected vehicle candidate region;

도 10은 대칭성 검사시, 차량과 차량이 아닌 물체에 대하여 각각 계산된 ISE를 나타낸 그래프, FIG. 10 is a graph showing ISEs calculated for vehicles and non-vehicle objects during symmetry checking;

도 11은 인식된 차량을 나타낸 도면, 11 is a view showing a recognized vehicle;

도 12는 본 발명의 일 실시예에 따른 차량 인식 방법에 대한 흐름도,12 is a flowchart illustrating a vehicle recognition method according to an embodiment of the present invention;

도 13은 본 발명의 일 실시예에 따른 차량 인식 방법에 포함된 차량 인식 단계에 대한 세부 흐름도이다. 13 is a detailed flowchart of a vehicle recognition step included in a vehicle recognition method according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 >Description of the Related Art

11: 라이다 센서11: lidar sensor

12: 카메라 센서12: camera sensor

100: 차량 인식 장치100: vehicle recognition device

110: 라이다 데이터 획득부110: lidar data acquisition unit

120: 영상 획득부120: image acquisition unit

130: 전방 차량 인식부130: front vehicle recognition unit

210: 라이다 데이터 매핑부210: lidar data mapping unit

220: 수직 에지 추출부220: vertical edge extracting section

230: 실제 차량 수직 에지 후보 추출부230: actual vehicle vertical edge candidate extracting unit

240: 차량 후보 영역 검출부240: vehicle candidate region detection unit

250: 최종 차량 후보군 추출부250: final vehicle candidate group extraction unit

260: 차량 판별부 260: vehicle determination unit

Claims (15)

차량 인식 장치에 있어서, In the vehicle recognition device, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득부; A lidar data acquisition unit for acquiring lidar data for the front through a lidar sensor; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득부; 및 An image acquisition unit which acquires an image of the front side through a camera sensor; And 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식부를 포함하되, A front vehicle recognition unit configured to recognize the front vehicle in front of the vehicle based on the distance information obtained from the obtained lidar data and the obtained image, 상기 전방 차량 인식부는, The front vehicle recognition unit, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여 상기 라이다 데이터가 매핑된 상기 영상에서 상기 전방 차량을 인식하기 위한 관심영역(ROI: Region of Interest)을 설정하고, 상기 설정된 관심영역에서의 수직 에지 추출 결과에 근거하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 인식 장치. Maps the LiDAR data to the image, and sets a region of interest (ROI) for recognizing the front vehicle in the image to which the LiDAR data is mapped based on distance information obtained from the LiDAR data. And recognize the front vehicle based on a result of vertical edge extraction in the set ROI. 제 1항에 있어서, The method of claim 1, 상기 전방 차량 인식부는, The front vehicle recognition unit, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여, 상기 라이다 데이터가 매핑된 상기 영상에서 상기 관심영역을 설정하는 라이다 데이터 매핑부; A lidar data mapping unit configured to map the LiDAR data to the image and set the ROI in the image to which the LiDAR data is mapped based on distance information obtained from the LiDAR data; 미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출부; A vertical edge extracting unit extracting a vertical edge in the set ROI based on a predefined edge extracting operator; 상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출부; A real vehicle vertical edge candidate extractor which obtains a profile of the extracted vertical edge and extracts a real vehicle vertical edge candidate of a real vehicle based on the obtained profile; 상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출부; A vehicle candidate region detector configured to detect a vehicle candidate region in which the actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted real vehicle vertical edge candidates; 상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출부; 및 A final vehicle candidate group extracting unit configured to extract a final vehicle candidate group through a symmetry test on the detected vehicle candidate region; And 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별부A vehicle determination unit that determines whether the final vehicle candidate included in the extracted maximum vehicle candidate group is the real vehicle, and determines the final vehicle candidate determined as the real vehicle as the front vehicle; 를 포함하는 것을 특징으로 하는 차량 인식 장치. Vehicle recognition apparatus comprising a. 제 2항에 있어서, 3. The method of claim 2, 상기 라이다 데이터 매핑부는, The lidar data mapping unit, 상기 라이다 데이터를 미리 정의된 매트릭스를 통해 뷰 데이터로 변환하고 상기 뷰 데이터를 영상 좌표로 역변환함으로써, 상기 라이다 데이터를 상기 영상에 매핑하는 것을 특징으로 하는 차량 인식 장치. And converting the lidar data into the view data through a predefined matrix and inversely converting the view data into image coordinates, thereby mapping the lidar data to the image. 제 3항에 있어서, The method of claim 3, 상기 미리 정의된 매트릭스는, The predefined matrix, 상기 카메라 센서에 대하여, 지면에 대한 장착 높이, 이미지 플레인(Image Plane)의 피치각(Pitch Angle), 상기 이미지 플레인(Image Plane)의 요각(Yaw Angle) 및 렌즈의 초점거리 중 하나 이상의 카메라 센서 설정 정보를 포함하는 것을 특징으로 하는 차량 인식 장치. At least one camera sensor setting of the camera sensor, a mounting height with respect to the ground, a pitch angle of an image plane, a yaw angle of the image plane, and a focal length of a lens Vehicle identification device comprising the information. 제 2항에 있어서, 3. The method of claim 2, 상기 수직 에지 추출부는, The vertical edge extraction unit, 상기 미리 정의된 에지 추출 연산자로서 소벨(Sobel) 연산자를 이용하는 것을 특징으로 하는 차량 인식 장치. And a Sobel operator as the predefined edge extraction operator. 제 2항에 있어서, 3. The method of claim 2, 상기 실제 차량 수직 에지 후보 추출부는, The actual vehicle vertical edge candidate extractor 상기 구해진 프로파일을 이루는 곡선을 구하고, 사프니스 체크(Sharpness Check)를 이용하여 상기 곡선에서 상기 실제 차량 수직 에지 후보를 추출하는 것을 특징으로 하는 차량 인식 장치. And obtaining a curve constituting the obtained profile, and extracting the actual vehicle vertical edge candidate from the curve using a sharpness check. 제 6항에 있어서, The method according to claim 6, 상기 실제 차량 수직 에지 후보 추출부는, The actual vehicle vertical edge candidate extractor 상기 곡선에서 피크(Peak)가 있는 부분에 대하여 표준편차를 계산하고, 상기 계산된 표준편차가 미리 정의된 임계값을 초과한 부분을 상기 실제 차량 수직 에지 후보로서 추출하는 것을 특징으로 하는 차량 인식 장치. The vehicle recognition device, characterized in that for calculating the standard deviation for the portion of the peak (Peak) in the curve, and extracting the portion where the calculated standard deviation exceeds a predefined threshold value as the actual vehicle vertical edge candidate . 제 2항에 있어서, 3. The method of claim 2, 상기 차량 후보 영역 검출부는, The vehicle candidate region detection unit, 상기 추출된 실제 차량 수직 에지 후보를 2개씩 묶어, 상기 묶인 2개의 실제 차량 수직 에지 후보를 하나의 실제 차량 수직 에지 후보 쌍으로 하여, 상기 실제 차량 수직 에지 후보 쌍을 하나 이상 구하고, Obtaining the at least one pair of real vehicle vertical edge candidates by grouping the extracted real vehicle vertical edge candidates by two, using the bundled two real vehicle vertical edge candidates as one real vehicle vertical edge candidate pair, 상기 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여 예측 차폭을 구하며, Obtaining a predicted vehicle width for each of the obtained one or more actual vehicle vertical edge candidate pairs, 상기 구해진 예측 차폭 중에서 상기 미리 정의된 차량 후보 영역 검출 조건을 만족하는 예측 차폭을 갖는 실제 차량 수직 에지 후보 쌍을 추출하고, Extracting an actual vehicle vertical edge candidate pair having a predicted vehicle width satisfying the predefined vehicle candidate region detection condition from the obtained predicted vehicle widths, 상기 추출된 실제 차량 수직 에지 후보 쌍이 이루는 영역을 상기 실제 차량이 존재할 상기 차량 후보 영역으로 검출하는 것을 특징으로 하는 차량 인식 장치. And detecting the area formed by the extracted real vehicle vertical edge candidate pairs as the vehicle candidate area where the real vehicle will be present. 제 8항에 있어서, 9. The method of claim 8, 상기 미리 정의된 차량 후보 영역 검출 조건은, The predefined vehicle candidate region detection condition is 상기 구해진 예측 차폭이 미리 정의된 기준 차폭의 절반값을 초과하고 상기 기준 차폭의 2배 값보다 작은 조건인 것을 특징으로 하는 차량 인식 장치. And the estimated predicted vehicle width is a condition exceeding a half value of a predefined reference vehicle width and smaller than twice the reference vehicle width. 제 8항에 있어서, 9. The method of claim 8, 상기 차량 후보 영역 검출부는, The vehicle candidate region detection unit, 상기 라이다 데이터에 포함된 거리 정보를 상기 영상에 투영하여, 상기 구해 진 하나 이상의 실제 차량 수직 에지 후보 쌍을 이루는 2개의 실제 차량 수직 후보 간의 픽셀 거리 정보를 구함으로써, 상기 구해진 하나 이상의 실제 차량 수직 에지 후보 쌍 각각에 대하여, 상기 예측 차폭을 구하는 것을 특징으로 차량 인식 장치. Projecting distance information included in the LiDAR data to the image to obtain pixel distance information between two real vehicle vertical candidates forming the obtained one or more real vehicle vertical edge candidate pairs; The prediction vehicle width is obtained for each edge candidate pair. 제 2항에 있어서, 3. The method of claim 2, 상기 최종 차량 후보군 추출부는, The final vehicle candidate group extraction unit, 상기 검출된 차량 후보 영역에 대하여, 상기 영상 내의 대칭축을 기준으로 좌우 밝기 정보의 차이를 비교하여, 상기 차이의 합이 미리 정의된 기준 값보다 작은 경우를 상기 최종 차량 후보로 결정하고, 상기 결정된 최종 차량 후보를 상기 최종 차량 후보군에 포함시키는 상기 대칭성 검사를 수행함으로써, 상기 최종 차량 후보군을 추출하는 것을 특징으로 하는 차량 인식 장치. The difference between the left and right brightness information is compared with respect to the detected vehicle candidate region based on the symmetry axis in the image, and the case where the sum of the differences is smaller than a predetermined reference value is determined as the final vehicle candidate, and the determined final And extracting the final vehicle candidate group by performing the symmetry check to include the vehicle candidate in the final vehicle candidate group. 제 2항에 있어서, 3. The method of claim 2, 상기 차량 판별부는, The vehicle determination unit, 서포트 벡터 머신(SVM: Support Vector Machine)의 학습 데이터에 근거하여, 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지 판별하는 것을 특징으로 하는 차량 인식 장치. And determining whether a final vehicle candidate included in the extracted maximum vehicle candidate group is the actual vehicle, based on learning data of a support vector machine (SVM). 제 1항에 있어서, The method of claim 1, 상기 차량 인식 장치는, The vehicle recognition device, 상기 전방 차량에 대한 충돌을 방지하는 전방 충돌 방지 시스템에 포함되는 것을 특징으로 하는 차량 인식 장치. And a front collision avoidance system for preventing a collision with the front vehicle. 차량 인식 방법에 있어서, In the vehicle recognition method, 라이다(Lidar) 센서를 통해 전방에 대한 라이다 데이터를 획득하는 라이다 데이터 획득 단계; A lidar data obtaining step of obtaining lidar data for the front through a lidar sensor; 카메라 센서를 통해 상기 전방에 대한 영상을 획득하는 영상 획득 단계; 및 An image acquiring step of acquiring an image of the front side through a camera sensor; And 상기 획득된 라이다 데이터로부터 얻어진 거리정보 및 상기 획득된 영상에 근거하여, 상기 전방에 있는 전방 차량을 인식하는 전방 차량 인식 단계를 포함하되, And a front vehicle recognition step of recognizing the front vehicle in front of the vehicle based on the distance information obtained from the obtained lidar data and the obtained image. 상기 전방 차량 인식 단계는, The front vehicle recognition step, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여 상기 라이다 데이터가 매핑된 상기 영상에서 상기 전방 차량을 인식하기 위한 관심영역(ROI: Region of Interest)을 설정하고, 상기 설정된 관심영역에서의 수직 에지 추출 결과에 근거하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 인식 방법. Maps the LiDAR data to the image, and sets a region of interest (ROI) for recognizing the front vehicle in the image to which the LiDAR data is mapped based on the distance information obtained from the LiDAR data. And recognizing the front vehicle based on a result of vertical edge extraction in the set ROI. 제 14항에 있어서, 15. The method of claim 14, 상기 전방 차량 인식 단계는, The front vehicle recognition step, 상기 라이다 데이터를 상기 영상에 매핑하고, 상기 라이다 데이터로부터 얻어진 거리정보에 근거하여, 상기 라이다 데이터가 매핑된 상기 영상에서 상기 관심영역을 설정하는 라이다 데이터 매핑 단계; A lidar data mapping step of mapping the LiDAR data to the image and setting the ROI in the image to which the LiDAR data is mapped based on distance information obtained from the LiDAR data; 미리 정의된 에지 추출 연산자를 토대로 상기 설정된 관심영역에서의 수직 에지(Edge)를 추출하는 수직 에지 추출 단계; A vertical edge extraction step of extracting a vertical edge in the set ROI based on a predefined edge extraction operator; 상기 추출된 수직 에지의 프로파일(Profile)을 구하고, 상기 구해진 프로파일을 토대로 실제 차량의 실제 차량 수직 에지 후보를 추출하는 실제 차량 수직 에지 후보 추출 단계; A real vehicle vertical edge candidate extraction step of obtaining a profile of the extracted vertical edge and extracting a real vehicle vertical edge candidate of a real vehicle based on the obtained profile; 상기 추출된 실제 차량 수직 에지 후보를 토대로, 미리 정의된 차량 후보 영역 검출 조건에 따라, 상기 실제 차량이 존재할 차량 후보 영역을 검출하는 차량 후보 영역 검출 단계; A vehicle candidate region detection step of detecting a vehicle candidate region in which the actual vehicle will exist according to a predefined vehicle candidate region detection condition based on the extracted real vehicle vertical edge candidates; 상기 검출된 차량 후보 영역에 대한 대칭성 검사를 통해, 최종 차량 후보군을 추출하는 최종 차량 후보군 추출 단계; 및 A final vehicle candidate group extracting step of extracting a final vehicle candidate group through symmetry checking on the detected vehicle candidate region; And 상기 추출된 최총 차량 후보군에 포함된 최종 차량 후보가 상기 실제 차량인지를 판별하고, 상기 실제 차량으로 판별된 최종 차량 후보를 상기 전방 차량으로 결정하는 차량 판별 단계A vehicle determination step of determining whether the final vehicle candidate included in the extracted maximum vehicle candidate group is the real vehicle, and determining the final vehicle candidate determined as the real vehicle as the front vehicle; 를 포함하는 것을 특징으로 하는 차량 인식 방법. Vehicle recognition method comprising a.
KR1020090030030A 2009-04-07 2009-04-07 Method and Apparatus for Recognizing Vehicle KR101281260B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090030030A KR101281260B1 (en) 2009-04-07 2009-04-07 Method and Apparatus for Recognizing Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090030030A KR101281260B1 (en) 2009-04-07 2009-04-07 Method and Apparatus for Recognizing Vehicle

Publications (2)

Publication Number Publication Date
KR20100111543A KR20100111543A (en) 2010-10-15
KR101281260B1 true KR101281260B1 (en) 2013-07-05

Family

ID=43131774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090030030A KR101281260B1 (en) 2009-04-07 2009-04-07 Method and Apparatus for Recognizing Vehicle

Country Status (1)

Country Link
KR (1) KR101281260B1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276073B1 (en) * 2011-01-27 2013-06-18 팅크웨어(주) System and method for detecting distance between forward vehicle using image in navigation for vehicle
KR101373625B1 (en) * 2012-09-04 2014-03-12 전자부품연구원 Method and apparatus for detecting front vehicle by compensating vehicle candidate region
KR101437431B1 (en) * 2012-12-28 2014-09-05 전자부품연구원 Method and apparatus for vehicle cognition using Symmetric Edge Histogram algorithm
KR101500162B1 (en) * 2013-10-08 2015-03-06 현대자동차주식회사 Braking Control System for Vehicle and Method thereof
KR101632873B1 (en) * 2014-09-05 2016-07-01 현대모비스 주식회사 System and method for detecting obstacles
WO2016047890A1 (en) * 2014-09-26 2016-03-31 숭실대학교산학협력단 Walking assistance method and system, and recording medium for performing same
KR101644370B1 (en) 2014-10-23 2016-08-01 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
KR101805253B1 (en) 2015-06-26 2018-01-10 성균관대학교산학협력단 Apparatus and method for detecting object
KR102109941B1 (en) * 2018-01-23 2020-05-12 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
KR102146451B1 (en) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 Apparatus and method for acquiring conversion information of coordinate system
KR102195040B1 (en) * 2019-06-27 2020-12-28 주식회사 모빌테크 Method for collecting road signs information using MMS and mono camera
KR102607390B1 (en) 2019-07-19 2023-11-29 엘지전자 주식회사 Checking method for surrounding condition of vehicle
WO2022085904A1 (en) * 2020-10-19 2022-04-28 한국자동차연구원 Electronic device and method for correcting sensed data
KR102475960B1 (en) * 2020-11-30 2022-12-12 광주과학기술원 Vehicle object recognition system and vehicle vision system
KR102568717B1 (en) * 2021-12-27 2023-08-18 국민대학교산학협력단 Apparatus and method for receiving optical camera communication signal based on hybrid

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501635A (en) * 1999-05-26 2003-01-14 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Object detection system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003501635A (en) * 1999-05-26 2003-01-14 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Object detection system

Also Published As

Publication number Publication date
KR20100111543A (en) 2010-10-15

Similar Documents

Publication Publication Date Title
KR101281260B1 (en) Method and Apparatus for Recognizing Vehicle
KR102441085B1 (en) Apparatus and method for providing guidance information using crosswalk recognition result
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
KR101609303B1 (en) Method to calibrate camera and apparatus therefor
JP4263737B2 (en) Pedestrian detection device
US9626599B2 (en) Reconfigurable clear path detection system
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
KR101279712B1 (en) Apparatus and method for providing real-time lane detection, recording medium thereof
EP3389008A1 (en) Image recognition device and image recognition method
KR101584907B1 (en) Method and Apparatus for recognizing lane using region of interest
KR101302944B1 (en) Method and Apparatus for Recognizing Vehicle
JPWO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
US20180165815A1 (en) Distance measurement device and distance measurement method
JP4674179B2 (en) Shadow recognition method and shadow boundary extraction method
WO2016059643A1 (en) System and method for pedestrian detection
JP4864043B2 (en) Image processing apparatus, method, and program
KR101178508B1 (en) Vehicle Collision Alarm System and Method
KR102100047B1 (en) Method for position recognition of vehicle using lane-end-point detection algorithm and method for evaluating performance of the same
KR101205565B1 (en) Method for Dectecting Front and Rear Vehicle by Using Image
KR101407901B1 (en) Vehicle Recognition System
KR101620425B1 (en) System for lane recognition using environmental information and method thereof
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
EP3428876A1 (en) Image processing device, apparatus control system, imaging device, image processing method, and program
KR102045026B1 (en) Apparatus and method for detecting lane

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 7