KR20090021724A - 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 - Google Patents

카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 Download PDF

Info

Publication number
KR20090021724A
KR20090021724A KR1020070086481A KR20070086481A KR20090021724A KR 20090021724 A KR20090021724 A KR 20090021724A KR 1020070086481 A KR1020070086481 A KR 1020070086481A KR 20070086481 A KR20070086481 A KR 20070086481A KR 20090021724 A KR20090021724 A KR 20090021724A
Authority
KR
South Korea
Prior art keywords
vehicle
classifier
pedestrian
candidate image
camera
Prior art date
Application number
KR1020070086481A
Other languages
English (en)
Other versions
KR101188584B1 (ko
Inventor
이윤희
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020070086481A priority Critical patent/KR101188584B1/ko
Publication of KR20090021724A publication Critical patent/KR20090021724A/ko
Application granted granted Critical
Publication of KR101188584B1 publication Critical patent/KR101188584B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치에 관한 것이다.
본 발명은 상기 레이저 스캐너로부터 출력되는 레인지 데이터(Range Data)를 이용하여 상기 물체를 인식하고 상기 물체의 위치 좌표를 결정하는 물체 인식수단; 상기 카메라로부터 출력되는 영상에서 상기 위치 좌표에 해당하는 물체 영역을 검출하고, 검출된 상기 물체 영역으로부터 차량 후보 이미지와 보행자 후보 이미지를 추출하는 후보 이미지 생성수단; 상기 차량 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 차량인지 아닌지를 판단하는 제1분류기; 상기 보행자 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 보행자인지 아닌지를 판단하는 제2분류기; 및 상기 제1분류기와 상기 제2분류기의 판단 결과를 이용하여 상기 물체를 식별하는 물체 식별수단을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치를 제공한다.
본 발명에 의하면, 레이저 스캐너에 의한 위치 좌표를 이용하여 카메라 영상으로부터 물체의 영역을 검출하게 되므로, 물체 영역을 검출하는 데에 소요되는 시간을 줄일 수 있다는 효과가 있다. 또한, 차량과 보행자를 판별하기 위해 동일한 알고리즘을 적용함으로써 연산량을 줄일 수 있고, 이를 통해 생산 비용을 줄일 수 있다는 장점이 있다.
레이저 스캐너, 카메라, 가보 필터, SVM, 물체 판별

Description

카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치{Apparatus for Discriminating Forward Objects of Vehicle by Using Camera And Laser Scanner}
본 발명은 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치에 관한 것이다. 더욱 상세하게는, 레이저 스캐너에 의해 물체의 위치 좌표를 결정하고 카메라에 의해 촬영된 영상으로부터 위치 좌표에 해당하는 물체 영역을 검출한 후, 검출된 영역에서 차량 후보 이미지와 보행자 후보 이미지를 추출하고, 추출된 이미지에 대해 이미지 특징 추출 및 분류 방법을 사용하여 물체를 판별하기 위한 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치에 관한 것이다.
최근 차량 전방의 보행자를 인식하고, 충돌 위험이 존재하는 경우 운전자에게 경고하거나 자동으로 제동 제어나 조향 제어를 수행함으로써 충돌을 회피하는 시스템이 개발되고 있다.
이러한 시스템이 제대로 작동하기 위해서는 차량 전방의 물체가 보행자인지, 아니면 차량인지, 아니면 이외의 다른 물체인지를 빠르고 정확하게 판별하는 것이 선행되어야 한다.
전방의 물체를 인식하는 방법으로는 현재 사용되고 있는 것은 카메라를 이용 하는 방법, 레인지 센서를 이용하는 방법 등이 있다.
카메라를 이용한 방법으로는 적외선 카메라, 스테레오 카메라, 모노 카메라 등을 이용한 방법이 있으며, 레인지 센서를 이용하는 방법으로는 초음파 센서를 이용하는 방법, 레이다를 이용하는 방법, 레이저 레이다를 이용하는 방법 등이 있다.
그러나 이러한 방법들은 정확하고 신속한 전방 장애물의 판별에 한계가 있다.
이러한 문제를 해결하기 위해 본 발명은 레이저 스캐너와 카메라를 융합한 기술을 통해 차량 전방의 물체를 식별할 수 있는 장치를 제공하는 것으로 목적으로 한다. 더 구체적으로는, 레이저 스캐너에 의해 물체의 위치 좌표를 결정하고 카메라에 의해 촬영된 영상으로부터 위치 좌표에 해당하는 물체 영역을 검출한 후, 검출된 영역에서 차량 후보 이미지와 보행자 후보 이미지를 추출하고, 추출된 이미지에 대해 이미지 특징 추출 및 분류 방법을 사용하여 물체를 판별하기 위한 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치를 제공함으로 목적으로 한다.
이러한 목적을 달성하기 위해 본 발명은, 상기 레이저 스캐너로부터 출력되는 레인지 데이터(Range Data)를 이용하여 상기 물체를 인식하고 상기 물체의 위치 좌표를 결정하는 물체 인식수단; 상기 카메라로부터 출력되는 영상에서 상기 위치 좌표에 해당하는 물체 영역을 검출하고, 검출된 상기 물체 영역으로부터 차량 후보 이미지와 보행자 후보 이미지를 추출하는 후보 이미지 생성수단; 상기 차량 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 차량인지 아닌지를 판단하는 제1분류기; 상기 보행자 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 보행자인지 아닌지를 판단하는 제2분류기; 및 상기 제1분류기와 상기 제2분류기의 판단 결과를 이용하여 상기 물체를 식별하는 물체 식별수단을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치를 제공한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 카메라와 레이저 스캐너 융합 기술을 이용한 차량 전방 물체 판별 장치의 개략적인 블럭 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 카메라와 레이저 스캐너 융합 기술을 이용한 차량 전방 물체 판별 장치는 물체 인식수단(110), 후보 이미지 생성수단(120), 제1분류기(130), 제2분류기(140) 및 물체 식별수단(150)을 포함하여 구성된다.
본 발명의 바람직한 실시예에 따른 물체 인식수단(110)은 차량에 장착된 레 이저 스캐너로부터 출력되는 레인지 데이터(Range Data)를 이용하여 물체를 인식하고 물체의 위치 좌표를 결정한다. 여기서 레인지 데이터란, 물체까지의 거리와 방위각으로 표현되는 구면좌표를 의미한다.
본 발명의 바람직한 실시예에서, 물체 인식수단(110)은 좌표 변환 수단(112), 클러스터링 수단(114)을 포함하여 구성되며, 물체를 추적(Tracking)하기 위한 물체 추적 수단(116)을 더 포함할 수 있다.
좌표 변환 수단(112)은 물체의 각 포인트(Point)까지의 거리(R)와 방위각(θ)을 나타내는 레인지 데이터를 직교 좌표로 변환하여 물체의 위치 좌표를 (x, y)로 출력한다. 여기서, 레이지 데이터와 직교 좌표 (x, y)는 다음의 수식에 의해 변환될 수 있다.
x=Rsin(θ), y=Rcos(θ)
클러스터링 수단(114)은 좌표 변환 수단(112)에 의해 변환된 직교 좌표값 x와 y를 기초로 각 포인트 간의 거리를 산출하여 포인트 간에 거리가 일정 범위 이내(예컨대, |ΔX|≤30cm, |ΔY|≤30cm)인 포인트들을 클러스터링(Clustering)한다. 이때 클러스터링에 의해 생성된 하나의 클러스터(Cluster)가 하나의 물체로 인식된다.
물체 추적 수단(116)은 이동하는 물체의 위치를 트래킹(Tracking)하여 예측하는 데에 사용되는 수단으로서, 본 발명에서는 클러스터링 수단에 의한 클러스터 링의 로버스트(Robustness; 강건함)를 확인하기 위해 사용된다. 즉, 각 클러스터의 이동을 트래킹함으로써 하나의 물체인데 나뉘어 두 부분으로 잘못 클러스터링된 부분을 하나의 물체로 인식할 수 있게 되며, 역으로 하나의 물체로 잘못 클러스터링되었지만 두 물체로 나누어 인식할 수 있게 된다.
이러한 물체 추적 수단(116)으로는 물체 추적으로 위해 대표적으로 사용되는 칼만 필터 등이 이용될 수 있다. 그리고 칼만 필터의 상태 변수로는, 위치 좌표(레이지 데이터 또는 직교 변환 좌표), 위치 좌표 각 성분의 변화율, 클러스터의 폭(Width) 등이 사용될 수 있다.
본 발명의 바람직한 실시예에 따른 후보 이미지 생성 수단(120)은 차량에 장착된 카메라로부터 출력되는 영상에서 물체 인식수단(110)에서 산출된 위치 좌표에 해당하는 물체 영역을 검출하고, 검출된 물체 영역으로부터 차량 후보 이미지와 보행자 후보 이미지를 추출한다.
보다 구체적으로 설명하면, 후보 이미지 생성 수단(120)은 먼저 물체 인식수단(110)에서 산출된 위치 좌표에 해당하는 이미지를 카메라 영상으로부터 검색한다.
위치 좌표에 해당하는 이미지를 카메라 영상에서 검색하는 방법으로는 수학식 2와 같은 레이저 스캐너와 카메라 간의 관계식을 이용할 수 있다.
Figure 112007062522693-PAT00001
Figure 112007062522693-PAT00002
,
여기서, Xw, Yw, Zw는 레이저 스캐너로부터 획득된 실세계 좌표로서, Xw는 카메라를 기준으로 한 수평방향의 거리(즉, 카메라를 기준으로 왼쪽 또는 오른쪽으로 얼마만큼 떨어져 있는지를 나타내는 값), Yw는 물체의 높이, Zw는 물체까지의 거리를 의미한다. 그리고 f는 카메라의 초점 거리를 의미한다.
이 식을 이용하여 레이저 스캐너에서 획득된 위치 좌표에 대응하는 카메라 영상의 위치 좌표 (XI, YI)를 도출하고, 이 위치 좌표에 해당하는 이미지를 클러스터의 폭과 특정 높이 만큼 추출한다.
이 때, 각 클러스터에 대해 두 개의 이미지, 즉, 차량 후보 이미지와 보행자 후보 이미지를 높이를 달리하여 추출하게 된다. 예컨대, 차량 후보 이미지의 높이는 1.5m, 보행자 후보 이미지의 높이는 2m로 하여 추출하게 된다. 이 때 카메라로부터 취득된 영상으로부터 도로바닥면을 알 수 있으므로 그 도로바닥면으로부터 1.5m와 2m의 이미지를 각각 추출하게 된다.
본 발명의 바람직한 실시예에 따른 제1분류기(130)은 후보 이미지 생성수단에서 생성된 각 클러스터에 대한 차량 후보 이미지의 특징 데이터를 추출하고 추출된 특정 데이터를 분류하여 각 클러스터가 차량인지 아닌지를 판단하는 기능을 하고, 제2분류기(140)은 후보 이미지 생성수단에서 생성된 각 클러스터에 대한 보행 자 후보 이미지의 특징 데이터를 추출하고 추출된 특정 데이터를 분류하여 각 클러스터가 보행자인지 아닌지를 판단한다.
여기서, 제1분류기(130)과 제2분류기(140)는 이미지로부터 특징 데이터를 추출하기 위해 가보 필터 뱅크(Gabor Filter Bank)를 이용하고, 특징 데이터를 분류하기 위해 서포트 벡터 머신(SVM: Support Vector Machine)을 이용하는 것이 바람직하다.
이를 위해 제1분류기(130)와 제2분류기(140)는 정규화 수단(132, 142), 가보 필터 뱅크(134, 144) 및 SVM(136, 146)을 포함하여 구성된다.
정규화 수단(132, 142)은 각 클러스터에 대한 차량 후보 이미지와 보행자 후보 이미지를 정규화(Normalization)하기 위한 수단이다. 즉, 차량 후보 이미지와 보행자 후보 이미지는 클러스터의 폭과 거리에 따라 그 크기가 다르므로 이를 동일한 크기(예컨대, 32픽셀*32 픽셀)로 정규화한다.
가보 필터 뱅크(134, 146)는 정규화된 차량 후보 이미지 및 보행자 후보 이미지에 대한 특징 데이터를 추출하기 위해 사용된다.
가보 필터는 특정한 주파수 영역에 대한 방향성을 가지는 공간 필터이고, 가보 필터 뱅크는 하나 이상의 가보 필터들의 집합으로서 하나 이상의 방향성과 주파수를 가지는 공간 필터로, 이미지로부터 특징 데이터를 추출하여 이미지를 인식하기 위해 주로 사용된다.
방향성의 개수를 K, 주파수의 개수를 S라 하면, 이를 반영한 가보 필터 뱅크는 수학식 3과 같이 표현된다.
Figure 112007062522693-PAT00003
Figure 112007062522693-PAT00004
,
여기서 Ul은 가장 낮은 주파수를, Uh는 가장 높은 주파수를 의미하고, σu는 2차원 가보 필터의 u축 방향의 표준편차를, σv는 v축 방향의 표준편차를 의미한다.
그리고 s는 0에서 S-1까지의 값을 가지고, k는 0에서 K-1의 값을 갖는다.
본 발명의 바람직한 실시예에서는 4개의 주파수와 6개의 방향성을 가지는 가보 필터 뱅크를 이용하는데, 이때 각각의 가보 필터들은 도 2와 같은 같이 디자인된다.
즉, 총 4개의 각 주파수에 대해 6개의 방향성을 가지는 총 24개의 가보 필터가 생성된다.
추출된 이미지(차량 후보 이미지와 보행자 후보 이미지)와 상기 총 24개의 가보 필터 각각에 대한 컨볼루션(Convolution)을 구하고 이에 대한 평균(Mean)과 표준편차(Standard Deviation), 비대칭도(Skewness)를 산출하면, 하나의 이미지에 대해 총 3*24 개 즉 72개의 특징 데이터가 추출된다.
그러나 보다 바람직하게는 차량 후보 이미지와 보행자 후보 이미지를 분할하여 분할된 이미지 각각에 대해 위와 같은 연산을 수행하는 것이 바람직하다.
이를 위해, 제1분류기(130) 및 제2분류기(140)는 이미지 분할수단(미도시)을 추가로 더 포함할 수 있다.
이미지 분할수단은, 차량 후보 이미지와 보행자 후보 이미지를 서브 이미지(Sub-Image)로 분할하되, 이웃하는 서브 이미지 간에는 일부의 이미지가 오버랩되도록 분할한다. 이렇게 오버랩되도록 분할하는 이유는 카메라 영상에서 차량 후보 이미지와 보행자 후보 이미지를 추출할 때의 편차를 줄이기 위함이다.
도 3은 이미지를 분할하는 방법을 설명하기 위한 도면이다.
도 3은 하나의 이미지(차량 후보 이미지 또는 보행자 후보 이미지)의 크기를 32*32라 할 때, 이를 총 9개의 16*16 크기의 서브 이미지로 분할한 것이다.
도 3에서 알 수 있는 바와 같이, 서로 이웃하는 서브 이미지 간에는 이미지의 반이 서로 오버랩되도록 되어 있다.
이렇게 하나의 이미지를 총 9개의 이미지로 분할하고 이에 대해 가보 필터 뱅크를 적용하는 경우, 하나의 이미지로부터 얻어지는 이미지의 특징 데이터는 3*24*9 개, 즉, 648개가 된다.
본 발명의 바람직한 실시예에 따른 SVM(136)은 가보 필터 뱅크(134)에서 획득된 각각의 차량 후보 이미지에 대한 특징 데이터를 분류하여 차량 후보 이미지가 차량인지 아닌지를 판단하고, SVM(146)은 가보 필터 뱅크(144)에서 획득된 각각의 보행자 후보 이미지에 대한 특징 데이터를 분류하여 보행자 후보 이미지가 보행자 인지 아닌지를 판단하는 기능을 수행한다.
SVM(136, 146)은 하이퍼평면(Hyperplane)을 이용하여 데이터를 두 클래스(Class)로 분류하는 방법으로서, 두 클래스로 분류할 수 있는 많은 하이퍼평면 중에서 두 클래스(Class) 간의 거리가 가장 멀도록 하는 최적 하이퍼평면을 찾아 이를 이용하여 두 클래스를 분류하는 방법이다.
하이퍼평면의 방정식은 수학식 4와 같이 주어진다.
Figure 112007062522693-PAT00006
여기서, w는 하이퍼평면의 법선벡터이고 b는 상수이다.
가보 필터 뱅크(134, 144)에서 산출된 각 이미지에 대한 특징 데이터를 나타내는 벡터를 x라 할때, 두 클래스로 분류하는 방법은 수학식 5와 같이 sign함수를 이용할 수 있다.
Figure 112007062522693-PAT00007
f(x)(=y)는 1 또는 -1을 가지므로, 두 클래스와 하이퍼평면 간의 거리 m은 m=2/∥w∥(여기서, ∥w∥는 벡터 w의 norm, 즉 wTw를 의미함)으로 주어진다.
따라서 두 클래스 간의 거리가 가장 멀도록 하기 위해서는 m를 최대로 하여야 하고, 이는 ∥w∥을 최소로 하는 것과 동일하다.
이는 수학식 6과 같이 표현된다.
Figure 112007062522693-PAT00008
수학식 6을 라그랑제 함수를 이용하면, 최적 하이퍼평면에 대한 w와 b를 결정할 수 있고, 이 최적 하이퍼평면에 의해 분할되는 두 영역을 이용하여 두 클래스로 분류할 수 있다.
이상에서는 두 클래스가 선형적으로 분류될 수 있는 경우로 설명하였으나, 선형적으로 분류되지 않는 경우에는 더 일반적인 커넬 함수(Kernel Function)를 이용할 수도 있다.
그리고, 이상에서는 이미지로부터 특징 데이터를 추출하는 방법으로 가보 필터를, 특징 데이터를 분류하는 방법으로 SVM을 이용하였으나, 이에 한정되는 것은 아니며, 특징 데이터를 추출하는 방법으로 edge 특성이나 색 정보를 이용하는 방법 등이 사용될 수도 있고, 특징 데이터를 분류하는 방법으로 ICA, PCA, HMM, Neural-Network 등의 방법이 사용될 수 있다.
본 발명의 바람직한 실시예에 따른, 물체 식별수단(150)은 제1분류기(130)과 제2분류기(140)의 판단 결과를 이용하여 물체(클러스터)가 차량인지, 보행자인지 아니면 그 이외의 것인지를 판별한다.
바람직하게는 물체 식별수단(150)은 다음과 같이 물체를 판별하게 된다.
① 제1분류기의 판단 결과가 차량이고 제2분류기의 판단 결과가 보행자인 경우, 보행자로 판단
② 제1분류기의 판단결과가 차량이고 제2분류기의 판단 결과가 보행자가 아닌 경우, 차량으로 판단
③ 제1분류기의 판단 결과가 차량이 아니고 제2분류기의 판단 결과가 보행자인 경우, 보행자로 판단
④ 제1분류기의 판단 결과가 차량이 아니고 제2분류기의 판단 결과가 보행자가 아닌 경우, 기타 다른 물체로 판단
이상에서 설명한 바와 같은 본 발명의 실시예에 의하면, 레이저 스캐너에 의한 위치 좌표를 이용하여 카메라 영상으로부터 물체의 영역을 검출하게 되므로, 물체 영역을 검출하는 데에 소요되는 시간을 줄일 수 있다는 효과가 있다.
또한, 차량과 보행자를 판별하기 위해 동일한 알고리즘을 적용함으로써 연산량을 줄일 수 있고, 이를 통해 생산 비용을 줄일 수 있다는 장점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 카메라와 레이저 스캐너 융합 기술을 이용한 차량 전방 물체 판별 장치의 개략적인 블럭 구성도,
도 2는 4개의 주파수와 6개의 방향성을 갖는 가보 필터 뱅크를 도시한 도면,
도 3은 본 발명의 바람직한 실시예에 따른 이미지를 분할하는 방법을 설명하기 위한 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
110: 물체 인식수단 112: 좌표 변환 수단
114: 클러스터링 수단 116: 칼만 필터
120: 후보 이미지 생성 수단 130: 제1분류기
140: 제2분류기 132, 142: 정규화 수단
134, 144: 가보 필터 뱅크 136, 146: SVM
150: 물체 판별수단

Claims (10)

  1. 카메라와 레이저 스캐너를 이용하여 차량 전방의 물체를 판별하기 위한 장치에 있어서,
    상기 레이저 스캐너로부터 출력되는 레인지 데이터(Range Data)를 이용하여 상기 물체를 인식하고 상기 물체의 위치 좌표를 결정하는 물체 인식수단;
    상기 카메라로부터 출력되는 영상에서 상기 위치 좌표에 해당하는 물체 영역을 검출하고, 검출된 상기 물체 영역으로부터 차량 후보 이미지와 보행자 후보 이미지를 추출하는 후보 이미지 생성수단;
    상기 차량 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 차량인지 아닌지를 판단하는 제1분류기;
    상기 보행자 후보 이미지의 특징 데이터를 추출 및 분류하여 상기 물체가 보행자인지 아닌지를 판단하는 제2분류기; 및
    상기 제1분류기와 상기 제2분류기의 판단 결과를 이용하여 상기 물체를 식별하는 물체 식별수단
    을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  2. 제 1 항에 있어서,
    상기 물체 인식수단은,
    상기 레이저 스캐너로부터 출력되는 포인트 데이터들에 대한 상기 레인지 데이터를 직교 평면 좌표로 변환하는 좌표 변환 수단; 및
    상기 좌표 변환 수단에 의해 변환된 상기 포인트 데이터들 간의 X좌표 및 Y좌표의 거리 차를 이용하여 상기 포인트 데이터를 클러스터링함으로써 물체를 인식하는 클러스터링 수단
    을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  3. 제 2 항에 있어서,
    상기 물체 인식수단은, 클러스터링된 데이터를 트래킹(Tracking)하기 위한 물체 추적 수단을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  4. 제 1 항에 있어서,
    상기 제1분류기는,
    상기 차량 후보 이미지의 크기를 정규화하기 위한 정규화 수단;
    정규화된 상기 차량 후보 이미지로부터 특징점을 추출하는 가보 필터 뱅크(Gabor Filter Bank); 및
    상기 특징점들을 이용하여 상기 차량 후보 이미지가 차량인지 아닌지를 판단한 후, 판단 결과를 이진 데이터로 출력하는 서포트 벡터 머신(SVM: Support Vector Machine)
    을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  5. 제 1 항 또는 제 4 항에 있어서,
    상기 제2분류기는,
    상기 보행자 후보 이미지의 크기를 정규화하기 위한 정규화 수단;
    정규화된 상기 보행자 후보 이미지로부터 특징 데이터를 추출하는 가보 필터 뱅크(Gabor Filter Bank); 및
    상기 특징 데이터를 이용하여 상기 보행자 후보 이미지가 차량인지 아닌지를 판단한 후, 판단 결과를 이진 데이터로 출력하는 서포트 벡터 머신(SVM: Support Vector Machine)
    을 포함하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 가보 필터 뱅크는 복수의 주파수와 방향성을 가지는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  7. 제 6 항에 있어서,
    상기 가보 필터 뱅크는 주파수는 4개이고 방향성은 6개인 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  8. 제 4 항에 있어서,
    상기 제 1 분류기는 정규화된 상기 차량 후보 이미지를 소정 갯수의 서브 이미지(Sub-Image)로 분할하되, 서로 이웃하는 상기 서브 이미지 간에는 일부의 이미지가 오버랩되도록 분할하는 이미지 분할수단을 포함하고,
    상기 가보 필터 뱅크는 상기 서브 이미지 각각에 대해 상기 특징 데이터를 추출하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  9. 제 5 항에 있어서,
    상기 제 2 분류기는 정규화된 상기 보행자 후보 이미지를 소정 갯수의 서브 이미지(Sub-Image)로 분할하되, 서로 이웃하는 상기 서브 이미지 간에는 일부의 이미지가 오버랩되도록 분할하는 이미지 분할수단을 포함하고,
    상기 가보 필터 뱅크는 상기 서브 이미지 각각에 대해 상기 특징 데이터를 추출하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
  10. 제 1 항에 있어서,
    상기 물체 식별수단은,
    제1분류기의 판단 결과가 차량이고 제2분류기의 판단 결과가 보행자인 경우, 보행자로 판단하고,
    제1분류기의 판단결과가 차량이고 제2분류기의 판단 결과가 보행자가 아닌 경우, 차량으로 판단하며,
    제1분류기의 판단 결과가 차량이 아니고 제2분류기의 판단 결과가 보행자인 경우, 보행자로 판단하고,
    제1분류기의 판단 결과가 차량이 아니고 제2분류기의 판단 결과가 보행자가 아닌 경우, 차량도 보행자도 아닌 것으로 판단하는 것을 특징으로 하는 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별 장치.
KR1020070086481A 2007-08-28 2007-08-28 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 KR101188584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070086481A KR101188584B1 (ko) 2007-08-28 2007-08-28 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070086481A KR101188584B1 (ko) 2007-08-28 2007-08-28 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Publications (2)

Publication Number Publication Date
KR20090021724A true KR20090021724A (ko) 2009-03-04
KR101188584B1 KR101188584B1 (ko) 2012-10-05

Family

ID=40691724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070086481A KR101188584B1 (ko) 2007-08-28 2007-08-28 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치

Country Status (1)

Country Link
KR (1) KR101188584B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR101047150B1 (ko) * 2009-06-01 2011-07-07 한국과학기술원 레이저스캐너와 비디오카메라간 물리적 편의 보정장치 및 방법과, 물리적편의보정치 측정장치 및 방법
KR101050687B1 (ko) * 2008-06-04 2011-07-20 주식회사 만도 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치
KR101281272B1 (ko) * 2009-04-13 2013-07-03 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR101377805B1 (ko) * 2010-05-18 2014-04-02 주식회사 만도 분류기 선택 방법 및 그 장치
KR20140118157A (ko) * 2013-03-28 2014-10-08 현대모비스 주식회사 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR20140134395A (ko) 2013-05-14 2014-11-24 현대모비스 주식회사 물체 인식 시스템
KR20150001119A (ko) 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
KR101527831B1 (ko) * 2012-11-22 2015-06-11 가부시키가이샤 덴소 물체 검출 장치
KR20160017269A (ko) * 2014-08-01 2016-02-16 현대자동차주식회사 보행자 검출 장치 및 방법
KR20160118633A (ko) * 2015-04-02 2016-10-12 현대자동차주식회사 차량 주변의 객체 판별 시스템 및 방법
KR20170071728A (ko) * 2015-12-16 2017-06-26 현대자동차주식회사 차량 및 그 제어방법
US9958260B2 (en) 2013-09-25 2018-05-01 Hyundai Motor Company Apparatus and method for extracting feature point for recognizing obstacle using laser scanner
KR20180058606A (ko) * 2016-11-23 2018-06-01 한국전자통신연구원 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법
KR20190001723A (ko) * 2017-06-28 2019-01-07 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200059111A (ko) * 2018-11-20 2020-05-28 한양대학교 산학협력단 뉴럴 네트워크를 이용하는 파지 방법, 파지 학습 방법 및 파지 로봇
KR20210089792A (ko) * 2017-09-28 2021-07-16 웨이모 엘엘씨 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529555B1 (ko) 2016-06-24 2023-05-09 주식회사 에이치엘클레무브 자율 긴급 제동 시스템 및 이의 구동 방법
KR102174728B1 (ko) 2018-11-28 2020-11-05 한국교통대학교산학협력단 단안 카메라 기반 위험 지역 검출 방법 및 시스템
US20220126878A1 (en) * 2019-03-29 2022-04-28 Intel Corporation Autonomous vehicle system
KR102369062B1 (ko) * 2019-08-27 2022-02-28 주식회사 케이티 이동 로봇 및 그 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450189B2 (ja) 1998-06-16 2003-09-22 ダイハツ工業株式会社 歩行者検知システム及びその制御方法
JP2006047033A (ja) 2004-08-03 2006-02-16 Daihatsu Motor Co Ltd 物体認識方法及び物体認識装置
JP4218670B2 (ja) 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050687B1 (ko) * 2008-06-04 2011-07-20 주식회사 만도 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치
KR101281272B1 (ko) * 2009-04-13 2013-07-03 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR101047150B1 (ko) * 2009-06-01 2011-07-07 한국과학기술원 레이저스캐너와 비디오카메라간 물리적 편의 보정장치 및 방법과, 물리적편의보정치 측정장치 및 방법
KR20110073917A (ko) * 2009-12-24 2011-06-30 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
KR101377805B1 (ko) * 2010-05-18 2014-04-02 주식회사 만도 분류기 선택 방법 및 그 장치
KR101527831B1 (ko) * 2012-11-22 2015-06-11 가부시키가이샤 덴소 물체 검출 장치
KR20140118157A (ko) * 2013-03-28 2014-10-08 현대모비스 주식회사 기계학습기법에 의한 자동차 충돌 경보 시스템 및 방법
KR20140134395A (ko) 2013-05-14 2014-11-24 현대모비스 주식회사 물체 인식 시스템
KR20150001119A (ko) 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
US9958260B2 (en) 2013-09-25 2018-05-01 Hyundai Motor Company Apparatus and method for extracting feature point for recognizing obstacle using laser scanner
KR20160017269A (ko) * 2014-08-01 2016-02-16 현대자동차주식회사 보행자 검출 장치 및 방법
KR20160118633A (ko) * 2015-04-02 2016-10-12 현대자동차주식회사 차량 주변의 객체 판별 시스템 및 방법
KR20170071728A (ko) * 2015-12-16 2017-06-26 현대자동차주식회사 차량 및 그 제어방법
KR20180058606A (ko) * 2016-11-23 2018-06-01 한국전자통신연구원 객체 인식 장치, 이를 포함하는 자율 주행 시스템, 및 객체 인식 장치를 이용한 객체 인식 방법
KR20190001723A (ko) * 2017-06-28 2019-01-07 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
KR20210089792A (ko) * 2017-09-28 2021-07-16 웨이모 엘엘씨 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
US11558566B2 (en) 2017-09-28 2023-01-17 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
KR20190095592A (ko) * 2018-01-23 2019-08-16 충북대학교 산학협력단 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
KR20200059111A (ko) * 2018-11-20 2020-05-28 한양대학교 산학협력단 뉴럴 네트워크를 이용하는 파지 방법, 파지 학습 방법 및 파지 로봇

Also Published As

Publication number Publication date
KR101188584B1 (ko) 2012-10-05

Similar Documents

Publication Publication Date Title
KR101188584B1 (ko) 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
Rybski et al. Visual classification of coarse vehicle orientation using histogram of oriented gradients features
Premebida et al. A lidar and vision-based approach for pedestrian and vehicle detection and tracking
Teoh et al. Symmetry-based monocular vehicle detection system
Wu et al. LiDAR/camera sensor fusion technology for pedestrian detection
Mao et al. Preceding vehicle detection using histograms of oriented gradients
Wali et al. Comparative survey on traffic sign detection and recognition: a review
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US7466860B2 (en) Method and apparatus for classifying an object
US20050084156A1 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
EP2717219B1 (en) Object detection device, object detection method, and object detection program
US20050232491A1 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
CN110730966A (zh) 用于行人检测的系统和方法
KR101342124B1 (ko) 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
Kurnianggoro et al. Traffic sign recognition system for autonomous vehicle using cascade SVM classifier
Kim et al. Autonomous vehicle detection system using visible and infrared camera
KR20180062683A (ko) 이미지 피라미드를 이용한 차량 인식 장치 및 방법
González et al. Automatic information recognition of traffic panels using SIFT descriptors and HMMS
Castangia et al. A coarse-to-fine vehicle detector running in real-time
Cosma et al. Part-based pedestrian detection using HoG features and vertical symmetry
Makris et al. Probabilistic integration of intensity and depth information for part-based vehicle detection
Tian et al. Fast and robust cyclist detection for monocular camera systems
Kim et al. Real Time multi-lane detection using relevant lines based on line labeling method
Hadi et al. A review of infrared spectrum in human detection for surveillance systems
KR101169340B1 (ko) 영상 처리 시스템에서의 객체 인식 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 7