KR101141874B1 - 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 - Google Patents

위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 Download PDF

Info

Publication number
KR101141874B1
KR101141874B1 KR1020080052738A KR20080052738A KR101141874B1 KR 101141874 B1 KR101141874 B1 KR 101141874B1 KR 1020080052738 A KR1020080052738 A KR 1020080052738A KR 20080052738 A KR20080052738 A KR 20080052738A KR 101141874 B1 KR101141874 B1 KR 101141874B1
Authority
KR
South Korea
Prior art keywords
obstacles
vehicle
pedestrian
polyline
detecting
Prior art date
Application number
KR1020080052738A
Other languages
English (en)
Other versions
KR20090126586A (ko
Inventor
브로기 알베르토
세리 피에트로
정호기
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020080052738A priority Critical patent/KR101141874B1/ko
Priority to US12/471,878 priority patent/US8164432B2/en
Priority to DE102009023326.1A priority patent/DE102009023326B4/de
Publication of KR20090126586A publication Critical patent/KR20090126586A/ko
Application granted granted Critical
Publication of KR101141874B1 publication Critical patent/KR101141874B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34Protecting non-occupants of a vehicle, e.g. pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

본 발명은 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출 장치에 관한 것이다.
본 발명은 특정한 도시의 상황에서 잠재적으로 위험한 상황들을 일부 지역에 제한하는 데 도움이 되는 보행자 검출 시스템의 한 응용 예를 제안한다. 본 발명은 차량 앞의 지역에서 출현하는 모든 보행자의 위치를 국부로 제한하도록 고안된 전통적인 보행자 검출 시스템과 달리, 우선 도시 환경에서의 위험 지역을 찾아낸 다음 이 지역들에서만 보행자들을 탐색한다. 주위 환경은 표준 레이저 스캐너 시스템으로 재구성되지만, 보행자의 존재에 대한 이후의 점검은 비전 시스템과 통합되어 수행된다.
본 발명에 의하면, 보행자 인식이 아주 제한적인 이미지 영역에서 수행되며, 결국 운전자 또는 자동 조정을 위한 탑재 컴퓨터에게 결과를 제공하기 전에는 위험 수준에 대한 어떠한 평가도 필요하지 않으므로, 타이밍 성능이 향상된다.
차량, 보행자, 검출, 장애물, 위험, 지역, 레이저, 스캐너, 폴리라인

Description

위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출 장치{Apparatus, Method for Dectecting Critical Areas and Pedestrian Detection Apparatus Using Same}
본 발명은 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출 장치에 관한 것이다. 더욱 상세하게는, 자동차의 주변의 장애물을 감지하고 장애물 중에 보행자를 검출함으로써 보행자를 보호하기 위한 장치와 방법에 관한 것이다.
통상적인 보행자 검출 시스템들은 자동차 전방의 모든 지역에 있는 보행자들에 대한 검색에 기초한다. 통상적인 보행자 검출 시스템에서 보행자의 후보들은 인간의 다리 동작의 모습, 대칭, 구조, 움직임, 주기성과 같은 보행자의 특징들을 이용하여 찾아진다. 다른 센싱 기술들과 통합하여 사용한 경우, 각 센서는 고레벨 또는 저레벨이 되면서 보행자의 특별한 특징들을 검색한다.
이러한 통상적인 보행자 검출 시스템의 보행자 검출 접근법들은 일반적인 도시 환경의 일반적인 상황이나 차량 앞에 있는 큰 지역 전체에서 보행자를 검색하기 때문에, 최적의 결과를 양산하지 않는다.
전술한 문제점을 해결하기 위해 본 발명은, 특별히 위험한 도시 환경을 위해 고안되어 정지된 차량을 찾은 다음 이러한 차량에 아주 근접해 있거나 그들에 의해 감춰진 지역에 있는 보행자를 우선적으로 검색하는 데 그 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에서 위험 지역을 검출하는 장치에 있어서, 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부를 포함하는 것을 특징으로 하는 위험 지역 검출 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 차량의 주변에 있는 보행자를 검출하는 장치에 있어서, 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부; 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부; 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부; 및 영상 중 위험 지역에 해당하는 영역에서 우선적으로 보행자를 검출하는 보행자 검출부를 포함하는 것을 특징으로 하는 위험 지역 검출을 이용하여 보행자 검출 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에서 위험 지역을 검출하는 방법에 있어서, (a) 감지부로부터 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정하는 단계; (b) 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 단계; (c) 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 단계; (d) 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 단계; (e) 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; (f) 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; 및 (g) 단계 (e) 및 단계 (f)에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출하는 단계를 포함하는 것을 특징으로 하는 위험 지역 검출 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 특별한 주위 환경 구조(즉, 보행자들을 숨기는 정지된 차량들)가 검출될 때마다, 보행자의 가능한 존재가 정해진 지역에서 점검됨으로써, 안정성을 증가시키고 취약한 도로 사용자들과의 충돌을 가급적 피하기 위한 새로운 보행자 검출 구조를 구현할 수 있다.
또한, 본 발명에 의하면, 특별히 치명적인 주위 환경인 전형적인 도시 사고들에 초점을 맞추어 보행자를 검출할 수 있다.
또한, 본 발명에 의하면, 위험 상황에 대한 검출을 직접 제공할 뿐만 아니라 비전 기반 보행자 인식에서 계산이 집중되는 부분이 이미지의 제한된 영역에서만 수행되기 때문에 타이밍 성능도 향상시킬 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
I. 개요
본 발명에서는 새로운 접근법에 기초한 보행자 검출을 위한 시스템을 제안한다. 즉, 본 발명은 특별히 위험한 도시 환경에서 작업하도록 고안된 반면, 전통적인 보행자 검출 접근법들은 최적의 결과를 양산하지 않는다. 또한, 전통적인 보행자 검출 접근법들은 일반적인 도시 환경과 차량 앞에 있는 큰 지역에서 보행자를 검색하는 대신, 본 발명에 따른 시스템은 특정한 시나리오에 집중하므로, 보행자 검출이 기본적으로 중요할 뿐만 아니라 상황의 위험이 명확하게 평가될 수 있다.
사실, 자동차 시스템에서, 올바른 검출은 성공적인 결과물 첫 번째 단계일 뿐이다. 즉, 교통 신호/교통 신호등/장애물 또는 차량과 주위 상황과 관련된 위치에 대해 해당하는 어떠한 지시도 없는 보행자는 꽤 적은 정보를 제공하는데, 이 정보는 검출 시스템을 불완전하게 만든다. 예를 들어, 장면에서 나타나는 모든 보행자들을 올바르게 찾을 수 있는 보행자 검출 시스템은 거대한 양의 정보를 제공하는 데, 이 정보는 운전자 또는 자동 조정을 위한 탑재된 컴퓨터에 유용해지기 위해서 여전히 필터링을 필요로 한다. 가능한 필터는 선 검출이나 다른 상황 분석 엔진 및 CAN 데이터와 같은 다른 시스템으로부터 나오는 정보를 통합함으로써 구현될 수 있다. 즉, 정확히 차량의 전방에 있는 보행자는 도 1a 내지 도 1c에 도시한 바와 같은 주변 환경에 따라 위험한 것으로 고려되거나 고려되지 않을 수도 있다.
도 1a 내지 도 1c는 주변 환경에 따른 보행자의 위험 여부 판별을 설명하기 위한 예시도이다.
도 1a에 나타낸 바와 같이, 보행자를 찾지만 주위 환경과 관련된 어떠한 참고 사항도 제공되지 않았을 때, 검출기는 위험 정보를 평가할 수 없다. 주위 환경에 대한 정보를 통합하면, 같은 보행자는 도 1b에서 나타낸 바와 같이 위협이 될 수도 있고, 도 1c에서 나타낸 바와 같이 안정된 위치에 있을 수 있다.
본 발명에서는 반대의 방법으로 문제에 접근했다. 즉, 모든 가능한 후보들을 검출하고 그 주위 상황을 분석한 후 그들을 필터링하여 제거하는 대신, 우선 시나리오를 평가한 다음 그 특별한 시나리오에서 특별한 위치에 있는 가능한 보행자들을 검색한다. 이러한 방법으로, 검출될 모든 보행자들은 가능한 위협들이고 더 이상의 어떠한 필터링도 필요하지 않게 된다(검증과 가능한 최종 추적 단계로부터의 부분). 본 발명에서 고려되는 시나리오는 아주 보통의 도시 상황을 참조하는데, 보행자의 존재는 초기에 검출된다면 완화될 수 있는 심각한 문제를 내포한다. 특히, 차량들이 도시의 도로에서 움직일 때, 보행자가 내포할 수 있는 유일한 위협은 도로 횡단이다. 따라서, 이러한 위협은 성공적인 검출을 필요로 한다. 반대로, 도로 또는 도로 옆에서 정지된 차량은 시나리오의 완전히 새로운 세트를 생성하는데, 보행자의 존재는 절대적으로 위험할 수 있다.
본 발명의 근본적인 아이디어는 정지된 차량을 찾은 다음 이러한 차량에 아주 근접해 있거나 그들에 의해 감춰진 지역에 있는 보행자를 검색하는 것이다. 이러한 정지된 차량들은 도로 모서리에 주차된 도로에 정차한 차량 또는 교통 신호등, 횡단 보도의 전방에 있는 선에 일렬로 줄세워진 차량들일 수 있는데, 그 차량들의 모서리가 보행자들에 대한 검색을 유발 시킬 것이다.
도 2a 내지 도 2d는 본 발명에서 고려되는 상황들과 가능한 보행자가 검출될 것으로 고려되는 관심 지역을 나타낸 예시도이다.
도 2a 내지 도 2d에서, 첫 번째 열 즉, 윗열은 본 발명에서 고려되는 다양한 상황들을 나타낸 것이고, 두 번째 열 즉, 아랫열은 가능한 보행자가 검출될 것으로 고려되는 관심 영역을 나타낸 것이다. 도 2a에서 횡단하는 보행자는 주차된 차량에 의해 숨겨진다. 도 2b에서 보행자는 정지된 버스의 뒤에서 길을 횡단하고 있다. 도 2c에서 보행자는 두 개의 주차된 차량들 간을 멋대로 들락거리고 있다. 도 2d에서 보행자는 도로의 다른 측에 정지된 두 개의 차량들 간의 도로를 횡단하고 있다. 도 2a와 도 2b의 상황은 특별하고 국부로 제한된 도시 지역(횡단 보도와 버스 정류장)을 참고한 것이고, 도 2c와 도 2d의 상황은 도로망의 어느 부분에서 발생할 수 있다는 것에 주목하는 것이 중요하다.
도 2a 내지 도 2d의 첫 번째 열은 몇 개의 예시적인 상황들을 나타내는데, 횡단하는 보행자의 가시성은 정지된 차량에 의해 차단된다. 도 2a 내지 도 2d의 두 번째 열은 각 상황에 대해 시스템이 가능한 보행자의 존재에 대한 점검을 수행할 지역을 밝게 비춘다. 똑바른 연장선은 (빌딩이나 가드레일과 같은) 커다란 고정 구조들을 찾기 위한 것인데, 본 발명에서는 이에 대해 다루지 않았다. 다시 말해, 본 발명은 정지된 차량 뒤에서 들락거리는 보행자의 검출에 초점을 둔다. 즉, 차량의 전방 지역에서 명확하게 보이는 보행자도 검출될 수 있으나, 이러한 기능은 다른 시스템에서 공통적이므로 자세한 설명을 생략한다.
특별한 장면에 집중하는 아이디어는 보행자 검출 시스템에 새롭지 않다. 통상적으로, 아이의 존재에 대한 강한 암시를 주는 공을 검출할 수 있는 모듈은 이미 개발되었다. 보행자의 가시성을 차단하는 주차된 차량들은 사고의 주요 원인들 중 하나라는 것은 알려져 있다. 사실, 주거 지역에서 주차 공간은 대각선으로 정렬되어야 한다. 하지만, 도 2a 내지 도 2d에 도시한 바와 같이, 차량이 도로에 정차하는데 그 위치가 주차 구획인 경우와 같이 전략적으로 구성되고 조심스럽게 다뤄질 수 없는 상황이 있다. 몇몇 이러한 상황은 특별한 도시 지역(즉, 횡단 보도와 버스 정류장)을 참조해서 접근하는 차량을 경고하는 데 도움이 되는 지능적인 사회시설에 의해 특별히 향상될 수 있었지만, 다른 상황은 도로망의 어느 지점에서 발생할 수 있어서, 지능적인 사회시설의 설치를 비현실적으로 만든다.
그러한 시스템에 의해 필요로 하는 주요 특성은 다음의 능력이다. ① 짧은 작업 거리와 임박한 충돌의 특별한 위험이 주어지면, 신속하게 보행자를 검출하는 능력, ② 보행자가 여전히 부분적으로 차단될 때에도 보행자가 나타나자 마자 검출하는 능력, ③ 신속한 전처리에 의해 결정되면, 검색을 주어진 지역으로 제한하는 능력. 본 발명에서 제안된 시스템은 보행자 검출 시스템의 특별한 응용예를 제시한다.
다음 섹션 즉, II 섹션에서 시험 차량 설정이 제시된 다음, III 섹션에서 위험 지역의 검출에 대해 설명한다. IV 섹션에서는 비젼 퓨전(Vision Fusion)에 대한 고려사항들을 논의하고 V 섹션에서는 몇 가지 최종 주장들이 펼쳐진다.
II. 시험 차량
A. 감지 기술
시험을 위한 차량이 정지된 차량에 근접하여 달리고 있는 도시의 시나리오에서 적용하도록 고안되어서, 차량 속도와 검출 거리에 대한 제한은 수월하다. 50 km/h의 낮은 속도 내지 보통 속도와 약 40 m의 검출 거리는 안전한 선택으로 고려될 수 있다. 주위 환경적 감지는 검출될 정지된 차량을 필요로 한다. 레이저 기반 해법은 그들의 모양으로 인해 차량과 같은 커다란 장애물을 찾고 분류하는 데 충분히 강력하다.
레이저 스캔과 관련된 속도 정보의 부재를 극복하기 위해, 얽힌 데이터(Interlaced Data)를 제공하는 특정한 특징을 갖는 특별한 레이저 스캐너를 선택했다. 하나의 고선명 스캔을 형성하기 위해 많은 비월주사(Interlaced Scan)들을 그룹화한다. 차량 CAN 데이터에 결합된 이러한 얽힌 데이터의 분석은 장애물 속도를 평가하여서 속도가 없는 차량을 찾아내도록 한다.
주어진 일련의 특정한 지역에서 보행자의 존재를 점검하기 위해 가장 좋은 기술은 비전이다. 단안 비전(Monocular Vision)은 3D 재구성이 불필요하므로 충분하고 거리의 평가가 이미 가능하다. 시스템이 현재 낮의 조건에서 시험되고 있지만, 근접 적외선(NIR: Near Infrared, 이하 'NIR'이라 칭함) 카메라와 적당한 조명의 사용은 그 동작 범위를 밤까지 확장하도록 한다.
B. 센서 선택
카메라는 가시적인 스펙트럼과 근접 적외선의 스펙트럼에서 모두 민감성을 갖는다. 차량의 전방에는 추가적인 헤드 램프가 장착된다. 약 25°의 균열을 갖는 근접 적외선 발광 다이오드 헤드라이트(NIR LED headlight)는 방열기(Radiator)의 전면에 부착되고, 하이빔(High Beam)은 가시광선을 차단하고 NIR 스펙트럼에서만 조명하기 위해 슈퍼라이트(SL: Super Light)에 의해 최적화된다.
검출 능력은 100°의 스캐닝 각, 0.25°의 최소 각 해상도, 80 미터까지의 범위, 안개 보정 기능 등을 갖는 것이 적합하다. 레이저 스캐너는 1°의 해상도로 할 수 있지만, 4 개의 연속적인 회전으로 인해, 얽인 시스템(Interlaced System)과 0.25°의 위상차를 이용하여, 최종 입도를 0.25°로 감소시키는 것이 가능하다. 각 회전은 13.32 ms를 가져서 53.28 ms의 네 개의 회전이 수행된다. 펄스들 간의 시간 차이 측정은 무시할 수 있다. 게다가, 차량이 움직일 때, 첫 번째 펄스가 측정될 때 레이저 스캐너의 위치 간의 이동과 마지막 펄스가 측정될 때 위치는 상당하다. 레이저 스캐너의 얽힌 시스템은 이러한 문제를 좀 더 분명해지게 한다.
C. 차량 셋업
컴팩트 PC는 부트(Boot)에 장착되지만, 레이저 스캐너와 두 개의 다른 NIR 헤드 램프는 범퍼의 전방에 위치한다. 도 3에 도시한 바와 같이, NIR 카메라는 뒷거울(Rear-View Mirror) 근처의 캐빈(Cabin) 내에 위치한다.
도 3은 시험 차량을 나타낸 예시도이다.
III. 주의 집중(Focus of Attention)
두 개의 다른 레이저 데이터 분류는 알고리즘을 강인하게(Robust)하기 위해 개발된다. 두 개의 방법은 직선으로 무리를 지은 펄스들에 기초하지만, 첫 번째 방법은 장애물을 분류하기 위해 최후의 스캔만을 고려하고 두 번째 방법은 장애물의 이전의 위치를 증명하여 그 속도를 예측하기 위해 정해진 수의 이전의 스캔을 이용한다.
A. 데이터 수정(Data Correction)
섹션 II에서 이미 설명한 것처럼, 연속하는 레이저 스캐너 측정들 간의 변화는 감지할 만하다. 장애물의 모양은 왜곡되어 나타날 수 있기 때문에, 이 특징은 무리화 또는 분류화 문제를 유발할 수 있다. CAN에서 제공되는 에고 모션 데이터(Ego Motion Data)를 이용하면, 차량의 회전-변환(Roto-Translation)을 계산하고 각 펄스에 대해 측정된 위치를 수정하는 것이 가능하다.
도 4a 및 도 4b는 열 레이저 데이터와 움직임이 없는 장애물을 참조하는 수정된 데이터를 나타낸 예시도이다.
스캔을 생성하는 네 개의 회전은 수정 전에 명확하게 볼 수 있지만, 장애물은 수정 후에 하나의 선으로서 나타난다. 도 4a에서는 수정하지 않은 레이저 데이 터를 나타내었고, 도 4b에서는 수정한 데이터를 나타내었다.
장애물의 위치는 스캔하는 동안 변화하기 때문에, 장애물이 이동함으로써 반향된 펄스는 하나의 선으로 줄여질 수 없다. 이동하는 장애물들은 데이터를 수정한 후에 네 개의 평행한 선들에 의해 확인된다. 이 정보가 장애물 분류에 매우 유용하게 될 수 있다.
B. 데이터 무리화(Data Clustering)
펄스가 속한 곳에 회전에 대한 정보를 폐기하는 과정에서, 연속하는 펄스들을 연결하는 것은 이동하는 장애물들을 제외한 모든 상황을 위한 작업이다. 더 좋은 결과는 같은 회전에 속하는 펄스들만을 연결함으로써 얻어질 수 있다. 이동하는 장애물은 네 개의 다르고 평행한 무리들에 의해 확인된다. 펄스들은 선분들의 체인으로서 무리화된다. 동일한 회전의 어떠한 체인으로 결합될 수 없는 점들은 근접도만을 고려하는 다른 회전의 점들와 병합하기 위해 시험된다. 어떤 다른 점과 연결될 수 없거나 레이저 스캐너 범위(약 80 미터)의 경계에 있는 점들은 영구적으로 버려진다.
C. 선분 합병(Segment Merging)
지금까지 펄스들은 어떤 다른 정보 없이도 선분의 체인에서 결합된다. 대략적으로 같은 방향을 갖는 주변 선분들은 장애물 모양을 유지하지만 데이터 구조의 복잡도와 표현의 구체적인 사항들을 줄이면서 더 긴 선분들로 병합될 수 있다. 각 체인은 선분화되어 폴리라인(Polyline)이 된다.
도 5는 하나의 선은 차량의 측면에 해당하는 반면, 네 개의 평행한 선들은 차량의 범퍼에 해당하는 이동하는 차량을 나타낸 예시도이다.
노란 점들은 폴리라인들 시작점들이고, 빨간 점들은 폴리라인의 중간에 있는 점들이며, 청록색 점들은 폴리라인들 종단점이며, 녹색점들은 선에 속하는 점들이다. 도 5에서는 이동하는 차량을 나타내었는데, 뒷범퍼는 네 개의 병행선으로 표시된 반면, 차량 이동 방향에 평행한 차량의 측면은 하나의 선으로 표시된다.
D. 선 합병(Lines Merging)
레이저 스캐너의 관점의 영역에서의 모든 장애물은 전체의 고선명 스캔으로 구성되는 각 회전 당 하나인, 네 개의 선들로 확인된다. 고정 장애물의 경우, 이전의 데이터 수정으로인해, 네 개의 선들은 상당히 완벽하게 오버래핑되며 합병될 수 있다. 반대로, 이동하는 장애물의 경우, 그 선들은 오버래핑하지는 않지만 평행하므로, 고정되고 이동하는 장애물들은 찾아지고 올바르게 분류될 수 있다.
도 6a 내지 도 6c는 알고리즘의 단계들을 나타낸 예시도이다.
도 6a에서는 데이터 클러스팅 단계를 나타내었고, 도 6b에서는 폴리라인을 이용하여 대략화를 하는 단계를 나타내었으며, 도 6c에서는 라인들을 병합하는 단계를 나타내었다. 도 6c에서는 모든 점들이 하나의 선으로 합병된 때의 최종 결과를 나타낸다. 다음 단계들을 간소화하기 위해, 아주 미세한 것은 무시한다. 이러한 신속하고 간단하지만 매우 효과적인 고정 장애물을 확인하기 위한 절차는, 차량의 속도(Pitch)가 무시할 만하지 않을 때, 부정 오류(False Negative)를 만들 것이다. 섹션 V에서 이 문제를 논의할 것이다.
E. 첫 번째 장애물 분류(First Obstacle Classification)
획득된 폴리라인들은 단지 그 크기와 모양에 따라 분류될 수 있다. 장애물들을 ● 가능한 보행자, ● 도로 경계, ● L-모양 장애물, ●이동 장애물, ● 일반 장애물과 같은 5 개의 카테고리들로 구분할 수 있다. 최종적으로 보행자로 분류될 수 있는 장애물들은 작아진 크기를 가지는 반면, 큰 크기를 갖고 차량과 거의 평행한 장애물들은 도로 경계(가드레일, 도로 시설들,..)로 가정된다. 선들의 방향에 기초한 간단하고 빠른 방법은 L-모양 장애물들을 검출하는 것이었다. 이동 차량들은 알고리즘의 이전 단계에서 이미 개체로 구별되었다. 아직 분류되지 않은 모든 장애물들은 일반 장애물들로 이름이 붙여진다. 이제까지 얻어진 결과들은 도 7에 도시한 바와 같이 만족스럽다.
도 7은 장애물 분류를 나타낸 예시도이다.
청녹색 선들은 L-모양 장애물들을 나타낸다. 흰색 선들은 가능한 보행자들을 나타내고 보라색 선들은 일반 장애물들을 나타낸다.
F. 일시적이고 모양에 기초한 코릴레이션(Temporal and Shape-Based Correlation)
이전 서브섹션에서 설명된 분류는 모든 조그마한 장애물을 가능한 보행자로서 분류한다. 모든 보행자들이 올바르게 분류되는 것이 가능할지라도, 많은 긍정 오류들이 나타난다. 도로 상에서 고정된 장애물들(특히 주차된 차량들)은, 보행자들이 들락거리고 위험해 질 수 있는 위험한 지역의 모서리에 아주 근접하여 주의를 집중하기 위해, 차량의 전방에 있는 위험 지역을 찾기 위해 사용된다.
이전의 스캔에 의해 제공된 폴리라인들은 에고-모션(Ego-Motion)에 따라 이 동한 다음, 현재의 폴리라인들과 이전의 폴리라인들 간의 오버랩이 다음의 4 개의 집합들에서 새로운 분류를 제공하기 위해 점검된다. 4 개의 집합들은 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물과 '새로운' 장애물이다. '이동' 장애물들을 나타내는 스캔 데이터는 시간 윈도우가 클 때 공간적인 오버랩이 없거나 거의 없지만, 불행히도 이동 차량의 측면은 고정(높은 공간적 오버랩)된 것처럼 나타난다. 어쨌든, L-모양 목표물들에 대한 이전의 레이블링(Labelling)으로 인해, 같은 차량의 범퍼와 측면은 '이동'이라는 레이블(Label)을 물려받은 동일한 목표물에 속한다.
주어진 시간 윈도우에서 잘 오버래핑된 스캔에 의해 표현되는 장애물들은 '고정'으로 표시되지만, 더욱 새로운 스캔선들은 (장애물에 더욱 근접해 지는 차량으로 인해) 오래된 스캔선들 보다 더 길고 더욱 정교하다.
스캔선들이 어떤 것이 몇몇 지역에서만 오버랩되고 다른 것들과 다르다는 것을 검출할 때마다, 그 목표물은 '모양이 변화하는'장애물로서 분류된다. 이는(이전에 차단된 보행자 또는 차량과 같은) 몇몇의 새로운 도로 주행자가 장면에 들어올 때 발생할 수 있다. 또 다른 목표물과 근접해 지면, 레이저 데이터에서 그의 모양이 그 주변 차량의 모양과 관련 있는 것처럼 보여진다. 이는 또한 주차된 차량의 운전자가 문을 열 때와 차량에서 내릴 때에 발생할 수 있다.
현재 폴리라인과 예전의 폴리라인들 간에 일치점이 없을 때, 목표물은 새로운 장애물로서 분류된다. 이동하는 장애물들은 버려진다. 고정 장애물들은 비전이 보행자를 검색할 관심 지역을 찾는 데 중요하다. 모양을 변화하는 장애물들은 그 모양이 아주 정확한 지역에서 보행자를 담을 수 있기 때문에 기본적으로 중요하다. 그리고 마지막으로 새로운 장애물들은 비전이 작업해야 할 다른 관심 지역을 찾는다.
G. 위험 지역 확인(Risky Area Identification)
이전 단계들에서 획득된 모든 정보는 주위 환경(고정 장애물들과 차량들)과 이동 장애물들(보행자와 차량들)을 확인하기 위해 사용된다. 두 번째 분류에 의해 고정으로서 확인된 장애물들과 그 장애물들에 의해 이동으로서 분류되지 않은 장애물들은 주위 환경의 구조를 정의하기 위해 사용된다. 또한, 모양을 변화하는 장애물들은 변화하지 않는 점들만을 고려하면서 주위 환경을 구축하기 위해 사용된다. 차량의 전방에 있는 도로의 오른쪽과 왼쪽 부분에 있는 이동하지 않는 장애물들은 도 8에 도시한 바와 같이, 가까운 미래에 차량이 도달할 수 있는 지역이라고 이름 붙여진 위험 지역의 오른쪽과 왼쪽 경계를 구축하기 위해 사용된다.
도 8은 장애물 분류와 위험 지역을 나타낸 예시도이다.
보라색 선들은 이전 스캔에 의해 제공된 장애물들이고, 빨간색 선들은 이동 장애물들이고, 청녹색 선들은 고정 장애물들이고, 녹색 선들은 모양을 변화하는 장애물인 반면, 회색 선들은 위험 지역의 왼쪽과 오른쪽 경계를 나타낸다. 위험 지역에서 이동하는 장애물들은 위험 장애물들로 이름 지어진다. 고정 장애물들 사이의 지역에 관심이 특히 집중된다. 보호가 필요한 위험한 보행자는 고정 장애물 뒤에 나타나거나 고정 장애물의 모양을 수정할 것이다.
H. 주의 절차의 결과(Results of the Attentive Process)
도 9는 위험한 보행자를 올바르게 인식한 결과를 나타낸 예시도이고, 도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도이다.
이미지상에 레이저 데이터를 투영한 것으로 인해, 도 9는 한 보행자가 주차된 차량의 뒤에서 들락거리고 또 다른 보행자가 위험 지역에서 걷고 있는 상황을 나타낸다. 두 보행자들은 올바르게 검출된다. 도 9에는 주차 공간을 들락거리는 밴과 주차된 차량 주위를 지나다니는 자전거가 도시되어 있다. 도 9와 도 10에 나타낸 바와 같이, 두 개의 위험한 장애물들이 모두 올바르게 검출된다. 실행 시간은 Pentium 4 2.8 GHz PC를 이용한 경우 5 ms 보다 적다 즉, 실시간 제약을 유지하기 위한 비전 퓨전(Vision Fusion)에 약 48 ms가 남는다.
IV. 비전 퓨전(Vision Fusion)
관심 지역은 세계 좌표에서 2D 지역들이다. 카메라 눈금과 원근법적 맵핑으로 인해, 이미지에서 그들이 해당하는 지역이 찾아진다. 카메라 눈금과 보다 일반적인 시스템 눈금은 퓨전 시스템에서 기초적인 역할을 수행하며 논의될 필요가 있다. 움직이는 동안 차량의 피치(Pitch)는 세계와 관련된 카메라 원점을 변화시킬 수 있지만, 가장 중요하게는, 레이저 스캐너로 하여금 다른 원점을 사용하여 장면을 스캔하도록 한다. 도로 위에서 적용하기 위해서, 이것은 짧은 거리 감지를 위해 일반적으로 제한된 주제만을 고려하고, 장애물들이 수직일 때 아주 덜 중요하다. 반대로, 감지할 수 있을 만한 차량의 피치 각도(특히, 지표면을 향하는 레이저스캐너를 지시하는 음의 각도)의 경우, 레이저스캐너의 스캐닝 평면은 지표면과 교차할 것이므로 중요한 결과들을 양산하지 않는다.
두 개의 센서들이 차량의 프레임에 고정된다는 사실로 인해, 그들은 그에 따라서 움직이고 단 하나의 보상만으로도 충분할 것이다. 비전은, 관심 지역에서 보행자의 특징들을 찾기 위해 사용될 뿐만 아니라, 차량의 피치를 평가하기 위해서도 사용된다. 추가적인 가속계는 비전에 의해 제공되는 피치 측정 결과들을 점검하기 위해 현재 사용되고 있다. 순간적인 차량의 피치가 레이저스캐너 처리(차량 피치 중에 잘못된 결과들을 생성하는 것을 방지하기 위해)에 공급되며, 도 11에 도시한 바와 같이, 이미지 스트림을 안정화하는 데에도 사용된다.
도 11은 비전과 레이저스캐너 데이터를 융합하는 데 사용되는 구조를 나타낸 예시도이다.
주의 지역이 찾아지면, 보행자에 대한 검색은 아다부스트(AdaBoost) 분류기를 이용하여 시작된다. 인식된 지역은 고정된 크기(50x20)로 다시 표본화되고 모든 필섹들은 입력으로서 사용된다. 아다부스트는 알고리즘의 이전 단계들에 의해 개별화되고 보행자 또는 보행자가 아닌 것으로서 수동으로 표시된 지역을 이용하여 훈련된다.
V. 결론
본 발명은 안정성을 증가시키고 취약한 도로 사용자들과의 충돌을 가급적 피하기 위한 새로운 구조를 제시한다. 검증 단계와 위험 수준의 평가에 의해 제공되는 일반적인 보행자 검출 시스템을 구현하는 대신, 본 발명에서는 혁신적인 접근법 을 제안한다. 특별한 주위 환경 구조(즉, 보행자들을 숨기는 정지된 차량들)가 검출될 때마다, 보행자의 가능한 존재가 정해진 지역에서 점검된다.
이러한 해법은 전통적인 구현들과 관련하여 다른 관점으로부터 문제에 접근할 뿐만 아니라, 특별히 치명적인 주위 환경인 전형적인 도시 사고들에 초점을 맞춘다. 위험 상황에 대한 검출을 직접 제공할 뿐만 아니라 비전 기반 보행자 인식에서 계산이 집중되는 부분이 이미지의 제한된 영역에서만 수행되기 때문에 타이밍 성능도 향상시킨다. 위험 지역 찾기 단계로 인한 속도 증가는 (보행자들을 찾는 데 단지 크기만을 고려하는) 전통적인 시스템에 의해 생성되는 가능한 보행자의 숫자와 이 방법에 의해 생성된 숫자들 간의 차이로서 측정될 수 있다. 즉, 도시의 시나리오에서의 많은 시험들에 의해, 본 발명은 전통적인 시스템보다 평균적으로 가능한 보행자를 1/4 이하로 제공함을 확인할 수 있었다.
도 12는 본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치는 차량의 주변에 있는 보행자를 검출하는 장치로서, 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부(1210), 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부(1220), 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부(1230) 및 영상 중 위험 지역에 해당하는 영역 에서 우선적으로 보행자를 검출하는 보행자 검출부(1240)를 포함하여 구성된다.
여기서, 촬영부(1210)는 근접 적외선(NIR: Near Infrared) 카메라 및 복수 개의 근접 적외선 발광 다이오드 헤드라이트(NIR LED Headlight)를 포함하여 구성될 수 있다. 또한, 보행자 검출부(1240)는 영상 또는 영상의 후보 영상에서 보행자를 검출하는 중에 위험 지역에 움직이는 장애물이 나타나는 경우에만 영상 중 위험 지역에 해당하는 영역에서 우선적으로 보행자를 검출할 수 있다.
여기서, 위험 지역 검출부(1230)는 전술한 보행자 검출 장치에서 위험 지역을 검출하는 장치로서, 감지부(1220)로부터 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부를 포함하여 구성될 수 있다.
또한, 위험 지역 검출부는 비월주사(Interlaced Scan) 방식의 레이저 스캐너(Razer Scanner)를 구비하는 감지부로부터 거리 데이터를 수신하여 장애물 속도를 평가함으로써 속도가 없는 차량을 찾을 수 있다.
또한, 위험 지역 검출부는 감지부(1220)로부터 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정하는 데이터 수정부, 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 데이터 무리화부, 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 선분 합병부, 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 선 합병부, 폴리 라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 첫 번째 장애물 분류부, 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 두 번째 장애물 분류부; 및 첫 번째 장애물 분류부 및 두 번째 장애물 분류부에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출하는 위험 지역 확인부를 포함하여 구성될 수 있다.
또한, 데이터 수정부는 차량의 CAN으로부터 수신하는 에고-모션(Ego-Motion) 데이터를 이용하여 차량의 회전-변환(Roto-Translation)을 계산함으로써 거리 데이터를 수정할 수 있다. 또한, 데이터 무리화부는 거리 데이터의 연속하는 펄스들 중 같은 회전에 속하는 펄스들만을 연결함으로써 거리 데이터를 무리화할 수 있다.
또한, 첫 번째 장애물 분류부는 복수 개의 종류의 장애물로서 가능한 보행자, 도로 경계, L-모양 장애물, 이동 장애물 및 일반 장애물 중 어느 하나 이상을 검출할 수 있다. 또한, 두 번째 장애물 분류부는 시간적이고 모양에 기초한 코릴레이션을 수행하는 모듈로서, 폴리라인을 에고-모션(Ego-Motion)에 따라 이동함으로써 수정된 폴리라인을 생성할 수 있다. 또한, 두 번째 장애물 분류는 복수 개의 종류의 장애물로서 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물 및 '새로운' 장애물 중 어느 하나 이상을 검출할 수 있다.
도 13은 본 발명의 일 실시예에 따른 위험 지역 검출 방법을 설명하기 위한 순서도이다.
차량에 탑재된 감지부(1220)가 레이저 스캔을 통해 차량의 주변의 장애물들을 감지하고 거리 데이터를 생성하면, 위험 지역 검출부(1230)는 감지부(1220)로부터 거리 데이터를 수신하고, 위험 지역 검출부(1230)는 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정한다(S1310).
거리 데이터를 수정한 위험 지역 검출부(1230)는 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하고(S1320), 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하며(S1330), 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병한다(S1340).
또한, 위험 지역 검출부(1230)는 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하고(S1350), 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출한다(S1360).
또한, 위험 지역 검출부(1230)는 단계 S1310 내지 단계 S1350에서 수집된 정보들 특히, 단계 S1350 및 단계 S1360에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아 니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1a 내지 도 1c는 주변 환경에 따른 보행자의 위험 여부 판별을 설명하기 위한 예시도,
도 2a 내지 도 2d는 본 발명에서의 고려되는 상황들과 가능한 가능한 보행자로서 검출되는 것으로 고려되는 관심 영역을 나타낸 예시도,
도 3은 시험 차량을 나타낸 예시도,
도 4a 및 도 4b는 열 레이저 데이터와 움직임이 없는 장애물을 참조하는 수정된 데이터를 나타낸 예시도,
도 5는 하나의 선은 차량의 측면에 해당하는 반면, 네 개의 평행한 선들은 차량의 범퍼에 해당하는 이동하는 차량을 나타낸 예시도,
도 6a 내지 도 6c는 알고리즘의 단계들을 나타낸 예시도,
도 7은 장애물 분류를 나타낸 예시도,
도 8은 장애물 분류와 위험 지역을 나타낸 예시도,
도 9는 위험한 보행자를 올바르게 인식한 결과를 나타낸 예시도이고, 도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도,
도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도,
도 11은 비전과 레이저스캐너 데이터를 융합하는 데 사용되는 구조를 나타낸 예시도,
도 12는 본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 13은 본 발명의 일 실시예에 따른 위험 지역 검출 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
1210: 촬영부 1220: 감지부
1230: 위험 지역 검출부 1240: 보행자 검출부

Claims (12)

  1. 차량의 주변에 있는 보행자를 검출하는 장치에 있어서,
    상기 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부;
    상기 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부;
    상기 거리 데이터를 이용하여 상기 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부; 및
    상기 영상 중 상기 위험 지역에 해당하는 영역에서 상기 보행자를 우선적으로 검출하는 보행자 검출부
    를 포함하며,
    상기 위험 지역 검출부는, 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하여 폴리라인을 생성하고, 생성된 상기 폴리라인을 크기와 모양에 따라 분류하여 장애물을 검출하는 것을 특징으로 하는 보행자 검출 장치.
  2. 제 1 항에 있어서, 상기 촬영부는,
    근접 적외선(NIR: Near Infrared) 카메라 및 복수 개의 근접 적외선 발광 다이오드 헤드라이트(NIR LED Headlight)를 포함하는 것을 특징으로 하는 보행자 검출 장치.
  3. 제 1 항에 있어서, 상기 보행자 검출부는,
    상기 영상 또는 상기 영상의 후보 영상에서 상기 보행자를 검출하는 중, 상기 위험 지역에 해당하는 영역에서 움직이는 장애물이 나타나는 경우에만, 상기 영상의 상기 위험 지역에 해당하는 영역에서 우선적으로 상기 보행자를 검출하는 것을 특징으로 하는 보행자 검출 장치.
  4. 차량의 주변에 있는 보행자를 검출하는 보행자 검출장치에 포함되는 위험지역을 검출하는 장치에 있어서,
    상기 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 상기 거리 데이터를 이용하여 상기 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 상기 위험 지역으로 검출하는 위험 지역 검출부를 포함하되,
    상기 위험 지역 검출부는,
    상기 거리 데이터를 수신하면 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하는 데이터 수정부; 및
    수정된 상기 거리 데이터를 이용하여 폴리라인을 생성하고, 생성된 상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개 종류의 장애물을 검출하고, 검출된 상기 복수 개 종류의 장애물을 이용하여 상기 위험 지역을 검출하는 위험 지역 확인부
    를 포함하는 것을 특징으로 하는 위험 지역 검출 장치.
  5. 제 4 항에 있어서, 상기 위험 지역 검출부는,
    비월주사(Interlaced Scan) 방식의 레이저 스캐너가 구비된 감지부로부터 상기 거리 데이터를 수신하는 것을 특징으로 하는 위험 지역 검출 장치.
  6. 제 4 항에 있어서,
    상기 위험 지역 검출부는,
    상기 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 데이터 무리화부;
    상기 선분으로 무리화된 거리 데이터 중 평행하고 일정한 정도 이상으로 근접한 선분끼리 연결하여 폴리라인으로 합병하는 선분 합병부;
    합병된 상기 폴리라인 중 일정한 정도 이상으로 근접한 폴리라인끼리 연결하여 하나의 직선으로 합병하는 선 합병부;
    상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 첫 번째 장애물 분류부;
    상기 폴리라인을 상기 차량의 위치 변화에 따라 수정하고 상기 폴리라인과 상기 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 두 번째 장애물 분류부를 포함하며,
    상기 위험 지역 확인부는, 상기 첫 번째 장애물 분류부 및 상기 두 번째 장애물 분류부로부터 검출된 상기 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 상기 위험 지역을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
  7. 제 6 항에 있어서, 상기 데이터 수정부는,
    상기 차량의 CAN으로부터 수신하는 에고-모션(Ego-Motion) 데이터를 이용하여 차량의 회전-변환(Roto-Translation)을 계산함으로써 상기 거리 데이터를 수정하는 것을 특징으로 하는 위험 지역 검출 장치.
  8. 제 6 항에 있어서, 상기 데이터 무리화부는,
    상기 거리 데이터의 연속하는 펄스들 중 같은 회전에 속하는 펄스들만을 연결함으로써 상기 거리 데이터를 무리화하는 것을 특징으로 하는 위험 지역 검출 장치.
  9. 제 6 항에 있어서, 상기 첫 번째 장애물 분류부는,
    상기 복수 개의 종류의 장애물로서 가능한 보행자, 도로 경계, L-모양 장애물, 이동 장애물 및 일반 장애물 중 어느 하나 이상을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
  10. 제 6 항에 있어서, 상기 두 번째 장애물 분류부는,
    상기 폴리라인을 에고-모션(Ego-Motion)에 따라 이동함으로써 상기 수정된 폴리라인을 생성하는 것을 특징으로 하는 위험 지역 검출 장치.
  11. 제 6 항에 있어서, 상기 두 번째 장애물 분류는,
    상기 복수 개의 종류의 장애물로서 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물 및 '새로운' 장애물 중 어느 하나 이상을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
  12. 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에 제공되는 위험 지역을 검출하는 방법에 있어서,
    (a) 감지부로부터 거리 데이터를 수신하면 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하는 단계;
    (b) 상기 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 단계;
    (c) 상기 선분으로 무리화된 거리 데이터 중 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 단계;
    (d) 상기 폴리라인을 상기 선분에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 단계;
    (e) 상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계;
    (f) 상기 폴리라인을 상기 차량의 위치 변화에 따라 수정하고, 상기 폴리라인 및 상기 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; 및
    (g) 상기 단계 (e) 및 상기 단계 (f)에서 검출된 상기 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 상기 위험 지역을 검출하는 단계
    를 포함하는 것을 특징으로 하는 위험 지역을 검출하는 방법.
KR1020080052738A 2008-06-04 2008-06-04 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 KR101141874B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080052738A KR101141874B1 (ko) 2008-06-04 2008-06-04 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
US12/471,878 US8164432B2 (en) 2008-06-04 2009-05-26 Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same
DE102009023326.1A DE102009023326B4 (de) 2008-06-04 2009-05-29 Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080052738A KR101141874B1 (ko) 2008-06-04 2008-06-04 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치

Publications (2)

Publication Number Publication Date
KR20090126586A KR20090126586A (ko) 2009-12-09
KR101141874B1 true KR101141874B1 (ko) 2012-05-08

Family

ID=41399802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080052738A KR101141874B1 (ko) 2008-06-04 2008-06-04 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치

Country Status (3)

Country Link
US (1) US8164432B2 (ko)
KR (1) KR101141874B1 (ko)
DE (1) DE102009023326B4 (ko)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147874B2 (ja) * 2010-02-10 2013-02-20 日立オートモティブシステムズ株式会社 車載画像処理装置
EP2388756B1 (en) * 2010-05-17 2019-01-09 Volvo Car Corporation Forward collision risk reduction
DE102010025351A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers
JP5338801B2 (ja) * 2010-12-23 2013-11-13 株式会社デンソー 車載障害物情報報知装置
DE102011078615B4 (de) 2011-07-04 2022-07-14 Toyota Jidosha Kabushiki Kaisha Objekterfassungsvorrichtung und objekterfassungsprogramm
DE102011113099A1 (de) 2011-09-09 2013-03-14 Volkswagen Aktiengesellschaft Verahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs
EP2653346B1 (en) * 2012-04-16 2020-06-10 Volvo Car Corporation Vehicle safety illumination arrangement and method
JP5592441B2 (ja) * 2012-06-26 2014-09-17 本田技研工業株式会社 配光制御装置
US9633436B2 (en) 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
CN104756175B (zh) * 2012-10-30 2018-02-16 丰田自动车株式会社 车辆的安全装置
JP5783163B2 (ja) * 2012-12-03 2015-09-24 株式会社デンソー 物標検出装置
DE102013201545A1 (de) * 2013-01-30 2014-07-31 Bayerische Motoren Werke Aktiengesellschaft Erstellen eines Umfeldmodells für ein Fahrzeug
JP5729416B2 (ja) * 2013-04-26 2015-06-03 株式会社デンソー 衝突判定装置、および衝突緩和装置
KR101843073B1 (ko) * 2013-05-31 2018-03-28 도요타 지도샤(주) 차량의 운전 지원 장치 및 차량 탑재 컴퓨터
JP6205923B2 (ja) * 2013-07-11 2017-10-04 株式会社デンソー 走行支援装置
DE102013215098A1 (de) 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Umfeldmodelle für Fahrzeuge
US9786178B1 (en) 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
US9505412B2 (en) 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
JP6429368B2 (ja) 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
KR101550972B1 (ko) 2013-09-25 2015-09-07 현대자동차주식회사 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법
US9336436B1 (en) 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
CN105723239B (zh) * 2013-11-20 2020-12-18 松下半导体解决方案株式会社 测距摄像系统以及固体摄像元件
KR101519261B1 (ko) * 2013-12-17 2015-05-11 현대자동차주식회사 차량의 모니터링 방법 및 자동 제동 장치
JP6174516B2 (ja) * 2014-04-24 2017-08-02 本田技研工業株式会社 衝突回避支援装置、衝突回避支援方法、及びプログラム
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10089693B1 (en) 2014-05-20 2018-10-02 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
US10336321B1 (en) 2014-11-13 2019-07-02 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
JP2016133341A (ja) * 2015-01-16 2016-07-25 株式会社リコー 物体検出装置、センシング装置、移動体装置及び物体検出方法
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
US9870649B1 (en) 2015-08-28 2018-01-16 State Farm Mutual Automobile Insurance Company Shared vehicle usage, monitoring and feedback
KR20170031901A (ko) * 2015-09-14 2017-03-22 한화테크윈 주식회사 고속 스캐닝 장치를 이용한 스캐닝 방법
JP6582936B2 (ja) * 2015-12-01 2019-10-02 株式会社デンソー 経路生成装置、自動走行制御システム
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10493936B1 (en) 2016-01-22 2019-12-03 State Farm Mutual Automobile Insurance Company Detecting and responding to autonomous vehicle collisions
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
DE102016000723A1 (de) 2016-01-23 2017-07-27 Audi Ag Erfassung einer Gefahrensituation im Straßenverkehr
RU2730790C2 (ru) * 2016-01-29 2020-08-26 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением транспортного средства
EP3205540A1 (de) * 2016-02-09 2017-08-16 Continental Automotive GmbH Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs
US10832331B1 (en) 2016-07-11 2020-11-10 State Farm Mutual Automobile Insurance Company Systems and methods for allocating fault to autonomous vehicles
EP3273423B1 (en) * 2016-07-21 2019-03-13 Continental Automotive GmbH Device and method for a vehicle for recognizing a pedestrian
DE102016117496A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Verfahren zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3318890B1 (en) * 2016-11-02 2019-05-01 Aptiv Technologies Limited Method to provide a vehicle environment contour polyline from detection data
KR102441060B1 (ko) * 2016-12-13 2022-09-06 현대자동차주식회사 보행자 추돌 사고 방지 장치, 그를 포함한 시스템 및 그 방법
DE102016124157A1 (de) * 2016-12-13 2018-06-14 Valeo Schalter Und Sensoren Gmbh Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger
US20190347512A1 (en) * 2017-01-02 2019-11-14 Visteon Global Technologies, Inc. Employing vehicular sensor information for retrieval of data
US10663584B2 (en) * 2017-05-26 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. Publishing LIDAR cluster data
JP6747389B2 (ja) * 2017-06-29 2020-08-26 株式会社デンソー 衝突推定装置および衝突推定方法
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
JP6676025B2 (ja) * 2017-10-23 2020-04-08 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2019089591A1 (en) * 2017-10-30 2019-05-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on human activity
JP7077606B2 (ja) * 2017-12-22 2022-05-31 株式会社デンソー 衝突判定装置
US10650553B2 (en) * 2017-12-27 2020-05-12 Intel IP Corporation Method of image processing and image processing device
KR102469361B1 (ko) * 2017-12-28 2022-11-23 에이치엘만도 주식회사 온도퓨즈의 체결구조
JP6598885B2 (ja) * 2018-01-05 2019-10-30 三菱電機株式会社 物体認識装置および物体認識方法
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
CN108734124A (zh) * 2018-05-18 2018-11-02 四川国软科技发展有限责任公司 一种激光雷达动态行人检测方法
EP3576069B1 (en) * 2018-05-30 2022-08-03 Aptiv Technologies Limited Method for a host vehicle to assess risk of overtaking a target vehicle on a pedestrian crossing
DE102018210814A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
DE102018127990A1 (de) * 2018-11-08 2020-05-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
WO2020145095A1 (ja) * 2019-01-10 2020-07-16 株式会社小糸製作所 LiDARセンサユニットおよび車両用防犯システム
KR20200139443A (ko) * 2019-06-04 2020-12-14 주식회사 만도 운전자 보조 시스템 및 그 제어 방법
CN110765841A (zh) * 2019-09-03 2020-02-07 上海交通大学 基于混合注意力机制的群组行人重识别系统及终端
KR20210088780A (ko) * 2020-01-06 2021-07-15 주식회사 만도 운전자 보조 장치 및 그 방법
CN112346080A (zh) * 2020-11-02 2021-02-09 成都云科新能汽车技术有限公司 一种基于单线激光雷达的自适应避障方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044359A (ja) * 2004-08-02 2006-02-16 Nissan Motor Co Ltd 車両用歩行者報知装置及び歩行者報知方法
JP2007257338A (ja) 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
JP2007310457A (ja) 2006-05-16 2007-11-29 Denso Corp 車車間通信システム、車車間通信装置、および制御装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3174832B2 (ja) * 1999-10-27 2001-06-11 建設省土木研究所長 横断歩行者衝突防止システム
DE10220837A1 (de) * 2002-05-08 2003-11-27 Daimler Chrysler Ag Vorrichtung zur Parklückensuche mittels Radar
DE10319700A1 (de) * 2003-05-02 2004-11-18 Ibeo Automobile Sensor Gmbh Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
DE10341753A1 (de) * 2003-09-10 2005-04-21 Bosch Gmbh Robert Vorrichtung zur Detektion einer Annäherung an einem Fußgängerüberweg in einem Fahrzeug
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
WO2005086079A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006044359A (ja) * 2004-08-02 2006-02-16 Nissan Motor Co Ltd 車両用歩行者報知装置及び歩行者報知方法
JP2007257338A (ja) 2006-03-23 2007-10-04 Toyota Central Res & Dev Lab Inc 潜在危険度推定装置
JP2007310457A (ja) 2006-05-16 2007-11-29 Denso Corp 車車間通信システム、車車間通信装置、および制御装置

Also Published As

Publication number Publication date
DE102009023326A1 (de) 2010-02-04
US8164432B2 (en) 2012-04-24
KR20090126586A (ko) 2009-12-09
DE102009023326B4 (de) 2021-02-04
US20090303026A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
KR101141874B1 (ko) 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
Broggi et al. A new approach to urban pedestrian detection for automatic braking
US9323992B2 (en) Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US10183666B2 (en) Method and device for determining a valid lane marking
Kilicarslan et al. Predict vehicle collision by TTC from motion using a single video camera
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
US8064643B2 (en) Detecting and recognizing traffic signs
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
US7566851B2 (en) Headlight, taillight and streetlight detection
JP5361901B2 (ja) 前照灯制御装置
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
Broggi et al. Localization and analysis of critical areas in urban scenarios
KR102526969B1 (ko) 스마트 반사경 장치
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
CN109987025B (zh) 用于夜晚环境的车辆驾驶辅助系统及方法
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
JP3961269B2 (ja) 障害物警報装置
KR102566732B1 (ko) 스마트 보조 반사경
KR102265796B1 (ko) 사각지역 차량 추적 장치 및 그 방법
EP3276588B1 (en) Cross traffic detection system for a vehicle
KR20180021469A (ko) 전방 카메라를 통해 획득된 보행자 영상을 이용한 충돌방지시스템
Inoue et al. Following vehicle detection using multiple cameras
JP4871941B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 8