KR101141874B1 - 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 - Google Patents
위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 Download PDFInfo
- Publication number
- KR101141874B1 KR101141874B1 KR1020080052738A KR20080052738A KR101141874B1 KR 101141874 B1 KR101141874 B1 KR 101141874B1 KR 1020080052738 A KR1020080052738 A KR 1020080052738A KR 20080052738 A KR20080052738 A KR 20080052738A KR 101141874 B1 KR101141874 B1 KR 101141874B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacles
- vehicle
- pedestrian
- polyline
- detecting
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Abstract
본 발명은 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출 장치에 관한 것이다.
본 발명은 특정한 도시의 상황에서 잠재적으로 위험한 상황들을 일부 지역에 제한하는 데 도움이 되는 보행자 검출 시스템의 한 응용 예를 제안한다. 본 발명은 차량 앞의 지역에서 출현하는 모든 보행자의 위치를 국부로 제한하도록 고안된 전통적인 보행자 검출 시스템과 달리, 우선 도시 환경에서의 위험 지역을 찾아낸 다음 이 지역들에서만 보행자들을 탐색한다. 주위 환경은 표준 레이저 스캐너 시스템으로 재구성되지만, 보행자의 존재에 대한 이후의 점검은 비전 시스템과 통합되어 수행된다.
본 발명에 의하면, 보행자 인식이 아주 제한적인 이미지 영역에서 수행되며, 결국 운전자 또는 자동 조정을 위한 탑재 컴퓨터에게 결과를 제공하기 전에는 위험 수준에 대한 어떠한 평가도 필요하지 않으므로, 타이밍 성능이 향상된다.
차량, 보행자, 검출, 장애물, 위험, 지역, 레이저, 스캐너, 폴리라인
Description
본 발명은 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출 장치에 관한 것이다. 더욱 상세하게는, 자동차의 주변의 장애물을 감지하고 장애물 중에 보행자를 검출함으로써 보행자를 보호하기 위한 장치와 방법에 관한 것이다.
통상적인 보행자 검출 시스템들은 자동차 전방의 모든 지역에 있는 보행자들에 대한 검색에 기초한다. 통상적인 보행자 검출 시스템에서 보행자의 후보들은 인간의 다리 동작의 모습, 대칭, 구조, 움직임, 주기성과 같은 보행자의 특징들을 이용하여 찾아진다. 다른 센싱 기술들과 통합하여 사용한 경우, 각 센서는 고레벨 또는 저레벨이 되면서 보행자의 특별한 특징들을 검색한다.
이러한 통상적인 보행자 검출 시스템의 보행자 검출 접근법들은 일반적인 도시 환경의 일반적인 상황이나 차량 앞에 있는 큰 지역 전체에서 보행자를 검색하기 때문에, 최적의 결과를 양산하지 않는다.
전술한 문제점을 해결하기 위해 본 발명은, 특별히 위험한 도시 환경을 위해 고안되어 정지된 차량을 찾은 다음 이러한 차량에 아주 근접해 있거나 그들에 의해 감춰진 지역에 있는 보행자를 우선적으로 검색하는 데 그 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에서 위험 지역을 검출하는 장치에 있어서, 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부를 포함하는 것을 특징으로 하는 위험 지역 검출 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 차량의 주변에 있는 보행자를 검출하는 장치에 있어서, 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부; 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부; 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부; 및 영상 중 위험 지역에 해당하는 영역에서 우선적으로 보행자를 검출하는 보행자 검출부를 포함하는 것을 특징으로 하는 위험 지역 검출을 이용하여 보행자 검출 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에서 위험 지역을 검출하는 방법에 있어서, (a) 감지부로부터 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정하는 단계; (b) 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 단계; (c) 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 단계; (d) 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 단계; (e) 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; (f) 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; 및 (g) 단계 (e) 및 단계 (f)에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출하는 단계를 포함하는 것을 특징으로 하는 위험 지역 검출 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 특별한 주위 환경 구조(즉, 보행자들을 숨기는 정지된 차량들)가 검출될 때마다, 보행자의 가능한 존재가 정해진 지역에서 점검됨으로써, 안정성을 증가시키고 취약한 도로 사용자들과의 충돌을 가급적 피하기 위한 새로운 보행자 검출 구조를 구현할 수 있다.
또한, 본 발명에 의하면, 특별히 치명적인 주위 환경인 전형적인 도시 사고들에 초점을 맞추어 보행자를 검출할 수 있다.
또한, 본 발명에 의하면, 위험 상황에 대한 검출을 직접 제공할 뿐만 아니라 비전 기반 보행자 인식에서 계산이 집중되는 부분이 이미지의 제한된 영역에서만 수행되기 때문에 타이밍 성능도 향상시킬 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
I. 개요
본 발명에서는 새로운 접근법에 기초한 보행자 검출을 위한 시스템을 제안한다. 즉, 본 발명은 특별히 위험한 도시 환경에서 작업하도록 고안된 반면, 전통적인 보행자 검출 접근법들은 최적의 결과를 양산하지 않는다. 또한, 전통적인 보행자 검출 접근법들은 일반적인 도시 환경과 차량 앞에 있는 큰 지역에서 보행자를 검색하는 대신, 본 발명에 따른 시스템은 특정한 시나리오에 집중하므로, 보행자 검출이 기본적으로 중요할 뿐만 아니라 상황의 위험이 명확하게 평가될 수 있다.
사실, 자동차 시스템에서, 올바른 검출은 성공적인 결과물 첫 번째 단계일 뿐이다. 즉, 교통 신호/교통 신호등/장애물 또는 차량과 주위 상황과 관련된 위치에 대해 해당하는 어떠한 지시도 없는 보행자는 꽤 적은 정보를 제공하는데, 이 정보는 검출 시스템을 불완전하게 만든다. 예를 들어, 장면에서 나타나는 모든 보행자들을 올바르게 찾을 수 있는 보행자 검출 시스템은 거대한 양의 정보를 제공하는 데, 이 정보는 운전자 또는 자동 조정을 위한 탑재된 컴퓨터에 유용해지기 위해서 여전히 필터링을 필요로 한다. 가능한 필터는 선 검출이나 다른 상황 분석 엔진 및 CAN 데이터와 같은 다른 시스템으로부터 나오는 정보를 통합함으로써 구현될 수 있다. 즉, 정확히 차량의 전방에 있는 보행자는 도 1a 내지 도 1c에 도시한 바와 같은 주변 환경에 따라 위험한 것으로 고려되거나 고려되지 않을 수도 있다.
도 1a 내지 도 1c는 주변 환경에 따른 보행자의 위험 여부 판별을 설명하기 위한 예시도이다.
도 1a에 나타낸 바와 같이, 보행자를 찾지만 주위 환경과 관련된 어떠한 참고 사항도 제공되지 않았을 때, 검출기는 위험 정보를 평가할 수 없다. 주위 환경에 대한 정보를 통합하면, 같은 보행자는 도 1b에서 나타낸 바와 같이 위협이 될 수도 있고, 도 1c에서 나타낸 바와 같이 안정된 위치에 있을 수 있다.
본 발명에서는 반대의 방법으로 문제에 접근했다. 즉, 모든 가능한 후보들을 검출하고 그 주위 상황을 분석한 후 그들을 필터링하여 제거하는 대신, 우선 시나리오를 평가한 다음 그 특별한 시나리오에서 특별한 위치에 있는 가능한 보행자들을 검색한다. 이러한 방법으로, 검출될 모든 보행자들은 가능한 위협들이고 더 이상의 어떠한 필터링도 필요하지 않게 된다(검증과 가능한 최종 추적 단계로부터의 부분). 본 발명에서 고려되는 시나리오는 아주 보통의 도시 상황을 참조하는데, 보행자의 존재는 초기에 검출된다면 완화될 수 있는 심각한 문제를 내포한다. 특히, 차량들이 도시의 도로에서 움직일 때, 보행자가 내포할 수 있는 유일한 위협은 도로 횡단이다. 따라서, 이러한 위협은 성공적인 검출을 필요로 한다. 반대로, 도로 또는 도로 옆에서 정지된 차량은 시나리오의 완전히 새로운 세트를 생성하는데, 보행자의 존재는 절대적으로 위험할 수 있다.
본 발명의 근본적인 아이디어는 정지된 차량을 찾은 다음 이러한 차량에 아주 근접해 있거나 그들에 의해 감춰진 지역에 있는 보행자를 검색하는 것이다. 이러한 정지된 차량들은 도로 모서리에 주차된 도로에 정차한 차량 또는 교통 신호등, 횡단 보도의 전방에 있는 선에 일렬로 줄세워진 차량들일 수 있는데, 그 차량들의 모서리가 보행자들에 대한 검색을 유발 시킬 것이다.
도 2a 내지 도 2d는 본 발명에서 고려되는 상황들과 가능한 보행자가 검출될 것으로 고려되는 관심 지역을 나타낸 예시도이다.
도 2a 내지 도 2d에서, 첫 번째 열 즉, 윗열은 본 발명에서 고려되는 다양한 상황들을 나타낸 것이고, 두 번째 열 즉, 아랫열은 가능한 보행자가 검출될 것으로 고려되는 관심 영역을 나타낸 것이다. 도 2a에서 횡단하는 보행자는 주차된 차량에 의해 숨겨진다. 도 2b에서 보행자는 정지된 버스의 뒤에서 길을 횡단하고 있다. 도 2c에서 보행자는 두 개의 주차된 차량들 간을 멋대로 들락거리고 있다. 도 2d에서 보행자는 도로의 다른 측에 정지된 두 개의 차량들 간의 도로를 횡단하고 있다. 도 2a와 도 2b의 상황은 특별하고 국부로 제한된 도시 지역(횡단 보도와 버스 정류장)을 참고한 것이고, 도 2c와 도 2d의 상황은 도로망의 어느 부분에서 발생할 수 있다는 것에 주목하는 것이 중요하다.
도 2a 내지 도 2d의 첫 번째 열은 몇 개의 예시적인 상황들을 나타내는데, 횡단하는 보행자의 가시성은 정지된 차량에 의해 차단된다. 도 2a 내지 도 2d의 두 번째 열은 각 상황에 대해 시스템이 가능한 보행자의 존재에 대한 점검을 수행할 지역을 밝게 비춘다. 똑바른 연장선은 (빌딩이나 가드레일과 같은) 커다란 고정 구조들을 찾기 위한 것인데, 본 발명에서는 이에 대해 다루지 않았다. 다시 말해, 본 발명은 정지된 차량 뒤에서 들락거리는 보행자의 검출에 초점을 둔다. 즉, 차량의 전방 지역에서 명확하게 보이는 보행자도 검출될 수 있으나, 이러한 기능은 다른 시스템에서 공통적이므로 자세한 설명을 생략한다.
특별한 장면에 집중하는 아이디어는 보행자 검출 시스템에 새롭지 않다. 통상적으로, 아이의 존재에 대한 강한 암시를 주는 공을 검출할 수 있는 모듈은 이미 개발되었다. 보행자의 가시성을 차단하는 주차된 차량들은 사고의 주요 원인들 중 하나라는 것은 알려져 있다. 사실, 주거 지역에서 주차 공간은 대각선으로 정렬되어야 한다. 하지만, 도 2a 내지 도 2d에 도시한 바와 같이, 차량이 도로에 정차하는데 그 위치가 주차 구획인 경우와 같이 전략적으로 구성되고 조심스럽게 다뤄질 수 없는 상황이 있다. 몇몇 이러한 상황은 특별한 도시 지역(즉, 횡단 보도와 버스 정류장)을 참조해서 접근하는 차량을 경고하는 데 도움이 되는 지능적인 사회시설에 의해 특별히 향상될 수 있었지만, 다른 상황은 도로망의 어느 지점에서 발생할 수 있어서, 지능적인 사회시설의 설치를 비현실적으로 만든다.
그러한 시스템에 의해 필요로 하는 주요 특성은 다음의 능력이다. ① 짧은 작업 거리와 임박한 충돌의 특별한 위험이 주어지면, 신속하게 보행자를 검출하는 능력, ② 보행자가 여전히 부분적으로 차단될 때에도 보행자가 나타나자 마자 검출하는 능력, ③ 신속한 전처리에 의해 결정되면, 검색을 주어진 지역으로 제한하는 능력. 본 발명에서 제안된 시스템은 보행자 검출 시스템의 특별한 응용예를 제시한다.
다음 섹션 즉, II 섹션에서 시험 차량 설정이 제시된 다음, III 섹션에서 위험 지역의 검출에 대해 설명한다. IV 섹션에서는 비젼 퓨전(Vision Fusion)에 대한 고려사항들을 논의하고 V 섹션에서는 몇 가지 최종 주장들이 펼쳐진다.
II. 시험 차량
A. 감지 기술
시험을 위한 차량이 정지된 차량에 근접하여 달리고 있는 도시의 시나리오에서 적용하도록 고안되어서, 차량 속도와 검출 거리에 대한 제한은 수월하다. 50 km/h의 낮은 속도 내지 보통 속도와 약 40 m의 검출 거리는 안전한 선택으로 고려될 수 있다. 주위 환경적 감지는 검출될 정지된 차량을 필요로 한다. 레이저 기반 해법은 그들의 모양으로 인해 차량과 같은 커다란 장애물을 찾고 분류하는 데 충분히 강력하다.
레이저 스캔과 관련된 속도 정보의 부재를 극복하기 위해, 얽힌 데이터(Interlaced Data)를 제공하는 특정한 특징을 갖는 특별한 레이저 스캐너를 선택했다. 하나의 고선명 스캔을 형성하기 위해 많은 비월주사(Interlaced Scan)들을 그룹화한다. 차량 CAN 데이터에 결합된 이러한 얽힌 데이터의 분석은 장애물 속도를 평가하여서 속도가 없는 차량을 찾아내도록 한다.
주어진 일련의 특정한 지역에서 보행자의 존재를 점검하기 위해 가장 좋은 기술은 비전이다. 단안 비전(Monocular Vision)은 3D 재구성이 불필요하므로 충분하고 거리의 평가가 이미 가능하다. 시스템이 현재 낮의 조건에서 시험되고 있지만, 근접 적외선(NIR: Near Infrared, 이하 'NIR'이라 칭함) 카메라와 적당한 조명의 사용은 그 동작 범위를 밤까지 확장하도록 한다.
B. 센서 선택
카메라는 가시적인 스펙트럼과 근접 적외선의 스펙트럼에서 모두 민감성을 갖는다. 차량의 전방에는 추가적인 헤드 램프가 장착된다. 약 25°의 균열을 갖는 근접 적외선 발광 다이오드 헤드라이트(NIR LED headlight)는 방열기(Radiator)의 전면에 부착되고, 하이빔(High Beam)은 가시광선을 차단하고 NIR 스펙트럼에서만 조명하기 위해 슈퍼라이트(SL: Super Light)에 의해 최적화된다.
검출 능력은 100°의 스캐닝 각, 0.25°의 최소 각 해상도, 80 미터까지의 범위, 안개 보정 기능 등을 갖는 것이 적합하다. 레이저 스캐너는 1°의 해상도로 할 수 있지만, 4 개의 연속적인 회전으로 인해, 얽인 시스템(Interlaced System)과 0.25°의 위상차를 이용하여, 최종 입도를 0.25°로 감소시키는 것이 가능하다. 각 회전은 13.32 ms를 가져서 53.28 ms의 네 개의 회전이 수행된다. 펄스들 간의 시간 차이 측정은 무시할 수 있다. 게다가, 차량이 움직일 때, 첫 번째 펄스가 측정될 때 레이저 스캐너의 위치 간의 이동과 마지막 펄스가 측정될 때 위치는 상당하다. 레이저 스캐너의 얽힌 시스템은 이러한 문제를 좀 더 분명해지게 한다.
C. 차량 셋업
컴팩트 PC는 부트(Boot)에 장착되지만, 레이저 스캐너와 두 개의 다른 NIR 헤드 램프는 범퍼의 전방에 위치한다. 도 3에 도시한 바와 같이, NIR 카메라는 뒷거울(Rear-View Mirror) 근처의 캐빈(Cabin) 내에 위치한다.
도 3은 시험 차량을 나타낸 예시도이다.
III. 주의 집중(Focus of Attention)
두 개의 다른 레이저 데이터 분류는 알고리즘을 강인하게(Robust)하기 위해 개발된다. 두 개의 방법은 직선으로 무리를 지은 펄스들에 기초하지만, 첫 번째 방법은 장애물을 분류하기 위해 최후의 스캔만을 고려하고 두 번째 방법은 장애물의 이전의 위치를 증명하여 그 속도를 예측하기 위해 정해진 수의 이전의 스캔을 이용한다.
A. 데이터 수정(Data Correction)
섹션 II에서 이미 설명한 것처럼, 연속하는 레이저 스캐너 측정들 간의 변화는 감지할 만하다. 장애물의 모양은 왜곡되어 나타날 수 있기 때문에, 이 특징은 무리화 또는 분류화 문제를 유발할 수 있다. CAN에서 제공되는 에고 모션 데이터(Ego Motion Data)를 이용하면, 차량의 회전-변환(Roto-Translation)을 계산하고 각 펄스에 대해 측정된 위치를 수정하는 것이 가능하다.
도 4a 및 도 4b는 열 레이저 데이터와 움직임이 없는 장애물을 참조하는 수정된 데이터를 나타낸 예시도이다.
스캔을 생성하는 네 개의 회전은 수정 전에 명확하게 볼 수 있지만, 장애물은 수정 후에 하나의 선으로서 나타난다. 도 4a에서는 수정하지 않은 레이저 데이 터를 나타내었고, 도 4b에서는 수정한 데이터를 나타내었다.
장애물의 위치는 스캔하는 동안 변화하기 때문에, 장애물이 이동함으로써 반향된 펄스는 하나의 선으로 줄여질 수 없다. 이동하는 장애물들은 데이터를 수정한 후에 네 개의 평행한 선들에 의해 확인된다. 이 정보가 장애물 분류에 매우 유용하게 될 수 있다.
B. 데이터 무리화(Data Clustering)
펄스가 속한 곳에 회전에 대한 정보를 폐기하는 과정에서, 연속하는 펄스들을 연결하는 것은 이동하는 장애물들을 제외한 모든 상황을 위한 작업이다. 더 좋은 결과는 같은 회전에 속하는 펄스들만을 연결함으로써 얻어질 수 있다. 이동하는 장애물은 네 개의 다르고 평행한 무리들에 의해 확인된다. 펄스들은 선분들의 체인으로서 무리화된다. 동일한 회전의 어떠한 체인으로 결합될 수 없는 점들은 근접도만을 고려하는 다른 회전의 점들와 병합하기 위해 시험된다. 어떤 다른 점과 연결될 수 없거나 레이저 스캐너 범위(약 80 미터)의 경계에 있는 점들은 영구적으로 버려진다.
C. 선분 합병(Segment Merging)
지금까지 펄스들은 어떤 다른 정보 없이도 선분의 체인에서 결합된다. 대략적으로 같은 방향을 갖는 주변 선분들은 장애물 모양을 유지하지만 데이터 구조의 복잡도와 표현의 구체적인 사항들을 줄이면서 더 긴 선분들로 병합될 수 있다. 각 체인은 선분화되어 폴리라인(Polyline)이 된다.
도 5는 하나의 선은 차량의 측면에 해당하는 반면, 네 개의 평행한 선들은 차량의 범퍼에 해당하는 이동하는 차량을 나타낸 예시도이다.
노란 점들은 폴리라인들 시작점들이고, 빨간 점들은 폴리라인의 중간에 있는 점들이며, 청록색 점들은 폴리라인들 종단점이며, 녹색점들은 선에 속하는 점들이다. 도 5에서는 이동하는 차량을 나타내었는데, 뒷범퍼는 네 개의 병행선으로 표시된 반면, 차량 이동 방향에 평행한 차량의 측면은 하나의 선으로 표시된다.
D. 선 합병(Lines Merging)
레이저 스캐너의 관점의 영역에서의 모든 장애물은 전체의 고선명 스캔으로 구성되는 각 회전 당 하나인, 네 개의 선들로 확인된다. 고정 장애물의 경우, 이전의 데이터 수정으로인해, 네 개의 선들은 상당히 완벽하게 오버래핑되며 합병될 수 있다. 반대로, 이동하는 장애물의 경우, 그 선들은 오버래핑하지는 않지만 평행하므로, 고정되고 이동하는 장애물들은 찾아지고 올바르게 분류될 수 있다.
도 6a 내지 도 6c는 알고리즘의 단계들을 나타낸 예시도이다.
도 6a에서는 데이터 클러스팅 단계를 나타내었고, 도 6b에서는 폴리라인을 이용하여 대략화를 하는 단계를 나타내었으며, 도 6c에서는 라인들을 병합하는 단계를 나타내었다. 도 6c에서는 모든 점들이 하나의 선으로 합병된 때의 최종 결과를 나타낸다. 다음 단계들을 간소화하기 위해, 아주 미세한 것은 무시한다. 이러한 신속하고 간단하지만 매우 효과적인 고정 장애물을 확인하기 위한 절차는, 차량의 속도(Pitch)가 무시할 만하지 않을 때, 부정 오류(False Negative)를 만들 것이다. 섹션 V에서 이 문제를 논의할 것이다.
E. 첫 번째 장애물 분류(First Obstacle Classification)
획득된 폴리라인들은 단지 그 크기와 모양에 따라 분류될 수 있다. 장애물들을 ● 가능한 보행자, ● 도로 경계, ● L-모양 장애물, ●이동 장애물, ● 일반 장애물과 같은 5 개의 카테고리들로 구분할 수 있다. 최종적으로 보행자로 분류될 수 있는 장애물들은 작아진 크기를 가지는 반면, 큰 크기를 갖고 차량과 거의 평행한 장애물들은 도로 경계(가드레일, 도로 시설들,..)로 가정된다. 선들의 방향에 기초한 간단하고 빠른 방법은 L-모양 장애물들을 검출하는 것이었다. 이동 차량들은 알고리즘의 이전 단계에서 이미 개체로 구별되었다. 아직 분류되지 않은 모든 장애물들은 일반 장애물들로 이름이 붙여진다. 이제까지 얻어진 결과들은 도 7에 도시한 바와 같이 만족스럽다.
도 7은 장애물 분류를 나타낸 예시도이다.
청녹색 선들은 L-모양 장애물들을 나타낸다. 흰색 선들은 가능한 보행자들을 나타내고 보라색 선들은 일반 장애물들을 나타낸다.
F. 일시적이고 모양에 기초한 코릴레이션(Temporal and Shape-Based Correlation)
이전 서브섹션에서 설명된 분류는 모든 조그마한 장애물을 가능한 보행자로서 분류한다. 모든 보행자들이 올바르게 분류되는 것이 가능할지라도, 많은 긍정 오류들이 나타난다. 도로 상에서 고정된 장애물들(특히 주차된 차량들)은, 보행자들이 들락거리고 위험해 질 수 있는 위험한 지역의 모서리에 아주 근접하여 주의를 집중하기 위해, 차량의 전방에 있는 위험 지역을 찾기 위해 사용된다.
이전의 스캔에 의해 제공된 폴리라인들은 에고-모션(Ego-Motion)에 따라 이 동한 다음, 현재의 폴리라인들과 이전의 폴리라인들 간의 오버랩이 다음의 4 개의 집합들에서 새로운 분류를 제공하기 위해 점검된다. 4 개의 집합들은 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물과 '새로운' 장애물이다. '이동' 장애물들을 나타내는 스캔 데이터는 시간 윈도우가 클 때 공간적인 오버랩이 없거나 거의 없지만, 불행히도 이동 차량의 측면은 고정(높은 공간적 오버랩)된 것처럼 나타난다. 어쨌든, L-모양 목표물들에 대한 이전의 레이블링(Labelling)으로 인해, 같은 차량의 범퍼와 측면은 '이동'이라는 레이블(Label)을 물려받은 동일한 목표물에 속한다.
주어진 시간 윈도우에서 잘 오버래핑된 스캔에 의해 표현되는 장애물들은 '고정'으로 표시되지만, 더욱 새로운 스캔선들은 (장애물에 더욱 근접해 지는 차량으로 인해) 오래된 스캔선들 보다 더 길고 더욱 정교하다.
스캔선들이 어떤 것이 몇몇 지역에서만 오버랩되고 다른 것들과 다르다는 것을 검출할 때마다, 그 목표물은 '모양이 변화하는'장애물로서 분류된다. 이는(이전에 차단된 보행자 또는 차량과 같은) 몇몇의 새로운 도로 주행자가 장면에 들어올 때 발생할 수 있다. 또 다른 목표물과 근접해 지면, 레이저 데이터에서 그의 모양이 그 주변 차량의 모양과 관련 있는 것처럼 보여진다. 이는 또한 주차된 차량의 운전자가 문을 열 때와 차량에서 내릴 때에 발생할 수 있다.
현재 폴리라인과 예전의 폴리라인들 간에 일치점이 없을 때, 목표물은 새로운 장애물로서 분류된다. 이동하는 장애물들은 버려진다. 고정 장애물들은 비전이 보행자를 검색할 관심 지역을 찾는 데 중요하다. 모양을 변화하는 장애물들은 그 모양이 아주 정확한 지역에서 보행자를 담을 수 있기 때문에 기본적으로 중요하다. 그리고 마지막으로 새로운 장애물들은 비전이 작업해야 할 다른 관심 지역을 찾는다.
G. 위험 지역 확인(Risky Area Identification)
이전 단계들에서 획득된 모든 정보는 주위 환경(고정 장애물들과 차량들)과 이동 장애물들(보행자와 차량들)을 확인하기 위해 사용된다. 두 번째 분류에 의해 고정으로서 확인된 장애물들과 그 장애물들에 의해 이동으로서 분류되지 않은 장애물들은 주위 환경의 구조를 정의하기 위해 사용된다. 또한, 모양을 변화하는 장애물들은 변화하지 않는 점들만을 고려하면서 주위 환경을 구축하기 위해 사용된다. 차량의 전방에 있는 도로의 오른쪽과 왼쪽 부분에 있는 이동하지 않는 장애물들은 도 8에 도시한 바와 같이, 가까운 미래에 차량이 도달할 수 있는 지역이라고 이름 붙여진 위험 지역의 오른쪽과 왼쪽 경계를 구축하기 위해 사용된다.
도 8은 장애물 분류와 위험 지역을 나타낸 예시도이다.
보라색 선들은 이전 스캔에 의해 제공된 장애물들이고, 빨간색 선들은 이동 장애물들이고, 청녹색 선들은 고정 장애물들이고, 녹색 선들은 모양을 변화하는 장애물인 반면, 회색 선들은 위험 지역의 왼쪽과 오른쪽 경계를 나타낸다. 위험 지역에서 이동하는 장애물들은 위험 장애물들로 이름 지어진다. 고정 장애물들 사이의 지역에 관심이 특히 집중된다. 보호가 필요한 위험한 보행자는 고정 장애물 뒤에 나타나거나 고정 장애물의 모양을 수정할 것이다.
H. 주의 절차의 결과(Results of the Attentive Process)
도 9는 위험한 보행자를 올바르게 인식한 결과를 나타낸 예시도이고, 도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도이다.
이미지상에 레이저 데이터를 투영한 것으로 인해, 도 9는 한 보행자가 주차된 차량의 뒤에서 들락거리고 또 다른 보행자가 위험 지역에서 걷고 있는 상황을 나타낸다. 두 보행자들은 올바르게 검출된다. 도 9에는 주차 공간을 들락거리는 밴과 주차된 차량 주위를 지나다니는 자전거가 도시되어 있다. 도 9와 도 10에 나타낸 바와 같이, 두 개의 위험한 장애물들이 모두 올바르게 검출된다. 실행 시간은 Pentium 4 2.8 GHz PC를 이용한 경우 5 ms 보다 적다 즉, 실시간 제약을 유지하기 위한 비전 퓨전(Vision Fusion)에 약 48 ms가 남는다.
IV. 비전 퓨전(Vision Fusion)
관심 지역은 세계 좌표에서 2D 지역들이다. 카메라 눈금과 원근법적 맵핑으로 인해, 이미지에서 그들이 해당하는 지역이 찾아진다. 카메라 눈금과 보다 일반적인 시스템 눈금은 퓨전 시스템에서 기초적인 역할을 수행하며 논의될 필요가 있다. 움직이는 동안 차량의 피치(Pitch)는 세계와 관련된 카메라 원점을 변화시킬 수 있지만, 가장 중요하게는, 레이저 스캐너로 하여금 다른 원점을 사용하여 장면을 스캔하도록 한다. 도로 위에서 적용하기 위해서, 이것은 짧은 거리 감지를 위해 일반적으로 제한된 주제만을 고려하고, 장애물들이 수직일 때 아주 덜 중요하다. 반대로, 감지할 수 있을 만한 차량의 피치 각도(특히, 지표면을 향하는 레이저스캐너를 지시하는 음의 각도)의 경우, 레이저스캐너의 스캐닝 평면은 지표면과 교차할 것이므로 중요한 결과들을 양산하지 않는다.
두 개의 센서들이 차량의 프레임에 고정된다는 사실로 인해, 그들은 그에 따라서 움직이고 단 하나의 보상만으로도 충분할 것이다. 비전은, 관심 지역에서 보행자의 특징들을 찾기 위해 사용될 뿐만 아니라, 차량의 피치를 평가하기 위해서도 사용된다. 추가적인 가속계는 비전에 의해 제공되는 피치 측정 결과들을 점검하기 위해 현재 사용되고 있다. 순간적인 차량의 피치가 레이저스캐너 처리(차량 피치 중에 잘못된 결과들을 생성하는 것을 방지하기 위해)에 공급되며, 도 11에 도시한 바와 같이, 이미지 스트림을 안정화하는 데에도 사용된다.
도 11은 비전과 레이저스캐너 데이터를 융합하는 데 사용되는 구조를 나타낸 예시도이다.
주의 지역이 찾아지면, 보행자에 대한 검색은 아다부스트(AdaBoost) 분류기를 이용하여 시작된다. 인식된 지역은 고정된 크기(50x20)로 다시 표본화되고 모든 필섹들은 입력으로서 사용된다. 아다부스트는 알고리즘의 이전 단계들에 의해 개별화되고 보행자 또는 보행자가 아닌 것으로서 수동으로 표시된 지역을 이용하여 훈련된다.
V. 결론
본 발명은 안정성을 증가시키고 취약한 도로 사용자들과의 충돌을 가급적 피하기 위한 새로운 구조를 제시한다. 검증 단계와 위험 수준의 평가에 의해 제공되는 일반적인 보행자 검출 시스템을 구현하는 대신, 본 발명에서는 혁신적인 접근법 을 제안한다. 특별한 주위 환경 구조(즉, 보행자들을 숨기는 정지된 차량들)가 검출될 때마다, 보행자의 가능한 존재가 정해진 지역에서 점검된다.
이러한 해법은 전통적인 구현들과 관련하여 다른 관점으로부터 문제에 접근할 뿐만 아니라, 특별히 치명적인 주위 환경인 전형적인 도시 사고들에 초점을 맞춘다. 위험 상황에 대한 검출을 직접 제공할 뿐만 아니라 비전 기반 보행자 인식에서 계산이 집중되는 부분이 이미지의 제한된 영역에서만 수행되기 때문에 타이밍 성능도 향상시킨다. 위험 지역 찾기 단계로 인한 속도 증가는 (보행자들을 찾는 데 단지 크기만을 고려하는) 전통적인 시스템에 의해 생성되는 가능한 보행자의 숫자와 이 방법에 의해 생성된 숫자들 간의 차이로서 측정될 수 있다. 즉, 도시의 시나리오에서의 많은 시험들에 의해, 본 발명은 전통적인 시스템보다 평균적으로 가능한 보행자를 1/4 이하로 제공함을 확인할 수 있었다.
도 12는 본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치는 차량의 주변에 있는 보행자를 검출하는 장치로서, 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부(1210), 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부(1220), 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부(1230) 및 영상 중 위험 지역에 해당하는 영역 에서 우선적으로 보행자를 검출하는 보행자 검출부(1240)를 포함하여 구성된다.
여기서, 촬영부(1210)는 근접 적외선(NIR: Near Infrared) 카메라 및 복수 개의 근접 적외선 발광 다이오드 헤드라이트(NIR LED Headlight)를 포함하여 구성될 수 있다. 또한, 보행자 검출부(1240)는 영상 또는 영상의 후보 영상에서 보행자를 검출하는 중에 위험 지역에 움직이는 장애물이 나타나는 경우에만 영상 중 위험 지역에 해당하는 영역에서 우선적으로 보행자를 검출할 수 있다.
여기서, 위험 지역 검출부(1230)는 전술한 보행자 검출 장치에서 위험 지역을 검출하는 장치로서, 감지부(1220)로부터 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 거리 데이터를 이용하여 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부를 포함하여 구성될 수 있다.
또한, 위험 지역 검출부는 비월주사(Interlaced Scan) 방식의 레이저 스캐너(Razer Scanner)를 구비하는 감지부로부터 거리 데이터를 수신하여 장애물 속도를 평가함으로써 속도가 없는 차량을 찾을 수 있다.
또한, 위험 지역 검출부는 감지부(1220)로부터 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정하는 데이터 수정부, 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 데이터 무리화부, 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 선분 합병부, 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 선 합병부, 폴리 라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 첫 번째 장애물 분류부, 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 두 번째 장애물 분류부; 및 첫 번째 장애물 분류부 및 두 번째 장애물 분류부에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출하는 위험 지역 확인부를 포함하여 구성될 수 있다.
또한, 데이터 수정부는 차량의 CAN으로부터 수신하는 에고-모션(Ego-Motion) 데이터를 이용하여 차량의 회전-변환(Roto-Translation)을 계산함으로써 거리 데이터를 수정할 수 있다. 또한, 데이터 무리화부는 거리 데이터의 연속하는 펄스들 중 같은 회전에 속하는 펄스들만을 연결함으로써 거리 데이터를 무리화할 수 있다.
또한, 첫 번째 장애물 분류부는 복수 개의 종류의 장애물로서 가능한 보행자, 도로 경계, L-모양 장애물, 이동 장애물 및 일반 장애물 중 어느 하나 이상을 검출할 수 있다. 또한, 두 번째 장애물 분류부는 시간적이고 모양에 기초한 코릴레이션을 수행하는 모듈로서, 폴리라인을 에고-모션(Ego-Motion)에 따라 이동함으로써 수정된 폴리라인을 생성할 수 있다. 또한, 두 번째 장애물 분류는 복수 개의 종류의 장애물로서 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물 및 '새로운' 장애물 중 어느 하나 이상을 검출할 수 있다.
도 13은 본 발명의 일 실시예에 따른 위험 지역 검출 방법을 설명하기 위한 순서도이다.
차량에 탑재된 감지부(1220)가 레이저 스캔을 통해 차량의 주변의 장애물들을 감지하고 거리 데이터를 생성하면, 위험 지역 검출부(1230)는 감지부(1220)로부터 거리 데이터를 수신하고, 위험 지역 검출부(1230)는 거리 데이터를 수신하면 차량의 위치 변화에 따라 거리 데이터를 수정한다(S1310).
거리 데이터를 수정한 위험 지역 검출부(1230)는 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하고(S1320), 선분으로 무리화된 거리 데이터를 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하며(S1330), 폴리라인을 선에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병한다(S1340).
또한, 위험 지역 검출부(1230)는 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하고(S1350), 폴리라인을 차량의 위치 변화에 따라 수정하고 폴리라인과 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출한다(S1360).
또한, 위험 지역 검출부(1230)는 단계 S1310 내지 단계 S1350에서 수집된 정보들 특히, 단계 S1350 및 단계 S1360에서 검출된 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 위험 지역을 검출한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아 니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1a 내지 도 1c는 주변 환경에 따른 보행자의 위험 여부 판별을 설명하기 위한 예시도,
도 2a 내지 도 2d는 본 발명에서의 고려되는 상황들과 가능한 가능한 보행자로서 검출되는 것으로 고려되는 관심 영역을 나타낸 예시도,
도 3은 시험 차량을 나타낸 예시도,
도 4a 및 도 4b는 열 레이저 데이터와 움직임이 없는 장애물을 참조하는 수정된 데이터를 나타낸 예시도,
도 5는 하나의 선은 차량의 측면에 해당하는 반면, 네 개의 평행한 선들은 차량의 범퍼에 해당하는 이동하는 차량을 나타낸 예시도,
도 6a 내지 도 6c는 알고리즘의 단계들을 나타낸 예시도,
도 7은 장애물 분류를 나타낸 예시도,
도 8은 장애물 분류와 위험 지역을 나타낸 예시도,
도 9는 위험한 보행자를 올바르게 인식한 결과를 나타낸 예시도이고, 도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도,
도 10은 위험한 장애물을 올바르게 인식한 결과를 나타낸 예시도,
도 11은 비전과 레이저스캐너 데이터를 융합하는 데 사용되는 구조를 나타낸 예시도,
도 12는 본 발명의 일 실시예에 따른 위험 지역 검출을 이용한 보행자 검출 장치의 전자적인 구성을 간략하게 나타낸 블록 구성도,
도 13은 본 발명의 일 실시예에 따른 위험 지역 검출 방법을 설명하기 위한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
1210: 촬영부 1220: 감지부
1230: 위험 지역 검출부 1240: 보행자 검출부
Claims (12)
- 차량의 주변에 있는 보행자를 검출하는 장치에 있어서,상기 차량의 주변을 촬영하여 영상을 생성하고 전달하는 촬영부;상기 차량의 주변의 장애물을 감지하여 거리 데이터를 전달하는 감지부;상기 거리 데이터를 이용하여 상기 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하고, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 위험 지역으로 검출하는 위험 지역 검출부; 및상기 영상 중 상기 위험 지역에 해당하는 영역에서 상기 보행자를 우선적으로 검출하는 보행자 검출부를 포함하며,상기 위험 지역 검출부는, 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하여 폴리라인을 생성하고, 생성된 상기 폴리라인을 크기와 모양에 따라 분류하여 장애물을 검출하는 것을 특징으로 하는 보행자 검출 장치.
- 제 1 항에 있어서, 상기 촬영부는,근접 적외선(NIR: Near Infrared) 카메라 및 복수 개의 근접 적외선 발광 다이오드 헤드라이트(NIR LED Headlight)를 포함하는 것을 특징으로 하는 보행자 검출 장치.
- 제 1 항에 있어서, 상기 보행자 검출부는,상기 영상 또는 상기 영상의 후보 영상에서 상기 보행자를 검출하는 중, 상기 위험 지역에 해당하는 영역에서 움직이는 장애물이 나타나는 경우에만, 상기 영상의 상기 위험 지역에 해당하는 영역에서 우선적으로 상기 보행자를 검출하는 것을 특징으로 하는 보행자 검출 장치.
- 차량의 주변에 있는 보행자를 검출하는 보행자 검출장치에 포함되는 위험지역을 검출하는 장치에 있어서,상기 차량의 주변의 장애물을 감지한 거리 데이터를 수신하면 상기 거리 데이터를 이용하여 상기 차량의 주변에 있는 주위 환경과 이동 장애물을 확인하며, 기 설정된 주위 환경과 이동 장애물이 위치한 지역을 상기 위험 지역으로 검출하는 위험 지역 검출부를 포함하되,상기 위험 지역 검출부는,상기 거리 데이터를 수신하면 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하는 데이터 수정부; 및수정된 상기 거리 데이터를 이용하여 폴리라인을 생성하고, 생성된 상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개 종류의 장애물을 검출하고, 검출된 상기 복수 개 종류의 장애물을 이용하여 상기 위험 지역을 검출하는 위험 지역 확인부를 포함하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 4 항에 있어서, 상기 위험 지역 검출부는,비월주사(Interlaced Scan) 방식의 레이저 스캐너가 구비된 감지부로부터 상기 거리 데이터를 수신하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 4 항에 있어서,상기 위험 지역 검출부는,상기 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 데이터 무리화부;상기 선분으로 무리화된 거리 데이터 중 평행하고 일정한 정도 이상으로 근접한 선분끼리 연결하여 폴리라인으로 합병하는 선분 합병부;합병된 상기 폴리라인 중 일정한 정도 이상으로 근접한 폴리라인끼리 연결하여 하나의 직선으로 합병하는 선 합병부;상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 첫 번째 장애물 분류부;상기 폴리라인을 상기 차량의 위치 변화에 따라 수정하고 상기 폴리라인과 상기 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 두 번째 장애물 분류부를 포함하며,상기 위험 지역 확인부는, 상기 첫 번째 장애물 분류부 및 상기 두 번째 장애물 분류부로부터 검출된 상기 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 상기 위험 지역을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 6 항에 있어서, 상기 데이터 수정부는,상기 차량의 CAN으로부터 수신하는 에고-모션(Ego-Motion) 데이터를 이용하여 차량의 회전-변환(Roto-Translation)을 계산함으로써 상기 거리 데이터를 수정하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 6 항에 있어서, 상기 데이터 무리화부는,상기 거리 데이터의 연속하는 펄스들 중 같은 회전에 속하는 펄스들만을 연결함으로써 상기 거리 데이터를 무리화하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 6 항에 있어서, 상기 첫 번째 장애물 분류부는,상기 복수 개의 종류의 장애물로서 가능한 보행자, 도로 경계, L-모양 장애물, 이동 장애물 및 일반 장애물 중 어느 하나 이상을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 6 항에 있어서, 상기 두 번째 장애물 분류부는,상기 폴리라인을 에고-모션(Ego-Motion)에 따라 이동함으로써 상기 수정된 폴리라인을 생성하는 것을 특징으로 하는 위험 지역 검출 장치.
- 제 6 항에 있어서, 상기 두 번째 장애물 분류는,상기 복수 개의 종류의 장애물로서 '이동' 장애물, '고정' 장애물, '모양이 변화하는' 장애물 및 '새로운' 장애물 중 어느 하나 이상을 검출하는 것을 특징으로 하는 위험 지역 검출 장치.
- 차량의 주변에 있는 보행자를 검출하기 위한 보행자 검출 장치에 제공되는 위험 지역을 검출하는 방법에 있어서,(a) 감지부로부터 거리 데이터를 수신하면 상기 차량의 위치 변화에 따라 상기 거리 데이터를 수정하는 단계;(b) 상기 수정된 거리 데이터를 일정한 정도 이상으로 근접한 것끼리 연결하여 선분으로 무리화하는 단계;(c) 상기 선분으로 무리화된 거리 데이터 중 평행하고 일정한 정도 이상으로 근접한 것끼리 연결하여 폴리라인으로 합병하는 단계;(d) 상기 폴리라인을 상기 선분에서 일정한 정도 이상으로 근접한 것끼리 연결하여 하나의 직선으로 합병하는 단계;(e) 상기 폴리라인을 크기와 모양에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계;(f) 상기 폴리라인을 상기 차량의 위치 변화에 따라 수정하고, 상기 폴리라인 및 상기 수정된 폴리라인 간의 오버랩 정도에 따라 복수 개의 종류로 분류하여 복수 개의 종류의 장애물을 검출하는 단계; 및(g) 상기 단계 (e) 및 상기 단계 (f)에서 검출된 상기 복수 개의 종류의 장애물을 이용하여 주위 환경과 이동 장애물을 확인함으로써 상기 위험 지역을 검출하는 단계를 포함하는 것을 특징으로 하는 위험 지역을 검출하는 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080052738A KR101141874B1 (ko) | 2008-06-04 | 2008-06-04 | 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 |
US12/471,878 US8164432B2 (en) | 2008-06-04 | 2009-05-26 | Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same |
DE102009023326.1A DE102009023326B4 (de) | 2008-06-04 | 2009-05-29 | Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080052738A KR101141874B1 (ko) | 2008-06-04 | 2008-06-04 | 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090126586A KR20090126586A (ko) | 2009-12-09 |
KR101141874B1 true KR101141874B1 (ko) | 2012-05-08 |
Family
ID=41399802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080052738A KR101141874B1 (ko) | 2008-06-04 | 2008-06-04 | 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8164432B2 (ko) |
KR (1) | KR101141874B1 (ko) |
DE (1) | DE102009023326B4 (ko) |
Families Citing this family (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5147874B2 (ja) * | 2010-02-10 | 2013-02-20 | 日立オートモティブシステムズ株式会社 | 車載画像処理装置 |
EP2388756B1 (en) * | 2010-05-17 | 2019-01-09 | Volvo Car Corporation | Forward collision risk reduction |
DE102010025351A1 (de) * | 2010-06-28 | 2011-12-29 | Audi Ag | Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers |
JP5338801B2 (ja) * | 2010-12-23 | 2013-11-13 | 株式会社デンソー | 車載障害物情報報知装置 |
DE102011078615B4 (de) | 2011-07-04 | 2022-07-14 | Toyota Jidosha Kabushiki Kaisha | Objekterfassungsvorrichtung und objekterfassungsprogramm |
DE102011113099A1 (de) | 2011-09-09 | 2013-03-14 | Volkswagen Aktiengesellschaft | Verahren zur Bestimmung von Objekten in einer Umgebung eines Fahrzeugs |
EP2653346B1 (en) * | 2012-04-16 | 2020-06-10 | Volvo Car Corporation | Vehicle safety illumination arrangement and method |
JP5592441B2 (ja) * | 2012-06-26 | 2014-09-17 | 本田技研工業株式会社 | 配光制御装置 |
US9633436B2 (en) | 2012-07-26 | 2017-04-25 | Infosys Limited | Systems and methods for multi-dimensional object detection |
JP5696701B2 (ja) * | 2012-08-31 | 2015-04-08 | 株式会社デンソー | 対歩行者報知装置 |
CN104756175B (zh) * | 2012-10-30 | 2018-02-16 | 丰田自动车株式会社 | 车辆的安全装置 |
JP5783163B2 (ja) * | 2012-12-03 | 2015-09-24 | 株式会社デンソー | 物標検出装置 |
DE102013201545A1 (de) * | 2013-01-30 | 2014-07-31 | Bayerische Motoren Werke Aktiengesellschaft | Erstellen eines Umfeldmodells für ein Fahrzeug |
JP5729416B2 (ja) * | 2013-04-26 | 2015-06-03 | 株式会社デンソー | 衝突判定装置、および衝突緩和装置 |
KR101843073B1 (ko) * | 2013-05-31 | 2018-03-28 | 도요타 지도샤(주) | 차량의 운전 지원 장치 및 차량 탑재 컴퓨터 |
JP6205923B2 (ja) * | 2013-07-11 | 2017-10-04 | 株式会社デンソー | 走行支援装置 |
DE102013215098A1 (de) | 2013-08-01 | 2015-02-05 | Bayerische Motoren Werke Aktiengesellschaft | Umfeldmodelle für Fahrzeuge |
US9786178B1 (en) | 2013-08-02 | 2017-10-10 | Honda Motor Co., Ltd. | Vehicle pedestrian safety system and methods of use and manufacture thereof |
US9505412B2 (en) | 2013-08-02 | 2016-11-29 | Honda Motor Co., Ltd. | System and method for detection and utilization of driver distraction level |
JP6429368B2 (ja) | 2013-08-02 | 2018-11-28 | 本田技研工業株式会社 | 歩車間通信システムおよび方法 |
US9580014B2 (en) * | 2013-08-08 | 2017-02-28 | Convoy Technologies Llc | System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles |
KR101550972B1 (ko) | 2013-09-25 | 2015-09-07 | 현대자동차주식회사 | 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법 |
US9336436B1 (en) | 2013-09-30 | 2016-05-10 | Google Inc. | Methods and systems for pedestrian avoidance |
CN105723239B (zh) * | 2013-11-20 | 2020-12-18 | 松下半导体解决方案株式会社 | 测距摄像系统以及固体摄像元件 |
KR101519261B1 (ko) * | 2013-12-17 | 2015-05-11 | 현대자동차주식회사 | 차량의 모니터링 방법 및 자동 제동 장치 |
JP6174516B2 (ja) * | 2014-04-24 | 2017-08-02 | 本田技研工業株式会社 | 衝突回避支援装置、衝突回避支援方法、及びプログラム |
WO2015177648A1 (en) * | 2014-05-14 | 2015-11-26 | Ofer Springer | Systems and methods for curb detection and pedestrian hazard assessment |
US9972054B1 (en) | 2014-05-20 | 2018-05-15 | State Farm Mutual Automobile Insurance Company | Accident fault determination for autonomous vehicles |
US10089693B1 (en) | 2014-05-20 | 2018-10-02 | State Farm Mutual Automobile Insurance Company | Fully autonomous vehicle insurance pricing |
US10373259B1 (en) | 2014-05-20 | 2019-08-06 | State Farm Mutual Automobile Insurance Company | Fully autonomous vehicle insurance pricing |
US10599155B1 (en) | 2014-05-20 | 2020-03-24 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
US11669090B2 (en) | 2014-05-20 | 2023-06-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
JP2016006626A (ja) * | 2014-05-28 | 2016-01-14 | 株式会社デンソーアイティーラボラトリ | 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法 |
US10540723B1 (en) | 2014-07-21 | 2020-01-21 | State Farm Mutual Automobile Insurance Company | Methods of providing insurance savings based upon telematics and usage-based insurance |
JP6407626B2 (ja) * | 2014-08-26 | 2018-10-17 | 日立オートモティブシステムズ株式会社 | 物体認識装置及び車両制御システム |
US10336321B1 (en) | 2014-11-13 | 2019-07-02 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
JP2016133341A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社リコー | 物体検出装置、センシング装置、移動体装置及び物体検出方法 |
US9718405B1 (en) * | 2015-03-23 | 2017-08-01 | Rosco, Inc. | Collision avoidance and/or pedestrian detection system |
KR102384175B1 (ko) * | 2015-07-29 | 2022-04-08 | 주식회사 만도모빌리티솔루션즈 | 차량의 카메라 장치 |
US9870649B1 (en) | 2015-08-28 | 2018-01-16 | State Farm Mutual Automobile Insurance Company | Shared vehicle usage, monitoring and feedback |
KR20170031901A (ko) * | 2015-09-14 | 2017-03-22 | 한화테크윈 주식회사 | 고속 스캐닝 장치를 이용한 스캐닝 방법 |
JP6582936B2 (ja) * | 2015-12-01 | 2019-10-02 | 株式会社デンソー | 経路生成装置、自動走行制御システム |
US10395332B1 (en) | 2016-01-22 | 2019-08-27 | State Farm Mutual Automobile Insurance Company | Coordinated autonomous vehicle automatic area scanning |
US11441916B1 (en) | 2016-01-22 | 2022-09-13 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle trip routing |
US11719545B2 (en) | 2016-01-22 | 2023-08-08 | Hyundai Motor Company | Autonomous vehicle component damage and salvage assessment |
US11242051B1 (en) | 2016-01-22 | 2022-02-08 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle action communications |
US9940834B1 (en) | 2016-01-22 | 2018-04-10 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle application |
US10493936B1 (en) | 2016-01-22 | 2019-12-03 | State Farm Mutual Automobile Insurance Company | Detecting and responding to autonomous vehicle collisions |
US10324463B1 (en) | 2016-01-22 | 2019-06-18 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation adjustment based upon route |
US10134278B1 (en) | 2016-01-22 | 2018-11-20 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle application |
DE102016000723A1 (de) | 2016-01-23 | 2017-07-27 | Audi Ag | Erfassung einer Gefahrensituation im Straßenverkehr |
RU2730790C2 (ru) * | 2016-01-29 | 2020-08-26 | Ниссан Мотор Ко., Лтд. | Способ управления движением транспортного средства и устройство управления движением транспортного средства |
EP3205540A1 (de) * | 2016-02-09 | 2017-08-16 | Continental Automotive GmbH | Fahrerassistenzvorrichtung sowie ein verfahren zur unterstützung eines fahrzeugführers beim führen eines fahrzeugs |
US10832331B1 (en) | 2016-07-11 | 2020-11-10 | State Farm Mutual Automobile Insurance Company | Systems and methods for allocating fault to autonomous vehicles |
EP3273423B1 (en) * | 2016-07-21 | 2019-03-13 | Continental Automotive GmbH | Device and method for a vehicle for recognizing a pedestrian |
DE102016117496A1 (de) | 2016-09-16 | 2018-03-22 | Connaught Electronics Ltd. | Verfahren zum Erkennen eines Fußgängers in einem Umgebungsbereich eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
EP3318890B1 (en) * | 2016-11-02 | 2019-05-01 | Aptiv Technologies Limited | Method to provide a vehicle environment contour polyline from detection data |
KR102441060B1 (ko) * | 2016-12-13 | 2022-09-06 | 현대자동차주식회사 | 보행자 추돌 사고 방지 장치, 그를 포함한 시스템 및 그 방법 |
DE102016124157A1 (de) * | 2016-12-13 | 2018-06-14 | Valeo Schalter Und Sensoren Gmbh | Ermitteln einer Bremsnotwendigkeit zum Vermeiden einer Kollision eines Kraftfahrzeugs mit einem Fußgänger |
US20190347512A1 (en) * | 2017-01-02 | 2019-11-14 | Visteon Global Technologies, Inc. | Employing vehicular sensor information for retrieval of data |
US10663584B2 (en) * | 2017-05-26 | 2020-05-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Publishing LIDAR cluster data |
JP6747389B2 (ja) * | 2017-06-29 | 2020-08-26 | 株式会社デンソー | 衝突推定装置および衝突推定方法 |
US11430071B2 (en) * | 2017-08-16 | 2022-08-30 | Mobileye Vision Technologies Ltd. | Navigation based on liability constraints |
JP6676025B2 (ja) * | 2017-10-23 | 2020-04-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
WO2019089591A1 (en) * | 2017-10-30 | 2019-05-09 | Mobileye Vision Technologies Ltd. | Vehicle navigation based on human activity |
JP7077606B2 (ja) * | 2017-12-22 | 2022-05-31 | 株式会社デンソー | 衝突判定装置 |
US10650553B2 (en) * | 2017-12-27 | 2020-05-12 | Intel IP Corporation | Method of image processing and image processing device |
KR102469361B1 (ko) * | 2017-12-28 | 2022-11-23 | 에이치엘만도 주식회사 | 온도퓨즈의 체결구조 |
JP6598885B2 (ja) * | 2018-01-05 | 2019-10-30 | 三菱電機株式会社 | 物体認識装置および物体認識方法 |
US11206375B2 (en) | 2018-03-28 | 2021-12-21 | Gal Zuckerman | Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles |
CN108734124A (zh) * | 2018-05-18 | 2018-11-02 | 四川国软科技发展有限责任公司 | 一种激光雷达动态行人检测方法 |
EP3576069B1 (en) * | 2018-05-30 | 2022-08-03 | Aptiv Technologies Limited | Method for a host vehicle to assess risk of overtaking a target vehicle on a pedestrian crossing |
DE102018210814A1 (de) * | 2018-06-30 | 2020-01-02 | Robert Bosch Gmbh | Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge |
US11138418B2 (en) | 2018-08-06 | 2021-10-05 | Gal Zuckerman | Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles |
DE102018127990A1 (de) * | 2018-11-08 | 2020-05-14 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs |
WO2020145095A1 (ja) * | 2019-01-10 | 2020-07-16 | 株式会社小糸製作所 | LiDARセンサユニットおよび車両用防犯システム |
KR20200139443A (ko) * | 2019-06-04 | 2020-12-14 | 주식회사 만도 | 운전자 보조 시스템 및 그 제어 방법 |
CN110765841A (zh) * | 2019-09-03 | 2020-02-07 | 上海交通大学 | 基于混合注意力机制的群组行人重识别系统及终端 |
KR20210088780A (ko) * | 2020-01-06 | 2021-07-15 | 주식회사 만도 | 운전자 보조 장치 및 그 방법 |
CN112346080A (zh) * | 2020-11-02 | 2021-02-09 | 成都云科新能汽车技术有限公司 | 一种基于单线激光雷达的自适应避障方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006044359A (ja) * | 2004-08-02 | 2006-02-16 | Nissan Motor Co Ltd | 車両用歩行者報知装置及び歩行者報知方法 |
JP2007257338A (ja) | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | 潜在危険度推定装置 |
JP2007310457A (ja) | 2006-05-16 | 2007-11-29 | Denso Corp | 車車間通信システム、車車間通信装置、および制御装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3174832B2 (ja) * | 1999-10-27 | 2001-06-11 | 建設省土木研究所長 | 横断歩行者衝突防止システム |
DE10220837A1 (de) * | 2002-05-08 | 2003-11-27 | Daimler Chrysler Ag | Vorrichtung zur Parklückensuche mittels Radar |
DE10319700A1 (de) * | 2003-05-02 | 2004-11-18 | Ibeo Automobile Sensor Gmbh | Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand |
US6956469B2 (en) * | 2003-06-13 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for pedestrian detection |
US7263209B2 (en) * | 2003-06-13 | 2007-08-28 | Sarnoff Corporation | Vehicular vision system |
DE10341753A1 (de) * | 2003-09-10 | 2005-04-21 | Bosch Gmbh Robert | Vorrichtung zur Detektion einer Annäherung an einem Fußgängerüberweg in einem Fahrzeug |
JP4425642B2 (ja) * | 2004-01-08 | 2010-03-03 | 富士重工業株式会社 | 歩行者抽出装置 |
WO2005086079A1 (en) * | 2004-03-02 | 2005-09-15 | Sarnoff Corporation | Method and apparatus for differentiating pedestrians, vehicles, and other objects |
US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
-
2008
- 2008-06-04 KR KR1020080052738A patent/KR101141874B1/ko active IP Right Grant
-
2009
- 2009-05-26 US US12/471,878 patent/US8164432B2/en active Active
- 2009-05-29 DE DE102009023326.1A patent/DE102009023326B4/de active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006044359A (ja) * | 2004-08-02 | 2006-02-16 | Nissan Motor Co Ltd | 車両用歩行者報知装置及び歩行者報知方法 |
JP2007257338A (ja) | 2006-03-23 | 2007-10-04 | Toyota Central Res & Dev Lab Inc | 潜在危険度推定装置 |
JP2007310457A (ja) | 2006-05-16 | 2007-11-29 | Denso Corp | 車車間通信システム、車車間通信装置、および制御装置 |
Also Published As
Publication number | Publication date |
---|---|
DE102009023326A1 (de) | 2010-02-04 |
US8164432B2 (en) | 2012-04-24 |
KR20090126586A (ko) | 2009-12-09 |
DE102009023326B4 (de) | 2021-02-04 |
US20090303026A1 (en) | 2009-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101141874B1 (ko) | 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치 | |
Broggi et al. | A new approach to urban pedestrian detection for automatic braking | |
US9323992B2 (en) | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications | |
US10183666B2 (en) | Method and device for determining a valid lane marking | |
Kilicarslan et al. | Predict vehicle collision by TTC from motion using a single video camera | |
US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
TWI302879B (en) | Real-time nighttime vehicle detection and recognition system based on computer vision | |
US8064643B2 (en) | Detecting and recognizing traffic signs | |
CN102779430B (zh) | 基于视觉的夜间后碰撞警告系统、控制器及其操作方法 | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
JP5361901B2 (ja) | 前照灯制御装置 | |
KR101134857B1 (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
Broggi et al. | Localization and analysis of critical areas in urban scenarios | |
KR102526969B1 (ko) | 스마트 반사경 장치 | |
US9376052B2 (en) | Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle | |
CN109987025B (zh) | 用于夜晚环境的车辆驾驶辅助系统及方法 | |
Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing | |
JP3961269B2 (ja) | 障害物警報装置 | |
KR102566732B1 (ko) | 스마트 보조 반사경 | |
KR102265796B1 (ko) | 사각지역 차량 추적 장치 및 그 방법 | |
EP3276588B1 (en) | Cross traffic detection system for a vehicle | |
KR20180021469A (ko) | 전방 카메라를 통해 획득된 보행자 영상을 이용한 충돌방지시스템 | |
Inoue et al. | Following vehicle detection using multiple cameras | |
JP4871941B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160330 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170320 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190403 Year of fee payment: 8 |