KR20140108566A - 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차 - Google Patents
자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차 Download PDFInfo
- Publication number
- KR20140108566A KR20140108566A KR1020147020560A KR20147020560A KR20140108566A KR 20140108566 A KR20140108566 A KR 20140108566A KR 1020147020560 A KR1020147020560 A KR 1020147020560A KR 20147020560 A KR20147020560 A KR 20147020560A KR 20140108566 A KR20140108566 A KR 20140108566A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- driver assistance
- assistance device
- sensor
- sensor data
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
Abstract
본 발명은 자동차(1) 내의 운전자 지원 장치(2)를 작동시키기 위한 방법에 관한 것으로서, 여기서 자동차(1)의 주위 영역(12)의 이미지(15)는 운전자 지원 장치(2)의 카메라(11)에 의해 포착되고, 그리고 또한 카메라(11)와 상이한 센서(3 내지 6)에 의해 주위 영역(12)에 대한 센서 데이터가 포착되고, 여기서 주위 영역(12) 내에 위치된 물체(16)는 운전자 지원 장치(2)의 전자 컴퓨팅 장치에 의해 이미지(15) 내에서 식별되고, 그리고 센서(3 내지 6)의 센서 데이터는 이미지(15) 내의 물체(16)를 식별하기 위해 사용된다.
Description
본 발명은 자동차의 운전자 지원 장치를 작동하기 위한 방법에 관한 것이다. 자동차의 주위 영역의 이미지는 운전자 지원 장치의 카메라에 의해 포착된다. 또한, 주위 영역에 대한 센서 데이터는 카메라와 다른 센서에 의해 포착된다. 또한, 본 발명은 이와 같은 방법을 수행하기 위한 운전자 지원 장치 및 이와 같은 운전자 지원 장치를 구비한 자동차에 관한 것이다.
운전자 지원 장치는 다양한 구성으로 종래 기술로부터 이미 공지되어 있다. 따라서, 한편으로 자동차에 부착된 복수의 비디오 카메라를 갖고, 그 이미지가 자동차 내의 디스플레이 상에 표시될 수 있는 카메라 시스템이 공지되어 있다. 카메라의 이미지는 또한 이미지 처리를 받을 수 있고, 그 이미지에 기초하여 추가의 기능성이 제공될 수 있다. 예를 들면, 그 이미지에 기초하여, 카메라 시스템이 충돌 경보 시스템으로서 작용할 수 있도록 물체(object) 식별이 수행된다. 다른 한편으로, 자동차와 그 주위에 위치되는 장해물 사이의 거리를 측정하기 위해 형성되는 시스템도 공지되어 있다. 여기서, 예를 들면 자동차의 전방 및 후방 범퍼 상에 분포되도록 배치될 수 있는 초음파 센서가 있다. 그리고, 각각의 초음파 센서는 전체의 초음파 센서 시스템의 공통 포착 범위의 부분적 세그먼트를 나타내는 자체의 포착 범위를 갖는다. 따라서, 각각의 초음파 센서는 그 자체의 포착 범위 내에서 거리를 측정한다.
자동차 내에서 카메라 시스템과 센서 시스템을 조합하는 것은 또한 이미 종래 기술이다. 이와 같은 센서 융합은, 예를 들면, 문헌 GB 2463544 A로부터 공지되어 있다. 여기서, 예를 들면, 범퍼에 부착되는 복수의 초음파 센서가 채용된다. 또한 초음파 센서에 의해 검출되는 자동차의 주위 영역은 카메라에 의해 이미지화된다. 컴퓨팅 장치는 초음파 센서의 센서 데이터뿐만 아니라 카메라의 이미지를 동시에 처리한다. 한편으로, 이미지는 자동차 내의 디스플레이 상에 표시되고, 다른 한편으로, 이미지는 검출된 물체가 자동차에 접근하는지의 여부를 컴퓨팅 장치에 의해 측정된다. 그러면, 경우에 따라, 경보 신호가 출력된다.
따라서, 종래 기술에서, 상이한 센서 시스템, 즉 한편으로 카메라 및 다른 한편으로 초음파 센서의 모든 정보가 공통의 컴퓨팅 장치에서 동시에 수집 및 처리되도록 이 센서 융합이 수행된다.
본 발명의 목적은 서두에 언급한 종류의 방법에서 한편으로 카메라의 이미지 및 다른 한편으로 센서의 센서 데이터를 종래 기술에서보다 양호하게 결합시킬 수 있는 해결 방법을 실증하는 것이다.
본 발명에 따르면, 이러한 목적은 각각의 독립 청구항에 따른 특징을 갖는 방법, 운전자 지원 장치뿐만 아니라 자동차에 의해 해결된다. 본 발명의 유리한 구현형태는 종속 청구항, 상세한 설명, 및 도면의 주 내용이다.
본 발명에 따른 방법은 운전자 지원 장치의 카메라에 의해 자동차의 주위 영역의 이미지를 포착하는 것뿐만 아니라 카메라와 상이한 센서, 예를 들면, 초음파 센서에 의해 주위 영역에 대한 센서 데이터를 포착하는 것에 의해 자동차의 운전자 지원 장치를 작동시키는 작용을 한다. 본 발명에 따르면, 상기 주위 영역 내에 위치된 물체는 상기 운전자 지원 장치의 전자 컴퓨팅 장치에 의해 상기 이미지 내에서 식별되고, 상기 센서의 센서 데이터는 상기 이미지 내의 상기 물체를 식별하기 위해 사용된다.
따라서, 본 발명에 따른 효과는 이미지 데이터를 제외한 또는 이미지 데이터뿐만 아니라 적어도 하나의 센서의 센서 데이터에 기초한 이미지 내에서 차량의 외측의 물체를 식별하는 점에서 달성된다. 여기서, 본 발명은, 포착된 이미지 내에서 물체를 식별하는 것이 항상 가능하지는 않은, 이미지에 기초하여 물체를 검출하는 작용을 하는 종래 기술로부터 공지된 검출 알고리즘을 이용한 실현에 기초한다. 즉, 이미지 데이터에만 기초한 물체 식별은 불가능하거나 자동차로부터 최대 약 0.5m의 근접 범위 내에서 특히 제한된 방식으로만 가능하다. 이러한 근접 범위 내에 위치된 물체는 포착된 이미지 내에 묘사되지만 그 이미지에만 기초하여 식별될 수 없을 수 있다. 그래서, 본 발명은 포착된 이미지 내에서 물체를 식별하기 위해 센서의 센서 데이터를 사용하는 방법을 취한다. 예를 들면, 이것은 만일 물체가 이미지 데이터에 기초하여 식별될 수 없는 경우에 동일 물체가 센서 데이터에만 기초하여 식별되도록 구성될 수 있다. 반면에, 만일 물체가 센서 데이터 및 이미지의 양자 모두에 기초하여 식별되는 경우, 이미지로의 물체의 식별은 센서 데이터 및 이미지 데이터의 양자 모두에 기초하여 수행될 수 있다. 따라서, 전체적으로 센서 융합이 종래 기술에 비해 향상되고, 카메라의 이미지 내에서의 물체 식별의 정확도 및 신뢰성이 향상된다.
이미지 내의 물체의 식별은, 예를 들면, 이미지 내에 묘사된 물체의 적어도 하나의 영역이 바운딩 박스(bounding box)에 의해 둘러싸이도록 수행될 수 있다. 바운딩 박스에 의한 이미지 내의 이미지 데이터에 기초하여 식별된 물체를 라벨링(laveling)하는 이와 같은 접근방법은, 예를 들면, 문헌 JP 2011/119917 A로부터 이미 공지되어 있다. 그러나, 이러한 실시형태에서, 카메라의 이미지 데이터를 제외하거나 또는 이 이미지 데이터뿐만 아니라 추가적으로 또는 대안적으로 센서의 센서 데이터에 기초한 이와 같은 바운딩 박스를 생성하는 것이 또한 제안된다. 이러한 실시형태는 에코 전파 시간 방법에 따라 작동하는 센서가 특정 검출 범위를 갖고 이 검출 범위에서만 거리를 측정한다는 사실을 활용한다. 특히 초음파 센서의 경우, 이러한 검출 범위는 비교적 좁으므로, 우수한 정확도를 갖는 복수의 센서를 가지는 경우에 자동차에 대한 물체의 위치 및 이에 따라 또한 포착된 이미지 내의 물체의 위치가 또한 결정될 수 있다. 센서 데이터에 기초하여 생성되는 바운딩 박스는, 예를 들면, 카메라의 이미지 내에서 어떤 폭을 가질 수 있고, 이것은 센서의 검출 범위의 폭에 대응한다. 그러면 바운딩 박스를 갖는 이와 같은 카메라 이미지는 매우 상이한 방식으로 사용될 수 있다. 즉, 한편으로 이 이미지는 운전자가 검출된 물체에 대한 정보를 얻도록 자동차 내의 디스플레이 상에 표시될 수 있다. 다른 한편으로, 바운딩 박스를 갖는 이러한 이미지는 자동차 내의 다른 운전자 지원 시스템으로 송신될 수 있고, 이 다른 시스템은 이 이미지를 사용하여 자동차 내에서 상이한 기능을 제공할 수 있다. 이와 같은 시스템은, 예를 들면, 이미지에 기초하여 운전자에게 경보를 발하는 경보 신호를 발생할 수 있는 충돌 경보 시스템일 수 있다.
하나의 실시형태에서, 물체는 컴퓨팅 장치에 의해 센서의 센서 데이터 및 카메라의 이미지의 양자 모두에 기초하여 식별되도록 되어 있다. 이것은 특히 물체 식별이 센서 데이터 및 카메라의 이미지 데이터의 양자 모두에 기초하여 가능한 경우, 따라서 물체가 센서의 검출 범위와, 이미지 데이터에 기초하여 또한 물체 식별이 가능한 이미지 분석 범위 사이의 중복 영역에 위치되는 경우에 가능하다. 이러한 실시형태는 차량의 외부의 물체가 카메라의 이미지에서 특히 확실하게 그리고 극히 정확하게 식별될 수 있다는 장점을 갖는다. 즉, 이 실시형태는 한편으로 이미지 데이터에 기초한 물체 식별의 장점과 다른 한편으로 센서 데이터에 기초한 물체 식별의 장점을 결합하므로 이 2 가지 물체 식별 방법의 각각의 단점을 회피할 수 있다.
예를 들면, 이것은 이미지 내에서 제 2 바운딩 박스가 센서의 센서 데이터에 기초하여 생성됨과 동시에 제 2 바운딩 박스는 카메라의 이미지에 기초하여 (따라서 이미지 처리에 의해) 생성되도록 수행될 수 있다. 그러면, 2 개의 바운딩 박스는 공통의 바운딩 박스로 병합될 수 있다. 따라서, 카메라의 이미지 내에서 바운딩 박스의 생성은 매우 정밀하다.
특히 바람직한 물체의 식별은 이미지 내의 물체의 폭이 카메라의 이미지에 기초하여 결정됨과 동시에 이미지 내의 물체의 하측 단부의 위치는 센서의 센서 데이터에 기초하여 결정되는 것을 포함한다. 이 실시형태는 이미지 데이터에 기초한 물체 식별 및 센서 데이터에 기초한 식별이 "약점"을 갖는다는 인식에 기초한 것이다. 따라서, 이미지 데이터에 기초한 물체 식별에서, 이미지 내의 하측 단부의 정확한 결정은 사용된 검출 알고리즘(광학 플로우, 에고-모션 보상 방법(optical flow, ego-motion compensation method))에 기인되어 불가능하거나 제한된 방식으로만 가능하다. 이러한 검출 알고리즘에 의하면, 예를 들면, 보행자의 발이 겨우 부정확하게 검출될 수 있다. 다른 한편으로, 이미지 내의 물체의 폭의 결정은 센서의 센서 데이터에 기초하여 제한된 정확도로 가능할 뿐이다. 이러한 이유로, 현재 이미지 내의 물체의 폭을 결정하기 위해 카메라의 이미지 데이터를 사용하는 것 및 이 이미지 내에서 물체의 하측 단부의 위치를 결정하기 위해 센서의 센서 데이터를 사용하는 것이 제안된다. 따라서, 한편으로 이미지 데이터, 다른 한편으로 센서 데이터에 기초한 식별 방법의 각각의 단점이 방지될 수 있고, 물체 식별은 매우 정확하게 수행될 수 있다.
후자의 실시형태는, 예를 들면, 2 개의 바운딩 박스의 병합이 매우 특수한 방식으로 수행되도록 실현될 수 있다. 즉, 공통의 바운딩 박스의 경우, 제 2 바운딩 박스(카메라 데이터에 기초함)뿐만 아니라 이미지(센서 데이터에 기초함) 내의 제 1 바운딩 박스의 하측 에지의 위치가 채택될 수 있다. 따라서, 공통의 바운딩 박스는 이미지 데이터에 기초하여 생성된 바운딩 박스의 폭을 갖고, 그리고 공통의 바운딩 박스의 하측 에지의 위치는 센서 데이터에 기초하여 생성된 바운딩 박스의 위치에 대응한다. 따라서, 공통의 바운딩 박스는 이미지 내에서 물체의 실제 위치를 매우 정확하게 반영한다.
이미 설명한 바와 같이, 물체는 센서의 검출 범위 내에, 그러나 이미지 데이터에 기초한 물체의 식별이 어쨋든 가능한 이미지 분석 범위의 외측에 존재할 수 있다. 이와 같은 경우, 동일한 물체는 센서의 센서 데이터에만 기초하여 이미지 내에서 식별되는 것이 바람직하다. 이 실시형태에서 센서 데이터에 기초한 물체 식별의 결여는 허용된다. 그러나, 이러한 실시형태는 이미지 데이터에 기초한 물체 식별의 부존재 시에도 차량의 외부의 물체는 그럼에도 불구하고 카메라의 이미지 내에서 식별될 수 있다는 것을 허용한다.
반면에, 물체가 센서의 검출 범위의 외측에 존재하는 경우, 동일한 물체는 카메라의 이미지에만 기초하여 이미지 내에서 식별된다. 따라서, 물체가 센서 데이터에 기초하여 식별될 수 없는 경우, 물체 식별을 위해 카메라의 이미지 데이터만이 사용된다. 이것은 특히 물체가 자동차로부터 비교적 멀리 있는 경우, 즉 예를 들면, 2.2m를 초과하는 거리에 있는 경우에 해당된다. 즉, 이와 같은 거리 내에서, 물체는 더 이상 센서를 이용하여 검출될 수 없고, 물체 식별은 이미지 데이터에만 기초하여 수행될 수 있다.
자동차의 주위 영역에 대한 센서 데이터를 포착하기 위해 사용되는 초음파 센서가 바람직하다. 전체적으로, 복수의 초음파 센서가 사용될 수 있고, 이것은 자동차의 전방 범퍼 상에 및/또는 후방 범퍼 상에 분포되도록 배치될 수 있다. 그러면 각각의 초음파 센서는 그 자체의 검출 범위를 갖고, 그리고 개별 검출 범위들은 상호 인접될 수 있고, 선택적으로 또한 중복될 수 있다. 그러나, 본 발명은 초음파 센서에 제한되지 않는다. 카메라와 상이한 다른 센서가 사용될 수도 있다. 특히, 적어도 하나의 센서는 에코 전파 시간 방법에 따라 동작하는 것, 따라서 거리 센서이고, 여기서 거리는 송신 신호의 전파 시간을 측정함으로써 측정된다.
본 발명은 또한 본 발명에 따른 방법을 수행하기 위해 형성되는 자동차를 위한 운전자 지원 장치에 관한 것이다.
본 발명에 따른 자동차는 본 발명에 따른 운전자 지원 장치를 갖는다.
따라서 본 발명에 따른 방법 및 그 장점에 대해 제공되는 바람직한 실시형태는 본 발명에 따른 운전자 지원 장치뿐만 아니라 본 발명에 따른 자동차에 적용된다.
본 발명의 추가의 특징은 청구항, 도면 및 도면의 설명으로부터 명확해진다. 위의 설명에서 언급된 모든 특징 및 특징의 조합뿐만 아니라 아래의 도면의 설명에서 설명되고 및/또는 도면 자체에서 보여지는 특징 및 특징의 조합은 각각의 특정의 조합뿐만 아니라 다른 조합만으로 독자적으로 유용할 수 있다.
이하에서 본 발명을 바람직한 실시형태뿐만 아니라 첨부된 도면을 참조하여 보다 상세하게 설명한다.
도 1은 본 발명의 하나의 실시형태에 따른 자동차의 개략 평면도이고;
도 2는 센서의 검출 범위가 이미지로 도시된 카메라의 이미지의 개략도이고;
도 3은 센서 데이터에 기초한 바운딩 박스의 생성을 보다 상세하게 설명하는 도 2에 따른 이미지의 개략도이고;
도 4는 센서 데이터에만 기초하여 생성되는 바운딩 박스를 구비하는 이미지를 도시하고;
도 5는 이미지(따라서 이미지 데이터)에만 기초하여 생성되는 바운딩 박스를 구비하는 이미지를 도시하고;
도 6은 2 개의 바운딩 박스를 구비하는 이미지를 도시하고;
도 7은 2 개의 바운딩 박스의 확대도이고;
도 8은 2 개의 언급된 바운딩 박스로부터 생성되는 공통의 바운딩 박스를 구비하는 이미지의 부분도이고;
도 9는 본 발명의 하나의 실시형태에 따른 방법을 보다 상세하게 설명하는 자동차의 개략도이다.
도 2는 센서의 검출 범위가 이미지로 도시된 카메라의 이미지의 개략도이고;
도 3은 센서 데이터에 기초한 바운딩 박스의 생성을 보다 상세하게 설명하는 도 2에 따른 이미지의 개략도이고;
도 4는 센서 데이터에만 기초하여 생성되는 바운딩 박스를 구비하는 이미지를 도시하고;
도 5는 이미지(따라서 이미지 데이터)에만 기초하여 생성되는 바운딩 박스를 구비하는 이미지를 도시하고;
도 6은 2 개의 바운딩 박스를 구비하는 이미지를 도시하고;
도 7은 2 개의 바운딩 박스의 확대도이고;
도 8은 2 개의 언급된 바운딩 박스로부터 생성되는 공통의 바운딩 박스를 구비하는 이미지의 부분도이고;
도 9는 본 발명의 하나의 실시형태에 따른 방법을 보다 상세하게 설명하는 자동차의 개략도이다.
본 발명의 하나의 실시형태에 따른 도 1에 도시된 자동차(1)는 승용차이다. 이 자동차(1)는 자동차(1)의 운전 시 운전자를 지원하기 위한 역할을 하는 운전자 지원 장치(2)를 포함한다. 이 운전자 지원 장치(2)는 복수의 초음파 센서(3, 4, 5, 6)를 갖고, 이들은 본 실시형태에서 자동차(1)의 후방 범퍼 상에 분포되도록 배치된다. 본 실시형태에서, 총 4 개의 초음파 센서(3 내지 6)가 제공된다. 도 1에 따른 실시예에서 초음파 센서(3 내지 6)의 개수뿐만 아니라 배열은 단지 예시적으로 도시된 것이고; 초음파 센서(3 내지 6)의 개수 및 배열은 실시형태에 따라 달라질 수 있다. 따라서, 초음파 센서(3 내지 6)는 자동차(1)의 전방 범퍼 상에 배치될 수도 있다. 여기서 또한 초음파 센서로서 이 센서(3 내지 6)의 구성도 예시적인 것이다. 자동차(1)와 그 주위에 위치된 장해물 사이의 거리를 측정할 수 있는 다른 센서가 사용될 수도 있다. 예를 들면, 레이더 장치 또는 광학적 거리 센서가 사용될 수도 있다.
각각의 초음파 센서(3 내지 6)는 거리를 측정할 수 있는 검출 범위(7, 8, 9, 10)를 갖는다. 예를 들면, 차량의 외부의 물체가 초음파 센서(3)의 검출 범위(7) 내에 존재하는 경우, 초음파 센서(3)는 자동차(1)로부터 이 물체의 거리를 검출할 수 있다. 검출 범위(7 내지 10)는 상호 근접해 있고 그리고 상호 직접 접촉된다. 따라서 검출 범위(7 내지 10)는 자동차(1)의 후방의 비교적 넓은 주위 영역을 커버하므로 개별 검출 범위(7 내지 10)는 각각 자동차(1)의 후방의 주위 영역의 부분적 세그먼트를 나타낸다. 여기서, 각각의 검출 범위(7 내지 10)는 비교적 좁은 세그먼트이고, 이들은 차량의 횡방향으로 상호 인접하고, 그리고 차량의 종방향으로 길게 구성된다.
또한, 운전자 지원 장치(2)는 초음파 센서(3 내지 6)와 유사하게 자동차(1)의 후방 영역 내에 배치되고 자동차(1)의 후방의 주위 영역(12)을 촬영하는 카메라(11)를 갖는다. 카메라(11)에 의해 촬영된 주위 영역(12)은 초음파 센서(3 내지 6)의 검출 범위(7 내지 10)를 또한 포함하므로 이 검출 범위(7 내지 10)는 촬영된 주위 영역(12) 내에 위치된다.
카메라(11)는 1초 당 복수의 프레임 또는 시계열 이미지를 제공할 수 있는 비디오 카메라이다. 카메라(11)는 120° 내지 190°의 각도 범위일 수 있는 비교적 큰 포착 각도 또는 개구 각도(aperture angle)를 갖는다. 이 각도는 도 1에서 2 개의 선(13, 14)에 의해 경계를 이루고, 확실히 말하면 자동차(1)의 후방의 촬영된 주위 영역(12)은 또한 경계선(13, 14)에 의해 경계를 이룬다. 카메라(11)는, 예를 들면, 소위 어안(fish eye) 카메라일 수 있다.
초음파 센서(3 내지 6) 및 카메라(11)의 양자 모두는 도면에 보다 상세하게 도시되지 않은 전자 컴퓨팅 장치에 전기적으로 접속되고, 이 전자 컴퓨팅 장치는, 예를 들면, 디지털 신호 프로세서 및 메모리를 포함할 수 있다. 따라서, 이 컴퓨팅 장치는 한편으로 초음파 센서(3 내지 6)의 센서 데이터를 수신하고, 또한 다른 한편으로 카메라(11)의 이미지(따라서, 이미지 데이터)를 수신한다.
도 2에는 주위 영역(12)이 묘사된 카메라(11)의 예시적 이미지(15)가 도시되어 있다. 컴퓨팅 장치에서 자동차(1)의 좌표계 내 및 카메라(11)의 좌표계 내에서 초음파 센서(3 내지 6)의 좌표 및 카메라(11)의 좌표는 알려져 있으므로, 도 2에 개략적으로 도시된 바와 같이 이미지(15) 내의 검출 범위(7 내지 10)의 위치도 알려져 있다. 물체(16)(여기서는 보행자)가 초음파 센서(3 내지 6) 중의 하나의 검출 범위(7 내지 10) 내(예시적으로 도 2의 초음파 센서(4)의 검출 범위(8) 내)에 존재하는 경우, 이미지(15) 내에 영역(17)이 한정될 수 있고, 여기서 촬영된 물체(16)는 이미지(15) 내에 위치되어 있다. 이것은 카메라(11)의 이미지(15) 내의 검출 범위(7 내지 10)의 위치가 컴퓨팅 장치 내에 알려져 있으므로 가능하다. 물체(16)가 초음파 센서(4)에 의해 검출되는 경우(이 초음파 센서(4)가 측정된 거리를 제공하는 경우), 물체(16)가 초음파 센서(4)의 검출 범위(8) 내에 실제로 위치된 것으로 가정될 수 있다. 물체(16)가 위치되어 있는 한정된 영역(17)은 초음파 센서(4)의 검출 범위(8)와 동일한 이미지(15)의 폭을 가질 수 있다. 물체(16)까지의 거리가 초음파 센서(3 내지 6)에 의해 매우 정확하게 측정될 수 있으므로, 이미지(15) 내의 물체(16)의 하측 단부(18)의 위치는 이 측정된 거리에 기초하여 결정될 수 있다. 도 3에 따른 실시형태에서, 하측 단부(18)는 보행자의 발에 대응한다. 다른 한편으로, 초음파 센서(3 내지 6)의 센서 데이터에만 기초하여 이미지(15) 내의 물체(16)의 폭을 결정하는 것은 용이하게 실시할 수 없다. 그러므로, 영역(17)은 검출 범위(8)의 폭에 대응하는 폭으로 한정된다.
따라서, 초음파 센서(3 내지 6)의 센서 데이터에만 기초하여, 이미지(15) 내에 제 1 바운딩 박스(19)가 생성될 수 있고, 이것은 도 4에 도시되어 있고, 그리고 도 3에 따른 영역(17)에 대응한다. 초음파 센서(3 내지 6)의 이미지화된 검출 범위(7 내지 10)는 도 4에 도시되어 있지 않다. 따라서, 바운딩 박스(19)에 의해 물체(16)가 둘러싸여 있는 도 4에 따른 이미지(15)가 얻어진다. 그러므로, 여기서 물체 식별은 초음파 센서(3 내지 6)의 센서 데이터에만 기초하여 수행된다. 제 1 바운딩 박스(19)를 생성하기 위해, 확실하게 말하면, 이미지(15)의 특수한 이미지 처리가 요구되지 않는다.
초음파 센서(3 내지 6)의 센서 데이터에만 기초하여 수행되는 이러한 유형의 물체 식별은, 예를 들면, 컴퓨팅 장치가 물체(16)의 짧은 거리로 인해 이미지 데이터의 이미지 처리에만 기초한 이미지(15) 내에서 물체(16)를 식별할 수 없는 경우에 실시된다. 광학적 물체 식별이 결과를 제공할 수 없는 경우, 이미지(15) 내의 물체(16)는 위에서 설명한 바와 같이 초음파 센서(3 내지 6)의 센서 데이터에만 기초하여 검출된다. 그러면, 도 4에 따른 이와 같은 이미지는, 예를 들면, 자동차(1) 내의 디스플레이 상에 표시될 수 있고, 또는 추가의 지원 시스템으로 전송될 수 있다.
반면에, 카메라 데이터에 기초한 물체(16)의 검출이 가능한 경우, 이미지(15) 내에서 물체(16)를 검출하는 작용을 하는 종래 기술로부터 공지된 이미지 처리 알고리즘이 또한 사용될 수 있다. 이와 같은 검출 알고리즘은 또한 도 5에 보다 상세하게 도시된 바와 같은 바운딩 박스(20)(제 2 바운딩 박스)를 제공한다. 그러므로 도 5에 따른 이미지(15)는 물체(16)를 식별하는 검출 알고리즘의 결과이다. 도 5로부터 명확한 바와 같이, 물체(16)의 실제 폭은 제 1 바운딩 박스(19)(도 4 참조)에서보다 제 2 바운딩 박스(20)에서 더 양호하게 반영된다. 그러나, 이미지 데이터에 기초한 물체 식별의 단점은 물체(16)의 베이스, 따라서 그 하측 단부(18)(여기서는 발)가 컴퓨팅 장치에 의해 독자적으로 식별될 수 없다는 점이다. 즉, 그러므로 통상적으로 에고-모션 보상을 포함하는 소위 "광학 플로(optical flow)"가 검출 알고리즘으로서 사용된다. 이 알고리즘은 바운딩 박스(20)를 갖는 이미지(15)를 출력하고, 여기서 이미지(15) 내의 바운딩 박스(20)의 하측 에지는 이미지(15) 내의 하측 단부(18)의 위치에 항상 대응하지 않는다.
초음파 센서(3 내지 6)의 센서 데이터에 기초한 물체 식별이 불가능한 경우, 물체(16)의 검출은 이미지(15)에만 기초하여, 따라서 카메라 데이터에만 기초하여 수행된다. 이러한 물체 식별의 결과는 도 5에 도시되어 있다.
이미지(15) 내의 물체(16)는 초음파 센서(3 내지 6)의 센서 데이터 및 카메라(11)의 이미지 데이터의 양자 모두에 기초하여 식별될 수 있는 것이 발생할 수도 있다. 따라서 도 6에 도시된 바와 같이, 2 개의 바운딩 박스(19, 20), 즉 센서 데이터에 기초하는 제 1 바운딩 박스(19) 및 이미지 처리에 기초하는 제 2 바운딩 박스(20)가 생성된다. 이제 이러한 2 개의 바운딩 박스(19, 20)로부터 공통의 바운딩 박스(21)가 생성될 수 있다(도 8 참조). 공통의 바운딩 박스(21)의 생성은 한편으로 제 2 바운딩 박스(20)의 폭 및 다른 한편으로 제 1 바운딩 박스(19)의 하측 에지의 위치가 채택되도록 수행된다. 도 7을 참조하면, 컴퓨팅 장치에서, 제 2 바운딩 박스(20)가 취해지고, 그리고 제 2 바운딩 박스(20)의 하측 에지(22)와 제 1 바운딩 박스(19)의 하측 에지(23)가 일치되도록 그 높이가 신장된다. 따라서, 제 2 바운딩 박스(20)의 높이는 이미지(15) 내의 하측 에지(22)가 하측 에지(23)에 도달할 때까지 이미지(15) 내의 하측 에지(22)를 변위시킴으로써 증대된다. 여기서, 바운딩 박스(20)의 상측 에지는 변화 없이 유지된다. 그러면 이와 같이 변화된 바운딩 박스(20)는 2 개의 바운딩 박스(19, 20)에 기초하여 생성된 도 8에 따른 공통의 바운딩 박스(21)에 대응한다. 따라서, 도 8에 따른 바운딩 박스(21)는 이미지 데이터 및 센서 데이터의 양자 모두에 기초한 물체 식별의 결과를 나타낸다.
이미 설명한 바와 같이, 상이한 상황이 발생할 수 있다:
- 물체 식별은 가능한 독점적으로 센서 데이터에 기초할 수 있고;
- 물체 식별은 가능한 독점적으로 이미지 데이터에 기초할 수 있고;
- 양자 모두의 유형의 물체 식별이 가능하다(공통의 바운딩 박스(21)).
통상적으로, 이것은 물체(16)가 자동차(1)로부터 위치되는 거리에 의존한다. 도 9를 참조하면, 차량의 후미로부터 각각 상이한 거리에 있는 모두 3 개의 상이한 영역(24, 25, 26)이 한정될 수 있다. 여기서, 제 1 영역(24)은, 예를 들면, 자동차(1)로부터 최대 0.5m의 거리까지 연장되어 있다. 제 2 영역(25)은, 예를 들면, 자동차(1)로부터 0.5m 내지 2.2m까지 연장되어 있다. 제 3 영역(26)은 자동차(1)로부터 2.2m를 초과하여 연장되어 있다. 제 1 영역(24)에서, 기본적으로, 물체 식별은 센서 데이터에만 기초하여 이루어질 수 있다. 반면에, 제 2 영역(25)에서, 물체 식별은 이미지 데이터 및 센서 데이터의 양자 모두에 기초하여 이루어질 수 있다. 마지막으로, 제 3 영역(26)에서, 식별은 독점적으로 카메라 데이터에만 기초하여 이루어질 수 있다. 따라서, 물체(16)가 제 1 영역(24)에 있는 경우, 물체(16)의 식별의 범위 내에 제 1 바운딩 박스(19)가 생성될 수 있다. 그러나, 물체(16)가 영역(25)에 있는 경우, 공통의 바운딩 박스(21)가 바운딩 박스(19, 20)로부터 생성될 수 있다. 마지막으로, 물체(16)가 제 3 영역(26)에 있는 경우, 제 2 바운딩 박스(20)만이 생성된다.
따라서, 결국, 바운딩 박스(19, 20 또는 21)를 갖는 이미지(15)가 얻어진다. 이제 이러한 이미지(15)는 디스플레이 상에 표시된다. 추가적으로 또는 대안적으로, 이러한 이미지(15)는, 예를 들면, 운전자에의 경보 기능과 같은 자동차(1)의 추가의 기능을 제공할 수 있도록 추가로 처리될 수 있다.
Claims (11)
- 자동차(1) 내의 운전자 지원 장치(2)를 작동시키기 위한 방법으로서,
상기 운전자 지원 장치(2)의 카메라(11)에 의해 상기 자동차(1)의 주위 영역(12)의 이미지(15)를 포착하는 단계, 및
상기 주위 영역(12)의 부분적 세그먼트를 커버하는 개별 검출 범위(7 내지 10)를 갖는 초음파 센서(3 내지 6)에 의해 상기 주위 영역(12)에 대한 센서 데이터를 포착하는 단계를 포함하는, 상기 운전자 지원 장치 작동 방법에 있어서,
상기 주위 영역(12) 내에 위치된 물체(16)는 상기 운전자 지원 장치(2)의 전자 컴퓨팅 장치에 의해 상기 이미지(15) 내에서 식별되고, 상기 센서(3 내지 6)의 센서 데이터는 상기 이미지(15) 내의 상기 물체(16)를 식별하기 위해 사용되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 1 항에 있어서,
상기 이미지(15) 내의 상기 물체(16)의 식별은 상기 이미지(15) 내에 묘사된 상기 물체(16)의 적어도 하나의 영역이 바운딩 박스(19, 20, 21)에 의해 둘러싸이는 것을 포함하는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 물체(16)는 상기 컴퓨팅 장치에 의해 상기 센서(3 내지 6)의 센서 데이터 및 상기 카메라(11)의 이미지(15)의 양자 모두에 기초하여 상기 이미지(15) 내에서 식별되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 2 항 및 제 3 항에 있어서,
상기 이미지(15) 내에서, 제 1 바운딩 박스(19)는 상기 센서(3 내지 6)의 센서 데이터에 기초하여 생성될 뿐만 아니라, 제 2 바운딩 박스(20)는 상기 카메라(11)의 이미지(15)에 기초하여 생성되고, 상기 2 개의 바운딩 박스(19, 20)는 공통의 바운딩 박스(21)로 조합되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 3 항 또는 제 4 항에 있어서,
상기 물체(16)의 식별은, 상기 물체(16)의 폭이 상기 카메라(11)의 이미지(15)에 기초하여 결정되고 상기 물체(16)의 하측 단부(18)의 위치가 상기 센서(3 내지 6)의 센서 데이터에 기초하여 상기 이미지(15) 내에서 결정되는 것을 포함하는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 4 항 및 제 5 항에 있어서,
상기 2 개의 바운딩 박스(19, 20)의 조합은 상기 제 2 바운딩 박스(20)의 폭 및 상기 이미지(15) 내의 제 1 바운딩 박스(19)의 하측 에지(23)의 위치가 상기 공통의 바운딩 박스(21)를 위해 사용되는 것을 포함하는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 물체(16)가 상기 센서 데이터가 포착되는 상기 센서(3 내지 6)의 검출 범위(7 내지 10) 내에, 또한 상기 이미지(15)에 기초한 상기 물체(16)의 식별이 가능한 이미지 분석 범위(25, 26)의 외측에 존재하는 경우, 상기 동일한 물체(16)는 상기 센서(3 내지 6)의 센서 데이터에만 기초하여 상기 이미지(15) 내에서 식별되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 물체(16)가 상기 센서(3 내지 6)의 검출 범위(7 내지 10)의 외측에 존재하는 경우, 상기 동일한 물체(16)는 상기 카메라(11)의 이미지(15)에만 기초하여 상기 이미지(15) 내에서 식별되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
초음파 센서가 상기 센서(3 내지 6)로서 사용되는 것을 특징으로 하는
운전자 지원 장치 작동 방법. - 자동차(1)를 위한 운전자 지원 장치(2)로서, 상기 자동차(1)의 주위 영역(12)의 이미지(15)를 포착하기 위한 적어도 하나의 카메라(11)와, 상기 주위 영역(12)에 대한 센서 데이터를 포착하기 위해 상기 주위 영역(12)의 부분적 세그먼트를 커버하는 개별 검출 범위(7 내지 10)를 구비하는 초음파 센서(3 내지 6)와, 상기 이미지(15) 및 상기 센서 데이터를 처리하기 위한 전자 컴퓨팅 장치를 포함하는, 상기 운전자 지원 장치(2)에 있어서,
상기 컴퓨팅 장치는 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 것을 특징으로 하는
운전자 지원 장치. - 제 10 항에 따른 운전자 지원 장치(2)를 포함하는
자동차(1).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012001554.2 | 2012-01-26 | ||
| DE102012001554A DE102012001554A1 (de) | 2012-01-26 | 2012-01-26 | Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug |
| PCT/EP2013/050847 WO2013110541A1 (en) | 2012-01-26 | 2013-01-17 | Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140108566A true KR20140108566A (ko) | 2014-09-11 |
| KR101656162B1 KR101656162B1 (ko) | 2016-09-08 |
Family
ID=47598832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147020560A KR101656162B1 (ko) | 2012-01-26 | 2013-01-17 | 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20140354815A1 (ko) |
| EP (1) | EP2807642B1 (ko) |
| JP (1) | JP5876165B2 (ko) |
| KR (1) | KR101656162B1 (ko) |
| CN (1) | CN104081443B (ko) |
| DE (1) | DE102012001554A1 (ko) |
| WO (1) | WO2013110541A1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103770733B (zh) * | 2014-01-15 | 2017-01-11 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
| JP6303090B2 (ja) * | 2014-03-24 | 2018-04-04 | アルパイン株式会社 | 画像処理装置および画像処理プログラム |
| DE102014106035A1 (de) * | 2014-04-30 | 2015-11-05 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Fahrerassistenzsystems mit einem elektronischen Rückspiegel, Fahrerassistenzsystem und Kraftfahrzeug |
| US10266125B2 (en) * | 2014-05-13 | 2019-04-23 | Yuhua Wang | Camera device |
| KR101637716B1 (ko) | 2014-11-03 | 2016-07-07 | 현대자동차주식회사 | 차량의 장애물 위치 인식 장치 및 방법 |
| DE102014117830A1 (de) * | 2014-12-04 | 2016-06-09 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Bestimmen eines fahrerspezifischen Totwinkelfeldes für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzeug |
| DE102014118035B4 (de) * | 2014-12-05 | 2022-11-17 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Erkennen einer Abschattung einer Sensoreinrichtung eines Kraftfahrzeugs durch ein Objekt, Recheneinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
| JP6554169B2 (ja) * | 2015-06-10 | 2019-07-31 | 株式会社日立製作所 | 物体認識装置及び物体認識システム |
| DE102015116958A1 (de) | 2015-10-06 | 2017-04-06 | Connaught Electronics Ltd. | Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug |
| DE102016114693A1 (de) * | 2016-08-09 | 2018-02-15 | Connaught Electronics Ltd. | Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug |
| DE102016123391A1 (de) | 2016-12-02 | 2018-06-07 | Continental Engineering Services Gmbh | Verfahren zur Unterstützung eines Einparkvorganges sowie Parkassistenzvorrichtung |
| WO2018126261A1 (en) * | 2017-01-02 | 2018-07-05 | Visteon Global Technologies, Inc. | Employing vehicular sensor information for retrieval of data |
| DE102017118156A1 (de) * | 2017-08-09 | 2019-02-14 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, Sensorsteuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug |
| JP6996353B2 (ja) * | 2018-03-06 | 2022-01-17 | トヨタ自動車株式会社 | 物体認識装置及び車両走行制御システム |
| DE102021102301A1 (de) | 2021-02-02 | 2022-08-04 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum betreiben eines fahrassistenzsystems, computerprogrammprodukt, fahrassistenzsystem und fahrzeug |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005013235A1 (de) * | 2003-07-25 | 2005-02-10 | Robert Bosch Gmbh | Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld |
| US20100289632A1 (en) * | 2009-05-18 | 2010-11-18 | Gm Global Technology Operations, Inc. | Night vision on full windshield head-up display |
| JP2011180688A (ja) * | 2010-02-26 | 2011-09-15 | Mitsubishi Electric Corp | 車両周辺障害物検出装置 |
| JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0695008B2 (ja) * | 1987-12-11 | 1994-11-24 | 株式会社東芝 | 監視装置 |
| WO1994017636A1 (en) * | 1993-01-29 | 1994-08-04 | Bell Communications Research, Inc. | Automatic tracking camera control system |
| DE4336288C1 (de) * | 1993-10-25 | 1995-03-30 | Daimler Benz Ag | Einrichtung zur Überwachung des Rück- bzw. Frontraumes eines einparkenden Kraftfahrzeugs |
| DE10025678B4 (de) * | 2000-05-24 | 2006-10-19 | Daimlerchrysler Ag | Kamerabasiertes Precrash-Erkennungssystem |
| JP3608527B2 (ja) * | 2001-05-15 | 2005-01-12 | 株式会社豊田中央研究所 | 周辺状況表示装置 |
| US6687577B2 (en) * | 2001-12-19 | 2004-02-03 | Ford Global Technologies, Llc | Simple classification scheme for vehicle/pole/pedestrian detection |
| JP2004117031A (ja) * | 2002-09-24 | 2004-04-15 | Denso Corp | カーナビゲーション装置 |
| JP4010224B2 (ja) * | 2002-10-23 | 2007-11-21 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
| DE10324895A1 (de) * | 2003-05-30 | 2004-12-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge |
| DE10336638A1 (de) * | 2003-07-25 | 2005-02-10 | Robert Bosch Gmbh | Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld |
| US7545956B2 (en) * | 2005-08-12 | 2009-06-09 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
| JP4760272B2 (ja) * | 2005-09-30 | 2011-08-31 | アイシン精機株式会社 | 車両周辺監視装置及びセンサユニット |
| JP2007112297A (ja) * | 2005-10-20 | 2007-05-10 | Denso Corp | 車両用障害物衝突回避システム |
| US20070182623A1 (en) * | 2006-02-03 | 2007-08-09 | Shuqing Zeng | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
| JP2008172441A (ja) * | 2007-01-10 | 2008-07-24 | Omron Corp | 検出装置および方法、並びに、プログラム |
| CN100492437C (zh) * | 2007-06-01 | 2009-05-27 | 清华大学 | 一种目标车换道工况下的快速识别方法 |
| WO2009074661A1 (de) * | 2007-12-11 | 2009-06-18 | Continental Teves Ag & Co. Ohg | Fahrerassistenz mit funsionierten sensordaten |
| US8751154B2 (en) * | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| CN101676741B (zh) | 2008-09-19 | 2012-11-14 | 李世雄 | 可防止追撞意外的倒车侦测装置 |
| DE102009000401A1 (de) * | 2009-01-26 | 2010-07-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem Objekt |
| US8629784B2 (en) * | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
| WO2011014497A1 (en) * | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
| JP5158063B2 (ja) | 2009-12-02 | 2013-03-06 | 株式会社デンソー | 車両用表示装置 |
| US8704887B2 (en) * | 2010-12-02 | 2014-04-22 | GM Global Technology Operations LLC | Multi-object appearance-enhanced fusion of camera and range sensor data |
-
2012
- 2012-01-26 DE DE102012001554A patent/DE102012001554A1/de not_active Withdrawn
-
2013
- 2013-01-17 EP EP13700898.3A patent/EP2807642B1/en active Active
- 2013-01-17 US US14/370,796 patent/US20140354815A1/en not_active Abandoned
- 2013-01-17 JP JP2014553672A patent/JP5876165B2/ja active Active
- 2013-01-17 KR KR1020147020560A patent/KR101656162B1/ko active IP Right Grant
- 2013-01-17 CN CN201380006841.7A patent/CN104081443B/zh active Active
- 2013-01-17 WO PCT/EP2013/050847 patent/WO2013110541A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005013235A1 (de) * | 2003-07-25 | 2005-02-10 | Robert Bosch Gmbh | Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld |
| US20100289632A1 (en) * | 2009-05-18 | 2010-11-18 | Gm Global Technology Operations, Inc. | Night vision on full windshield head-up display |
| JP2011180688A (ja) * | 2010-02-26 | 2011-09-15 | Mitsubishi Electric Corp | 車両周辺障害物検出装置 |
| JP2011242860A (ja) * | 2010-05-14 | 2011-12-01 | Toyota Motor Corp | 障害物認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5876165B2 (ja) | 2016-03-02 |
| DE102012001554A1 (de) | 2013-08-01 |
| CN104081443B (zh) | 2016-06-29 |
| US20140354815A1 (en) | 2014-12-04 |
| EP2807642A1 (en) | 2014-12-03 |
| WO2013110541A1 (en) | 2013-08-01 |
| KR101656162B1 (ko) | 2016-09-08 |
| JP2015513714A (ja) | 2015-05-14 |
| CN104081443A (zh) | 2014-10-01 |
| EP2807642B1 (en) | 2019-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101656162B1 (ko) | 자동차의 운전자 지원 장치 작동 방법, 운전자 지원 장치 및 자동차 | |
| CN109017570B (zh) | 车辆周围场景呈现方法和装置、车辆 | |
| US8320628B2 (en) | Method and system for assisting driver | |
| US8559674B2 (en) | Moving state estimating device | |
| KR100466458B1 (ko) | 운전지원장치 | |
| JP4359710B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
| KR101967305B1 (ko) | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| CN104608692A (zh) | 停车辅助系统及其方法 | |
| EP2414776B1 (en) | Vehicle handling assistant apparatus | |
| EP2642364A1 (en) | Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| JP4948338B2 (ja) | 車間距離計測装置 | |
| JP2001195698A (ja) | 歩行者検知装置 | |
| JP2008026998A (ja) | 障害物位置算出システム、及び障害物位置算出方法 | |
| KR101491305B1 (ko) | 장애물 검출 장치 및 방법 | |
| KR101721442B1 (ko) | 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법 | |
| KR20160133386A (ko) | 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법 | |
| JPH07333339A (ja) | 自動車用障害物検知装置 | |
| KR101266059B1 (ko) | 거리정보를 이용한 차량 후방 카메라 | |
| WO2008037473A1 (en) | Park assist system visually marking up dangerous objects | |
| KR20180041525A (ko) | 차량의 물체 트래킹 시스템 및 그 제어 방법 | |
| JP2966683B2 (ja) | 車両用障害物検出装置 | |
| JP4584277B2 (ja) | 表示装置 | |
| JP2008114673A (ja) | 車両監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190826 Year of fee payment: 4 |