KR101309733B1 - 자동차의 운전자 보조 시스템 및 운전자 보조 방법 - Google Patents

자동차의 운전자 보조 시스템 및 운전자 보조 방법 Download PDF

Info

Publication number
KR101309733B1
KR101309733B1 KR1020110017920A KR20110017920A KR101309733B1 KR 101309733 B1 KR101309733 B1 KR 101309733B1 KR 1020110017920 A KR1020110017920 A KR 1020110017920A KR 20110017920 A KR20110017920 A KR 20110017920A KR 101309733 B1 KR101309733 B1 KR 101309733B1
Authority
KR
South Korea
Prior art keywords
intensity
image
range reduction
training
image data
Prior art date
Application number
KR1020110017920A
Other languages
English (en)
Other versions
KR20110099647A (ko
Inventor
파트릭 올손
페르 그론발
Original Assignee
아우토리브 디벨롭먼트 아베
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우토리브 디벨롭먼트 아베 filed Critical 아우토리브 디벨롭먼트 아베
Publication of KR20110099647A publication Critical patent/KR20110099647A/ko
Application granted granted Critical
Publication of KR101309733B1 publication Critical patent/KR101309733B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

자동차를 위한 운전자 보조 시스템(10)은 자동차 주변 환경으로부터 이미지를 기록하도록 적합화된 이미지 수단(11), 상기 이미지 수단(11)에 의해 기록된 이미지의 이미지 프로세싱을 수행하도록 적합화된 프로세싱 수단(processing means, 14) 및 상기 이미지 프로세싱의 결과에 따라서 제어되는 운전자 보조 수단(18,19)을 구비한다. 프로세싱 수단(14)은 상기 이미지 수단(11)에 의해 기록된 이미지 데이터(30)에 강도 범위 감축 알고리듬(31)을 적용하도록 적합화된다.

Description

자동차의 운전자 보조 시스템 및 운전자 보조 방법{A driver assistance system and method for a motor vehicle}
본 발명은 자동차의 운전자 보조 시스템에 관한 것으로서, 자동차의 주위 환경으로부터 이미지를 기록하도록 적합화된 이미지 수단, 상기 이미지 수단에 의해 기록된 이미지들에 대한 이미지 프로세싱을 수행하도록 적합화된 프로세싱 수단 및, 상기 이미지 프로세싱의 결과에 따라서 제어된 운전자 보조 수단을 구비한다. 본 발명은 대응하는 운전자 보조 방법에 관한 것이다.
운전자 보조 시스템의 효율성 및 신뢰성은 특정 적용예에 대한 적어도 관심 영역에서 기록된 이미지들의 충분한 콘트라스트에 결정적으로 달려있다. 장면에서의 시간에 따른 명암 변화에 기인한 콘트라스트 악화를 감소시키기 위하여, 이미지 센서의 이미지 노출/획득 설정을, 기록된 이미지들의 이미지 프로세싱에 기초하여 제어하는 상이한 방법들이 알려져 있다. 예를 들어, 유럽 출원 EP 1 074 430 B1 및 독일 출원 DE 103 18 499 B4 에 설명되어있다. 그러나, 상이한 조건들하에서 기록된 이미지에서 콘트라스트를 더욱 증가시키기는 것에 대한 지속적인 요구가 있다.
본 발명의 목적은 적어도 관심 영역내에 기록된 이미지들에서 콘트라스트가 증가되는 운전자 보조 시스템 및 운전자 보조 방법을 제공하는 것이다.
본 발명은 독립항들의 특징들로써 이러한 목적을 해결한다. 강도 범위 감축 알고리듬을 적용함으로써, 차후 이미지 프로세싱에서 이용 가능한 강도 범위는 관심 대상의 강도 범위에 초점이 맞춰질 수 있다. 이러한 방식으로 관심 대상의 강도 범위에서 콘트라스트가 최대화될 수 있는 반면에, 정보 손실은 실질적으로 관심을 덜 받는 강도 영역들에서 제한될 수 있다. 범위 감축은 기록된 이미지에서 적어도 하나의 강도 서브-영역(sub-region)을 클립핑(clipping)하는 단계를 포함하거나, 또는 더욱 일반적으로는 기록된 이미지내의 적어도 하나의 강도 서브-영역을 더 작은 강도 간격으로 압축하는 단계를 포함한다.
바람직스럽게는 강도 범위 감축 알고리듬이 적어도 하나의 범위 감축 파라미터를 이용하며, 특히 강도 쓰레숄드(intensity threshold)를 이용한다. 바람직스럽게는, 강도 쓰레숄드를 벗어나는 기록된 이미지내의 강도들이 클립핑되며, 즉, 더 이상의 이미지 프로세싱을 고려하지 않는다. 이것은 기록된 이미지들에서 극단의 강도 영역들은 통상적으로 대부분의 적용예에서 관심 대상이 되지 않으며, 관심 대상의 강도 영역들에서 많은 정보 손실 없이 극단의 강도 영역들이 종종 클립핑될 수 있기 때문에 유리하다. 강도 범위 감축 알고리듬은 저강도 쓰레숄드를 적용할 수 있고 그리고/또는 고강도 쓰레숄드를 적용할 수 있는데, 전자의 경우에 저강도 쓰레숄드 미만의 강도들이 클립핑되고, 즉, 저강도 쓰레숄드로 설정되고, 후자의 경우에 고강도 쓰레숄드 초과의 강도들이 클립핑되고, 즉, 고강도 쓰레숄드로 설정된다.
본 발명의 바람직한 구현예에서 범위 감축 파라미터는 상기 이미지 데이터로부터 도출된 특징적인 양(characteristic quantity)으로부터, 특히 특성 벡터(feature vector)로부터의 회귀 함수에 의해 평가된다. 회귀 함수에 의한 강도 범위 감축 알고리듬에 대한 최적화 범위 감축 파라미터들의 동적 발생은 상이한 적용예들에 대하여 동일한 강도 범위 감축 알고리듬을 이용하는 것을 허용하며, 예를 들어 상이한 파장 간격 또는 상이한 자동차 모델들을 이용하는 카메라들에 대하여 동일한 강도 범위 감축 알고리듬을 이용하는 것을 허용한다. 따라서 특정의 적용예마다 특정의 강도 범위 감축 알고리듬을 고안할 필요가 더 이상 없다.
바람직스럽게는, 회귀 함수가 트레이닝 데이터(training data)로부터의 트레이닝 알고리듬에 의해 얻어진다. 트레이닝 알고리듬이 바람직스럽게는 비모수의 회귀(non-parametric regression)에 기초하며, 예를 들어 서포트 벡터 회귀(support vector regression) 또는 신경망 기술(neural network techniques)에 기초한다. 트레이닝 데이터가 편리하게는 트레이닝 이미지 데이터로부터 도출된, 복수개의 특징적인 양, 특히 특성 벡터(feature vector)를 포함한다. 더욱이, 트레이닝 데이터가 바람직스럽게는 트레이닝 이미지마다 적어도 하나의 미리 결정된 범위 감축 파라미터를 포함하여, 트레이닝 프로세스에 대한 지상 검증 데이터(ground truth data)를 형성한다.
바람직한 구현예에서, 특정의 트레이닝 이미지에 대하여, 더 처리되어야 하는 강도 범위가 상기 트레이닝 이미지 데이터에 있는 적어도 하나의 선택된 영역의 강도를 더 구비하도록, 보다 일반적으로는 선택된 데이터를 더 구비하도록, 미리 결정된 범위 감축 파라미터가 자동적으로 선택된다. 대상물 검출 적용예에서, 그 영역은 보행인이나 또는 다른 차량들과 같이 검출되어야 하는 목적물을 포괄하거나 또는 그 목적물에 대응하도록 특히 선택될 수 있다. 예를 들어, 트레이닝 이미지들에서 표식이 이루어진(labelled) 보행인들의 최대 및/또는 최소의 강도(intensity)로서 트레이닝을 위한 강도 쓰레숄드를 선택함으로써, 보행인의 강도(intensity)들이 선택된 영역내에 놓이는 것이 보장될 수 있다. 그러나, 본 발명은 트레이닝을 위한 적절한 범위 감축 파라미터를 자동적으로 결정하는 것에 제한되지 않는다. 다른 구현예들에서, 트레이닝에서 이용되는 적어도 하나의 범위 감축 파라미터가 수동으로 설정될 수 있다.
이미지 데이터로부터 도출되고 회귀 함수(regression function)에 의해 이용된 특징적인 양이 바람직스럽게는 이미지 데이터의 강도/명암 분포(intensity/brightness distribution) 또는 스펙트럼(spectrum)을 포함하여, 이것은 히스토그램(histogram)의 형태를 가질 수 있다. 더욱이, 특징적인 양이 바람직스럽게는 적어도 하나의 자동차 장착 센서로부터의 데이터를 포함하며, 특히 주위 온도 센서로부터의 데이터를 포함한다.
다음에서 본 발명은 첨부된 도면을 참조하여 바람직한 구현예들에 기초하여 설명될 것이다.
도 1 은 자동차를 위한 운전자 보조 시스템의 개략적인 도면을 나타낸다.
도 2 는 강도 범위 감축 프로세스를 도시하는 흐름도를 도시한다.
도 3 은 강도 스펙트럼 및 매핑 함수를 나타내는 개략도이다.
도 4 는 회귀 함수를 얻기 위한 트레이닝 프로세스를 나타내는 흐름도를 도시한다.
운전자 보조 시스템(10)은 자동차내에 장착되고 자동차를 둘러싸는 영역, 예를 들어 자동차의 전방 영역의 이미지를 기록하는 이미지 수단(11)을 구비한다. 바람직스럽게는, 이미지 수단(11)이 하나 또는 그 이상의 광학 및/또는 적외선 이미지 장치(12), 특히 카메라를 구비하며, 여기에서 적외선은 5 마이크론 미만의 파장을 가진 근 적외선 및/또는 5 마이크론을 넘는 파장을 가진 원적외선을 포함한다. 바람직스럽게는 이미지 수단(11)이 복수개의 이미지 장치(12)를 포함하는데, 이것은 특히 스테레오 이미지 수단(11)을 형성한다; 대안으로서 단일 이미지 수단을 형성하는 오직 하나의 이미지 장치가 이용될 수 있다.
이미지 수단(11)이 바람직스럽게는 이미지 사전 프로세서(image pre-processor, 13)에 결합되는데, 당해 기술 분야에 자체로서 공지된 바와 같이, 이미지 사전 프로세서는 이미지 수단(11)에 의한 이미지 캡쳐를 제어하고, 이미지 센서(21a,21b)로부터의 이미지 정보를 포함하는 전기 신호를 수신하고, 좌측/우측 이미지의 휘어진 쌍(warp pair)들을 정렬되게 하고 그리고/또는 불일치(disparity) 이미지를 발생시키도록 적합화된다. 이미지 사전 프로세서(13)는 전용 하드웨어 회로에 의해 구현될 수 있다. 대안으로서 사전 프로세서(13) 또는 그것의 기능들중 일부가 전자 프로세스 수단(14)에서 구현될 수 있다.
사전 프로세스된 이미지 데이터는 전자 프로세싱 수단(electronic processing means, 14)에 제공되며, 전자 프로세싱 수단에서 추가의 이미지 및 데이터 프로세싱이 대응 소프트웨어에 의해 수행된다. 특히, 프로세싱 수단(14)에서의 이미지 및 데이터 프로세싱은 다음의 기능들을 포함한다: 보행인, 다른 자동차, 자전거 주행자 또는 큰 동물과 같은, 자동차를 둘러싸면서 있을 수 있는 대상물의 식별 및 분류; 기록된 이미지에서 식별된 대상물 후보의 위치를 시간에 걸쳐서 추적함; 대상물의 검출 및 추적 처리의 결과에 따라서 운전자 보조 수단(18,19)의 제어 또는 활성화;를 포함한다. 편리하게는, 전자 프로세싱 수단(14)이 전자 메모리 수단(25)에 대한 액세스(access)를 가진다. 운전자 보조 수단(18,19...)은 특히 식별된 대상물에 대한 정보를 디스플레이하고 그리고/또는 운전자에게 광학적인 충돌 경보를 제공하도록 디스플레이 수단(18)을 구비할 수 있다. 운전자 보조 수단(18,19)은 적절한 광학, 청각 및/또는 촉각 경고 신호들에 의하여 운전자에게 충돌 경고를 제공하도록 적합화된 경고 수단(19); 보행자 에어백, 후드 상승기(hood lifter)등, 점유자 에어백 또는 안전 벨트 텐셔너(tensioner)와 같은, 특히 제한 시스템인 하나 또는 그 이상의 안전 시스템, 및/또는 브레이크들과 같은 다이내믹 자동차 제어 시스템을 더 포함할 수 있다.
전자 프로세싱 수단(14)이 바람직스럽게 프로그램되거나 또는 프로그램될 수 있으며, 마이크로프로세서 또는 마이크로 콘트롤러를 포함할 수 있다. 이미지 사전 프로세서(13), 전자 프로세싱 수단(14) 및 메모리 수단(25)이 바람직스럽게는 탑재 전자 제어 유닛(on-board electronic control unit, ECU)에서 구현되고, 분리된 케이블 또는 대안으로서 자동차 데이터 버스를 통하여 이미지 수단(11)에 연결될 수 있다. 다른 구현예에서 ECU 및 이미지 장치(12)는 단일 유닛으로 통합될 수 있다. 이미지 작용, 이미지 사전 처리, 이미지 처리로부터 운전자 보조 수단(18,19)의 활성화 또는 제어에 이르는 모든 단계들은 운전하는 동안에 실시간으로 자동적으로 그리고 연속적으로 수행된다.
프로세싱 수단(14)에서, 대상물 식별 처리 이전에, 도 2 에 도시된 바와 같이, 강도 범위 감축 프로세스(intensity range reduction process)가 이미지 수단(11)에 의해 기록된 이미지들에 적용된다. 대안으로서, 강도 범위 감축 프로세스는 이미지 사전 프로세서(13)에서 수행될 수 있다.
다음에서, 8 비트의 프로세싱(processing)이 추가의 이미지 프로세싱에서 사용되는 것이 하나의 예로서 가정될 것이며, 즉, 0 내지 255 사이의 값이 더 처리되어야 하는 강도 범위를 나타내는데 이용될 수 있는 것으로 가정될 것이다. 예를 들어 간단한 방식으로 최저 강도 값(Imin)은 0 으로 할당되고, 최고 강도 값(Imax)은 255 로 할당되며, Imin 과 Imax 사이의 강도 값들은 0 과 255 사이에서 선형으로 스케일(scale)이 정해질 수 있다. 이것은 도 3 에서 점선(41)에 의해 표시되는 전체적인 선형의 매핑 함수(mapping function)에 대응할 것이다.
그러나, 본 발명에 따르면, 범위 감축 알고리듬(31)은 이미지 수단(11)에 의해 기록된 원본의(raw) 이미지 데이터(30)에 적용된다. 범위 감축 알고리듬(31)은 강도 스펙트럼으로부터 적게 교차하는 영역(intersecting region)을 클립핑(clipping)하는데 적절한 매핑 함수(fm)를 적용하며, 따라서 현재의 적용에서 검출될 대상물과 같이, 교차 정보(intersecting information)를 포함하는 것으로 추정되는 나머지 강도 영역에 더 높은 콘트라스트를 제공한다. 본 구현예에서, 범위 감축 매핑 함수(42)가 이용되며, 이것은 제 1 강도 쓰레숄드(I0)보다 낮은 강도를 가지는, 즉, 최저 강도값(Imin)과 제 1 강도 쓰레숄드(IO) 사이의 강도를 가지는 강도 스펙트럼의 부분 및, 제 2 강도 쓰레숄드(I1)보다 높은 강도를 가지는, 즉, 제 2 강도 쓰레숄드(I1)와 최고 강도값(Imax) 사이의 강도를 가지는 강도 스펙트럼의 부분을 클립핑(clipping)하고, 제 1 강도 쓰레숄드(I0)와 제 2 강도 쓰레숄드(I1) 사이의 강도 값을 이용 가능한 값으로, 본 예에서는 0 과 255 사이의 값으로 선형으로 매핑(mapping)하도록 적합화된다. 대응하는 범위의 감축된 이미지(32)는 추가의 이미지 처리를 위하여 데이터 프로세싱 수단(14)에서 이용된다.
대안의 구현예들에서, 예를 들어, Imin 과 I1 사이에서, 또는 I0와 Imax 사이에서 연장되는 선형의 매핑 함수가 이용될 수 있다. 더욱이, 본 발명은 선형의 매핑에 제한되지 않는다; 로가리듬 매핑 함수(logarithmic mapping function)와 같은 다른 매핑 함수가 이용될 수 있다.
강도 범위 감축 프로세스에서, 범위 감축 알고리듬의 상이한 조건들에 대한 동적 적합화(dynamical adaptation)를 허용하기 위하여, 이러한 경우에 강도 쓰레숄드(I0, I1)인, 범위 감축 파라미터들이 바람직스럽게는 미리 설정된 고정 값이 아니며, 그러나 고려중인 이미지 데이터에 대하여, 특히 각각의 기록된 이미지에 대하여 최적으로 선택된다.
기록된 이미지에 대한 최적 범위의 감축 파라미터들을 결정하는 바람직한 방법은, 바람직스럽게는 자동차에 장착된 센서(20)로부터의 센서 데이터(33)를 이용하여, 특히 자동차에 장착된 주위 온도 센서(21)에 의해 측정된 바로서의 주위 온도를 이용하여, 원본 이미지(30)로부터 특징적인 특성 벡터(feature vector, 34)를 추출하는 것을 포함한다. 특성 벡터(34)는 예를 들어 도 3 에 도시된 이미지 히스토그램일 수 있으며, 이것은 기록된 이미지의 강도 스펙트럼 히스토그램(40)을 오직 개략적으로 나타내는 것으로서, 강도(I)가 특정의 값을 가지거나, 또는 특정의 강도 간격(△I) 안에 놓이는 픽셀들의 수(n)를 제공한다. 전체 강도 스펙트럼은 고려중인 이미지에서 최저 강도 값(Imin)과 최고 강도 값(Imax) 사이에 놓여 있다.
특성 벡터(34)는 회귀 함수(regression function, 35)를 받게되는데, 이것은 입력 특성 벡터(34)로부터 최적의 범위 감축 파라미터(36)를 계산하도록, 여기에서는 강도 쓰레숄드(I0,I1)를 계산하도록 적합화된다. 고려중인 기록된 이미지의 최적 범위 감축을 허용하기 위하여, 즉, I0 내지 I1 의 관심 강도 범위에서의 콘트라스트를 최대화시키는 반면에 강도 쓰레숄드(I0,I1)를 넘는 강도 값을 클립핑(clipping) 함으로써 야기되는 정보 손실을 최소화시키는 범위 감축을 허용하기 위하여, 최적의 범위 감축 파라미터(36)들은 범위 감축 알고리듬(31)에 제공된다.
트레이닝(training)에 의하여 위에 설명된 범위 감축 알고리듬에서 이용되기에 적절한 회귀 함수(regression function, 35)를 설계하는 바람직한 방법은 도 4 에 도시되어 있다. 여기에서, 특징 벡터(52)는 도 2 에서 특징 벡터(34)에 대하여 설명된 것과 같은 방식으로, 트레이닝 이미지(50)를 취하는 시간에 차량에 장착된 센서들로부터의 센서 데이터(51)를 더 이용하여, 트레이닝 이미지 데이터(50)로부터 추출된다. 특징 벡터(52)들은 지상 검증 범위 감축 파라미터(ground truth range reduction parameter, 53)와 함께 기계 학습 알고리듬(54)으로 입력된다. 본 발명의 경우에, 쓰레숄드(I0,I1) 사이의 강도 영역이 특정의 적용예에 대하여 교차의 강도 영역을 정확하게 정의하도록 선택된 강도 쓰레숄드(I0,I1)가 있다. 예를 들어, 보행인 열 인식 시스템(thermal pedestrian recognition system)에서, 보행인이 실제로 나타내는 모든 온도를 실질적으로 포괄하면서 가능한 한 좁은 강도 영역을 형성하도록 쓰레숄드(I0,I1)들이 선택된다. 충분히 많은 수의 트레이닝 이미지(50)들로부터 트레이닝 데이타를 가지고 기계 학습 알고리듬(54)을 트레이닝하는 것은 범위 감축 알고리듬에서 사용되는 대략 최적의 회귀 함수(35)를 산출한다.
10. 운전자 보조 시스템 11. 이미지 수단
14. 프로세싱 수단 30. 이미지 수단

Claims (15)

  1. 자동차를 위한 운전자 보조 시스템(10)으로서, 자동차 주변 환경으로부터 이미지를 기록하도록 적합화된 이미지 수단(11), 상기 이미지 수단(11)에 의해 기록된 이미지의 이미지 프로세싱을 수행하도록 적합화된 프로세싱 수단(processing means, 14) 및 상기 이미지 프로세싱의 결과에 따라서 제어되는 운전자 보조 수단(18,19)을 구비하고,
    상기 프로세싱 수단(14)은 상기 이미지 수단(11)에 의해 기록된 이미지 데이터(30)에 강도 범위 감축 알고리듬(intensity range reduction algorithm, 31)을 적용하도록 적합화되고,
    상기 강도 범위 감축 알고리듬(31)은 상기 이미지 데이터(30)로부터 평가된 적어도 하나의 범위 감축 파라미터(range reduction parameter, 36)를 이용하고, 상기 범위 감축 파라미터(36)는 제 1 강도 쓰레숄드(IO) 및 제 2 강도 쓰로숄드(I1)를 포함하고,
    상기 강도 범위 감축 알고리듬(31)은 제 1 강도 쓰레숄드(IO)와 최저 강도 값(Imin) 사이의 강도 스펙트럼의 부분들 및, 제 2 강도 쓰레숄드(I1)와 최고 강도 값(Imax) 사이의 강도 스펙트럼의 부분들을 클립핑(clipping)하고, 제 1 강도 쓰레숄드(IO)와 제 2 강도 쓰레숄드(I1) 사이의 강도 값을 매핑(mapping)함으로써 얻어지며,
    상기 적어도 하나의 범위 감축 파라미터(36)는 상기 이미지 데이터(30)로부터 도출된 특징적인 양(a characteristic quantity, 34)으로부터의 회귀 함수(regression function, 35)에 의해 평가되고,
    상기 특징적인 양(34)은 적어도 하나의 자동차 장착 센서(21)로부터의 센서 데이터(33)를 이용하여 상기 이미지 데이터(30)로부터 결정되는, 운전자 보조 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 이미지 데이터(30)로부터 도출된 상기 특징적인 양(34)은 특성 벡터(feature vector)인, 운전자 보조 시스템.
  6. 제 1 항 또는 제 5 항에 있어서,
    상기 특징적인 양(34)은 상기 이미지 데이터(30)의 강도 스펙트럼(intensity spectrum)을 포함하는, 운전자 보조 시스템.
  7. 제 1 항 또는 제 5 항에 있어서,
    상기 회귀 함수(35)는 트레이닝 데이터(training data)로부터의 트레이닝 알고리듬(54)에 의해 얻어지는, 운전자 보조 시스템.
  8. 제 7 항에 있어서,
    상기 트레이닝 알고리듬(54)은 비 모수의 회귀(non-parametric regression)에 기초하는, 운전자 보조 시스템.
  9. 제 7 항에 있어서,
    상기 트레이닝 데이터는 상기 트레이닝 이미지 데이터(training image data, 50)로부터 도출된 복수개의 특성 벡터(52)들을 포함하는, 운전자 보조 시스템.
  10. 제 7 항에 있어서,
    상기 트레이닝 데이터는 트레이닝 이미지마다 적어도 하나의 미리 결정된 범위 감축 파라미터(53)를 포함하는, 운전자 보조 시스템.
  11. 삭제
  12. 제 1 항에 있어서,
    특정의 트레이닝 이미지(50)에 대하여, 대응하는 강도 범위가 상기 트레이닝 이미지(50)내의 적어도 선택된 영역의 강도를 포함하도록, 상기 미리 결정된 범위 감축 파라미터(53)가 자동적으로 선택되는, 운전자 보조 시스템.
  13. 제 1 항에 있어서,
    상기 미리 결정된 범위 감축 파라미터는 수작업으로 설정될 수 있는, 운전자 보조 시스템.
  14. 자동차의 운전자 보조 방법으로서, 자동차 주변 환경으로부터의 이미지를 기록하는 단계; 상기 기록된 이미지에 대한 이미지 프로세싱을 수행하는 단계; 및, 상기 이미지 프로세싱의 결과에 따라서 운전자 보조 수단을 제어하는 단계;를 구비하고,
    상기 기록된 이미지 데이터에 강도 범위 감축 알고리듬을 적용하고,
    상기 강도 범위 감축 알고리듬(31)은 상기 이미지 데이터(30)로부터 평가된 적어도 하나의 범위 감축 파라미터(range reduction parameter, 36)를 이용하고, 상기 범위 감축 파라미터(36)는 제 1 강도 쓰레숄드(IO) 및 제 2 강도 쓰로숄드(I1)를 포함하고,
    상기 강도 범위 감축 알고리듬(31)은 제 1 강도 쓰레숄드(IO)와 최저 강도 값(Imin) 사이의 강도 스펙트럼의 부분들 및, 제 2 강도 쓰레숄드(I1)와 최고 강도 값(Imax) 사이의 강도 스펙트럼의 부분들을 클립핑(clipping)하고, 제 1 강도 쓰레숄드(IO)와 제 2 강도 쓰레숄드(I1) 사이의 강도 값을 매핑(mapping)함으로써 얻어지며,
    상기 적어도 하나의 범위 감축 파라미터(36)는 상기 이미지 데이터(30)로부터 도출된 특징적인 양(a characteristic quantity, 34)으로부터의 회귀 함수(regression function, 35)에 의해 평가되고,
    상기 특징적인 양(34)은 적어도 하나의 자동차 장착 센서(21)로부터의 센서 데이터(33)를 이용하여 상기 이미지 데이터(30)로부터 결정되는 것을 특징으로 하는, 운전자 보조 방법.
  15. 제 14 항에 따른 운전자 보조 방법에서 상기 범위 감축 알고리듬을 위한 범위 감축 파라미터를 평가하는데 이용되는 회귀 함수(regression function)의 결정 방법으로서, 트레이닝 이미지 데이터로부터 도출된 데이터를 트레이닝함으로써 기계 학습 알고리듬(machine learning algorithm)을 트레이닝하는 단계를 포함하는, 회귀 함수의 결정 방법.
KR1020110017920A 2010-03-02 2011-02-28 자동차의 운전자 보조 시스템 및 운전자 보조 방법 KR101309733B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10002115.3A EP2372637B1 (en) 2010-03-02 2010-03-02 A driver assistance system and method for a motor vehicle
EP10002115.3 2010-03-02

Publications (2)

Publication Number Publication Date
KR20110099647A KR20110099647A (ko) 2011-09-08
KR101309733B1 true KR101309733B1 (ko) 2013-09-17

Family

ID=42333486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110017920A KR101309733B1 (ko) 2010-03-02 2011-02-28 자동차의 운전자 보조 시스템 및 운전자 보조 방법

Country Status (3)

Country Link
EP (1) EP2372637B1 (ko)
KR (1) KR101309733B1 (ko)
CN (1) CN102189954B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594365B1 (ko) * 2022-04-18 2023-10-26 한양대학교 에리카산학협력단 차선 예측 장치, 차량 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243538A (ja) * 1998-02-25 1999-09-07 Nissan Motor Co Ltd 車両用視認装置
EP1703462A1 (en) * 2005-03-17 2006-09-20 Delphi Technologies, Inc. System or method for enhancing an image
WO2006098358A1 (ja) * 2005-03-15 2006-09-21 Omron Corporation 画像処理装置および方法、プログラム、並びに記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69937342T2 (de) 1999-08-04 2008-02-07 Daimler Ag Bilderfassungs-System und Verfahren mit dynamischer Helligkeitssteuerung
JP2004179783A (ja) * 2002-11-25 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 携帯用クライアント装置及び携帯用クライアント支援システム及びｉｄ解読方法及びｉｄ解読プログラム
DE10318499B4 (de) 2003-04-24 2007-12-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Einstellung eines Bildsensors
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
CN101438590B (zh) * 2006-05-09 2011-07-13 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
US7933454B2 (en) * 2007-06-25 2011-04-26 Xerox Corporation Class-based image enhancement system
JP2009087232A (ja) * 2007-10-02 2009-04-23 Toshiba Corp 人物認証装置および人物認証方法
JP2009302747A (ja) * 2008-06-11 2009-12-24 Sony Corp 撮像装置、画像処理装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243538A (ja) * 1998-02-25 1999-09-07 Nissan Motor Co Ltd 車両用視認装置
WO2006098358A1 (ja) * 2005-03-15 2006-09-21 Omron Corporation 画像処理装置および方法、プログラム、並びに記録媒体
EP1703462A1 (en) * 2005-03-17 2006-09-20 Delphi Technologies, Inc. System or method for enhancing an image

Also Published As

Publication number Publication date
KR20110099647A (ko) 2011-09-08
EP2372637A1 (en) 2011-10-05
EP2372637B1 (en) 2013-07-03
CN102189954B (zh) 2014-03-26
CN102189954A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US8065053B2 (en) Image acquisition and processing systems for vehicle equipment control
US8441535B2 (en) System and method for independent image sensor parameter control in regions of interest
US20080024606A1 (en) Image processing apparatus
CN110832505A (zh) 具有目标明确的预处理的图像分析处理
CN111148965B (zh) 信息处理装置、信息处理方法、控制装置及图像处理装置
US10929715B2 (en) Semantic segmentation using driver attention information
JP2014215877A (ja) 物体検出装置
EP3115930A1 (en) Malfunction diagnosis apparatus
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
CN107074179A (zh) 后方事故保护
KR20220016056A (ko) 화상 인식 장치 및 화상 인식 방법
EP2378465A1 (en) Driver assisting system and method for a motor vehicle
US9308918B2 (en) Object collision warning system and method for a motor vehicle
KR101309733B1 (ko) 자동차의 운전자 보조 시스템 및 운전자 보조 방법
JP2005033680A (ja) 車両用画像処理装置
CN115240170A (zh) 一种基于事件相机的道路行人检测跟踪方法及系统
EP3611656A1 (en) Vision system for a motor vehicle and method for generating a trained model for the vision system
US20200001880A1 (en) Driver state estimation device and driver state estimation method
US11727590B2 (en) Vision system and method for a motor vehicle
KR20170095005A (ko) 센서 퓨전을 이용한 이미지센서 장치 및 제어 방법
EP2988250A1 (en) Vision system and method for a motor vehicle
US20240073538A1 (en) Image capture with varied illuminations
EP3480726B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
JP6763080B2 (ja) 自動車用ビジョンシステム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160902

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180821

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190828

Year of fee payment: 7