KR101903981B1 - 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지 - Google Patents

카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지 Download PDF

Info

Publication number
KR101903981B1
KR101903981B1 KR1020137016837A KR20137016837A KR101903981B1 KR 101903981 B1 KR101903981 B1 KR 101903981B1 KR 1020137016837 A KR1020137016837 A KR 1020137016837A KR 20137016837 A KR20137016837 A KR 20137016837A KR 101903981 B1 KR101903981 B1 KR 101903981B1
Authority
KR
South Korea
Prior art keywords
window
light
camera
recognizing
reflected
Prior art date
Application number
KR1020137016837A
Other languages
English (en)
Other versions
KR20130123412A (ko
Inventor
디이터 크뢰켈
라트하크리시나 치브쿨라
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20130123412A publication Critical patent/KR20130123412A/ko
Application granted granted Critical
Publication of KR101903981B1 publication Critical patent/KR101903981B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/552—Attenuated total reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/43—Refractivity; Phase-affecting properties, e.g. optical path length by measuring critical angle
    • G01N2021/435—Sensing drops on the contact surface

Abstract

본 발명은 우적(4)을 인식하기 위한 장치 또는 방법에 관한 것으로서, 하나의 카메라(1)와 하나의 조명원(3)으로 이루어져 있다. 카메라(1)는 창(2)의 뒤에, 특히 차량 내부의 윈드실드 뒤에 배치되어 있으며, 창(2)의 앞에 있는 원거리 구역에 초점을 맞춘다. 창(2)으로 향하는 최소한 하나의 광선(h, n)을 발생시키기 위한 조명원(3)은 최소한 하나의 광선(h, n)을 창(2)으로 향하게 하여 창의 외측 면(2.2)에서 반사된 최소한 하나의 광선(r2, r2')이 카메라(1)에 도달하게 한다. 카메라(1)에 도달한, 최소한 한 광선(r2, r2')의 광량을 카메라(1)가 측정할 수 있다.

Description

카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지 {DETECTION OF RAINDROPS ON A PANE BY MEANS OF A CAMERA AND LIGHTING}
본 발명은 조명원과 카메라를 사용하여 창에 떨어지는 빗방울을 감지는 장치와 방법에 관한 것이다.
WO2010/072198 A1에서는 카메라를 사용하여 차량의 운전자 지원 기능을 위해 투입되는 우적 감지장치를 설명한다. 우적 감지를 위해 이중 촛점 광학장치가 사용되는 바, 이 장치는 윈드실드의 부분 구역의 상이 카메라의 영상 칩 또는 영상 센서의 부분 표면에 선명하게 맺히게 한다.
이러한 발상의 단점은 어떤 추가적인 광학 부재가 장착된다는 점인 바, 이 부재의 모서리가 영상 칩의 레인센서 구역을 위한 광선 경로에서와 모서리 근처에 있는 운전자 지원 기능을 위한 구역에서 상당한 장애를 유발한다는 점이다. 특히 크기가 작은 장치를 장착하기 위해서는 운전자 지원 구역 및 레인센서 구역의 초점 조건이 상이한 바, 따라서 광학 부재의 두께를 두껍게 하여 이를 보정해야 하므로 이로 인해 장애가 증가하고, 영상 칩에서 넓고 사용할 수 없는 더 두꺼워진 구역이 모서리 주위를 둘러싸게 된다.
창의 기울기가 다를 경우 또 다른 단점이 생기는 바, 이러한 기울기의 차이로 인해 영상 칩에 있는 레인센서 감지 구역의 광학적 경로와 창에 상응하는 레인센서 표면의 광학적 경로가 상이하게 된다. 계속하여 선명한 광학적 상을 맺도록 하기 위해서는 변경된 각 장착 상황에 맞게 광학적 부재의 두께를 조절해야 한다.
야간에도 우적을 확실히 감지할 수 있도록, WO 2010/072198 A1에서는 광선을 어떤 연결 요소를 통해 윈드실드에 연결되도록 하여 이 광선이 창에서 전반사를 통해 유도되도록 할 것을 제안한다. 전반사된 광선은 분리 요소를 통해 카메라 방향으로 분리된다. 물방울이 윈드실드에 있으면 광선의 일부가 분리되어 더 이상 분리 요소로 전반사되지 않는다. 여기서도 다시 단점이 영향이 끼쳐, 창의 변화된 각 기울기에 맞도록 통합된 카메라-조명장치를 변화된 설치 조건에 맞추어 기계적으로 조정해야 한다.
US 7,259,367 B2에서도 카메라를 이용하여 우적을 감지할 것을 제안하는 바, 이러한 감지를 위해 투과창의 면이 넓은 조명을 창에 장착하고, 이때 이 투과창은 창의 구역에 있는 카메라의 화각과 일치한다. 카메라는 그 초점거리가 거의 무한하므로 이와 동시에 운전자 지원 응용 프로그램용으로 사용될 수 있다. 원거리 구역에 상이 맺히기 때문에 물방울은 영상에서 장애로서만 감지될 수 있는 바, 이 물방울은 시간적으로 차별을 두고 촬영한 영상의 차동 측정에 의해 탐지된다. 이때 사진 촬영을 위해 화소 클록과 동기화된 펄스되거나 변조된 광선을 사용한다.
하지만 시뮬레이션 계산과 측정에 의해 밝혀진 바에 따르면, 이러한 종류의 조명에서는 빗방울에 도달한 광선의 아주 적은 양만이 카메라로 다시 반사된다. 그러므로 신호 대 잡음 비가 불량해지고, 따라서 우적 인식이 확실하게 이루어지지 않는다.
본 발명의 과제는 현재의 기술 수준에서 알려진 장치나 방법이 가지고 있는 상기 단점을 극복하는 것이다.
이러한 과제는 카메라와 조명원으로 구성된, 우적 인식 장치에 의해 해결된다. 여기서 카메라는 창 뒤에, 특히 차량 내부의, 예를 들어 윈드실드 뒤에 배치되어 있으며 창 앞에 있는 원거리 구역에 초점을 맞춘다. 이 카메라는 초점을 맞추기 위한 대물렌즈와 CCD나 CMOS 센서와 같은 영상센서로 구성되는 것이 좋다. 창으로 향한 광선을 최소한 하나 발생시키기 위한 조명원은 최소한 하나의 광선을 창으로 향하게 하여 창의 외측 면에서 반사된, 최소한 하나의 광선이(또는 창으로 향한 광선의 부분 광선이) 카메라에 도달하게 한다. 이 조명원은 하나 또는 그 이상의 발광 다이오드(LED)나 하나의 라이트 밴드 형태일 수 있다. 카메라에 도달한, 최소한 한 광선의 광량을 카메라가 측정할 수 있다.
본 발명에서는 차량 카메라를 사용하여, 특히 운전자 지원 카메라를 사용하여 우적을 탐지하는 단순하지만 신뢰할 수 있는 방법을 소개한다. 기본적으로 하나의 광량만을 측정해야 하므로 고가의 영상 처리 알고리즘이 필요하지 않다. 이 장치는 능동적인 조명에 의하여 태양광 반사와 그림자와 같은 외부 영향에 비해 비교적 간섭을 덜 받는다. 우적의 양은, 예컨대 다광선 조명원의 경우, 윈드실드 외측 면에서 반사된(영상센서에 도달한) 모든 광반사의 광량 감소를 통해/통해서나 영향을 받은 광반사의 개수를 통해 측정될 수 있다.
본 발명에서 선호하는 모델에서는, 창의 외측 면에 우적이 없으면 창의 외측 면에 도달한 광선(광선의 일부)으로부터 창에서 분리된 광선에서보다 더 많이 반사되도록, 조명원에 의해 발생한 광선의 입사각을 정한다. 본 발명에서 선호는 모델 형태에서는 이 장치에 분석장치가 장착되어 있는 바, 이 분석장치는 창의 외측 면에서 반사된 광선의 광량을 측정하여 비가 오는지, 비가 온다면 창의 외측 면에 우적이 얼마나 많이 있는지를 분석한다.
본 발명에서는 우적을 측정하기 위한 이 분석장치가 창의 외측 면에서 반사된 광선의 측정된 광량을 임계값과 비교할 수 있는 것을 선호한다. 이 임계값을 특히 변화한 조명 강도에 맞추어 및/또는 예컨대 창이 건조한 경우의 규칙적인 보정에 의해 변화한 카메라의 감도에 맞추어 조절할 수 있다. 또한 임계값을 여러 개 사용할 수도 있다.
이 분석장치의 장점은 카메라의 영상센서가 측정한, 창의 외측 면에서 반사한 광선이 갖는 노출값의 시간적 변화를 측정한다는 점이다. 이를 위해 카메라를 사용하여 영상을 연속적으로 촬영할 수 있다.
본 발명에서 선호하는 한 모델 형태에서는 조명원이 최소한 두 광선을 창으로 향하게 하여 창의 내측 면과 외측 면에서 반사된 광선이 공간적으로 분리된, 최소한 두 광선으로서 카메라에 도달하게 한다. 이때 카메라는 카메라에 도달한, 최소한 두 광선의 광량을 측정할 수 있다. 본 발명에서 선호하는 바로는, 카메라에 도달한, 창의 내측 면에서(직접) 반사된 광선이 이때 기준 광선으로서 사용되는 것인 바, 왜냐하면 창의 외측 면에 빗방울이 있거나 또는 없을 때 이 광선의 광량이 변하기 않기 때문이다. 본 발명에서 제안한 조명장치를 사용한 이러한 종류의 감지를 위해 반드시 카메라가 있을 필요는 없으며, 공간적으로 분리된 두 광선의 광량을 측정할 수 있는 광학 센서를 이용해도 된다. 기존의 다이오드-레인센서와 대비하여 여기서 소개한 감지 방법이 갖는 장점은 연결 광학장치가 필요하지 않고 이와 동시에 비교 측정을 위한 기준 광선이 있다는 점이다.
본 발명에서 선호하는 바로는 선명하게 상이 맺힌 원거리 구역의 분석에 기반을 둔 하나 또는 여러 다른 운전자 지원 기능을 위해 카메라를 투입하는 것이다.
본 발명에서 선호하는 형태에서는 조명원이 구조적으로 카메라 또는 카메라의 케이스에 내장되어 있다. 여기서 조명원은 카메라 케이스 내에 있는 카메라의 화인더나 스크린 아래에 부착될 수 있는 것이 좋다. 본 발명에서 선호하는 바로는, 조명원이 이때 적외선 파장 범위의 광선을 발생시키고 스크린은 최소한, 조명원의 상부 또는 조명원의 방사 방향에 있는 어느 한 부분 구역에서, 즉 적외선 파장 범위 내에서 투과되는 것이다. 이때 조명원은 특히 카메라의 회로기판 또는 어느 한 플레이트에 부착되어 있을 수 있다.
본 발명에서 선호하는 바로는, 조명원이 예컨대(근)적외선 파장 범위와 같은 어느 한 특정 파장 범위 내에 있는 광선만 발생시키는 것이다. 카메라의 광선 경로에는 공간적으로 분리된, 최소한 두 광선이 지나는 구역에 첫 번째 스펙트럼 필터가 배치되어 있다. 이 첫 번째 스펙트럼 필터는 이 특정한 파장 범위 내에 있는 파장의 광선을 계속하여 투과한다(예: 적외선 투과).
공간적으로 분리된, 최소한 두 개의 반사된 광선이 지나지 않는 경로 구역에 두 번째 스펙트럼 필터를 배치하는 것이 좋은 바, 여기서 이 두 번째 스펙트럼 필터는 특정한 파장 범위 내에 있는 파장의 광선을 차단한다(예: 적외선 차단 필터).
본 발명에서 선호하는 바로는, 첫 번째 필터 또는 이 두 필터가 카메라 영상센서의 화소에 직접 적용되어 있는 것이다.
본 발명에서 선호하는 모델 형태에서 조명원은 광선속을 발생시킨다.
조명원에 의해 발생한 광선은 유리섬유와 같은 광도체에 의해 창 방향으로 향할 수 있는 것이 좋다.
또한 본 발명은 창의 외측 면에 있는 우적을 인식하는 방법에 관한 것이다. 이를 위한 전제 조건은 창 앞의 원거리 구역으로 초점을 맞춘, 창 뒤에 부착한 카메라와 창 방향으로 최소한 하나의 광선을 발생시키는 조명원이다. 조명원은 최소한 하나의 광선을 창으로 향하게 하여 창의 외측 면에서 반사된, 최소한 하나의 광선이 카메라에 도달하게 한다. 카메라는 창의 외측 면에서 반사된, 최소한 한 광선의 광량을 측정한다. 창의 외측 면에서 반사된, 최소한 한 광선의 측정된 광량을 분석하여 창의 외측 면에 있는 우적을 측정할 수 있다.
본 발명에 따른 장치가 본 발명에서 선호하는, 창의 외측 면에 있는 우적을 인식하는 방법을 실행한다. 카메라를 사용하여 먼저 첫 번째 영상을 조명원이 꺼졌을 때 촬영한다. 그 다음 조명원을 켠 상태에서 두 번째 영상을 촬영한다. 두 번째 영상과 첫 번째 영상에서 나온 차영상을 만든다. 이 차영상에서 창의 외측 면에서 반사된, 최소한 한 광선의 광량을 분석하여 창의 외측 면에 있는 우적을 감지한다.
유리하게 가시광선을 조명으로서 사용할 경우, 이 조명이 도로 사용자에게 장애가 되지 않도록 유의해야 한다. 이를 위해 외부 밝기의 조도에 의해 조절된 짧은 가시광선 펄스를 사용할 것을 권장한다. 이를 위해서는 레인센서의 영상을 위해 짧은 노출 시간과 촬영 시간만이 필요한 바, 따라서 운전자 지원 기능에 약간만 영향을 끼칠 뿐이다. 이러한 종류의 광선 펄스는 주간에 조명을 직시할 때만 감지될 것이다. 야간에는 우적 감지를 위해 약간의 광선만 필요하다. 여기서는 조도를 적절히 약하게 조절하여 야간에도 조명이 도로 사용자에게 장애가 되지 않도록 할 수 있다.
본 발명에서 선호하는, 이러한 조명 조도의 조절에는, 사용한 파장 범위와 관계 없이, 또 다른 장점이 있다. 레인센서의 광선 반사는 주간에도 잘 볼 수 있으며, 야간에는 영상이 포화되어 양적인 분석을 하지 못하도록 하지 않는다.
조명은 예컨대 열로 배치되어 있는 개별 다이오드를 통해 실현될 수 있는 것이 좋다. 또는 그 대신 라이트 밴드를 사용할 수도 있을 것이다. 이때 충분히 정렬된, ± 20° 이하의 방향성 특성이 보장되어 있는 것이 좋다.
아래에서는 도면과 예시 모델을 사용하여 본 발명을 좀 더 자세히 설명하겠다.
여기서, 도 1은 창이 건조한 상태에서 조명원과 카메라의 가능한 배치 원리를 광선 경로와 함께 도시한 도면이다.
도 2는 비가 내릴 때 창에서 변화된 광선 경로를 도시한 도면이다.
도 3은 카메라의 영상센서가 감지한, 비가 온다는 결론을 내리게 하는 신호이다.
도 4는 배치도로서, 이 도면에서는 창의 내측 면에서 반사한 광선이 부분적으로만 카메라의 영상센서에서 상이 맺힌다.
도 5는 배치도로서, 이 도면에서는 반사된 광선이 초점을 맞춘 원거리 구역으로 방향으로 겹쳐서 영상센서에서 상이 맺힌다.
도 6a는 필터 화소 매트릭스로서의 바이어 패턴이고,
도 6b는 무색 필터 화소로 변형된 바이어 패턴이다.
도 7은 조명원과 카메라의 다른 배치를 도시한 도면으로서, 여기서는 조명원이 카메라의 스크린 아래에 있는 회로기판에 배치되어 있다.
도 8은 장치를 다르게 배치한 경우 비가 내릴 때 창에서 변화된 광선 경로를 도시한 도면이다.
도 9와 10은 창에 비가 내릴 때 카메라에 도달한, 빗방울에서 반사된 조명원의 주광선을 측정함으로써 우적을 감지하는 장치를 다르게 배치한 추가적인 방법을 도시한 도면이다.
도 11은 배치도로서, 여기서는 조명원에서 나온 광선이 광도체를 통해 창으로 유도된다.
도 1에서는 본 발명에 따른 첫 번째 모델 형태의 기능 원리가 분명히 도시되어 있다. 여기서 소개한 우적 감지는 원거리 구역에 초점을 맞춘 카메라(1)와 US 7,259,367 B2에서 나온 면이 넓은 조명과는 반대로 하나 또는 여러 개의 광선속(h)을 사용하는 조명장치(3)에 기초하고 있다.
조명원(3)에서 발생한 광선(h)은 창의 내측 면(2.1)과 외측 면(2.2)에서 반사된 광선이 두 개의 공간적으로 분리된 광선(r1, r2)으로서 대물렌즈 또는 카메라(1)에 도달하도록 창(2) 방향으로 향하고 있다. 원거리 구역으로 초점을 맞추었기 때문에 광선속의 경계는 선명하지 않게 영상 칩(5)에 상이 맺혀 있다. 하지만 양 광선(r1, r2)은 충분히 분리되어 있으므로 그 각 광량을 영상센서(5)로 측정할 수 있다.
이러한 모델 형태에서는 조명원(3)의 주광선(h)이 사용되므로 조명원 광선이 특히 속으로서 묶여 있을 수 있다. 공기-창-경계면(또는 창의 내측 면 2.1))에서 반사된 주광선 부분(r1)은 기준 광선으로서 사용된다. 창을 투과한 부분(t1) 중에서 한 부분은 창-공기-경계면(또는 창의 외측 면(2.2)에서 반사되어 카메라(1)에 도달한 측정 광선(r2)으로서 사용된다. 여기서 표시되는 않은 광선은 창(2) 내부에서 여러 차례 반사된(외측 면(2.2)-창-공기에서 반사된 후 내측 면(2.1)-창-공기에서 반사된) 광선 부분이다.
이러한 배치에는, 도 2에서 설명한 바와 같이 창의 외측 면(2.2)에 우적(4)이 있는 경우 신호가 탁월하게 변한다는 장점이 있다. 이제 비가 내릴 때(4) 윈드실드(2)의 외측 면(2.2)이 젖으면 광선(t1)의 대부분이 분리되어 반사된 부분(r2')이 이에 따라 약화된다(도 2 참조). 내측 면(2.1)에서 반사된 광선(r1)은 이에 영향을 받지 않는다.
이 두 광선(r1 대 r2 또는 r2')의 광량을 측정하여 비교함으로써 비가 내릴 때(4) 감소된 신호(r2')를 쉽게 측정할 수 있어 와이퍼를 이에 따라 구동시킬 수 있다.
조명(3)에 의해 운전자와 다른 도로 사용자가 착각하지 않도록 특히 근적외선을 사용할 수 있는 바, 투입된 CCD 또는 CMOS 영상 칩(5)는 대개의 경우 이 광선을 대해 높은 감도를 갖고 있다.
잡음, 주간의 밝기와 일광 및 기타 다른 인위적인 조명원과 같은 간섭에 대해 민감해지지 않도록 조명원(3)을 특히 영상 선택 주기와 동기화하여 시간적으로 일부 또는 완전히 변조할 것을 제안하는 바, 이렇게 하면 단순한 차동 측정을 통해 간섭을 소거할 수 있다. 이것은 신호 대 잡음의 비율을 개선할 수 있는 하나의 방법이다. 또 다른 방법은 적절한 필터링이다. 광선 쌍(r1, r2/r2')이 도달하는 영상 칩(5)의 틈에 스펙트럼 대역 통과를 마련할 수 있는 바, 이는 조명(3)의 파장에 높은 투과성을 보인다.
도 3은 우적 인식에 사용되는 영상센서(5)의 상단 부분(6)에서 예컨대 조명원(3)으로서의 일곱 개의 LED에 의해 발생된 각각 일곱 쌍의 조명 반사(8, 9)를 도시한다. 이 광선은 초점이 무한 카메라(1)로 인해 선명하게 상이 맺히지는 않으나 이를 지각할 수는 있다. 특히 조도 또는 광량을 측정할 수 있다. 위의 조명 반사(8)는 윈드실드(2)의 내측 면(2.1)에서 반사된 광선(r1)에 의해 발생하고, 아래의 반사(9)는 윈드실드의 외측 면에서 반사된 광선(r2, r2')에 의해 발생한다.
이와 동시에 카메라 영상을 사용하여 운전자 지원 기능을 실현할 수 있기 위해 광선속 쌍(8, 9)이 운전자 지원 영상(7)을 교란해서는 안 된다. 이를 위해 도 3에서는 영상 칩(5)에서 운전자 지원 영상(7) 외부에 있는 구역(6)을 선택한다.
따라서 도 3에는 하나의 예시로서 영상 칩(5)에서 운전자 지원 구역(7)과 레인센서 구역(6)의 분할이 도시되어 있습니다. 빗방울(4)이 덮여 있는 외측 윈드실드(9)의 조명 반사는 조도가 약화되어 있다. 이러한 조명 반사(9)는 윈드실드(2)의 외측 면(2.2)에서 반사된 광선(r2')에서 나오며, 윈드실드(2)를 투과한 광선(t1)의 대부분이 빗방울(4)에 의해 윈드실드에서 분리되며(t2') 따라서 카메라(1)로 다시 반사되지(r2') 않기 때문에 이 반사의 조도는 감소된 상태이다. 이러한 조명 반사(9)는 따라서 우적(4)이 창(2)의 외측 면(2.2)에 있는지에 대한 정보를 가지고 있으며, 이러한 반사의 광량을 측정 신호로서 충분히 사용할 수 있을 것이다. 이러한 분석은 예컨대 어떤 임계값과 비교함으로써, 이러한 여러 조명 반사(9)를 서로 비교함으로써 비교 및/또는 이러한 조명 반사(9)의 최소한 한 반사의 시간적 변화를 분석함으로써 이루어질 수 있다.
조명장치(3)에 의한 교란을 계속 방지하기 위해 영상 칩(5)의 커버 글라스에 운전자 지원 구역(7)의 상단 모서리까지 추가로 적외선-차단필터를 코팅할 수 있다. 또한 이미 언급한 바와 같이 레인센서의 감지 구역(6) 위에 조명장치(3)의 파장을 위한 대역통과필터를 추가로 코팅할 수 있다.
그 대신 필터를 영상센서(5)의 화소에 직접 부착할 수도 있을 것이다. 이렇게 하면 레인센서 구역(6)용과 운전자 지원 구역(7)용의 상이한 필터의 모서리에 의해 발생하는 패럴랙스의 이동을 방지한다는 장점이 있을 것이다. 여기서는 현재의 화소-색상 필터의 부착에 해당하는 과정이 장점일 것이다. 이로 인해 이 두 구역(6, 7)은 화소 단위로 정확하게 분리될 수 있는 바, 이로 인해 생산 공정에서 발생하는 추가적인 기계적 허용 오차를 방지한다. 이 과정에서 레인센서 구역(6)용의 색상필터(R, G, B)의 부착을 포기할 것이고 따라서 우적의 감지 감도가 향상될 것이다.
도 4는 영상 칩(5)에 있는 조명 반점 또는 조명 반사(8)의 부분적인 상을 나타낸다. 레인센서(6)용의 위 구역은 본 발명에 따른 모델 버전에 따라 반드시 윈드실드(2.1)의 내측 면의 반사(8)를 받을 필요는 없는 바, 왜냐하면 우적(4)에 의한 광선의 변화가 아래의 광선 반점(9)에서 보일 수 있기 때문이다. 그러므로 이 모든 것이 측정 신호로서 충분할 수 있으며, 예컨대 광량 임계값과 비교될 수 있다. 측정 신호가 임계값보다 크거나 또는 이와 동일하면 창이 건조한 상태라고 인식된다. 이에 반하여 측정 신호가 임계값에 미치지 못하면 우적(4)이 창(2)의 외측 면(2.2)에 있다고 인식된다. 측정 신호가 임계값에 미치지 못하는 정도가 클수록 창(2)에 우적이 더 많이 있다는 것을 의미한다. 이 모델 버전에는 레인센서(6)를 위한 구역을 더 많이 축소할 수 있다.
하지만 이에 따라 도 4의 위 반점(8)은 이 모델 버전에서 기준 광량으로서 적용될 수 없는 바, 따라서 조명이 동요할 때 부정적인 영향을 끼칠 수 있을 것이다. 이러한 단점을 방지하기 위해 레인센서의 위 구역(6)을 광선의 위 반점(8)이 일부라도 보일 수 있을 정도로만 축소하는 것이 좋다. 이를 도 4에 도시하였다.
도 5는 운전자 지원 구역(7) 또는 원거리 구역의 상과 레인센서 구역(6) 또는 조명 반사(8, 9)의 선명하지 않은 상이 겹치는 공간적인 중첩을 나타낸다. 영상 칩(5)이나 집적한 조명장치의 크기가 공간적으로 분리된 광 반점(8, 9)와 운전자 지원 구역(7)의 상에 충분하지 않으면, 예컨대 그 대신 운전자 지원 영상을 사용하여 레인센서의 광 반점의 추가적인 상을 촬영할 수 있을 것이다. 이를 위해 운전자 지원 영상을 촬영하는 동안 조명장치(3)를 끈 다음 다시 켠다. 이렇게 하면 우적 감지를 위해 장점도 있는 바, 즉 차영상을 일시적인 운전자 지원 영상으로 만들 수 있으며, 이를 통해 배경 신호가 상당히 감소되어 이상적인 상태에서는 광 반점(8, 9)의 레인센서 영상만이 남게 된다.
많은 경우 운전자 지원 카메라(1)에는 적외선 차단필터가 장착되어 있어 광학장치에 가해지는 분광 요구가 감소되고/되거나 색상을 더 잘 인식할 수 있다. 오늘날 사용되고 있는 영상 칩(5)의 각 화소에 있는 색상필터(R, G, B)는 적외선 스펙트럼 영역에서 많은 경우 투과력이 높으므로 색상 선별력이 악화된다. 도 5에서 도시되어 있는 바와 같이 운전자 지원 구역(7)이 레인센서 구역(6)과 공간적으로 중첩되어 있는 경우 적외선 차단필터를 사용할 수 없거나 또는 조명(3)의 파장이 가시 영역으로 이동할 것이다.
적외선을 더 이상 투과시키지 않는 개선된 색상필터(R, G, B)를 사용하는 경우 색상필터의 샘플을 적절하게 선택함으로써 레인센서의 반점(8, 9)과 운전자 지원 영상(7)을 시간적으로 동시에, 그리고 공간적으로 중첩하여 촬영할 수 있다. 도 6a는 상당히 넓은 바이어 패턴 R-G-G-B(적색-녹색-녹색-청색)을 나타낸다. 도 6b는 변형된 샘플 R-N-G-B을 나타내는 예시도로서, 이 샘플에서 중성 화소(N)에는 색상필터가 없으며 따라서 이 화소에서는 가시 광선 및 적외선 광선이 투과된다. 이 "백색" 화소(N)만이 우적 감지에 사용된다. 또한 이 화소는 두 촬영이 시간적으로 분리되어 이루어질 때 운전자 지원 기능을 위해서도 사용되므로 영상 칩(5)의 역동성과 어두운 상황에서의 감도를 높인다.
도 1과 도 2에는 조명장치(3)와 광선 경로가 도시되어 있는 바, 이 경로는 창(2)에서의 전반사 각도와 가까운 곳에 위치해 있다. 거기에 도시된 배치에서는 창(2)에 빗방울(4)이 떨어질 때의 신호 변경이 특히 잘 표시되어 있다.
물론 조명원(3)은 카메라(1)의 훨씬 아래인 소형 카메라 케이스의 밖에 배치되어 있어, 설치에 제한이 있고 단점도 있다.
도 7과 8에는 이에 대신하는 배열이 도시되어 있는 바, 이러한 배열의 장점은 조명원(3)을 카메라(1) 안에, 더 정확히 말하면 카메라의 케이스 안에 내장할 수 있다는 것이다. 조명장치의(대개의 경우 LED를 사용한) 개방각이 충분히 크면 조명원(3)은 카메라(1)의 안에서도, 예를 들어, 도시된 바와 같이 카메라 구조물의 어떤 판(12)에 위치할 수 있다. 이렇게 하면 내장이라는 상당한 장점을 띠게 된다.
조명원(3)의 부광선(n)이 외측 면(2.2)에서 반사된 광선(r2)과 내측 면에서 반사된 광선(r1) 간의 상대적 효과는 양호하게 측정될 수 있으며, 창(2)에 떨어진 빗방울(4)을 신뢰할 수 있을 정도로 감지하는데 충분한 것으로서 증명되었다.
조명으로서 적외선 광선을 사용하고 조명원(3)을 도 7에서와 같이 카메라의 화인더나 스크린(11) 아래에 배치하면 화인더(11)는 적어도 어느 한 구역에서, 즉 조명원(3)에서 나와 창(2)으로 향하는 광선(n)이 통과하는 구역에서 적외선을 투과시킬 수 있어야 한다.
도 8은 창(2)의 외측 면(2.2)에 빗방울(4)이 있는 경우의 변화를 도시한다:여기서도 빗방울(4)은 창 앞의 구역에서 광선이 창에서 더 강하게 분리되도록(t2') 한다. 이렇게 함으로써 카메라(1)는 창(2)의 외측 면(2.2)에서 반사되었던 부분 광선(r2')의 감소된 조도를 측정한다.
이러한 모델 형태에서는 조명원의 주광선(h)이 사용되는 것이 아니라 부광선(n), 즉 창(2)에서 반사되어 최소한 두 개의 공간적으로 분리된 부분 광선(r1, r2, r2')으로서 카메라(1)에 도달한 광선이 사용된다. 그 외에는 광선의 진행 및 광선의 양이 도 1과 2에 도시된 것과 유사하며, 따라서 표시 기호도 이에 따라 동일하게 사용하였다.
도 1과 2 및 도 7과 8에 도시된 감지 방법은 기존의 광학식 레인센서와 유사하게 창(2)의 외측 면(2.2)가 젖은 상태인 경우 이루어지는 광선 의 감소 탐지에 기반을 두고 있다.
또한 이러한 배치에서는 우적을 감지하기 위해 빗방울(4)에서 반사된, 주광선(h)의 광선(rh)을 사용할 수 있다. 이를 도 9와 10에 도시하였다.
도 9는 창(2)이 건조한 상태에서의 상황을 도시한다. 도 7의 부광선(n)과 같이 창(2)의 내측 면(2.1)에서 반사된 광선 부분(rn1)이 영상센서(5)에 가해지는 기준 조도에 영향을 끼치지만 주광선(h)은 영상센서에서 상이 맺히지 않는다. 그러므로 기준 광선(rn1)의 조명 반사만이 감지되는 경우 창(2)에 우적(4)이 없다고 인식될 것이다.
도 10에서 도시된 바와 같이 윈드실드(2)에 외측 면(2.2)에 있는 빗방울(4)은 주광선의 적은 부분(rh)이 빗방울(4)에서 반사되어 카메라(1)에 도달하도록 한다. 따라서 기준 광선(rn1)의 조명 반사에 추가하여 하나 또는 여러 조명 반사의 발생으로부터 우적(4)이 있다는 결론을 내릴 수 있다.
물론(도 7+8 및 도 9+10에서 도시한) 이 두 감지 방법을 서로 결합하여 우적 인식을 향상하고 교란적인 환경 영향(변경되는 배경, 일광 반사, 와이퍼 등)을 더 적게 받을 수 있도록 할 수 있다.
도 11은 또 다른 예시 모델을 도시하는 바, 이 모델에서는 광도체(13)가 장착되어 있다. 여기서는 조명장치(3)를 카메라(1)의 케이스에 간편하게 내장하고 광선(h)을 윈드실드(2)의 어떤 특정 부위로 유도하도록 광도체(13)를 사용한다. 이렇게 함으로써 윈드실드(2)의 외측 면(2.2)에서 반사되는 부분 광선(r2, r2')에서 나오는(우적 감지용) 광반사(9)의 위치를 운전자 지원 구역(7) 밖의 어떤 구역에 있는 영상 칩(5)에서 특히 더 쉽게 조절할 수 있다. 우적 감지의 원리는 도 7과 8에서 설명한 원리와 동일하지만 조명장치(3)의 부광선(도 7+8에서의 n) 대신 주광선(h)이 광도체(13)를 통해 적절히 유도된다.
1 카메라
2 창
2.1 창의 내측 면
2.2 창의 외측 면
3 조명원
4 우적, 빗방울
5 연상센서
6 레인센서 구역
7 운전자 지원 구역
8 창의 내측 면에서 나온 조명 반사
9 창의 외측 면에서 나온 조명 반사
10 비가 내릴 때의 신호 변화
11 화인더
12 회로기판
13 광도체
h 주광선
n 부광선
r1 창의 내측 면에서 반사되는 h 또는 n의 부분
t1 창의 내측 면에서 투과되는 h 또는 n의 부분
r2 창의 외측 면에서 반사되는 h 또는 n의 부분
t2 창의 외측 면에서 투과되는 h 또는 n의 부분
r2' 창의 외측 면에 우적이 있을 때의 r2에 해당
r2' 창의 외측 면에 우적이 있을 때의 t2에 해당
th1 창의 내측 면에서 투과되는 주광선의 부분
th2 창의 외측 면에서 투과되는 th1의 부분
th2' 창의 외측 면에 우적이 있을 때의 th2에 해당
rh 빗방울에서 카메라로 반사되는 th2'의 부분
rn1 창의 내측 면에서 반사되는 n의 부분
R 적색 파장 범위에서 광선이 투과되는 필터 부재
G 녹색 파장 범위에서 광선이 투과되는 필터 부재
B 청색 파장 범위에서 광선이 투과되는 필터 부재
N 가시광선 및 또는 적외선 파장 범위에서 광선이 투과되는 필터 부재

Claims (19)

  1. 우적(4)을 인식하기 위한 장치로서,
    - 창(2)에 배치된 카메라(1)로서, 상기 카메라는 창(2)의 앞에 위치한 원거리 구역에 초점을 두고 있는, 카메라; 및
    - 광선(h, n)을 발생시키도록 구성되는 조명원(3)을 포함하고,
    상기 조명원(3)은, 결과적인 투과된 광선(resultant transmitted light beam)을 야기하기 위해, 상기 광선(h, n)을 공기를 통해 창(2)의 내측 면(2.1) 상으로 지향시키도록 구성 및 배열되고,
    상기 결과적인 투과된 광선은, 창(2)에서 투과되고 창(2) 내부에서 외측 면(2.2) 상에 도달하고, 카메라(1)에 도달하는 부분적으로 반사된 광선(r2, r2')을 야기하기 위해 창(2) 내부에서 외측 면(2.2)으로부터 부분적으로 반사되고,
    카메라(1)에 도달한 상기 부분적으로 반사된 광선(r2, r2')의 광량은 카메라(1)에 의해 측정되는,
    우적을 인식하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 창(2)의 외측 면(2.2)에 우적(4)이 없으면 창(2)의 외측 면(2.2)에 도달한 광선(t1)으로부터 창에서 분리된 광선(t2)에서보다 더 많이 반사되도록, 조명원(3)에 의해 발생된 광선(h, n)의 입사각을 정하는,
    우적을 인식하기 위한 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 장치에는 분석 장비가 장착되어 있는 바, 상기 장비는 창(2)의 외측 면(2.2)에서 반사된 부분적으로 반사된 광선(r2, r2')의 측정된 광량을 분석하여 우적(4)이 창(2)의 외측 면(2.2)에 있는지를 판단하는,
    우적을 인식하기 위한 장치.
  4. 제 3 항에 있어서,
    상기 분석 장비는 창(2)의 외측 면(2.2)에서 반사된 부분적으로 반사된 광선(r2, r2')의 측정된 광량을 임계값과 비교하는,
    우적을 인식하기 위한 장치.
  5. 제 3 항에 있어서,
    상기 분석 장비는 카메라(1)의 영상센서(5)가 측정한, 창(2)의 외측 면(2.2)에서 반사된 부분적으로 반사된 광선(r2, r2')이 갖는 노출값의 시간적 변화를 분석하는,
    우적을 인식하기 위한 장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 조명원(3)은 광선(h, n)을 창(2)으로 향하게 하여 창(2)의 외측 면(2.2)으로부터 부분적으로 반사되는 부분적으로 반사된 광선(r2 또는 r2')과 창의 내측 면(2.1)으로부터 반사된 또 다른 광선(r1)이 두 개의 공간적으로 분리된 광선(r1, r2 또는 r2')으로서 각각 카메라(1)에 도달할 수 있도록 하고 또 카메라(1)에 도달한, 두 광선(r1, r2 또는 r2')의 광량을 카메라(1)가 측정할 수 있도록 하는,
    우적을 인식하기 위한 장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 조명원(3)은 카메라(1)의 케이스에 내장되어 있는,
    우적을 인식하기 위한 장치.
  8. 제 7 항에 있어서,
    상기 조명원(3)은 카메라(1)의 화인더(11) 아래에 배치되어 있는,
    우적을 인식하기 위한 장치.
  9. 제 8 항에 있어서,
    상기 조명원(3)은 적외선 파장 범위의 광선을 발생시키며 화인더(11)는 최소한 어느 한 부분 구역에서, 즉 조명원(3)의 위에 위치한 부분 구역인 적외선 파장 범위 내에서 투과적인,
    우적을 인식하기 위한 장치.
  10. 제 7 항에 있어서,
    상기 조명원(3)은 카메라(1)의 회로기판(12)에 배치되어 있는,
    우적을 인식하기 위한 장치.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 조명원(3)은 어느 특정한 파장 범위 내에 있는 파장의 광선만을 발생시키고 카메라(1)의 광선 경로에서 첫 번째 스펙트럼 필터가 창(2)의 외측 면(2.2)에서 반사된 부분적으로 반사된 광선(r2, r2')이 지나는 구역에 배치되어 있는 바, 이때 이 첫 번째 스펙트럼 필터는 특정한 파장 범위 내에 있는 파장의 광선을 투과하는,
    우적을 인식하기 위한 장치.
  12. 제 11 항에 있어서,
    상기 조명원(3)은 광선(h, n)을 창(2)으로 향하게 하여 창(2)의 외측 면(2.2)으로부터 부분적으로 반사되는 부분적으로 반사된 광선(r2 또는 r2')과 창의 내측 면(2.1)으로부터 반사되는 또 다른 광선(r1)이 두 개의 공간적으로 분리된 광선(r1, r2 또는 r2')으로서 각각 카메라(1)에 도달할 수 있도록 하고, 두 번째 스펙트럼 필터는 공간적으로 분리된, 두 개의 반사된 광선(r1, r2 또는 r2')이 지나지 않는 광선 경로 구역에 배치되어 있는 바, 이때 이 두 번째 스펙트럼 필터는 특정한 파장 범위 내에 있는 파장의 광선을 차단하는,
    우적을 인식하기 위한 장치.
  13. 제 12 항에 있어서,
    상기 카메라(1)에는 영상센서(5)가 장착되어 있으며 첫 번째 또는 두 스펙트럼 필터가 영상센서(5)의 화소에 직접 장착되어 있는,
    우적을 인식하기 위한 장치.
  14. 제 1 항 또는 제 2 항에 있어서,
    상기 조명원(3)은 광선속(h)을 발생시키는,
    우적을 인식하기 위한 장치.
  15. 제 1 항 또는 제 2 항에 있어서,
    상기 조명원(3)에 의해 발생한 광선(h)은 광도체(13)에 의해 창(2)으로 향하는,
    우적을 인식하기 위한 장치.
  16. 창(2)의 외측 면(2.2) 상에 있는 우적(4)을 인식하기 위한 방법으로서,
    상기 방법은,
    - 창(2) 앞의 원거리 구역에 초점을 맞춘 카메라(1)를 창(2) 뒤에 제공하는 단계;
    - 광선(h, n)을 발생시키는 조명원(3)을 제공하고, 결과적인 투과된 광선을 야기하기 위해 상기 광선(h, n)을 공기를 통해 창(2)의 내측 면(2.1) 상으로 지향시키는 단계 ― 상기 결과적인 투과된 광선은, 창(2)에서 투과되고 창(2) 내부에서 외측 면(2.2) 상에 도달하고, 카메라(1)에 도달하는 부분적으로 반사된 광선(r2, r2')을 야기하기 위해 창(2) 내부에서 외측 면(2.2)으로부터 부분적으로 반사됨 ― ;
    - 카메라(1)를 사용하여 상기 부분적으로 반사된 광선(r2, r2')의 광량을 측정하는 단계; 및
    - 창(2)의 외측 면(2.2) 상에 있는 우적(4)을 인식하기 위해, 측정된 상기 부분적으로 반사된 광선(r2, r2')의 광량을 분석하는 단계를 포함하는,
    우적을 인식하기 위한 방법.
  17. 제 1 항 또는 제 2 항에 따른 장치를 사용하여 창(2)의 외측 면(2.2)에 있는 우적(4)을 인식하는 방법으로서,
    이때 카메라(1)를 사용하여,
    - 조명원(3)을 끈 상태에서 첫 번째 영상을 촬영하고,
    - 조명원(3)을 켠 상태에서 두 번째 영상을 촬영하며,
    - 두 번째와 첫 번째 영상에서 차영상을 만들고
    - 이 차영상에서 창(2)의 외측 면(2.2)에서 반사된 부분적으로 반사된 광선(r2, r2')의 광량을 분석하여 창(2)의 외측 면(2.2)에 있는 우적(4)를 감지하는,
    우적 인식 방법.
  18. 삭제
  19. 삭제
KR1020137016837A 2010-11-30 2011-09-20 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지 KR101903981B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010052968.0 2010-11-30
DE102010052968 2010-11-30
PCT/DE2011/001749 WO2012092911A1 (de) 2010-11-30 2011-09-20 Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung

Publications (2)

Publication Number Publication Date
KR20130123412A KR20130123412A (ko) 2013-11-12
KR101903981B1 true KR101903981B1 (ko) 2018-10-05

Family

ID=45560604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137016837A KR101903981B1 (ko) 2010-11-30 2011-09-20 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지

Country Status (7)

Country Link
US (1) US9335264B2 (ko)
EP (1) EP2646802A1 (ko)
JP (1) JP5944405B2 (ko)
KR (1) KR101903981B1 (ko)
CN (1) CN103221805B (ko)
DE (1) DE112011102968A5 (ko)
WO (1) WO2012092911A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1758783B1 (de) 2004-05-25 2008-04-16 VDO Automotive AG Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
KR20120051677A (ko) 2009-07-06 2012-05-22 콘티 테믹 마이크로일렉트로닉 게엠베하 두 화각에서 동시 초점 조절을 위한 광학 모듈
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012103873A1 (de) * 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
CN104080663B (zh) * 2012-08-06 2017-06-20 康蒂特米克微电子有限公司 用于识别下雨的装置和利用摄像机识别下雨的方法
DE102013100292A1 (de) 2013-01-11 2014-07-24 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102012108316A1 (de) 2012-08-06 2014-02-06 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102013000751B4 (de) * 2013-01-17 2024-02-29 HELLA GmbH & Co. KGaA Sensorvorrichtung zum Erfassen von Feuchtigkeit auf einer Scheibe
DE102013101746A1 (de) 2013-02-21 2014-08-21 Conti Temic Microelectronic Gmbh Optische Regensensorvorrichtung für ein Fahrzeug
JP2015007611A (ja) * 2013-05-30 2015-01-15 株式会社リコー 付着物検出装置、ワイパー装置及び移動体
DE102013225155A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102013225156A1 (de) * 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
JP6424586B2 (ja) * 2013-12-09 2018-11-21 株式会社リコー 撮像装置、媒体種別判定装置および画像形成装置
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
DE102014209197A1 (de) 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
KR101952617B1 (ko) * 2014-07-03 2019-02-28 (주)엘지하우시스 유리 기판의 부식 검출 방법
EP2965956B1 (en) * 2014-07-07 2019-02-27 Conti Temic microelectronic GmbH Camera based rain sensor for a window pane
DE102014214710B4 (de) 2014-07-25 2022-02-17 Conti Temic Microelectronic Gmbh Regendetektionsvorrichtung
EP2977275B1 (en) 2014-07-25 2017-04-26 Conti Temic microelectronic GmbH Rain detection device
DE102014223671A1 (de) 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Niederschlagsdetektor und Verfahren zur Detektion eines Niederschlags
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9533551B2 (en) 2015-03-16 2017-01-03 Thunder Power Hong Kong Ltd. Electric vehicle thermal management system with series and parallel structure
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
DE102015218500A1 (de) 2015-09-25 2017-03-30 Conti Temic Microelectronic Gmbh Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102016205532A1 (de) 2016-04-04 2017-10-05 Conti Temic Microelectronic Gmbh Vorrichtung zur Detektion von Niederschlag auf einer Fahrzeugscheibe eines Fahrzeugs
EP3472074B1 (en) * 2016-06-15 2022-11-09 Laitram, L.L.C. Wet case detector in a conveyor belt
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
DE102016221869A1 (de) 2016-11-08 2018-05-09 Conti Temic Microelectronic Gmbh Erkennung von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung
CN109693999B (zh) * 2017-10-23 2020-05-01 上海三菱电梯有限公司 自动扶梯或人行道信息监控装置
CN109057624A (zh) * 2018-08-18 2018-12-21 杨文娟 多参数监控式铝合金窗框
CN109050474B (zh) * 2018-09-06 2020-05-26 南京牧镭激光科技有限公司 雨刷控制方法、装置及激光探测设备
US10771665B1 (en) 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
DE102021113065A1 (de) * 2021-05-20 2022-11-24 Valeo Schalter Und Sensoren Gmbh Regensensorsystem, fahrzeug und verfahren zum erfassen von regen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923027A (en) 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
JP2003315256A (ja) 2002-04-23 2003-11-06 Mitsubishi Electric Corp 透光体表面の異物検出装置
JP2010096604A (ja) 2008-10-16 2010-04-30 Denso Corp 視界状態検知装置および視界確保装置
WO2010076066A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung zur erfassung eines scheibenzustandes einer fahrzeugscheibe
DE102009000005A1 (de) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS574133A (en) 1980-06-10 1982-01-09 Fujitsu Ltd Device for pattern image pickup
US4515443A (en) 1982-12-29 1985-05-07 The United States Of America As Represented By The Secretary Of The Army Passive optical system for background suppression in starring imagers
SE459128B (sv) 1983-03-29 1989-06-05 Svensk Filmindustri Avbildningsobjektiv som foermaar att i ett bildplan skarpt avbilda foeremaal paa minst tvaa olika avstaand fraan objektivet
JPS60125260U (ja) 1984-02-03 1985-08-23 三菱自動車工業株式会社 ル−ムミラ−装置
US4960996A (en) * 1989-01-18 1990-10-02 Hochstein Peter A Rain sensor with reference channel
JP2659852B2 (ja) 1990-06-29 1997-09-30 株式会社クラレ 撮像素子の製造方法
US6137529A (en) * 1992-11-23 2000-10-24 Mitsubishi Jukogyo Kabushiki Kaisha Apparatus for position data acquisition and an apparatus for coil position recognition
DE4417385A1 (de) 1994-05-18 1995-11-23 Vdo Schindling Anordnung zur Steuerung eines Scheibenwischers, insbesondere für Kraftfahrzeuge
DE59509929D1 (de) 1994-07-06 2002-01-24 Volkswagen Ag Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
DE19504606C2 (de) 1995-02-11 1999-01-07 Kostal Leopold Gmbh & Co Kg Optoelektronische Einrichtung zur Erfassung von auf der Außenseite einer transparenten Scheibe sich ablagerndem Niederschlag
JPH09189533A (ja) 1996-01-11 1997-07-22 Tokai Rika Co Ltd 付着物センサ及び付着物感応ワイパ
WO1997029926A1 (de) 1996-02-13 1997-08-21 Marquardt Gmbh Optischer sensor
JPH1090188A (ja) 1996-09-13 1998-04-10 Mitsuba Corp 画像認識装置
US6681163B2 (en) 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
DE19740364A1 (de) 1997-09-13 1999-03-25 Bosch Gmbh Robert Vorrichtung und Verfahren zum Betreiben eines Regensensors
DE19742093A1 (de) 1997-09-24 1999-03-25 Kostal Leopold Gmbh & Co Kg Photoelektrisches Sensorarray
DE19749331A1 (de) 1997-11-07 1999-05-20 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer Windschutzscheibe befindlichen Objekten sowie Vorrichtung
JP3940487B2 (ja) 1998-02-12 2007-07-04 シチズン電子株式会社 密着型イメージセンサ
DE19861428B4 (de) 1998-03-17 2008-01-10 Robert Bosch Gmbh Optischer Sensor
DE19858316C2 (de) * 1998-12-17 2000-11-30 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren und Lokalisieren von auf einer lichtdurchlässigen Scheibe befindlichen, diffusreflektierenden Belägen sowie Vorrichtung
FR2788131B1 (fr) 1998-12-30 2001-02-16 Valeo Systemes Dessuyage Detecteur de salissures sur la surface d'une plaque transparente
DE19909987C2 (de) 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US6392218B1 (en) 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
FR2810605B1 (fr) 2000-06-22 2002-09-20 Valeo Systemes Dessuyage Equipement de commande automatique de nettoyage d'une surface de plaque presentant des etats de salissure varies, et procede de mise en oeuvre
JP2002197466A (ja) * 2000-12-27 2002-07-12 Nec Corp 被写体領域抽出装置、被写体領域抽出方法、及び被写体領域抽出プログラムを記録した記録媒体
US6614043B2 (en) 2001-04-16 2003-09-02 Valeo Electrical Systems, Inc. Imaging rain sensor illumination positioning system
US6968073B1 (en) * 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US6617564B2 (en) 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
US20030066955A1 (en) 2001-10-09 2003-04-10 Schaub Michael P. Integrated field flattener for sensors
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US20060191215A1 (en) 2002-03-22 2006-08-31 Stark David H Insulated glazing units and methods
DE10219788C1 (de) 2002-05-03 2003-11-13 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen
DE20207170U1 (de) 2002-05-07 2002-08-14 Sick Ag Multifokale Bilderfassung
JP2005531752A (ja) * 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー 雨検出装置
DE10230200A1 (de) 2002-07-05 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von auf einer Oberfläche eines transparenten Elements sich befindenden Objekten
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
DE10303046A1 (de) 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
DE10303047A1 (de) 2003-01-24 2004-08-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Sichtverbesserung und zur Bestimmung der Wettersituation
JP2004296453A (ja) 2003-02-06 2004-10-21 Sharp Corp 固体撮像装置、半導体ウエハ、光学装置用モジュール、固体撮像装置の製造方法及び光学装置用モジュールの製造方法
DE10316794A1 (de) 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs
DE10322010A1 (de) 2003-05-16 2004-12-02 Daimlerchrysler Ag Bilderkennungssystem zum Erfassen einer Niederschlagsmenge
JP4326999B2 (ja) 2003-08-12 2009-09-09 株式会社日立製作所 画像処理システム
JP2007533961A (ja) 2003-09-19 2007-11-22 滕▲しん▼ ▲孫▼ 自動車ウィンドシールドガラスの環境変化を検知する装置と方法
US6947224B2 (en) 2003-09-19 2005-09-20 Agilent Technologies, Inc. Methods to make diffractive optical elements
DE10355205A1 (de) 2003-11-26 2005-07-07 Hella Kgaa Hueck & Co. Befestigungsanordnung für ein Kameramodul in einem Kraftfahrzeug
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
JP2005233728A (ja) * 2004-02-18 2005-09-02 Denso Corp 光センサ装置
DE102004015040A1 (de) 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
JP2005292544A (ja) 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 焦点調整機構
DE102004019337A1 (de) 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge
CN100490065C (zh) 2004-07-16 2009-05-20 尼康股份有限公司 光学构件的支撑方法及支撑构造、光学装置、曝光装置、以及元件制造方法
DE102004037871B4 (de) 2004-08-04 2006-10-12 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
WO2006024247A1 (de) 2004-09-03 2006-03-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur detektion von niederschlag auf einer scheibe
JP4241561B2 (ja) 2004-09-28 2009-03-18 株式会社デンソー 雨滴検出装置
JP2006184844A (ja) 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
DE102005004513A1 (de) 2005-01-31 2006-03-09 Daimlerchrysler Ag Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges
US7253898B2 (en) 2005-03-31 2007-08-07 Hitachi, Ltd. System for detecting droplets on a translucent surface
JP4353127B2 (ja) 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
EP1883940A2 (en) 2005-05-06 2008-02-06 David H. Stark Insulated glazing units and methods
DE102005035812A1 (de) 2005-07-27 2007-02-08 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
DE602005004544T2 (de) 2005-09-19 2008-04-30 CRF Società Consortile per Azioni, Orbassano Multifunktioneller optischer Sensor mit einer an Mikrolinsen gekoppelten Matrix von Photodetektoren
JP2007101649A (ja) 2005-09-30 2007-04-19 Oki Electric Ind Co Ltd 光学レンズ，および，光学レンズの製造方法
DE102006008274B4 (de) 2006-02-22 2021-11-25 Continental Automotive Gmbh Kraftfahrzeug mit einer optischen Erfassungsvorrichtung und Verfahren zum Betreiben eines Kraftfahrzeugs
DE102006010671A1 (de) 2006-03-08 2007-09-13 Leopold Kostal Gmbh & Co. Kg Kameraanordnung für ein Kraftfahrzeug
US20070216768A1 (en) 2006-03-14 2007-09-20 Ford Global Technologies, Llc Device and method for outwardly looking ir camera mounted inside vehicles particularly suited for pre-crash sensing and pedestrian detection
DE102006022404A1 (de) 2006-05-13 2007-11-15 Hella Kgaa Hueck & Co. Kameraanordnung für ein Kraftfahrzeug
JP4668838B2 (ja) 2006-05-16 2011-04-13 株式会社日本自動車部品総合研究所 雨滴検出装置およびワイパー制御装置
FR2901218B1 (fr) 2006-05-22 2009-02-13 Valeo Vision Sa Procede de detection de pluie sur un parebrise
US7722199B2 (en) * 2006-08-23 2010-05-25 Donnelly Corporation Vehicle interior rearview mirror assembly with actuator
FR2908527B1 (fr) 2006-11-15 2009-01-16 Valeo Vision Sa Capteur photosensible dans le domaine automobile
EP1923695A1 (de) * 2006-11-20 2008-05-21 Delphi Technologies, Inc. Vorrichtung zur Erfassung von Feuchtigkeit auf einer Scheibe
WO2008069220A1 (ja) 2006-11-30 2008-06-12 Nikon Corporation 結像装置及び顕微鏡
US8013350B2 (en) 2007-02-05 2011-09-06 Panasonic Corporation Optical device and method for manufacturing optical device, and camera module and endoscope module equipped with optical device
JP4340698B2 (ja) 2007-04-27 2009-10-07 シャープ株式会社 光学ユニットおよびそれを備えた固体撮像装置並びに電子機器
KR100862486B1 (ko) 2007-05-31 2008-10-08 삼성전기주식회사 카메라 모듈 패키지
EP2183635B1 (en) 2007-08-04 2015-09-16 Omnivision Technologies, Inc. Multi-region imaging systems
US7889086B2 (en) 2007-09-28 2011-02-15 Hella Kgaa Camera arrangement in a motor vehicle
JP4930316B2 (ja) 2007-10-05 2012-05-16 株式会社デンソー 雨滴量検出装置およびそれを用いたワイパ制御装置、ヘッドライト制御装置
JP2009098477A (ja) 2007-10-18 2009-05-07 Canon Inc 撮像装置
DE502007004154D1 (de) 2007-11-21 2010-07-29 Delphi Tech Inc Optisches Modul
DE102007061725A1 (de) * 2007-12-20 2009-06-25 Robert Bosch Gmbh Verfahren zur Plausibilitätsprüfung wenigstens eines Lichtdetektors einer Fahrlichtassistenzvorrichtung eines Kraftfahrzeugs
US8471513B2 (en) 2008-04-21 2013-06-25 Sea Yeoun Han Rain sensor
DE102008001679A1 (de) 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
DE102008043737A1 (de) 2008-11-14 2010-05-20 Robert Bosch Gmbh Vorrichtung und Verfahren zur Detektion von Regentropfen auf einer Scheibe
DE102008062977A1 (de) * 2008-12-23 2010-06-24 Adc Automotive Distance Control Systems Gmbh Optisches Modul mit multifokaler Optik zur Erfassung von Fern- und Nahbereich in einem Bild
DE102009000004A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Kameraanordnung
US8466960B2 (en) 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
KR20120051677A (ko) 2009-07-06 2012-05-22 콘티 테믹 마이크로일렉트로닉 게엠베하 두 화각에서 동시 초점 조절을 위한 광학 모듈
KR20110060495A (ko) 2009-11-30 2011-06-08 동양기전 주식회사 광 산란을 이용한 레인 센서
US8362453B2 (en) 2010-02-24 2013-01-29 Niles Co., Ltd. Rain sensor
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
JP5561333B2 (ja) 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
DE102012200200B4 (de) 2012-01-09 2020-09-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, sowie ein Fahrzeug
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923027A (en) 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
JP2003315256A (ja) 2002-04-23 2003-11-06 Mitsubishi Electric Corp 透光体表面の異物検出装置
JP2010096604A (ja) 2008-10-16 2010-04-30 Denso Corp 視界状態検知装置および視界確保装置
WO2010076066A1 (de) 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung zur erfassung eines scheibenzustandes einer fahrzeugscheibe
DE102009000005A1 (de) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung

Also Published As

Publication number Publication date
WO2012092911A1 (de) 2012-07-12
JP5944405B2 (ja) 2016-07-05
EP2646802A1 (de) 2013-10-09
KR20130123412A (ko) 2013-11-12
CN103221805A (zh) 2013-07-24
DE112011102968A5 (de) 2013-07-04
JP2014502360A (ja) 2014-01-30
CN103221805B (zh) 2016-10-12
US20130235381A1 (en) 2013-09-12
US9335264B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
KR101903981B1 (ko) 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지
US10628696B2 (en) Imaging device, object detector and mobile device control system
KR20110101177A (ko) 차창의 상태를 검출하기 위한 카메라 장치
JP6333238B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
JP4359121B2 (ja) Ｃｍｏｓまたはｃｃｄ技術のマトリクスを有する多機能統合化視覚システム
JP2014502360A5 (ko)
KR102081747B1 (ko) 카메라 및 조명에 의한 유리창의 우적 감지
US7259367B2 (en) Rain sensor device for detecting the wetting and/or soiling of a windscreen surface
CA2333596C (en) Imaging system for vehicle headlamp control
JP4485477B2 (ja) 検出デバイス
JP3641250B2 (ja) 透光体表面の異物検出装置
CN104024827A (zh) 图像处理装置、图像捕捉方法和车辆
CN106488092B (zh) 集成的摄像机、环境光检测及雨传感器组件
US20160119527A1 (en) Vehicle vision system camera with dual filter
US20180095206A1 (en) Onboard camera
WO2016084359A1 (en) Imaging device, object detector and mobile device control system
US20150276982A1 (en) Illumination for the detection of raindrops on a window by means of a camera
KR20210055435A (ko) 차량의 내부 감시용 카메라 시스템
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム
JP5509872B2 (ja) 画像撮影装置
CN115086514A (zh) 视频相机中的用于评估环境光的装置
KR20080061260A (ko) 표준수광소자를 이용한 빗방울 감지 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right