KR102534538B1 - 표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법 - Google Patents

표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법 Download PDF

Info

Publication number
KR102534538B1
KR102534538B1 KR1020210032806A KR20210032806A KR102534538B1 KR 102534538 B1 KR102534538 B1 KR 102534538B1 KR 1020210032806 A KR1020210032806 A KR 1020210032806A KR 20210032806 A KR20210032806 A KR 20210032806A KR 102534538 B1 KR102534538 B1 KR 102534538B1
Authority
KR
South Korea
Prior art keywords
image
water
optical
polarization
pixels
Prior art date
Application number
KR1020210032806A
Other languages
English (en)
Other versions
KR20210117179A (ko
Inventor
디에트리크 덤러
해랄드 고스너
볼프강 게르너
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20210117179A publication Critical patent/KR20210117179A/ko
Application granted granted Critical
Publication of KR102534538B1 publication Critical patent/KR102534538B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3577—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing liquids, e.g. polluted water
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G01N2021/1772—Array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G01N21/211—Ellipsometry
    • G01N2021/215—Brewster incidence arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4704—Angular selective
    • G01N2021/4709—Backscatter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/123—Conversion circuit
    • G01N2201/1235—Measuring or displaying selectably absorbance or density
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

표면상에서 물을 식별하기 위한 장치로서, 제1 광학 대역폭 － 상기 물은 상기 제1 광학 대역폭 내에서 제1 흡수율을 가짐 － 을 갖는 상기 표면의 제1 이미지, 및 제2 광학 대역폭 － 상기 물은 상기 제2 광학 대역폭 내에서 상기 제1 흡수율보다 높은 제2 흡수율을 가짐 － 을 갖는 상기 표면의 제2 이미지를 생성하기 위한 광학 센서; 상기 표면이 상기 물과 비교하여 감소되거나 제거되는 결합된 이미지를 생성하기 위해 상기 제1 이미지와 상기 제2 이미지를 결합하고, 상기 결합된 이미지에서 상기 물을 검출하기 위한 프로세서를 포함한다.

Description

표면 상에서 물을 검출하기 위한 장치 및 표면 상에서 물을 검출하기 위한 방법{A DEVICE FOR DETECTING WATER ON A SURFACE AND A METHOD FOR DETECTING WATER ON A SURFACE}
본 출원은 표면 상에서 물을 식별하기 위한 장치 및 표면 상에서 물을 식별하는 방법에 관한 것이다.
도로 상태들의 식별은 안전한 운전을 위해 필수적이다. 현대의 자동차들은 온도 및 제어 센서들의 도움으로 도로 상태들의 일반적인 위험들을 추정한다. 상이한 주요 특징들 및 결과들을 사용하면서 도로 상에서 물의 축적을 능동적으로 식별하기 위한 여러가지 원리들이 제안된다.
RGB 화상 상에서는, 더러운 장소로부터 젖은 장소를 구별하는 것은 어려운데, 예를 들어, 그 이유는 그 둘 모두가 단순히 더 어둡기 때문이다. 물이 투명하지만, 물은 광선의 경로를 변화시키는 여러가지 효과들로 인해 RGB 화상들에서 쉽게 보인다. 컴퓨터 비전 알고리즘들 또는 물체 검출 알고리즘들은 도로 상의 이상들(anomalies), 이를테면 예를 들어, 물웅덩이들을 위치측정하기 위해 RGB 화상들에 적용될 수 있다. 이러한 반사 방법의 장점들은, 일반적인 이미지 센서들이 사용되어 이러한 방법을 저비용 솔루션으로 만들 수 있게 하고, 위치측정(localization) 및 분류가 가능하다는 사실을 포함한다. RGB 카메라를 사용하는 동안, 편광 및 흡수와 같은 다양한 효과들이 결정될 수 없으며, 따라서 위치측정 및 분류 방법의 결과들은 개개의 경우에 매우 의존하고 신뢰할 수 없다.
다른 방법은 표면의 후방산란 특성들을 측정하는 것을 설명한다. 표면의 후방산란 거동은 그의 거칠기에 매우 의존한다. 물 및 얼음은 아스팔트와 같은 통상의 도로 재료들보다 더 매끄럽다. 광선들의 수평으로 편광된 부분의 많은 부분이 물 또는 얼음 표면에 의해 반사되는 반면, 광선들의 수직 부분은 수면을 관통하여, 지면 및/또는 얼음 결정들 상에서 산란된다. 환경의 이들 후방산란 속성들을 측정하기 위해 편광 필터들을 사용하는 것은 분류 평가를 위한 기준점들을 제공한다. 후방산란 속성들을 측정하는 것은, 그것이 단순한 편광 필터들을 포함하는 일반적인 이미지 센서들을 사용하는 것을 허용하므로 저렴한 솔루션이다. 부가적으로, 이러한 솔루션은, 예를 들어 물 및 얼음과 같은 매끄러운 영역들을 신뢰할 수 있게 위치측정하는 것을 가능하게 한다. 그러나, 물과 얼음 사이를 구별하는 것은 알려진 광원 또는 편광된 광원만을 이용하여 가능하다. 그러나, 이러한 방법은 관련없는 광 및/또는 지하의 변동들과 같은 외부 영향들에 민감하다.
제시된 다음 방법은 물의 스펙트럼 흡수 측정이다. 물은 인식가능한 흡수 특성을 가지며, 가시 광의 범위 내에서보다 적외선 스펙트럼 내에서 훨씬 더 많은 에너지를 흡수한다. 근적외선(NIR) 범위 내에서, 물은 뚜렷한 흡수 피크(peak)들을 보여준다. 이들 흡수 피크들 중 일부는, 물이 결정들을 형성하거나 얼기 시작할 때 상당한 시프트를 나타낸다. 예를 들어, 증가된 스펙트럼 감도에 대해 III-V 족으로부터의 특정 반도체들에 기초한 것들과 같은 특정 이미지 센서들을 사용하는 것은 NIR 범위 내의 이들 피크들이 측정되게 허용하여, 물, 얼음, 및 눈(snow) 사이를 구별하기 위한 간단한 방법을 제공한다. 예를 들어, 이러한 방법의 장점은, 예를 들어 물, 얼음, 눈 및 마른 토양(dry soil) 사이의 신뢰할 수 있는 분류이다. 이러한 솔루션의 단점들은, 예를 들어 값비싼 하드웨어, 낮은 해상도 및 불량한 위치측정이다.
따라서, 본 발명의 목적은 표면 상의 물의 신뢰할 수 있는 식별을 위한 개념을 제공하는 것이다.
이러한 목적은 제1항에 기재된 장치에 의해 또는 제20항에 기재된 방법에 의해 또는 제21항에 기재된 컴퓨터 프로그램에 의해 달성된다.
본 발명의 실시예들은 광학 센서 및 프로세서를 포함하는, 표면 상에서 물을 식별하기 위한 장치를 제공한다.
광학 센서는, 제1 광학 대역폭 － 물은 제1 광학 대역폭 내에서 제1 흡수율을 가짐 － 을 갖는 표면의 제1 이미지, 및 제2 광학 대역폭 － 물은 제2 광학 대역폭 내에서 제1 흡수율보다 높은 제2 흡수율을 가짐 － 을 갖는 표면의 제2 이미지를 제공하도록 이루어진다.
프로세서는, 표면이 물과 비교하여 감소되거나 제거되는 결합된 이미지를 생성하기 위해 제1 이미지와 제2 이미지를 결합하도록 이루어진다.
부가적으로, 프로세서는 결합된 이미지에서 물을 검출하도록 이루어진다.
본 발명의 예들은, 예를 들어 물리적 속성들의 측정에 대한 외부 영향 인자들, 이를테면 환경 및/또는 조명의 효과들을 감소시키기 위해 상대적인 측정들이 절대적인 측정들에 비해 바람직하다는 발견에 기초한다. 이러한 경우, 물리적 파라미터, 예를 들어 흡수는, 예를 들어 여러가지 광학 필터들을 사용함으로써 수행되는 여러가지 측정들로부터 추출된다.
따라서, 장치는 표면 상의 물의 신뢰할 수 있는 식별을 제공한다.
물의 흡수 특성들을 이용하기 위해, 장치는 높은 물 흡수율 및 낮은 물 흡수율을 각각 갖는 스펙트럼 범위들에 대한 대역통과 필터들을 포함하는 광학 센서를 사용함으로써 동일한 표면의 2개의 화상들을 촬영한다.
다른 재료들은 특정 스펙트럼 범위 내에서 일정한 흡수율들을 나타내며, 물만이 차이들을 생성할 것이다. 지하 또는 조명의 변화들과 같은 외부 영향 인자들은 화상들 둘 모두에 동등하게 영향을 줄 것이다.
배경을 감소시키거나 제거하기 위해, 실시예들에서, 프로세서는 결합된 이미지를 제공하기 위해 픽셀 단위로 이미지들을 결합하도록 이루어진다. 결합된 이미지는 물 히트 맵(heat map)의 일 유형이며, 픽셀들은 물 또는 얼음의 양의 확률을 보여준다. 이것은 또한 "신뢰도"로 지칭될 수 있다.
후속하여, 결과적인 결합된 이미지에서의 물의 검출이 여전히 발생할 것이다. 예를 들어, 임계치를 사용하는 동안 물이 검출되며, 여기서 임계치를 초과하는 특정한 세기를 갖는 픽셀들이 물로 식별된다.
장치는, 예를 들어 도로와 같은 표면 상에서 액체 또는 고체 물을 검출하도록 이루어진다.
실시예들에서, 제1 광학 대역폭은 400 nm 내지 900 nm의 스펙트럼 범위로부터 선택되고, 제2 광학 대역폭은 900 nm 내지 1200 nm의 스펙트럼 범위로부터 선택된다. CMOS 센서들 또는 실리콘-기반 이미지 센서들은 최대 ~1000 nm 또는 이론적으로는 최대 ~1102 nm까지 민감하다. ~900 nm 내지 ~1000 nm의 비교적 넓은 스펙트럼 범위가 바람직하다.
물의 모든 응집 상태(aggregate state)들은 400 nm 내지 900 nm의 스펙트럼 범위와 비교하여 900 nm 내지 1200 nm의 스펙트럼 범위 내에서 증가된 흡수율을 나타내지만, 아스팔트와 같은 일반적인 도로 재료들의 흡수율은 ~980 nm에 있는 물의 흡수 피크와 비교하여 400 nm 내지 1200 nm의 전체 스펙트럼 범위 내에서 무시가능하게 유지된다.
제1 광학 대역폭 및 제2 광학 대역폭의 전술된 선택은 화상들 사이에 물을 포함하는 구역들에서 픽셀 세기들의 차이를 제공한다.
실시예들에서, 제1 광학 대역폭은 반폭(half-width)에서 820 nm 내지 870 nm, 840 nm 내지 880 nm, 또는 850 nm 내지 890 nm의 범위에 있는 값을 갖고, 제2 광학 대역폭은 반폭에서 920 nm 내지 970 nm, 940 nm 내지 980 nm, 또는 950 nm 내지 990 nm의 범위에 있는 값을 갖는다.
제1 광학 대역폭 및 제2 광학 대역폭의 최적의 선택은 화상들 사이에 물을 포함하는 구역들에서 픽셀 세기들의 최대로 가능한 차이를 제공한다.
실시예들에서, 광학 센서는 수평으로 편광된 광선들을 감소시키거나 제거하도록 이루어진 수직 편광 필터를 갖는다.
수면에서 반사된 광선들의 입사각이 브루스터 각도(Brewster angle)에 가까운 한, 수면에서 반사된 광선들은 주로 수평으로 편광되고, 물을 관통하는 광선들은 주로 수직으로 편광된다. 물을 관통하지 않는 광선들은 물의 흡수에 의해 영향을 받지 않는다. 수직 편광 필터는 수평으로 편광된 광선들을 줄이거나 제거한다. 브루스터 각도의 부근에서, 수평으로 편광된 광의 대부분이 정반사를 겪으므로, 수직 편광 필터는 정반사를 제거하는 데 사용될 수 있다.
실시예들에서, 광학 센서는 단색 센서(monochrome sensor) 또는 CMOS 센서 또는 저비용 실리콘 센서를 포함한다. 이들 속성들은 상호 배타적이지 않다. 단색 센서들은 어떠한 필터 층도 포함하지 않거나, 또는 전체 영역을 덮는 필터 층을 포함한다. 필터들이 외부에 장착될 때, 단색 센서들이 사용된다. 필터들이 상이한 코팅들의 형태로 적용되는 즉시, 센서는 더 이상 단색이 아니다.
일반적이고, 저렴하며, 실리콘-기반의 이미지 센서들은 CMOS 센서들로 지칭된다. 사실, CMOS는 단지 하나의 유형의 설계일 뿐이다. 실시예들에서, CMOS 또는 CCD와 같은 모든 유형들의 설계가 사용될 수 있다. 그러나, III-V 반금속(semimetal)들에 기초하는 값비싼 CMOS 센서들이 또한 존재한다. 실시예들에서, 더 값비싼 유형보다 낮은 감도를 갖는 저비용 실리콘 센서들이 사용된다. 1100 nm 초과의 더 높은 파장 범위들 내에서 민감한 특정 III-V 반도체 센서들은 필요하지 않다.
본 발명의 예들은 저비용의 일반적인 CMOS 이미지 센서들, 또는 베이어 필터(Bayer filter)들이 없는 덜 복잡한 단색 이미지 센서들을 특징으로 한다.
실시예들에서, 광학 센서는, 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터를 포함하는 제1 개별 센서, 및 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터를 포함하는 제2 개별 센서를 포함하며, 광학 센서는 제1 개별 센서에 의해 제1 이미지를 그리고 제2 개별 센서에 의해 제2 이미지를 동시에 생성하도록 이루어진다.
추가적인 실시예들에서, 광학 센서는 교환가능한 광학 대역통과 필터들을 갖는 제3 개별 센서를 포함하며, 교환가능한 광학 대역통과 필터들은 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터 및 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터를 포함하고, 광학 센서는 제1 광학 대역통과 필터를 포함하는 제3 개별 센서에 의해 제1 이미지를 그리고 제2 광학 대역통과 필터를 포함하는 제3 개별 센서에 의해 제2 이미지를 연속적으로 생성하도록 이루어진다.
실시예들에서, 광학 센서는 필터 층을 포함하는 제4 개별 센서를 포함하며, 필터 층은 제4 개별 센서에 의해 생성된 이미지의 픽셀들을 행별(row-wise), 열별(column-wise), 또는 체커보드별(checkerboard-wise) 방식으로 2개의 그룹들로 분할하도록 이루어지고, 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터는 제1 그룹의 픽셀들이 제1 광학 대역폭을 갖는 제1 이미지를 생성하도록 제1 그룹의 픽셀들 위에 배열되고, 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터는 제2 그룹의 픽셀들이 제2 광학 대역폭을 갖는 제2 이미지를 생성하도록 제2 그룹의 픽셀들 위에 배열된다.
장치의 광학 센서는, 가능한 한 동일한 표면이 제1 이미지 및 제2 이미지에 이미징되도록 제1 광학 대역폭을 갖는 제1 이미지 및 제2 광학 대역폭을 갖는 제2 이미지를 가능한 한 동시에 제공하도록 이루어진다. 실시예들에서, 이들 요건들은 여러 개의 대역통과 필터들을 포함하는 여러 개의 개별 센서들에 의해, 교환가능한 광학 대역통과 필터들을 포함하는 개별 센서에 의해, 또는 필터 층을 포함하는 개별 센서에 의해 충족된다.
실시예들에서, 프로세서는 제1 이미지와 제2 이미지를 결합할 시에, 픽셀-단위 몫 계산(pixel-by-pixel quotient calculation), 픽셀-단위 차이 계산, 픽셀-단위 정규화된 차이 계산, 또는 1과 몫 계산 사이의 차이 계산을 사용하도록 이루어진다.
장치의 프로세서는 결합된 이미지를 생성하기 위해 위에서 설명된 계산들 중 임의의 계산을 사용하는 동안 픽셀-단위 기반으로 화상들을 결합하도록 이루어진다. 결합된 이미지는 일 유형의 물 히트 맵이다. 결합된 이미지의 각각의 픽셀은 그 픽셀에서 물 또는 얼음에 대한 양의 확률 값을 표현한다. 이것은 또한 "신뢰도"로 지칭될 수 있다. 단순한 몫의 경우, 그것은 픽셀에서 마른 표면의 신뢰도를 반대로 표현할 수 있다.
대안적인 실시예들에서, 개별 화상들은 더 이상 능동적으로 결합되지 않지만, 원시(raw) 데이터는, 원시 데이터에 기초하여 판단들을 행하는 트레이닝된 모델에 직접 전달된다.
실시예들에서, 프로세서는 합성곱된 이미지를 제공하도록 이루어진다. 프로세서는, 픽셀 윈도우를 사용함으로써 픽셀-단위 기반으로 또는 블록 단위 기반으로 픽셀들로, 결합된 이미지를 스캐닝하고, 픽셀 윈도우의 픽셀들의 값들의 가중 평균을 계산하고, 가중 평균들로부터 합성곱된 이미지를 생성하도록 이루어지며, 여기서 합성곱된 이미지 내의 가중 평균들의 위치들은 결합된 이미지 내의 픽셀 윈도우들의 위치들에 대응한다. 이러한 단계는 신호-대-잡음비(SNR)를 증가시키며, 여기서 신호는 흡수 차이이고, 잡음은 모든 잔차(residual)들을 포함한다.
물 흡수율은 약
Figure 112021055536292-pat00001
이다. 이것은, 1 mm의 깊이 및 255의 채도를 갖는 수막(water film)의 경우, 기껏해야
Figure 112021055536292-pat00002
만이 흡수될 것이라는 것을 의미한다.
흡수 효과가 어쨌든 측정가능하게 되기 위해, 인접 픽셀들이 또한 픽셀 윈도우에 통합된다. 픽셀 윈도우가 커질수록, 흡수 효과가 더 많이 증폭되며, 따라서 결과적인 이미지 또는 물 히트 맵이 또한 더 흐려지게 된다. 예를 들어, 웅덩이가 단일 픽셀로만 또는 너무 적은 픽셀들로 이루어지면, 그것이 식별되지 않을 것이다.
실시예들에서, 프로세서는 결합된 이미지 또는 결합된 이미지로부터 도출된 합성곱된 이미지의 개별 픽셀들의 값들을 임계치와 비교하도록 이루어진다. 임계치와 특정한 관계를 나타내는 값들을 갖는 픽셀들은 물로 검출된다. 임계치 판단은 물 검출을 위한 가장 간단한 솔루션들 중 하나이다. 예를 들어, 더 양호한 결과가 "특징 검출"에 의해 달성될 수 있다.
결합된 이미지 또는 합성곱된 이미지는 일종의 물 히트 맵이며, 여기서 픽셀들은 물 또는 얼음의 출현 확률을 표현한다.
물의 위치측정 또는 식별 동안, 결합된 이미지의 값들은 픽셀 단위로 임계치와 비교된다. 즉, 최종 판단은 픽셀-단위 기반으로 또는 심지어 "특징 추출", 즉 예를 들어, 뉴럴 네트워크(neural network)를 사용하는 동안 인접한 영역들의 식별을 통해 임계치를 이용하여 행해질 수 있다.
실시예들에서, 장치는 정보를 프로세서에 제공하도록 이루어진 부가적인 센서를 포함한다. 프로세서는 결합된 이미지 내의 정보를 사용하는 동안 물의 응집 상태를 검출하도록 이루어진다.
부가적인 센서를 포함하는 장치는 트랙션 손실(traction loss)의 실제 위험성 또는 위험을 추론하기 위해 젖은 영역들, 웅덩이들, 및 얼음 또는 눈 형성들의 예방적 위치측정 및 식별을 가능하게 하며, 이는 안전 운전 및 미래의 진보된 운전자 보조 시스템들(advanced driver assistance systems; ADAS) 또는 자율 주행 차량들에 대한 핵심 특징이다. 실제 트랙션 손실 이전에 단지 0.5 초의 예방적 위험 검출만으로도 ADAS는 운전자가 패닉에 빠져 잘못된 판단을 행하는 것을 방지하거나 에어백을 선제적으로 배치하여, 그에 따라 치명적인 부상들을 방지할 수 있게 한다.
흡수 측정만으로는 눈 및 흐린 얼음(cloudy ice)을 검출할 수 없다. 이를 위해, 후방산란 방법은 위치측정을 제공하고, 흡수 측정들이 확인으로서 사용된다. 따라서, 센서는 단지 응집-상태 정보 이상을 제공한다.
실시예들에서, 부가적인 센서는 부가적인 광학 센서를 포함한다. 부가적인 광학 센서는 제1편광 각도를 갖는 제1 편광 필터를 이용하여 제3 이미지를 제공하고, 제2 편광 각도를 갖는 제2 편광 필터를 이용하여 제4 이미지를 제공하도록 이루어지며, 2개의 편광 필터들은 그들의 편광 각도들에 관해 서로 상이하다. 더욱이, 부가적인 광학 센서는 제3 및 제4 이미지들을 프로세서에 제공하도록 이루어진다.
흡수 및 후방산란 측정들의 조합은 픽셀-단위 기반으로 물 또는 얼음의 존재를 평가하기 위한 신뢰할 수 있는 특징들을 제공한다.
액체 물의 반사의 편광 특성들의 분석은 주로 수평 배향으로의 광의 높은 편광 비율을 보여주는 반면, 얼음 결정들은 광선을 산란시키고, 파동의 회전을 야기한다. 얼음 결정들은 약간 시프트된 배향으로 더 많이 산란된 편광을 산출한다.
편광 속성들의 차이들은 물과 얼음 사이의 구별을 구현하는 것을 가능하게 한다.
이미지들의 상이한 편광 평면들은 후방산란 속성들, 즉 편광 타원의 위상, 장축(major axis) 및 단축(minor axis)을 추출하는 것을 허용한다. 편광 평면들의 각도 오프셋은 여기에서는 관련이 없으며, 임의적으로 선정될 수 있다.
실시예들에서, 부가적인 광학 센서는 편광 필터 층을 포함하는 개별 센서를 갖는다.
편광 필터 층은 개별 센서에 의해 생성된 화상의 화상 엘리먼트들을 행-단위, 열-단위 또는 체커보드 방식으로 2개의 그룹들로 분할하도록 이루어진다. 제1 그룹의 화소(picture element)들 위에서, 제1 편광 필터는 제1 그룹의 화소들이 제1 편광 각도로 제3 이미지를 생성하도록 배열된다. 제2 편광 필터는, 제2 그룹의 화소들이 제2 편광 각도로 제4 이미지를 생성하도록 제2 그룹의 화소들 위에 배열된다.
편광 필터 층을 포함하는 부가적인 광학 센서는, 가능한 한 동일한 표면이 화상들에 이미징되도록, 제1 편광 필터를 이용하여 제3 이미지를 그리고 제2 편광 필터를 이용하여 제4 이미지를 가능한 한 동시에 생성하도록 이루어진다.
실시예들에서, 편광 필터들의 편광 각도들은 서로 90°만큼 오프셋되도록 배열된다. 0° 및 90°의 편광 각도들을 갖는 2개의 편광 필터들이 충분하다. 서로 60°만큼 오프셋된 편광 각도들을 갖는 3개의 편광 필터들은 더 높은 정확도를 제공한다.
편광 평면의 균일한 분포는 편광 타원의 장축 및 단축들이 상세하게 추출되게 허용하며, 따라서 물과 얼음 사이를 구별하는 것을 더 쉽게 만든다.
실시예들에서, 프로세서는 결합된 이미지 또는 결합된 이미지로부터 도출된 합성곱된 이미지에서 물을 포함하는 구역들을 검출하도록 이루어진다. 더욱이, 프로세서는 물을 포함하는 구역들에서 제3 및 제4 이미지들로부터의 화소들을 평가하고, 물의 응집 상태, 즉 물을 포함하는 구역들이 물을 포함하는지, 액체 물을 포함하는지, 또는 얼음을 포함하는지를 검출하도록 이루어진다.
흡수 및 후방산란 측정들의 조합은 픽셀-단위 기반으로 물 또는 얼음의 존재를 평가하기 위한 신뢰할 수 있는 특징들을 제공한다. 물을 포함하는 구역들은 흡수 측정에 의해 검출되고, 영역들 내의 물의 응집 상태들은 후방산란 측정들을 사용함으로써 평가된다.
실시예들에서, 프로세서는, 제3 및 제4 이미지들의 화소들을 평가할 때 제3 및 제4 이미지들의 정규화된 세기 값들을 생성하도록 이루어진다.
게다가, 프로세서는, 정규화된 세기 값들을 생성할 때, 물의 응집 상태를 검출하기 위해 제3 및 제4 이미지들의 화소들의 값들의 합과 화소들의 값들의 비교를 사용하도록 이루어진다.
프로세서는, 제3 및 제4 이미지들의 정규화된 세기 값들이 제3 및 제4 이미지들의 정규화된 세기 값들의 평균 값의 +/- 10%를 포함하는 범위 내에 있을 때 얼음인 것으로 물의 응집 상태를 검출하거나, 또는 제3 및 제4 이미지들의 정규화된 세기 값들로부터의 정규화된 세기 값이 제3 및 제4 화상들의 정규화된 세기 값들의 평균 값의 1.5 배보다 클 때 액체 물인 것으로 물의 응집 상태를 검출하도록 이루어진다.
3개의 이미지들은 픽셀-단위 기반으로 3개의 이미지들의 평균 값으로 정규화되고 서로 비교된다. 자동화될 수 있는 간단한 임계치 판정이 다음과 같이 요약될 수 있다.
얼음 표면들은 큰 산란을 나타내며, 따라서 3개의 모든 이미지들의 화소들은 유사한 정규화된 세기 값들을 가질 것이다. 3개의 모든 이미지들의 화소들이 동일한 영역에서 유사한 정규화된 세기 값들을 갖는다면, 영역의 화소들은 얼음인 것으로 식별될 것이다.
액체 물의 반사는 주로 수평 배향으로의 광의 높은 편광 비율을 보여준다. 이미지의 하나의 영역에서의 정규화된 세기들이 동일한 영역 내의 다른 이미지들의 세기들보다 훨씬 더 높다면, 영역의 화소들은 물인 것으로 식별될 것이다.
실시예들에서, 장치는, 프로세서가 물의 응집 상태를 평가하게 허용하는 주변 온도 값을 프로세서에 제공하도록 이루어진 온도 센서를 포함한다.
부가적인 온도 센서는 추가적인 복잡도들이 감소되게 허용한다. 주변 온도가 물의 어는점보다 훨씬 높거나 훨씬 낮으면, 물을 포함하는 구역은 주변 온도에 의존하여, 물 또는 얼음인 것으로 식별될 것이다.
실시예들에서, 프로세서는, 제1 이미지 및 제2 이미지로부터의 정보를 포함하는 상태 값들의 세트를 감지하고, 인공-지능 엘리먼트 또는 뉴럴 네트워크를 사용하는 동안 세트의 함수로서 가변 임계치를 제공하도록 이루어진다. 뉴럴 네트워크는, "특징 검출"의 변형으로서, 픽셀-단위 기반으로 더 양호한 임계치를 찾거나 또는 완전한 화상에서 인접한 형상들을 식별하는 데 사용될 수 있다.
부가적으로, 프로세서는 가변 임계치를 사용하는 동안, 결합된 이미지에서 물을 또는 결합된 이미지에서 물의 응집 상태를 검출하도록 이루어진다.
인공-지능 엘리먼트 또는 뉴럴 네트워크를 사용하는 동안 제1 이미지로부터 그리고 제2 이미지로부터의 정보의 함수로서 생성되었던 가변 임계치는 상이한 환경 상황들에서 더 양호한 식별율을 산출할 것이다.
실시예들에서, 프로세서는, 제3 이미지로부터 그리고 제4 이미지로부터의 정보를 포함하는 상태 값들의 세트를 감지하고, 인공-지능 엘리먼트 또는 뉴럴 네트워크를 사용하는 동안 세트의 함수로서 가변 임계치를 제공하도록 이루어진다.
부가적으로, 프로세서는 가변 임계치를 사용하는 동안, 결합된 이미지에서 물을 또는 결합된 이미지에서 물의 응집 상태를 검출하도록 이루어진다.
인공-지능 엘리먼트 또는 뉴럴 네트워크를 사용하는 동안 제3 이미지로부터 그리고 제4 이미지로부터의 정보의 함수로서 생성되었던 가변 임계치는 상이한 환경 상황들에서 더 양호한 식별율을 산출할 것이다.
본 발명의 실시예들은 장치 및 인터페이스를 포함하는 이동(locomotion) 수단을 제공한다.
장치는 정보를 프로세서에 제공하도록 이루어진 부가적인 센서를 포함한다.
장치의 프로세서는 결합된 이미지 내의 정보를 사용하는 동안 물의 응집 상태를 검출하도록 이루어진다.
인터페이스는 장치가 물의 고체 상태를 검출하면, 이동 수단의 운전자에게 경고하고 그리고/또는 이동 수단의 제어에 영향을 주도록 이루어진다.
이동 수단의 장치는 트랙션 손실의 실제 위험성 또는 위험을 추론하기 위해 젖은 영역들, 웅덩이들, 및 얼음 또는 눈 형성들의 예방적 위치측정 및 식별에 의해 안전한 운전을 가능하게 한다. 실제 트랙션 손실 이전의 예방적 위험 검출은 ADAS가 운전자에게 경고하거나 인터페이스를 통해 이동 수단의 제어에 영향을 줄 수 있게 할 수 있다.
본 발명에 따른 추가적인 실시예들은 대응하는 방법들을 제공한다.
본 발명에 따른 실시예들은 CMOS 이미지 센서들을 사용하는 동안 도로 상에서 물 및 얼음 위험들의 예방적 식별을 나타낼 것이다.
도 1은 광학 센서 및 프로세서를 포함하는 장치의 일 실시예의 개략적인 표현을 도시한다.
도 2는 광학 센서, 부가적인 광학 센서 및 프로세서를 포함하는 장치의 일 실시예의 개략적인 표현을 도시한다.
도 3a는 장치 및 인터페이스를 포함하는 이동 수단의 일 실시예의 개략적인 표현을 도시한다.
도 3b는 장치를 포함하는 이동 수단의 일 실시예의 개략적인 표현을 도시한다.
도 4a는 400 nm 내지 1000 nm의 스펙트럼 범위 내의 물의 흡수 특성의 다이어그램을 도시한다.
도 4b는 400 nm 내지 1200 nm의 스펙트럼 범위 내의 물의 흡수 특성의 다이어그램을 도시한다.
도 5는 장치의 프로세서에 의해 수행되는 흡수 측정의 평가 방법의 개략적인 표현을 도시한다.
도 6a는 물을 포함하는 표면 위의 필터 없는 이미지를 도시한다.
도 6b는 물을 포함하는 표면 위의 결합된 이미지를 도시한다.
도 7a는 부분적으로 물을 관통하고 부분적으로 수면에서 반사되는 비-편광 광선들을 도시한다.
도 7b는 상이한 입사각들에서 수직으로 그리고 평행하게 편광된 광선들의 반사 계수들의 다이어그램을 도시한다.
도 7c는 수직으로 그리고 평행하게 편광되고 상이한 입사각들로 수면에서 반사되는 광선들의 반사 계수율 (TE-TM)/(TE+TM)의 다이어그램을 도시한다.
도 8a는 2개의 편광 평면들에 의해 정의된 3개의 가능한 편광 타원들을 도시한다.
도 8b는 3개의 편광 평면들에 의해 정의된 편광 타원을 도시한다.
도 8c는 수평으로 편광된 큰 부분을 갖는 액체 물의 편광 타원을 도시한다.
도 8d는 균일한 편광 분율(fraction)들을 갖는 고체 물의 편광 타원을 도시한다.
도 8e는 어떠한 배향 변화도 없는 액체 물의 편광 타원을 도시한다.
도 8f는 배향 변화가 있는 고체 물의 편광 타원을 도시한다.
도 9a는 물을 갖는 표면 위의 제1 편광 필터를 갖는 이미지를 도시한다.
도 9b는 물을 갖는 표면 위의 제2 편광 필터를 갖는 이미지를 도시한다.
도 9c는 물을 갖는 표면 위의 제3 편광 필터를 갖는 이미지를 도시한다.
도 9d는 물을 갖는 표면 위의 필터 없는 이미지를 도시한다.
도 10은 이미지 센서 및 필터 층을 포함하는 광학 센서를 도시한다.
도 11은 3개의 상이한 카메라들 또는 감광 영역들을 수반하는 구현을 도시한다.
본 발명에 따른 실시예들은 첨부한 도면들을 참조하여 아래에서 더 상세히 설명될 것이다. 도시된 개략적인 도면들에 관해, 기능 블록들이 본 발명의 장치의 엘리먼트들 또는 특징부들 둘 모두 및 본 발명의 방법의 대응하는 방법 단계들로 이해되어야 하며, 본 발명의 방법의 대응하는 방법 단계들이 또한 그로부터 도출될 수 있다는 것이 지적되어야 한다.
도 1은 광학 센서(110) 및 광학 센서에 커플링된 프로세서(120)를 포함하는, 표면(150) 상에서 물을 식별하기 위한 장치(100)의 일 실시예의 개략적인 표현을 도시한다. 프로세서(120)의 출력은 장치(100)의 출력이다.
광학 센서(110)는 수직 편광 필터(115), 제1 광학 대역통과 필터(133)를 포함하는 제1 개별 센서(123) 및 제2 광학 대역통과 필터(136)를 포함하는 제2 개별 센서(126)를 포함한다. 수직 편광 필터(115)는 요구되지 않는다.
제1 광학 대역통과 필터는 제1 광학 대역폭을 가지며, 물은 제1 광학 대역폭 내에서 제1 흡수율을 갖는다. 제2 광학 대역통과 필터는 제2 광학 대역폭을 가지며, 물은 제2 광학 대역폭 내에서 제1 흡수율보다 높은 제2 흡수율을 갖는다.
장치는 표면(150) 상에서 물을 검출하도록 이루어진다. 아래에서 추가로 논의될 바와 같이, 광선들(160)은 부분적으로 물을 관통하고, 부분적으로 수면에서 반사된다.
수직 편광 필터(115)는 정반사 방식으로 수면에서 반사되는 수평으로 편광된 광선들을 감소시키거나 제거하도록 이루어진다.
감소되지 않은 광선들은 제1 광학 대역통과 필터(133)를 포함하는 제1 개별 센서(123) 또는 제2 광학 대역통과 필터(136)를 포함하는 제2 개별 센서(126) 중 어느 하나에 도달할 것이다.
광학 센서(110)는, 가능한 한 동일한 표면(150)이 제1 이미지 및 제2 이미지에 이미징되도록 제1 개별 센서(123)에 의해 제1 이미지(143)를 그리고 제2 개별 센서에 의해 제2 이미지(146)를 가능한 한 동시에 생성하도록 이루어진다. 더욱이, 센서는 제1 이미지 및 제2 이미지를 프로세서에 제공하도록 이루어진다.
프로세서는 아래에서 추가로 논의될 바와 같이, 결합된 이미지(130)를 제1 이미지와 제2 이미지의 결합으로서 제공하고, 결합된 이미지에서 물을 검출하거나 위치측정하도록 이루어진다. 물을 포함하는 검출된 구역들(140)은 프로세서의 출력들 또는 장치의 출력들이다.
도 2는 광학 센서(110), 부가적인 광학 센서(210), 및 광학 센서(110) 및 부가적인 광학 센서(210)에 커플링된 프로세서(120)에 의해 표면(150) 상에서 물의 응집 상태를 식별하기 위한 장치(200)의 일 실시예의 개략적인 표현을 도시한다. 프로세서(120)의 출력은 장치(200)의 출력이다.
프로세서는 선택적인 부가적인 온도 센서(230)에 커플링될 수 있다.
광학 센서(110)는 필터 층(233)을 포함하는 개별 센서(123)를 포함한다. 정면도(233F)에 표시된 바와 같이, 필터 층은 열-단위, 행-단위, 또는 체커보드 방식으로 2개의 그룹들로 분할된다. 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터는 제1 그룹에 위치되고, 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터는 제2 그룹에 위치된다.
제1 광학 대역통과 필터는 제1 광학 대역폭을 갖고, 물은 제1 광학 대역폭 내에서 제1 흡수율을 가지며, 제2 광학 대역통과 필터는 제2 광학 대역폭을 갖고, 물은 제2 광학 대역폭 내에서 제1 흡수율보다 높은 제2 흡수율을 갖는다.
부가적인 광학 센서(210)는 편광 필터 층(253)을 포함하는 개별 센서(243)를 포함한다. 필터 층(233)과 유사하게, 편광 필터 층(253)은 열-단위, 행-단위, 또는 체커보드 방식으로 3개의 그룹들로 분할된다. 제1 편광 각도를 갖는 제1 편광 필터는 제1 그룹에 위치되고, 제2 편광 각도를 갖는 제2 편광 필터는 제2 그룹에 위치되며, 제3 편광 각도를 갖는 제3 편광 필터는 제3 그룹에 위치된다.
장치(200)는 표면(150) 상에서 물의 응집 상태를 검출하도록 이루어진다.
광학 센서(110)는 제1 광학 대역폭을 갖는 제1 이미지(143) 및 제2 광학 대역폭을 갖는 제2 이미지(146)를 생성하도록 이루어진다.
부가적인 광학 센서(210)는 제1 편광 필터를 이용하여 제3 이미지(263)를, 제2 편광 필터를 이용하여 제4 이미지(266)를, 그리고 제3 편광 필터를 이용하여 제5 이미지(269)를 생성하도록 이루어진다.
광학 센서(110) 및 부가적인 광학 센서(210)는 제1, 제2, 제3, 제4, 및 제5 이미지들(143, 146, 263, 266, 269)을 프로세서(120)에 제공하도록 이루어진다.
선택적인 온도 센서(230)는 주변 온도 값을 프로세서에 제공하도록 이루어진다. 주변 온도가 물의 어는점보다 매우 높거나 매우 낮으면, 물을 포함하는 구역은 주변 온도에 의존하여, 물 또는 얼음인 것으로 식별될 것이다.
프로세서(120)는 제1 및 제2 이미지들에 기초하여 흡수 측정을 평가하고(280), 표면(150) 상에서 물을 검출하도록 이루어진다. 더욱이, 프로세서(120)는, 제3, 제4, 및 제5 이미지들을 사용하는 동안 후방산란 측정을 평가하고(290), 물을 포함하는 구역들에서 물의 응집 상태를 검출하도록 이루어진다. 흡수 측정의 평가 방법(280) 및 후방산란 측정의 평가 방법(290)의 속성들은 아래에서 추가로 설명될 것이다.
물을 포함하는 구역들의 검출된 응집 상태들(240)은 프로세서의 출력들 또는 장치의 출력들이다.
도 3a는 장치(200) 및 장치에 커플링된 인터페이스(310)를 갖는 이동 수단(300)의 일 실시예의 개략적인 표현을 도시한다.
도 2에 설명되었던 바와 같이, 장치(200)는 표면(150) 상에 물을 포함하는 구역들에서 응집 상태를 검출하도록 이루어진다.
인터페이스(310)는 장치가 물의 고체 상태를 검출하면, 이동 수단의 운전자(320)에게 경고하고 그리고/또는 이동 수단의 제어에 선제적으로 영향을 주도록 이루어진다.
이동 수단(300)의 장치(200)는, 도로 상에서 젖은 영역들, 웅덩이들, 및 얼음 또는 눈 형성들을 선제적으로 식별 및 위치측정하고, 주변 온도가 물의 어는점 부근에 있을 때 응집 상태를 분류함으로써 안전한 운전을 가능하게 한다. 트랙션 손실의 실제 위험성 또는 위험의 추론은 미래의 진보된 운전자 보조 시스템들(ADAS) 또는 자율 주행 차량들에 대한 핵심 특징이다.
대안적으로, 도 3b는 장치(200)를 포함하는 이동 수단(300)의 제2 실시예의 개략적인 표현을 도시한다. 1.40 m의 카메라 높이의 이미지 센서를 포함하는 장치(200)는 5 m 내지 100 m 전방을 가능한 한 멀리 볼 수 있다. 예를 들어, 장치가 100 m 전방을 보길 원하면, 입사각(330)은 대략 ~89°일 것이다.
도 4a는 400 nm 내지 1000 nm의 스펙트럼 범위 내의 물의 흡수 특성들(410)의 다이어그램(400)을 도시한다. 900 nm 내지 1000 nm의 스펙트럼 범위는 높은 흡수율을 가지며, 윈도우(420)에 의해 강조표시된다.
도 4b는 400 nm 내지 1200 nm의 스펙트럼 범위 내의 물의 흡수 특성(410)의 다이어그램(450)을 도시한다. 900 nm 내지 1200 nm의 스펙트럼 범위는 2개의 흡수 피크들을 갖는다. 장치(200)는 900 내지 1000 nm의 파장 범위 내에서 민감하다. 1100 nm 초과의 더 높은 파장 범위들에서 민감한 특정 III-V 반도체 이미지 센서들은 필요하지 않다.
도 1에 설명되었던 바와 같이, 장치(100)는 물의 흡수 특성들을 활용한다. 장치(100)의 광학 센서(110)는 높은 및 낮은 물 흡수율들을 각각 갖는 스펙트럼 범위들에 대하여 대역통과 필터들(133, 136)에 의해 동일한 표면(150) 위에서 2개의 화상들(143, 146)을 촬영한다. 제1 이미지(143) 및 제2 이미지(146)에서 물을 포함하는 구역들은 상이하게 이미징된다.
아스팔트와 같은 다른 환경 재료들이, 예를 들어 400 nm 내지 1200 nm의 스펙트럼 범위 내에서 일관된 흡수율을 나타내므로, 변화하는 배경 또는 조명과 같은 외부 영향 인자들은, 예를 들어 화상들 둘 모두에 동등하게 영향을 줄 것이다.
배경을 감소시키거나 제거하기 위해 또는 물을 포함하는 구역들을 강조표시하기 위해, 장치(100)의 프로세서(120)는 화상들(143, 146)을 서로 결합하도록 이루어진다. 제1 광학 대역통과 필터(133)의 제1 광학 대역폭 및 제2 광학 대역통과 필터(136)의 제2 광학 대역폭을 최적으로 선택함으로써, 화상들 사이에 물을 포함하는 구역들에서의 픽셀 세기들의 최대로 가능한 차이가 제공된다.
물의 흡수 피크는 약 980 nm이므로, 제1 대역통과 필터는 900 내지 1000 nm의 파장 범위 내에서 사용된다. 제2 대역통과 필터는 실제로, 400 내지 900 nm의 파장 범위 내에서 자유롭게 선택가능하다.
최적의 선택에서, 제1 광학 대역폭은, 예를 들어 반폭에서 820 nm 내지 870 nm, 840 nm 내지 880 nm, 또는 850 nm 내지 890 nm의 범위에 있는 값을 가질 수 있고, 제2 광학 대역폭은, 예를 들어 반폭에서 920 nm 내지 970 nm, 940 nm 내지 980 nm, 또는 950 nm 내지 990 nm의 범위에 있는 값을 가질 수 있다.
도 5는 도 2의 장치(200)의 프로세서(120)에 의해 수행되는 흡수 측정의 평가 방법(280)의 개략적인 표현을 도시한다.
시작 지점으로서, 웅덩이를 갖는 도로와 같이 부분적으로 물(520)로 덮인 표면(510)이 도시된다.
제1 단계로서, 장치(200)의 광학 센서(110)는 제1 광학 대역폭 － 물(520)은 제1 광학 대역폭 내에서 제1 흡수율을 가짐 － 을 갖는 제1 이미지(143)를, 그리고 제2 광학 대역폭 － 물은 제2 광학 대역폭 내에서 제1 흡수율보다 높은 제2 흡수율을 가짐 － 을 갖는 제2 이미지(146)를 생성한다.
상이한 흡수율들 때문에, 물(520)을 포함하는 구역들은 제1 이미지(143) 및 제2 이미지(146)에서 상이하게 이미징된다. 제2 이미지(146)에서, 물(520)을 포함하는 구역들은 상당히 더 어둡다.
제2 단계로서, 장치(200)의 프로세서(120)는 제1 이미지(143)로부터 그리고 제2 이미지(146)로부터 결합된 이미지(530)를 생성한다. 이러한 경우, 픽셀-단위 몫 계산이 픽셀-단위 결합에서 사용된다. 다른 결합 방법들은 픽셀-단위 차이 계산, 픽셀-단위 정규화된 차이 계산, 또는 1과 몫 계산 사이의 차이 계산을 포함할 수 있다.
결합된 이미지 또는 픽셀-단위 몫 계산의 결과는 일종의 히트 맵이므로, 몫 값이 1.0으로부터 더 많이 벗어날수록, 그곳의 물 또는 얼음이 그곳에서 검출될 가능성이 더 높아진다.
제3 단계로서, 장치(200)의 프로세서(120)는 물을 포함하는 구역들을 검출하거나 위치측정한다. 물을 포함하는 구역들을 위치측정하거나 검출하는 것은 픽셀-단위 기반으로 또는 "특징 추출", 즉 인접한 영역들의 식별을 통해 임계치를 이용한 최종 판단으로서 수행될 수 있다. 물을 포함하는 검출된 구역들(140)은 장치(200)의 평가 방법(280)의 출력들이다.
여기서, 물 흡수율이 약
Figure 112021055536292-pat00003
이라는 것을 유의해야 한다. 즉, 255의 채도를 갖는 1 mm 깊이의 수막의 경우, 흡수는 단지 기껏해야
Figure 112021055536292-pat00004
일 것이다.
흡수 효과가 어쨌든 측정가능하기 위해, 인접 픽셀들이 또한 픽셀 윈도우에 통합된다. 픽셀 윈도우가 커질수록, 흡수 효과가 더 많이 증폭되며, 따라서 결과적인 이미지 또는 물 히트 맵이 더 흐려질 것이다. 예를 들어, 웅덩이가 단일 픽셀로만 또는 너무 적은 픽셀들로 이루어지면, 그것이 식별되지 않을 것이다.
더욱이, 단순한 차이 계산과 단순한 몫 계산 사이의 차이가 다음의 예에서 더 상세히 설명될 것이다.
시작 지점으로서, 수막으로 덮인 밝고 어두운 영역들을 갖는 표면이 선택된다. 물이 무시가능할 정도로 적게 흡수되는 스펙트럼 범위 내에서, 예를 들어 200의 측정된 값이 밝은 영역에 대해 획득되고, 예를 들어 50의 측정된 값이 어두운 영역에 대해 획득된다. 물이 뚜렷한 정도로 흡수되는 스펙트럼 범위 내에서, 예를 들어 0.8·200=160의 판독치들이 밝은 영역에 대해 얻어지고, 0.8·50=40의 판독치들이 어두운 영역에 대해 얻어진다.
차이는 이제, 밝은 영역에 대해서는 40이고 어두운 영역에 대해서는 10이 될 것이며, 이는 밝은 영역 상에 더 많은 물이 존재한다는 잘못된 결론을 유발할 것이다.
그러나, 몫은 둘 모두의 영역들에 대해 0.8의 값을 초래한다. 몫 계산의 경우, 마른 영역은 1.0의 값에 대응한다.
예를 들어, 차이의 픽셀-단위 정규화는 또한 가능할 것이고, 예를 들어
Figure 112021055536292-pat00005
이며, 이는 이어서 간단히 1 - 몫일 것이다. 값들 i1(x,y) 및 i2(x,y)는 위치 x, y에서의 제1 및 제2 이미지들의 개별 픽셀 세기 값들을 표현한다.
도 6은 장치(100)에 의해 수행되는 흡수 측정에 대한 예시적인 시나리오를 도시한다. 도 6a는 물(610a)을 포함하는 구역을 갖는 원래 표면, 즉 필터 없는 화상을 도시한다.
도 6b는 결합된 이미지 또는 합성곱된 이미지를 도시한다. 결합된 이미지는, 900 nm 내지 1000 nm의 스펙트럼 범위를 갖는 제1 이미지(143)와 800 nm 내지 900 nm의 스펙트럼 범위를 갖는 제2 이미지(146) 사이의 픽셀-단위 몫 계산에 의해 생성되었다. 축소된 화상을 생성할 수 있기 위해, 픽셀들은 5x5 픽셀 윈도우를 통해 평균된다.
이러한 예에서, 다음의 대역통과 필터들이 사용되었다:
· 400:1의 콘트라스트를 갖는 400 내지 2200 nm 수직 편광 필터를 가진 850 nm CWL, 50 nm FWHM 대역통과 필터, 및
· 400:1의 콘트라스트를 갖는 400 내지 2200 nm 수직 편광 필터를 가진 950 nm CWL, 50 nm FWHM 대역통과 필터.
결합된 이미지는 간단한 임계치를 이용하여 평가되었다. 임계치 판단은, 예를 들어 다음의 함수를 사용하는 동안 정의될 수 있다:
Figure 112021055536292-pat00006
마른 구역들 또는 유백색 얼음(milky ice) 구역들은 화상에서 밝거나 흰색이고, 0.9보다 큰 값을 갖는다. 0.9보다 작은 값들은 화상에서 어둡거나 검은 색이고, 물로 식별된다. 투명한/젖은 얼음의 흡수는 물처럼 거동한다.
광이 유백색 얼음 또는 눈을 관통하지 못할 수 있으므로, 유백색 얼음 또는 눈은 흡수율에 어떠한 영향도 주지 않는다.
결합된 이미지에서 물(610b)을 포함하는 구역들은 명확하게 보인다. 더욱이, 수면 상에서의 나무들의 반사는 흡수 측정에 거의 영향을 주지 않는다. 결합된 이미지는 지하 재료, 조명, 또는 수역(water body)에서 반사된 변화하는 환경과 같은 변화하는 외부 영향들에 대한 측정들을 보정한다.
투명한 얼음은 물처럼 거동한다.
이러한 흡수 측정 방법은 알려지지 않은 광원들에 대처하도록 이루어진다. 유일한 요건은 광원이 근적외선(NIR) 범위, 즉 1000 nm 미만 내에서 충분한 에너지를 갖는다는 것이다. 낮에는 어떠한 문제도 전혀 없으며, 밤에는, 예를 들어 할로겐 램프들과 같은 자동차 헤드라이트들이 충분하다.
물의 흡수 피크는 대략 980 nm이므로, 제1 대역통과 필터는 900 내지 1000 nm의 파장 범위 내에서 사용된다.
제2 대역통과 필터는 실제로, 400 내지 900 nm의 파장 범위 내에서 자유롭게 선택가능하다. 실시예들에서, 제2 대역통과 필터는 800 내지 900 nm의 파장 범위 내에 있다.
따라서, 간단히 말해서, 2개의 색상들이 비교된다. 그러나, 사용되는 광학 대역통과 필터들(133, 136)은 가시 범위 내에 있지 않다. 사용된 광학 센서들(110), 예를 들어 CMOS 센서들은 베이어 필터 코팅을 갖지 않으며, 따라서 단색이다. 3개의 색상들, 즉 적색, 녹색, 청색(R-G-B)은 단지 파장 범위들 ~600 내지 700 nm, ~500 내지 600 nm, ~400 내지 500 nm 내의 대역통과 필터들일 뿐이다.
도 7은 장치(100)에 의해 검출된 물(760)의 반사 특성들을 도시한다. 모든 형태들의 물은 상당한 정반사를 나타내며, 이는 편광 효과를 야기한다.
도 7a는 부분적으로 물(760)을 관통하고 부분적으로 수면에서 반사되는 비-편광 광선들(710)을 도시한다.
도 7b는 수직으로(TE)(753) 그리고 평행하게(TM)(756) 편광되고 상이한 입사각들(740)로 수면에서 반사되는 광선들의 반사 계수의 다이어그램을 도시한다. 수면에 수직인 입사각은 0°의 값을 갖는다. 더욱이, 브루스터 각도(750), 물의 경우에는 대략 53°가 또한 도 7b에 마킹되어 있다. 브루스터 각도(750)를 이용하면, 반사된 광선들은 100% 수평으로 편광된다. 반사된 광선의 입사각(740)이 브루스터 각도(750)에 가까운 한, 반사된 광선(730)은 100% 수평으로 편광될 것이다.
도 7c는 수직으로 그리고 평행하게 편광되고 상이한 입사각들(740)로 수면에서 반사되는 광선들의 반사 계수율
Figure 112021055536292-pat00007
의 다이어그램을 도시한다. 편광율은 브루스터 각도(750)에서, 즉 약 ~53°에서 최대 값을 갖는다.
도 7a에서, 수면에서 반사된 광선들(730)은 주로 수평으로 편광되고, 관통 광선들(720)은 주로 수직으로 편광된다.
관통 광선들(720)만이 물의 흡수에 의해 영향을 받는다. 정반사 방식으로 반사되는 수평으로 편광된 광선들(730)은 흡수 측정에 관련이 없거나 심지어 이를 방해한다. 정반사 방식으로 반사되는 수평으로 편광된 광선들(730)의 감소 또는 제거는 도 1의 수직 편광 필터(115)와 같은 수직 편광 필터를 이용하여 가능하다.
도 7b에 도시된 바와 같이, 수직 편광 필터는 반사된 광선의 입사각(740)이 브루스터 각도(750)에 가까운 한 유리하게 유지되는데, 이는 여기서, 반사된 광선(730)이 100% 수평으로 편광되기 때문이다. 입사각이 브루스터 각도로부터 멀어질수록, 편광 필터가 가질 효과가 줄어든다.
이동 수단, 예를 들어 도 3의 이동 수단(300)의 이미지 센서가 1.40 m의 카메라 높이에서 100 m 전방을 보기를 원한다면, 입사각은 약 ~89°일 것이다.
다음에서, 후방산란 측정이 설명될 것이다. 후방산란 측정의 평가(290)는 제3, 제4, 및 제5 이미지들을 사용하는 동안 장치(200)의 프로세서(120)에 의해 수행되며, 3개의 이미지들은 그들의 편광 평면들에 관해 서로 상이하다.
이미지들의 편광 각도들은 편광 타원으로 표현될 수 있다. 도 8a는, 3개의 가능한 솔루션들(830, 840, 850)이 항상 존재하므로 편광 타원이 2개의 편광 평면들(810, 820)에 기초하여 명확하게 결정될 수 없다는 것을 보여준다. 2개의 편광 평면들의 도움으로, 유망한 결과를 달성하는 모델을 트레이닝시키는 것이 여전히 가능하다.
도 8b는 편광 타원(890)을 정의하는 3개의 편광 평면들(860, 870, 880)을 도시한다. 3개의 편광 평면들(860, 870, 880)은 균등하게 분포되며, 편광 평면들의 각도 오프셋은 여기에서 관련이 없다.
도 8c 및 도 8d는 도 2의 장치(200)의 프로세서(120)에 의해 수행되는 후방산란 특성의 평가(290) 또는 분류를 도시한다. 후방산란 특성의 평가(290)에서, 편광 타원의 장축과 단축 사이의 관계가 중요하다. 여기에서, 2개의 편광 필터들 0° 및 90°가 대부분의 경우 충분하다. 제3 필터는 증가된 정확도를 허용한다. 타원의 경사(inclination)는 주변 광에 매우 의존하며, 따라서 사용하기 어렵다.
도 7a에서 설명되었던 바와 같이, 수면에서 반사된 광선들은 주로 수평으로 편광된다. 도 8c는 수평으로 편광된 큰 비율을 갖는 액체 물의 편광 타원을 도시한다.
얼음 결정들은 광선을 산란시키고, 편광 타원을 회전시킨다. 그 결과는 약간 시프트된 배향으로의 더 많이 산란된 편광이다. 도 8d는 균일한 편광 컴포넌트들을 갖는 고체 물의 편광 타원을 도시한다.
편광 타원의 회전은 조명에 의존한다. 균질한 조명을 이용하면, 편광 타원의 회전이 또한 균질하며, 특징으로서 사용될 수 있다.
도 8f는, 균질한 조명으로 얼음 결정들이 광선을 산란시키고, 편광 타원을 회전시키는 것을 도시한다. 한편, 도 8e는 배향의 어떠한 변화도 없는 물의 편광 타원을 도시한다.
도 9는 3개의 예시적인 표현들 및 1개의 원시 화상에 관한 후방산란 측정에 대한 예시적인 시나리오를 도시한다. 도 9d는 원래의 표면, 즉 필터가 없는 화상을 도시한다. 도 9d는 마른 영역(920), 물(910)을 포함하는 구역, 및 2개의 얼음 표면들(930)을 갖는 도로 표면을 도시한다.
도 9a, 도 9b, 도 9c는 각각, 제3, 제4, 및 제5 이미지들을 도시하며, 3개의 이미지들은 그들의 편광 평면들에 관해 서로 상이하다. 도 9a 내지 도 9c는 거짓-색상(false-color) 표현들이다. 여기서, 편광 필터들로부터의 화상들은 효과를 더 선명하게 만들기 위해 R(+60°), G(0°), B(-60°)에 배치된다. 여기서, 흰색(R~G~B)은 얼음이고, 녹색(R<G>B)은 물이며, 보라색(R>G<B)은 마른 것이다.
이 예에서, 다음의 편광 필터들이 사용되었다:
·0°(수평)에서 400:1의 콘트라스트를 갖는 400 내지 2200 nm 편광 필터.
·60°에서 400:1의 콘트라스트를 갖는 400 내지 2200 nm 편광 필터.
·120°에서 400:1의 콘트라스트를 갖는 400 내지 2200 nm 편광 필터.
후방산란 측정은 흡수 측정과 독립적이다. 여기서, 촬영된 3개의 화상들은 픽셀-단위 기반으로 3개의 화상들의 평균으로 정규화되고, 서로 비교된다. 정규화에서, 다음의 수학식
Figure 112021055536292-pat00008
이 사용되며, 여기서 p1N은 제1 이미지의 정규화된 픽셀을 표현하고, p1, p2 및 p3는 제3, 제4 및 제5 이미지들의 개별 화소 값들을 표현한다.
이러한 경우, 간단한 임계치 판정은, 예를 들어 다음과 같을 것이며: p0 >> p60 및 p0 >>p120이면, 물이거나, p0 ~= p60 ~= p120이면, 유백색 얼음/눈이거나, p0 > p60 ~= p120이면, 투명한 얼음일 것이다. 값들 p0, p60 및 p120은 제3, 제4, 및 제5 이미지들의 개별 화소 값들을 표현한다.
제1 접근법들에서, 개별 방법들의 히트 맵들이 단순히 결합된다. 후방산란 방법은 표면 산란을 측정하고, 임의의 매끄러운 물체를 물로 해석할 것이다. 흡수 방법은 이를 무시할 것이다.
흡수율이 높으며, 산란이 거의 없다는 것 또는 매끄러운 표면을 후방산란 측정이 확인하는 경우에만, 가까이 있는 것은 액체 물이다.
투명한 얼음의 경우, 로직은 상이하다. 후방산란 측정이 높은 산란을 나타내면서 흡수율이 높을 때, 즉 물이 존재할 때, 가까이 있는 것은 투명한 얼음이다.
탁한 얼음/눈은 흡수에 의해 저조하게 검출되지만 모두 후방산란에 의해서는 매우 쉽게 검출되는데, 이는 그것이 흡수 없이 매우 높은 산란을 나타내기 때문이다.
흡수 방법은 이웃한 픽셀들을 평가하기 위한 알고리즘들 및 주변들 전부를 고려하기 위한 트레이닝된 판단 모델들을 사용함으로써 개선될 수 있다. 상이한 경우들을 커버하기 위해, 여기에서, 모델은 머신 러닝에 의해 트레이닝된다. 32×32 픽셀들의 크기의 이미지 섹션들의 경우, 인식율은 98%였으며, 현장 테스트 데이터와 교차-검증되었을 때 여전히 매우 양호한 85%였다. 형상을 또한 평가하는 뉴럴 네트워크를 사용할 때, 그리고 현장 테스트 데이터를 이용하여 트레이닝을 수행할 때, 95% 초과가 다시 달성될 것이다.
도 10은 필터 층(1010)을 포함하는 이미지 센서(1020)를 포함하는 광학 센서(1000)의 일 실시예의 개략적인 표현을 도시한다. 필터 층(1010)은 이미지 센서(1020) 위에 위치된다. 이미지 센서는 픽셀들(1030)로 분할된다.
필터 층은 픽셀-단위 기반으로 4개의 상이한 필터 그룹들(F1, F2, F3, F4)로 균등하게 분할된다. 예를 들어, 필터 그룹들(F1 및 F2)은 대역통과 필터를 포함할 수 있고, 필터 그룹들(F3 및 F4)은 편광 필터를 포함할 수 있다.
광선들(1040)은 필터 층(1010)에 도달할 것이다. 이미지 센서(1020)의 픽셀들(1030)은 필터 층(1010)의 상이한 필터 그룹들(F1, F2, F3, F4)로부터 필터링된 광선들을 수신할 것이다. 개별 센서에 의해 생성된 이미지는 필터 그룹들(F1, F2, F3, F4)에 의해 4개의 화상들(1060, 1070, 1080, 1090)로 분할되며, 이미지들은 프로세서에 제공된다.
광학 센서(1000)는 장치(200) 내의 센서들(110 및 210)을 대체할 수 있다.
일부 양상들이 장치의 맥락 내에서 설명되었더라도, 상기 양상들이 또한, 장치의 블록 또는 구조적인 컴포넌트가 대응하는 방법 단계 또는 방법 단계의 특징으로서 또한 이해되도록 대응하는 방법의 설명을 표현한다는 것이 이해될 것이다. 그와의 유사성에 의해, 방법 단계와 관련하여 또는 방법 단계로서 설명된 양상들은 또한, 대응하는 장치의 대응하는 블록 또는 세부사항 또는 특징의 설명을 표현한다. 방법 단계들 중 일부 또는 모두는, 하드웨어 장치에 의해(또는 하드웨어 장치를 사용하는 동안) 수행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 일부 또는 수 개는 그러한 장치에 의해 수행될 수 있다.
도 11은 3개의 상이한 카메라들 또는 감광 영역들을 수반하는 구현을 도시한다. 제1 카메라(1101), 제2 카메라(1102), 및 제3 카메라(1103)는 Xi에 의해 예시된 동일한 광을 감지하기 위해 서로 나란히 배열된다. 제1 카메라(1101)는 2개의 필터 층들(1101a 및 1101b)을 갖는다. 제2 카메라(1102)는 2개의 필터 층들(1102a 및 1102b)을 갖고, 제3 카메라(1103)는 2개의 필터 층들(1103a 및 1103b)을 갖는다. 필터들 또는 필터 층들(1101a 및 1103a)은 동일하며, 제1 파장(λ1)에 관해 필터링한다. 필터 층(1102a) 또는 필터(1102a)는 상이한 파장(λ2)에 관해 필터링한다. 게다가, 필터들 또는 필터 층들(1101b, 1102b, 및 1103b)은 편광 필터들이며, 이들의 엘리먼트들(1101b 및 1102b)은 동일하고, 제1 편광(φ1)에 관해 필터링하는 반면, 엘리먼트(1103b)는 제2 편광(φ2)에 관해 필터링한다. 각각의 카메라 및/또는 감광 영역(1101, 1102, 1103)의 결과는 1104에 묘사되어 있다. 편광(φ1, φ2)과 흡수(λ1 및 λ2)의 상이한 조합을 각각 포함하는 3개의 이미지들이 생성되었다.
평가 방법의 경우, ΔXφ 및 ΔXλ는 수학식들(1105)의 블록의 좌측 상의 괄호들에 존재하는 것처럼 요구된다. 4-카메라/필터 시스템에서, 크기들이 직접 획득된다. 도 11에 도시된 현재 3-카메라 시스템에서, 크기들은 부가적으로, 수학식들(1105)의 블록의 좌측 상에서 보여지는 바와 같이 추가적인 필터에 의해 감쇠되는데, 이는 크기들(ΔXφ 및 ΔXλ)이 λ1()에 의해 묘사된 제1 흡수 필터에 의해 그리고/또는 φ1()에 의해 묘사된 제1 편광 필터에 의해 감쇠되기 때문이다. 그러나, 이들 2개의 필터들(λ1() 및 φ1())이 알려져 있으므로, 수학식들(1105)의 좌측 상의 표현들은 원래 응답들(ΔXφ 및 ΔXλ)로 다시 계산된다.
배열이 3개의 전용 카메라들을 포함하는지 또는 픽셀 당 3개의 영역들(픽셀들) 및/또는 3개의 영역들(1102, 1102, 1103)을 갖는 하나의 칩을 포함하는지 여부는 관련이 없다는 것을 유의해야 한다.
도 11의 바람직한 실시예에서, 다음이 사용된다:
φ1 = 0°(수평 편광)
φ2 = 90°(수직 편광)
λ1 = 850 nm (대역통과 50 nm FWHM)
λ2 = 950 nm (대역통과 50 nm FWHM)
따라서, 바람직한 장치는, 제1 광학 대역폭(λ1)을 갖는 표면의 제1 이미지(X01) 및 제2 광학 대역폭(λ2)을 갖는 표면의 제2 이미지(X02)를 생성하기 위한 감광 영역(1101, 1102, 1103)을 갖는 광학 센서를 포함한다. 게다가, 부가적인 광학 센서는, 제1 편광 필터를 갖는 제3 이미지(X01)를 제공하고, 제2 편광 필터를 갖는 제4 이미지(X03)를 프로세서에 제공하도록 이루어진다. 부가적으로, 프로세서는 제1 이미지 및 제3 이미지로부터 차이(X01 - X02)를 결정하고, 제1 편광 필터를 사용하는 동안, 결합된 이미지를 계산하도록 이루어진다. 더욱이, 프로세서는 제3 이미지 및 제4 이미지로부터 추가적인 차이(X01 - X03)를 결정하며, 물을 포함하는 구역들을 평가하기 위하여 편광 차이(ΔXλ)를 사용하기 위해 제1 흡수 필터를 사용하는 동안 편광 차이(ΔXλ)를 계산하도록 이루어진다.
이러한 적용의 목적을 위해 언급된 제1 이미지는 설명된 3-카메라/엘리먼트 솔루션의 경우, 제3 이미지와 동일한 이미지이다. 그러나, 제2 이미지 및 제4 이미지는 상이한 감광 영역들(1102 및 1103)의 상이한 이미지들이다. 부가적으로, 따라서, 결합된 이미지가 반드시 단순한 차이에 의해 획득될 필요가 없을 수 있지만, 가능하게는 도 11의 실시예에서와 같이 필터를 사용하는 동안 차이를 프로세싱함으로써 획득될 수 있다는 것을 유의해야 한다.
특정한 구현 요건들에 의존하여, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 개개의 방법을 수행하기 위한 그러한 방식으로, 프로그래밍가능 컴퓨터 시스템과 상호작용할 수 있거나 실제로 상호작용하는, 전자적으로 판독가능한 제어 신호들이 저장되어 있는 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루-레이 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리, 하드 디스크, 또는 임의의 다른 자기 또는 광학 매체를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.
따라서, 본 발명에 따른 일부 실시예들은, 본 명세서에 설명된 방법들 중 임의의 방법이 수행되도록 프로그래밍가능 컴퓨터 시스템과 상호작용할 수 있는 전자적으로 판독가능한 제어 신호들을 갖는 저장 매체를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행되고 있을 때 방법들 중 임의의 방법을 수행하도록 동작된다.
예를 들어, 프로그램 코드는 또한 머신-판독가능 매체 상에 저장될 수 있다.
다른 실시예들은, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위한 컴퓨터 프로그램을 포함하며, 여기서, 컴퓨터 프로그램은 머신-판독가능 매체 상에 저장된다.
따라서, 다시 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이다.
따라서, 본 발명에 따른 방법들의 다른 실시예는, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독가능 매체)이다.
따라서, 본 발명의 방법의 다른 실시예는, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 데이터 통신 링크를 통해, 이를테면 인터넷을 통해 전달되도록 이루어질 수 있다.
다른 실시예는 본 명세서에 설명된 방법들 중 임의의 방법을 수행하도록 이루어지거나 적용된 프로세싱 장치, 이를테면 컴퓨터 또는 프로그래밍가능 로직 장치를 포함한다.
추가적인 실시예는, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 다른 실시예는, 본 명세서에 설명된 방법들 중 적어도 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 송신하도록 이루어진 장치 또는 시스템을 포함한다. 송신은, 예를 들어 전자적 또는 광학적일 수 있다. 수신기는, 예를 들어, 컴퓨터, 모바일 장치, 저장 장치, 또는 유사한 장치일 수 있다. 장치 또는 시스템은, 예를 들어 컴퓨터 프로그램을 수신기에 송신하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍가능 로직 장치(예를 들어, 필드 프로그래밍가능 게이트 어레이, 즉 FPGA)는, 본 명세서에 설명된 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍가능 게이트 어레이는, 본 명세서에 설명된 방법들 중 임의의 방법을 수행하기 위해 마이크로프로세서와 상호작용할 수 있다. 일반적으로, 일부 실시예들에서, 방법들은 임의의 하드웨어 장치의 일부 상에서 수행된다. 이것은 범용 하드웨어, 이를테면 컴퓨터 프로세서(CPU), 또는 방법에 특정한 하드웨어, 이를테면 ASIC일 수 있다.
위에서 설명된 실시예들은 단지, 본 발명의 원리들을 예시할 뿐이다. 본 명세서에 설명된 배열들 및 세부사항들의 수정들 및 변형들이 당업자들에게 명백할 것임을 이해한다. 따라서, 본 발명이 본 명세서의 실시예들의 설명 및 논의에 의해 제시되는 특정 세부사항들보다는 아래의 청구항들의 보호 범위에 의해서만 제한된다는 것이 의도된다.
참고문헌:
- A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
- C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
- V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
- J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
- A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University "Roma Tre", Via della Vasca Navale 84, 00146 Rome, Italy
- 3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
- A Lane Detection Vision Module for Driver Assistance
A. L. Rankin, L. H. Matthies, and P. Bellutta (2011), "Daytime water- detection based on sky reflections", in Robotics and Automation (ICRA 2011 IEEE International Conference on. IEEE, 2011, pp. 5329-5336
- C. V. Nguyen, M. Milford, R. Mahony (2017): "3[) tracking of water hazards with polarized stereo cameras", 2017 IEEE International Conference on Robotics and Automaton (ICRA) Singapore, May 29 - June 3, 2017
- V. Vikari, T. Varpula, and M. Kantanen (2009), "Road-condition recognition using 24-GHz automotive radar", IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 4, pp. 639-648, 2009
- J. Casselgren, S. Rosendahl, M. Sjodahl, P. Jonsson (2015), "Road condition analysis using NIR illumination and compensating for surrounding light", in Optics and Lasers in Engineering 77(2016) pp 175-182
- A near-infrared optoelectronic approach to detection of road conditions L. Colace, F.Santoni,G.Assanto, NooEL-Nonlinear Optics and OptoElectronics Lab, University "Roma Tre", Via della Vasca Navale 84, 00146 Rome, Italy
- 3D tracking of water hazards with polarized stereo cameras
Chuong V. Nguyen1, Michael Milford2 and Robert Mahony
- A Lane Detection Vision Module for Driver Assistance
Author(s): Ma
Figure 112021055536292-pat00009
ek, Kristijan; Williams, Brian; Kolski, Sascha; Siegwart, Roland
- Daytime Water Detection Based on Color Variation
Arturo Rankin and Larry Matthies
- Daytime Water Detection Based on Sky Reflections
Arturo L. Rankin, Larry H. Matthies, and Paolo Bellutta
- Detecting water hazards for autonomous off-road navigation
Larry Matthies*, Paolo Bellutta, Mike McHenry
- Ice detection on a road by analyzing tire to road friction ultrasonic noise
D. Gailius, S. Ja
Figure 112021055536292-pat00010
Figure 112021055536292-pat00011
nas
- Ice formation detection on road surfaces using infrared thermometry
Mats Riehm,Torbjorn Gustavsson, Jorgen Bogren, Per-Erik Jansson
- Wet Area and Puddle Detection for Advanced Driver Assistance Systems
(ADAS) Using a Stereo Camera
Jisu Kim, Jeonghyun Baek, Hyukdoo Choi, and Euntai Kim*
- MULTISPECTRAL IMAGING OF ICE
Dennis Gregoris, Simon Yu and Frank Teti
- Near field ice detection using infrared based optical imaging technology
- Hazem Abdel-Moati, Jonathan Morris, Yousheng Zeng, Martin Wesley Corie II, Victor Garas Yanni
- New System for Detecting Road Ice Formation
Amedeo Troiano, Eros Pasero, Member, IEEE, and Luca Mesin
- Selection of optimal combinations of band-pass filters for ice detection by hyperspectral imaging
Shigeki Nakauchi, Ken Nishino, and Takuya Yamashita
- A Sensor for the Optical Detection of Dangerous Road Condition
Armando Piccardi and Lorenzo Colace
- Polarization-Based Water Hazards Detection for
Autonomous Off-road Navigation
Bin Xie, Huadong Pan, Zhiyu Xiang, Jilin Liu
- Road condition analysis using NIR illumination and compensating for surrounding light
Johan Casselgren, SaraRosendahl, MikaelSj
Figure 112021055536292-pat00012
dahl, PatrikJonsson
- Self-Supervised Segmentation of River Scenes
Supreeth Achar, Bharath Sankaran, Stephen Nuske, Sebastian Scherer and Sanjiv Singh.

Claims (21)

  1. 표면(150) 상에서 물(520, 610a, 610b, 760, 910)을 식별하기 위한 장치(100, 200)로서,
    제1 광학 대역폭 － 상기 물은 상기 제1 광학 대역폭 내에서 제1 흡수율을 가짐 － 을 갖는 상기 표면의 제1 이미지(143), 및 제2 광학 대역폭 － 상기 물은 상기 제2 광학 대역폭 내에서 상기 제1 흡수율보다 높은 제2 흡수율을 가짐 － 을 갖는 상기 표면의 제2 이미지(146)를 생성하기 위한 광학 센서(110, 1000);
    상기 표면이 상기 물과 비교하여 감소되거나 제거되는 결합된 이미지(130, 530)를 생성하기 위해 상기 제1 이미지와 상기 제2 이미지를 결합하고, 상기 결합된 이미지에서 상기 물을 검출하기 위한 프로세서(120); 및
    제1 편광 각도를 갖는 제1 편광 필터를 가진 제3 이미지를 상기 프로세서에 제공하고, 제2 편광 각도를 갖는 제2 편광 필터를 가진 제4 이미지를 상기 프로세서에 제공하도록 이루어진 부가적인 광학 센서를 포함하며,
    상기 2개의 편광 필터들은 그들의 편광 각도들에 관해 서로 상이하고,
    상기 프로세서는 상기 결합된 이미지에서 상기 제3 이미지 및 상기 제4 이미지를 사용하는 동안 상기 물의 응집 상태(aggregate state)를 검출하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  2. 제1항에 있어서,
    상기 제1 광학 대역폭은 400 nm 내지 900 nm의 스펙트럼 범위로부터 선택된 대역폭을 포함하고;
    상기 제2 광학 대역폭은 900 nm 내지 1200 nm의 스펙트럼 범위로부터 선택된 대역폭을 포함하는, 표면 상에서 물을 식별하기 위한 장치.
  3. 제1항에 있어서,
    반폭(half-width)의 상기 제1 광학 대역폭은 820 nm 내지 870 nm의 범위에 있는 값을 갖고;
    반폭의 상기 제2 광학 대역폭은 920 nm 내지 970 nm의 범위에 있는 값을 갖는, 표면 상에서 물을 식별하기 위한 장치.
  4. 제1항에 있어서,
    상기 광학 센서는 수평으로 편광된 광선들을 감소시키거나 제거하도록 이루어진 수직 편광 필터(115)를 포함하는, 표면 상에서 물을 식별하기 위한 장치.
  5. 제1항에 있어서,
    상기 광학 센서는 실리콘-기반 이미지 센서, 단색 센서(monochrome sensor), 또는 CMOS 센서를 포함하는, 표면 상에서 물을 식별하기 위한 장치.
  6. 제1항에 있어서,
    상기 광학 센서는, 상기 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터(133, 136, 233, F1, F2, F3, F4)를 포함하는 제1 개별 센서(123, 126, 1020), 및 상기 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터(133, 136, F1, F2, F3, F4)를 포함하는 제2 개별 센서(123, 126, 243, 1020)를 포함하며,
    상기 광학 센서는 상기 제1 개별 센서에 의해 상기 제1 이미지를 그리고 상기 제2 개별 센서에 의해 상기 제2 이미지를 동시에 생성하도록 이루어지거나; 또는
    상기 광학 센서는 교환가능한 광학 대역통과 필터들을 포함하는 제3 개별 센서를 포함하고, 상기 교환가능한 광학 대역통과 필터들은 상기 제1 광학 대역폭을 갖는 상기 제1 광학 대역통과 필터 및 상기 제2 광학 대역폭을 갖는 상기 제2 광학 대역통과 필터를 포함하고, 상기 광학 센서는 상기 제1 광학 대역통과 필터를 포함하는 상기 제3 개별 센서에 의해 상기 제1 이미지를 그리고 상기 제2 광학 대역통과 필터를 포함하는 상기 제3 개별 센서에 의해 상기 제2 이미지를 연속적으로 생성하도록 이루어지거나; 또는
    상기 광학 센서는 필터 층(233, 1010)을 포함하는 제4 개별 센서를 포함하고, 상기 필터 층은 상기 제4 개별 센서에 의해 생성된 이미지의 픽셀들을 행별(row-wise), 열별(column-wise), 또는 체커보드별(checkerboard-wise) 방식으로 2개의 그룹들로 분할하도록 이루어지고, 상기 제1 광학 대역폭을 갖는 상기 제1 광학 대역통과 필터는 제1 그룹의 픽셀들이 상기 제1 광학 대역폭을 갖는 상기 제1 이미지를 생성하도록 상기 제1 그룹의 픽셀들 위에 배열되고, 상기 제2 광학 대역폭을 갖는 상기 제2 광학 대역통과 필터는 제2 그룹의 픽셀들이 상기 제2 광학 대역폭을 갖는 상기 제2 이미지를 생성하도록 상기 제2 그룹의 픽셀들 위에 배열되는, 표면 상에서 물을 식별하기 위한 장치.
  7. 제1항에 있어서,
    상기 프로세서는 상기 제1 이미지와 상기 제2 이미지를 결합할 시에, 픽셀-단위 몫 계산(pixel-by-pixel quotient calculation), 픽셀-단위 차이 계산, 픽셀-단위 정규화된 차이 계산, 또는 1과 몫 계산 사이의 차이를 사용하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  8. 제1항에 있어서,
    상기 프로세서는 합성곱된 이미지를 생성하도록 이루어지며,
    상기 프로세서는, 픽셀 윈도우를 사용함으로써 픽셀-단위 또는 블록 단위 기반으로 픽셀들로 상기 결합된 이미지를 스캐닝하고, 상기 픽셀 윈도우의 픽셀들의 값들의 가중 평균을 계산하고, 가중 평균들로부터 상기 합성곱된 이미지를 생성하도록 이루어지고,
    상기 합성곱된 이미지 내의 상기 가중 평균들의 위치들은 상기 결합된 이미지 내의 픽셀 윈도우들의 위치들과 매칭하는, 표면 상에서 물을 식별하기 위한 장치.
  9. 제1항에 있어서,
    상기 프로세서는 상기 결합된 이미지 또는 상기 결합된 이미지로부터 도출된 이미지의 개별 픽셀들의 값들을 임계치와 비교하거나 － 상기 임계치와 특정한 관계를 갖는 값들을 갖는 픽셀들은 물인 것으로 검출됨 － 또는 물을 검출하기 위해 특징 검출을 수행하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  10. 제1항에 있어서,
    상기 부가적인 광학 센서는 편광 필터 층(253)을 포함하는 개별 센서를 포함하며,
    상기 편광 필터 층은 상기 개별 센서에 의해 생성된 이미지의 화소(picture element)들을 행-단위, 열-단위, 또는 체커보드 방식으로 2개의 그룹들로 분할하도록 이루어지고,
    상기 제1 편광 필터는, 제1 그룹의 화소들이 상기 제1 편광 각도로 상기 제3 이미지를 생성하도록 상기 제1 그룹의 화소들 위에 배열되고, 상기 제2 편광 필터는, 제2 그룹의 화소들이 상기 제2 편광 각도로 상기 제4 이미지를 생성하도록 상기 제2 그룹의 화소들 위에 배열되는, 표면 상에서 물을 식별하기 위한 장치.
  11. 제1항에 있어서,
    상기 광학 센서(1000) 및 상기 부가적인 광학 센서는 필터 층(1010)을 포함하는 개별 센서(1020)에서 이루어지고, 상기 필터 층(1010)은 상기 개별 센서에 의해 생성된 이미지의 화소들을 행-단위, 열-단위, 또는 체커보드 방식으로 4개의 그룹들로 분할되도록 이루어지고,
    상기 제1 광학 대역폭을 갖는 제1 광학 대역통과 필터(F1)는, 제1 그룹의 픽셀들이 상기 제1 광학 대역폭을 갖는 상기 제1 이미지를 생성하도록 상기 제1 그룹의 픽셀들 위에 배열되고,
    상기 제2 광학 대역폭을 갖는 제2 광학 대역통과 필터(F2)는, 제2 그룹의 픽셀들이 상기 제2 광학 대역폭을 갖는 상기 제2 이미지를 생성하도록 상기 제2 그룹의 픽셀들 위에 배열되고,
    상기 제1 편광 필터(F3)는, 제3 그룹의 화소들이 상기 제1 편광 각도로 상기 제3 이미지를 생성하도록 상기 제3 그룹의 화소들 위에 배열되며,
    상기 제2 편광 필터(F4)는, 제4 그룹의 화소들이 상기 제2 편광 각도로 상기 제4 이미지를 생성하도록 상기 제4 그룹의 화소들 위에 배열되는, 표면 상에서 물을 식별하기 위한 장치.
  12. 제1항에 있어서,
    상기 편광 필터들의 편광 각도들은 서로 90°만큼 오프셋되도록 배열되는, 표면 상에서 물을 식별하기 위한 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 결합된 이미지 또는 상기 결합된 이미지로부터 도출된 합성곱된 이미지에서 물을 포함하는 구역들을 검출하고,
    상기 물을 포함하는 구역들에서 상기 제3 이미지 및 상기 제4 이미지로부터의 화소들을 평가하며,
    상기 물을 포함하는 구역들이 액체 물을 갖는지 또는 얼음을 갖는지에 관계없이, 상기 물의 응집 상태를 검출하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 제3 이미지 및 상기 제4 이미지의 화소들을 평가할 때 상기 제3 이미지 및 상기 제4 이미지의 정규화된 세기 값들을 생성하고,
    상기 정규화된 세기 값들을 생성할 시에, 상기 화소들의 값들과 상기 제3 이미지 및 상기 제4 이미지의 화소들의 값들의 합과의 비교를 사용하고,
    상기 물의 응집 상태를 검출하도록 이루어지며,
    상기 프로세서는,
    상기 제3 이미지 및 상기 제4 이미지의 정규화된 세기 값들이 상기 제3 이미지 및 상기 제4 이미지의 정규화된 세기 값들의 평균 값의 +/- 10%를 포함하는 범위 내에 있을 때, 상기 물의 응집 상태를 얼음으로 검출하거나, 또는
    상기 제3 이미지 및 상기 제4 이미지의 정규화된 세기 값들로부터의 정규화된 세기 값이 상기 제3 이미지 및 상기 제4 이미지들의 정규화된 세기 값들의 평균 값의 1.5 배보다 클 때 상기 물의 응집 상태를 액체 물로 검출하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  15. 제1항에 있어서,
    상기 프로세서가 상기 물의 응집 상태를 평가할 수 있게 하는 주변 온도 값을 상기 프로세서에 제공하도록 이루어지는 온도 센서(230)를 포함하는, 표면 상에서 물을 식별하기 위한 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지로부터의 정보를 포함하는 상태 값들의 세트를 감지하고, 인공-지능 엘리먼트 또는 뉴럴 네트워크(neural network)를 사용하는 동안 상기 세트의 함수로서 가변 임계치를 제공하며,
    상기 가변 임계치를 사용하는 동안, 상기 결합된 이미지에서 물을 검출하거나 상기 결합된 이미지에서 상기 물의 응집 상태를 검출하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  17. 제1항에 있어서,
    상기 프로세서는,
    상기 제3 이미지로부터 그리고 상기 제4 이미지로부터의 정보를 포함하는 상태 값들의 세트를 감지하고, 인공-지능 엘리먼트 또는 뉴럴 네트워크를 사용하는 동안 상기 세트의 함수로서 가변 임계치를 제공하며,
    상기 가변 임계치를 사용하는 동안, 상기 결합된 이미지에서 물을 검출하거나 상기 결합된 이미지에서 상기 물의 응집 상태를 검출하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  18. 제1항에 있어서,
    상기 광학 센서는 상기 제1 광학 대역폭(λ1)을 갖는 상기 표면의 제1 이미지(X01) 및 상기 제2 광학 대역폭(λ2)을 갖는 상기 표면의 제2 이미지(X02)를 생성하기 위한 감광 영역(1101, 1102, 1103)을 포함하고,
    상기 부가적인 광학 센서는, 상기 제1 편광 필터를 이용하여 제3 이미지(X01)를 제공하고, 상기 제2 편광 필터를 이용하여 제4 이미지(X03)를 제공하도록 이루어지고,
    상기 프로세서는 상기 제1 이미지 및 상기 제3 이미지로부터 차이(X01 - X02)를 결정하고, 상기 제1 편광 필터를 사용하는 동안 상기 결합된 이미지를 계산하도록 이루어지며,
    상기 프로세서는 상기 제3 이미지 및 상기 제4 이미지로부터 추가적인 차이(X01 - X03)를 결정하고, 상기 물을 포함하는 구역들을 평가하기 위하여 편광 차이(ΔXλ)를 사용하기 위해 제1 흡수 필터를 사용하는 동안 상기 편광 차이(ΔXλ)를 계산하도록 이루어지는, 표면 상에서 물을 식별하기 위한 장치.
  19. 이동 수단(means of locomotion)(300)으로서,
    제1항에 기재된 장치 및 인터페이스(310)를 포함하며,
    상기 인터페이스(310)는, 상기 장치가 물의 고체 상태를 검출하면, 상기 이동 수단(300)의 운전자(320)에게 경고하고 그리고/또는 상기 이동 수단(300)의 제어에 영향을 주도록 이루어지는, 이동 수단(300).
  20. 물을 포함하는 구역에서 상기 물의 액체 또는 고체 응집 상태를 구별하는 방법으로서,
    제1 광학 대역폭 － 상기 물은 상기 제1 광학 대역폭 내에서 제1 흡수율을 가짐 － 을 갖는 표면의 제1 이미지를 획득하고, 제2 광학 대역폭 － 상기 물은 상기 제2 광학 대역폭 내에서 상기 제1 흡수율보다 높은 제2 흡수율을 가짐 － 을 갖는 상기 표면의 제2 이미지를 획득하는 단계,
    상기 표면이 상기 물과 비교하여 감소되거나 제거되는 결합된 이미지를 획득하기 위해 상기 제1 이미지와 상기 제2 이미지를 결합하는 단계,
    상기 결합된 이미지에서 상기 물을 검출하는 단계,
    제1 편광 각도를 갖는 제1 편광 필터를 이용하여 제3 이미지를 획득하고, 제2 편광 각도를 갖는 제2 편광 필터를 이용하여 제4 이미지를 획득하는 단계 － 상기 2개의 편광 필터들은 그들의 편광 각도들에 관해 서로 상이함 －,
    상기 제3 이미지 및 상기 제4 이미지의 물을 포함하는 구역들의 화소들을 평가하는 단계, 및
    상기 화소들의 평가에 기초하여 상기 물의 응집 상태를 검출하는 단계를 포함하는, 물의 액체 또는 고체 응집 상태를 구별하는 방법.
  21. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 제20항의 방법을 수행하기 위한 프로그램 코드를 가지는 상기 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능한 저장 매체.
KR1020210032806A 2020-03-13 2021-03-12 표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법 KR102534538B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020203293.9A DE102020203293B4 (de) 2020-03-13 2020-03-13 Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
DE102020203293.9 2020-03-13

Publications (2)

Publication Number Publication Date
KR20210117179A KR20210117179A (ko) 2021-09-28
KR102534538B1 true KR102534538B1 (ko) 2023-05-26

Family

ID=77457234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210032806A KR102534538B1 (ko) 2020-03-13 2021-03-12 표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법

Country Status (5)

Country Link
US (1) US11680895B2 (ko)
JP (2) JP7433265B2 (ko)
KR (1) KR102534538B1 (ko)
CN (1) CN113390794A (ko)
DE (1) DE102020203293B4 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
DE102021108439A1 (de) * 2021-04-01 2022-10-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer Heizeinrichtung zum Temperieren eines Radoms eines Radarsensors eines Fahrzeugs mit Nutzung von Bilddaten einer Kamera, Recheneinrichtung, Heizregelsystem sowie Fahrzeug
CN114485477B (zh) * 2022-04-15 2022-06-17 中国空气动力研究与发展中心低速空气动力研究所 一种结冰三维外形在线测量方法及测量装置
CN117490969B (zh) * 2023-12-27 2024-03-19 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞完整冰形在线测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257919A (ja) 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2018025528A (ja) * 2016-04-06 2018-02-15 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP2018128265A (ja) 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188545A (ja) 1983-04-08 1984-10-25 Nippon Denso Co Ltd 路面凍結警告装置
DE4008280A1 (de) * 1990-03-15 1991-09-19 Tzn Forschung & Entwicklung Verfahren zur ermittlung des fahrbahnoberflaechenzustandes
DE19506550A1 (de) 1995-02-24 1996-08-29 Inst Chemo Biosensorik Verfahren zur verzugsfreien Feststellung von und zur Warnung vor durch Glättebildung bedingte Gefahren und Vorrichtung zur Durchführung des Verfahrens
WO2011070708A1 (ja) * 2009-12-08 2011-06-16 パナソニック株式会社 画像処理装置
EP2557414B1 (en) 2009-12-21 2015-03-25 C.R.F. Società Consortile per Azioni Optical detection system for motor-vehicles having multiple functions, including detection of the condition of the road surface
DE102010025719A1 (de) 2010-06-30 2012-05-16 Wabco Gmbh Vorrichtung und Verfahren zur Ausgabe eines Signals bei gefährlichem Untergrund unter einem Fahrzeug
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
BR112015003444A2 (pt) * 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
DE102013201741A1 (de) 2013-02-04 2014-08-21 Robert Bosch Gmbh System zur Erfassung einer Fahrbahnbeschaffenheit
JP2015197358A (ja) 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
JP6361631B2 (ja) 2015-10-29 2018-07-25 Smk株式会社 車載センサ、車両用灯具及び車両
US10360459B2 (en) 2016-04-06 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Detection device, detection method, and non-transitory computer-readable recording medium storing detection program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009257919A (ja) 2008-04-16 2009-11-05 Panasonic Corp 固体撮像装置、撮像システム及び検知装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2018025528A (ja) * 2016-04-06 2018-02-15 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP2018128265A (ja) 2017-02-06 2018-08-16 株式会社リコー サーバ装置、判別プログラム及び判別システム

Also Published As

Publication number Publication date
DE102020203293B4 (de) 2022-09-08
JP2023144057A (ja) 2023-10-06
US11680895B2 (en) 2023-06-20
JP2021148790A (ja) 2021-09-27
KR20210117179A (ko) 2021-09-28
CN113390794A (zh) 2021-09-14
DE102020203293A1 (de) 2021-09-16
JP7433265B2 (ja) 2024-02-19
US20210285867A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
KR102534538B1 (ko) 표면에서 물을 검출하는 장치 및 표면에서 물을 검출하는 방법
US9460353B2 (en) Systems and methods for automated water detection using visible sensors
JP5664152B2 (ja) 撮像装置、車載用撮像システム及び物体識別装置
US20180321142A1 (en) Road surface detection system
KR101567737B1 (ko) 촬상 장치, 물체 검출 장치, 광학 필터 및 광학 필터의 제조 방법
US9716845B2 (en) Digital camera
Jokela et al. Road condition monitoring system based on a stereo camera
KR101417571B1 (ko) 물체 식별 장치
JP4814655B2 (ja) 路面状態判定装置および路面状態判定方法
EP0658775B1 (fr) Dispositif d&#39;anticollision, notamment pour véhicules automobiles
US20090135183A1 (en) Normal vector information generating device and normal vector information generating method
Matthies et al. Detecting water hazards for autonomous off-road navigation
CN104951747B (zh) 用于确定安装在立体系统中的至少一个摄像机的阻碍状态的方法
US9674459B2 (en) Image processing system
FR2687000A1 (fr) Procede et dispositif de detection de vehicules et de marquages au sol.
EP0588815B1 (fr) Procede et dispositif d&#39;analyse de sequences d&#39;images routieres pour la detection d&#39;obstacles
US20200348398A1 (en) OPTICAL SYSTEM, IN PARTICULAR A LiDAR SYSTEM, AND VEHICLE
KR102388804B1 (ko) 분광 데이터와 노면온도센서 데이터를 이용한 노면상태 분류 시스템 및 그 방법
Kutila et al. Optical roadstate monitoring for infrastructure-side co-operative traffic safety systems
WO2003044499A2 (fr) Procede de detection optique de gaz a distance
FR2985236A1 (fr) Dispositif de detection d&#39;un risque de glissement d&#39;un vehicule automobile sur une couche d&#39;eau ou de glace sur le sol de la route
KR102479392B1 (ko) 차량용 블랙아이스 감지시스템
CN112782090B (zh) 一种酒驾自动监测系统及检测方法
FR2863050A1 (fr) Dispositif de mesure de la distance entre deux vehicules.
Zhang et al. Near-infrared LED system to recognize road surface conditions for autonomous vehicles

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant