KR102359843B1 - 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법 - Google Patents

다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법 Download PDF

Info

Publication number
KR102359843B1
KR102359843B1 KR1020210048744A KR20210048744A KR102359843B1 KR 102359843 B1 KR102359843 B1 KR 102359843B1 KR 1020210048744 A KR1020210048744 A KR 1020210048744A KR 20210048744 A KR20210048744 A KR 20210048744A KR 102359843 B1 KR102359843 B1 KR 102359843B1
Authority
KR
South Korea
Prior art keywords
road surface
polarized
camera
image
light
Prior art date
Application number
KR1020210048744A
Other languages
English (en)
Inventor
정태웅
Original Assignee
정태웅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정태웅 filed Critical 정태웅
Priority to KR1020210048744A priority Critical patent/KR102359843B1/ko
Application granted granted Critical
Publication of KR102359843B1 publication Critical patent/KR102359843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H04N5/2254—
    • H04N5/247—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

복수 개의 마이크로렌즈, 서로 다른 방향으로 빛을 편광시키는 편광소자들이 이웃하게 배치되어 구현된 복수 개의 편광소자, 복수 개의 컬러필터 및 복수 개의 광전센서가 적층된 구조의 이미지센서를 이용하여 노면을 촬영함으로써 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 복수 개의 광전센서에 입사되어다중 편광 영상이 생성되고, 생성된 다중 편광 영상과 노면의 비편광 영상을 비교하여 노면 상태를 진단함으로써 진단 결과의 신뢰도를 향상시킬 수 있고, 한 대의 편광 카메라를 이용하여 다중 편광 영상을 획득할 수 있어 컴팩트하고 설치가 용이하며, 설치 비용 및 유지보수 비용이 절감되는 효과가 있는 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법에 관한 것이다.

Description

다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법 {Apparatus and method for diagnosing status of road surface using multi polarized camera}
차량 통행을 위한 도로의 표면 등 노면 상태를 진단하는 장치 및 방법에 관한 것이다.
전 세계적으로 차량 통행량이 증가함에 따라 도로의 수막, 결빙 등으로 인한 차량 미끄러짐 사고가 빈번하게 발생하고 있다. 특히, 도로의 블랙 아이스는 낮에도 운전자가 발견하기 어려워 블랙 아이스로 인한 차량 미끄러짐 사고가 급증하고 있다. 이에 따라, 노면의 상태를 진단하는 기술에 대한 연구가 활발하게 진행되고 있다. 종래의 노면상태 진단기술은 일반적으로 카메라를 이용하여 얻은 노면 편광 영상에 기초하여 노면 상태를 진단하였다. 그러나, 노면상태에 대한 진단 정확도가 떨어져 진단 정확도를 올리기 위한 여러 가지 시도가 이루어지고 있다. 예를 들어, 대한민국 등록특허 제10-1394244호“다중영상 취득장치 및 이를 활용한 이동식 노면상태 자동검지 시스템”은 복수 대의 편광 카메라를 이용하여 노면의 다중 편광영상을 획득하고, 노면의 다중 편광영상으로부터 노면의 상태를 진단함으로써 진단 정확도를 향상시킬 수 있는 기술을 제시하고 있다. 그러나 등록특허 제10-1394244호는 복수 대의 편광 카메라를 설치해야 하여 설치 비용 및 관리비용이 증가하는 문제점이 있었다.
이러한 문제점을 해결하기 위해, 대한민국 등록특허 제10-1180421호 “편광필터와 센서를 이용한 노면 상태 자동검지 방법”은 편광필터가 부착된 한 대의 편광 카메라에 의해 촬영된 영상과 각종 센서에 의해 검출된 노면온도, 대기온도, 대기습도를 종합하여 진단함으로써 노면 상태에 대한 진단 정확도를 향상시킬 수 있는 기술을 제시하고 있다. 그러나, 등록특허 제10-1180421호는 편광필터를 회전시키면서 촬영을 진행함으로써 수직 및 수평 편광영상을 획득하는 것으로서, 편광필터를 회전시키기 위한 모터, 편광필터가 정확한 각도로 회전되었는지 검지하기 위한 위치검지 센서, 편광필터의 회전 위치를 보정하기 위한 필터구동 벨트 등 편광필터의 회전을 위해 부가적인 부품들의 구비를 필요로 한다. 이러한 부가적인 부품들의 추가는 제작 비용 증가 뿐 아니라 빈번한 고장을 일으킬 수 있어 유지보수를 위한 노력을 필요로 하며, 매번 필터를 회전시켜 영상을 획득하기 때문에, 진단 정확도를 올리는 데에 한계가 있었다.
복수 개의 마이크로렌즈, 서로 다른 방향으로 빛을 편광시키는 편광소자들이 이웃하게 배치되어 구현된 복수 개의 편광소자, 복수 개의 컬러필터 및 복수 개의 광전센서가 적층된 구조의 이미지센서를 이용하여 노면을 촬영함으로써 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 복수 개의 광전센서에 입사되어다중 편광 영상이 생성되고, 생성된 다중 편광 영상과 노면의 비편광 영상을 비교하여 노면 상태를 진단함으로써 진단 결과의 신뢰도를 향상시킬 수 있는 노면상태 진단장치 및 노면상태 진단방법을 제공하는 데에 있다.
또한, 한 대의 편광 카메라를 이용하여 다중 편광 영상을 획득할 수 있어 컴팩트하고 설치가 용이하며, 설치 비용 및 유지보수 비용이 절감되는 효과가 있는 노면상태 진단장치 및 노면상태 진단방법을 제공하는 데에 있다. 상기된 바와 같은 기술적 과제로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.
본 발명의 일 측면에 따른 노면상태 진단장치는 복수 개의 제1 마이크로렌즈, 복수 개의 제1 컬러필터 및 복수 개의 제1 광전센서가 차례대로 적층된 구조의 제1 이미지센서를 이용하여 노면의 비편광 영상을 획득하는 제1 카메라; 복수 개의 제2 마이크로렌즈, 복수 개의 편광소자, 복수 개의 제2 컬러필터 및 복수 개의 제2 광전센서가 차례대로 적층된 구조를 갖는 제2 이미지센서를 이용하여 상기 노면의 다중 편광 영상을 획득하는 제2 카메라; 및 상기 제1 카메라에 의해 획득된 비편광 영상과 상기 제2 카메라에 의해 획득된 다중 편광 영상에 기초하여 상기 노면의 상태를 진단하는 진단모듈을 포함하고, 상기 복수 개의 제2 광전센서에 상기 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 입사됨으로써 상기 제2 카메라는 상기 노면의 다중 편광 영상을 획득한다.
상기 제2 카메라는 2차원 평면의 매트릭스 구조로 배열되어 노면으로부터 반사된 빛을 집속시키는 복수 개의 제2 마이크로렌즈; 상기 복수 개의 제2 마이크로렌즈에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 제2 마이크로렌즈를 통과한 빛을 편광시키는 복수 개의 편광소자; 상기 복수 개의 복수 개의 편광소자에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 편광소자에 의해 편광된 빛을 대역별로 필터링하는 복수 개의 제2 컬러필터; 및 상기 복수 개의 제2 컬러필터에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 제2 컬러필터에 의해 필터링된 빛을 전기적 신호로 변환하는 복수 개의 제2 광전센서를 포함할 수 있다.
상기 복수 개의 편광소자는 서로 다른 편광방향을 갖는 편광소자들끼리 이웃하게 배열됨으로써 상기 복수 개의 제2 광전센서에 상기 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 입사될 수 있다.
상기 복수 개의 편광소자는 복수 개의 편광소자 그룹으로 형성되고, 상기 각 편광소자 그룹은 2x2 매트릭스 구조의 수직 편광방향을 갖는 편광소자, 수평 편광방향을 갖는 편광소자, 45도 편광방향을 갖는 편광소자, 및 135도 편광방향을 갖는 편광소자로 이루어질 수 있다.
상기 복수 개의 제2 마이크로렌즈 중 서로 이웃하는 4개의 제2 마이크로렌즈 그룹별로 좌상 마이크로렌즈를 통과한 빛은 상기 수직 편광방향을 갖는 편광소자에 의해 수직 방향으로 편광되고, 우상 마이크로렌즈를 통과한 빛은 상기 45도 편광방향을 갖는 편광소자에 의해 45도 방향으로 편광되고, 좌하 마이크로렌즈를 통과한 빛은 상기 135도 편광방향을 갖는 편광소자에 의해 135도 방향으로 편광되고, 우하 마이크로렌즈를 통과한 빛은 상기 수평 편광방향을 갖는 편광소자에 의해 수평 방향으로 편광될 수 있다.
상기 복수 개의 제2 컬러필터는 2x2 매트릭스 구조를 갖는 복수 개의 컬러필터그룹으로 형성되고, 상기 각 컬러필터그룹은 적색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 적색 필터, 녹색의 빛을 투과시키고 나머지 대역의 빛을 차단하는 녹색필터, 및 청색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 청색필터 중 한 종류의 필터로 구성되고, 상기 복수 개의 제2 컬러필터는 서로 다른 종류의 컬러필터그룹끼리 이웃함으로써 형성될 수 있다.
서로 다른 편광 방향을 갖는 소자들이 이웃하는 상기 각 편광소자 그룹과 동일한 종류의 컬러필터가 이웃하는 상기 각 컬러필터그룹은 일대일 대응하고, 상기 복수 개의 제2 광전센서는 상기 각 편광소자 그룹에 의해 편광된 이후 상기 각 컬러필터그룹에 의해 필터링된 빛을 수용하여 전기적 신호로 변환함에 따라, 상기 제2 카메라에 의해 획득된 노면의 다중 편광 영상은 하나의 화소에 수직, 수평, 45도, 및 135도 편광 영상이 표현될 수 있다.
상기 진단모듈은 상기 제1 카메라에 의해 획득된 비편광 영상과 상기 제2 카메라에 의해 다중 편광 영상을 인공신경망에 입력함으로써 상기 인공신경망으로부터 상기 노면의 복수의 상태 각각에 대한 확률을 획득하고, 상기 노면의 복수의 상태 중에서 가장 높은 확률을 갖는 상태를 상기 노면의 현재 상태로 진단할 수 있다.
본 발명의 다른 측면에 따른 노면상태 진단장치는 복수 개의 제1 마이크로렌즈, 복수 개의 제1 컬러필터 및 복수 개의 제1 광전센서가 차례대로 적층된 구조의 제1 이미지센서를 이용하여 노면의 비편광 영상을 획득하는 제1 카메라; 복수 개의 제2 마이크로렌즈, 복수 개의 편광소자 및 복수 개의 제2 광전센서가 차례대로 적층된 구조를 갖는 제2 이미지센서를 이용하여 상기 노면의 흑백 다중 편광 영상을 획득하는 제2 카메라; 및 상기 제1 카메라에 의해 획득된 비편광 영상과 상기 제2 카메라에 의해 획득된 흑백 다중 편광 영상에 기초하여 상기 노면의 상태를 진단하는 진단모듈을 포함하고, 상기 복수 개의 제2 광전센서에 상기 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 입사됨으로써 상기 제2 카메라는 상기 노면의 흑백 다중 편광 영상을 획득한다.
복수 개의 마이크로렌즈, 서로 다른 방향으로 빛을 편광시키는 편광소자들이 이웃하게 배치되어 구현된 복수 개의 편광소자, 복수 개의 컬러필터 및 복수 개의 광전센서가 적층된 구조의 이미지센서를 이용하여 노면을 촬영함으로써 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 복수 개의 광전센서에 입사되어다중 편광 영상이 생성되고, 생성된 다중 편광 영상과 노면의 비편광 영상을 비교하여 노면 상태를 진단함으로써 진단 결과의 신뢰도를 향상시킬 수 있다.
이에 더해, 한 대의 편광 카메라를 이용하여 다중 편광 영상을 획득할 수 있어 컴팩트하고 설치가 용이하며, 설치 비용 및 유지보수 비용이 절감되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 노면상태 진단장치(100)의 설치 예시도이다.
도 2는 도 1에 도시된 노면상태 진단장치(100)의 구성도이다.
도 3은 제1 카메라(220)의 제1 이미지센서(340)의 구성의 예를 도시한 도면이다.
도 4는 제2 카메라(230)의 제2 이미지센서(450)의 구성의 예를 도시한 도면이다.
도 5는 편광소자(420)와 제2 마이크로렌즈(410)의 배치에 따른 편광된 빛의 이동 경로의 예를 도시한 도면이다.
도 6은 도 4에 도시된 편광소자(420)를 확대하여 도시한 도면이다.
도 7은 제2 컬러필터(430)가 배치되는 예시를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 노면상태 진단방법의 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 이하에서 설명되는 본 발명의 실시예는 복수 개의 마이크로렌즈, 서로 다른 방향으로 빛을 편광시키는 편광소자들이 이웃하게 배치되어 구현된 복수 개의 편광소자, 복수 개의 컬러필터 및 복수 개의 광전센서가 적층된 구조의 이미지센서를 이용하여 노면을 촬영함으로써 복수 개의 편광소자에 의해 서로 다른 방향으로 편광된 빛이 복수 개의 광전센서에 입사되어 다중 편광 영상이 생성되고, 생성된 다중 편광 영상과 노면의 비편광 영상을 비교하여 노면 상태를 진단함으로써 진단 결과의 신뢰도를 향상시킬 수 있고, 한 대의 편광 카메라를 이용하여 다중 편광 영상을 획득할 수 있어 컴팩트하고 설치가 용이하며, 설치 비용 및 유지보수 비용이 절감되는 효과가 있는 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법에 관한 것이다. 이하에서는 이러한 다중 편광 카메라를 이용한 노면상태 진단장치 및 노면상태 진단방법을 간략하게 “노면상태 진단장치”및 “노면상태 진단방법”로 간략하게 호칭할 수도 있다.
이하에서 설명되는 본 발명의 실시예에 따라 진단 가능한 노면 상태는 마른 상태, 젖은 상태, 수막 상태, 결빙 상태로 분류된다. 마른 상태는 본 발명의 실시예에 따라 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영되는 노면의 일정 지점에 물기가 없는 상태를 의미하고, 젖은 상태는 노면의 일정 지점이 축축하게 젖어 있는 상태를 의미한다. 수막 상태는 노면의 일정 지점이 수심 10 mm 이상의 물로 덮여 있는 상태를 의미하고, 결빙 상태는 노면의 일정 지점을 덮고 있는 물이 얼어 있는 상태를 의미한다.
도 1은 본 발명의 일 실시예에 따른 노면상태 진단장치(100)의 설치 예시도이고, 도 2는 도 1에 도시된 노면상태 진단장치(100)의 구성도이다. 도 1, 2를 참조하면, 본 실시예에 따른 노면상태 진단장치(100)는 제1 카메라(220), 제2 카메라(230), 진단모듈(240) 및 하우징(210)으로 구성된다. 상기된 구성요소들은 본 실시예의 특징과 관련된 구성요소들로서 노면상태 진단장치(100)는 상기된 구성요소들에 전원을 공급하는 전원공급부 등 다른 구성요소를 더 포함할 수 있다.
도 1을 참조하면, 본 실시예에 따른 노면상태 진단장치(100)는 도로를 지나는 차량의 통행을 방해하지 않으면서, 노면으로부터 반사된 빛을 수신할 수 있도록 도로 주변의 높은 위치에 설치된다. 이를 위해, 도로 주변에는 포스트(110)가 직립 설치되고, 포스트(110)의 상단에 노면상태 진단장치(100)가 설치된다. 본 발명의 일 실시예에서, 지면의 상태에 따라 포스트(110)를 지지하기 위한 받침부재(120)가 설치될 수 있다.
도 2를 참조하면, 본 실시예에 따른 노면상태 진단장치(100)는 제1 카메라(220), 제2 카메라(230) 및 진단모듈(240)이 하우징(210) 내에 설치된다. 본 발명의 실시예에 따른 노면상태 진단장치(100)는 주로 도로변에 설치되는 바, 노면상태 진단장치(100)의 하우징(210)은 외부 환경에 지속적으로 노출된다. 따라서, 하우징(210)은 눈이나 비 등에 의한 습기에 의해 쉽게 녹이 슬거나, 바람에 의해 날리는 이물질들에 의해 쉽게 파손되지 않도록 스테인리스 등의 합금이나, 강화플라스틱 등의 재료로 제작되는 것이 바람직하며 이에 제한되지는 않는다.
제1 카메라(220) 및 제2 카메라(230)는 노면 상의 동일한 지점을 비추도록 함으로써 노면의 상태를 진단하고자 하는 영역의 영상을 동시에 획득하도록 한다. 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영된 영상은 실시간 혹은 정해진 주기마다 진단모듈(240)로 전송되며, 진단모듈(240)은 수신한 영상들을 이용하여 노면의 촬영 지점의 상태를 진단한다.
제1 카메라(220)는 비편광 카메라로서 노면의 촬영지점의 비편광 영상을 촬영한다. 제1 카메라(220)는 노면의 상태를 보다 정확하게 진단하기 위해 1920X1080의 Full-HD 이상의 화질을 갖는 IP 카메라일 수 있다.
제1 카메라(220)는 복수 개의 제1 마이크로렌즈(310), 복수 개의 제1 컬러필터 및 복수 개의 제1 광전센서(330)가 차례대로 적층된 구조의 제1 이미지센서(340)를 포함한다. 본 발명의 일 실시예에 따른 제1 카메라(220)의 제1 이미지센서(340)를 도시한 도 3을 참조하여 살펴보면, 제1 이미지센서(340)는 복수 개의 제1 마이크로렌즈(310)와 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열된 복수 개의 제1 컬러필터(320) 및 복수 개의 제1 광전센서(330)를 포함한다. 각각의 제1 마이크로렌즈(310)는 노면으로부터 반사되어 제1 카메라(220)를 향해 입사하는 광을 집속하여 대응하는 각각의 제1 컬러필터(320)로 입사시킨다.
본 발명의 실시예에 따르는 제1 마이크로렌즈(310)는 복수 개의 마이크로렌즈가 배열된 마이크로렌즈 어레이로 형성될 수 있다. 마이크로렌즈 어레이는 회절광학소자(DOE)와 비교하여 미광(stray light)이 적고 0차 회절차수(zero diffraction order)가 없기 때문에 원하는 출력 이미지 내에서 강도를 분배하는데 이점이 있다. 이러한 마이크로렌즈 어레이는 입사광의 파장에 덜 민감하고, 부가적인 광학 요소가 불필요하여 패키지의 크기가 작아질 수 있으며, 굴절 작용 원리에 의해 매우 높은 효율을 갖는 이점이 있다.
복수 개의 제1 컬러필터(320)는 복수 개의 제1 마이크로렌즈(310)를 통과한 빛을 필터링한다. 복수 개의 제1 컬러필터(320)는 복수 개의 제1 마이크로렌즈(310)를 통과한 빛에서 서로 다른 컬러의 빛을 투과시키는 여러 종류의 컬러필터(320)들로 구성되며, 여러 종류의 컬러필터(320)는 매트릭스 구조로 번갈아 배열된다. 복수 개의 제1 컬러필터(320)는 적색 대역의 및을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 적색필터(R), 녹색의 빛을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 녹색필터(G), 및 청색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 청색필터(B)로 구성될 수 있다. 복수 개의 적색필터, 복수 개의 녹색필터, 및 복수 개의 청색필터는 베이어 모자이크 패턴(bayer mosaic pattern)의 매트릭스 구조로 번갈아 배열될 수 있다.
복수 개의 제1 광전센서(330)는 복수 개의 제1 컬러필터(320)에 일대일 대응되도록 복수 개의 제1 컬러필터(320)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 복수 개의 제1 컬러필터(320) 아래의 배치된다. 복수 개의 제1 광전센서(330)는 복수 개의 제1 컬러필터(320)에 의해 필터링된 빛을 받아 전기적 신호로 변환함으로써 노면으로부터 반사되어 제1 카메라(220)로 입사한 빛으로부터 노면의 이미지를 나타내는 신호를 생성한다. 각 제1 광전센서는 일대일 대응되는 각 컬러필터(320)에 의해 필터링된 빛을 그 강도에 따라 서로 다른 레벨의 전기적 신호로 변환한다. 복수 개의 제1 컬러 센서 각각에 의해 생성된 전기적 신호의 조합으로부터 노면의 이미지가 생성될 수 있다. 본 발명의 일 실시예에서, 복수 개의 제1 광전센서(330)는 복수 개의 포토다이오드가 각각의 제1 마이크로렌즈(310)와 일대일 대응하도록 배열된 포토다이오드 층으로 구현될 수 있다.
제2 카메라(230)는 다중 편광 카메라로서 노면의 촬영지점의 다중 편광 영상을 촬영한다. 제2 카메라(230)는 노면으로부터 반사된 광을 전기적 신호로 변환하는 제2 이미지센서(450)를 포함한다. 본 발명의 일 실시예에 따른 제2 카메라(230)의 제2 이미지센서(450)를 도시한 도 4를 참조하여 살펴보면, 제2 이미지센서(450)는 복수 개의 제2 마이크로렌즈(410), 복수 개의 제2 마이크로렌즈(410)에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되는 복수 개의 편광소자(420), 복수 개의 편광소자(420)에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되는 복수 개의 제2 컬러필터(430), 및 복수 개의 제2 컬러필터(430)에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되는 복수 개의 제2 광전센서(440)가 차례로 적층되어 구성된다.
복수 개의 제2 마이크로렌즈(410)의 각각은 노면으로부터 반사되어 제2 카메라(230)를 향해 입사하는 광을 집속한다.
복수 개의 편광소자(420)는 복수 개의 제2 마이크로렌즈(410)를 통과한 빛을 편광시킨다. 본 발명의 일 실시예에서, 복수 개의 편광소자(420)의 각각은 입사한 광을 특정 방향으로 편광시키는 편광필터일 수 있다. 본 발명의 일 실시예에 따른 복수 개의 편광소자(420)를 도시한 도 6을 참조하여 살펴보면, 복수 개의 편광소자(420)는 서로 다른 편광방향을 갖는 편광소자(420)들끼리 이웃하게 배열된다. 도 6a에 도시된 복수 개의 편광소자(420)는 복수 개의 편광소자(420) 내부에 2x2 매트릭스를 구성하는 편광소자(420)들이 서로 상이한 편광방향을 갖도록 배열된다. 도 6a에 도시된 복수 개의 편광소자(420) 중 좌측 하단의 2x2 매트릭스 부분을 확대 도시한 도 6b를 참조하여 살펴보면, 2x2 매트릭스 구조의 좌상에는 수직(90도) 편광방향, 우상에는 45도 편광방향, 좌하에는 135도 편광방향, 그리고 우하에는 수평(0도) 편광방향을 갖는 편광소자가 서로 이웃하여 배치된 것을 확인할 수 있다.
본 발명의 일 실시예에서, 복수 개의 편광소자(420)는 빛의 플레어링(flaring)과 고스팅(ghosting) 현상을 억제하기 위해 반사방지(anti-reflection) 물질로 코팅될 수 있다.
복수 개의 제2 컬러필터(430)는 복수 개의 편광소자(420)에 의해 편광된 빛을 필터링한다. 복수 개의 제2 컬러필터(430)는 복수 개의 편광소자(420)에 의해 편광된 빛에서 서로 다른 컬러의 빛을 투과시키는 여러 종류의 컬러필터(430) 들로 구성되며, 여러 종류의 컬러필터(430)는 매트릭스 구조로 배열된다. 복수 개의 컬러필터(430)는 복수 개의 적색필터(R), 복수 개의 녹색필터(G), 및 복수 개의 청색필터(B)로 구성될 수 있다.
도 7은 본 발명의 일 실시예에 따른 복수 개의 제2 컬러필터(430)의 예를 도시한 도면이다. 도 7을 참조하면, 복수 개의 제2 컬러필터(430)는 복수 개의 제2 마이크로렌즈 각각에 일대일 대응하도록 배열되었으며, 각각의 컬러필터(430)는 2x2 단위로 컬러필터그룹(715)을 형성하여 각 그룹마다 R, G, 또는 B 필터가 배열된다. 서로 다른 컬러필터그룹(715)끼리 서로 이웃하며, 도 7을 참조하면, 좌상의 컬러필터그룹은 적색필터(R)가, 우상 및 좌하의 컬러필터그룹은 녹색필터(G), 그리고 우하의 컬러필터그룹은 청색필터(B)가 배치될 수 있다. 2x2 단위로 형성된 각 컬러필터그룹은 하나의 화소를 표현한다. 이렇게 2x2 매트릭스 구조로 배열된 네 개의 컬러필터는 하나의 컬러필터그룹(715)(예컨대, 녹색필터(G) 그룹)를 형성하고, 이렇게 형성된 하나의 컬러필터그룹(715)은 2x2 매트릭스 구조로 배열된 편광소자 그룹(600)과 일대일 대응된다.
복수 개의 제2 마이크로렌즈(410)를 통과한 빛들은 각 제2 마이크로렌즈(410)에 대응하는 각 편광소자(420)에 의해 편광된 후 각 편광소자(420)에 대응하는 각 컬러필터(430)에 의해 필터링 된다. 도 6a에 도시된 복수 개의 편광소자(420) 중 좌측 하단의 2x2 매트릭스 부분을 확대 도시한 도 6b 참조하여 보다 구체적으로 살펴보도록 한다. 이때, 편광소자 그룹(600)에 일대일 대응하는 컬러필터그룹(715)는 녹색(G) 컬러필터그룹인 것으로 가정한다. 2x2 매트릭스 구조의 편광소자(420)에 상단에 적층된 대응하는 2x2 매트릭스 구조의 제2 마이크로렌즈(410) 중 좌상 마이크로렌즈(610)를 통과한 빛은 수직 편광방향을 갖는 편광소자에 의해 수직 방향으로 편광된 후 녹색 컬러필터에 의해 필터링되고, 우상 마이크로렌즈(620)를 통과한 빛은 45도 편광방향을 갖는 편광소자에 의해 45도 방향으로 편광되 후 녹색 컬러필터에 의해 필터링되고, 좌하 마이크로렌즈(630)를 통과한 빛은 135도 편광방향을 갖는 편광소자에 의해 135도 방향으로 편광된 후 녹색 컬러필터에 의해 필터링되고, 우하 마이크로렌즈(640)를 통과한 빛은 수평 편광방향을 갖는 편광소자에 의해 수평방향으로 편광된 후 녹색 컬러필터에 의해 필터링된다. 이렇게 필터링된 빛은 복수 개의 제2 컬러필터(430) 각각에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열된 복수 개의 제2 광전센서(440) 각각으로 입사한다.
이렇게, 동일한 종류의 컬러필터가 2x2 매트릭스 구조로 배열된 컬러필터그룹(715)과 서로 다른 편광방향을 갖는 편광소자(420)가 서로 이웃하게 2x2 매트릭스 구조로 배열된 편광소자 그룹(600)이 서로 대응하고, 각 컬러필터(430)와 각 편광소자(420)가 일대일 대응하도록 배열됨으로써, 제2 카메라(230)를 이용하여 획득된 영상은 하나의 화소에 4방향(0도, 45도, 90도, 135도)의 편광 영상의 정보를 가질 수 있다. 하나의 화소에 서로 다른 4가지 방향의 편광소자가 배치되므로, 각 방향의 편광소자를 이용하여 촬영된 다중 편광 영상은 전체 영상의 4분의 1의 해상도를 갖는다. 이렇게 한 대의 카메라로 다중 편광 영상을 획득하고, 획득한 다중 편광 영상을 이용하여 노면의 상태를 진단함으로써 진단 정확도를 높일 수 있다.
도 5는 편광소자(420)와 제2 마이크로렌즈(410)의 배치에 따른 편광 작용을 도시하고 있으며, 도 5a는 편광소자(420)가 제2 마이크로렌즈(410)의 상단에 적층된 경우, 그리고 도 5b는 본 발명의 실시 예에서와 같이 편광소자(420)가 제2 마이크로렌즈(410)의 하단에 적층된 경우를 도시한다.
도 5a를 참조하면, 복수 개의 편광소자(420)가 제2 마이크로렌즈(410)의 상단에 적층되는 경우, 각 편광소자(420)의 편광방향에 따라 편광된 빛이 마이크로렌즈에 입사하게 된다. 이 경우, 편광소자(420)에 입사하는 빛의 입사각에 따라, 편광된 빛이 통과한 편광소자(420)에 대응하는 제2 마이크로렌즈(410)로 입사하지 않고, 이웃하는 다른 제2 마이크로렌즈(410)로 입사할 수 있다.
예를 들면, 도 5a의 빛의 경로 A는 90도 편광방향을 갖는 편광소자(LP)를 통과하여 90도 방향으로 편광된 후 편광소자(LP)에 대응하는 제2 마이크로렌즈(LR)로 입사하여 편광소자(LP)에 대응하는 광전센서(LS)로 입사한다. 빛의 경로 C 또한, 0도 편광방향을 갖는 편광소자(RP)를 통과하여 0도(수평) 방향으로 편광된 후 대응하는 제2 마이크로렌즈(RR)를 통과하여 대응하는 광전센서(RS)로 입사한다. 그러나, 빛의 경로 B는 0도 편광방향을 갖는 편광소자(RP)를 통과하여 0도 방향으로 편광되었으나, 빛의 입사각에 의해 편광소자(LP)에 대응하는 제2 마이크로렌즈(LR)로 입사하여 광전센서(LS)로 입사한다. 이와 같이, 특정 방향으로 편광된 빛이 잘못된 제2 광전센서(440)로 입사하는 것은 부정확한 다중 편광 영상을 야기하고, 이는 진단 결과의 신뢰도를 떨어트릴 수 있다.
도 5b는 제2 이미지센서(450)와 편광소자(420)가 제2 마이크로렌즈(410)의 하단에 적층된 경우를 도시한다. 도 5b를 참조하여 살펴보면, 빛의 경로 D는 도 5a에서의 빛의 경로 B와 동일한 입사각을 가지고 제2 마이크로렌즈(LR)로 입사한다. 제2 마이크로렌즈(LR)를 통과한 빛은 제2 마이크로렌즈(LR)에 대응하는 편광소자(LP)를 통과하여 90도 방향으로 편광된 후 광전센서(LS)로 입사한다. 이렇게, 복수 개의 편광소자(420)를 복수 개의 제2 마이크로렌즈(410)의 아래에 배치하는 것은 편광소자(420)에 의해 특정 방향으로 편광된 빛이, 해당 편광된 빛을 처리하기 위한 제2 광전센서(440)로 정확하게 입사할 수 있도록 하며, 이는 제2 카메라(230)로 촬영된 다중 편광된 영상의 정확도를 높이고 결과적으로 노면 진단 결과에 대한 신뢰도가 상승될 수 있어 바람직하다.
복수 개의 제2 광전센서(440)는 복수 개의 제2 컬러필터(430)에 일대일 대응되도록 복수 개의 제2 컬러필터(430)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 복수 개의 제2 컬러필터(430) 아래의 배치된다. 복수 개의 제2 광전센서(440)는 복수 개의 제2 컬러필터(430)에 의해 필터링된 빛을 받아 전기적 신호로 변환함으로써 노면으로부터 반사되어 제2 카메라(230)로 입사한 빛으로부터 노면의 이미지를 나타내는 신호를 생성한다. 각 제2 광전센서는 일대일 대응되는 각 제2 컬러필터(430)에 의해 편광된 빛을 그 강도에 따라 서로 다른 레벨의 전기적 신호로 변환한다. 복수 개의 제2 광전소자(440) 각각에 의해 생성된 전기적 신호의 조합으로부터 노면의 이미지가 생성될 수 있다. 본 발명의 일 실시예에서, 복수 개의 제2 광전센서(440)는 복수 개의 포토다이오드가 각각의 제2 마이크로렌즈(410)와 일대일 대응하도록 배열된 포토다이오드 층으로 구성될 수 있다.
진단모듈(240)은 제1 카메라(220)에 의해 획득된 노면의 비편광 영상 및 제2 카메라(230)에 의해 획득된 노면의 다중 편광 영상에 기초하여 노면의 상태를 진단한다. 본 발명의 일 실시예에서, 진단모듈(240)은 제1 카메라(220) 또는 제2 카메라(230)와 유선 또는 무선으로 연결되어 촬영 영상 데이터를 송수신할 수 있다.
도 2를 참조하여 살펴보면, 진단모듈(240)은 객체 검출부(241), 고정객체 검출부(242), 이동객체 검출부(243), 영상편집부(244) 및 노면상태 진단부(245)로 구성된다.
객체 검출부(241)는 제1 카메라(220) 및 제2 카메라(230)로부터 획득한 노면의 비편광 영상 및 다중 편광 영상으로부터 객체를 실시간으로 추출한다. 본 발명의 일 실시예에서, 객체 검출부(241)는 딥러닝 객체 검출(deep learning object detection) 방법을 사용하여 객체를 검출할 수 있다. 이러한 딥러닝 객체 검출 방법은 R-CNN(region-based convolutional neural networks), Fast R-CNN, Faster R-CNN, R-FCN, YOLO, SSD 등과 같은 공지의 객체 인식 방법을 사용할 수 있으며, 이로써 객체 검출부(241)는 제1 카메라(220) 및 제2 카메라(230)로부터 전송된 영상으로부터 사람이나 차량, 또는 구조물 등을 검출할 수 있다. 본 발명의 일 실시예에서, 객체 검출부(241)에 의해 추출된 객체의 정보는 객체들의 형상, 위치, 및 색상 등의 정보를 포함할 수 있다.
객체 검출부(241)는 제1 카메라(220)로부터 획득된 노면의 비편광 영상으로부터 제1 객체를, 제2 카메라(230)로부터 획득된 노면의 다중 편광 영상으로부터 제2 객체를 추출한다. 이렇게 추출된 제1 객체 정보는 고정객체 검출부(242) 및 이동객체 검출부(243)로, 제2 객체 정보는 영상편집부(244)로 전송된다.
고정객체 검출부(242)는 객체 검출부(241)로부터 수신한 제1 객체 정보를 기초로 하여 제1 카메라(220)에 의해 획득된 노면의 비편광 영상에 촬영된 노면 바닥 표시 및 도로의 구조물 등 교통 및 날씨 변화와 무관한 고정된 객체를 추출한다. 고정객체 검출부(242) 또한 딥러닝 객체 검출 방법을 이용하여 고정된 객체를 검출할 수 있다. 이렇게 추출된 고정된 객체는 노면의 상태와 관련없는 객체로서 노면의 상태를 진단하는 데에 불필요하기 때문에, 고정된 객체에 관련하여서는 노면 상태의 진단을 위한 정보 처리를 진행하지 않는 것이 정보 처리의 시간을 단축시키고, 보다 정확한 진단 결과를 획득할 수 있다. 고정객체 검출부(242)에 의해 검출된 고정객체에 대한 정보는 영상편집부(244)로 전송된다.
본 발명의 일 실시예에서, 고정객체에 대한 정보는 사전에 사용자에 의해 미리 입력될 수 있으며, 이 경우 고정객체 검출부(242)는 생략될 수 있다. 본 발명의 다른 실시예에서, 고정객체 검출부(242)는 실시간이 아닌 미리 정해진 주기(예컨대, 하루, 일주일 등) 마다 한번씩 고정된 객체를 검출하도록 동작할 수 있다. 이는, 노면 상의 구조물 등이 매 순간 바뀌는 것이 아니기 때문에, 일정한 주기로 고정된 객체를 추출하도록 함으로써 보다 효율적으로 동작하도록 한다.
이동객체 검출부(243)는 객체 검출부(241)로부터 수신한 제1 객체 정보에 기초하여, 제1 객체 중 이동하는 객체를 추출한다. 이때 추출된 이동하는 객체는 노면을 지나가는 차량, 보행자, 바람에 휘날리는 이물질, 노면에 놓여진 구조물 등 일 수 있다. 이렇게 이동하는 객체는 노면의 상태 진단에 불필요할 뿐만 아니라, 제1 카메라(220)와 제2 카메라(230)의 촬영 각도의 미세한 차이로 인해 영상 속 객체의 존재 유무가 달라질 수 있기 때문에, 보다 정확한 진단을 위해 제거되는 것이 바람직하다. 본 발명의 일 실시예에서, 이동객체 검출부(243)가 제1 객체 중 이동하는 객체를 추출하는 것은 딥러닝을 통해 수행될 수 있다. 이동객체 검출부(243)에 의해 검출된 이동객체에 대한 정보는 영상편집부(244)로 전송된다.
영상편집부(244)는 보다 신속하고 정확하게 노면의 상태를 진단할 수 있도록 노면의 비편광 영상 및 다중 편광 영상을 편집한다. 본 발명의 실시예에 따르는 영상편집부(244)는 객체 검출부(241)로부터 수신한 제2 객체 정보 중 고정객체 검출부(242)에 의해 추출된 고정된 객체와 겹치는 부분의 정보를 제거할 수 있다. 보다 구체적으로, 영상편집부(244)는 노면 바닥 표시 및 도로의 구조물 등 노면의 상태와 관계없는 고정된 객체가 존재하는 화소에 대응하는 제2 객체에 대한 정보를 제2 객체 정보로부터 제거한다. 예컨대, 제1 카메라(220)에 의해 촬영된 노면에 표시된 ‘일방통행’표시는 객체 검출부(241)에 의해 제2 객체 중 하나로서 추출되지만, 영상편집부(244)에 의해 관련 정보가 제거될 수 있다.
또한 영상편집부(244)는 이동객체 검출부(243)에 의해 검출된 이동하는 객체를 제2 객체에서 삭제할 수 있다. 보다 구체적으로, 영상편집부(244)는 노면을 주행하는 자동차가 존재하는 화소에 대응하는 제2 객체에 대한 정보를 제2 객체 정보로부터 제거한다.
영상편집부(244)에 의해 고정된 객체 및 이동하는 객체에 대한 정보가 제거된 후 남은 제2 객체정보는 매 촬영시점마다 이동하는 객체가 상이할 수 있는 바, 비정형적이며 이동하는 객체가 표현되지 않는 바 고정적이다. 영상편집부(244)는 고정 된 객체 및 이동하는 객체에 대한 정보가 제거됨으로써 생성된 비정형적인 고정형 제2 객체정보와 함께, 이에 대응하는 제1 객체정보를 추출하여 노면상태 진단부(245)에 전송함으로써 노면상태 진단부(245)가 노면의 비편광 영상 및 다중 편광 영상의 동일한 영역을 서로 비교하여 노면의 상태를 진단할 수 있도록 한다.
노면상태 진단부(245)는 영상편집부(244)에 의해 편집된 노면의 비편광 영상 및 다중 편광 영상에 기초하여 노면의 상태를 진단한다.
본 발명의 일 실시예에서, 노면상태 진단부(245)는 영상편집부(244)에 의해 편집된 노면의 비편광 영상과 다중 편광 영상을 인공신경망에 입력함으로써 인공신경망으로부터 노면의 복수의 상태 각각에 대한 확률을 획득하고, 노면의 복수의 상태 중에서 가장 높은 확률을 갖는 상태를 노면의 현재 상태로 진단할 수 있다. 여기에서 인공신경망은 그 입력층에 수많은 비편광 영상 및 네 가지 타입(0도, 45도, 90도, 135도 편광방향으로 편광된 빛으로 촬영된) 다중 편광 영상을 입력하고, 그 출력층에 이와 같이 입력된 비편광 영상 및 다중 편광 영상의 노면 상태가 어떠한가를 입력하는 방식으로 학습된 인공신경망을 의미한다. 인공신경망에 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영된 노면의 비편광 영상 및 다중 편광 영상을 입력하면, 그 입력에 대한 응답으로서 인공신경망은 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영된 노면 영역의 상태별 확률을 출력한다.
인공신경망을 이용한 노면의 상태 진단은, 노면의 비편광 영상 및 다중 편광 영상의 각각의 화소를 일대일로 비교하는 것에 의해 수행된다. 본 발명의 일 실시예에 따른 복수 개의 제2 컬러필터(430)는 동일한 종류의 컬러필터가 2x2 매트릭스 구조로 배열된 컬러필터그룹(715)이 서로 다른 종류의 컬러필터그룹과 이웃하도록 배열되고, 각 컬러필터그룹(715)은 서로 다른 편광방향을 갖는 편광소자(420)가 서로 이웃하게 2x2 매트릭스 구조로 배열된 편광소자 그룹(600)과 대응함에 따라 하나의 편광소자 그룹(600)에 의해 편광된 빛에 의해 생성된 영상은 하나의 화소에 4가지 방향(0도, 45도, 90도, 135도)의 편광영상이 촬영된다. 이에 따라, 제2 카메라(230)에 의해 획득된 다중 편광 영상의 각 편광 방향별 영상의 해상도는 4분의 1로 감소하게 된다, 따라서, 인공신경망을 이용하여 노면의 상태를 진단하기 위해서는, 제1 카메라(220)의 화소수가 제2 카메라(230)의 화소수의 4분의 1의 화소수를 갖는 것이 바람직하다.
본 발명의 다른 실시예에서, 진단모듈(240)은 제2 카메라(230)로부터 획득한 0도, 45도, 90도, 135도 편광 영상에서 취득한 빛의 편광도(polarization degree), 휘도(radiance) 및 위상(phase) 분석에 근거하여 노면 상의 젖은 부분을 판별할 수 있으며, 위상 분석에 의거한 수면을 검출하여 노면의 상태가 단순히 젖은 상태인지, 물웅덩이가 생긴 상태인지 구분할 수 있다.
여기서, 빛의 위상차를 활용한 도로 상 젖은 부분을 판별할 수 있는 원리를 설명하면 다음과 같다.
먼저, 수면에 반사된 빛은 부분적으로 선형 편광(partial linearly polarized)되고, 이때 수면의 반사된 빛의 편광 위상(polarization phases)들은 주변의 다른 빛의 위상과 비교하였을 때 매우 유사한 특징들을 보이며, 이에 따라 젖은 영역의 판별을 편광된 빛과 비편광된 빛의 비율인 영상의 편광도(polarization degree) 및 편광 위상의 위상을 활용하여 구분할 수 있다.
구체적으로, 편광도 산출 시 선형 편광된 빛의 비율에 따라 0(완전 비편광)에서 1(완전 선형편광)로 정의할 수있으며, 이때, 선형 편광은 각 픽셀 단위의 휘도(Radiance)를 통해 산출할 수 있고, 또한, 휘도는 상기 편광필터의 방향에 따라 사인곡선 모양으로 달라진다. 따라서 0도, 45도, 90도, 135도 편광방향을 갖는 편광소자(420) 각각에 대하여 각각 휘도를 측정하고, 이를 통해 위상과 강도(Intensity), 편광도를 산출할 수 있다. 또한, 노면영상의 젖은 영역의 구분을 위해서, 노면 영상에 대한 픽셀 단위 편광도를 산출한 후, 편광도의 유사성에 따라 젖은 영역을 구분할 수 있다.
이렇게 동일한 종류의 컬러필터가 2x2 매트릭스 구조로 배열된 컬러필터그룹(715)이 서로 다른 종류의 컬러필터그룹과 이웃하도록 배열되고, 각 컬러필터그룹은 서로 다른 편광방향을 갖는 편광소자가 서로 이웃하게 2x2 매트릭스 구조로 배열된 편광소자 그룹(600)과 일대일 대응하도록 배치된 제2 카메라(230)를 이용하여 노면의 영상을 촬영함에 따라 영상의 각 화소에 4가지 방향의 편광 영상이 표현되고, 이러한 다중 편광 영상 및 일반 카메라로 촬영한 비편광 영상을 비교하여 노면 상태를 진단함으로써 노면 상태를 보다 정확하게 진단하여 신뢰도 높은 진단 결과를 제공할 수 있다.
본 발명의 다른 실시예에서, 제1 카메라(220)는 컬러 영상을 촬영하는 컬러카메라이고 제2 카메라(230)는 흑백 영상을 촬영하는 흑백카메라일 수 있다. 제1 카메라(220)는 복수 개의 제1 마이크로렌즈(310), 복수 개의 제1 컬러필터(320) 및 복수 개의 제1 광전센서(330)가 차례대로 적층된 구조의 제1 이미지센서(340)를 이용하여 노면의 컬러 비편광 영상을 획득하고, 제2 카메라(230)는 복수 개의 제2 마이크로렌즈(410), 복수 개의 편광소자(420) 및 복수 개의 제2 광전센서(440)가 차례대로 적층된 구조를 갖는 제2 이미지센서(450)를 이용하여 상기 노면의 흑백 다중 편광 영상을 획득할 수 있다. 제2 카메라(230)를 흑백 카메라로 이용하면, 촬영된 영상의 해상도가 높아지고, 복수 개의 제2 컬러필터(320)에 의한 투과율 차이가 발생하지 않아 보다 왜곡이 없는 영상을 획득할 수 있는 이점이 있다.
도 8은 본 발명의 일 실시예에 따른 노면상태 진단방법의 흐름도이다. 810단계에서, 진단모듈(240)은 제1 카메라(220)로부터 노면의 비편광 영상을 획득한다.
820 단계에서, 진단모듈(240)은 제1 카메라(220)로부터 획득한 노면의 비편광 영상으로부터 제1 객체를 추출한다. 이때 추출된 제1 객체는 노면을 지나가는 차량, 보행자, 바람에 휘날리는 이물질, 노면에 놓여진 구조물 등 일 수 있다. 본 발명의 일 실시예에서, 진단모듈(240)은 딥러닝 객체 검출 방법을 사용하여 노면의 비편광 영상으로부터 제1 객체를 추출할 수 있다.
830 단계에서, 진단모듈(240)은 노면의 비편광 영상으로부터 추출된 제1 객체 중 노면에서 이동하는 객체에 대한 정보를 추출한다. 본 발명의 일 실시예에서, 노면의 비편광 영상 내에서 이동하는 객체의 정보를 획득하는 것은 딥러닝을 통해 수행될 수 있다. 830 단계에서, 820 단계에서 추출된 제1 객체들 중 노면을 주행하는 자동차, 노면을 횡단하는 보행자 등의 이동하는 객체가 추출된다.
840 단계에서, 진단모듈(240)은 제1 카메라(220)와 동일한 영역을 촬영하는 제2 카메라(230)로부터 노면의 다중 편광 영상을 획득한다. 제2 카메라(230)는 다중 편광 카메라로서 노면의 촬영지점의 다중 편광 영상을 촬영한다. 제2 카메라(230)는 복수 개의 제2 마이크로렌즈(410), 복수 개의 편광소자(420), 복수 개의 제2 컬러필터(430) 및 복수 개의 제2 광전센서(440)가 차례로 적층되어 구성된 제2 이미지 센서(440)를 포함한다. 이때, 복수 개의 편광소자(420)는 서로 다른 편광방향을 갖는 편광소자(420)들끼리 이웃하게 배열되어 서로 이웃하는 편광소자(420)를 통과한 빛은 서로 다른방향으로 편광된다. 노면으로부터 반사되어 제2 카메라(230)를 향해 입사한 광은 복수 개의 제2 마이크로렌즈(410)에 의해 집속되어 복수 개의 편광소자(420)을 통과하며 편광되고, 복수 개의 편광소자(420)에 의해 편광된 빛은 복수 개의 제2 컬러필터(430)를 통과하며 필터링되며, 필터링된 빛은 제2 컬러필터(430) 각각에 일대일 대응하는 제2 광전센서(440)에 수용되어 전기적 신호로 변환된다. 이렇게, 서로 다른 편광방향을 갖는 복수 개의 편광소자(420)를 서로 이웃하게 배치하고, 제2 마이크로렌즈(410) 제2 컬러필터(430) 및 제2 광전센서(440)와 일대일 대응하도록 배치함으로써 한 대의 제2 카메라(230)를 이용하여 다중 편광된 노면의 영상을 획득할 수 있다.
850 단계에서, 진단모듈(240)은 제2 카메라(230)로부터 획득한 노면의 다중 편광 영상으로부터 제2 객체를 추출한다. 이때 추출된 제2 객체는 노면을 지나가는 차량, 보행자, 바람에 휘날리는 이물질, 노면에 놓여진 구조물 등 일 수 있다.
860 단계에서, 진단모듈(240)은 제2 객체에 대한 정보 중 노면의 바닥표시 및 도로의 구조물 등 교통 및 날씨 변화와 무관한 고정객체에 대응하는 제2 객체에 대한 정보를 제2 객체 정보로부터 제거한다. 이때, 고정객체에 대한 정보는 제1 카메라에 의해 획득된 노면의 비편광 영상으로부터 사전에 획득된 것일 수 있다. 860 단계에 의해, 노면의 상태와 관련이 없는 고정적인 구조물에 대한 데이터 처리가 생략됨으로써, 노면의 상태 진단을 보다 신속하게 수행하고, 보다 정확한 진단 결과를 도출하게 하는 기술적 효과가 있다.
870 단계에서, 진단모듈(240)은 고정객체에 대한 정보가 제거된 제2 객체 정보에서 830 단계에서 노면의 비편광 영상으로부터 추출된 이동하는 객체에 대응하는 제2 객체에 대한 정보를 제2 객체 정보로부터 제거한다.
880 단계에서, 진단모듈(240)은 이동하는 객체에 대응하는 제2 객체에 대한 정보가 제거된 다중 편광 영상을 이용하여 노면의 상태를 진단한다. 진단모듈(240)은 제1 카메라(220)에 의해 획득된 비편광 영상과 제2 카메라(230)에 의해 획득된 다중 편광 영상을 인공신경망에 입력함으로써 인공신경망으로부터 노면의 복수의 상태 각각에 대한 확률을 획득하고, 노면의 복수의 상태 중에서 가장 높은 확률을 갖는 상태를 노면의 현재 상태로 진단할 수 있다. 여기에서 인공신경망은 그 입력층에 수많은 노면에 대한 비편광 영상 및 다중 편광 영상이 입력하고, 그 출력층에 이와 같이 입력된 비편광 영상 및 다중 편광 영상의 노면 상태가 어떠한가를 입력하는 방식으로 학습된 인공신경망을 말할 수 있다. 인공신경망에 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영된 노면의 비편광 영상 및 다중 편광 영상을 입력하면, 그 입력에 대한 응답으로서 인공신경망은 제1 카메라(220) 및 제2 카메라(230)에 의해 촬영된 노면 영역의 상태별 확률을 출력한 후, 노면의 복수의 상태 중에서 가장 높은 확률을 갖는 상태를 노면의 현재 상태로 진단한다.
도 3, 4, 6, 및 7에서 복수 개의 마이크로렌즈(310, 410), 복수 개의 편광소자(420), 복수 개의 컬러필터(320, 430) 및 복수 개의 광전센서(330, 440)는 4x4 매트릭스 구조로 도시되었으나, 이는 보다 용이하게 본 발명의 실시예를 이해할 수 있도록 간략하게 구조를 도시한 것이며, 본 기술 분야의 통상의 기술자라면 복수 개의 마이크로렌즈(310, 410), 복수 개의 편광소자(420), 복수 개의 컬러필터(320, 430) 및 복수 개의 광전센서(330, 440)의 4x4 매트릭스 구조가 필요한 만큼 반복되어 배치될 수 있음을 자명하게 알 수 있을 것이다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 노면상태 진단장치
220: 제1 카메라
230: 제2 카메라
240: 진단모듈
310: 복수 개의 제1 마이크로렌즈
320: 복수 개의 제1 컬러필터
330: 복수 개의 제1 광전센서
340: 제1 이미지센서
410: 복수 개의 제2 마이크로렌즈
420: 복수 개의 편광소자
430: 복수 개의 제2 컬러필터
440: 복수 개의 제2 광전센서
450: 제2 이미지센서

Claims (9)

  1. 복수 개의 제1 마이크로렌즈(310), 복수 개의 제1 컬러필터(320) 및 복수 개의 제1 광전센서(330)가 차례대로 적층된 구조의 제1 이미지센서(340)를 이용하여 노면의 비편광 영상을 획득하는 제1 카메라(220);
    복수 개의 제2 마이크로렌즈(410), 복수 개의 편광소자(420), 복수 개의 제2 컬러필터(430) 및 복수 개의 제2 광전센서(440)가 차례대로 적층된 구조를 갖는 제2 이미지센서(450)를 이용하여 상기 노면의 다중 편광 영상을 획득하는 제2 카메라(230); 및
    상기 제1 카메라(220)에 의해 획득된 비편광 영상과 상기 제2 카메라(230)에 의해 획득된 다중 편광 영상에 기초하여 상기 노면의 상태를 진단하는 진단모듈(240)을 포함하고,
    상기 복수 개의 제2 광전센서(440)에 상기 복수 개의 편광소자(420)에 의해 서로 다른 방향으로 편광된 빛이 입사됨으로써 상기 제2 카메라(230)는 상기 노면의 다중 편광 영상을 획득하고,
    상기 복수 개의 제2 마이크로렌즈(410)는 2차원 평면의 매트릭스 구조로 배열되어 노면으로부터 반사된 빛을 집속시키고,
    상기 복수 개의 편광소자(420)는 상기 복수 개의 제2 마이크로렌즈(410)에 일대일 대응되는 2차원 평면의 매트릭스 구조를 가지고 상기 복수 개의 제2 마이크로렌즈(410)의 하단에 적층됨으로써 상기 각 제2 마이크로렌즈(410)를 통과한 빛이 상기 각 제2 마이크로렌즈(410)에 대응하는 각 편광소자(420)에 의해 편광되는 것을 특징으로 하는 노면상태 진단장치.
  2. 제 1 항에 있어서,
    상기 복수 개의 제2 컬러필터(430)는 상기 복수 개의 복수 개의 편광소자(420)에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 편광소자(420)에 의해 편광된 빛을 대역별로 필터링하고,
    상기 복수 개의 제2 광전센서(440)는 상기 복수 개의 제2 컬러필터(430)에 일대일 대응되도록 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 제2 컬러필터(430)에 의해 필터링된 빛을 전기적 신호로 변환하는 것을 특징으로 하는 노면상태 진단장치.
  3. 제 2 항에 있어서,
    상기 복수 개의 편광소자(420)는 서로 다른 편광방향을 갖는 편광소자(420)들끼리 이웃하게 배열됨으로써 상기 복수 개의 제2 광전센서(440)에 상기 복수 개의 편광소자(420)에 의해 서로 다른 방향으로 편광된 빛이 입사되는 것을 특징으로 하는 노면상태 진단장치.
  4. 제 3 항에 있어서,
    상기 복수 개의 편광소자(420)는 복수 개의 편광소자 그룹(600)으로 형성되고, 상기 각 편광소자 그룹(600)은 2x2 매트릭스 구조의 수직 편광방향을 갖는 편광소자, 수평 편광방향을 갖는 편광소자, 45도 편광방향을 갖는 편광소자, 및 135도 편광방향을 갖는 편광소자로 이루어지는 것을 특징으로 하는 노면상태 진단장치.
  5. 제 4 항에 있어서,
    상기 복수 개의 제2 마이크로렌즈(410) 중 서로 이웃하는 4개의 제2 마이크로렌즈(410) 그룹 별로 좌상 마이크로렌즈(610)를 통과한 빛은 상기 수직 편광방향을 갖는 편광소자에 의해 수직 방향으로 편광되고, 우상 마이크로렌즈(620)를 통과한 빛은 상기 45도 편광방향을 갖는 편광소자에 의해 45도 방향으로 편광되고, 좌하 마이크로렌즈(630)를 통과한 빛은 상기 135도 편광방향을 갖는 편광소자에 의해 135도 방향으로 편광되고, 우하 마이크로렌즈(640)를 통과한 빛은 상기 수평 편광방향을 갖는 편광소자에 의해 수평 방향으로 편광되는 것을 특징으로 하는 노면상태 진단장치.
  6. 제 4 항에 있어서,
    상기 복수 개의 제2 컬러필터(430)는 2x2 매트릭스 구조를 갖는 복수 개의 컬러필터그룹(715)으로 형성되고, 상기 각 컬러필터그룹(715)은 적색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 적색 필터, 녹색의 빛을 투과시키고 나머지 대역의 빛을 차단하는 녹색필터, 및 청색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 청색필터 중 한 종류의 필터로 구성되고,
    상기 복수 개의 제2 컬러필터(430)는 서로 다른 종류의 컬러필터그룹끼리 이웃함으로써 형성되는 것을 특징으로 하는 노면상태 진단장치.
  7. 제 6 항에 있어서,
    서로 다른 편광 방향을 갖는 소자들이 이웃하는 상기 각 편광소자 그룹(600)과 동일한 종류의 컬러필터가 이웃하는 상기 각 컬러필터그룹(715)은 일대일 대응하고,
    상기 복수 개의 제2 광전센서(440)는 상기 각 편광소자 그룹(600)에 의해 편광된 이후 상기 각 컬러필터그룹(715)에 의해 필터링된 빛을 수용하여 전기적 신호로 변환함에 따라, 상기 제2 카메라에 의해 획득된 노면의 다중 편광 영상은 하나의 화소에 수직, 수평, 45도, 및 135도 편광 영상이 표현되는 것을 특징으로 하는 노면상태 진단장치.
  8. 제 1 항에 있어서,
    상기 진단모듈(240)은 상기 제1 카메라(220)에 의해 획득된 비편광 영상과 상기 제2 카메라(230)에 의해 다중 편광 영상을 인공신경망에 입력함으로써 상기 인공신경망으로부터 상기 노면의 복수의 상태 각각에 대한 확률을 획득하고, 상기 노면의 복수의 상태 중에서 가장 높은 확률을 갖는 상태를 상기 노면의 현재 상태로 진단하는 것을 특징으로 하는 노면상태 진단장치.
  9. 복수 개의 제1 마이크로렌즈(310), 복수 개의 제1 컬러필터(320) 및 복수 개의 제1 광전센서(330)가 차례대로 적층된 구조의 제1 이미지센서(340)를 이용하여 노면의 비편광 영상을 획득하는 제1 카메라(220);
    복수 개의 제2 마이크로렌즈(410), 복수 개의 편광소자(420) 및 복수 개의 제2 광전센서(440)가 차례대로 적층된 구조를 갖는 제2 이미지센서(450)를 이용하여 상기 노면의 흑백 다중 편광 영상을 획득하는 제2 카메라(230); 및
    상기 제1 카메라(220)에 의해 획득된 비편광 영상과 상기 제2 카메라(230)에 의해 획득된 흑백 다중 편광 영상에 기초하여 상기 노면의 상태를 진단하는 진단모듈(240)을 포함하고,
    상기 복수 개의 제2 광전센서(440)에 상기 복수 개의 편광소자(420)에 의해 서로 다른 방향으로 편광된 빛이 입사됨으로써 상기 제2 카메라(230)는 상기 노면의 흑백 다중 편광 영상을 획득하고,
    상기 복수 개의 제2 마이크로렌즈(410)는 2차원 평면의 매트릭스 구조로 배열되어 노면으로부터 반사된 빛을 집속시키고,
    상기 복수 개의 편광소자(420)는 상기 복수 개의 제2 마이크로렌즈(410)에 일대일 대응되는 2차원 평면의 매트릭스 구조를 가지고 상기 복수 개의 제2 마이크로렌즈(410)의 하단에 적층됨으로써 상기 각 제2 마이크로렌즈(410)를 통과한 빛이 상기 각 제2 마이크로렌즈(410)에 대응하는 각 편광소자(420)에 의해 편광되는 것을 특징으로 하는 노면상태 진단장치.
KR1020210048744A 2021-04-14 2021-04-14 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법 KR102359843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210048744A KR102359843B1 (ko) 2021-04-14 2021-04-14 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210048744A KR102359843B1 (ko) 2021-04-14 2021-04-14 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102359843B1 true KR102359843B1 (ko) 2022-02-09

Family

ID=80265920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210048744A KR102359843B1 (ko) 2021-04-14 2021-04-14 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102359843B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241944A1 (de) * 2022-06-13 2023-12-21 Zf Friedrichshafen Ag Bildsensorvorrichtung, insbesondere für fahrzeugkameras

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100118813A (ko) * 2009-04-29 2010-11-08 엘지이노텍 주식회사 편광 필터를 포함한 카메라 모듈
KR20110061741A (ko) * 2009-12-02 2011-06-10 주식회사 래도 노면 상태 판별 장치 및 노면 상태 판별 방법
JP2015197358A (ja) * 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
JP2020106443A (ja) * 2018-12-28 2020-07-09 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100118813A (ko) * 2009-04-29 2010-11-08 엘지이노텍 주식회사 편광 필터를 포함한 카메라 모듈
KR20110061741A (ko) * 2009-12-02 2011-06-10 주식회사 래도 노면 상태 판별 장치 및 노면 상태 판별 방법
JP2015197358A (ja) * 2014-04-01 2015-11-09 パナソニックＩｐマネジメント株式会社 路面状態検知システム
JP2020106443A (ja) * 2018-12-28 2020-07-09 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023241944A1 (de) * 2022-06-13 2023-12-21 Zf Friedrichshafen Ag Bildsensorvorrichtung, insbesondere für fahrzeugkameras

Similar Documents

Publication Publication Date Title
US11733092B2 (en) Channel-specific micro-optics for optical arrays
US10739189B2 (en) Multispectral ranging/imaging sensor arrays and systems
US9936109B2 (en) Method and system for fusing images
KR101567737B1 (ko) 촬상 장치, 물체 검출 장치, 광학 필터 및 광학 필터의 제조 방법
US9413984B2 (en) Luminance source selection in a multi-lens camera
US9347832B2 (en) Optical systems and methods employing a polarimetric optical filter
US20120069181A1 (en) Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus
US20180204882A1 (en) Imaging element, image sensor, imaging apparatus, and information processing apparatus
JP2011150689A (ja) 撮像装置、車載用撮像システム、路面外観認識方法及び物体識別装置
JP4876812B2 (ja) 車載用カラーセンサおよびその製造方法
US20190197714A1 (en) Plenoptic Imaging Apparatus, Method, and Applications
KR102359843B1 (ko) 다중 편광 카메라를 이용하여 노면 상태를 진단하는 장치 및 방법
US20170070687A1 (en) Systems with Integrated Refractive and Diffractive Optics
JP5750291B2 (ja) 画像処理装置
Garcia et al. A 1300× 800, 700 mW, 30 fps spectral polarization imager
JP3733434B2 (ja) 路面上の水と氷と雪の検知方法および路面上の水と氷と雪の検知装置
JP5190204B2 (ja) 路面積雪検出装置及び路面積雪検出方法
JP2014003433A (ja) 撮像装置
JP2007235760A (ja) 紫外線画像および赤外線画像を撮像する撮像装置および撮像方法
US20180131882A1 (en) Image sensor including color splitting element and method of operating the image sensor
JP2015194388A (ja) 撮像装置および撮像システム
KR101242929B1 (ko) 다파장 구별 촬영 장치
CN109387895B (zh) 彩色滤光片阵列设备
JP2023041050A (ja) 画像センサ、画像センサを動作させるための方法、画像センサを製造するための方法、および画像センサを有する固定デバイスまたは車両またはドローン

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant