KR20230074590A - 빗물, 빛 번짐, 및 먼지가 있는 카메라 이미지의 보정 - Google Patents

Abstract

본 발명은 빗물, 빛 번짐, 또는 먼지로 저하된, 카메라(K), 예컨대 차량에 연결된 주변 감지 카메라의 입력 이미지 데이터(Ini)를 보정하기 위한, 기계 학습법, 방법, 및 장치에 관한 것이다. 상기 카메라(K)의 입력 이미지 데이터를 보정하기 위한 방법은: a) 상기 카메라(K)에 의해 포착된, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터(Ini)를 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)에 제공하는 단계, b) 상기 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)을, 빗물, 빛 번짐, 및/또는 오염으로 인한 열화를 포함하는 입력 이미지 데이터(Ini)를 저하가 없는 출력 이미지 데이터(Opti)로 변환하도록, 그리고 입력 이미지 데이터의 이미지에 있어서의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되고 상기 신경망의 이미지 보정이 정확하다는 점을 특징짓는 확실도(c)를 결정하도록 구성하는 단계, 및 c) 상기 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)을, 상기 출력 이미지 데이터(Opti)와 상기 결정된 확실도(c)를 출력하도록 구성하는 단계를 포함한다. 바람직하게도 이 방법은 카메라에 김이 서렸을 때 물체 식별을 가능하게 하며, 최적화된 대응점 검색을 위해 신경망으로부터 인간 및 컴퓨터 비전을 위한 이미지 데이터 스트림을 생성할 수 있게 한다.

Description

빗물, 빛 번짐, 및 먼지가 있는 카메라 이미지의 보정

본 발명은 빗물, 빛 번짐, 또는 먼지가 있는 경우의 카메라의 이미지, 예컨대 차량에 연결된 주변 감지 카메라의 이미지를 보정하기 위한, 기계 학습법, 방법 및 장치에 관한 것이다.

현재 및 미래의 차량에는, 충돌을 방지하기 위해 물체를 식별하는 데 사용되며 차량을 차선 내에 유지하기 위해 도로 경계를 식별하는 데 사용되는 카메라 기반 보조 시스템이 장착된다. 이를 위해 예컨대 단독으로 또는 서라운드뷰 카메라와 함께 감지 기능 또는 디스플레이 기능을 구현하는 전방 주시 카메라가 사용된다.

빗물 감지를 위한 감지 기능을 포함하는 전방 주시 카메라에 대한 개념이 있다. 이는 차량 전조등 제어를 위한 카메라 기반 일광 감지와 조합되어, 전면 유리에서 비를 식별하여 예를 들어 와이퍼를 작동시키는 이른바 비/일광 감지기(rain light detector)로 구현될 수 있다.

이러한 카메라 시스템을 기반으로 하는 식별 알고리즘은 부분적으로 이미 전통적인 이미지 처리 접근법과 기계 학습, 특히 딥러닝의 접근법을 조합한다. 이미지 처리의 맥락에서 물체 또는 구조 식별을 위한 전통적인 접근법은 수동 선택된 특징들(features 또는 characteristics)을 기반으로 하는 반면, 딥러닝을 기반으로 하는 접근법은 학습 과정에서 중요한 특징을 스스로 결정 및 최적화한다.

그러나 위에 언급한 카메라 시스템은 물체를 식별할 때뿐만 아니라 주변이나 물체를 표시할 때에 빗물, 빛 번짐, 또는 먼지로 인해 시야가 저하되는 상황에서는 즉시 열화(degradation)를 나타낸다.

예컨대 백미러의 미러 기저부에 장착된 전방 카메라의 시야가 유리창의 물방울 또는 먼지에 의해 제한되는 경우, 와이퍼를 작동하여 시야를 복구할 수 있다. 이는 카메라가 와이퍼의 작동 범위 내에 장착되어 있다는 것을 전제로 한다.

자동차의 자동화가 증가하면서 전방을 주시하는 카메라의 개수도 증가하고 있다. 카메라들은 미러 기저부를 중심으로 장착될 수 있을 뿐만 아니라 A 필러 근처 전면 유리 위쪽 모서리에도 장착될 수 있다. 이 영역은 와이퍼 작동 범위 밖에 위치하기 때문에, 감지 기능에 있어서 오히려 중요하다. 빗방울 또는 먼지로 인해 제한되는 시야는 감지 기능에 부정적으로 작용한다.

SAE 레벨 2+에서 SAE 레벨 4/레벨 5로의 자동차 자동화 수준 증가 또는 주차 자동화 또는 시각화로 인해, 주변을 디스플레이 하는 것 외에 측면 물체 감지에도 이용되는 카메라가 앞으로는 차량 측면에 부착되어 사용될 것이다. 렌즈가 물방울 또는 먼지에 의해 덮일 경우, 디스플레이 기능 또는 감지 기능이 매우 제한될 수 있다. 전면 유리 와이퍼와 같은 세척 방법이 없기 때문에, 이는 시스템의 열화 또는 고장을 초래한다.

마지막 예로, 대부분 번호판 위에 장착되고 매우 빠르게 오염되는 후방 카메라를 언급할 수 있다. 이 경우도 비나 먼지로 인해 오염되어 깨끗한 디스플레이가 어려울 수 있다.

CNN 기반의 물체 식별 방법은 렌즈가 오염되거나 물방울에 의해 젖는 것을 적어도 어느 정도까지는 대개는 보상할 수 있지만, 광학 흐름(optical flow) 또는 SFM(structure-from-motion) 등의 이미지 특징(feature) 기반 물체 식별 방법은 오염에 의해 심각하게 열화된다.

카메라 바깥쪽 렌즈 또는 전면 유리 상의 먼지 또는 침전물을 감지하기 위한 알고리즘 방법이 공지되어 있다.

국제 공개특허공보 WO 2013/083120 A1호는, 이미지 데이터를 평가할 때에 차량 카메라 시야 영역 내에 있는 유리창의 빗방울에 대한 정보를 고려하여 차량 카메라의 이미지 데이터를 평가하는 방법을 공지한다. 빗방울에 대한 정보는 이미지 데이터에서 결정될 수 있다. 이미지 데이터 평가에 대한 예는 물체의 식별이며, 이는 정보를 의도된 방식으로 고려한다. 예를 들어, 식별된 비의 강도로부터 카메라에서 보이는 가장자리의 영향(밝음/어두움 또는 색상 전환)이 추정될 수 있다. 이에 따라 가장자리에 기반한 평가 방법은 임계값이 조정될 수 있다. 특히 이 정보로부터 이미지 데이터의 품질 기준을 도출하여, 이미지 데이터를 평가할 때에 고려할 수 있다.

에이치. 포라브(H. Porav et al.) 등은 문헌[“I Can See Clearly Now: Image Restoration via De-Raining”, 2019 IEEE Int. Conference on Robotics and Automation (ICRA), Montreal, Canada, p. 7087-7093, 검색일 2020년 7월 13일:

http://www.robots.ox.ac.uk/~mobile/Papers/ICRA19_porav.pdf]에서 맺혀 있거나 흘러내리는 빗방울에 의해 저하되는 이미지에서 세그멘테이션 작업을 개선하는 방법을 제시한다. 이를 위해 하나의 렌즈는 실제 물방울로 인해 영향을 받았고, 다른 렌즈는 영향을 받지 않은, 스테레오 데이터 세트가 생성되었다. 이를 이용하여 이미지 재건 및 차선 세그멘테이션의 맥락에서 물방울의 영향을 제거하기 위해 “디노이징 제너레이터”(denoising generator)가 훈련되었다.

예컨대 다운스트림 물체 인식을 개선하고 추가로 빗물 감지 및 빛 감지(rain + light detection)를 위한 기능을 가능하게 하기 위해, 먼지, 빛 번짐, 또는 물방울에도 불구하고 알고리즘을 통해 이미지를 향상시키는 시스템이 바람직하다.

본 발명의 목적은 이를 위한 해결 방법을 제공하는 데 있다.

이 목적은 독립 청구항의 특허대상에 의해 달성된다. 종속 청구항의 특허대상, 이하의 설명, 및 도면들은 바람직한 실시예들이다.

기계 학습을 위한 본 발명에 따른 방법은, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터를 인공 신경망을 사용하여 출력 이미지 데이터로 이미지를 보정하는 것에 관한 것이다. 기계 학습은, 인공 신경망의 입력에 각각 빗물, 빛 번짐 및/또는 먼지로 저하된 제1 이미지와 목표 출력 이미지로서 저하가 없는 동일한 장면의 제2 이미지가 제공되는 방식으로, 수많은 훈련 이미지 쌍을 이용하여 이루어진다. 인공 신경망은 입력 이미지의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되는 확실도(c)를 결정하도록 설계된다. 신경망 설계는 예컨대 인공 신경망의 적절한 디자인 또는 적절한 아키텍처를 통해 이루어질 수 있다. 기계 학습이 완료된 후에 인공 신경망은 새로운 입력 이미지에 대해 확실도(c)를 결정 및 출력할 수 있다. 확실도(c)는 빗물 또는 물에 의한 젖음, 빛 번짐, 및/또는 먼지로 인한 저하 정도에 좌우되고, 훈련형 신경망 사용 시 이미지 보정이 정확하다는 확실성을 특징짓는다.

확실도(c)는 훈련형 신경망에 의해 이미지 보정이 이루어지는 “불확실도”를 어느 정도 특징짓는다.

즉, 확실도(c)는 입력 이미지 데이터의 저하에 좌우되고, 신경망의 이미지 보정이 정확하다는 신경망의 확실성을 특징짓는다.

인공 신경망은 예컨대 합성곱 신경망("Convolutional Neural Network", CNN)일 수 있다.

“저하되지 않은” 출력 이미지 데이터로의 변환은 일반적으로 저하가 감소된 출력 이미지 데이터로의 변환을 포함한다.

카메라는 예컨대 차량 내부에 또는 차량에 고정되고 차량 주변을 포착하는 (단안) 카메라일 수 있다. 차량에 연결된 그러한 카메라의 한 가지 예는 차량 내부에서 전면 유리 뒤에 배치되는 카메라로, 이 카메라는 차량 전방에 있는 차량 주변부 영역을 전면 유리를 통해 포착하고 촬영할 수 있다.

빗물, 빛 번짐, 또는 먼지로 인한 카메라 이미지의 저하는 이미지에서 (국소적) 번짐을 초래한다는 점에서 유사하다. 이 모든 경우에 이미지의 이러한 번짐을 감소시키거나 제거하는 이미지 보정이 바람직하다.

일 실시예에 따르면, 적어도 계수(d)가 보정된 출력 이미지와 저하된 입력 이미지 사이의 차이에 대한 크기로서 결정되고, 훈련의 일부로서 인공 신경망에 제공된다. 계수(d)는 인공 신경망에 의해 학습 시 고려되는데, 예컨대 신경망이 입력 이미지와 출력 이미지와 계수(d)의 관련성을 학습하는 방식으로 고려된다. 그 결과, 학습된 신경망은 추후에 현재 포착되는 저하된 카메라 이미지에 대해 계수(d)를 추정하거나 또는 결정할 수 있고 그에 따라 크게 보정된 출력 이미지를 생성할 수(또는 복원할 수) 있다. 학습 완료 후 예컨대 학습된 신경망에 계수(d)가 사전 설정될 수 있고, 그로 인해 현재 포착된 카메라 이미지의 보정 정도가 제어될 수 있다.

계수(d)는 예컨대 영향을 받지 않은 이미지와 빗물 또는 먼지에 의해 저하된 이미지의 국부적 비교를 이용하여 결정될 수 있다.

이때, 계수(d)는 예컨대 인공 신경망의 입력 레이어에 매핑될 수 있는 2D 필터를 사용하여 결정될 수 있다.

간단한 일 실시예에서, 계수(d)는 2D 저역통과 필터(low-pass filter)의 분산으로 표현될 수 있다. 대안적으로, 두 이미지로부터 로컬 필터로 계산되는, 보다 복잡한 콘트라스트 값[구조적 유사도(structural similarity)] 또는 상관도[절대 거리의 합(SAD), 거리 제곱의 합(SSD), 제로-평균 정규화 상관도(ZNCC)]도 생각해 볼 수 있다.

예컨대 빗물 또는 먼지로 카메라의 렌즈가 오염되었을 때, 물체 식별을 어렵게 할 수 있는 저하된 이미지가 형성된다. 기계 학습 절차의 일부로서, 계수(d)는 목표 출력 이미지와 대응하는 저하된 입력 이미지의 비교로부터 결정될 수 있다. 이러한 결정은 사전에 이루어질 수 있다. 즉, 각각의 학습 이미지 쌍에 대해 계수(d)가 이미 존재한다. 대안적으로 계수(d)의 결정은 학습 절차의 일부로서 순전히 학습 이미지 쌍을 기반으로 이루어질 수 있다.

계수(d)를 통해, 보정된 이미지의 가능한 복원 정도를 보여주고 후속 이미지 처리 기능 또는 이미지 디스플레이 기능에 제공되는 값이 제공될 수 있다. 예를 들어, 낮은 값은 추가의 처리 단계에 있어서의 높은 보정을, 높은 값은 낮은 보정을 나타낼 수 있으며, 생성된 물체 데이터의 품질을 결정할 때에 - 확실도(c)도 마찬가지로 - 고려될 수 있다.

일 실시예에서, 학습 이미지 쌍은 각각 (카메라의 광학 경로에) 빗물, 빛 번짐 및/또는 먼지로 인한 저하가 있는 제1 이미지와 저하가 없는 제2 이미지가 동시에 또는 바로 연속하여 다양한 노출 시간으로 촬영되거나 또는 카메라에 의해 포착됨으로써 형성된다.

일 실시예에 따르면, 학습 이미지 쌍은 적어도 하나의 시퀀스의 연속적인 입력 이미지와 출력 이미지를 (이미지 데이터로) 포함한다. 즉, 이미지 시퀀스(비디오 시퀀스)가 이미지 데이터로 사용된다. 이 경우 기계 학습을 위해 입력 비디오 시퀀스와 목표 비디오 시퀀스가 필요하다.

이미지 시퀀스를 사용하는 경우, 바람직하게는 복원(또는 이미지 보정)에 시간적 측면 또는 맥락이 고려될 수 있다. 예를 들면 시간이 지남에 따라 이동하는 빗방울 또는 먼지 입자를 예로 들 수 있다. 이로 인해 시점 t에서 선명한 시야를, 시점 t+1에서 비로 인해 방해받은 시야를 포함하는 영역이 이미지에 형성된다. 이미지 시퀀스를 사용함으로써 선명한 이미지 영역의 정보가 비 또는 먼지로 방해받은 시야 영역의 복원을 위해 사용될 수 있다.

시간적 측면은 특히 먼지로 덮인 영역에서 선명한 이미지를 복원하는 데에 도움이 된다. 일 실시예에서, 렌즈의 일측 영역은 먼지로 덮여 있고, 타측 영역은 먼지가 없다. 시점 t에서는 물체가 완전히 보이고, 다른 시점 t+1에서는 먼지 때문에 물체가 완전하게 촬영되지 않는다. 물체가 움직이거나 그리고/또는 차량 주행 시 카메라가 움직이는 경우, 시점 t에 획득된 이미지에 있는 물체의 정보가 시점 t+1의 이미지를 복원하는 데에 도움이 될 수 있다.

일 실시예에서, 인공신경망은 두 개의 분리된 출력 인터페이스에 대해 공통의 입력 인터페이스를 갖는다. 공통의 입력 인터페이스는 특징 표현 레이어를 공유한다. 보정된(즉 변환된) 이미지 데이터는 제1 출력 인터페이스에서 출력된다. 제2 출력 인터페이스에서는 적어도 하나의 ADAS 감지 기능의 ADAS 관련 감지가 출력된다. ADAS는 지원 주행 또는 자율 주행을 위한 첨단 운전자 보조 시스템(advanced driver assistance systems)을 뜻한다. 따라서 ADAS 관련 감지는, ADAS/AD 시스템에 중요한 입력 변수를 나타내는 물체, 사물, 도로 사용자이다. 인공 신경망은 ADAS 감지 기능, 예컨대 차선 식별, 물체 식별, 동물 식별, 깊이 식별(이미지 구성 요소의 3D 추정), 시맨틱 식별 등을 포함한다. 학습의 일부로서, 두 출력 인터페이스의 출력이 최적화된다.

빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 카메라의 입력 이미지를 보정하는 방법은 다음 단계를 포함한다:

a) 카메라에 의해 촬영된, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터를 훈련형 인공 신경망에 제공하는 단계,

b) 훈련형 인공 신경망이, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터를 저하되지 않은 출력 이미지 데이터로 변환하도록, 그리고 입력 이미지 데이터의 이미지(또는 각 이미지)에 있어서의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되고 신경망의 이미지 보정이 정확하다는 점을 특징짓는 확실도(c)를 결정하도록 구성되는 단계, 및

c) 학습된 인공 신경망이, 출력 이미지 데이터 및 결정된 확실도(들)(c)를 출력하도록 구성되는 단계.

보정된 출력 이미지 데이터는 바람직하게도 출력 이미지 데이터에서의 더 우수한 기계적 물체 식별, 예컨대 기존의 차선/물체 또는 교통 표지판 감지를 가능하게 한다.

일 실시예에 따르면, 계수(d)가 추정되고, 추정 시 현재 포착된 입력 이미지 데이터의 저하가 고려된다. 누적적으로 또는 대안적으로, 현재 포착된 입력 이미지 데이터의 계수(d)의 산정에 이전에 포착된 이미지 데이터의 계수(들)(d)가 고려될 수 있다.

일 실시예에 따르면, 계수(d)의 결정 또는 추정 시 계수(d)의 시간 전개가 고려될 수 있다. 이를 위해 계수(d)의 시간 전개 및 입력 이미지 시퀀스가 추정에 포함된다.

일 실시예에서, 카메라는 차량에 연결된 주변 감지 카메라이다.

차량에 연결된 주변 감지 카메라가 있는 일 실시예에 따르면, 계수(d) 결정 시 차량의 현재 주변 상황에 대한 정보가 고려된다. 현재 주변 상황에 대한 정보는 예컨대 비 센서 데이터, 외부의 공간 분해된(spatially resolved) 날씨 및/또는 태양 위치 정보(V2X 데이터 또는 내비게이션 시스템, 예를 들어 디지털 카드가 있는 GPS 수신기의 데이터), 주행 상황 정보(시골길, 시내, 고속도로, 터널, 지하도)를 포함할 수 있다. 이러한 정보는 (적어도 부분적으로) 카메라 이미지 데이터의 이미지 처리를 통해서도 획득될 수 있다.

예컨대 현재의 계수(d)는 주변 상황 정보를 기반으로 추정될 수 있고, 이미지의 시간적 순서뿐만 아니라 계수(d)의 내역으로부터 추정될 수 있다.

따라서 학습된 인공 신경망 사용 시 계수(d)의 추정은 동적으로 이루어질 수 있다.

일 실시예에서, 차량에 연결된 주변 감지 카메라의 보정된 이미지 데이터 및 결정된 확실도(들)의 출력과 선택적으로 계수(d)의 출력은, ADAS 관련 감지를 결정 및 출력하는 적어도 하나의 ADAS 감지 기능에서 이루어진다. ADAS 감지 기능은 공지된 에지 감지법(edge detection) 또는 패턴 감지법뿐만 아니라, 인공 신경망을 이용하여 관련 이미지 물체를 식별하고 선택적으로 분류할 수 있는 감지법도 포함할 수 있다.

대안적인 실시예에서, 접근 방법이 확장될 수 있고, 이미지 데이터의 보정을 위한 인공 신경망은 ADAS 감지 기능, 예컨대 차선 식별, 물체 식별, 깊이 식별, 시맨틱 식별을 위한 신경망과 조합될 수 있다. 따라서 컴퓨팅 시간에서 추가의 노력이 거의 초래되지 않는다. 학습 후, 변환된 (보정된) 이미지 데이터 출력을 위한 (제1) 출력 인터페이스는 제거될 수 있으므로, 차량에 사용할 때에는 ADAS 감지를 위한 (제2) 출력 인터페이스만 존재한다.

추가의 실시예에서, 불분명한 또는 저하된 이미지 데이터의 복원 대신, 검증을 위한 시뮬레이션을 위해 학습된 복원 프로파일로부터 인공적인 빗물 또는 먼지를 촬영된 이미지 데이터에 추가하기 위해 학습된 방법이 역으로 사용될 수 있다.

추가의 실시예에서, 학습된 복원 프로파일은 촬영된 이미지 데이터에서 인공 빗물 시뮬레이션의 품질을 평가하는 데에도 사용될 수 있다.

추가의 실시예에 따르면, 본원의 방법은 증강 현실(augmented reality)에, 차량용 블랙박스 영역에, 그리고 사고 기록에 응용될 수 있다.

본 발명은 또한 빗물, 빛 번짐, 및/또는 먼지로 저하된 카메라의 입력 이미지 데이터를 출력 이미지 데이터로 보정하기 위해 구성된, 적어도 하나의 데이터 처리 유닛을 포함하는 장치에 관한 것이다. 이 장치는 입력 인터페이스, 학습된 인공 신경망 그리고 (제1) 출력 인터페이스를 포함한다.

입력 인터페이스는 카메라에 의해 포착되고, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터를 수신하기 위해 구성된다. 학습된 인공 신경망은, 저하된 입력 이미지 데이터를 저하되지 않은 출력 이미지 데이터로 변환하도록, 그리고 입력 이미지 데이터의 이미지 또는 각 이미지에 있어서의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되고 신경망의 이미지 보정이 정확하다는 점을 특징짓는 확실도(c)를 결정하도록 구성된다.

(제1) 출력 인터페이스는 변환된 (보정된) 이미지 데이터와 그리고 예컨대 결정된 확실도(들) c를 출력하도록 구성된다.

일 실시예에 따르면, 입력 이미지 데이터는 적어도 하나의 연속하여 포착된 입력 이미지 시퀀스를 입력 이미지 데이터로 포함하고, 인공 신경망은 적어도 하나의 시퀀스의 연속된 입력 이미지와 출력 이미지를 이용하여 학습된다.

장치 또는 데이터 처리 유닛은 특히 마이크로 컨트롤러 또는 마이크로 프로세서, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC: application specific integrated circuit), 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등과 적합한 프로세스 수행을 위한 소프트웨어를 포함할 수 있다.

일 실시예에 따르면, 데이터 처리 유닛은 하드웨어 기반 이미지 전처리 스테이지[이미지 신호 프로세서(image signal processor, ISP)]에 구현된다.

일 실시예에서, 이미지 보정을 위해 학습된 인공 신경망은 예컨대 시맨틱 세그멘테이션, 차선 감지 또는 물체 감지를 위한 차량 탑재 ADAS 감지 신경망의 구성 요소로, 공유된 입력 인터페이스(입력 레이어 또는 특징 표현 레이어), 두 개의 분리된 출력 인터페이스(출력 레이어)를 포함하고, 제1 출력 인터페이스는 변환된 출력 이미지 데이터를 출력하도록 구성되고, 제2 출력 인터페이스는 ADAS 감지(이미지 식별 데이터)를 출력하도록 구성된다.

또한, 본 발명은 컴퓨터 프로그램 요소에 관한 것으로, 데이터 처리 유닛이 당해 컴퓨터 프로그램 요소로 프로그래밍된 때, 데이터 처리 유닛에게 카메라로부터의 입력 이미지 데이터를 출력 이미지 데이터로 이미지 보정하는 방법을 수행하도록 명령하는 컴퓨터 프로그램 요소에 관한 것이다.

또한, 본 발명은 이러한 프로그램 요소가 저장된 컴퓨터 판독 가능 저장 매체에 관한 것이다.

또한, 본 발명은 적어도 하나의 데이터 처리 유닛을 포함하는 장치의 인공 신경망 학습을 위해 카메라로부터의 입력 이미지 데이터를 출력 이미지 데이터로 이미지 보정하는 기계 학습법의 사용에 관한 것이다.

따라서 본 발명은 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다.

본질적인 장점은 다음과 같다:

- 카메라에 저하(예, 김 서림)가 있는 경우에 물체 식별 가능

- 최적화된 대응점 검색을 위해 (특징 일치 검색) 신경망으로부터 인간 및 컴퓨터 비전을 위한 이미지 데이터 스트림 생성

자동차에 사용하는 것 외에 하기와 같은 많은 적용 분야가 있다:

- 버스, 철도, 항공기 및 로봇 장치 시스템의 보조 시스템

- 특징 기반 감지의 모든 응용 분야, 예를 들어, 먼지/빗물/빛으로 인한 장애 발생 시 특징 부족으로 극적인 열화를 겪는, 광학 흐름, SFM 등을 기반으로 하는 감지 방법

- 특히 특징 검색을 위해 광학 흐름을 기반으로 하는 보조 시스템

- 물에 젖거나 먼지가 있을 때 특징이 부족하거나 콘트라스트가 적어서 성능이 크게 저하되는 카메라의 온라인 보정.

이하에서 실시예 및 도면을 보다 상세하게 설명한다.

도 1은 주변 감지 카메라를 구비한 차량의 개략도이다.
도 2는 저하된 카메라 이미지를 보정하기 위한 시스템을 도시한다.
도 3은 이미지 보정용 제1 신경망과 감지 기능용 다운스트림 제2 신경망을 포함하는 시스템을 도시한다.
도 4는 이미지 보정과 감지 기능이 조합된 시스템을 도시한다.
도 5는 이미지 보정이 학습에 의해서만 계산 및 출력되는 보정된 시스템을 도시한다.

도 1은 차량 내부에서 전면 유리 뒤에 배치되어 예컨대 차량 주위를 포착하는 주변 감지 카메라(K)를 장착한 차량(F)을 개략도로 도시한다. 야간에, 차량(F)의 전조등(S)이 차량 전방의 주변 환경을 조명하고, 주변 환경은 카메라(K)에 의해 포착된다. 카메라(K)는 특히 단안 카메라(monocular camera)일 수 있다. 카메라(K)로 차량 주변의 일련의 이미지가 포착된다. 차량(F)이 움직이는 경우, 카메라(K)가 촬영하는 주변 영역은 지속적으로 변한다.

빗물 또는 먼지가 전면 유리 또는 바깥쪽 카메라 렌즈에 있거나 또는 태양이 낮게 떠 있을 때에 햇빛과 같은 간섭광 또는 강한 반사광이 광학 경로에 떨어지면, 이는 카메라(K)가 포착하는 이미지에 심각한 저하를 초래한다.

도 2는 빗물, 빛 번짐, 및/또는 먼지가 있을 때에 카메라 이미지를 보정하기 위한 시스템의 일반적인 개요를 개략적으로 도시한다. 본질적인 구성 요소는, 학습 단계에서 학습 입력 이미지 세트(In(In1, In2, In3, ...))에 대응하는 보정된 학습 (목표) 출력 이미지 세트(Out(Out1, Out2, Out3, ...))를 할당하도록 학습하는 인공 신경망(CNN1)이다. 여기서 할당이란, 신경망(CNN1)이 보정된 이미지를 생성하도록 학습하는 것을 말한다. 입력 이미지(In1, In2, In3, ...)는 예컨대 비가 올 때에 사람의 눈으로는 윤곽이 뚜렷하지 않거나 흐릿한 다소 큰 물체, 예컨대 자전거를 표시한 큰 도로 표지판이나 하늘만 식별되는 도로 풍경을 포함할 수 있다. 대응하는 보정된 이미지(Out1, Out2, Out3, ...)에서는 추가로 교차로 윤곽, 신호등, 나무, 및 가로등을 식별할 수 있다. 빗방울로 인해 컬러 이미지가 저하된 그리고 저하되지 않은 실제 사진 이미지는 예컨대 포라브(Porav et al.) 등의 문헌의 도 1의 사진에서 볼 수 있다.

계수(d)는 선택적으로 신경망(CNN1)에 대한 추가의 입력 변수로 이용된다. 계수(d)는 이미지의 저하(빗물, 빛 번짐, 또는 먼지)를 보정하는 정도를 제어하는 제어 매개변수이다. 학습 시, 계수(d)는 학습 이미지와 보정된 이미지(In1, Out1; In2, Out2; In3, Out3; ...)로 이루어진 이미지 쌍에 대해 산출되거나 또는 이미지 쌍(In1, Out1; In2, Out2; In3, Out3; ...)으로 이루어진 훈련의 범위에서 사전에 산출될 수 있고 신경망(CNN1)에 제공될 수 있다. 이를 통해 계수(d)가 함께 학습될 수 있다.

학습된 신경망(CNN1) 사용 시, 계수(d) - 이 계수(d)는 외부 회귀 매개변수(regression parameter) (임의의 그라데이션 적용)로 생각할 수도 있음 - 를 설정함으로써, 신경망(CNN1)이 현재 포착된 이미지를 보정하는 정도가 제어될 수 있다. 계수(d)는 +/-10% 범위에서 변동될 수 있으므로, 학습 중에 이 점이 고려된다. 차량에서 추론 중에 계수(d)의 오추정에 대해 강건하게 약 +/-10% 범위 내에 있도록, 계수(d)는 훈련 중(예, 신경망 훈련의 다양한 시점 중)에 약 +/-10% 정도 노이즈가 발생될 수 있다. 즉, 필요한 계수(d)의 정확도는 +/- 10% 범위이고, 따라서 신경망(CNN1)은 이 매개변수의 추정 시 오차에 대해 강건하다.

대안적으로 또는 추가적으로, 수행된 이미지 보정에 대해 계수(d)가 훈련형 신경망(CNN1)을 통해 출력될 수 있다. 이를 통해 다운스트림 이미지 식별 기능은 원래 포착된 이미지가 보정된 정도에 대한 정보를 획득한다.

인공 신경망(CNN1)은 입력 이미지의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되는 확실도(c)를 결정하도록 설계된다. 신경망 설계는 예컨대 인공 신경망(CNN1)의 아키텍처를 적절하게 설계함으로써 이루어질 수 있다. 기계 학습이 완료된 후, 인공 신경망(CNN1)은 새로운 입력 이미지에 대해 확실도(c)를 결정 및 출력할 수 있다. 확실도(c)는 빗물 또는 물에 의한 젖음, 빛 번짐, 및/또는 먼지로 인한 저하 정도에 좌우되고, 훈련형 신경망 사용 시 이미지 보정이 정확하다는 확실성을 특징짓는다.

도 2에는 세 개의 이미지 쌍(In1 + Out1, In2 + Out2, In3 + Out3)이 개략적으로 도시된다. 훈련형 신경망(CNN1)에 의해 각 이미지 쌍에 대해 확실도(c1, c2 또는 c3)가 결정 및 출력된다.

빗물, 빛 번짐, 또는 먼지로 인한 이미지의 보정 품질은 수많은 요소(예, 학습 데이터에 유사한 사례 존재, 가능한 보정을 위한 충분한 노출, 모호한 상황 방지, 등)에 좌우되므로, 신경망은 이미지 보정 외에 신경망이 결정을 내릴 때에 사용하는 확실성의 크기도 제공한다. 이 확실도(c)는 다음 구현예들 가운데 하나 또는 이들의 조합을 포함할 수 있다.

- 확실도 c_Prob: 이 경우에 신경망의 출력은 신경망이 올바른 결정을 내리는 확률로서, 확률론적으로 해석될 수 있도록 보정된다. 이를 위한 값은 [0, 1] 사이의 범위로 정규화되고, 이는 신경망이 이미지의 올바른 보정을 계산한 확률 0% 내지 확률 100%의 스펙트럼에 해당한다. 이러한 보정은 학습 이미지 데이터 세트를 이용한 본질적인 기계 학습 프로세스 완료 후, 이어서 검증 이미지 데이터 세트를 이용하여 학습의 질을 검사함으로써 이루어질 수 있다. 검증 이미지 데이터 세트도 각각 빗물, 빛 번짐 및/또는 먼지로 인해 저하된 제1 이미지와 대응하는 목표 출력 이미지로서 동일한 장면의 저하되지 않은 제2 이미지로 이루어진 이미지 쌍을 포함한다. 실질적으로 입력 이미지와 목표 출력 이미지의 일부는 보류되어서 즉, 기계 학습 프로세스에 사용되지 않고, 이어서 검증에 사용될 수 있다.

- 표준 편차와 유사한 산포도 c_Dev: 이 경우에 신경망 출력의 불확실도는, 신경망 출력의 산포를 설명하는 방식으로 평가된다. 이는 다양하게 구현될 수 있다. 이를 위해 측정 불확실도와 모델 불확실도를 세분하는 것이 가능하다. 측정 불확실도는 입력 데이터에 의해 초래되는 불확실도, 예컨대 가벼운 노이즈로 인한 불확실도를 기준으로 한다. 이는 추가의 출력을 통해 신경망에 추가될 수 있고, 오차 함수를 변경함으로써 훈련될 수 있다. 모델 불확실도는 제한된 매핑 정확도와 신경망의 일반화 가능성으로 인해 초래되는 불확실도를 나타낸다. 이는 학습 데이터의 범위 및 신경망 설계의 아키텍처 등의 요소를 기준으로 한다. 모델 불확실도는 예컨대 몬테 카를로 드롭아웃(Monte Carlo dropout) 또는 신경망 앙상블을 통해 추정될 수 있다. 모델 불확실도와 측정 불확실도는 합산하여 조합될 수 있다.

- 확실도와 산포도의 조합

확실도(c)는 전체 이미지, 이미지 범위, 또는 이미지의 개별 픽셀에 대해 계산될 수 있다.

확실도(c)를 기반으로 다음을 결정할 수 있다:

- c_Prob low: 신경망의 추정에서 신뢰도가 낮다 - 오추정이 증가한다.

- c_Prob high: 신경망의 추정에서 신뢰도가 높다 - 이미지 보정이 대부분의 경우 정확하다.

- c_Dev low: 신경망의 이미지 보정의 산포가 낮다 - 따라서 신경망이 매우 정확한 이미지 보정을 규정한다.

- c_Dev high: 표준 편차와 유사한 이미지 보정의 추정된 산포가 높고, 신경망의 출력이 부정확하다/선명하지 않다 - 입력 데이터 또는 신경망 모델링에서의 작은 변화가 이미지 보정에서 오차를 초래할 수 있다.

- 조합:

o c_Prob high와 c_Dev low: 높은 신뢰도로 취할 수 있는, 매우 안정적이고 정확한 이미지 보정

o c_Prob low와 c_Dev high: 오히려 거부되는, 매우 불확실하고 부정확한 이미지 보정

o c_Prob high와 c_Dev high 또는 c_Prob low와 c_Dev low: 이 보정은 불확실도를 내포하고 있고, 이 경우 이미지 보정을 조심스럽게 사용할 것을 권장한다.

특히 안전이 중요한 기능에는 확실도를 추가하는 것이 중요하다.

학습 데이터(학습 이미지(In1, In2, In3, ...)와 보정된 연관 이미지(Out1, Out2, Out3, ...))를 생성하는 방법은 포라브(Porav et al.) 등의 문헌에서 도 8을 이용하여 설명한 것과 같은 “스테레오 카메라 구조” - 그 설명에 따르면, 투명한 스크린이 있는 두 부분으로 이루어진 챔버가 서로 가까운 거리에 있는 두 개의 동일한 카메라 모듈 앞에 배치되고, 예컨대 오른쪽 스테레오 카메라 모듈 전방의 챔버에는 물방울이 분사되는 반면, 왼쪽 스테레오 카메라 모듈 전방의 챔버에는 방해물이 없음 - 를 이용하여 이미지 데이터를 촬영하는 것이다.

빛 번짐으로 인한 방해를 유사한 방식으로 시뮬레이션하기 위해, 예컨대 하나의 챔버로만 광원이 향하게 할 수 있다. 또는 먼지의 경우도 하나의 챔버에만 먼지를 적용할 수 있다.

대안적으로, 이미지 쌍영향을 받지 않은 이미지를 이용하여 학습 이미지 쌍을 생성하여서 이들을, 빗물, 빛 번짐, 또는 먼지의 효과를 이미지에 모사하는 렌더링 프로세스를 덜 이용하여, 렌더링할 수 있다.

신경망(CNN1)이 훈련되면, 다음과 같은 체계에 따라 이미지 보정이 이루어진다:

입력 이미지 → CNN1

선택적: 계수(d) → CNN1

CNN1 → 보정된 출력/출력 이미지 + 확실도(c).

도 3 내지 도 5는 이미지 보정을 위한 제1 신경망과, 운전자 보조 기능 및 자율 주행 기능을 위한 하나 이상의 신경망의 가능한 조합의 실시예들을 도시한다.

도 3은 이미지 보정용 제1 신경망과 감지 기능(fn1, fn2, fn3, fn4)용 다운스트림 제2 신경망(CNN2)을 포함하는 시스템을 도시한다. 감지 기능(fn1, fn2, fn3, fn4)은 ADAS 또는 AD 기능과 관련된 물체, 구조, 속성(일반적으로, 특징)을 이미지 데이터에서 감지하는, 이미지 처리 기능이다. 기계 학습에 기반하는 이러한 수많은 감지 기능(fn1, fn2, fn3, fn4)은 이미 고안되어 있거나 또는 최신 개발 대상이다(예: 교통 표지판 분류, 물체 분류, 시맨틱 세그멘테이션, 깊이 추정, 차선 표시 식별, 및 위치 식별). 제2 신경망(CNN2)의 감지 기능(fn1, fn2, fn3, fn4)은 가시성 조건이 열악할 때 원래의 입력 이미지 데이터(Ini) 보다 보정된 이미지(Opti)에서 더욱 우수한 결과를 제공한다.

두 개의 신경망(CNN1과 CNN2)이 학습된 경우, 프로세스는 다음과 같은 체계에 따라 진행될 수 있다:

입력 이미지(Ini), 선택적 계수(d) → CNN1 → 보정된 출력/출력 이미지(Opti) + 확실도(c) → 감지 기능(fn1, fn2, fn3, fn4)용 CNN 2 → 감지 출력: 물체, 깊이, 차선, 시맨틱, ...

도 4는 경우에 따라 계수(d)에 의해 제어되는, 입력 이미지(Ini)의 이미지 보정을 위한 신경망(CNN10)을 도시하는 바, 계수(d)는 감지 기능(fn1, fn2, fn3, fn4)에 대한 신경망으로 특징 표현 레이어를 (입력 레이어 또는 하위 레이어로) 분할한다. 이미지 보정 및 감지 기능에 대한 공통 특징은 신경망(CNN10)의 특징 표현 레이어에서 학습된다.

공유된 입력 레이어와 두 개의 분리된 출력이 있는 신경망(CNN10)은 보정된 출력/출력 이미지(Opti)와 확실도(c)를 출력하기 위한 제1 출력(CNN11)과, 물체, 깊이, 차선, 시맨틱 등의 감지를 출력하기 위한 제2 출력(CNN12)을 갖는다.

학습 시 특징 표현 레이어는 이미지 보정뿐만 아니라 감지 기능(fn1, fn2, fn3, fn4) 측면에서 최적화되기 때문에, 이미지 보정은 동시에 감지 기능(fn1, fn2, fn3, fn4) 개선에도 영향을 끼친다.

보정된 이미지(Opti) 출력을 원하지 않거나 또는 필요하지 않은 경우, 접근 방식은 도 5를 참조하여 설명되는 바와 같이 더욱 다양해질 수 있다.

도 5는 특징 최적화를 통해 신경망 기반 이미지 보정을 목적으로 하는, 도 4의 시스템을 기반으로 하는 접근 방식이다. 컴퓨팅 시간을 절감하기 위해, 감지 기능(fn1, fn2, fn3, fn4)에 대한 특징이 학습 중에 이미지 보정 및 감지 기능(fn1, fn2, fn3, fn4) 측면에서 최적화된다.

런타임 시, 즉 훈련형 신경망(CNN10, CNN11, CNN12) 사용 시, 보정된 이미지(Opti)가 계산되지 않는다.

그럼에도 불구하고 이미 설명한 바와 같이 감지 기능(fn1, fn2, fn3, fn4)은 이미지 보정 및 감지 기능의 공통 훈련에 의해, 학습 시 감지 기능(fn1, fn2, fn3, fn4)만 최적화되는 감지 기능(fn1, fn2, fn3, fn4)을 위한 단 하나의 신경망(CNN2)만 있는 시스템에 비해 개선된다.

학습 단계에서 추가의 출력 인터페이스(CNN11)에 의해 보정된 이미지(Opti)가 출력되고 지상 실측 정보(대응하는 보정된 학습 이미지)와 비교된다. 테스트 단계에서 또는 런타임 시에 이 출력(CNN11)이 계속 사용될 수 있거나 또는 컴퓨팅 시간 절감을 위해 차단될 수도 있다. 추가 출력(CNN11)이 있는 이 훈련에서, 감지 기능(fn1, fn2, fn3, fn4)의 가중치가 감지 기능(fn1, fn2, fn3, fn4)에 대해 이미지 보정을 고려하도록 수정된다. 따라서 감지 기능(fn1, fn2, fn3, fn4)의 가중치는 내재적으로 이미지 보정 정보를 학습한다.

빗물, 빛 번짐, 또는 먼지로 인한 저하에도 불구하고 기초가 되는 카메라 시스템의 이미지 데이터를 알고리즘을 통해 이러한 저하가 없는 촬영에 상응하는 이미지로 변환하는, 보조 시스템의 추가의 양태 및 실시예는 이하에서 설명한다. 변환된 이미지는 순수한 디스플레이 목적으로 이용되거나 특징 기반 식별 알고리즘에 대한 입력으로 이용될 수 있다.

1) 제1 실시예에서, 시스템에서의 계산은, 예컨대 감지 유닛 또는 디스플레이 유닛의 업스트림에 배치되며 김 서림, 먼지, 또는 물방울이 포함되어 콘트라스트 및 색상 정보가 적은 입력 이미지를 보정된 이미지로 변환하는 신경망을 기반으로 한다. 이러한 목표를 위해 신경망은 "흐릿한 입력 이미지"와 이에 연관된 "보정된 이미지"로 구성된 데이터 세트로 학습되었다.

2) 특히 신경망은, 보정된 이미지를 사용함으로써 개선되어야 할 이미지 쌍에 나타나는 특징들이 김 서림 또는 먼지에도 불구하고 이후의 대응점 검색 또는 물체 식별을 위해 획득되고, 이상적으로는 심지어 증폭되는 방식으로 훈련된다.

3) 이미지 보정/개선을 위해 신경망을 훈련할 때에 디스플레이 및 물체 감지를 위한 특징 기반 방법이 고려될 수 있으며, 이 방법은 식별되어야 할 특징에 대해 특화되고, 이 특징은 이어지는 가공을 위해 명시적으로 강조된다.

4) 추가 실시예에서, 이미지 개선 또는 이미지 보정을 위한 방법은 하드웨어 기반 이미지 전처리 단계, 즉 ISP에 통합될 수 있다. 이 ISP는, 변환을 수행하고 처리된 정보를 원본 데이터와 함께 가능한 감지 프로세스 또는 디스플레이 프로세스에 제공하는 인공 신경망을 하드웨어 측면에서 보완한다.

5) 추가의 실시예에서, 훈련을 위해 신경망에 오염 정보 또는 김 서림 정보 외에 이미지 품질에 관한 정보가 제공될 수 있다. 이로 인해 물체 식별과 인간 비전(Human-Vision)에 최적화된 이미지 데이터가 계산되는 방식으로 이미지 보정 시스템 및 방법이 최적화된다.

김 서림 또는 물방울이 있을 때에 이미지를 보정하는 것 외에, 이 시스템은 예컨대 와이퍼 활성화를 위해 또는 위성 카메라 청소 요청을 알리기 위해 물방울 또는 먼지를 식별한다. 밝기 감지와 연동하여 이런 방식으로 이미지 보정 외에 비/일광 감지(Rain Light Detection) 기능도 구현될 수 있다.

Claims (15)

1. 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 카메라(K)의 입력 이미지 데이터를 인공 신경망(CNN1, CNN10, CNN11, CNN12)을 사용하여 출력 이미지 데이터로 이미지 보정하는 기계 학습 방법으로서, 학습은 다수의 학습 이미지 쌍(In1, Out1; In2, Out2; In3, Out3; ...)을 이용하여, 각각 빗물, 빛 번짐 및/또는 먼지로 인한 저하가 있는 제1 이미지(In1, In2, In3, ...)와 저하가 없는 동일한 장면의 목표 출력 이미지인 제2 이미지(Out1, Out2, Out3, ...)가 인공 신경망(CNN1, CNN10) 입력에 제공되는 방식으로 이루어지고,
   상기 인공 신경망(CNN1, CNN10, CNN11, CNN12)은 입력 이미지의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되는 확실도(c)를 결정하도록 설계되고,
   상기 인공 신경망(CNN1, CNN10, CNN11, CNN12)은 기계 학습이 완료된 후 새 입력 이미지에 대한 확실도(c)를 결정 및 출력할 수 있는, 기계 학습 방법.
2. 제1항에 있어서, 상기 학습 이미지 쌍(In1, Out1; In2, Out2; In3, Out3; …)은 각각 빗물, 빛 번짐 및/또는 먼지로 인한 저하가 있는 제1 이미지(In1, In2, In3, …)와 저하가 없는 제2 이미지(Out1, Out2, Out3, …)가 동시에 또는 바로 연속하여 촬영되어 생성되는, 기계 학습 방법.
3. 제1항 또는 제2항에 있어서, 적어도 하나의 계수(d)가 학습 이미지 쌍(In1, Out1; In2, Out2; In3, Out3; …)의 목표 출력 이미지(Out1, Out2, Out3, …)와 저하된 입력 이미지(In1, In2, In3, …) 간의 차이에 대한 크기로서 결정되어 상기 인공 신경망에 제공되는, 기계 학습 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 학습 이미지 쌍(In1, Out1; In2, Out2; In3, Out3; …)은 적어도 하나의 시퀀스의 연속적인 입력 이미지와 출력 이미지를 포함하는, 기계 학습 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인공 신경망(CNN1, CNN10, CNN11, CNN12)은 두 개의 분리된 출력 인터페이스(CNN11, CNN12)에 대해 공통 입력 인터페이스를 갖고, 상기 공통 입력 인터페이스는 공유된 특징 표현 레이어를 가지며, 상기 제1 출력 인터페이스(CNN11)에서는 보정된 이미지 데이터(Opti)가 출력되고, 상기 제2 출력 인터페이스(CNN12)에서는 적어도 하나의 ADAS 감지 기능(fn1, fn2, fn3, fn4)의 ADAS 관련 감지가 출력되고, 상기 두 출력 인터페이스(CNN11, CNN12)의 출력의 최적화가 학습의 일부로서 이루어지는, 기계 학습 방법.
6. 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 카메라(K)의 입력 이미지를 보정하는 방법으로서,
   a) 상기 카메라(K)에 의해 포착된, 빗물, 빛 번짐, 및/또는 먼지로 인해 저하된 입력 이미지 데이터(Ini)를 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)에 제공하는 단계,
   b) 상기 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)이, 빗물, 빛 번짐, 및/또는 먼지로 인한 저하가 있는 입력 이미지 데이터(Ini)를 저하가 없는 출력 이미지 데이터(Opti)로 변환하도록, 그리고 입력 이미지 데이터의 이미지에 있어서의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되며 상기 신경망의 이미지 보정이 정확하다는 점을 특징짓는 확실도(c)를 결정하도록 구성되는 단계, 및
   c) 상기 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)이, 상기 출력 이미지 데이터(Opti)와 상기 결정된 확실도(c)를 출력하도록 구성되는 단계를 포함하는, 카메라의 입력 이미지를 보정하는 방법.
7. 제6항에 있어서, 상기 입력 이미지 데이터는 적어도 하나의 시퀀스의 연속 포착 입력 이미지들을 입력 이미지 데이터로 포함하는, 카메라의 입력 이미지를 보정하는 방법.
8. 제6항 또는 제7항에 있어서, 상기 카메라(K)는 차량에 장착된 주변 감지 카메라인, 카메라의 입력 이미지를 보정하는 방법.
9. 제8항에 있어서, 상기 변환된 이미지 데이터(Opti)와 결정된 확실도(c)의 출력은 적어도 하나의 ADAS 감지 기능에서 이루어지고, 상기 감지 기능은 변환된 이미지 데이터를 기반으로 ADAS 관련 감지를 결정 및 출력하는, 카메라의 입력 이미지를 보정하는 방법.
10. 제6항 내지 제9항 중 어느 한 항에 있어서, 단계 a)에서는 계수(d)가 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12)에 추가로 제공되고, 단계 b)에서는 상기 변환이 계수(d)에 따라 제어되는, 카메라의 입력 이미지를 보정하는 방법.
11. 빗물, 빛 번짐, 및/또는 먼지로 저하된 카메라(K)의 입력 이미지 데이터(Ini)를 출력 이미지 데이터(Opti)로 보정하도록 구성된 적어도 하나의 데이터 처리 유닛을 구비한 장치로서,
    - 빗물, 빛 번짐, 및/또는 먼지로 인한 저하가 있는 상기 카메라(K)의 입력 이미지 데이터(Ini)를 수신하도록 구성된 입력 인터페이스,
    - 입력 이미지 데이터(Ini)를 저하가 없는 출력 이미지 데이터(Opti)로 변환하도록, 그리고 입력 이미지 데이터의 이미지에 있어서의 물에 의한 젖음 정도, 빛 번짐 정도, 및/또는 먼지의 정도에 좌우되며 상기 신경망의 이미지 보정이 정확하다는 점을 특징짓는 확실도(c)를 결정하도록 구성된 훈련형 인공 신경망(CNN1, CNN10, CNN11, CNN12), 및
    - 상기 변환된 출력 이미지 데이터(Opti)와 상기 결정된 확실도(c)를 출력하도록 구성된 제1 출력 인터페이스(CNN11)를 포함하는, 장치.
12. 제11항에 있어서, 상기 데이터 처리 유닛이 하드웨어 기반 이미지 전처리 스테이지에 구현된, 장치.
13. 제11항 또는 제12항에 있어서, 상기 카메라(K)는 차량에 연결된 주변 감지 카메라이고, 이미지 보정을 위한 상기 훈련형 인공 신경망(CNN1, CNN10, CNN11)은, 공유된 입력 인터페이스와 두 개의 분리된 출력 인터페이스를 갖는 차량 탑재 ADAS 감지 신경망(CNN2, CNN12)의 구성 요소이고, 상기 제1 출력 인터페이스(CNN11)는 상기 보정된 출력 이미지 데이터(Opti)를 출력하도록 구성되고, 상기 제2 출력 인터페이스(CNN12)는 상기 ADAS 관련 감지를 출력하도록 구성된, 장치.
14. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 입력 이미지 데이터는 적어도 하나의 시퀀스의 연속 포착 입력 이미지들을 입력 이미지 데이터로 포함하고, 상기 인공 신경망은 적어도 하나의 시퀀스의 연속적인 입력 이미지와 출력 이미지를 이용하여 훈련되는, 장치.
15. 컴퓨터 프로그램 요소로서, 데이터 처리 유닛이 당해 컴퓨터 프로그램 요소로 프로그래밍된 때, 상기 데이터 처리 유닛에게 제6항 내지 제10항 중 어느 한 항에 따른 방법을 수행하도록 명령하는, 컴퓨터 프로그램 요소.

Images