KR20230038577A - 광학 센서 어레이 상의 먼지를 검출하기 위한 방법 - Google Patents

Abstract

본 발명은 광학 센서 배열체의 신호 경로에서 먼지를 검출하기 위한 방법에 관한 것이다. 센서 배열체의 복수의 광검출 소자들에 의해 객체들(O1 내지 On)을 검출하기 위해, 본 발명은 검출될 객체들(O1 내지 On) 상에서 반사된 광 신호들을 제공하며, 각각의 객체(O1 내지 On)의 유형에 따라 각각의 객체가 분류되며, 분류 동안 객체(O1 내지 On)는 특정 반사율을 갖는 객체 클래스에 할당되며, 객체(O1 내지 On)까지의 거리가 측정되며, 복수의 광검출 소자들에서 검출된 광 신호들의 크로스토크가 결정되며, 분류 동안 확인된 특정 반사율, 거리 및 크로스토크의 정도에 기초하여 더러움의 정도가 확인된다.

Description

광학 센서 어레이 상의 먼지를 검출하기 위한 방법

본 발명은 광학 센서 어레이(optical sensor array)의 신호 경로에서 먼지(dirt)를 검출하는 방법에 관한 것이다.

DE 10 2005 003 970 A1에는 차량의 라이다 센서(lidar sensor)를 포함하는 센서 어레이 상에서 먼지를 식별하기 위한 방법이 개시되어 있는데, 여기서 센서 어레이에 의해 커버되는 영역은 서로 다른 하위 영역들로 분할되며, 센서 어레이의 동작 가능성을 결정하기 위해, 특정 주변 영역으로부터 하위 영역으로 송신되는 센서 신호들이 평가된다. 이는 서로 다른 하위 영역들을 지나 특정 주변 영역으로 이동하는 동안 서로 다른 하위 영역들에 대해 순차적으로 검출되는 센서 신호들을 평가하는 것을 포함한다. 이를 위한 하위 영역들은 검출 범위들이 각각 하나의 하위 영역을 나타내는 다수의 개별 센서들이 검사되는 방식으로 지정된다.

본 발명은 종래 기술보다 향상된 광학 센서 어레이의 신호 경로에서 먼지를 검출하기 위한 방법을 제공하고자 한다.

본 발명은 청구항 1에 제시된 특징들을 갖는 방법에 의해 이러한 목표를 달성한다.

본 발명의 유리한 실시예들은 종속 청구항들의 목적이다.

라이다 센서 또는 카메라(camera)와 같은 광학 센서 어레이의 신호 경로에서 먼지를 검출하기 위한 본 발명에 따른 방법에 있어서, 객체들을 검출하기 위해, 객체들 상에서 반사된 광 신호들이 센서 어레이 내의 다수의 광검출 소자들에 의해 검출된다. 각각의 객체는 그 유형에 기초하여 분류되며, 분류 시에 객체는 미리 결정된 반사율을 갖는 객체 클래스(object class)에 할당된다. 그 후, 객체까지의 거리가 측정되며, 다수의 광검출 소자들에서 검출된 광 신호들의 크로스토크(crosstalk)가 식별되며, 분류 동안 확인된 미리 결정된 반사율, 거리 및 크로스토크의 크기에 기초하여 더러움(dirtiness)의 정도가 결정된다.

센서 어레이들의 광학 경로들이 더럽거나 오염되면 센서 어레이들의 검출 성능이 저하되므로, 센서 어레이, 특히 운전자 지원 시스템 또는 차량 및/또는 로봇의 자동화된, 특히 완전 자동화된 또는 자율적인 동작을 위한 시스템에 의해 검출되는 데이터를 사용하는 시스템의 가용성(availability) 및 신뢰성이 저하된다. 센서 어레이 내부가 오염된다면, 이는 쉽게 해결할 수 없는 잠재적인 결함이다. 그러나 센서 어레이 커버의 오염은 적절한 세척 시스템들에 의해 제거할 수 있다. 따라서, 오염 검출은 이러한 세척 시스템의 동작 및 안전 관련 본질적 제한(intrinsic limitation)들을 모니터링하는 데 필수적이다.

이 방법은 센서 어레이들의 광학 경로들에서 먼지나 오염을 매우 쉽고 신뢰성 있게 검출할 수 있도록 하여, 센서 어레이에 의해 검출된 데이터를 사용하는 시스템들의 시스템 제한들이 정확하게 인식될 수 있고, 센서 어레이가 세척될 수 있다. 이렇게 하면 센서 가용성의 증대로 인해 시스템 가용성이 증대된다. 또한, 성능 제한들의 신뢰성 있는 검출을 통해 시스템의 안전성이 증대된다.

이 방법의 가능한 일 실시예에서, 더러움의 정도는 적어도 하나의 룩업 테이블(look-up table)을 사용하여 결정된다. 이는 매우 쉽고 안정적으로 이루어질 수 있다.

이 방법의 가능한 다른 실시예에서, 적어도 하나의 룩업 테이블은 센서 어레이에 의해 취해진 적어도 하나의 기준 측정(reference measurement)에 기초하여 생성된다. 이를 통해 최적의 참조가 가능하다.

이 방법의 가능한 일 실시예에서, 크로스토크는 전형적인 크로스토크 구조들에 대해 센서 어레이에 의해 검출된 이미지를 테스트함으로써 식별된다. 이를 통해 크로스토크를 쉽고 신뢰할 수 있게 결정할 수 있다.

이 방법의 가능한 일 실시예에서, 구조들로서 선형 구조들이 사용되며, 그 후 선형 구조들이 흐리게 되면 크로스토크인 것으로 결정된다. 이러한 실시예는 소위 라인 스캐너(line scanner)들, 특히 라이다로 구성된 센서 어레이들에 특히 매우 적합하며, 크로스토크의 쉽고 매우 신뢰할 수 있는 식별을 가능하게 한다. 특히, 흐릿한 정도가 증가할수록, 더 높은 크로스토크 정도가 식별된다.

이 방법의 가능한 일 실시예에서, 크로스토크는 검출된 객체의 치수들을 이러한 객체에 대한 예상 치수들과 비교함으로써 식별되며, 크로스토크의 증가 정도는 예상 치수들로부터의 검출된 객체에 대한 치수들의 증가하는 양의 편차로 식별된다. 본 실시예는 또한 크로스토크의 쉽고 신뢰할 수 있는 식별을 가능하게 한다.

이 방법의 가능한 일 실시예에서, 예상 치수들은 센서 어레이에 의해 취해진 적어도 하나의 기준 측정에 기초하여 객체에 대응하는 객체 클래스에 대해 결정된 치수들로부터 결정된다.

이 방법의 가능한 일 실시예에서, 예상 치수들은 객체에 대응하는 객체 클래스로부터 도출되는데, 여기서 객체 클래스에 속하는 객체들은 표준화된 치수들을 갖는다. 교통 표지판들이 이러한 객체들의 예들이다. 이러한 객체들의 표준화된 치수들 때문에, 이들을 검출된 객체의 치수들과 비교한 결과들은 매우 정밀하고 신뢰할 수 있다.

본 발명의 예들은 도면들을 참조하여 아래에서 보다 상세히 설명된다.

도 1은 레이저 방사(laser radiation)의 전송 시 라이다 및 라이다의 검출 범위의 제1 실시예에 대한 개략적인 사시도이고,
도 2는 반사된 레이저 방사의 수신 시의 도 1에 따른 라이다와 그 검출 범위에 대한 개략적인 사시도이고,
도 3은 다수의 객체들이 있는 장면의 개략도이고,
도 4는 라이다에 의해 검출된 도 3의 장면의 이미지에 대한 개략도이다.

모든 도면들에서 동일한 항목들은 동일한 참조 부호들로 표시된다.

도 1은 레이저 방사로 구성된 광 신호(L1)의 전송 동안 라이다로 구성된 광학 센서 어레이(1) 및 그 검출 영역(E)의 제1 실시예에 대한 사시도를 도시한다. 도 2는 레이저 방사로 구성된 반사된 광 신호들(L2)의 수신 동안 도 1에서와 같은 센서 어레이(1) 및 검출 영역(E)의 사시도를 도시한다.

센서 어레이(1)는, 예를 들어 도시되지 않은 차량 및/또는 로봇의 구성요소이며, 차량 및/또는 로봇의 주변들에서 센서 어레이(1)에 의해 검출된 데이터는 차량 및/또는 로봇의 자동화된, 특히 완전 자동화된 또는 자율적인 동작을 제어하기 위해 사용된다.

라이다로 구성된 센서 어레이(1)는 광 신호들(L1), 특히 레이저 펄스들을 전송하며, 이 광 신호들은 검출 영역(E)에서 도 3에 도시된 근처 객체들(O1 내지 On)에 의해 반사되어 반사된 광 신호들(L2)로서 라이다에 의해 검출된다.

본 명세서에서, 센서 어레이(1)는 상세하게 도시되지 않은 다수의 수신 소자들을 포함하며, 이들 소자들은 검출 영역(E)의 다양한 입체각들로 이미지화된다. 특히, 수신 소자들은 광검출 소자들이다.

도시된 실시예에서, 라이다로 구성된 센서 어레이(1)는 소위 라인 스캐너로서, 그 전체 시야 또는 검출 영역(E)의 라인(Y)을 조명하며, 동시에 소위 이미저(imager) 또는 다이오드 필드(diode field) 상에 서로 다른 입체각들을 이미지화한다. 이는 전체 수직 검출 영역(E)을 조명하며, 동시에 다수의 개별 수신기들, 특히 광검출 소자들을 통해 수직 분해능을 달성한다. 그 후, 이 라인(Y)은 예를 들어, 센서 어레이(1)에서 송신기 및 수신기를 회전시킴으로써, 검출 영역(E)을 통해 수평으로 편향된다.

센서 어레이(1)의 신호 경로에 오염, 특히 얼룩(smearing) 또는 먼지가 있는 경우, 송신 및 수신된 광 신호들(L1, L2)은 오염에 의해 적어도 부분적으로 산란되어 센서 어레이(1) 내 다수의 개별 수신기들에서 검출된다. 이처럼 반사 및 검출된 광 신호들(L2)이 다수의 광검출 소자들에 산란되는 것을 크로스토크라고 한다.

따라서, 센서 어레이(1)의 신호 경로에서의 오염을 검출하기 위해, 센서 어레이(1)에 의해 객체(O1 내지 On)가 검출된 후, 객체(O1 내지 On)는 그 유형에 따라 분류되며, 객체(O1 내지 On)의 분류 시 객체는 미리 결정된 반사율을 갖는 객체 클래스에 할당된다. 그 후, 객체(O1 내지 On)까지의 거리가 측정되며, 검출된 광 신호들(L2)의 크로스토크가 다수의 광검출 소자들로 식별되며, 여기서 더러움의 정도는 분류 중에 확인된 미리 결정된 반사율, 거리 및 크로스토크의 크기에 기초하여 결정된다.

도 3은 다수의 객체들(O1 내지 On)을 갖는 장면을 도시하는데, 하나의 객체(O1)는 교통 표지판이고, 다른 객체들(O2 내지 On)은 반사율이 높은 도로 표식들이다.

이 장면이 라이다 라인 스캐너로 구성된 센서 어레이(1)에 의해 측정되거나 스캔되면, 도 4에 도시된 이미지(B)가 결과로 나타난다.

객체들(O1 내지 On)은 센서 어레이(1)에 의해 실제보다 크게 검출된다는 것을 명확하게 보여준다. 이는 크로스토크에 기인하는 것인데, 크로스토크의 정도는 대응하는 객체(O1 내지 On)의 반사율, 센서 어레이(1)로부터 대응하는 객체(O1 내지 On)까지의 거리 및 센서 어레이(1)의 신호 경로의 오염으로 인한 광학 산란에 따른다.

객체들(O1 내지 On)로부터 센서 어레이(1)까지의 거리는 런 타임 측정에 의해 라이다에 의해 직접 결정되기 때문에 알려져 있다. 개별 객체들(O1 내지 On)의 반사율은, 예를 들어 교통 표지판과 같은 이들 객체들의 유형에 따른 객체들(O1 내지 On)의 분류에 기초하여 결정될 수 있고, 그 후 디지털 거리 지도로부터의 데이터를 이용하여 정제될 수 있다. 이를 위해, 결정된 반사율들은 예를 들어 소위 지도 제작 차량들 및/또는 플리트(fleet) 데이터에 의해 디지털 지도들에 입력되어, 엄격하게 최신 상태로 극히 정밀하게 유지된다. 이러한 방식으로, 신호 경로의 오염은 크로스토크의 정도로부터 직접적으로 도출될 수 있다. 산란은 수신된 광 신호들(L2)과 중첩될 때만 나타나기 때문에, 크로스토크에 기초하여 오염이 어떤 입체각으로 존재하는지를 결정할 수도 있다. 따라서, 예를 들어 라이다 라인 스캐너로 구성된 센서 어레이(1)의 검출 영역 좌측에 오염이 있는 경우, 오염과 광학적 개구(optical aperture)가 중첩되는 한, 그 영역에서의 크로스토크는 매우 강해질 것이다. 중첩이 줄어들면 효과가 작아진다.

예를 들어, 먼지의 정도는 센서 어레이들(1) 또는 다른 유사한 센서 어레이들(1)에 의해, 이를테면 다른 차량들 및/또는 로봇들 상의 센서 어레이들(1)에 의해 취해진 적어도 하나의 기준 측정에 기초하여 생성되는 적어도 하나의 룩업 테이블에 기초하여 결정된다.

따라서, 크로스토크는 전형적인 크로스토크 구조들에 대해 센서 어레이(1)에 의해 검출된 이미지(B)를 테스트하여 식별된다. 예를 들어, 라이다 라인 스캐너로 구성된 센서 어레이(1)의 경우, 구조들로서 선형 구조들이 사용되며, 그 후 선형 구조들이 흐려지면 크로스토크인 것으로 결정된다. 따라서, 흐림의 정도가 증가함에 따라, 더 높은 크로스토크 정도가 식별될 수 있다.

크로스토크는 대안적으로 또는 추가적으로, 검출된 객체들(O1 내지 On)의 치수들을 이러한 객체(O1 내지 On)에 대한 예상 치수들과 비교함으로써 식별될 수 있으며, 크로스토크의 증가 정도는 예상 치수들로부터의 검출된 객체(O1 내지 On)에 대한 치수들의 증가하는 양의 편차로 식별된다. 따라서, 예상 치수들은 센서 어레이(1)에 의해 취해진 적어도 하나의 기준 측정에 기초한 분류에서 객체(O1 내지 On)에 대응하는 객체 클래스에 대해 결정된 치수들로부터 결정된다. 대안적으로 또는 추가적으로, 예상 치수들은 객체(O1 내지 On)에 대응하는 객체 클래스로부터 도출되며, 교통 표지판들과 같은 객체 클래스에 속하는 객체들(O1 내지 On)은 표준화된 치수들을 갖는다.

센서 어레이(1)의 신호 경로에서의 오염을 검출하기 위한 전술한 방법은 적어도 하나의 카메라를 센서로서 포함하는 센서 어레이들(1)에도 적용될 수 있다. 여기서, 다른 교통 참가자들 및 기반 시설로부터의 광과 차량 또는 로봇의 광원들로부터의 광은 객체들(O1 내지 On)을 조명하는데 사용되며, 객체들(O1 내지 On)로부터 반사된 광 신호들(L2)은 카메라에 의해 검출된다. 여기서 나타나는 효과들은 앞유리 와이퍼들로부터의 물줄기가 차량의 앞유리에 남아 있을 경우 다른 차량들의 광들에 의해 발생되는 소위 라이트세이버(lightsaber)들에 버금가는 것이다. 이러한 효과는 예를 들어, 픽셀 라이트(pixel light)에 의한 교통 표지판들의 조명 증가로 인해, 예를 들어 차량 조명에 의해 교통 표지판들에 발생될 수 있다. 결과적인 효과를 강화하기 위해, 이에 따라 카메라의 노출 기간이 조정될 수 있으며, 특히 증가될 수 있다.

1 센서 어레이
B 이미지
E 검출 영역
L1 광 신호
L2 광 신호
O1 내지 On 객체
Y 라인

Claims (10)

1. 광학 센서 어레이(1)의 신호 경로에서 먼지(dirt)를 검출하기 위한 방법으로서,
   - 상기 센서 어레이(1) 내 다수의 광검출 소자들을 사용하여 객체들(O1 내지 On) 상에서 반사된 광 신호들(LS2)을 검출함으로써 상기 객체들(O1 내지 On)이 검출되며,
   - 각각의 객체(O1 내지 On)는 객체의 유형에 따라 분류되며, 상기 객체가 분류될 때 상기 객체(O1 내지 On)는 미리 결정된 반사율을 갖는 객체 클래스(object class)에 할당되며,
   - 상기 객체(O1 내지 On)까지의 거리가 결정되며,
   - 상기 다수의 광검출 소자들에서 검출된 광 신호들(L2)의 크로스토크(crosstalk)가 식별되며, 그리고
   - 분류 동안에 확인된 상기 미리 결정된 반사율, 상기 거리 및 상기 크로스토크의 크기에 기초하여 더러움(dirtiness)의 정도가 결정되는, 방법.
2. 제1 항에 있어서,
   상기 더러움의 정도는 적어도 하나의 룩업 테이블(look-up table)을 사용하여 결정되는, 방법.
3. 제2 항에 있어서,
   상기 적어도 하나의 룩업 테이블은 상기 센서 어레이(1)에 의해 취해진 적어도 하나의 기준 측정에 기초하여 생성되는, 방법.
4. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
   크로스토크는 전형적인 크로스토크 구조들에 대해 상기 센서 어레이(1)에 의해 검출된 이미지(B)를 테스트함으로써 식별되는, 방법.
5. 제4 항에 있어서,
   - 상기 구조들로서 선형 구조들이 사용되며, 그리고
   - 그 후, 상기 선형 구조들이 흐려지면 크로스토크인 것으로 결정되는, 방법.
6. 제5 항에 있어서,
   흐림의 정도가 증가함에 따라, 더 높은 크로스토크 정도가 식별되는, 방법.
7. 제1 항 내지 제6 항 중 어느 한 항에 있어서,
   크로스토크는 다음과 같이 식별되며, 즉
   - 상기 검출된 객체(O1 내지 On)의 치수들이 이러한 객체(O1 내지 On)에 대한 예상 치수들과 비교되며, 그리고
   - 크로스토크의 증가 정도가 상기 예상 치수들로부터의 상기 검출된 객체(O1 내지 On)에 대한 치수들의 증가하는 양의 편차로 식별되는, 방법.
8. 제7 항에 있어서,
   상기 예상 치수들은 상기 센서 어레이(1)에 의해 취해진 적어도 하나의 기준 측정에 기초하여 상기 객체(O1 내지 On)에 대응하는 객체 클래스에 대해 결정된 치수들로부터 결정되는, 방법.
9. 제7 항 또는 제8 항에 있어서,
   상기 예상 치수들은 상기 객체(O1 내지 On)에 대응하는 객체 클래스로부터 도출되며, 상기 객체 클래스에 속하는 객체들(O1 내지 On)은 표준화된 치수들을 갖는, 방법.
10. 차량 및/또는 로봇에서, 자동화된, 특히 완전 자동화된 또는 자율적인 동작을 수행하기 위한 제1 항 내지 제9 항 중 어느 한 항에 따른 방법의 용도.

Images