KR20230004425A

KR20230004425A - 자율 주행 차량 환경 인지 소프트웨어 구조

Info

Publication number: KR20230004425A
Application number: KR1020227019743A
Authority: KR
Inventors: 유발 네흐마디; 피에르 올리비에; 이도 고렌; 요니 모스코비치; 니르 다르샨
Original assignee: 유발 네흐마디; 피에르 올리비에; 이도 고렌; 요니 모스코비치; 니르 다르샨
Priority date: 2019-11-13
Filing date: 2020-11-13
Publication date: 2023-01-06
Also published as: CA3161616A1; WO2021092702A1; US20220398851A1; EP4058932A1; JP2023501812A; EP4058932A4; CN115668182A

Abstract

장면을 감지하는 프로세스가 개시된다. 프로세스는 복수의 센서 양식으로부터 센서 데이터를 수신하는 단계를 포함하는데, 각 센서 양식은 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면과 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성한다. 프로세스는 관심 객체를 감지하고 복수의 주 감지 결과를 생성하기 위하여 각 센서 양식으로부터의 센서 데이터를 생성하는 단계를 더 포함하는데, 각 감지 결과는 각 센서 양식과 연관된다. 프로세스는 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식으로부터 도출된 센서 데이터를 제2 센서 양식으로부터 도출된 센서 데이터와 융합하는 단계, 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하는 단계 및 주 및 부 감지 결과에 객체 수준 융합을 수행하는 단계도 포함한다.

Description

자율 주행 차량 환경 인지 소프트웨어 구조

본 발명은 환경 인지를 수행하기 위한 컴퓨터 기반 구조에 관련된다. 특히, 본 발명은 다수의 센서, 예컨대 다양한 양상에 따라 동작하는 센서로부터의 입력을 처리하고 이들 입력으로부터 환경의 인지를 발달시키는 하드웨어 및 소프트웨어 컴포넌트에 관련되는데, 자율 주행 차량에서 경로 계획 목적 또는 다른 응용을 위해 사용될 수 있다.

자동차 산업은 전기화 및 라이드 헤일링뿐만 아니라 자율 주행 차량의 등장으로 인해 격변적인 변화를 겪고 있다. 지난 몇 년 동안 자율 주행이 상당한 발전을 이루었지만, 현재의 해결책은 가장 제한된 시나리오를 제외하고는 여전히 충분히 안전하지 않고 상업적 배포에 충분히 신뢰할 수도 없다.

대부분의 현재 OEM 및 티어 1 자동차 제조사는 여전히 센서와 처리 유닛에 대한 합리적인 비용을 유지하면서 인간의 눈으로 보는 것처럼 객체를 식별할 수 있는 "궁극의" 자율 주행 기술을 찾고 있다. 도로의 차량, 보행자, 작은 장애물과 같은 동적인 주행 환경을 감지하는 동시에 자동차의 경제성을 유지하는 능력은 어려운 작업이다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하는 프로세스를 제공한다. 본 프로세스는 복수의 센서 양식으로부터 센서 데이터를 수신하는 단계를 포함하는데, 각 센서 양식은 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성한다. 프로세스는 관심 객체를 감지하고 복수의 주 감지 결과를 생성하기 위하여 각 센서 양식으로부터의 센서 데이터를 생성하는 단계를 더 포함하는데, 각 감지 결과는 각 센서 양식과 연관된다. 프로세스는 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식으로부터 도출된 센서 데이터를 제2 센서 양식으로부터 도출된 센서 데이터와 융합하는 단계, 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하는 단계 및 주 및 부 감지 결과에 객체 수준 융합을 수행하는 단계도 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 복수의 센서 모듈로서, 각 센서 모듈은 복수의 센서 모듈 중 센서 모듈의 다른 센서의 양식과 상이한 각 양식에 따라 동작하는 센서 및 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하기 위한 인지 기능 블록을 포함하는 복수의 센서 모듈을 가지는 시스템도 포함하는데, 센서는 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성하도록 구성된다. 시스템은 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고 주 및 부 감지 결과에 객체 수준 융합을 수행하도록 구성되는 센서 퓨전 모듈을 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 포함하는 시스템을 더 포함하는데, 각 센서 모듈은 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력, 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티 및 각 양식의 센서로부터 도출된 센서 데이터 및 처리로부터 도출된 주 감지 결과를 생성하는 출력을 포함하고 각 센서 모듈은 각 센서 양식에 따라 동작한다. 시스템은 각 센서 모듈로부터 센서 데이터를 수신하는 입력, 각 센서 모듈로부터 주 감지 결과를 수신하는 입력 및 부 감지 결과를 도출하기 위하여 센서 모듈 중 둘 이상으로부터의 센서 데이터 및 주 감지 결과를 처리하는 프로세싱 엔티티를 포함하는 소프트웨어 기반 인지 모듈을 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계를 포함하는 프로세스를 더 제공하는데, 각 센서 모듈은 각 센서 양식에 따라 동작하고, 각 센서 모듈은 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력 및 소프트웨어 기반 인지 엔티티를 포함한다. 프로세스는 각 양식의 센서로부터 도출된 센서 데이터 및 처리로부터 도출된 주 감지 결과를 생성하기 위하여 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 단계를 더 포함한다. 프로세스는 각 센서 모듈로부터 센서 데이터를 수신하는 입력 및 각 센서 모듈로부터 주 감지 결과를 수신하는 입력을 포함하는 소프트웨어 기반 인지 모듈을 제공하는 단계 및 부 감지 결과를 도출하기 위하여 센서 모듈 중 둘 이상으로부터의 센서 데이터 및 주 감지 결과를 처리하는 단계를 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈 및 복수의 센서 모듈로부터의 감지 결과를 통일된 인지 솔루션으로 융합하기 위한 센서 퓨전 모듈을 포함하는데 융합은 각 센서 모듈에 대한 센서 성능을 결정하는 단계 및 센서 성능에 따라 통일된 인지 솔루션의 센서 모듈로부터의 감지 결과의 기여의 가중치를 조정하는 단계를 포함하고, 각 센서 모듈은 각 센서 양식에 따라 동작하는 시스템을 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계 및 융합 프로세스에 의하여 복수의 센서 모듈로부터의 감지 결과를 통일된 인지 솔루션으로 융합하기 위한 센서 퓨전 모듈을 제공하는 단계를 포함하고, 융합 프로세스는 각 센서 모듈에 대한 센서 성능을 결정하는 단계 및 센서 성능에 따라 통일된 인지 솔루션의 센서 모듈로부터의 감지 결과의 기여의 가중치를 조정하는 단계를 포함하고, 각 센서 모듈은 각 센서 양식에 따라 동작하는 프로세스를 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 포함하고, 각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하고, 각 센서 모듈은 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력 및 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티를 포함하는 시스템을 포함한다. 시스템은 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력 및 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위한 프로세싱 엔티티를 포함하는 센서 퓨전 모듈을 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계를 포함하고, 각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하고, 각 센서 모듈은 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력 및 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티를 포함하는 프로세스를 더 포함한다. 본 발명은 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력 및 프로세싱 엔티티에 의하여 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위하여 감지 결과를 처리하는 단계를 포함하는 센서 퓨전 모듈을 제공하는 단계를 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 포함하고, 각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하고, 각 센서 모듈은 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력 및 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 양식 고유의 소프트웨어 기반 인지 엔티티를 포함하는 시스템을 더 제공한다. 시스템은 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력 및 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위한 프로세싱 엔티티를 포함하는 센서 퓨전 모듈을 더 포함한다.

본 명세서에 포함되고 넓게 서술되는 바와 같이, 본 발명은 하나 이상의 목표 객체를 포함하는 장면을 향해 광 펄스를 포함하는 광을 방출하도록 구성되는 송신기 및 목표 객체 중 하나 이상으로부터의 반사광을 감지하도록 구성되는 수신기를 포함하는 라이다 장치를 제공하는 단계를 포함하고, 라이다 장치는 반사광에 응답하여 거리값을 전달하는 장면의 라이다 데이터를 생성하도록 구성되는 자동화 방법 시스템을 제공한다. 방법은 장면의 이미지 데이터를 생성하기 위하여 이미지 캡처 장치를 제공하는 단계, 라이다 데이터 및/또는 이미지 데이터를 수신하기 위한 입력을 가지고 장면의 하나 이상의 특성을 전달하는 장면 핑거프린트를 도출하기 위하여 라이다 데이터 및/또는 이미지 데이터를 처리하는 데이터 프로세싱 엔티티를 제공하는 단계, 데이터 프로세싱 엔티티의 장치 판독 가능한 저장소에 라이다 장치 동작 모드의 라이브러리를 저장하는 단계, 라이브러리로부터 핑거프린트에 대응하는 라이다 장치 동작 모드를 도출하는 단계, 도출된 동작 모드에 따라서 라이다 장치의 동작을 제어하는 단계, 데이터 프로세싱 엔티티로 장면의 3D 맵을 생성하는 단계 및 장면의 목표 객체를 식별하기 위하여 데이터 프로세싱 엔티티로 장면의 3D 맵을 처리하는 단계를 더 포함하고, 이미지 데이터는 복수의 픽셀을 전달한다.

본 발명의 내용 중에 포함되어 있다.

도 1a는 본 발명의 구현의 예시에 따른 환경 인지 시스템의 최상위 블록도이다.
도 1b는 도 1a에 도시된 시스템의 건강 모니터링 기능 블록에 의해 구현되는 프로세스의 흐름도이다.
도 2는 도 1에 도시된 시스템의 카메라 인지 모듈의 블록도이다.
도 3은 감지 결과, 특히 관심 객체의 이미지에서 식별을 나타내는 카메라 인지 모듈에 의해 처리되는 2D 이미지를 도시한다.
도 4a는 도 1a에 도시된 시스템의 라이다 인지 모듈의 블록도이다.
도 4b는 라이다 데이터의 동작 보정을 수행하기 위해 라이다 인지 모듈에 의해 수행되는 프로세스의 흐름도이다.
도 5는 장면에서 감지되는 관심 객체와 같은 감지 결과를 나타내는 라이다 인지 출력의 도면이다.
도 6은 도 1에 도시된 시스템의 레이더 인지 모듈의 블록도이다.
도 7은 단일 트럭을 감지하기 위해 클러스터와 같은 감지 결과를 보여주는 라이다 인지 출력의 도면이다.
도 8a는 도 1a에 도시되는 시스템의 에고 모션 모듈의 블록도이다.
도 8b는 도 8a의 에고 모션 모듈에 의해 수행되는 프로세스를 도시하는 흐름도이다.
도 9는 두 중첩된 궤적으로 구성된 차량 트랙의 표현으로, 파란색은 카메라와 라이다 기반인 도 8a의 에고 모션 모듈의 출력이고, 분홍색은 기본 참으로 도출된 GNSS이다.
도 10은 두 이미지 간의 에고 모션 키 포인트 연결을 도시한다.
도 11은 도 1a에 도시된 시스템의 위치 측정 모듈의 블록도이다.
도 12는 도 9의 표현과 유사한 것으로, 기본 위치 측정 결과를 보여준다.
도 13은 도 1의 시스템의 센서 퓨전 모듈의 블록도이다.
도 14는 차이점을 보여주기 위해 Velodine 64 라이다로부터 깊이 맵을 따라 도시된, 본 발명에 따른 시스템에 의해 획득된 환경의 3D 재구성 맵이다.
도 15는 관심 객체를 위해 계산된 속도를 보여주는 RGB-D-V 모델을 사용한 환경의 재구성 맵이다.
도 16a는 도 1의 시스템의 로우 데이터 퓨전 모듈의 블록도이다.
도 16b는 도 16a의 블록도에 도시된 3D 재구성 기능 블록에 의해 구현되는 프로세스의 블록도이다.
도 16c는 라이다 동작 모드 라이브러리의 개념적 표현이다.
도 16d는 라이다 타입의 선택을 포함하는 시스템 구성을 수행하는 프로세스의 흐름도이다.
도 16e는 도 16a에 도시된 블록도의 3D 재구성 모듈에 의해 수행되는 프로세스의 흐름도로, 주행 환경에 적응된 라이다 센서의 동작 모드를 선택하는 프로세스를 도시한다.
도 16f는 업샘플링 동작을 수행하기 위해 3D 재구성 기능 블록에 의해 수행되는 프로세스의 흐름도이다.
도 17은 2D 이미지 및 2D 이미지보다 현저히 낮은 해상도를 가지는 3D 라이다 포인트 클라우드에 기반한 맵의 재구성 예시를 도시한다.
도 18은 3D 감지 및 향상 프로세스의 카메라 뷰이다.
도 19는 3D 감지 및 향상 프로세스의 라이다 뷰이다.
도 20은 도로 상의 작은 장애물이 있는 장면의 카메라 뷰이다.
도 21은 도 20의 장면의 작은 장애물 감지를 도시한다.
도 22는 도 1a의 시스템의 메인 소프트웨어 모듈 및 동작 시간 도메인을 도시하는 블록도이다.
도 23은 캘리브레이션 프로세스의 흐름도이다.
도 24는 도 1a의 시스템의 캘리브레이션 모듈의 블록도이다.
도 25는 라이다 포인트 클라우드와 이미지 간의 캘리브레이션의 예시이다.
도 26 및 27은 캘리브레이션 셋업의 예시이다.
도 28은 자유 공간 감지가 있는 장면을 도시한다.
도 29는 도로와 차선 감지가 있는 장면을 도시한다.
도 30은 점유 그리드의 두 예시를 도시한다.
도 31은 차량이 터널 안에 있는 코너 케이스의 제1 예시이다.
도 32는 코너 케이스의 제5 예시인데, 곤충이나 다른 이물질이 유리에 있어 이미지의 일부를 가린다.
도 33은 카메라가 해를 마주하는 코너 케이스의 제6 예시이다.
도 34는 우천 상황인 코너 케이스의 제7 예시이다.

도 1을 구체적으로 참조하면, 블록도가 환경 인지를 수행하기 위한 시스템(10)을 도시한다. 시스템은 개별 작업을 수행하기 위해 하드웨어나 소프트웨어로 구현되는 다른 기능적 요소를 가진다. 최상위에서, 기능적 요소는 두 별개 기능 엔티티, 즉 더 자세히 후술될 복수의 개별 모듈을 포함하는 인지 엔진 엔티티(14)로 출력을 공급하는 센서 인지 엔티티(12)를 형성한다. 인지 엔진 엔티티(14)의 출력은 자율 주행 차량을 위한 주행 경로를 생성하기 위해 경로 계획 모듈(미도시)로 전달될 수 있는 정보이다.

센서 인지 엔티티(12)는 상이한 센서와 연관되는 복수의 모듈을 포함한다. 특정 예시에서, 센서는 상이한 양상 센서, 예컨대 다른 가능한 센서 중에서도 카메라 센서, 라이다 센서, 레이더 센서이다.

도 2는 카메라 인지 모듈(16)의 블록도이다. 카메라 인지 모듈(16)의 여러 예가 있을 수 있음을 이해할 것인데, 각 예는 상이한 카메라 센서와 연관된다. 각 카메라가 상이한 방향을 향하여 광각 카메라 범위, 즉 180도 범위나 360도 범위를 제공할 때의 경우이다. 카메라 인지 모듈(16)은 카메라 센서 고유의 고해상도 이미지를 수신하는 입력(20)을 가지는 카메라 전처리 블록(18)을 가진다. 카메라 전처리 블록의 목적은 캘리브레이션 정보를 사용하여 이미지 왜곡을 제거하는 것이다. 캘리브레이션 정보는 차량의 장착 위치가 캘리브레이션에 영향을 줄 수 있으므로 카메라가 배치되는 차량과 같이 설치 특유의 것이다. 캘리브레이션은 시야와 초점 거리와 같은 광학에도 의존한다. 이 파라미터들은 캘리브레이션이 수행될 때 고려될 필요가 있다. 캘리브레이션은 후술될 것이다. 캘리브레이션된 이미지 정보는 카메라 감지 블록(22)에 공급된다. 감지기 블록(22)의 목적은 이미지의 관심 객체 및 이미지에 표현되는 장면의 기하학적 특징을 식별하는 것이다. 관심 객체의 예시는 다른 것들 중에서도 차량과 보행자를 포함한다. 기하학적 특징의 예시는 다른 것들 중에서도 도로 감지, 차로 감지, 랜드마크 감지, 점유 영역을 포함한다.

카메라 감지 블록(22)은 이미지의 관심 객체를 검출하도록 훈련된 컨볼루션 신경망에 의해 구현될 수 있다. 이미지의 기하학적 특징은 이미지를 처리하여 관심 특징을 추출하는 공지된 기하학적 알고리즘에 의해 감지될 수 있다.

도 2에 도시된 구현의 특정 예시는 카메라 감지기(22)의 출력이 관심 객체를 식별하는 제1 출력, 랜드마크를 식별하는 제2 출력, 자유 공간을 식별하는 제3 출력을 포함한다는 것을 보여준다. 도 3은 강조된 감지 결과로 카메라 감지기 블록(22)에 의해 처리된 카메라 이미지를 도시한다. 관심 객체, 즉 차량이 파란색의 경계 박스로 식별된다. 카메라 앞의 도로인 자유 공간이 초록색으로 식별된다. 카메라 감지기 기능 블록은 이미지 프로세싱 결과로 도 3의 주 이미지의 오른쪽에 도시된 장면의 조감도도 출력할 수 있다.

도 4a는 라이다 인지 모듈(24)의 블록도이다. 이 특정한 구현 예시에서, 구조는 카메라 인지가 병렬로 동작하는 모듈의 여러 인스턴스를 가질 수 있는 것과 대조적으로 단일의 라이다 인지 모듈(24)을 사용한다. 목적은 다수의 라이다 센서로부터 통일된 포인트 클라우드를 발달시키고 그 공통의 포인트 클라우드에서 감지를 수행하는 것이다. 하지만 이것은 필수 요건이 아니다. 다시 말해, 시스템이 다수의 인스턴스의 라이다 인지 모듈을 가지고 감지가 단일 라이다 센서에 의해 생성된 개별 포인트 클라우드에 수행되는 구현이 가능하다.

라이다 인지 모듈(24)은 28에서 모든 라이다 센서의 입력을 수신하는 라이다 전처리 기능 블록(26)을 가진다. 일반적인 구현에서, 라이다 센서는 광각 범위, 예컨대 360도 범위를 제공하기 위해 차량의 상이한 위치에 장착된다. 따라서, 이 구현에서, 입력(28)의 범위는 차량 주위의 라이다 사진을 제공할 수 있다. 구체적으로, 라이다 전처리 기능 블록(26)은 차량 주위의 환경을 묘사하는 통일된 포인트 클라우드를 출력한다.

라이다 전처리 기능 블록(26)은 두 주요 기능을 가진다. 하나는 차량의 이동으로 인한 라이다 데이터를 보정하는 것이고 다른 하나는 움직임 보정된 라이다 데이터를 통일된 포인트 클라우드로 합치는 것이다. 라이다 센서가 정의된 기간(대략 50-100ms)이 걸리는 스캐닝 기간을 가지기 때문에 AV의 속도에 따라 포인트 클라우드의 변동이 있다. 이 변동은 생성된 오류를 보상하기 위하여 재정렬(또는 전개)될 필요가 있다. 전개 메커니즘은 에고 모션을 사용하여 포인트 클라우드의 각 포인트의 예측을 차량에 관련된 보정된 위치로 계산한다.

이 전개 메커니즘은 에고 모션 입력(30)에 공급되는 에고 모션 정보를 사용한다. 에고 모션 정보는 도 1a의 시스템의 에고 모션 모듈에 의해 공급된다. 그 모듈은 후술될 것이다. 지금은, 카메라 센서 및 가능하게는 IMU(Inertial Measurement Unit)과 가능하게는 다른 센서로부터의 입력에 기반한 에고 모션 정보를 제공한다고 하는 것으로 충분하다. 에고 모션 정보는 각 프레임에서 차량을 정확히 위치시킬 수 있도록 하고 호스트 차량의 움직임 벡터와 궤적을 포함한다. 도 4b는 라이다 전처리 기능 블록(26)에 의해 수행되는 움직임 보정 과정을 서술하는 흐름도이다. 과정은 32에서 시작한다. 단계 34에서 입력(30)은 에고 모션 정보를 수신한다. 단계 36에서, 전처리 기능 블록(26)은 라이다 센서의 범위로부터 입력을 수신한다. 예시는 3개의 라이다 센서를 가정한다. 차량 전면에 장착되고 차량 앞의 장면을 스캔하는 라이다 센서(센서 1) 하나, 차량의 좌측에 장착되고 장면의 좌측을 스캔하는 라이다 센서(센서 2) 하나, 차량의 우측에 장착되고 장면의 우측을 스캔하는 라이다 센서(센서 3) 하나가 있을 수 있다.

단계 38은 각 라이다 센서 스트림에 독립적으로 에고 모션 보정을 수행한다. 과정은 라이다 센서 스캔 동안 호스트 차량의 이동을 보상하기 위해 각 라이다 데이터 프레임의 포인트 중 일부 또는 전부를 재정렬하는 단계를 포함한다. 이동으로 인한 왜곡은 차량의 속도와 그 궤적뿐만 아니라 라이다 센서 자체에도 의존한다. 예를 들어, 풀 라이다 데이터 프레임을 생성하는데 필요한 스캐닝 기간이 상대적으로 짧은 고속 스캐닝 라이다는 스캐닝 기간이 더 긴 것보다 더 적은 왜곡을 만든다. 또한, 라이다가 배치되는 차량의 위치도 왜곡에 영향을 미칠 것이다. 예를 들어, 횡 방향 움직임 요소 없이 앞으로 직진하는 차량의 경우, 차량의 속도가 라이다 광 신호의 이동 속도에 비해 무시 가능하다고 가정하면, 스캔 동안 생성되는 라이다 데이터 프레임은 많은 왜곡을 가지지 않을 수 있다. 반대로, 차량의 측면에 장착되고 장면의 측면을 보는 라이다, 예컨대 상기 예시에서 라이다 센서 2 및 3의 경우, 차량의 이동은 장면을 "늘어지게" 할 것인데 라이다 감지 방향에 대해 현저한 횡 방향 이동이 있기 때문이다. 보정을 수행하기 위해, 라이다 전처리 기능 블록(26)의 알고리즘은 입력으로 에고 모션 정보를 수신하고 캘리브레이션 파일에서 각 라이다 센서의 사양, 예컨대 차량의 센서의 위치, 스캐닝 속도 등과 같은 특정한 기술 사양도 판독한다. 따라서 캘리브레이션 파일은 물리적 센서로부터 라이다 신호 처리를 현저하게 추상화할 수 있다. 라이다 캘리브레이션 파일을 변경함으로써 도 1a의 구조는 상이한 라이다 센서의 범위 및 센서의 배치가 달라지는 차량 플랫폼의 범위에 적용될 수 있다. 도 1a의 구조를 센서의 배치가 이미 결정되었을 수 있는 새 차량 플랫폼에 적용하기 위하여, 캘리브레이션 파일을 변경하면 충분하고 감지 알고리즘을 바꾸거나 적응시킬 필요가 없을 수 있다. 이 모듈식 접근법은 처리 알고리즘을 하드웨어와 분리하므로 유연성을 제공한다.

도 4b로 돌아가면, 처리 단계 38의 출력은 움직임 보정된 라이다 데이터 프레임이다. 단계 40에서 움직임 보정된 라이다 데이터 프레임은 전처리 기능 블록(26)에 의해 통일된 포인트 클라우드로 "스티칭"된다. 따라서, 전처리 기능 블록(26)의 출력(42)은 처리의 나머지에 적합하고 센서 고유의 데이터 출력과 독립적인 포맷으로 포인트 클라우드를 생성한다.

도 4a로 돌아가면, 출력(40)은 같은 라이다 데이터를 전달하는 두 스트림을 가지는데, 하나는 라이다 감지기 기능 블록(42)로 향하는 것을 볼 수 있을 것이다. 후자는 컨볼루션 신경망을 사용하여 통일된 포인트 클라우드를 처리하여 자유 공간과 점유 영역과 같은 기하학적 정보와 함께 장면의 관심 객체를 감지한다.

도 5는 라이다 데이터 흐름에서 식별된 관심 객체에 대한 경계 상자를 포함하는 라이다 감지기 기능 블록(42)의 출력을 개념적으로 도시한다. 이 경우 관심 객체는 차량이다. 주 이미지의 우측에 관심 객체가 경계 상자로 식별된 포인트 클라우드의 조감도가 도시된다. 각 경계 상자는 관심 객체의 위치를 포인트 클라우드로 도시하고 속도와 궤적도 도시한다. 각 경계 상자와 연관된 화살표는 속도와 궤적을 묘사한다.

레이더 인지 모듈(44)의 블록도가 도 6에 도시된다. 레이더 인지 모듈(44)은 라이다 신호를 수신하는 입력(46)을 가진다. 입력(46)은 이미징 레이더와 2D 레이더 모두를 지원할 수 있다. 이미징 레이더는 각 포인트에 속도를 포함하는 라이다 포인트 클라우드와 유사한 4D 데이터 입력을 생성하는 기능을 가진다.

하나 이상의 이미징 레이더의 입력은 이미징 전처리 기능 블록(48)에 공급된다. 전처리 기능 블록(48)은 상이한 이미징 레이더 센서의 출력을 정렬하여 통일된 이미징 레이더 로우 데이터를 생성한다. 유사하게, 전처리 기능 블록(50)은 복수의 2D 레이더 센서로부터 입력을 수신하고 통일된 2D 로우 데이터로 합친다. 2D 전처리 기능 블록(50)은 2D 레이더 데이터로부터 객체 감지를 수행하는 기능을 가지고 따라서 출력(53)의 2D 로우 레이더 데이터와 함께 출력(51)에서 주 객체 감지 정보를 출력할 수 있다. 이미징 전처리 기능 블록(48)의 출력은 3D 감지기 기능 블록(52)에 공급되는데, 이미징 레이더 데이터에서 관심 객체를 감지하도록 훈련된 컨볼루션 신경망으로 구현된다. 또한, 기하학적 감지 알고리즘을 사용함으로써, 장면의 기하학적 특징, 예컨대 평면 추정(도로, 인도 등)과 점유 영역이 식별될 수 있다.

유사하게, 2D 감지기 기능 블록(54)은 입력으로 2D 전처리 기능 블록(50)으로부터 로우 통일된 데이터와 주 객체 감지 정보를 수신한다. 2D 감지기 기능 블록(54)은 장면에서 객체 감지와 기하학적 특징 감지를 수행하기 위해 컨볼루션 신경망에 의해 구현된 심층 신경망도 사용한다. 3D 감지기 기능 블록(52)과 2D 감지기 기능 블록(54)은 각각 감지된 3D 객체를 출력한다. 양자는 56에서 합쳐지는데, 선택적 메커니즘이 두 감지 수준에서 불일치를 다루고 모호성을 해결하기 위해 제공될 수 있음을 이해하여야 한다.

도 7은 감지 기능 블록(52 및 54) 중 하나에 의한 레이더 이미지 포스트 감지의 도시로, 레이더 사진에서 감지를 보여준다.

도 8a는 도 1에 도시된 시스템의 에고 모션 모듈(58)의 블록도이다. 에고 모션 모듈(58)의 목적은 카메라, 라이다, 레이더 데이터를 융합함으로써 개발되는 3D 포인트 클라우드의 각 프레임에 차량을 위치시키는 것이다. 에고 모션 알고리즘은 다른 것들 중에서도 센서, 카메라, 라이다로부터의 연속 데이터 프레임을 입력으로 사용하여 연속 프레임 간의 움직임을 추정하고 따라서 호스트 차량에 대한 이동 속도와 궤적을 도출한다. 에고 모션은 임의의 추가적인 센서, 예컨대 GNSS(Global Navigation Satellite System) 또는 관성 센서에 의존하지 않고 계산될 수 있다. 이것은 예컨대 차량이 터널에 있을 때와 같이 GNSS 신호가 사용 불가능한 경우에 에고 모션 추정이 될 수 있게 한다. 여전히, 추가적인 센서가 신뢰성 목적으로 사용되고 주 에고 모션 계산이 올바른지 결정할 수 있다.

에고 모션 모듈(58)은 에고 모션 추정 기능 블록(59)을 가지는데, 입력(60)에서 이전에 계산된 3D 맵을 센서 퓨전 작업으로부터 수신하는데, 자세히 후술된다. 에고 모션 기능 블록(59)은 입력(62)에서 카메라 이미지 데이터 프레임과 라이다 전처리 기능 블록(26)에 의해 출력된 통일된 포인트 클라우드 라이다 출력도 수신한다. 에고 모션 모듈의 알고리즘은 시간상 다른 순간에 장면을 표현하는 프레임을 비교하여 특정 장면 특징 간의 상대적인 이동을 식별한다. 이동의 차이는 이동 거리와 이동 방향을 나타낸다. 속력은 데이터 프레임 간의 시간 차이에 기반하여 계산될 수 있다. 이를 기반으로, 에고 모션 모듈은 도 1의 시스템의 다른 모듈에 사용되는 에고 모션 정보를 출력할 수 있다.

도 10은 상대적인 이동을 도시하기 위해 중첩된 두 연속적 이미지 데이터 프레임의 표현이다. 에고 모션 알고리즘은 비교의 기반으로 사용될 하나 이상의 키 포인트를 식별하기 위해 제1 카메라 데이터 프레임을 처리할 것이다. 포인트의 수와 위치는 달라질 수 있다. 차량의 전방, 차량의 좌측, 차량의 우측 등과 같은 상이한 움직임 요소에 대한 변위 정보를 획득하기 위해 이미지 전체에 걸쳐 포인트를 배열하는 것이 바람직하다. 포인트가 결정되면, 알고리즘은 그 프레임에 포인트를 위치시키기 위해 후속 프레임을 처리할 것이고 두 프레임의 각 포인트 간의 상대적 변위를 결정할 것이다. 포인트 쌍 간의 변위에 기반하여 호스트 차량의 거리, 속도, 궤적이 계산된다. 3D 맵의 데이터 프레임을 비교하는 것이 바람직한데, 이미지 데이터에 추가로 3D 맵은 호스트 차량에 대한 각 포인트의 거리 정보도 전달하고, 따라서 후속 데이터 프레임의 포인트 간의 변위를 보다 정확하게 계산할 수 있게 하기 때문이다.

에고 모션 정보는 에고 모션 기능 블록(59)에 의해 상이한 소스로부터 수신한 에고 모션 정보를 병합하는 선택적인 에고 모션 병합기 기능 블록(64)으로 출력된다. 에고 모션 병합기 기능 블록(64)은 IMU 유닛으로부터 및 GNSS 정보를 전달하는 차량의 CANbus(Controller Area Network bus)로부터의 입력을 가진다. IMU 유닛은 도 1a에 도시되는 시스템의 일부이고 가속도계, 자이로스코프 또는 둘 다를 포함하여 관성 정보를 제공할 수 있다. 에고 모션 병합기 기능 블록(64)은 도 8b에 도시된 흐름도에 의해 묘사되는 바와 같이 3개의 에고 모션 정보 신호를 처리한다.

과정은 66에서 시작한다. 단계 68에서, 에고 모션 병합기 기능 블록(64)은 에고 모션 기능 블록(59)으로부터 에고 모션을 수신한다. 단계 70에서, 에고 모션 병합기 기능 블록(64)은 IMU 신호를 수신한다. 단계 72에서, 에고 모션 병합기 기능 블록(64)은 GNSS 신호를 수신한다. 단계 74에서, 3개의 신호가 비교된다. 일치한다면, 결정 단계에 따라 프로세스는 에고 모션의 각 새로운 반복을 위해 루프백된다. 각 소스로부터 개발된 에고 모션이 다른 소스로부터 기결정된 임계치만큼 벗어나지 않을 때 일치가 존재하는 것으로 간주된다. 일치의 예시가 도 9에 도시되는데, 차량이 특정 경로를 따라 이동할 때 계산된 에고 모션을 도시한다. 파란색 트랙은 에고 모션 기능 블록(59)으로부터 출력된 계산된 에고 모션이고, 분홍색 트랙은 GNSS 파생 에고 모션이다. 두 트랙이 준 동일하기 때문에, 비교 단계 76은 일치하는 것으로 간주한다.

일치하지 않고 임계치를 초과하는 특정 양만큼의 불일치가 있는 경우, 과정은 에고 모션 병합기 기능 블록(64)은 불일치의 소스를 식별할 것이고, 3개의 소스 중 결함이 있는 소스를 결정하는 것을 포함하는 단계 78로 계속된다. 예를 들어, 두 소스가 일치하고 3번째 소스가 그런 것 같지 않은 경우 3번째 소스가 결함이 있는 소스이다. 그 경우 과정은 단계 80에서 그 입력을 무시함으로써 결함이 있는 소스를 비활성화한다. 유지 보수 동안 문제가 진단될 수 있도록 오류는 82에서 로그된다.

도 11은 차량의 환경의 문맥에서 위치 측정 정보를 계산하도록 제공되는 위치 측정 모듈(84)의 블록도이다. 예를 들어, 위치 측정 정보는 다른 차량에 대해 및/또는 도로 특징과 랜드마크에 대해 차량이 어디 위치한지 특정할 수 있다. 이 추가된 문맥은 자율 주행 로직에 의한 경로 계획을 용이하게 한다. 도 11의 특정 예시에서, 위치 측정 모듈은 두 카테고리의 입력, 즉 차량의 절대 위치를 나타내는 입력과 장면 문맥을 나타내는 입력을 수신한다.

위치 측정 모듈(84)은 이 입력들을 사용하여 장면의 문맥에 차량을 위치시키는데, 바람직하게는 차량의 이전 위치에 기반하여 위치의 확률 또는 신뢰도를 계산한다. 보다 구체적으로, 위치 측정 모듈(84)은 에고 모션 모듈(58)로부터 에고 모션 정보 출력을 수신하는 입력(86)을 가진다. 에고 모션 입력(86)에서 에고 모션 정보는 베이지안 필터 기능 블록(88)의 입력으로 공급된다. 나아가, 위치 측정 모듈(84)은 후술할 센서 융합 모듈에 의해 생성되는 점유 그리드 정보를 제공하는 점유 그리드 입력을 가진다. 점유 그리드 정보는 인지 기반이고 다른 것들 중에서도 장면에서 식별된 관심 객체의 관점에서 차량 주위의 장면, 식별된 관심 차량에 대한 추정 정보, 자유 공간을 서술한다. 점유 그리드 정보는 도로 측방 추정 기능 모듈(90)에 공급된다. 도로 측방 추정 기능 모듈(90)은 점유 그리드 정보를 처리하여 도로 경계를 추출한다.

도로 측방 추정 기능 모듈(90)의 출력은 베이지안 필터 기능 블록(88)에 공급된다. 랜드마크 위치 측정 기능 모듈(92)은 점유 그리드 정보, 입력(94)에서 공급되는 랜드마크 정보, 입력(96)의 GIS(Geographic Information System)/HD(High Density) 맵을 수신한다. 랜드마크 위치 측정 기능 블록(92)은 랜드마크를 추출할 것인데, 일반적으로 도로를 따라 정적인 객체나 특징이다. 예시는 다른 것들 중에서도 도로 표지판, 신호등, 교차로, 램프, 휴식 공간, 철도 건널목, 다리, 터널, 망가진 포장과 같은 도로 결함, 과속 방지턱, 육교, 횡단보도, 지정된 주차 공간을 포함한다. 랜드마크 위치 측정 기능 블록(92)은 상이한 소스로부터의 랜드마크를 병합하여 베이지안 필터 기능 블록(88)에 공급되는 통일된 랜드마크 세트를 제공할 것이다.

베이지안 필터 기능 블록(88)은 에고 모션 정보, GNSS 정보, 도로 측방 추정, 통일된 랜드마크 위치 측정을 수신하여 장면에서 차량의 위치를 결정하는데, 베이지안 확률 분석을 적용함으로써 상기 입력이 변화함에 따라 지속적으로 업데이트된다. 베이지안 필터 기능 블록(88)은 장면의 객체와 차량 간의 공간적 관계를 서술하는 움직임 모델(98)을 사용하여 주행 환경에서 차량의 표현을 생성할 수 있게 한다. 베이지안 필터 기능 블록(88)은 도로 경계와 랜드마크를 포함하여 차량 주변의 관심 객체를 포함하는 주행 환경에서 차량의 표현을 전달하는 위치 측정 정보를 출력한다.

도 13은 전술한 상이한 센서로부터 입력을 수신하고 센서로부터의 로우 데이터를 통합하여 특정 구현 예시에서 3D RGB-D-V 모델을 생성하는 센서 퓨전 모듈(100)의 블록도이다. 바람직하게, 3D 재구성도 통합하여 모델을 강화하고 견고성을 추가한다. 센서 데이터는 지능적인 방식으로 융합되어 단일 측정의 보다 정확한 표현(측정의 상대적 오류를 줄일 수 있게 하는 단일 객체의 다수의 측정)뿐만 아니라 시간 정보(예컨대, 다수의 프레임으로부터의 정보)도 추가한다.

3D RGB-D-V는 센서와 인지 알고리즘 간의 추상화 층도 제공한다. 이것은 알고리즘을 수정할 필요 없이 센서의 브랜드, 해상도, 위치 등을 변경할 수 있게 한다. 이 추가 이점은 시스템에 요구되는 테스트, 검증, 인증을 줄인다.

보다 구체적으로, 센서 퓨전 모듈(100)은 입력(104)에서 라이다 전처리 기능 블록(26)에 의해 출력되는 로우 라이다 데이터를 수신하는 로우 데이터 퓨전 기능 블록(102)을 포함한다. 로우 데이터 퓨전 기능 블록(102)은 카메라 전처리 블록(18)에서 출력되는 카메라 이미지 데이터를 더 수신하고 입력(108)에서 이미징 전처리 기능 블록(48) 및 2D 레이더 전처리 기능 블록(50)으로부터 출력되는 로우 레이더 데이터를 수신한다.

3D 재구성을 포함하는 카메라 및 라이다 퓨전의 예시는 그 내용이 본 명세서에 참고로서 통합되는 특허 문헌인 (1) US10,444,357; (2) US2016/0291154; (3) US 10,024,965; (4) US 10,445,928에 제공된다.

도 14는 카메라 데이터를 라이다 데이터와 융합하고 3D 재구성을 수행한 결과로서 생성되는 3D 맵을 도시한다. 상단 이미지는 Velodyne HDL-64E 라이다와 같은 고급 라이다로부터 획득한 3D 맵이다. 하단 이미지는 로우 데이터 퓨전 기능 블록(102)를 사용하여 획득한 3D 맵이다. 고급 라이다의 경우에도 상대적으로 깊이 측정(유색 포인트)이 적고 해상도가 낮음을 인식할 것이다. 반대로, 로우 데이터 센서 퓨전(102)에 의해 구현되는 3D 재구성 맵 방법은 사용된 라이다가 하단 맵의 라이다보다 낮은 해상도를 가진다는 사실에도 불구하고 훨씬 높은 해상도 맵을 생성 이 예시에서, 하단 맵은 상단 맵보다 10배 많은 포인트를 가지고 훨씬 높은 해상도이다.

도 15는 로우 데이터 센서 퓨전 기능 블록(102)으로 획득한 고밀도 3D 재구성 맵의 또 다른 예시이다. 장면의 객체에 대한 속도 정보는 장면 이미지 아래의 하부에 묘사된다.

도 16a는 로우 데이터 퓨전 기능 블록(102)의 보다 자세한 블록도이다. 로우 데이터 퓨전 기능 블록(102)은 3D 재구성 기능 블록(104), 3D 향상 기능 블록(106), RGB-D-V 객체 감지기 기능 블록(108), 기하학적 점유 그리드 기능 블록(112)을 가진다.

3D 재구성 기능 블록은 입력(114)에서 카메라 전처리 블록(18)으로부터 출력된 카메라 이미지, 입력(116)에서 에고 모션 병합기 기능 블록(64)에 의해 출력된 에고 모션 정보, 입력(118)에서 라이다 로우 전처리 및 병합 기능 블록(26)에 의해 출력된 통일된 포인트 클라우드와 같은 라이다 로우 데이터, 입력(120)에서 이미징 전처리 기능 블록(48) 및 2D 레이더 로우 전처리 및 병합 기능 블록(50)에 의해 출력되는 통일된 레이더 데이터를 수신한다. 3D 재구성 기능 블록(104)은 하나의 출력, 즉 장면의 고밀도 3D 맵을 출력하는 출력(122)을 가진다.

구현의 특정 예시에서, 장면의 3D 맵은 일련의 픽셀로 구축되고, 각 픽셀은 적색, 녹색, 청색(RGB) 색상 정보로 특징지어진다. 적어도 장면의 일부를 묘사하는 픽셀의 서브셋의 경우, 호스트 차량과 같은 특정 참조에 대한 거리(D) 정보는 세트의 픽셀의 개별에 대해 제공된다. 카메라 이미지의 각 픽셀에 대해 거리 정보를 제공하는 것이 바람직하지만, 안전하고 효과적인 자율 주행을 제공하기 위하여 객체까지의 거리를 알 필요가 없는 장면 영역이 있기 때문에 실용적이지 않고 심지어 불필요할 수 있다. 따라서, 3D 재구성은 이 주변 영역에 대해 수행되지 않을 수 있다.

RGB-D-V 데이터는 전술한 바와 같이 에고 모션의 계산을 가능하게 하기 위해 에고 모션 모듈(58)에도 출력된다.

도 16b는 3D 재구성 기능 블록(104)에 의해 수행되는 과정의 흐름도이다. 과정은 124에서 시작한다. 단계 126에서 카메라 데이터의 프레임이 수신되는데, 바람직하게는 고밀도 이미지이고, 이미지 도메인에서 인지 솔루션이 아주 식별적일 수 있게 한다. 카메라 프레임은 처리되어 이미지의 정적 및 동적 객체 간에 구별한다. 이 작업은 장면의 객체의 상대적 위치, 서로에 대해 어떻게 이동했는지를 결정하고 따라서 어떤 객체가 이동 중이고 어떤 객체가 정지했는지 결정하기 위하여 현재 수신된 프레임을 이전 프레임이나 다수의 이전 프레임들에 비교함으로써 수행될 수 있다. 특정 구현 예시에서, 알고리즘은 이미지를 섹터로 나누고 섹터 중 임의의 것이 이동 중인 객체를 포함하는지 여부를 결정할 수 있다. 아무 것도 발견되지 않으면, 섹터는 정적으로 결정된다.

섹터는 사분면일 수 있다. 대안적으로, 섹터는 움직이는 차량에서 앞을 볼 때 보이는 것과 같이 장면의 정적 및 동적 영역을 보다 정확하게 반영할 수 있도록 형상지어질 수 있다. 다시 말해, 장면은 같거나 다른 폭의 세 밴드로 나누어질 수 있고, 각 밴드는 장면의 상부에서 하부로 뻗어 있고, 중앙 밴드는 전방의 도로와 중첩되고 두 평행한 밴드는 도로의 두 측면에 대응한다. 대부분의 주행 시나리오에서, 동적 객체는 중앙 밴드로 축소되는 반면 두 주변 밴드는 정적 객체를 포함한다. 정적 객체의 위치가 시간이 지남에 따라 호스트 차량에 대해 매우 예측 가능하기 때문에, 스스로 이동하고 훨씬 덜 예측 가능한 동적 객체만큼 이 객체들에 대한 자주 거리 측정을 업데이트할 필요가 없다.

단계 130과 단계 132에서 라이다 데이터와 레이더 데이터가 수신된다. 정적 섹터에 위치한 객체의 거리 측정은 다수의 프레임에 걸쳐 축적된다(호스트 차량의 이동을 고려하여 보정될 수 있음). 단계 136에서, 알고리즘은 동적 객체를 포함하는 섹터에 대한 거리 수집 작업에 초점을 맞추기 위해 라이다 인지 모듈(24)과 레이더 인지 모듈에 제어 신호를 발행한다. 예를 들어, 라이다 동작에 대한 이러한 제어는 라이다의 동작을 변조하여 정적 객체가 있는 섹터의 거리 측정의 보다 느린 업데이트를 희생하여 더 자주 동적 객체 섹터의 거리 측정을 업데이트할 수 있다.

라이다의 변조는 스캐닝 작업을 동적으로 조정하는 것을 포함할 수 있다. 예를 들어, 라이다는 장면이나 그 일부가 광학 신호로 스윕되고 광의 귀환이 수집되는 스캐닝 주기를 가진다. 스캐닝 주기는 스캔 각도와 스캔 방향으로 정의된다. 스캔 방향은 수평일 수 있는데, 다시 말해 스캔은 왼쪽에서 오른쪽으로 장면을 스윕한다. 스캔 방향은 수직일 수도 있는데, 예컨대 위에서 아래이다. 임의의 적절한 스캔 패턴이 사용될 수 있는데, 예컨대 래스터 스캔과 같이 광 신호를 두 다른 방향으로 이동시켜 장면을 완전히 또는 부분적으로 "그리는" 스캔이다.

따라서 스캔을 제어함으로써, 현재 환경에 대한 거리 측정 작업을 변조 또는 조정하고 가장 필요로 하는, 즉 호스트 차량 주변의 객체가 호스트 차량에 대해 예측 불가능한 방식으로 이동할 수 있는 영역에서 거리 측정에 집중할 수 있다.

거리 측정 작업을 변조하는데 사용될 수 있는 스캔 주기의 한 파라미터는 광 신호의 스윕 각도인 스캔 각도이다. 동적 객체가 존재하는 영역으로 향하도록 스캔 각도를 줄임으로써, 스캔 주파수는 스캔할 영역이 보다 적으므로 증가될 수 있고, 따라서 거리 측정은 더 빠르게 업데이트될 수 있다. 스캔 각도에 추가로, 스캔의 방향 또는 방위인 스캔 축이 제어될 수 있다. 예를 들어, 스캔의 방위는 동적 객체를 포함하는 것과 같은 관심 방향을 향해 조정될 수 있다. 상술한 예시에서, 스캔 방위는 대부분의 동적 객체가 존재하는 전방 도로와 같이 호스트 차량의 방향과 일치하도록 조정될 수 있다. 주기적으로, 스캔 방향 또는 스캔 각도는 도로의 측면을 스윕하도록 변경되어 정적 객체가 있는 섹터에 대한 거리 업데이트를 제공할 수 있다.

라이다의 다른 파라미터는 적응형 동작을 제공하도록 달라질 수 있다. 광 신호의 강도가 장면에 따라 달라질 수 있다. 또한, 광 신호의 펄스 속도가 변경될 수 있는데, 펄스의 귀환이 누적되는 개념으로 동작하는 라이다의 경우 신호 대 잡음 비를 제어하는데 사용될 수 있다.

장면에 따라 라이다 동작 모드를 변경하는 실용적인 방식은 라이다 동작 설정의 라이브러리를 사용하는 것이다. 이 구현 형태에서, 3D 재구축 기능 블록(102)의 알고리즘은 라이브러리에서 적절한 라이다 동작 설정을 선택하고 라이다 인지 모듈(24)에 신호를 보내 구현한다. 이 접근법의 이점은 라이브러리가 상이한 라이다 타입, 상이한 제조사와 모델의 범위를 지원하도록 설계될 수 있는 점이다. 따라서, 라이브러리는 로우 데이터 퓨전 모듈(102)이 많은 상이한 라이다로 원활하게 기능할 수 있게 하는 추상화 층을 제공한다.

도 16c는 라이다 동작 모드 라이브러리에 대한 데이터 구조를 도시한다. 라이브러리는 라이다 타입으로 조직되는데, 각 타입은 혼란이 없도록 라이브러리의 다른 타입과 구별되는 고유의 식별자로 식별된다. 각 라이다 타입은 기술 사양으로 특징지어진다. 특정 예시에서, 라이다 타입은 제품 모델로 제조사가 만든 상업용 라이다 제품일 수 있다. 각 라이다 타입의 동작 모드는 그 라이다 타입이 지원하는 동작 모드이다. 도 1a에 도시된 시스템이 설정될 때, 동작 중 올바른 동작 모드가 참조되도록 라이다 타입이 명시된다.

이 구성 과정은 도 16d의 흐름도에 도시된다. 구성 과정은 단계 140에서 시작한다. 단계 142에서, 구성을 수행하는 작업자 또는 기술자는 시스템을 구성 모드로 설정하는데 다양한 시스템 설정이 이루어질 수 있다. 구성 모드는 상이한 구성 설정이 가능한 GUI 스크린을 불러올 수 있다. 그 GUI 스크린을 통해, 단계 144에서 기술자는 라이다 타입이 명시될 수 있는 라이다 설정에 접근한다. 예를 들어, 지원되는 라이다 타입의 목록이 옵션 메뉴의 형식으로 나타날 수 있고 기술자는 호스트 차량에 물리적으로 설치되는 것을 선택한다. 라이다 타입의 선택이 이루어지면, 단계 146에서 그 선택은 시스템 메모리에 저장되는 구성 파일에 기록된다.

동작 중, 구성 파일에 저장된 라이다 타입은 메모리에 저장된 동작 모드 중에서 선택하는데 사용되며, 임의의 주어진 시간에 구현된다. 다시 말해, 설치된 라이다 타입과 호환되는 동작 모드만이 선택이 가능하다. 다른 라이다 타입과 연관된 다른 모든 모드는 3D 재구성 기능 블록(104)에 의해 선택될 수 없다. 여러 라이다 센서가 호스트 차량에 배치되는 경우 이들 중 각각을 위한 동작 모드 선택이 독립적인 방식으로 이루어질 수 있음을 유의하여야 한다. 다시 말해, 호스트 차량의 라이다 위치, 예컨대 전면, 측면, 후면을 식별하는 구성 파일이 있을 수 있고, 각 위치에 대해 라이다 타입이 상술한 바와 같이 선택될 수 있다. 그 예시에서, 구성 파일은 각 위치에 대해 라이다 타입을 명시할 것이고 시스템은 메모리에 저장된 동작 모드 라이브러리에 기반하여 각 라이다에 대한 동작 모드를 독립적으로 선택할 수 있을 것이다.

동작 모드 라이브러리는 실제 센서와 같은 시스템 하드웨어를 변경할 필요 없이 시스템 성능을 향상시키기 위해 새 동작 모드를 추가하기 위해 주기적으로 업데이트될 수 있다. 가능한 동작 모드의 범위 중에서 한 동작 모드의 선택은 장면에 기반하여 3D 재구성 기능 블록(104)에 의해 동적으로 수행된다. 다시 말해, 3D 재구성 기능 블록(104)은 장면 특징과 가장 일치하는 동작 모드를 선택할 것이다. 선택 로직의 한 예시는 환경을 특징짓는 환경 특징에서 식별하는 것이다. 상이한 동작 모드는 관측된 환경 특징에 기반하여 선택될 수 있다. 예를 들어, 각 동작 모드는 환경 특징의 특정 세트와 연관될 수 있다. 특징이 식별되면, 이 특징들과 일치하는 동작 모드가 선택된다.

특정 예시에서, 3D 재구성 기능 블록(104)은 환경의 특정한 특징, 예컨대 장면의 동적 객체의 패턴(중앙 vs 측면), 인지 품질(장면에 흐릿하거나 불분명한 섹터가 있는가), 주행 환경의 타입(시내 vs 고속도로 또는 오프로드)을 반영하는 환경 핑거프린트를 계산한다. 따라서 3D 재구성 기능 블록은 인지 입력에 의해 전달되는 환경을 기결정된 수의 카테고리 중 하나로 분류하도록 구성되고, 각 카테고리는 특정 환경 핑거프린트와 연관된다.

선택은 상이한 주행 환경을 인식하고 기결정된 카테고리로 분류하도록 훈련되는 컨볼루션 신경망을 사용하여 이루어질 수 있다. 결국, 라이다 센서의 동작 모드는 각 카테고리와 연관되고 3D 재구성 기능 블록 다이어그램(104)이 현재 환경에 대한 카테고리를 결정하면, 라이다 동작 모드가 자동으로 선택된다. 카테고리 결정은 계속하여 수행되고 환경이 바뀌어서 카테고리가 바뀌면 라이다 동작 모드의 자동 조정을 트리거링할 것이다.

환경의 분류는 자체 이미지 정보, 자체 라이다 및/또는 레이더 정보 또는 카메라와 라이다 및/또는 레이더의 융합된 데이터에 기반하여 이루어질 수 있음을 유의하여야 한다.

과정은 도 16e의 흐름도에 도시된다. 과정은 148에서 시작한다. 단계 150에서, 호스트 차량 주위의 환경을 나타내는 인지 데이터가 처리되어 핑거프린트를 식별하는데, 앞서 나타낸 바와 같이 환경을 정의하는 특징의 세트를 포함한다. 단계 152에서 라이다의 동작 모드는 핑거프린트에 기반하여 선택된다. 특정 예시에서, 단일 동작 모드는 핑거프린트 중 특정 하나와 연관되도록 핑거프린트와 동작 모드 사이의 일대일 대응이 있을 수 있다.

라이다의 동작 모드가 3D 재구성 기능 블록(104)에 의해 선택되면, 3D 재구성 기능 블록(104)에 의해 라이다 인지 모듈(24)로 신호가 발행된다. 라이다 인지 모듈(24)은 동작 모드의 구현을 책임지는데, 특히 라이다 인지 모드(24)는 선택된 동작 모드에 따라 라이다 센서를 작동시키기 위해 제어 신호를 생성할 것이다. 제어 신호는 스캐닝의 파라미터, 광 호출 신호의 파라미터 등을 포함한다. 도면에 도시되지 않은 특정 구현 예시에서, 라이다 인지 모듈은 3D 재구성 기능 블록(104)으로부터 동작 모드 선택을 수신하고 동작 모드 구현을 위해 이 정보를 라이다 센서를 위한 제어 신호로 변환하는 제어 엔티티를 포함한다.

도 16b의 흐름도를 다시 참조하면, 3D 재구성 모듈에 의해 수행되는 과정은 거리 측정을 업샘플링함으로써 데이터의 3D 재구성을 수행하는 것을 포함한다. 이 과정은 그 내용이 본 명세서에 참고로서 통합되는 특허 문헌인 (1) US10,444,357; (2) US2016/0291154; (3) US 10,024,965; (4) US 10,445,928에 제공된다. 단순성을 위하여, 도 16f의 흐름도로 요약될 것이다. 3D 재구성의 개념은 거리 측정을 라이다 포인트 클라우드에 거리 측정이 존재하지 않는 이미지의 픽셀에 할당하기 위해 시각적 유사성을 사용하는 것이다. 이 방법은 우하단에 라이다로부터의 포인트 클라우드 표현으로 도 17에 도시된 저밀도 스캐닝 라이다에 적용될 수 있다. 해상도가 상대적으로 낮음을 인식할 것이다. 업샘플링 작업 수행을 포함하여 도면의 상단에 도시된 고밀도 카메라 이미지와 융합되면, 좌하단에 도시된 풍부한 3D 맵이 생성된다. 3D 맵의 해상도는 라이다 포인트 클라우드보다 현저히 높다.

도 16f를 참조하면, 3D 재구성 또는 업샘플링 과정은 154에서 시작한다. 단계 156에서 카메라 이미지가 분할된다. 분할은 시각적 유사성에 기반하여 수행된다. 이미지는 색상이 상대적으로 균일한 영역으로 분할된다. 색상 균일성은 색상 차이 및/또는 강도 임계치가 사용되어 이미지를 영역으로 분할되는 점에서 프로그램 가능한 파라미터이다. 또한, 영역의 입상도도 달라질 수 있다. 더 작은 영역은 더 정확한 업샘플링을 제공할 것인데, 계산된 거리 측정은 더 정확하게 진정한 거리를 반영할 것이다.

단계 158에서 과정은 라이다 포인트 클라우드의 거리 측정을 분할 과정으로 생성된 각 영역에 연관시킬 것이다. 따라서, 각 영역은 영역의 경계 내의 거리 측정의 수가 부여된다. 이 거리 측정들에 기반하여 과정은 영역을 구성하는 기하학적 면을 근사하려 시도할 것이다. 3개의 거리 측정이 있다고 가정한다. 이 측정들은 평면을 정의하므로, 3개의 거리 측정과 연관된 영역은 평평한 것으로 가정될 수 있다. 평면의 배향은 실제 거리 측정에 의존한다. 예를 들어, 모든 측정이 동일하면, 영역을 정의하는 평면은 수직면이다. 거리 측정이 동일하지 않으면, 평면은 경사면이다.

따라서, 이 예시에서 3개의 거리 측정은 영역을 평면으로 특징짓고, 따라서 포인트 클라우드의 진짜 측정에 의해 정의된 평면 방정식에 기반하여 그 영역의 각 픽셀에 대한 거리를 계산할 수 있다. 보간 및 평면 방정식을 사용함으로써 과정은 포인트 클라우드에 거리 측정이 사용 불가능한 영역의 각 픽셀에 대한 거리값을 계산할 것이다. 이것은 도 16f의 흐름도에서 단계 160으로 도시된다.

3개보다 많은 거리 측정이 사용 가능한 영역에서, 보다 복잡한 표면 피팅이 가능하다. 예를 들어, 곡면이 피팅될 수 있고 그 곡면에 기반하여 보간이 수행될 수 있다.

따라서 도 16f의 처리는 장면을 꽤 정확하게 묘사하고, 후술되는 바와 같이 보다 정확하고 견고한 객체 감지를 가능하게 하는 RGB-D-V 값의 3D 맵을 생성한다.

도 16a를 다시 참조하면, 로우 데이터 퓨전 모듈(102)은 3개의 입력, 즉 레이더 인지 모듈(44)로부터 통일된 레이더 데이터를 수신하는 입력(162), 카메라 인지 모듈(16)로부터 카메라로부터의 감지된 객체 정보를 수신하는 입력(164), 라이다 데이터, 특히 라이다 인지 모듈(24)로부터 통일된 포인트 클라우드를 수신하는 입력(166)을 가지는 3D 향상 기능 블록(106)도 포함한다.

3D 향상 기능 블록(106)은 카메라 이미지의 객체 감지를 3D 정보, 즉 거리 정보와 병합하여 카메라 이미지가 불명확하거나 임의의 다른 이유로 충분한 수준의 감지 신뢰도를 허용하지 않는 경우 더 정확한 감지를 제공할 것이다. 따라서, 신뢰도가 보통 요구되는 것보다 낮은 카메라 이미지에서 감지된 객체의 경우, 레이더 데이터 및/또는 라이다 포인트 클라우드의 거리 정보가 감지가 긍정적임을 확인할 수 있게 하고 따라서 신뢰 수준을 높이거나 감지가 거짓 감지임을 결정한다. 3D 향상 기능 블록은 처리를 수행하기 위해 컨볼루션 신경망을 사용할 수 있다.

도 18은 3D 향상 기능 블록(106)의 3D 향상 출력의 카메라 뷰이다. 도 19는 출력의 조감도이다.

로우 데이터 퓨전 기능 블록(102)은 RGB-D-V 객체 감지기 기능 블록(110)도 포함한다. RGB-D-V 객체 감지기 기능 블록(110)은 그 입력에서 5 도메인 공간 RGB-D-V로 표현된 3D 맵을 수신하고 컨볼루션 신경망으로 분류 과정을 통해 객체 감지를 수행한다. RGB-D-V는 168에서 신뢰 수준을 포함하여 감지된 객체의 설명을 출력한다. 도 16a의 블록도는 170에서 3D 향상 기능 블록 다이어그램(106) 및 RGB-D-V 기능 모듈(110)로부터의 출력이 병합하는 출력 흐름을 도시한다. 병합 기능은 일부 불일치가 있는 경우 감지된 객체와 해상도 로직 간의 비교를 수반할 수 있음을 이해할 것이다.

로우 데이터 퓨전 기능 블록(102)은 입력(172)에서 환경의 3D 맵의 RGB-D-V 데이터 및 입력(174)에서 카메라 전처리 모듈(16)로부터 자유 공간 및 차로 감지를 수신하는 기하학적 점유 그리드 기능 블록(112)도 포함한다. RGB-D-V 모델은 기하학적 점유 그리드를 모델링할 수 있게 한다. 자유 공간과 차로의 카메라 감지 및 RGB-D-V 모델을 가능하게 하는 라이다/레이더로부터 수신한 추가 정보를 사용하여 "기하학적 점유 그리드" 모듈은 카메라만 사용하는 것보다 정확한 호스트 차량을 둘러싼 세상의 조감도 그리드를 생성한다. 또한, RGB-D-V 모델은 3D 공간에서 매우 정확한 키 포인트 매칭을 가능하게 하고 따라서 매우 정확한 에고 모션 추정을 가능하게 한다. 점유 그리드가 출력하는 정보의 특정 예시는 자기 차로를 호스트 차량의 방향의 다른 차로와 구별하는 차선 표시 또는 반대 차량, 차선 횡단, 교통 감속 등을 포함한다.

도 28은 자유 공간 감지 식별이 있는 장면을 도시하는 출력의 예시이다.

도 29는 차로 감지가 있는 장면의 출력의 예시이다.

따라서 로우 데이터 퓨전 기능 블록(102)은 출력(176)에서 객체 감지 정보 및 출력(178)에서 기하학적 점유 그리드를 출력한다.

전술한 바와 같은 3D 재구성과 함께 로우 데이터 센서 퓨전은 감지 알고리즘이 다른 방식에서 가능한 것보다 더 먼 작은 객체뿐만 아니라 다른 방식에서 감지를 피하는 보다 작은 장애물도 감지할 수 있게 한다. 보다 까다로운 조건에서 보다 안전하고 빠르게 주행할 수 있게 하는 것이 이 기능이다. 이 해결책은 도로의 변색, 반사 또는 라이다 오류의 결과로 일어 날 수 있는 것과 같은 여러 거짓 경보도 줄인다.

도 20과 21에 도시된 예시는 상대적으로 큰 거리의 작은 장애물의 성공적인 감지를 도시한다.

다시 도 13을 참조하면, 센서 퓨전 모듈(100)은 로우 데이터 퓨전 기능 블록(102)으로부터 기하학적 점유 그리드 정보 및 에고 모션 병합기 기능 블록(64)으로부터 에고 모션 정보를 수신하는 점유 그리드 기능 블록(180)을 포함한다. 점유 그리드 기능 블록(180)은 점유 그리드에 더 정확하게 호스트 차량을 위치시키고 위치 측정 모듈(84)로의 입력으로 사용되는 이러한 점유 그리드 정보를 출력한다. 점유 그리드 기능 블록(180)에 의해 생성되는 출력의 예시는 도 30에 도시된다.

센서 퓨전 모듈(100)은 카메라 인지 모듈(16), 라이다 인지 모듈(24), 레이더 인지 모듈(44)로부터 주 객체 감지 정보를 수신하는 감지 병합기도 포함한다. 감지 병합기는 로우 데이터 퓨전 기능 블록(102)로부터 감지 출력도 수신한다. 감지 병합기는 이 감지 입력들을 통일하는데, 각각은 호스트 차량의 환경을 통일된 감지 출력에 반영하고 호스트 차량 경로 계획 제어기의 장면 해석을 더 쉽게 하는 의미론적 정보를 추가한다.

감지 병합기 기능 블록(182)의 출력은 추적기(184)에 의해 수신된다. 추적기(184)는 알고리즘을 구현하여 연속적인 이미지 프레임을 통해 각속도 및 깊이 프레임을 통해 시선 속도를 추적함으로써 3D 공간에서 감지된 객체의 이동 경로를 따라간다. 레이더 도플러 데이터가 사용 가능할 때, 데이터는 추적 과정을 보충하는데 사용될 수 있다. 추적기(184)는 계산된 속도 정보를 객체와 관련하여 사용하여 동적 및 정적 객체 간의 구별을 할 수 있다. 동적인 객체의 경우, 추적기(184)는 3D 궤적 움직임을 생성하는데, 경로 계획과 충돌 방지를 위해 자율 주행 차량의 경로 계획 소프트웨어에 유용하게 사용된다.

도 1을 다시 참조하면, 센서 퓨전 모듈(100)은 광학 건강 모니터링 기능 블록(200)을 가진다. 건강 모니터링 블록(200)은 감지 병합기 기능 블록(182)으로 흐르는 입력을 수신하고 모니터링하여 센서 고장이나 열화를 식별한다. 이 구현에서, 건강 모니터 기능 블록(200)은 센서 진단 정보로의 접근권을 가지지 않고 대신 건강 상태를 결정하기 위해 센서의 출력에 의존한다. 이 접근법의 이점은 건강 모니터링이 상이한 센서의 범위와 동작할 수 있고 상이한 센서 브랜드 및 타입의 진단 메시지를 인식할 수 있도록 시스템을 조정할 필요가 없다는 점이다.

건강 모니터링 기능 블록(200)은 도 1b의 흐름도에 따라 과정을 수행한다. 과정은 단계 202에서 시작한다. 단계 204에서 건강 모니터링 기능 블록(200)은 객체 감지 입력을 수신하고 단계 206에서 처리하여 센서 흐름 중 임의의 것의 잠재적 문제를 식별한다. 처리는 다음 중 임의의 것을 포함한다.

1. 감지 입력 중 임의의 것의 부재, 예컨대 신호의 부재나 신호의 소스와 통신이 없음을 암시하는 신호 상태를 감지. 이것은 일반적으로 하드웨어 문제이다.

2. 감지 결과간의 상호 관련에 대한 신호를 검사. 이 개념은 신호가 센서 양식의 한계 내에서 서로 일반적으로 일치하는지 여부를 보기 위한 것이다. 예를 들어, 일부 센서는 다른 것이 감지하지 못하는 객체를 감지할 수 있을 수 있고, 따라서 한 센서 양식에 존재하는 어떤 객체 감지가 다른 센서 양식에 없는 것은 보통이다. 구체적으로, 카메라 인지 모듈(16)은 객체 클래스 간, 즉 다른 클래스 중에서도 차량과 보행자를 구별할 수 있다. 이와 같이 카메라 이미지의 객체 감지는 레이더 객체 감지보다 감지된 객체에 대한 특징을 더 많이 전달할 것이다.

상호 관련을 위해 감지 결과를 평가하는 과정은 각 센서 양식에서 감지된 객체를 비교하고 객체의 존재와 객체의 위치의 관점에서 특정 허용 오차 내에서 일치하는 경우, 건강 모니터링 기능 블록(200)은 신호가 유효하고 시스템이 정상적으로 수행되므로 조치를 취하지 않는다고 결정한다. 이것은 208에서 결정 단계로 도시된다.

특정 예시에서, 처리는 모든 입력에 걸쳐 객체 감지를 비교하고 감지 스트림 중 임의의 것에서 객체가 누락됐는지 여부를 결정한다. 객체가 누락된 경우, 건강 모니터링 기능 블록(200)은 누락된 객체 중 임의의 것이 특정 센서 양식이 감지할 수 있는 객체 클래스에 속하는지 여부를 결정한다. 긍정인 경우 처리는 센서 양식을 식별하고 다수의 프레임에 걸쳐 감지 성능을 계속 추적한다. 특정 센서 양식이 시간이 흐름에 따라 다른 센서 양식보다 더 많은 감지 오류를 누적하는 경우, 이것은 열화된 감지 성능으로 인한 것일 수 있다. 열화 정도는 오류 감지의 척도로 나타낼 수 있다.

센서 양식이 일시적으로 고장을 나타내는 것, 즉 일부 감지를 누락하는 것은 드물지 않음을 유의하여야 한다. 이것은 센서가 자연스럽게 성능이 저하되는 호스트 차량의 특정 동작 조건으로 인한 것일 수 있다. 예를 들어, 카메라가 보는 윈도우에 먼지가 쌓여 카메라 센서가 캡처하는 이미지가 부분적으로 가려질 수 있다. 예시가 도 32에 도시되는데, 곤충이 앞 유리에 달라붙어 카메라 이미지의 일부가 불분명하다.

도 33은 일시적으로 열화된 센서 성능의 다른 예시인데, 호스트 차량이 일몰에 주행하고 카메라 센서가 부분적으로 보지 못한다. 도 34는 또 다른 예시인데, 앞 유리의 비가 카메라 이미지를 흐리게 만든다. 도 31은 또 다른 예시인데, 차량이 터널을 주행한다.

건강 모니터링 기능 블록(200)은 단기 열화와 지속되는 효과를 나타내는 장기 열화를 구별하도록 구성된다. 시간이 흐름에 따라 감지 오류 비율을 보면 구별할 수 있다. 일시적 열화의 경우, 감지 오류 비율이 급증할 수 있지만 오류 비율은 센서 양식이 정상적으로 동작하는 작동 조건으로 차량이 돌아가면 빠르게 사라질 수 있다. 예를 들어, 도 40의 예시에서, 카메라 양식에 대한 감지 오류 비율은 차량이 터널에 있을 때 증가하는데 카메라 센서가 보지 못하기 때문이다. 하지만, 차량이 터널을 나가면 오류 비율은 정상으로 돌아온다.

건강 모니터링 기능 블록(200)의 로직은 감지된 오류에 대한 시스템 감도를 조정하도록 구성 가능한 파라미터가 제공된다. 오류 비율 감지 임계치와 기간 감지 임계치가 있을 수 있다. 예를 들어, 시스템이 감지 오류에 반응하기 시작하려면 오류 비율이 최소 임계치를 초과하여야 하고 감지 비율이 최소 기간 동안 임계치 위로 유지되어야 한다. 시간 임계치는 감지 오류 비율에 관련될 수 있음을 유의하여야 한다. 아주 높은 감지 오류 비율의 경우 시스템이 반응하기 위한 시간 프레임이 줄어들 수 있다.

도 1a의 단계 210에 도시된 바와 같이, 시스템은 열화된 센서 성능이 감지될 때 조정을 수행할 것이다. 조정은 인지 결과를 손상시키는 것을 피하기 위해 인지 과정에서 센서 양식을 무시하는 것을 포함할 수 있다. 이것은 하드웨어 고장이 감지될 때의 경우이다. 건강 모니터링 기능 블록(200)은 제어 신호 경로(도면에 미도시)에 걸쳐 제어 신호를 생성하여 센서 양식의 출력을 처리하는 모든 엔티티가 입력을 무시하도록 표시한다. 예를 들어, 건강 모니터링 모듈(200)이 감지한 레이더 인지 모듈 고장의 경우, 모듈은 센서 퓨전 모듈(100), 특히 로우 데이터 퓨전 기능 블록(102)과 감지 병합기 기능 블록(182)에 레이더 인지 모듈로부터의 감지 결과를 무시하도록 제어 신호를 전송할 것이다. 따라서 인지 과정은 센서 양식의 부재로 인한 잠재적 전체 성능 저하로 레이더 입력 없이 계속된다.

라이다 인지 모듈의 하드 고장이 인식된 경우에도 같은 접근법을 따른다. 로우 데이터 퓨전 기능 블록(102)과 감지 병합기 기능 블록(182)은 라이다 인지 입력을 무시하도록 지시받을 것이고, 결과는 다운스트림 과정, 특히 로우 데이터 퓨전 계산이 카메라와 레이더 센서에 기반하여 어느 정도의 전체 성능 저하를 예상하며 이루어질 것이다.

이미지 정보가 사용 가능하지 않은 하드 카메라 센서 고장은 힘든 상황인데 카메라 센서가 환경에 대한 중요한 정보를 전달하기 때문이다. 선택 사항 하나는 차량을 안전한 상태로 기본 설정하는 것, 즉 완전한 정지를 실행하는 것이다. 전체 카메라 시각 고장을 고려하여, 카메라 센서가 동작할 때 수집된 다수의 이전 프레임이 저장된 버퍼를 에고 모션 모듈(58)에 제공하는 것이 가능하여, 차량이 완전한 정지를 실행하는 동안 에고 모션 정보가 사용 가능한데, 일반적으로 차량을 도로 측면으로 운전하고 정지하는 것을 포함한다. 버퍼의 프레임의 수는 가동 요구 조건에 따른다.

센서 양식은 계속 동작하나 성능이 열화된 하드 고장 없는 성능 열화의 경우, 건강 모니터링 기능 블록(200)은 열화된 성능을 보상하기 위하여 그 센서 양식으로부터 객체 감지를 처리하는 다양한 엔티티에 제어 신호를 발행한다. 가능한 보상은 다른 양식으로부터의 감지 결과가 병합될 때 센서 양식에 가중치를 덜 주는 것이다. 특정 예시에서, 감지 병합기 기능 블록(182)은 여전히 성능이 열화된 센서 양식으로부터의 감지 결과를 다른 센서 양식과 병합할 것이지만 그 센서 양식에 중요도를 덜 부여할 것이다. 이 접근법은 주행 환경에 따라 상이한 센서 양식 감지의 가중치를 동적으로 변경할 수 있게 하는데, 자연스럽게 특정 조건에서 덜 효율적으로 동작하는 센서는 오류를 더 많이 생성하고 그 입력이 전체 결과에 덜 기여하도록 조정된다. 반대로, 그 특정 주행 환경에서 좋은 효율성으로 동작하는 센서 양식은 오류를 덜 나타낼 것이고 감지 결과의 지배적인 소스가 될 것이다.

특정 예시는 이것을 설명할 수 있다. 차량이 낮에 주행되는 상황을 고려한다. 객체 감지를 수행하기 위한 정보의 지배적인 소스는 카메라인데 차량 주위의 장면에서 막대한 양의 정보를 캡처하기 때문이다. 라이다는 카메라 이미지를 보충하고 로우 데이터 퓨전을 수행함으로써 환경의 풍부한 3D 맵이 개발될 수 있다. 하지만, 밤 시간 동안 카메라는 제대로 작동하지 않고 카메라 인지에 기반한 감지 작업은 오류를 더 생성하기 시작할 것이다. 광량이 감소함에 따라, 카메라가 생성하는 감지 오류 비율은 점진적으로 증가할 것이고 동시에 최종 출력의 계산에 있어 다른 센서 양식의 신뢰도가 증가할 것이다. 이 예시에서, 시스템은 라이다 센서에 더 의존할 것인데 카메라보다 오류를 덜 나타내기 때문이다.

도 22의 블록도는 도 1에 도시된 시스템의 시간 동기화 기능을 도시한다. 다중 양식 및 다중 센서 시간 동기화는 시스템의 동작에 걸쳐 상이한 타임스탬프에 기록되는 객체 및 데이터 입력을 정렬하기 위해 필요하다.

시간 동기화의 주요 과제는 다음과 같다.

● 고유 시간 도메인으로 비동기적으로 각 센서/양식에서 감지가 이루어지면 양식간에 상이한 위치에서 객체가 감지되게 하고 "이중 감지"를 야기할 수 있다.

● 다중 센서와 다중 양식은 시간 동기화의 복잡도를 증가시킨다.

● 인지 시스템의 출력 타이밍 요건은 센서 타이밍 제약에 불가지론적이어야 한다.

도 1a의 시스템은 상이한 양식이 자체 시간 도메인에서 비동기적으로 동작하고, 출력 시간에 동기화되도록 구성된다. 도 22는 상이한 센서 양식이 자체의 시간 도메인에 존재하는 시스템 구조를 도시한다. 구체적으로, 각 카메라는 센서의 프레임 속도에 정렬되는 자체 시간 도메인을 가진다.

로우 데이터 퓨전과 에고 모션 모두 이미지 기반이고 따라서 이들도 카메라 프레임 속도와 정렬된다. 라이다와 레이더 시간 도메인으로부터 로우 데이터 퓨전으로의 입력은 카메라 시간 도메인에 투영된다.

라이다 시간 도메인에 대하여, 모든 라이다 포인트는 비동기식으로 누적되고 에고 모션을 사용하여 단일 라이다 감지 속도로 투영된다.

레이더 시간 도메인에 대하여, 모든 레이더 클러스터는 비동기식으로 누적되고 에고 모션을 사용하여 단일 레이더 감지 속도로 투영된다.

출력 시간 도메인은 시스템 요건에 따라 융합된 인지 해결책을 제공하기 위해 센서 시간 도메인에 비동기식이다. 시간 동기화를 위한 해결책을 보장하기 위해, 각 센서로부터의 일관된 통일 타임스탬프와 ecu의 일반 타임스탬프가 인지 시스템에 사용 가능하여야 한다.

도 1a의 시스템은 다양한 센서의 캘리브레이션을 수행하도록 구성된다. 다중 센서 캘리브레이션의 주요 과제는 다음과 같다.

● 카메라 렌즈의 어안 모델은 복잡한 고유의 비왜곡 모델을 필요로 한다.

● 라이다의 불규칙한 그리드 변형은 고유의 캘리브레이션 해결책을 필요로 한다.

● 상이한 양식 간의 퓨전은 정확한 외부 캘리브레이션을 필요로 한다. 정확한 캘리브레이션은 장거리의 작은 장애물 감지에 중요하다.

○ 향상된 감지 속도

○ 다중 감지 병합

○ 장거리 감지, 특히 작은 장애물

○ 다중 라이다 센서 포인트 클라우드 누적

● 캘리브레이션은 시간이 흐름에 따라 드리프트되고 온라인 모니터링 및/또는 재캘리브레이션을 필요로 한다.

● 센서와 차량 간의 캘리브레이션

오프라인 캘리브레이션은 다음 두 상이한 시나리오를 다루는 과정이다.

● 전체 차량의 최초 제작

● 기존 차량의 센서 교체

새 차량에 수행되는 캘리브레이션은 모든 센서에 대해 동시에 즉각적인 내부 및 외부 캘리브레이션을 위해 특별히 구축된 지정된 캘리브레이션 장소에서 실행될 것이다.

이 과정의 목적은 제조 과정에서 자가 테스트 및 캘리브레이션의 시간과 비용을 최소화하는 것이다.

센서의 재배치나 재설치의 경우 모든 센서의 내부 및 외부 캘리브레이션을 허용하는 이동형 캘리브레이션 키트가 개발될 것이다.

도 23의 흐름도에 의해 도시되는 과정은 캘리브레이션을 수행하는 과정의 예시이다.

온라인 캘리브레이션은 인지 시스템이 안전 요건과 직접 연결되는 중요한 측면이다. 캘리브레이션의 모니터링은 캘리브레이션의 임의의 부분이 오작동함을 온라인으로 감지하기 위해 수행된다. 나아가, 온라인 조정이 계속적인 안전한 주행을 가능하게 하기 위해 캘리브레이션의 수정을 가능하게 하도록 수행된다.

모든 센서는 AV 본체에 대해 공통 지점으로 캘리브레이션되어야 한다. 온라인 캘리브레이션 과정은 6 자유도로 차량의 특정 지점으로 모든 센서를 정렬하는 것을 포함한다. 이것은 도 24에 도시된다. 도 25는 카메라의 이미지 평면에 대한 라이다 포인트 클라우드 사이의 캘리브레이션의 예시인데, 라이다 포인트의 거리는 색상으로 구분되고(빨간색은 가까움, 보라색은 멂) 보이는 바와 같이 캘리브레이션이 정확하다. 도 26 및 27은 캘리브레이션 대상의 다른 예시이다.

Claims

관심 객체를 포함하는 장면을 감지하는 프로세스로서:
a. 복수의 센서 양식으로부터 센서 데이터를 수신하는 단계;
b. 관심 객체를 감지하고 복수의 주 감지 결과를 생성하기 위하여 각 센서 양식으로부터의 센서 데이터를 생성하는 단계;
c. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식으로부터 도출된 센서 데이터를 제2 센서 양식으로부터 도출된 센서 데이터와 융합하는 단계;
d. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하는 단계; 및
e. 주 및 부 감지 결과에 객체 수준 융합을 수행하는 단계를 포함하고,
각 센서 양식은 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성하고,
각 감지 결과는 각 센서 양식과 연관되는 프로세스.
청구항 1에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 프로세스.
청구항 2에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 프로세스.
청구항 2에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 프로세스.
청구항 3에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 융합은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키는 단계를 포함하는 프로세스.
청구항 5에 있어서,
융합은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하는 단계를 포함하는 프로세스.
청구항 6에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 프로세스.
청구항 7에 있어서,
융합은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하는 단계를 포함하는 프로세스.
청구항 8에 있어서,
융합은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하는 단계를 포함하는 프로세스.
청구항 8에 있어서,
융합은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하는 프로세스.
청구항 1에 있어서,
부 감지 결과에 기반하여 점유 그리드를 계산하는 단계를 포함하는 프로세스.
청구항 11에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 프로세스.
청구항 12에 있어서,
관심 객체는 차량을 포함하는 프로세스.
청구항 13에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 프로세스.
청구항 14에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 프로세스.
청구항 15에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 프로세스.
청구항 16에 있어서,
연속적인 데이터 프레임을 통해 감지된 객체를 추적함으로써 3D 공간에서 감지된 객체의 이동 경로를 따르기 위하여 부 감지 결과를 처리하는 단계를 더 포함하는 프로세스.
시스템으로서:
a. 복수의 센서 모듈로서, 각 센서 모듈은:
i. 복수의 센서 모듈 중 센서 모듈의 다른 센서의 양식과 상이한 각 양식에 따라 동작하는 센서; 및
ii. 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하기 위한 인지 기능 블록을 포함하는 복수의 센서 모듈; 및
b. 센서 퓨전 모듈로서:
i. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고;
ii. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고;
iii. 주 및 부 감지 결과에 객체 수준 융합을 수행하도록 구성되는 센서 퓨전 모듈을 포함하고,
센서는 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성하도록 구성되는 시스템.
청구항 18에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 시스템.
청구항 19에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 시스템.
청구항 19에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 시스템.
청구항 20에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키도록 구성되는 시스템.
청구항 22에 있어서,
센서 퓨전 모듈은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하도록 구성되는 시스템.
청구항 23에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 시스템.
청구항 24에 있어서,
센서 퓨전 모듈은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하도록 구성되는 시스템.
청구항 25에 있어서,
센서 퓨전 모듈은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하도록 구성되는 시스템.
청구항 25에 있어서,
센서 퓨전 모듈은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하도록 구성되는 시스템.
청구항 18에 있어서,
센서 퓨전 모듈은 부 감지 결과에 기반하여 점유 그리드를 계산하도록 구성되는 시스템.
청구항 28에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 시스템.
청구항 29에 있어서,
관심 객체는 차량을 포함하는 시스템.
청구항 30에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 시스템.
청구항 30에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 시스템.
청구항 30에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 시스템.
청구항 18에 있어서,
센서 퓨전 모듈은 연속적인 데이터 프레임을 통해 감지된 객체를 추적함으로써 3D 공간에서 감지된 객체의 이동 경로를 따르기 위하여 부 감지 결과를 처리하도록 구성되는 시스템.
시스템으로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈;
b. 각 센서 모듈은:
i. 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력;
ii. 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티; 및
iii. 출력으로서:
1. 각 양식의 센서로부터 도출된 센서 데이터; 및
2. 처리로부터 도출된 주 감지 결과를 생성하는 출력을 포함하고;
c. 소프트웨어 기반 인지 모듈로서:
i. 각 센서 모듈로부터 센서 데이터를 수신하는 입력;
ii. 각 센서 모듈로부터 주 감지 결과를 수신하는 입력; 및
iii. 부 감지 결과를 도출하기 위하여 센서 모듈 중 둘 이상으로부터의 센서 데이터 및 주 감지 결과를 처리하는 프로세싱 엔티티를 포함하는 소프트웨어 기반 인지 모듈을 포함하고,
각 센서 모듈은 각 센서 양식에 따라 동작하는 시스템.
청구항 35에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 시스템.
청구항 36에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 시스템.
청구항 36에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 시스템.
청구항 37에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 인지 모듈은 이미지 데이터와 라이다 데이터를 융합하여 환경의 3D 맵을 생성하는 시스템.
청구항 39에 있어서,
인지 모듈은 이미지 데이터와 라이다 데이터를 융합할 때 3D 맵의 3D 재구축을 수행하도록 구성되는 시스템.
청구항 39에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 시스템.
청구항 41에 있어서,
인지 모듈은 3D 맵을 처리하여 관심 객체를 감지하고 부 감지 결과를 출력하도록 훈련된 신경망을 포함하는 시스템.
청구항 42에 있어서,
신경망은 복수의 카테고리 중에서 선택된 카테고리로 감지된 객체를 분류하도록 구성되는 시스템.
청구항 43에 있어서,
복수의 카테고리는 차량 및 보행자를 포함하는 시스템.
청구항 43에 있어서,
복수의 카테고리는 정적 객체 및 동적 객체를 포함하는 시스템.
청구항 42에 있어서,
인지 모듈은 제1 및 제2 감지 결과를 병합하고 융합된 감지 결과를 출력하도록 구성되는 감지 병합기를 포함하는 시스템.
청구항 35에 있어서,
인지 모듈은 점유 그리드를 계산하도록 구성되는 시스템.
청구항 47에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 시스템.
청구항 48에 있어서,
관심 객체는 차량을 포함하는 시스템.
청구항 49에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 시스템.
청구항 50에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 시스템.
청구항 50에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 시스템.
프로세스로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계;
b. 각 센서 모듈은:
i. 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력; 및
ii. 소프트웨어 기반 인지 엔티티를 포함하고,
c. 다음을 생성하기 위하여 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 단계;
1. 각 양식의 센서로부터 도출된 센서 데이터; 및
2. 처리로부터 도출된 주 감지 결과;
d. 다음을 포함하는 소프트웨어 기반 인지 모듈을 제공하는 단계: 및
i. 각 센서 모듈로부터 센서 데이터를 수신하는 입력; 및
ii. 각 센서 모듈로부터 주 감지 결과를 수신하는 입력;
e. 부 감지 결과를 도출하기 위하여 센서 모듈 중 둘 이상으로부터의 센서 데이터 및 주 감지 결과를 처리하는 단계를 포함하고,
각 센서 모듈은 각 센서 양식에 따라 동작하는 프로세스.
청구항 53에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 프로세스.
청구항 54에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 프로세스.
청구항 54에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 프로세스.
청구항 55에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 환경의 3D 맵을 생성하기 위하여 인지 모듈로 이미지 데이터와 라이다 데이터를 융합하는 단계를 포함하는 프로세스.
청구항 57에 있어서,
인지 모듈로 이미지 데이터와 라이다 데이터를 융합할 때 3D 맵의 3D 재구축을 수행하는 단계를 포함하는 프로세스.
청구항 58에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 프로세스.
청구항 58에 있어서,
관심 객체를 감지하고 부 감지 결과를 출력하도록 훈련된 신경망으로 3D 맵을 처리하는 단계를 포함하는 프로세스.
청구항 60에 있어서,
신경망으로 복수의 카테고리 중에서 선택된 카테고리로 감지된 객체를 분류하는 단계를 포함하는 프로세스.
청구항 61에 있어서,
복수의 카테고리는 차량 및 보행자를 포함하는 프로세스.
청구항 62에 있어서,
복수의 카테고리는 정적 객체 및 동적 객체를 포함하는 프로세스.
청구항 53에 있어서,
인지 모듈로 점유 그리드를 계산하는 단계를 포함하는 프로세스.
청구항 64에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 프로세스.
청구항 65에 있어서,
관심 객체는 차량을 포함하는 프로세스.
청구항 65에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 프로세스.
청구항 64에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 프로세스.
청구항 68에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 프로세스.
시스템으로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈; 및
b. 복수의 센서 모듈로부터의 감지 결과를 통일된 인지 솔루션으로 융합하기 위한 센서 퓨전 모듈로서, 융합은:
i. 각 센서 모듈에 대한 센서 성능을 결정하는 단계; 및
ii. 센서 성능에 따라 통일된 인지 솔루션의 센서 모듈로부터의 감지 결과의 기여의 가중치를 조정하는 단계를 포함하는 센서 퓨전 모듈을 포함하고,
각 센서 모듈은 각 센서 양식에 따라 동작하는 시스템.
청구항 70에 있어서,
센서 퓨전 모듈은 특정 센서 모듈에 관한 센서 성능이 증가할 때 복수의 센서 모듈 중 특정 센서 모듈로부터의 감지 결과의 기여의 가중치를 증가시키는 시스템.
청구항 70에 있어서,
센서 퓨전 모듈은 특정 센서 모듈에 관한 센서 성능이 감소할 때 복수의 센서 모듈 중 특정 센서 모듈로부터의 감지 결과의 기여의 가중치를 감소시키는 시스템.
청구항 71에 있어서,
복수의 센서 모듈 중 각 센서 모듈은:
i. 복수의 센서 모듈 중 센서 모듈의 다른 센서의 양식과 상이한 각 양식에 따라 동작하는 센서;
ii. 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하기 위한 인지 기능 블록을 포함하고;
b. 센서 퓨전 모듈은:
i. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고;
ii. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고;
iii. 통일된 인지 솔루션을 생성하기 위하여 주 및 부 감지 결과에 객체 수준 융합을 수행하도록 구성되는 센서 퓨전 모듈을 포함하고,
센서는 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성하도록 구성되는 시스템.
청구항 73에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 시스템.
청구항 74에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 시스템.
청구항 74에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 시스템.
청구항 75에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키도록 구성되는 시스템.
청구항 77에 있어서,
센서 퓨전 모듈은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하도록 구성되는 시스템.
청구항 78에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 시스템.
청구항 79에 있어서,
센서 퓨전 모듈은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하도록 구성되는 시스템.
청구항 80에 있어서,
센서 퓨전 모듈은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하도록 구성되는 시스템.
청구항 81에 있어서,
센서 퓨전 모듈은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하도록 구성되는 시스템.
청구항 73에 있어서,
센서 퓨전 모듈은 부 감지 결과에 기반하여 점유 그리드를 계산하도록 구성되는 시스템.
청구항 83에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 시스템.
청구항 84에 있어서,
관심 객체는 차량을 포함하는 시스템.
청구항 85에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 시스템.
청구항 86에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 시스템.
청구항 87에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 시스템.
프로세스로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계; 및
b. 융합 프로세스에 의하여 복수의 센서 모듈로부터의 감지 결과를 통일된 인지 솔루션으로 융합하기 위한 센서 퓨전 모듈로서, 융합 프로세스는:
i. 각 센서 모듈에 대한 센서 성능을 결정하는 단계; 및
ii. 센서 성능에 따라 통일된 인지 솔루션의 센서 모듈로부터의 감지 결과의 기여의 가중치를 조정하는 단계를 포함하는 센서 퓨전 모듈을 제공하는 단계를 포함하고,
각 센서 모듈은 각 센서 양식에 따라 동작하는 프로세스.
청구항 89에 있어서,
센서 퓨전 모듈은 특정 센서 모듈에 관한 센서 성능이 증가할 때 복수의 센서 모듈 중 특정 센서 모듈로부터의 감지 결과의 기여의 가중치를 증가시키는 프로세스.
청구항 89에 있어서,
센서 퓨전 모듈은 특정 센서 모듈에 관한 센서 성능이 감소할 때 복수의 센서 모듈 중 특정 센서 모듈로부터의 감지 결과의 기여의 가중치를 감소시키는 프로세스.
청구항 90에 있어서,
복수의 센서 모듈 중 각 센서 모듈은:
i. 복수의 센서 모듈 중 센서 모듈의 다른 센서의 양식과 상이한 각 양식에 따라 동작하는 센서;
ii. 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하기 위한 인지 기능 블록을 포함하고;
b. 센서 퓨전 모듈은:
i. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고;
ii. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고;
iii. 통일된 인지 솔루션을 생성하기 위하여 주 및 부 감지 결과에 객체 수준 융합을 수행하도록 구성되는 센서 퓨전 모듈을 포함하고,
센서는 관심 객체 중 적어도 하나를 포함하는 장면의 적어도 일부를 관측하고 장면의 일부와 적어도 하나의 관심 객체에 대한 정보를 전달하는 센서 데이터를 생성하도록 구성되는 프로세스.
청구항 92에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 프로세스.
청구항 93에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 프로세스.
청구항 93에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 프로세스.
청구항 94에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키는 프로세스.
청구항 96에 있어서,
센서 퓨전 모듈은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하는 프로세스.
청구항 97에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 프로세스.
청구항 98에 있어서,
센서 퓨전 모듈은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하는 프로세스.
청구항 99에 있어서,
센서 퓨전 모듈은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하는 프로세스.
청구항 100에 있어서,
센서 퓨전 모듈은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하는 프로세스.
청구항 101에 있어서,
센서 퓨전 모듈은 부 감지 결과에 기반하여 점유 그리드를 계산하도록 구성되는 프로세스.
청구항 102에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 프로세스.
청구항 103에 있어서,
관심 객체는 차량을 포함하는 프로세스.
청구항 104에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 프로세스.
청구항 105에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 프로세스.
청구항 106에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 프로세스.
시스템으로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈;
b. 각 센서 모듈은:
i. 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력; 및
ii. 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티를 포함하고;
c. 센서 퓨전 모듈로서:
i. 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력; 및
ii. 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위한 프로세싱 엔티티를 포함하는 센서 퓨전 모듈을 포함하고,
각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하는 시스템.
청구항 108에 있어서,
a. 각 센서 모듈의 인지 엔티티는 각 시간 도메인에 따라 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하도록 구성되고;
b. 센서 퓨전 모듈은:
i. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고;
ii. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고;
iii. 주 및 부 감지 결과에 객체 수준 융합을 수행하도록 구성되는 시스템.
청구항 109에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 시스템.
청구항 110에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 시스템.
청구항 110에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 시스템.
청구항 112에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키도록 구성되는 시스템.
청구항 113에 있어서,
센서 퓨전 모듈은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하도록 구성되는 시스템.
청구항 114에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 시스템.
청구항 115에 있어서,
센서 퓨전 모듈은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하도록 구성되는 시스템.
청구항 116에 있어서,
센서 퓨전 모듈은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하도록 구성되는 시스템.
청구항 117에 있어서,
센서 퓨전 모듈은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하도록 구성되는 시스템.
청구항 118에 있어서,
센서 퓨전 모듈은 부 감지 결과에 기반하여 점유 그리드를 계산하도록 구성되는 시스템.
청구항 119에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 시스템.
청구항 120에 있어서,
관심 객체는 차량을 포함하는 시스템.
청구항 121에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 시스템.
청구항 122에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 시스템.
청구항 123에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 시스템.
청구항 124에 있어서,
센서 퓨전 모듈은 연속적인 데이터 프레임을 통해 감지된 객체를 추적함으로써 3D 공간에서 감지된 객체의 이동 경로를 따르기 위하여 부 감지 결과를 처리하도록 구성되는 시스템.
프로세스로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈을 제공하는 단계;
b. 각 센서 모듈은:
i. 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력; 및
ii. 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 소프트웨어 기반 인지 엔티티를 포함하고;
c. 센서 퓨전 모듈로서:
i. 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력; 및
ii. 프로세싱 엔티티에 의하여 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위하여 감지 결과를 처리하는 단계를 포함하는 센서 퓨전 모듈을 제공하는 단계를 포함하고,
각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하는 프로세스.
청구항 126에 있어서,
a. 각 센서 모듈의 인지 엔티티는 각 시간 도메인에 따라 주 감지 결과를 출력하기 위하여 센서 데이터를 처리하고;
b. 센서 퓨전 모듈은:
i. 장면의 융합된 3D 맵을 생성하기 위하여 제1 센서 양식에 따라 동작하는 제1 센서 모듈로부터 도출된 센서 데이터를 제2 센서 양식에 따라 동작하는 제2 센서 모듈로부터 도출된 센서 데이터와 융합하고;
ii. 장면의 관심 객체를 감지하고 부 감지 결과를 생성하기 위하여 융합된 3D 맵을 처리하고;
iii. 주 및 부 감지 결과에 객체 수준 융합을 수행하는 프로세스.
청구항 127에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 프로세스.
청구항 110에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 프로세스.
청구항 128에 있어서,
복수의 센서 양식은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 프로세스.
청구항 129에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 라이다 데이터의 거리값을 이미지 데이터의 픽셀에 연관시키는 프로세스.
청구항 131에 있어서,
센서 퓨전 모듈은 라이다 데이터에서 거리값이 사용 불가능한 이미지 데이터의 제1 픽셀에 대하여, 제1 픽셀과 시각적으로 유사한 이미지 데이터의 제2 픽셀에 대해 사용 가능한 라이다 데이터의 거리값에 적어도 부분적으로 기반하여 거리값을 추정하는 프로세스.
청구항 132에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 프로세스.
청구항 133에 있어서,
센서 퓨전 모듈은 세그먼트의 픽셀의 시각적 유사성에 적어도 부분적으로 기반하여 이미지 데이터에서 세그먼트를 정의하는 프로세스.
청구항 134에 있어서,
센서 퓨전 모듈은 유사한 색상을 가지는 장면의 부분을 묘사하는 픽셀을 강조하기 위하여 주어진 세그먼트의 경계를 정의하는 프로세스.
청구항 135에 있어서,
센서 퓨전 모듈은 특정 세그먼트의 픽셀과 연관된 라이다 데이터에서 셋 이상의 거리값을 식별하고 평면 방정식을 사용함으로써 복수의 거리값에 기반하여 라이다 데이터에서 거리값이 사용 불가능한 특정 세그먼트의 다른 픽셀에 대한 거리값을 추정하도록 구성되는 프로세스.
청구항 136에 있어서,
센서 퓨전 모듈은 부 감지 결과에 기반하여 점유 그리드를 계산하도록 구성되는 프로세스.
청구항 137에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 프로세스.
청구항 138에 있어서,
관심 객체는 차량을 포함하는 프로세스.
청구항 139에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 프로세스.
청구항 140에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 프로세스.
청구항 141에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 프로세스.
청구항 142에 있어서,
센서 퓨전 모듈은 연속적인 데이터 프레임을 통해 감지된 객체를 추적함으로써 3D 공간에서 감지된 객체의 이동 경로를 따르기 위하여 부 감지 결과를 처리하도록 구성되는 프로세스.
시스템으로서:
a. 관심 객체를 포함하는 장면을 감지하기 위한 복수의 센서 모듈;
b. 각 센서 모듈은:
i. 각 양식의 센서로부터 센서 데이터를 수신하기 위한 센서 입력; 및
ii. 각 시간 도메인의 센서 데이터에서 관심 객체를 감지하기 위하여 센서 데이터를 처리하는 양식 고유의 소프트웨어 기반 인지 엔티티를 포함하고;
c. 센서 퓨전 모듈로서:
i. 복수의 센서 모듈로부터 비동기식 감지 결과를 수신하기 위한 입력; 및
ii. 감지 결과를 동기화하고 통일된 인지 솔루션으로 동기화된 감지 결과를 융합하기 위한 프로세싱 엔티티를 포함하는 센서 퓨전 모듈을 포함하고,
각 센서 모듈은 각 센서 양식에 따라 및 각 시간 도메인에 따라 동작하는 시스템.
청구항 144에 있어서,
복수의 센서 모듈은 장면의 적어도 일부를 서술하는 이미지 데이터를 생성하는 카메라를 포함하는 시스템.
청구항 145에 있어서,
복수의 센서 모듈은 장면의 적어도 일부를 서술하는 라이다 데이터를 생성하는 라이다를 포함하는 시스템.
청구항 145에 있어서,
복수의 센서 모듈은 장면의 적어도 일부를 서술하는 레이더 데이터를 생성하는 레이더를 포함하는 시스템.
청구항 146에 있어서,
이미지 데이터는 복수의 픽셀을 전달하고, 라이다 데이터는 복수의 거리 측정을 전달하고, 센서 퓨전 모듈은 이미지 데이터와 라이다 데이터를 융합하여 환경의 3D 맵을 생성하는 시스템.
청구항 148에 있어서,
센서 퓨전 모듈은 이미지 데이터와 라이다 데이터를 융합할 때 3D 맵의 3D 재구축을 수행하도록 구성되는 시스템.
청구항 149에 있어서,
카메라는 라이다보다 높은 해상도를 가지는 시스템.
청구항 150에 있어서,
인지 모듈은 3D 맵을 처리하여 관심 객체를 감지하고 부 감지 결과를 출력하도록 훈련된 신경망을 포함하는 시스템.
청구항 151에 있어서,
신경망은 복수의 카테고리 중에서 선택된 카테고리로 감지된 객체를 분류하도록 구성되는 시스템.
청구항 152에 있어서,
복수의 카테고리는 차량 및 보행자를 포함하는 시스템.
청구항 153에 있어서,
복수의 카테고리는 정적 객체 및 동적 객체를 포함하는 시스템.
청구항 154에 있어서,
인지 모듈은 제1 및 제2 감지 결과를 병합하고 융합된 감지 결과를 출력하도록 구성되는 감지 병합기를 포함하는 시스템.
청구항 155에 있어서,
인지 모듈은 점유 그리드를 계산하도록 구성되는 시스템.
청구항 156에 있어서,
점유 그리드는 관심 객체 및 관심 객체의 상대 위치를 정의하는 시스템.
청구항 157에 있어서,
관심 객체는 차량을 포함하는 시스템.
청구항 158에 있어서,
점유 그리드는 개별 차량의 궤적을 식별하는 시스템.
청구항 159에 있어서,
점유 그리드는 개별 차량의 속도를 식별하는 시스템.
청구항 160에 있어서,
점유 그리드는 차량 주위의 자유 공간을 정의하는 시스템.
자동화 방법 시스템으로서:
a. 라이다 장치로서:
i. 하나 이상의 목표 객체를 포함하는 장면을 향해 광 펄스를 포함하는 광을 방출하도록 구성되는 송신기; 및
ii. 목표 객체 중 하나 이상으로부터의 반사광을 감지하도록 구성되는 수신기를 포함하는 라이다 장치를 제공하는 단계;
b. 장면의 이미지 데이터를 생성하기 위하여 이미지 캡처 장치를 제공하는 단계;
c. 라이다 데이터 및/또는 이미지 데이터를 수신하기 위한 입력을 가지고 장면의 하나 이상의 특성을 전달하는 장면 핑거프린트를 도출하기 위하여 라이다 데이터 및/또는 이미지 데이터를 처리하는 데이터 프로세싱 엔티티를 제공하는 단계;
d. 데이터 프로세싱 엔티티의 장치 판독 가능한 저장소에 라이다 장치 동작 모드의 라이브러리를 저장하는 단계;
e. 라이브러리로부터 핑거프린트에 대응하는 라이다 장치 동작 모드를 도출하는 단계;
f. 도출된 동작 모드에 따라서 라이다 장치의 동작을 제어하는 단계;
g. 데이터 프로세싱 엔티티로 장면의 3D 맵을 생성하는 단계; 및
h. 장면의 목표 객체를 식별하기 위하여 데이터 프로세싱 엔티티로 장면의 3D 맵을 처리하는 단계를 포함하고,
라이다 장치는 반사광에 응답하여 거리값을 전달하는 장면의 라이다 데이터를 생성하도록 구성되고,
이미지 데이터는 복수의 픽셀을 전달하는 자동화 방법 시스템.