KR20220084021A - 차량 키포인트 정보 검출 및 차량 제어 - Google Patents

Abstract

본 발명은 차량 키포인트 정보 검출 방법, 차량 제어 방법 및 상응한 장치와 차량을 제공한다. 상기 차량 키포인트 정보 검출 방법의 일 예시에 따르면, 타깃 차량에 대한 3차원 스캔 데이터 및 상기 타깃 차량이 포함되는 검출할 사진을 획득한 후, 상기 3차원 스캔 데이터에 기반하여 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하고, 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정한다.

Description

차량 키포인트 정보 검출 및 차량 제어

[관련 출원의 상호 참조]

본 발명은 2020년 12월 10일에 중국 특허청에 제출한, 출원번호가 202011454859.1인 중국 특허 출원의 우선권을 주장하는 바, 해당 출원의 모든 내용은 참조로서 본원 발명에 인용된다.

본 발명은 정보 처리 기술 분야에 관한 것으로, 구체적으로 차량 키포인트 정보 검출 방법, 차량 제어 방법 및 상응한 장치와 차량에 관한 것이다.

일부 운전 시나리오에서, 운전 차량 주변의 차량 주행 상태를 자동으로 식별함으로써, 운전 차량을 제어해야 한다. 구현 시 운전 차량을 통해 주변 차량의 사진을 촬영한 다음, 사진에 대한 식별 결과에 따라 주변 차량의 주행 상태를 결정하고, 운전 차량의 주행 상태를 제어할 수 있다. 운전 차량에 의해 촬영된 사진 속의 주변 차량을 식별할 경우, 사진 속 주변 차량의 키포인트 정보를 이용해야 한다.

관련 기술에서는 일반적으로 수동 방식으로 샘플 사진 상에 차량의 키포인트 정보를 라벨링하므로, 라벨링 효율 및 정확도가 모두 비교적 낮고, 이러한 샘플 사진으로 트레이닝된 키포인트 검출 모델의 검출 정밀도도 낮기 때문에, 사진 속 주변 차량 주행 상태에 대한 식별 정확도에 영향을 미치므로, 운전 차량에 대한 제어 전력에 영향을 미친다.

본 발명의 실시예는 적어도 차량 키포인트 정보 검출 방법, 차량 제어 방법 및 상응한 장치와 차량을 제공한다.

제1 양태에서, 본 발명의 실시예는, 타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하는 단계; 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하는 단계; 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계를 포함하는 차량 키포인트 정보 검출 방법을 제공한다.

상기 방법에서, 타깃 차량의 3차원 스캔 데이터에 기반하여 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정한 다음, 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계에 기반하여, 다수의 키포인트의 3차원 좌표 정보를 검출할 사진에서의 2차원 좌표 정보로 변환하고, 키포인트의 3차원 좌표 정보는 타깃 차량에 대응되는 3차원 차량 좌표계에 미리 라벨링될 수 있기 때문에 비교적 정확하며, 이는 3차원 좌표 정보를 검출할 사진에 매핑함으로써 결정된 2차원 좌표 정보도 비교적 정확해지도록 한다.

일 가능한 실시형태에서, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하는 단계는, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계; 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하는 단계; 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보를 획득하는 단계를 포함한다. 상응하게, 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계는, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계를 포함한다.

여기서, 키포인트는 타깃 차량 모델 상에 미리 라벨링되고, 타깃 차량 모델은 3차원 모델이므로, 획득된 키포인트의 좌표 정보는 3차원 좌표 정보이고 비교적 정확하며, 타깃 차량 모델은 실제 타깃 차량에 비례하므로, 대응되는 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보도 비교적 정확하다.

일 가능한 실시형태에서, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계는, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정하는 단계 - 상기 카메라 좌표계는 상기 검출할 사진을 수집하는 카메라를 좌표 원점으로 하는 3차원 좌표계임 - ; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 결정하는 단계; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계를 포함한다.

일 가능한 실시형태에서, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 결정하는 단계는, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 각도 변화량을 특성화하는 직교 회전 행렬, 및 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 오프셋을 특성화하는 이동 행렬을 결정하는 단계; 상기 직교 회전 행렬과 상기 오프셋 행렬에 따라 제1 변환 행렬을 생성하는 단계를 포함하고, 상기 제1 변환 행렬은 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 특성화한다. 상응하게, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정하는 단계는, 상기 제1 변환 행렬에 기반하여, 미리 라벨링된 상기 타깃 차량 모델 상의 상기 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보로 변환하는 단계를 포함한다.

일 가능한 실시형태에서, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계는, 상기 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계와 상기 검출할 사진에 대응되는 2차원 좌표계 사이의 변환 관계를 특성화하는 제2 변환 행렬을 결정하는 단계; 및 상기 제2 변환 행렬에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계를 포함한다.

일 가능한 실시형태에서, 상기 다수의 키포인트는, 상기 검출할 사진에서의 가시적 키포인트, 및 상기 검출할 사진에서의 불가시적 키포인트 중 적어도 하나를 포함한다.

일 가능한 실시형태에서, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계는, 상기 3차원 스캔 데이터를 수집하는 장치와 상기 검출할 사진을 수집하는 카메라 사이의 상대적 위치 관계에 기반하여, 상기 3차원 스캔 데이터를 상기 카메라를 좌표 원점으로 하는 카메라 좌표계로 변환하는 단계; 및 상기 카메라 좌표계에서의 3차원 스캔 데이터를 미리 트레이닝된 신경망에 입력하여 처리하여, 상기 타깃 차량의 파라미터 정보를 획득하는 단계를 포함하고, 상기 신경망은, 관련 차량의 파라미터 정보가 라벨링된 샘플 3차원 스캔 데이터에 기반하여 트레이닝되어 획득되는 것이다.

일 가능한 실시형태에서, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계는, 상기 3차원 스캔 데이터에 대응되는 라벨링 정보를 획득하는 단계를 포함하고, 상기 라벨링 정보는 상기 타깃 차량의 파라미터 정보를 포함한다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보에는 차종 정보가 포함된다. 상응하게, 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하는 단계는, 상기 차종 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 차종 정보에 매칭되는 타깃 차량 모델을 선별해내는 단계를 포함한다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보는, 상기 타깃 차량의 사이즈 정보; 상기 타깃 차량의 오일러 각 정보; 및 상기 카메라 좌표계에서의 상기 타깃 차량의 중심점의 좌표 중 적어도 하나를 포함한다.

제2 양태에서, 본 발명의 실시예는, 차량에 의해 수집된 검출할 사진을 획득하는 단계; 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하는 단계 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1 양태 또는 제1 양태의 임의의 하나의 가능한 실시형태에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ; 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하는 단계; 및 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 단계를 포함하는 차량 제어 방법을 제공한다.

이러한 방법에서, 샘플 이미지에 포함된 키포인트 정보는 제1 양태 또는 제1 양태의 임의의 하나의 가능한 실시형태에 따른 방법에 의해 결정되고, 샘플 이미지의 키포인트 정보는 수동으로 라벨링할 필요 없으므로, 키포인트 검출 모델의 트레이닝에 사용되어 트레이닝 효율을 향상시키고, 트레이닝된 키포인트 검출 모델의 식별 정밀도도 더 높아진다. 또한, 키포인트 검출 모델에 기반하여, 운전 차량이 주행 과정에서 수집한 이미지를 식별한 후, 식별 결과에 따라 운전 차량의 주변 차량의 포즈 정보를 빠르게 결정하고, 나아가 운전 차량의 주행 상태를 적시에 제어할 수 있으므로, 운전 차량의 주행 과정에서의 안전성을 향상시킨다.

제3 양태에서, 본 발명의 실시예는, 타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하기 위한 제1 획득 모듈; 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하기 위한 제1 결정 모듈; 및 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하기 위한 제2 결정 모듈을 포함하는 차량 키포인트 정보 검출 장치를 더 제공한다.

일 가능한 실시형태에서, 상기 제1 결정 모듈은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정할 경우, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하고; 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하며; 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보를 획득한다. 상응하게, 상기 제2 결정 모듈은, 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈은, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정하고, 상기 카메라 좌표계는 상기 검출할 사진을 수집하는 카메라를 좌표 원점으로 하는 3차원 좌표계이며; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 결정하고; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈은, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 결정할 경우, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 각도 변화량을 특성화하는 직교 회전 행렬, 및 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 오프셋을 특성화하는 이동 행렬을 결정하고; 상기 직교 회전 행렬과 상기 오프셋 행렬에 따라 제1 변환 행렬을 생성하며, 상기 제1 변환 행렬은 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 특성화한다. 상응하게, 상기 제2 결정 모듈은, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정할 경우, 상기 제1 변환 행렬에 기반하여, 미리 라벨링된 상기 타깃 차량 모델 상의 상기 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈은, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환할 경우, 상기 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계와 상기 검출할 사진에 대응되는 2차원 좌표계 사이의 변환 관계를 특성화하는 제2 변환 행렬을 결정하고; 상기 제2 변환 행렬에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 다수의 키포인트는, 상기 검출할 사진에서의 가시적 키포인트 및/또는 상기 검출할 사진에서의 불가시적 키포인트를 포함한다.

일 가능한 실시형태에서, 상기 제1 결정 모듈은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정할 경우, 상기 3차원 스캔 데이터를 수집하는 장치와 상기 검출할 사진을 수집하는 카메라 사이의 상대적 위치 관계에 기반하여, 상기 3차원 스캔 데이터를 상기 카메라를 좌표 원점으로 하는 카메라 좌표계로 변환하고; 상기 카메라 좌표계에서의 3차원 스캔 데이터를 미리 트레이닝된 신경망에 입력하여 처리하여, 상기 타깃 차량의 파라미터 정보를 획득한다. 여기서, 상기 신경망은 관련 차량의 상기 파라미터 정보가 라벨링된 샘플 3차원 스캔 데이터에 기반하여 트레이닝되어 획득되는 것이다.

일 가능한 실시형태에서, 상기 제1 결정 모듈은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정할 경우, 상기 3차원 스캔 데이터에 대응되는 라벨링 정보를 획득하고, 상기 라벨링 정보는 상기 타깃 차량의 파라미터 정보를 포함한다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보에는 차종 정보가 포함된다. 상응하게, 상기 제1 결정 모듈은, 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정할 경우, 미리 구축된 다양한 3차원 차량 모델에서, 상기 타깃 차량의 차종 정보에 매칭되는 타깃 차량 모델을 선별해낸다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보는, 상기 타깃 차량의 사이즈 정보; 상기 타깃 차량의 오일러 각 정보; 및 카메라 좌표계에서의 상기 타깃 차량의 중심점의 좌표 중 적어도 하나를 포함한다.

제4 양태에서, 본 발명의 실시예는, 차량에 의해 수집된 검출할 사진을 획득하기 위한 제2 획득 모듈; 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하기 위한 검출 모듈 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1 양태 또는 제1 양태의 임의의 하나의 가능한 실시형태에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ; 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하기 위한 식별 모듈; 및 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하기 위한 제어 모듈을 포함하는 차량 제어 장치를 더 제공한다.

제5 양태에서, 본 발명의 실시예는 프로세서, 메모리 및 버스를 포함하는 전자 기기를 더 제공하고, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되며, 상기 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상기 제1 양태 또는 제1 양태 중 임의의 하나의 가능한 실시형태의 단계가 수행된다.

제6 양태에서, 본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 제1 양태 또는 제1 양태 중 임의의 하나의 가능한 실시형태의 단계가 수행된다.

제7 양태에서, 본 발명의 실시예는 이미지 수집 기기, 및 컴퓨팅 기기를 포함하는 차량을 더 제공한다. 여기서, 상기 이미지 수집 기기는 검출할 사진을 수집한다. 상기 컴퓨팅 기기는 프로세서, 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있는 메모리, 및 버스를 포함하고, 컴퓨팅 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상기 이미지 수집 기기에 의해 수집된 검출할 사진을 획득하는 단계; 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하는 단계 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1 양태 또는 제1 양태의 임의의 하나의 가능한 실시형태에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ; 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하는 단계; 및 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 단계가 수행된다.

상기 차량 키포인트 정보 검출 장치, 차량 제어 장치, 전자 기기, 및 컴퓨터 판독 가능 저장 매체, 차량에 관한 효과 설명은 상기 차량 키포인트 정보 검출 방법의 설명을 참조하며, 여기서 상세한 설명을 생략한다.

본 발명의 상기 목적, 특징 및 장점을 보다 명확하게 이해하기 쉽도록, 아래에서는 바람직한 실시예와 첨부된 도면을 결합하여 상세하게 설명하기로 한다.

본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에서는 실시예에서 사용되어야 하는 도면을 간단히 소개하기로 하고, 이러한 도면들은 명세서에 병합되어 본 명세서의 일부를 구성하며, 명세서와 함께 본 발명의 기술적 해결수단을 설명한다. 이하, 도면은 본 발명의 일부 실시예를 도시하였을 뿐이므로, 범위를 제한하는 것으로 간주되어서는 아니되며, 본 기술분야의 통상의 기술자라면 진보성 창출에 힘쓰지 않은 전제 하에, 이러한 도면에 따라 다른 관련되는 도면을 획득할 수도 있음을 이해해야 한다.
도 1은 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 방법의 흐름도를 도시한다.
도 2는 본 발명의 실시예에 의해 제공되는 검출할 사진에서의 다수의 키포인트의 2차원 좌표 정보를 결정하는 방법의 흐름도를 도시한다.
도 3은 본 발명의 실시예에 의해 제공되는 차량 제어 방법의 흐름 모식도를 도시한다.
도 4는 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 장치의 아키텍처 모식도를 도시한다.
도 5는 본 발명의 실시예에 의해 제공되는 차량 제어 장치의 아키텍처 모식도를 도시한다.
도 6은 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출을 위한 전자 기기(600)의 구조 모식도를 도시한다.
도 7은 본 발명의 실시예에 의해 제공되는 차량 제어를 위한 전자 기기(700)의 구조 모식도를 도시한다.

본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 보다 명확하게 하기 위해, 아래에서는 도면을 결부하여 본 발명의 실시예의 기술적 해결수단을 명확하고 완전하게 설명하기로 한다. 설명되는 실시예는 본 발명의 일부 실시예일 뿐, 전부의 실시예가 아니다. 일반적으로, 여기서의 도면에서 설명되고 도시되는 본 발명의 실시예의 구성 요소는 다양하고 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 이하 도면에서 제공되는 본 발명의 실시예에 대한 상세한 설명은 보호하고자 하는 본 발명의 범위를 제한하려는 것이 아니라, 본 발명의 선택된 실시예를 나타내는 것에 불과하다. 본 발명의 실시예에 기반하여, 본 기술분야의 통상의 기술자가 진보성 창출에 힘쓰지 않은 전제 하에 획득한 모든 다른 실시예들은 모두 본 발명의 보호범위에 포함된다.

샘플 사진에서 차량 키포인트 정보를 수동 방식으로 라벨링할 때 효율이 낮은 문제를 해결하기 위해, 본 발명에서 제공되는 실시예에서는, 타깃 차량의 3차원 스캔 데이터에 기반하여 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정한 다음, 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계에 기반하여, 다수의 키포인트의 3차원 좌표 정보를 검출할 사진에서의 2차원 좌표 정보로 변환하고, 키포인트의 3차원 좌표 정보는 타깃 차량에 대응되는 3차원 차량 좌표계에 미리 라벨링되기 때문에 비교적 정확하며, 이는 키포인트의 3차원 좌표 정보를 검출할 사진에 매핑함으로써 결정된 키포인트가 검출할 사진에서의 2차원 좌표 정보도 비교적 정확해지도록 한다.

상기 관련 기술의 수단에 존재하는 결함은 모두 발명자가 실천 및 세심한 연구를 거쳐 얻은 결과이므로, 상기 문제점의 발견 과정 및 후술되는 본 발명에서 상기 문제점에 대해 제기한 해결수단은 모두 본 발명의 과정에서 본 발명에 대한 발명자의 기여이어야 한다.

유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 나타내므로, 하나의 도면에서 한 번 정의된 항목은 이후의 도면에서 더 이상 정의 및 해설될 필요 없음을 유의해야 한다.

본 실시예에 대한 이해를 용이하게 하기 위해, 먼저 본 발명의 실시예에서 공개되는 차량 키포인트 정보 검출 방법을 상세하게 설명하기로 하며, 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 방법의 수행 주체는 일반적으로 일정한 컴퓨팅 능력을 갖는 전자 기기이며, 상기 전자 기기는 예를 들어 단말 기기 또는 서버 또는 다른 처리 기기를 포함하고, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기 등일 수 있다. 일부 가능한 구현 형태에서, 상기 차량 키포인트 정보 검출 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수도 있다.

도 1을 참조하면, 이는 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 방법의 흐름도를 도시하고, 상기 방법은 하기와 같은 몇 개의 단계를 포함한다.

단계 101에서, 타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득한다.

단계 102에서, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정한다.

단계 103에서, 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정한다.

상기 방법에서, 타깃 차량의 3차원 스캔 데이터에 기반하여 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정한 다음, 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계에 기반하여, 다수의 키포인트의 3차원 좌표 정보를 검출할 사진에서의 2차원 좌표 정보로 변환하고, 키포인트의 3차원 좌표 정보는 타깃 차량에 대응되는 3차원 차량 좌표계에 미리 라벨링될 수 있기 때문에 비교적 정확하며, 이는 키포인트의 3차원 좌표 정보를 검출할 사진에 매핑함으로써 결정된 키포인트가 검출할 사진에서의 2차원 좌표 정보도 비교적 정확해지도록 한다.

이하, 상기 단계 101 ~ 단계 103에 대해 상세하게 설명한다.

단계 101에 대해, 일 가능한 실시형태에서, 상기 타깃 차량에 대한 3차원 스캔 데이터는 타깃 차량에 대한 포인트 클라우드 데이터일 수 있다.

일 가능한 실시형태에서, 3차원 스캔 데이터와 검출할 사진은 수집 장치에 의해 실시간으로 수집될 수 있고, 데이터베이스로부터 과거에 수집한 3차원 스캔 데이터와 검출할 사진을 획득할 수도 있다. 3차원 스캔 데이터의 대상 차량과 검출할 사진 속의 타깃 차량이 동일한 포즈의 동일 차량이도록 확보해야 한다. 본 수단의 수행 주체가 컴퓨터임을 예로 들면, 데이터베이스로부터 과거에 수집한 3차원 스캔 데이터와 검출할 사진을 획득할 경우, 컴퓨터 로컬의 데이터베이스로부터 판독할 수 있고, 클라우드 서버로부터 판독할 수도 있으며, 본 발명은 이에 대해 한정하지 않는다.

예시적으로, 3차원 스캔 데이터는 레이저 레이더 센서를 통해 획득된 포인트 클라우드 데이터일 수 있고, 레이저 레이더와 카메라는 모두 동일한 수집 기기에 장착될 수 있으며, 상기 수집 기기는 운전 차량 또는 데이터 수집 로봇 등일 수 있다. 레이저 레이더 센서에 의해 수집된 포인트 클라우드 데이터에는 상기 타깃 차량에 대응되는 포인트 클라우드 데이터가 포함된다.

일 가능한 응용 시나리오에서, 상기 타깃 차량은 수집 기기가 주행 과정에서 수집한 사진 속의 차량이고, 수집 기기가 주행 과정에서 기설정 시간 간격마다 3차원 스캔 데이터와 검출할 사진을 1회 수집할 수 있다. 본 발명의 실시예에 의해 제공되는 방법을 수행할 경우, 처리 효율을 향상시키기 위해, 먼저 수집 기기가 주행 과정에서 수집한 3차원 스캔 데이터와 검출할 사진을 선별할 수 있다. 타깃 차량이 포함되는 검출할 사진과 3차원 스캔 데이터를 선별해낸 다음, 단계 102 ~ 단계 103을 다시 수행한다. 타깃 차량이 포함되지 않는 검출할 사진과 3차원 스캔 데이터는 직접 폐기할 수 있다.

이하, 3차원 스캔 데이터가 포인트 클라우드 데이터임을 예로 들면, 3차원 스캔 데이터의 수집 장치는 레이저 레이더 센서일 수 있고, 단계 102 및 단계 103의 수행 단계에 대해 상세하게 설명한다.

단계 102에 대해, 일 가능한 실시형태에서, 3차원 스캔 데이터에 기반하여 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정할 경우, 먼저 3차원 스캔 데이터에 기반하여 타깃 차량의 파라미터 정보를 결정한 다음, 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 타깃 차량에 대응되는 타깃 차량 모델을 결정하고, 다음, 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보를 획득할 수 있다.

여기서, 타깃 차량의 파라미터 정보는, 타깃 차량의 사이즈 정보(예컨대, 타깃 차량의 길이, 너비, 높이 등); 타깃 차량의 오일러 각 정보(예컨대, 피치, 롤, 요 등); 및 카메라 좌표계에서의 타깃 차량의 중심점의 좌표 중 적어도 하나를 포함할 수 있다.

타깃 차량의 중심점은 타깃 차량을 커버하는 최소 직육면체의 체대각선의 교점을 가리킬 수 있다.

상기 3차원 스캔 데이터는 3차원 스캔 데이터를 수집하는 장치를 좌표 원점으로 하는 3차원 스캔 데이터 수집 장치 좌표계에서의 데이터이고, 타깃 차량의 파라미터 정보는 카메라 좌표계에서의 타깃 차량의 파라미터 정보를 가리킨다. 따라서, 타깃 차량의 파라미터 정보를 결정할 경우, 먼저 상기 3차원 스캔 데이터를 카메라 좌표계로 변환할 수 있고, 상기 카메라 좌표계는 검출할 사진을 수집하는 카메라를 좌표 원점으로 하는 좌표계이다.

3차원 스캔 데이터가 포인트 클라우드 데이터임을 예로 들면, 레이저 레이더 센서가 포인트 클라우드 데이터 수집 시 기록한 레이더 포인트의 좌표는 레이더 좌표계에서의 좌표(즉 레이저 레이더 센서를 좌표 원점으로 하여 구축된 3차원 좌표계)이므로, 포인트 클라우드 데이터에 기반하여 타깃 차량의 파라미터 정보를 결정할 경우, 먼저 레이저 레이더 센서에 의해 수집된 포인트 클라우드 데이터를, 레이저 레이더를 좌표 원점으로 하는 레이더 좌표계에서 카메라 좌표계로 변환할 수 있다.

구체적으로, 먼저, 레이저 레이더 센서와 카메라 사이의 상대적 위치 관계에 기반하여, 레이저 레이더 센서에 의해 수집된 레이더 좌표계에서의 포인트 클라우드 데이터를, 카메라를 좌표 원점으로 하는 카메라 좌표계에서의 포인트 클라우드 데이터로 변환하고; 다음, 카메라 좌표계에서의 포인트 클라우드 데이터에 기반하여, 타깃 차량의 파라미터 정보를 결정할 수 있다.

카메라 좌표계에서의 포인트 클라우드 데이터에 기반하여 타깃 차량의 파라미터 정보를 결정할 경우, 예시적으로, 카메라 좌표계에서의 포인트 클라우드 데이터를 미리 트레이닝된 신경망에 입력하여, 타깃 차량의 파라미터 정보를 획득할 수 있다.

여기서, 신경망은 관련 차량의 파라미터 정보가 라벨링된 샘플 포인트 클라우드 데이터에 기반하여 트레이닝되어 획득될 수 있고, 샘플 포인트 클라우드 데이터에 포함된 라벨링된 차량 파라미터 정보는 수동으로 라벨링된 것일 수 있다.

구체적으로, 관련 차량의 샘플 포인트 클라우드 데이터를 트레이닝할 신경망에 입력하고, 신경망에 의해 예측된 차량 파라미터 정보를 출력한 다음, 예측된 차량 파라미터 정보와 상기 샘플 포인트 클라우드 데이터 자체에 포함된 라벨링된 차량 파라미터 정보에 기반하여, 금번 트레이닝 과정에서의 모델 손실값을 결정하고, 결정된 모델 손실값이 기설정 조건을 만족하지 않을 경우, 특정 트레이닝의 모델 손실값이 상기 기설정 조건을 만족할 때까지, 모델 손실값에 기반하여 신경망의 모델 파라미터를 조정한 후 다시 트레이닝을 수행하여, 신경망 트레이닝의 완료를 결정할 수 있다.

다른 가능한 실시형태에서, 3차원 스캔 데이터에 기반하여 타깃 차량의 파라미터 정보를 결정할 경우, 수동으로 3차원 스캔 데이터에 대해 라벨링을 수행한 다음, 3차원 스캔 데이터에 대응되는 라벨링 정보를 획득할 수도 있으며, 라벨링 정보에는 타깃 차량의 파라미터 정보가 포함된다.

이러한 실시형태에서, 수동으로 3차원 스캔 데이터에 대해 라벨링을 수행해야 하기 때문에, 이러한 실시형태는 검출할 사진 중 키포인트의 2차원 좌표 정보를 실시간으로 결정하는 응용 시나리오에 적합하지 않다.

타깃 차량 상의 다수의 키포인트는 타깃 차량 모델 상의 기설정 위치 포인트에 대응될 수 있고, 예를 들어, 백미러, 차량 휠, 차량 라이트 등을 포함할 수 있으며, 구체적인 차량 모델 상의 키포인트는 사용자 수요에 따라 설정될 수 있고, 상이한 모델의 3차원 차량 모델 상의 키포인트의 수량 및 키포인트의 위치는 동일할 수 있다.

실제 응용에서는 다양한 모델의 차량의 3차원 차량 모델을 미리 구축할 수 있고, 상기 3차원 차량 모델은 CAD 모델일 수 있으며, 다음 각각의 3차원 차량 모델 상의 각 키포인트의 3차원 좌표 정보를 결정한다. 여기서, 상기 3차원 좌표 정보는 차량 모델 좌표계에서의 좌표 정보이고, 상기 차량 모델 좌표계는 3차원 차량 모델 상의 임의의 하나의 위치 포인트를 좌표 원점으로 하여 구축된 3차원 좌표계일 수 있다. 또한, 상이한 모델의 3차원 차량 모델 좌표계의 좌표 원점은 차량 상의 동일한 위치에 대응될 수 있고, 예를 들어, 모두 차량의 백미러를 좌표 원점으로 한다.

다른 가능한 실시형태에서, 타깃 차량의 파라미터 정보에는 타깃 차량의 차종 정보가 더 포함될 수 있고, 차종 정보는 예를 들어, 차량 브랜드명, 차종명 등을 포함할 수 있다.

타깃 차량의 파라미터 정보에 기반하여, 미리 구축된 다양한 3차원 차량 모델에서 타깃 차량 모델을 결정할 경우, 먼저 타깃 차량의 파라미터 정보 중의 차종 정보를 결정한 다음, 미리 구축된 다양한 3차원 차량 모델에서 타깃 차량의 차종 정보에 매칭되는 타깃 차량 모델을 선별해낼 수 있다.

다른 가능한 실시형태에서, 검출할 사진에만 따라 검출할 사진 속 타깃 차량의 차종 정보를 결정할 수도 있다. 예시적으로, 검출할 사진에 대해 시멘틱 식별을 수행하거나, 또는 미리 트레이닝된 차량 식별 네트워크를 통해 검출할 사진 속의 차종 정보를 식별할 수 있다.

타깃 차량 모델을 선별해낸 후, 차량 모델 구축 시 이미 차량 모델 상의 각 키포인트의 3차원 좌표 정보가 결정되므로, 선별해낸 타깃 차량 모델에 따라, 직접 타깃 차량 모델 상의 다수의 키포인트의 3차원 좌표 정보를 결정할 수 있다.

단계 103에 대해, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 구체적으로, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 것으로 구현될 수 있다. 또한, 도 2에 따른 방법을 참조하면, 상기 구체적인 실시형태는 하기와 같은 3개의 단계를 포함할 수 있다.

단계 201에서, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정한다.

단계 202에서, 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정한다.

단계 203에서, 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환한다.

여기서, 타깃 차량 모델 상의 각 키포인트는 실제 세계의 타깃 차량 상의 키포인트에 대응된다. 예를 들어, 타깃 차량 모델의 백미러 상의 키포인트는 실제 세계의 타깃 차량의 백미러 상의 키포인트에 대응된다. 다시 말해서, 상기 타깃 차량 모델 상의 각각의 키포인트는 타깃 차량에서 모두 실제 키포인트가 대응되어 있다.

구체적으로, 타깃 차량의 파라미터 정보에 따라, 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정할 경우, 먼저, 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 각도 변화량을 특성화하는 직교 회전 행렬, 및 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 오프셋을 특성화하는 이동 행렬을 결정하고; 다음, 상기 직교 회전 행렬과 상기 오프셋 행렬에 따라 제1 변환 행렬을 생성할 수 있으며, 상기 제1 변환 행렬은 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 특성화한다. 상응하게, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 키포인트의 3차원 좌표 정보에 따라, 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정할 경우, 상기 제1 변환 행렬에 기반하여, 미리 라벨링된 상기 타깃 차량 모델 상의 각 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보로 변환할 수 있다.

설명해야 할 것은, 타깃 차량 모델의 3차원 좌표계는 타깃 차량 모델 상의 임의의 하나의 위치 포인트를 좌표 원점으로 하여 구축된 3차원 좌표계이고, 카메라 좌표계는 카메라를 좌표 원점으로 하여 구축된 3차원 좌표계이다.

구체적인 구현에서, 하기 공식을 통해 제1 변환 행렬을 결정할 수 있다.

여기서, R는 직교 회전 행렬이고, T는 오프셋 행렬이다.

또한, R는 하기와 같이 표시될 수 있다.

여기서,

는 타깃 차량의 파라미터 정보 중의 요를 나타내고,

는 타깃 차량의 파라미터 정보 중의 피치를 나타내며,

는 타깃 차량의 파라미터 정보 중의 롤을 나타낸다.

T는 하기와 같이 표시될 수 있다.

여기서,

,

,

는 타깃 차량의 파라미터 정보 중 타깃 차량의 중심점이 카메라 좌표계에서의 좌표를 나타낸다.

제1 변환 행렬에 기반하여, 상기 타깃 차량 모델 상의 다수의 키포인트 중의 각 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보로 변환할 경우, 하기 공식을 통해 산출할 수 있다.

여기서,

는 카메라 좌표계에서의

번째 키포인트의 3차원 좌표 정보를 나타내고,

는 타깃 차량 모델의 3차원 좌표계에서의

번째 키포인트의 3차원 좌표 정보를 나타낸다

단계 203에 대해, 일 가능한 실시형태에서, 카메라의 카메라 내부 파라미터 정보에 기반하여, 카메라 좌표계에서의 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환할 경우, 먼저, 카메라 내부 파라미터 정보에 기반하여 제2 변환 행렬을 결정하고, 제2 변환 행렬은 카메라 좌표계와 검출할 사진에 대응되는 2차원 좌표계 사이의 변환 관계를 특성화하며; 다음, 제2 변환 행렬에 기반하여, 카메라 좌표계에서의 타깃 차량 상의 키포인트의 3차원 좌표 정보를 검출할 사진에서의 2차원 좌표 정보로 변환하는 것을 포함할 수 있다.

여기서, 카메라 내부 파라미터 정보는 카메라 초점 거리 및 주점의 실제 좌표를 포함할 수 있다. 실제 응용에서, 카메라 내부 파라미터 정보는 카메라가 출고될 때 획득될 수 있으며, 이후의 응용에서 카메라 내부 파라미터 정보는 변경되지 않는다.

구체적으로, 하기 공식에 따라 제2 변환 행렬을 결정할 수 있다.

여기서,

는 가로축 초점 거리를 나타내고,

는 세로축 초점 거리를 나타내며,

는 주점의 실제 좌표를 나타낸다.

제2 변환 행렬에 기반하여, 카메라 좌표계에서의 타깃 차량 상의 키포인트의 3차원 좌표 정보를 검출할 사진에서의 2차원 좌표 정보로 변환할 경우, 하기와 같은 공식을 통해 변환할 수 있다.

여기서,

는 변환된 검출할 사진에서의

번째 키포인트의 2차원 좌표 정보를 나타내고,

는 카메라 내부 파라미터 정보 중 타깃 차량의 중심점이 카메라 좌표계에서의 Z축 좌표를 나타내며, K는 제2 변환 행렬을 나타내고,

는 카메라 좌표계에서의 타깃 차량 상의

번째 키포인트의 3차원 좌표 정보를 나타낸다.

여기서 설명해야 할 것은, 검출할 사진의 촬영 각도의 영향으로 인해, 검출할 사진에서의 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 결정된 다수의 키포인트는 검출할 사진에서의 가시적 키포인트 및/또는 검출할 사진에서의 불가시적 키포인트를 포함한다. 여기서, 상기 검출할 사진에서의 가시적 키포인트는 검출할 사진에서(육안으로) 볼 수 있는 키포인트이고; 검출할 사진에서의 불가시적 키포인트는 촬영 각도의 영향을 받아, 검출할 사진에서(육안으로) 보이지 않는 키포인트이다.

일 가능한 실시형태에서, 검출할 사진에서의 다수의 키포인트의 2차원 좌표 정보를 결정한 후, 검출할 사진에서의 다수의 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보에 기반하여, 키포인트 검출 모델을 트레이닝할 수도 있다. 이와 같이, 상기 키포인트 검출 모델은 운전 차량이 주행 과정에서 수집한 검출할 사진 속에 포함된 주변 차량 상의 키포인트의 2차원 좌표 정보를 검출하는데 사용될 수 있다.

예시적으로, 도 3을 참조하면, 이는 본 발명에 의해 제공되는 차량 제어 방법의 흐름 모식도를 도시하고, 하기와 같은 몇 개의 단계를 포함한다.

단계 301에서, 차량에 의해 수집된 검출할 사진을 획득한다.

단계 302에서, 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득한다. 여기서, 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 본 발명에서 제공하는 방법에 따라 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함된다.

단계 303에서, 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별한다.

단계 304에서, 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어한다.

일 가능한 실시형태에서, 상기 키포인트 검출 모델을 트레이닝할 경우, 차량이 포함되어 있는 각 샘플 사진을 키포인트 검출 모델에 입력하여, 키포인트 검출 모델에 의해 예측된 차량 상의 키포인트의 2차원 좌표 정보를 획득할 수 있다. 다음, 본 발명의 차량 키포인트 검출 방법에 의해 미리 결정된 상기 샘플 사진에 포함된 차량 상의 키포인트의 2차원 좌표 정보와 상기 키포인트 검출 모델에 의해 예측된 키포인트의 2차원 좌표 정보를 비교하여, 금번 트레이닝 과정에서의 손실값을 결정하고, 결정된 손실값이 기설정 조건을 만족하지 않을 경우, 특정 트레이닝에서 결정된 손실값이 상기 기설정 조건을 만족할 때까지, 키포인트 검출 모델의 모델 파라미터를 조정한 후 다시 트레이닝을 수행하여, 키포인트 검출 모델 트레이닝의 완료를 결정할 수 있다.

단계 303에서, 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 주변 차량의 포즈 정보를 식별하는 것은 본 발명의 기술분야의 통상의 기술자에게 익숙한 임의의 포즈 식별 방식을 사용하여 구현될 수 있고, 여기에서는 제한하지 않는다.

상기 차량의 주행 상태를 제어하는 것은, 차량의 전진, 후진, 커브 회전, 가속, 감속, 제동 등을 제어하는 것을 포함할 수 있다.

이러한 방법에서, 샘플 이미지에 포함된 키포인트 정보는 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 방법에 의해 결정되고, 샘플 이미지의 키포인트 정보는 수동으로 라벨링할 필요 없으므로, 키포인트 검출 모델의 트레이닝에 사용되어 트레이닝 효율을 향상시키고, 트레이닝된 키포인트 검출 모델의 식별 정밀도도 더 높아진다. 또한, 키포인트 검출 모델에 기반하여, 운전 차량이 주행 과정에서 수집한 이미지를 식별한 후, 식별 결과에 따라 운전 차량의 주변 차량의 포즈 정보를 빠르게 결정하고, 나아가 운전 차량의 주행 상태를 적시에 제어할 수 있으므로, 운전 차량의 주행 과정에서의 안전성을 향상시킨다.

본 기술분야의 통상의 기술자라면 상기 방법을 구체적으로 구현할 때, 각 단계에 대한 설명의 순서가 엄격한 수행 순서를 의미하지 않음을 이해할 수 있다. 다시 말해서, 구현 과정에서, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내적 논리에 의해 결정되어야 한다.

동일한 발명 구상에 기반하여, 본 발명의 실시예는 차량 키포인트 정보 검출 방법에 대응되는 차량 키포인트 정보 검출 장치를 더 제공하고, 본 발명의 실시예의 장치가 과제를 해결하는 원리는 본 발명의 실시예의 상기 차량 키포인트 정보 검출 방법과 유사하므로, 장치의 구현은 방법의 구현을 참조할 수 있으며, 중복되는 부분은 여기서 상세한 설명을 생략한다.

도 4를 참조하면, 이는 본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 장치의 아키텍처 모식도를 도시하고, 상기 장치는 제1 획득 모듈(401), 제1 결정 모듈(402), 제2 결정 모듈(403)을 포함하며, 구체적으로, 제1 획득 모듈(401)은 타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하고; 제1 결정 모듈(402)은 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하며; 제2 결정 모듈(403)은 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정한다.

일 가능한 실시형태에서, 상기 제1 결정 모듈(402)은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정할 경우, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하고; 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하며; 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보를 획득한다. 상응하게, 상기 제2 결정 모듈(403)은, 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈(403)은, 상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정할 경우, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정하고, 상기 카메라 좌표계는 상기 검출할 사진을 수집하는 카메라를 좌표 원점으로 하는 3차원 좌표계이며; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 결정하고; 상기 다수의 키포인트 중의 각각의 키포인트에 대해, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈(403)은, 상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 결정할 경우, 상기 파라미터 정보에 기반하여, 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 각도 변화량을 특성화하는 직교 회전 행렬, 및 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 오프셋을 특성화하는 이동 행렬을 결정하고; 상기 직교 회전 행렬과 상기 오프셋 행렬에 따라 제1 변환 행렬을 생성하며, 상기 제1 변환 행렬은 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 특성화한다. 상응하게, 상기 제2 결정 모듈(403)은, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정할 경우, 상기 제1 변환 행렬에 기반하여, 미리 라벨링된 상기 타깃 차량 모델 상의 상기 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 제2 결정 모듈(403)은, 상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환할 경우, 상기 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계와 상기 검출할 사진에 대응되는 2차원 좌표계 사이의 변환 관계를 특성화하는 제2 변환 행렬을 결정하고; 상기 제2 변환 행렬에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환한다.

일 가능한 실시형태에서, 상기 다수의 키포인트는 상기 검출할 사진에서의 가시적 키포인트 및/또는 상기 검출할 사진에서의 불가시적 키포인트를 포함한다.

일 가능한 실시형태에서, 상기 제1 결정 모듈(402)은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정할 경우, 상기 3차원 스캔 데이터를 수집하는 장치와 상기 검출할 사진을 수집하는 카메라 사이의 상대적 위치 관계에 기반하여, 상기 3차원 스캔 데이터를 상기 카메라를 좌표 원점으로 하는 카메라 좌표계로 변환하고; 상기 카메라 좌표계에서의 3차원 스캔 데이터를 미리 트레이닝된 신경망에 입력하여 처리하여, 상기 타깃 차량의 파라미터 정보를 획득한다. 여기서, 상기 신경망은 관련 차량의 상기 파라미터 정보가 라벨링된 샘플 3차원 스캔 데이터에 기반하여 트레이닝되어 획득되는 것이다.

일 가능한 실시형태에서, 상기 제1 결정 모듈(402)은, 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정할 경우, 상기 3차원 스캔 데이터에 대응되는 라벨링 정보를 획득하고, 상기 라벨링 정보는 상기 타깃 차량의 파라미터 정보를 포함한다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보에는 차종 정보가 포함된다. 상응하게, 상기 제1 결정 모듈(402)은, 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정할 경우, 미리 구축된 다양한 3차원 차량 모델에서, 상기 타깃 차량의 차종 정보에 매칭되는 타깃 차량 모델을 선별해낸다.

일 가능한 실시형태에서, 상기 타깃 차량의 파라미터 정보는, 상기 타깃 차량의 사이즈 정보; 상기 타깃 차량의 오일러 각 정보; 및 카메라 좌표계에서의 상기 타깃 차량의 중심점의 좌표 중 적어도 하나를 포함한다.

장치의 각 모듈의 처리 프로세스, 및 각 모듈 사이의 인터랙션 프로세스에 관한 설명은 상기 방법 실시예의 관련 설명을 참조할 수 있으며, 여기에서 상세한 설명을 생략한다.

도 5를 참조하면, 이는 본 발명의 실시예에 의해 제공되는 차량 제어 장치의 아키텍처 모식도를 도시하고, 상기 장치는 제2 획득 모듈(501), 검출 모듈(502), 식별 모듈(503), 및 제어 모듈(504)을 포함하며, 구체적으로, 제2 획득 모듈(501)은 차량에 의해 수집된 검출할 사진을 획득하고; 검출 모듈(502)은 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하며, 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 상기 실시예에서 제공된 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함되며; 식별 모듈(503)은 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하고; 제어 모듈(504)은 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어한다.

동일한 기술적 구상에 기반하여, 본 발명의 실시예는 차량 키포인트 정보 검출을 위한 전자 기기를 더 제공한다. 도 6을 참조하면, 이는 본 발명의 실시예에 의해 제공되는 전자 기기(600)의 구조 모식도를 도시하고, 프로세서(601), 메모리(602), 및 버스(603)를 포함한다. 여기서, 메모리(602)는 실행 명령을 저장하고, 내부 메모리(6021)와 외부 메모리(6022)를 포함한다. 여기서 내부 메모리(6021)는 프로세서(601)의 연산 데이터, 및 하드디스크 등 외부 메모리(6022)와 교환되는 데이터를 일시적으로 저장하는 내장 메모리라고도 한다. 예를 들어, 프로세서(601)는 내부 메모리(6021)를 통해 외부 메모리(6022)와 데이터를 교환한다. 전자 기기(600)가 실행될 경우, 프로세서(601)와 메모리(602) 사이는 버스(603)를 통해 통신하여, 프로세서(601)로 하여금, 타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하고; 상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하며; 상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 명령을 실행하도록 한다.

동일한 기술적 구상에 기반하여, 본 발명의 실시예는 차량 제어를 위한 전자 기기를 더 제공한다. 도 7을 참조하면, 이는 본 발명의 실시예에 의해 제공되는 전자 기기(700)의 구조 모식도를 도시하고, 프로세서(701), 메모리(702), 및 버스(703)를 포함한다. 여기서, 메모리(702)는 실행 명령을 저장하고, 내부 메모리(7021)와 외부 메모리(7022)를 포함한다. 여기서 내부 메모리(7021)는 프로세서(701)의 연산 데이터, 및 하드디스크 등 외부 메모리(7022)와 교환되는 데이터를 일시적으로 저장하는 내장 메모리라고도 한다. 예를 들어, 프로세서(701)는 내부 메모리(7021)를 통해 외부 메모리(7022)와 데이터를 교환한다. 전자 기기(700)가 실행될 경우, 프로세서(701)와 메모리(702) 사이는 버스(703)를 통해 통신하여, 프로세서(701)로 하여금, 차량에 의해 수집된 검출할 사진을 획득하고; 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하며, 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 상기 실시예에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함되며; 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하고; 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 명령을 실행하도록 한다.

본 발명의 실시예는 이미지 수집 기기, 및 컴퓨팅 기기를 포함하는 차량을 더 제공한다. 여기서, 상기 이미지 수집 기기는 검출할 사진을 수집하고; 상기 컴퓨팅 기기는 프로세서, 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있는 메모리, 및 버스를 포함한다. 컴퓨팅 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상기 이미지 수집 기기에 의해 수집된 검출할 사진을 획득하는 단계; 상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하는 단계 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 상기 실시예에 의해 제공되는 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ; 상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하는 단계; 및 식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 단계가 수행된다.

본 발명의 실시예에 의해 제공되는 차량은 자율 운전 차량일 수 있고, 일부 스마트 제어 기능이 있는 수동 운전 차량일 수도 있다.

본 발명의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 방법 실시예에 따른 차량 키포인트 정보 검출 방법, 차량 제어 방법의 단계가 수행된다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예에 의해 제공되는 차량 키포인트 정보 검출 방법, 차량 제어 방법의 컴퓨터 프로그램 제품은 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령은 상기 방법 실시예에 따른 차량 키포인트 정보 검출 방법의 단계를 수행할 수 있으며, 구체적인 것은 상기 방법 실시예를 참조할 수 있고, 여기서 상세한 설명을 생략한다.

상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 전술한 실시예의 임의의 하나의 방법이 구현된다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 선택 가능한 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되고, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.

본 기술분야의 통상의 기술자라면 설명의 편의 및 간결함을 위해 상기 설명된 시스템 및 장치의 구체적인 작업 과정이 전술한 방법 실시예의 대응되는 과정을 참조할 수 있음을 명확히 이해할 수 있으므로, 여기서 더 이상 설명하지 않는다. 본 발명에서 제공되는 각 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면, 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고, 실제 구현 시 다른 구획 방식이 있을 수 있으며, 또 예를 들면, 다수의 유닛 또는 구성 요소는 다른 하나의 시스템에 결합 또는 집적될 수 있거나, 또는 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시 또는 논의된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 통신 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형식일 수 있다.

분리 부재로서 설명되는 상기 유닛은 물리적으로 분리된 것일 수 있거나 아닐 수도 있고, 유닛으로서 표시되는 부재는 물리 유닛일 수 있거나 아닐 수도 있으며, 즉 한 곳에 위치할 수 있거나 또는 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 수단의 목적을 구현할 수 있다.

이 밖에, 본 발명의 각 실시예 중의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각각의 유닛이 별도로 물리적으로 존재할 수도 있으며, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 집적될 수도 있다.

상기 기능이 소프트웨어 기능 유닛의 형식으로 구현되고, 독립적인 제품으로 판매되거나 사용될 때, 하나의 프로세서에 의해 실행 가능한 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하면, 본 발명의 기술적 해결수단은 본질적으로 또는 종래 기술에 대해 기여하는 부분 또는 상기 기술적 해결수단의 일부는 소프트웨어 제품 형식으로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 전자 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전부 또는 일부 단계를 수행하도록 하는 다수의 명령을 포함하는 하나의 저장 매체에 저장된다. 전술한 저장 매체는 USB 메모리, 이동식 저장 기기, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

마지막으로 설명할 것은, 전술한 실시예들은 본 발명의 기술적 해결수단을 설명하기 위한 본 발명의 구체적인 실시형태일 뿐, 제한하기 위함이 아니고, 본 발명의 보호범위는 이에 제한되지 않으며, 전술한 실시예를 참조하여 본 발명을 상세하게 설명하였을 지라도, 본 기술분야의 통상의 기술자라면, 본 기술분야의 통상의 기술자는 본 발명에 개시된 기술범위 내에서, 전술한 실시예에 기재된 기술적 해결수단을 수정하거나 쉽게 변경할 수 있거나, 또는 일부 기술특징을 등가적으로 대체할 수 있으며, 이러한 수정, 변경 또는 대체는 상응한 기술적 해결수단의 본질이 본 발명의 실시예의 기술적 해결수단의 사상 및 범위를 벗어나지 않게 하며, 모두 본 발명의 보호범위 내에 포함되어야 함을 이해해야 한다. 따라서, 본 발명의 보호범위는 상기 청구범위의 보호범위에 따라야 한다.

Claims (16)

1. 차량 키포인트 정보 검출 방법으로서,
   타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하는 단계;
   상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하는 단계; 및
   상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계를 포함하는 차량 키포인트 정보 검출 방법.
2. 제1항에 있어서,
   상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하는 단계는,
   상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계;
   상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하는 단계; 및
   상기 타깃 차량 모델 상에 미리 라벨링된 상기 다수의 키포인트의 3차원 좌표 정보를 획득하는 단계를 포함하고;
   상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계는,
   상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
3. 제2항에 있어서,
   상기 타깃 차량 모델의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하는 단계는,
   상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 카메라 좌표계 사이의 변환 관계를 결정하는 단계 - 상기 카메라 좌표계는 상기 검출할 사진을 수집하는 카메라를 좌표 원점으로 하는 3차원 좌표계임 - ;
   상기 다수의 키포인트 중의 각각의 키포인트에 대해,
   상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 상기 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 결정하는 단계;
   상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
4. 제3항에 있어서,
   상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 결정하는 단계는,
   상기 파라미터 정보에 기반하여, 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 각도 변화량을 특성화하는 직교 회전 행렬, 및 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 오프셋을 특성화하는 이동 행렬을 결정하는 단계;
   상기 직교 회전 행렬과 상기 오프셋 행렬에 따라 제1 변환 행렬을 생성하는 단계를 포함하고, 상기 제1 변환 행렬은 상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계를 특성화하며;
   상기 타깃 차량 모델의 3차원 좌표계와 상기 카메라 좌표계 사이의 변환 관계, 및 상기 타깃 차량 모델 상에 미리 라벨링된 키포인트의 3차원 좌표 정보에 따라, 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 키포인트의 3차원 좌표 정보를 결정하는 단계는,
   상기 제1 변환 행렬에 기반하여, 미리 라벨링된 상기 타깃 차량 모델 상의 상기 키포인트의 3차원 좌표 정보를 상기 카메라 좌표계에서의 대응되는 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
5. 제3항에 있어서,
   상기 카메라의 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계는,
   상기 카메라 내부 파라미터 정보에 기반하여, 상기 카메라 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 변환 관계를 특성화하는 제2 변환 행렬을 결정하는 단계; 및
   상기 제2 변환 행렬에 기반하여, 상기 카메라 좌표계에서의 상기 타깃 차량 상의 상기 키포인트의 3차원 좌표 정보를 상기 검출할 사진에서의 2차원 좌표 정보로 변환하는 단계를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 다수의 키포인트는,
   상기 검출할 사진에서의 가시적 키포인트, 및
   상기 검출할 사진에서의 불가시적 키포인트 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
7. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계는,
   상기 3차원 스캔 데이터를 수집하는 장치와 상기 검출할 사진을 수집하는 카메라 사이의 상대적 위치 관계에 기반하여, 상기 3차원 스캔 데이터를 상기 카메라를 좌표 원점으로 하는 카메라 좌표계로 변환하는 단계; 및
   상기 카메라 좌표계에서의 3차원 스캔 데이터를 미리 트레이닝된 신경망에 입력하여 처리하여, 상기 타깃 차량의 파라미터 정보를 획득하는 단계를 포함하고, 상기 신경망은, 관련 차량의 상기 파라미터 정보가 라벨링된 샘플 3차원 스캔 데이터에 기반하여 트레이닝되어 획득된 것인 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
8. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량의 파라미터 정보를 결정하는 단계는,
   상기 3차원 스캔 데이터에 대응되는 라벨링 정보를 획득하는 단계를 포함하고, 상기 라벨링 정보는 상기 타깃 차량의 파라미터 정보를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
9. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 타깃 차량의 파라미터 정보에는 차종 정보가 포함되고; 상기 파라미터 정보에 따라, 미리 구축된 다양한 3차원 차량 모델에서 상기 타깃 차량에 대응되는 타깃 차량 모델을 결정하는 단계는,
   미리 구축된 다양한 3차원 차량 모델에서, 상기 타깃 차량의 차종 정보에 매칭되는 타깃 차량 모델을 선별해내는 단계를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
10. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 타깃 차량의 파라미터 정보는,
    상기 타깃 차량의 사이즈 정보;
    상기 타깃 차량의 오일러 각 정보; 및
    상기 카메라 좌표계에서의 상기 타깃 차량의 중심점의 좌표 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 키포인트 정보 검출 방법.
11. 차량 제어 방법으로서,
    차량에 의해 수집된 검출할 사진을 획득하는 단계;
    상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하는 단계 - 상기 키포인트 검출 모델은 타깃 이미지가 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1항 내지 제10항 중 어느 한 항에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ;
    상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하는 단계; 및
    식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 단계를 포함하는 차량 제어 방법.
12. 차량 키포인트 정보 검출 장치로서,
    타깃 차량에 대한 3차원 스캔 데이터, 및 상기 타깃 차량이 포함되는 검출할 사진을 획득하기 위한 제1 획득 모듈;
    상기 3차원 스캔 데이터에 기반하여, 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보를 결정하기 위한 제1 결정 모듈; 및
    상기 타깃 차량의 3차원 좌표계와 상기 검출할 사진의 2차원 좌표계 사이의 좌표 변환 관계, 및 상기 타깃 차량 상의 다수의 키포인트의 3차원 좌표 정보에 따라, 상기 검출할 사진에서의 상기 다수의 키포인트의 2차원 좌표 정보를 결정하기 위한 제2 결정 모듈을 포함하는 차량 키포인트 정보 검출 장치.
13. 차량 제어 장치로서,
    차량에 의해 수집된 검출할 사진을 획득하기 위한 제2 획득 모듈;
    상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량 상의 키포인트의 2차원 좌표 정보를 획득하기 위한 검출 모듈 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1항 내지 제10항 중 어느 한 항에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ;
    상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하기 위한 식별 모듈; 및
    식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하기 위한 제어 모듈을 포함하는 차량 제어 장치.
14. 프로세서, 메모리 및 버스를 포함하는 전자 기기로서,
    상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되고,
    상기 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 제1항 내지 제10항 중 어느 한 항에 따른 차량 키포인트 정보 검출 방법의 단계가 수행되는 전자 기기.
15. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제10항 중 어느 한 항에 따른 차량 키포인트 정보 검출 방법의 단계가 수행되는 컴퓨터 판독 가능 저장 매체.
16. 차량으로서,
    검출할 사진을 수집하기 위한 이미지 수집 기기; 및 컴퓨팅 기기를 포함하고,
    상기 컴퓨팅 기기는, 프로세서, 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되어 있는 메모리, 및 버스를 포함하고, 상기 컴퓨팅 기기가 실행될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우,
    상기 이미지 수집 기기에 의해 수집된 검출할 사진을 획득하는 단계;
    상기 검출할 사진을 미리 트레이닝된 키포인트 검출 모델에 입력하여, 상기 차량의 주변 차량의 키포인트의 2차원 좌표 정보를 획득하는 단계 - 상기 키포인트 검출 모델은 타깃 차량이 포함되어 있는 여러 장의 샘플 이미지에 의해 트레이닝되어 획득된 것이고, 각 상기 샘플 이미지에는 제1항 내지 제10항 중 어느 한 항에 따른 방법에 의해 결정된 상기 타깃 차량 상의 다수의 키포인트의 2차원 좌표 정보가 포함됨 - ;
    상기 주변 차량 상의 키포인트의 2차원 좌표 정보에 기반하여, 상기 주변 차량의 포즈 정보를 식별하는 단계; 및
    식별된 상기 주변 차량의 포즈 정보에 기반하여, 상기 차량의 주행 상태를 제어하는 단계가 수행되는 차량.
    

Images