KR20220035335A - 차량 식별 방법 및 장치, 전자 기기 및 저장 매체 - Google Patents

Abstract

본 발명은 차량 식별 방법 및 장치, 전자 기기 및 저장 매체를 개시하였다. 상기 방법은, 제1 식별될 차량을 포함하는 처리될 이미지를 획득하는 단계; 상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계; 상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻는 단계; 및 상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻는 단계 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 를 포함한다.

Description

차량 식별 방법 및 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 출원 번호가 202010947349.1이고, 출원일이 2020년 9월 10일인 중국 특허 출원에 기반하여 제출한 것이며, 상기 중국 특허 출원의 우선권을 주장하는바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 비전 기술분야에 관한 것으로, 특히 차량 식별 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.

현대 사회에서 차량의 수량이 증가함에 따라, 각 교통 문제가 잇달아 발생하고 있다. 관련 기술에서, 차량 식별 방법은 두 장의 이미지에서 각각 차량의 특징을 추출하는 것을 통해, 두 개 차량 특징 데이터를 얻고, 두 개 차량 특징 데이터에 대해 비교를 수행하는 것을 통해, 두 장 이미지에서의 차량이 동일한 차량인지 여부를 결정한다. 그러나 이렇게 추출하여 얻은 차량 특징 데이터에 포함되는 정보의 정확도는 높지 않다.

본 발명은 차량 식별 방법 및 장치, 전자 기기 및 저장 매체를 제공한다.

제1 측면에 있어서, 차량 식별 방법을 제공하고, 상기 방법은,

제1 식별될 차량을 포함하는 처리될 이미지를 획득하는 단계;

상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계;

상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻는 단계; 및

상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻는 단계 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 를 포함한다.

제2 측면에 있어서, 차량 식별 장치를 제공하고, 상기 장치는,

제1 식별될 차량을 포함하는 처리될 이미지를 획득하도록 구성된 획득 유닛;

상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻도록 구성된 제1 처리 유닛;

상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻도록 구성된 제2 처리 유닛; 및

상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻도록 구성된 융합 처리 유닛 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 을 포함한다.

제3 측면에 있어서, 프로세서 및 메모리를 포함하는 전자 기기를 제공하고, 상기 메모리는 컴퓨터 프로그램 코드를 저장하기 위한 것이며, 상기 컴퓨터 프로그램 코드는 컴퓨터 명령어를 포함하며, 상기 프로세서가 상기 컴퓨터 명령어를 실행하는 상황에서, 상기 전자 기기는 상기 제1 측면 및 어느 하나의 구현 가능한 방식과 같은 방법을 실행한다.

제4 측면에 있어서, 프로세서, 송신 장치, 입력 장치, 출력 장치 및 메모리를 포함하는 전자 기기를 제공하고, 상기 메모리는 컴퓨터 프로그램 코드를 저장하기 위한 것이며, 상기 컴퓨터 프로그램 코드는 컴퓨터 명령어를 포함하며, 상기 프로세서가 상기 컴퓨터 명령어를 실행하는 상황에서, 상기 전자 기기는 상기 제1 측면 및 어느 하나의 구현 가능한 방식과 같은 방법을 실행한다.

제5 측면에 있어서, 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램은 프로그램 명령어를 포함하고, 상기 프로그램 명령어가 프로세서에 의해 실행되는 상황에서, 상기 프로세서가 상기 제1 측면 및 어느 하나의 구현 가능한 방식과 같은 방법을 실행하도록 한다.

제6 측면에 있어서, 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램 또는 명령어를 포함하고, 상기 컴퓨터 프로그램 또는 명령어가 컴퓨터 상에서 작동될 상황에서, 상기 컴퓨터는 제1 측면 및 어느 하나의 구현 가능한 방식과 같은 방법을 실행하도록 한다.

본 발명의 실시예는 차량 식별 방법 및 장치, 전자 기기 및 저장 매체를 제공하고, 획득된 제1 식별 차량을 포함하는 처리될 이미지에 대해, 제1 식별될 차량의 부분 특징 정보의 제1 특징 데이터를 추출하고, 및 제1 식별될 차량의 전부 특징 정보의 제2 특징 데이터를 추출하여, 제1 특징 데이터와 제2 특징 데이터에 대해 융합을 수행하는 것을 통해, 제1 식별될 차량의 세부 특징 정보를 풍부하게 함으로써, 이런 풍부한 세부 특징 정보에 기반하여 제1 식별될 차량의 식별 결과를 결정하며, 식별 결과의 정확도를 향상할 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.

본 발명의 실시예 또는 배경 기술에서의 기술방안을 더 명확하게 설명하기 위해, 아래에 본 발명의 실시예 또는 배경 기술에서 사용되어야 하는 첨부 도면을 설명한다.
아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 기술방안을 설명하기 위한것이다.
도 1은 본 발명의 실시예에서 제공한 차량 식별 방법의 흐름 예시도이고;
도 2는 본 발명의 실시예에서 제공한 키 포인트 예시도이고;
도 3은 본 발명의 실시예에서 제공한 부분 픽셀 포인트 영역 예시도이고;
도 4는 본 발명의 실시예에서 제공한 차량 식별 네트워크의 구조 예시도이고;
도 5는 본 발명의 실시예에서 제공한 특징 추출 모듈의 구조 예시도이고;
도 6은 본 발명의 실시예에서 제공한 키 포인트와 부분 픽셀 포인트 영역 생성 모듈의 구조 예시도이고;
도 7은 본 발명의 실시예에서 제공한 연합 훈련 모듈의 구조 예시도이며;
도 8은 본 발명의 실시예에서 제공한 제1 연기자-평론가의 구조 예시도이며;
도 9는 본 발명의 실시예에서 제공한 제1 채점 서브 모듈의 구조 예시도이며;
도 10은 본 발명의 실시예에서 제공한 제2 연기자-평론가 모듈의 구조 예시도이며;
도 11은 본 발명의 실시예에서 제공한 제2 채점 서브 모듈의 구조 예시도이며;
도 12는 본 발명의 실시예에서 제공한 차량 식별 장치의 구조 예시도이며;
도 13은 본 발명의 실시예에서 제공한 차량 식별 장치의 하드웨어 구조 예시도이다.

본 기술 분야의 기술자가 본 발명의 방안을 더 잘 이해할 수 있도록 하기 위해, 아래에 본 발명의 실시예에서의 도면을 결합하여, 본 발명의 실시예에서의 기술 방안을 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 실시예 중 일부일 뿐이며, 모든 실시예가 아님은 자명한 것이다. 본 발명의 실시예에 기반하여, 본 분야 보통의 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.

본 발명의 명세서 및 청구 범위 및 상기 도면에서 “제1”, “제2” 등 용어는 상이한 대상을 구별하기 위한 것이지, 특정 순서를 설명하기 위한 것은 아니다. 또한, 용어 “포함” 및 “갖는” 및 그것들의 임의의 변형은 비배타적인 포함을 포함하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛이 포함된 과정, 방법, 시스템, 제품 또는 기기는 나열된 단계 또는 유닛에 한정되지 않으며, 선택적으로 나열되지 않은 단계 또는 유닛을 더 포함하거나, 선택적으로 이러한 과정, 방법, 제품 또는 기기에 고유한 다른 단계 또는 유닛을 더 포함한다.

본 명세서에서 “실시예”에 대한 언급은, 실시예와 결합하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서에서의 각 위치에서 상기 문구의 출현은 반드시 동일한 실시예를 가리키는 것은 아니며, 다른 실시예와 상호 배타적인 독립적이거나 대안적인 실시예도 아니다. 본 기술 분야의 기술자는 본문에 설명된 실시예가 다른 실시예에 결합될 수 있음을 명백하고 암시적으로 이해한다.

업무, 생활 또는 사회 환경에서의 안전성을 강화하기 위해, 각 영역 장소 내에 모두 모니터링 기기를 설치하였다. 사람들의 생활 수준이 향상함에 따라, 도로에는 차량이 점점 더 많아지고, 교통 사고 또한 더욱 많아지며, 모니터링 기기로 수집된 영상 스트림을 통해 차량 (이하 목표 차량이라고 약칭)의 행적을 효과적으로 결정하는 문제는 중요한 의의를 구비한다. 예를 들어, 뺑소니 차량을 추격할 때, 차량 식별 방법을 사용하여 상이한 카메라가 수집한 이미지에 대해 처리를 수행하여, 뺑소니 차량의 행적을 결정할 수 있다.

관련 기술에서, 차량 식별 방법은 이미지에서의 확인될 차량의 전체적인 외관 특징 정보를 추출하는 것을 통해 확인될 차량 특징을 얻고, 확인될 차량의 차량 특징과 목표 차량의 전체적인 외관 특징 정보을 포함하는 목표 차량 특징과 비교를 수행하여, 목표 차량과 확인될 차량 사이의 유사도를 얻으며, 여기서, 전체적인 외관 특징은, 차종, 색상을 포함한다. 유사도가 유사도 임계값을 초과하는 상황에서, 확인될 차량과 목표 차량이 동일한 하나의 차량인지를 결정한다.

전체적인 외관 특징 정보를 통해서만 두대의 차량이 동일한 차량인지를 판단하므로 큰 오차를 초래할 수 있고, 현재의 차량 식별 방법을 통해 이미지에서 추출된 차량 특징은 전체적인 외관 특징 정보만 포함함으로써, 현재의 차량 식별 방법의 식별 정확도는 낮다. 이에 기반하여, 본 발명의 실시예는 차량 식별 방법을 제공하여, 차량 특징에 포함되는 정보를 풍부하게 할 수 있다. 아래에, 본 발명의 실시예에서의 도면을 결합하여 본 발명의 실시예를 설명한다.

본 발명의 실시예의 실행 주체는 차량 식별 장치이다. 선택 가능한 차량 식별 장치는 아래의, 핸트폰, 서버, 컴퓨터, 태블릿 PC, 웨어러블 기기 중 하나 일 수 있다. 도 1을 참조하면, 도 1은 본 발명의 실시예에서 제공한 차량 식별 방법의 흐름 예시도이다.

단계 101은 제1 식별될 차량을 포함하는 처리될 이미지를 획득하는 단계이다.

본 발명의 실시예에서, 처리될 이미지는 제1 식별될 차량을 포함한다. 처리될 이미지 획득을 구현하는 방식에서, 차량 식별 장치는 사용자가 입력 컴포넌트를 통해 입력한 처리될 이미지를 수신한다. 상기 입력 컴포넌트는, 키보드, 마우스, 터치 스크린, 터치 패드와 오디오 입력기 등을 포함한다.

다른 처리될 이미지 획득을 구현하는 방식에서, 차량 식별 장치는 데이터 단말에서 송신한 처리될 이미지를 수신한다. 상기 데이터 단말은 아래의, 핸드폰, 컴퓨터, 태블릿 PC, 서버 중 임의의 하나 일 수 있다.

또 다른 한 처리될 이미지 획득을 구현하는 방식에서, 차량 식별 장치는 모니터링 카메라에서 송신한 처리될 이미지를 수신한다. 예을 들어, 상기 모니터링 카메라는 도로에 배치된다(고속 도로, 전용 도로, 도시 도로를 포함).

단계 102는 상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계이다.

본 발명의 실시예에서, 부분 특징 정보는, 예를 들어, 전조등의 특징 정보, 차 로고의 특징 정보, 차창의 특징 정보와 같은 차량의 세부 특징 정보를 포함한다.

차량 식별 장치는 처리될 이미지에 대해 제1 특징 추출 처리를 수행하고, 처리될 이미지에서 제1 식별될 차량의 부분 특징 정보를 추출하여, 제1 특징 데이터를 얻는다.

하나의 구현 가능한 방식에서, 제1 특징 추출 처리는 제1 컨볼루션 신경망을 통해 구현할 수 있다. 정보가 라벨링된 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제1 컨볼루션 신경망이 처리될 이미지의 제1 특징에 대해 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 이미지에서의 차량의 세부 특징 정보(예를 들어 전조등의 타입, 차 로고의 타입, 차창의 타입)로 될 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 차량의 세부 특징 정보를 포함하는 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 차량 세부 정보를 얻어, 훈련 결과로 사용한다. 훈련 데이터를 사용한 라벨 지도 훈련 결과는 컨볼루션 신경망의 훈련을 완성할 수 있고, 제1 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제1 컨볼루션 신경망을 사용해 처리될 이미지에 대해 처리를 수행할 수 있고, 제1 식별될 차량의 세부 특징 정보를 추출하여 얻고, 제1 특징 데이터를 얻는다.

또 다른 하나의 구현 가능한 방식에서, 차량 식별 장치는 제1 컨볼루션 커널을 사용하여 처리될 이미지에 대해 컨볼루션 처리를 수행하고, 처리될 이미지의 차량의 세부 특징 정보를 포함하는 시맨틱 정보를 추출하여, 제1 특징 데이터를 얻는다.

단계 103은 상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전부 특징 정보를 포함하는 제2 특징 데이터를 얻는 단계이다.

본 발명의 실시예에서, 차량의 전부 특징 정보는 차량의 전체적인 외관 특징 정보를 포함한다. 차량 식별 장치는 처리될 이미지에 대해 제2 특징 추출 처리를 수행하는 것을 통해, 처리될 이미지에서 제1 식별될 차량의 전부 특징 정보를 추출할 수 있으며, 제2 특징 데이터를 얻는다.

하나의 구현 가능한 방식에서, 제2 특징 추출 처리는 제2 컨볼루션 신경망을 통해 구현될 수 있다. 정보가 라벨링된 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제2 컨볼루션 신경망이 처리될 이미지의 제2 특징에 대해 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 이미지에서의 차량의 전체적인 외관 특징 정보(예를 들어 차종, 차의 색상)일 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 차량의 전체적인 외관 특징 정보를 포함하는 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 차량 전체적인 외관 정보를 얻어, 훈련 결과로 사용한다. 훈련 데이터의 라벨 지도 훈련 결과를 사용하여 컨볼루션 신경망의 훈련을 완성할 수 있으며, 제2 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제2 컨볼루션 신경망을 사용하여 처리될 이미지에 대해 처리를 수행할 수 있으며, 제1 식별될 차량의 전체적인 외관 특징 정보를 추출하여 얻고, 제2 특징 데이터를 얻는다.

다른 구현 가능한 방식에서, 차량 식별 장치는 제2 컨볼루션 커널을 사용하여 처리될 이미지에 대해 컨볼루션 처리를 수행하여, 처리될 이미지의 차량의 전체적인 외관 특징 정보를 포함하는 시맨틱 정보를 추출하여, 제2 특징 데이터를 얻는다. 여기서, 제1 컨볼루션 커널의 파라미터는 제2 컨볼루션 커널의 파라미터와 상이하다.

단계 104는 상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻는 단계이다.

본 발명의 실시예에서, 제3 특징 데이터는 제1 식별될 차량의 식별 결과를 획득하기 위한 것이고, 여기서, 식별 결과는 제1 식별될 차량의 신분을 포함한다. 예를 들어, 차량 식별 장치는 제3 특징 데이터에 의거하여, 식별될 차량이 차량 a인 것을 결정할 수 있다. 또 예를 들어, 차량 식별 장치는 제3 특징 데이터를 차량 특징 데이터베이스에서의 특징 데이터와 비교를 수행하여, 차량 특징 데이터베이스에서의 목표 차량 특징 데이터가 제3 특징 데이터 사이와의 유사도가 유사도 임계값을 초과하는 것을 결정한다. 또한 목표 차량 특징 데이터에 대응되는 차량이 차량 b인 것에 기반하여, 차량 식별 장치는 제3 특징 데이터에 대응되는 차량이 차량 b인 것을 결정할 수 있으며, 즉 제3 특징 데이터에 의거하여 결정된 제1 식별될 차량의 식별 결과가 차량 b이다.

차량 식별 장치는 제1 특징 데이터와 제2 특징 데이터에 대해 융합 처리를 수행하는 것을 통해, 제1 식별될 차량의 전부 특징 정보를 포함하고 제1 식별될 차량의 부분 특징 정보도 포함하는 제3 특징 데이터를 얻을 수 있다. 제3 특징 데이터를 제1 식별될 차량의 특징 데이터로 사용하면, 제1 식별될 차량의 특징 데이터에 포함되는 정보를 풍부히 할 수 있다.

하나의 선택 가능한 구현 방식으로서, 상기 부분 특징 정보는 키 포인트 특징 정보를 포함한다. 키 포인트 특징 정보는 키 포인트가 처리될 이미지에서의 위치, 키 포인트의 시맨틱 정보를 포함한다. 예를 들어, 도 2에 도시된 키 포인트(6)는 왼쪽 앞 타이어 키 포인트이고, 키 포인트(6)의 시맨틱 정보는 왼쪽 앞 타이어의 정보(예를 들어 타이어 규격, 타이어 사이즈, 타이어 브랜드)를 포함한다. 도 2에 도시된 키 포인트(23)는 후면 번호판 키 포인트이고, 키 포인트(23)의 시맨틱 정보는 후면 번호판의 정보(예를 들어 차량 번호판)를 포함한다.

본 발명의 실시예에서, 차량의 키 포인트의 라벨링 방식은 도 2에 도시된 바와 같다. 이해해야 할 것은, 도 2에 도시된 차종은 예시일 뿐이고, 실제 응용에서, 도 2에 도시된 키 포인트 라벨링 방식에 의거하여 임의의 차종(예를 들어 레미콘, 버스 또는 트럭)의 차량에 대해 라벨링을 수행할 수 있다.

하나의 선택 가능한 구현 방식에서, 차량 식별 장치는 처리될 이미지에 대해 제1 특징 추출 처리를 수행하는 것을 통해, 제1 식별될 차량의 키 포인트 특징 정보를 포함하는 제1 특징 데이터를 얻는다. 도 2에 도시된 키 포인트를 예로 들어, 제1 특징 데이터는 식별될 차량의 왼쪽 앞 타이어 키 포인트의 특징 정보와 후면 번호판 키 포인트의 특징 정보를 포함할 수 있다.

하나의 구현 가능한 방식으로서, 부분 특징 정보는 키 포인트 특징 정보를 포함하였을 뿐만 아니라 부분 픽셀 포인트 영역 특징 정보도 포함하였다. 본 발명의 실시예에서, 부분 픽셀 포인트 영역은 제1 식별될 차량에 커버된 픽셀 포인트 영역에 속하며, 또한 부분 픽셀 포인트 영역의 면적이 제1 식별될 차량에 커버된 픽셀 포인트 영역의 면적보다 작다. 예를 들어, 도 3에서, 우측 부분 픽셀 포인트 영역(301)은 제1 식별될 차량(300)의 우측 영역을 포함하고, 차의 앞 부분 픽셀 포인트 영역(302)은 제1 식별될 차량의 차의 앞 부분 영역을 포함한다.

부분 픽셀 포인트 영역 특징 정보는 부분 픽셀 포인트 영역의 시맨틱 정보를 포함한다. 예를 들어, 부분 픽셀 포인트 영역이 헤드 램프에 커버된 픽셀 포인트 영역을 포함하는 상황에서, 부분 픽셀 포인트 영역의 시맨틱 정보는, 헤드 램프의 모델을 포함하고; 부분 픽셀 포인트 영역이 차창에 커버된 픽셀 포인트 영역을 포함하는 상황에서, 부분 픽셀 포인트 영역의 시맨틱 정보는, 차창의 타입, 차창 너머로 관찰되는 차 내부의 물건을 포함하며; 부분 픽셀 포인트 영역이 앞 유리에 커버되는 픽셀 포인트 영역을 포함하는 상황에서, 부분 픽셀 포인트 영역의 시맨틱 정보는, 앞 유리의 타입, 앞 유리 너머로 관찰되는 차 내부의 물건, 앞 유리에서의 연간 검사표, 연간 검사표가 앞 유리에서의 위치를 포함한다.

부분 특징 정보 차량 식별 장치가 단계 102를 실행하는 과정에서 아래의 단계를 실행한다.

1, 상기 처리될 이미지에 대해 제3 특징 추출 처리를 수행하여, 제4 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제4 특징 데이터는 제1 식별될 차량의 적어도 한 개 키 포인트의 특징 정보를 포함한다. 차량 식별 장치는 처리될 이미지에 대해 제3 특징 추출 처리를 수행하여, 처리될 이미지에서 제1 식별될 차량의 적어도 한 개 키 포인트의 특징 정보를 추출하여, 제4 특징 데이터를 얻는다.

하나의 구현 가능한 방식에서, 제3 특징 추출 처리는 제3 컨볼루션 신경망을 통해 구현될 수 있다. 정보가 라벨링된 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제3 컨볼루션 신경망이 처리될 이미지의 제3 특징에 대해 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 이미지에서의 차량의 키 포인트 특징 정보(예를 들어 키 포인트의 위치, 키 포인트의 시맨틱 정보)일 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 차량의 키 포인트 특징 정보를 포함하는 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 키 포인트 특징 정보를 얻어, 훈련 결과로 사용한다. 훈련 데이터의 라벨 지도 훈련 결과를 사용하여 컨볼루션 신경망의 훈련을 완성할 수 있으며, 제3 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제3 컨볼루션 신경망을 사용해 처리될 이미지에 대해 처리를 수행할 수 있고, 제1 식별될 차량의 키 포인트 특징 정보를 추출하여 얻고, 제4 특징 데이터를 얻는다.

다른 구현 가능한 방식에서, 차량 식별 장치는 제3 컨볼루션 커널을 사용하여 처리될 이미지에 대해 컨볼루션 처리를 수행하여, 처리될 이미지의 차량의 전체적인 외관 특징 정보를 포함하는 시맨틱 정보를 추출하여, 제4 특징 데이터를 얻는다. 여기서, 제3 컨볼루션 커널의 파라미터는 제1 컨볼루션 커널의 파라미터와 상이하고, 제3 컨볼루션 커널의 파라미터는 제2 컨볼루션 커널의 파라미터와도 상이하다.

2, 상기 처리될 이미지에 대해 제4 특징 추출 처리를 수행하여, 제5 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제5 특징 데이터는 제1 식별될 차량의 적어도 한 개 부분 픽셀 포인트 영역의 특징 정보를 포함한다.

하나의 구현 가능한 방식에서, 제4 특징 추출 처리는 제4 컨볼루션 신경망을 통해 구현될 수 있다. 라벨 정보를 구비하는 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제4 컨볼루션 신경망이 처리될 이미지의 제4 특징에 대해 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 이미지에서의 차량의 부분 픽셀 포인트 영역의 특징 정보일 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 부분 픽셀 포인트 영역의 특징 정보를 얻어, 훈련 결과로 사용한다. 훈련 데이터의 라벨 지도 훈련 결과를 사용하여 컨볼루션 신경망의 훈련을 완성할 수 있으며, 제4 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제4 컨볼루션 신경망을 사용해 처리될 이미지에 대해 처리를 수행할 수 있고, 제1 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 추출하여 얻고, 제5 특징 데이터를 얻는다.

또 다른 하나의 구현 가능한 방식에서, 차량 식별 장치는 제4 컨볼루션 커널을 사용하여 처리될 이미지에 대해 컨볼루션 처리를 수행하고, 처리될 이미지의 제1 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 추출하여, 제5 특징 데이터를 얻는다. 여기서, 제4 컨볼루션 커널의 파라미터는 제1 컨볼루션 커널의 파라미터, 제2 컨볼루션 커널의 파라미터, 제3 컨볼루션 커널의 파라미터와 모두 상이하다.

3, 상기 제4 특징 데이터와 제5 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 특징 데이터를 얻는 단계.

부분 픽셀 포인트 영역의 특징 정보가 부분 픽셀 포인트 영역의 시맨틱 정보를 포함하고, 이미지에서 인접한 픽셀 포인트 사이에 관련성이 존재함으로(여기의 관련성은 시맨틱 관련성을 포함함), 부분 픽셀 포인트 영역의 시맨틱 정보를 키 포인트 특징 정보와 융합하는 것을 통해, 차량의 세부 특징 정보를 풍부하게 할 수 있다.

차량 식별 장치는 제4 특징 데이터와 제5 특징 데이터에 대해 융합 처리를 수행하고, 제1 식별될 차량의 키 포인트 특징 정보와 제1 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 융합하여, 제1 식별될 차량의 세부 특징 정보를 풍부히 하여, 제1 특징 데이터를 얻는다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 1을 실행하는 과정에서 아래의 단계를 실행한다.

4, 상기 처리될 이미지에 대해 제5 특징 추출 처리를 수행하여, 적어도 한 개 제6 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제6 특징 데이터는 제1 식별될 차량의 키 포인트 특징 정보를 포함하고, 또한 임의의 두 개 제6 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속한다. 예를 들어, 제1 식별될 차량은 왼쪽 백미러 키 포인트와 오른쪽 후미등 키 포인트를 포함한다. 적어도 하나의 제6 특징 데이터는 특징 데이터 1과 특징 데이터 2를 포함하고, 여기서, 특징 데이터 1은 왼쪽 백미러 키 포인트의 특징 정보를 포함하고, 특징 데이터 2는 오른쪽 후미등 키 포인트의 특징 정보를 포함한다.

하나의 선택 가능한 구현 방식에서, 차량 식별 장치는 처리될 이미지에 대해 제5 특징 추출 처리를 수행하는 것을 통해, 제1 식별될 차량의 키 포인트 특징 정보를 추출하여, 채널 수가 1보다 작지 않은 제1 중간 특징 데이터를 얻고, 여기서, 제1 중간 특징 데이터에서 각 채널의 데이터는 모두 제1 식별될 차량의 키 포인트 특징 정보를 포함하고, 또한 임의의 두 개 채널의 데이터에 포함되는 정보는 상이한 키 포인트에 속한다. 차량 식별 장치는 제1 중간 특징 데이터에서 한 개 채널 데이터를 한 개 제6 특징 데이터로 사용할 수 있다.

5, 상기 적어도 한 개 제6 특징 데이터에서 정보량을 제일 많이 포함하는 k 개 특징 데이터를 발췌하여, k 개 제7 특징 데이터를 얻는 단계이다.

상이한 제6 특징 데이터에 포함되는 정보량이 상이함으로, 후속 처리의 데이터 처리량을 감소하기 위해, 차량 식별 장치는 적어도 한 개 제6 특징 데이터에서 정보량을 제일 많이 포함하는 k 개 특징 데이터(즉 k개 제7 특징 데이터)를 발췌하여 후속 처리에 사용하며, 여기서, k는 1보다 작지않은 정수이다.

6, 상기 k 개 제7 특징 데이터에 의거하여 상기 제4 특징 데이터를 얻는 단계.

K=1인 상황에서, 단계 5를 실행하는 것을 통해 1 개 제7 특징 데이터를 얻을 수 있고, 이때, 차량 식별 장치는 제7 특징 데이터를 제4 특징 데이터로 사용할 수 있으며, 즉 제4 특징 데이터에는 한 개 키 포인트의 특징 정보가 포함된다.

K가 1보다 큰 상황에서, 단계 5를 실행하는 것을 통해 적어도 두 개의 제7 특징 데이터를 얻을 수 있고, 이때, 차량 식별 장치는 적어도 두 개의 제7 특징 데이터에 대해 융합 처리를 수행하여, 제4 특징 데이터를 얻을 수 있다.

예를 들어, 적어도 두 개 제7 특징 데이터는, 제7 특징 데이터 1, 제7 특징 데이터 2, 제7 특징 데이터 3을 포함하며, 여기서, 제7 특징 데이터 1은 외쪽 헤드 램프 키 포인트의 특징 정보를 포함하고, 제7 특징 데이터 2는 왼쪽 후미등 키 포인트의 특징 정보를 포함하며, 제7 특징 데이터 3은 왼쪽 백미러 키 포인트의 특징 정보를 포함한다. 차량 식별 장치는 제7 특징 데이터 1과 제7 특징 데이터 2에 대해 융합 처리를 수행하는 것을 통해, 제4 특징 데이터를 얻을 수 있다. 이때 제4 특징 데이터는 왼쪽 헤드 램프 키 포인트의 특징 정보와 왼쪽 후미등 키 포인트의 특징 정보를 포함한다. 차량 식별 장치는 또한 제7 특징 데이터 1, 제7 특징 데이터 2 및 제7 특징 데이터 3에 대해 융합 처리를 수행하는 것을 통해, 제4 특징 데이터를 얻을 수 있다. 이때 제4 특징 데이터는 왼쪽 헤드 램프 키 포인트의 특징 정보, 왼쪽 후미등 키 포인트의 특징 정보 및 왼쪽 백미러 키 포인트의 특징 정보를 포함한다.

하나의 구현 가능한 실시 방식으로서, 차량 식별 장치는 단계 4를 실행하는 과정에서 아래의 단계를 실행한다.

7, 상기 처리될 이미지에 대해 제6 특징 추출 처리를 수행하여, 적어도 한 장의 제1 히트맵을 얻는 단계.

본 발명의 실시예에서, 제1 히트맵은 키 포인트가 처리될 이미지에서의 위치 정보를 포함하고, 또한 임의의 두 장의 제1 히트맵에 포함되는 정보는 상이한 키 포인트에 속한다. 예를 들어, 제1 식별될 차량의 키 포인트는 왼쪽 백미러 키 포인트와 오른쪽 후미등 키 포인트를 포함한다. 적어도 한 장의 제1 히트맵은, 제1 히트맵 1과 제1 히트맵 2를 포함하고, 여기서, 제1 히트맵 1은 왼쪽 백미러 키 포인트가 처리될 이미지에서의 위치 정보를 포함하고, 제1 히트맵 2는 오른쪽 후미등 키 포인트가 처리될 이미지에서의 위치 정보를 포함한다.

두 장의 이미지에서 동일한 위치에 위치한 픽셀 포인트를 상호 동위 포인트라고 칭한다. 예를 들어, 픽셀 포인트 A가 제1 히트맵 1에서의 위치가 픽셀 포인트 B가 제1 히트맵 2에서의 위치와 동일하면, 픽셀 포인트 A는 제1 히트맵에서 픽셀 포인트 B와의 상호 동위 포인트인 픽셀 포인트이고, 픽셀 포인트 B는 처리될 이미지에서 픽셀 포인트 A와 상호 동위 포인트인 픽셀 포인트이다.

하나의 구현 가능한 방식에서, 제1 히트맵의 사이즈는 처리될 이미지의 사이즈와 동일하다. 제1 히트맵에서 픽셀 포인트의 픽셀 값은, 처리될 이미지에서 상기 픽셀 포인트와 상호 동위 포인트인 픽셀 포인트가 위치한 위치에 키 포인트의 신뢰도가 존재한다는 것을 나타낸다. 예를 들어, 제1 히트맵 1에서의 픽셀 포인트 A는 처리될 이미지에서의 픽셀 포인트 B와 상호 동위 포인트이다. 만약 제1 히트맵 1이 왼쪽 헤드 램프 키 포인트가 처리될 이미지에서의 위치 정보, 픽셀 포인트 A의 픽섹 값이 0.7인 것을 포함한다며, 픽셀 포인트 B의 위치에 왼쪽 헤드 램프가 존재하는 신뢰도는 0.7이다.

본 발명의 실시예에서, 제6 특징 추출 처리는 컨볼루션 처리일 수 있고, 풀링 처리일 수도 있으며, 또한 컨볼루션 처리 및 풀링 처리의 결합일 수 도 있으며, 본 발명에서는 이에 한정하지 않는다.

하나의 구현 가능한 방식에서, 제6 특징 추출 처리는 제5 컨볼루션 신경망을 통해 구현될 수 있다. 정보가 라벨링된 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제5 컨볼루션 신경망이 처리될 이미지의 제6 특징에 대한 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 키 포인트가 이미지에서의 위치일 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 키 포인트의 위치 정보를 포함한 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 이미지에서 키 포인트의 위치를 얻고, 훈련 결과로 사용한다. 훈련 데이터의 라벨 지도 훈련 결과를 사용하여 컨볼루션 신경망의 훈련을 완성할 수 있으며, 제5 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제5 컨볼루션 신경망을 사용해 처리될 이미지에 대해 처리를 수행할 수 있고, 제1 식별될 차량의 키 포인트의 위치 정보를 추출하여 얻고, 제1 히트맵을 얻는다.

8, 상기 처리될 이미지에 대해 제7 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제1 특징 이미지를 얻는 단계.

처리될 이미지에서 각 픽셀 포인트는 모두 시맨틱 정보를 포함하고, 시맨틱 정보 내에는 키 포인트 특징 정보를 포함하며, 처리될 이미지에 대해 제7 특징 추출 처리를 수행하는 것을 통해, 각 픽셀 포인트에 포함되는 키 포인트 특징 정보를 추출할 수 있으며, 제1 특징 이미지를 얻는다.

이해해야 할 것은, 제1 특징 이미지는 픽셀 포인트의 키 포인트 특징 정보를 포함할 뿐만 아니라, 픽셀 포인트 사이의 상대적 위치 정보도 포함한다. 그러나 제4 특징 데이터에 포함되는 정보에는 픽셀 포인트 사이의 상대적 위치 정보가 포함되지 않는다.

9, 각 장에 따른의 상기 제1 히트맵과 상기 제1 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개 제6 특징 데이터를 얻는 단계.

제1 히트맵에 포함되는 위치 정보가 속하는 키 포인트를 제1 히트맵의 키 포인트라고 칭하고, 예를 들어, 제1 히트맵 1은 왼쪽 헤드 램프 키 포인트의 위치 정보를 포함하고, 즉 제1 히트맵 1에 포함되는 정보는 왼쪽 헤드 램프 키 포인트에 속하고, 이때, 제1 히트맵 1의 키 포인트는 왼쪽 헤드 램프 키 포인트이다.

본 발명의 실시예에서, 처리될 이미지의 사이즈, 제1 히트맵의 사이즈, 제1 특징 이미지의 사이즈는 모두 동일하다. 예를 들어, 처리될 이미지의 길이는 50이고, 너비는 30이면, 제1 히트맵의 길이와 제1 특징 이미지의 길이는 모두 50이고, 제1 히트맵의 너비와 제1 특징 이미지의 너비는 모두 30이다.

본 발명의 실시예에서, 점곱은 스마트 제곱(element-wise)을 나타낸다. 제1 특징 이미지와 제1 히트맵 사이의 점곱를 결정하는 것을 통해, 제1 특징 이미지에서 제1 히트맵의 키 포인트의 특징 정보를 추출하여, 제6 특징 데이터를 얻을 수 있다.

일부 실시예에서, 제1 특징 이미지와 제1 히트맵 사이의 점곱을 결정하기 전에, 차량 식별 장치는 제1 특징 이미지에서의 픽셀 값에 대해 정규화 처리를 수행하여, 정규화된 후의 제1 히트맵을 얻을 수 있으며, 예를 들어, 0.6보다 작지 않은 픽셀 값을 1로 조절하고, 0.6보다 작은 픽셀 값은 0.3으로 조절한다. 차량 식별 장치는 정규화된 후의 제1 히트맵과 제1 특징 이미지 사이의 점곱을 결정하는 것을 통해, 제1 히트맵의 키 포인트의 특징 정보를 추출하여, 제6 특징 데이터를 얻을 수 있다.

하나의 구현 방식으로서, 차량 식별 장치는 단계 5를 실행하는 과정에서 아래의 단계를 실행한다.

10, 상기 적어도 한 개의 제6 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제8 특징 데이터를 얻는 단계.

차량 식별 장치는 한 개 제6 특징 데이터에 대해 풀링 처리를 수행하는 것을 통해, 제6 특징 데이터에서의 데이터의 양을 감소하여, 한 개의 제8 특징 데이터를 얻을 수 있다. 이렇게, 후속 처리에서 제8 특징 데이터에 대해 처리를 수행하여, 차량 식별 장치의 데이터 처리량을 감소할 수 있다.

차량 식별 장치는 적어도 한 개의 제6 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제8 특징 데이터를 얻는다. 예를 들어, 적어도 한 개의 제6 특징 데이터는 제6 특징 데이터 1, 제6 특징 데이터 2, 제6 특징 데이터 3을 포함한다. 차량 식별 장치는 제6 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 제8 특징 데이터 1을 얻고, 제6 특징 데이터 2에 대해 풀링 처리를 수행하는 것을 통해 제8 특징 데이터 2를 얻으며, 이때, 적어도 한 개의 제8 특징 데이터는 제8 특징 데이터 1과 제8 특징 데이터 2를 포함한다. 차량 식별 장치는 제6 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 제8 특징 데이터 1을 얻고, 제6 특징 데이터 2에 대해 풀링 처리를 수행하는 것을 통해 제8 특징 데이터 2를 얻고, 제6 특징 데이터 3에 대해 풀링 처리를 수행하는 것을 통해 제8 특징 데이터 3을 얻으며, 이때, 적어도 한 개의 제8 특징 데이터는 제8 특징 데이터 1, 제8 특징 데이터 2, 제8 특징 데이터 3을 포함한다.

일부 실시예에서, 단계 10에서의 풀링 처리가 전부 평균 풀링 처리이다.

11, 상기 적어도 한 개의 제8 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제1 확률을 얻는 단계.

본 발명의 실시예에서, 제1 확률은 제1 확률에 대응되는 제6 특징 데이터에 포함되는 정보량을 나타내기 위해 사용된다. 예를 들어(예 1), 적어도 한 개의 제8 특징 데이터는 제8 특징 데이터 1을 포함하고, 적어도 한 개의 제1 확률은 제1 확률 1을 포함하며, 제1 확률 1은 제8 특징 데이터 1에 포함되는 정보량에 의거하여 얻은 것이며, 제8 특징 데이터 1은 제6 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 얻는다. 제1 확률 1은 제6 특징 데이터 1에 포함되는 정보량을 나타내기 위해 사용된다.

일부 실시예에서, 제1 확률과 제6 특징 데이터에 포함되는 정보량 사이에는 관련성을 구비한다. 예를 들어, 제1 확률과 제6 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 예 1에서, 제1 확률 1이 클수록 제6 특징 데이터 1에 포함되는 정보량이 크다는 것을 나타내고, 제1 확률과 제6 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 예 1에서, 제1 확률 1이 클수록 제6 특징 데이터 1에 포함되는 정보량이 작다는 것을 나타낸다.

제8 특징 데이터는 제6 특징 데이터에 의거하여 얻은 것이므로, 제8 특징 데이터에 포함되는 정보량과 제6 특징 데이터에 포함되는 정보량은 정비례 관계이다. 따라서, 차량 식별 장치는 제8 특징 데이터에 포함되는 정보량에 의거하여, 제1 확률을 얻을 수 있다.

하나의 구현 가능한 방식에서, 차량 식별 장치는 제8 특징 데이터가 softmax함수에 입력하여, 제1 확률을 얻을 수 있다.

차량 식별 장치는 한 개의 제8 특징 데이터에 포함되는 정보량에 의거하여 한 개의 제1 확률을 얻을 수 있고, 적어도 한 개의 제8 특징 데이터에 포함되는 정보량에 의거하여 적어도 한 개의 제1 확률을 얻을 수 있다. 예를 들어, 적어도 한 개의 제8 특징 데이터는 제8 특징 데이터 1과 제8 특징 데이터 2를 포함한다, 차량 식별 장치는 제8 특징 데이터 1에 포함되는 정보량에 의거하여 제1 확률 1을 얻고, 이때, 적어도 한 개의 제1 확률은 제1 확률 1을 포함한다. 차량 식별 장치는 제8 특징 데이터 1에 포함되는 정보량에 의거하여 제1 확률 1을 얻고, 제8 특징 데이터 2에 포함되는 정보량에 의거하여 제1 확률 2를 얻으며, 이때, 적어도 한 개의 제1 확률은 제1 확률 1과 제1 확률 2를 포함한다.

제1 확률과 제6 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 차량 식별 장치는 단계 12를 실행하고; 제1 확률과 제6 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 차량 식별 장치는 단계 13을 실행한다.

12, 제일 큰 k 개 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하는 단계.

13, 제일 작은 k 개 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하는 단계.

하나의 선택 가능한 구현 방식으로서, 한 개의 제7 특징 데이터는 한 개의 키 포인트의 특징 정보를 포함하므로, 적어도 한 개의 키 포인트에서 키 포인트의 수량이 1을 초과하는 상황에서, 제7 특징 데이터의 수량은 1을 초과한다. 그러나 상이한 제7 특징 데이터에 포함되는 정보량은 상이하다. 제1 식별될 차량의 키 포인트 특징 정보의 정확도를 향상하기 위해, 차량 식별 장치는 제7 특징 데이터에 포함되는 정보량에 의거하여 각 제7 특징 데이터의 가중을 각각 결정하고, 또한 제7 특징 데이터의 가중이 적어도 한 개의 제7 특징 데이터에 대해 가중 융합을 수행하는 것에 의거하여, 제4 특징 데이터를 얻는다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 2을 실행하는 과정에서 아래의 단계를 실행한다.

14, 상기 처리될 이미지에 대해 제10 특징 추출 처리를 수행하여, 적어도 한 개 제9 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제9 특징 데이터 제1 식별될 차량의 키 포인트 특징 정보를 포함하고, 또한 임의의 두 개 제9 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속한다. 예를 들어, 제1 식별될 차량은 부분 픽셀 포인트 영역 1과 부분 픽셀 포인트 영역 2를 포함하고, 여기서, 부분 픽셀 포인트 영역 1은 앞 유리가 커버하는 픽셀 포인트 영역을 포함하고, 부분 픽셀 포인트 영역 2는 왼쪽 유리가 커버하는 픽셀 포인트 영역을 포함한다. 적어도 한 개의 제9 특징 데이터는 특징 데이터 1과 특징 데이터 2를 포함하고, 여기서, 특징 데이터 1은 부분 픽셀 포인트 영역 1의 특징 정보를 포함하고, 특징 데이터 2는 부분 픽셀 포인트 영역 2의 특징 정보를 포함한다.

하나의 선택 가능한 구현 방식에서, 차량 식별 장치는 처리될 이미지에 대해 제10 특징 추출 처리를 수행하는 것을 통해, 제1 식별될 차량의 키 포인트 특징 정보를 추출하여, 채널 수가 1보다 작지 않은 제4 중간 특징 데이터를 얻고, 여기서, 제4 중간 특징 데이터에서 각 채널의 데이터는 모두 제1 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 임의의 두 개 채널의 데이터에 포함되는 정보는 상이한 부분 픽셀 포인트 영역에 속한다. 차량 식별 장치는 제4 중간 특징 데이터에서의 한 개의 채널 데이터를 한 개의 제9 특징 데이터로 사용할 수 있다.

15, 상기 적어도 두 개 제9 특징 데이터에서 정보량이 제일 많은 m 개 특징 데이터를 발췌하여, m 개 제10 특징 데이터를 얻는 단계.

상이한 제9 특징 데이터에 포함되는 정보량이 상이함으로, 후속 처리의 데이터 처리량을 감소하기 위해, 차량 식별 장치는 적어도 한 개의 제9 특징 데이터에서 정보량이 제일 많은 m 개 특징 데이터(즉 m 개 제10 특징 데이터)를 발췌하여 후속 처리에 사용할 수 있으며, 여기서, m은 1보다 작지 않은 정수이다.

16, 상기 m 개 제10 특징 데이터에 의거하여 상기 제5 특징 데이터를 얻는 단계.

K=1인 상황에서, 단계 17을 실행하는 것을 통해 1 개 제10 특징 데이터를 얻을 수 있으며, 이때, 차량 식별 장치는 제10 특징 데이터를 제5 특징 데이터로 사용할 수 있으며, 즉 제5 특징 데이터에서 한 개의 키 포인트의 특징 정보를 포함한다.

K가 1보다 큰 상황에서, 단계 5를 실행하는 것을 통해 적어도 두 개 제10 특징 데이터를 얻을 수 있으며, 이때, 차량 식별 장치는 적어도 두 개 제10 특징 데이터에 대해 융합 처리를 수행하여, 제5 특징 데이터를 얻을 수 있다.

예를 들어, 적어도 두 개 제10 특징 데이터는, 제10 특징 데이터 1, 제10 특징 데이터 2, 제10 특징 데이터 3을 포함하고, 여기서, 제10 특징 데이터 1은 차의 앞 부분이 커버하는 픽셀 포인트 영역의 특징 정보를 포함하고, 제10 특징 데이터 2는 오른쪽 앞 유리가 커버하는 픽셀 포인트 영역의 특징 정보를 포함하고, 제10 특징 데이터 3은 왼쪽 타이어가 커버하는 픽셀 포인트 영역의 특징 정보를 포함한다. 차량 식별 장치는 제10 특징 데이터 1과 제10 특징 데이터 2에 대해 융합 처리를 수행하는 것을 통해, 제5 특징 데이터를 얻을 수 있다. 이때 제5 특징 데이터는 차의 앞 부분이 커버하는 픽셀 포인트 영역의 특징 정보와 오른쪽 앞 유리가 커버하는 픽셀 포인트 영역의 특징 정보를 포함한다. 차량 식별 장치는 또한 제10 특징 데이터 1, 제10 특징 데이터 2 및 제10 특징 데이터 3에 대해 융합 처리를 수행하는 것을 통해, 제5 특징 데이터를 얻을 수 있다. 이때 제5 특징 데이터는 차의 앞 부분이 커버하는 픽셀 포인트 영역의 특징 정보, 오른쪽 앞 유리가 커버하는 픽셀 포인트 영역의 특징 정보 및 왼쪽 타이어가 커버하는 픽셀 포인트 영역의 특징 정보를 포함한다.

하나의 구현 방식으로서, 차량 식별 장치는 단계 14를 실행하는 과정에서 아래의 단계를 실행한다.

17, 상기 처리될 이미지에 대해 제11 특징 추출 처리를 수행하여, 적어도 한 장의 제2 히트맵을 얻는 단계.

본 발명의 실시예에서, 제2 히트맵은 키 포인트가 처리될 이미지에서의 위치 정보를 포함하고, 또한 임의의 두 장의 제2 히트맵에 포함되는 정보는 상이한 부분 픽셀 포인트 영역에 속한다. 예를 들어, 제1 식별될 차량의 부분 픽셀 포인트 영역은 앞 유리 영역 및 차의 앞 부분 영역을 포함한다. 적어도 한 장의 제2 히트맵은 제2 히트맵 1과 제2 히트맵 2를 포함하고, 여기서, 제2 히트맵 1은 앞 유리 영역이 처리될 이미지에서의 위치 정보를 포함하고, 제2 히트맵 2는 부분 픽셀 포인트 영역이 처리될 이미지에서의 위치 정보를 포함한다.

두 장의 이미지에서 동일한 위치에 위치한 픽셀 포인트를 상호 동위 포인트라고 칭한다. 예를 들어, 픽셀 포인트 A가 제2 히트맵 1에서의 위치와 픽셀 포인트 B가 제2 히트맵 2에서의 위치가 동일하면, 픽셀 포인트 A는 제2 히트맵에서 픽셀 포인트 B와 상호 동위 포인트인 픽셀 포인트이고, 픽셀 포인트 B는 처리될 이미지에서 픽셀 포인트 A와 상호 동위 포인트인 픽셀 포인트이다.

하나의 구현 가능한 방식에서, 제2 히트맵의 사이즈는 처리될 이미지의 사이즈와 동일하다. 제2 히트맵에서 픽셀 포인트의 픽셀 값은, 처리될 이미지에서 상기 픽셀 포인트와 상호 동위 포인트인 픽셀 포인트가 위치한 위치는 부분 픽셀 포인트 영역의 신뢰도에 속한다. 예를 들어, 제2 히트맵 1에서의 픽셀 포인트 A는 처리될 이미지에서의 픽셀 포인트 B와 상호 동위 포인트이다. 만약 제2 히트맵 1이 차의 앞 부분 영역이 처리될 이미지에서의 위치 정보를 포함한다면, 픽셀 포인트 A의 픽셀 값은 0.7이고, 픽셀 포인트 B가 차의 앞 부분 영역에 속하는 신뢰도는 0.7이다.

본 발명의 실시예에서, 제11 특징 추출 처리는 컨볼루션 처리일 수 있고, 풀링 처리일 수도 있으며, 또한 컨볼루션 처리 및 풀링 처리의 결합일 수 도 있으며, 본 발명에서는 이에 한정하지 않는다.

하나의 구현 가능한 방식에서, 제11 특징 추출 처리는 제6 컨볼루션 신경망을 통해 구현할 수 있다. 정보가 라벨링된 이미지를 훈련 데이터로 사용하는 것을 통해, 컨볼루션 신경망에 대해 훈련을 수행하여, 훈련하여 얻은 제6 컨볼루션 신경망이 처리될 이미지의 제11 특징에 대해 추출 처리를 완성할 수 있게 한다. 훈련 데이터의 라벨링 정보는 부분 픽셀 포인트 영역이 이미지에서의 위치일 수 있다. 훈련 데이터를 사용하여 컨볼루션 신경망에 대해 훈련을 수행하는 과정에서, 컨볼루션 신경망은 훈련 데이터에서 부분 픽셀 포인트 영역의 위치 정보를 포함한 특징 데이터를 추출하고, 추출된 특징 데이터에 의거하여 이미지에서 부분 픽셀 포인트 영역의 위치를 얻고, 훈련 결과로 사용한다. 훈련 데이터의 라벨 지도 훈련 결과를 사용하여 컨볼루션 신경망의 훈련을 완성할 수 있으며, 제6 컨볼루션 신경망을 얻는다. 이렇게, 차량 식별 장치는 제6 컨볼루션 신경망을 사용해 처리될 이미지에 대해 처리를 수행할 수 있고, 제1 식별될 차량의 키 포인트의 위치 정보를 추출하여 얻고, 제2 히트맵을 얻는다.

18, 상기 처리될 이미지에 대해 제12 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제2 특징 이미지를 얻는 단계.

처리될 이미지에서 각 픽셀 포인트는 모두 시맨틱 정보를 포함하고, 처리될 이미지에 대해 제7 특징 추출 처리를 수행하는 것을 통해, 각 픽셀 포인트의 시맨틱 정보를 추출하여, 제2 특징 이미지를 얻을 수 있다.

이해해야 할 것은, 제2 특징 이미지는 픽셀 포인트의 시맨틱 정보를 포함할 뿐만 아니라, 픽셀 포인트 사이의 상대적 위치 정보도 포함한다. 그러나 제5 특징 데이터에 포함되는 정보에는 픽셀 포인트 사이의 상대적 위치 정보가 포함되지 않는다.

일부 실시예에서, 제1 특징 이미지와 제2 특징 이미지는 동일할 수 있으며, 이때, 제1 특징 이미지 및 제2 특징 이미지는 모두 처리될 이미지에서 각 픽셀 포인트의 시맨틱 정보를 포함한다.

19, 각 장에 따른의 상기 제2 히트맵과 상기 제2 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개의 제9 특징 데이터를 얻는 단계.

제2 히트맵에 포함되는 위치 정보가 속하는 부분 픽셀 포인트 영역을 제2 히트맵의 부분 픽셀 포인트 영역이라고 칭하고, 예를 들어, 제2 히트맵 1은 앞 유리 영역의 위치 정보를 포함하고, 즉 제2 히트맵 1에 포함되는 정보는 앞 유리 영역에 속하며, 이때, 제2 히트맵 1의 부분 픽셀 포인트 영역은 앞 유리 영역이다.

본 발명의 실시예에서, 처리될 이미지의 사이즈, 제2 히트맵의 사이즈, 제2 특징 이미지의 사이즈는 모두 동일하다. 예를 들어, 처리될 이미지의 길이는 50이고, 너비는 30이면, 제2 히트맵의 길이와 제2 특징 이미지의 길이는 모두 50이고, 제2 히트맵의 너비와 제2 특징 이미지의 너비는 모두 30이다.

제2 특징 이미지와 제2 히트맵 사이의 점곱를 결정하는 것을 통해, 제2 특징 이미지에서 추출된 제2 히트맵의 부분 픽셀 포인트 영역의 특징 정보로, 제9 특징 데이터를 얻을 수 있다.

일부 실시예에서, 제2 특징 이미지와 제2 히트맵 사이의 점곱을 결정하기 전에, 차량 식별 장치는 제2 특징 이미지에서의 픽셀 값에 대해 정규화 처리를 수행하여, 정규화된 후의 제2 히트맵을 얻을 수 있으며, 예를 들어, 0.7을 초과하는 픽셀 값을 1로 조절하고, 0.7을 초과하지 않은 픽셀 값은 0으로 조절한다. 차량 식별 장치는 정규화된 후의 제2 히트맵과 제2 특징 이미지 사이의 점곱을 결정하는 것을 통해, 제2 히트맵의 키 포인트의 특징 정보를 추출하여, 제9 특징 데이터를 얻을 수 있다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 15를 실행하는 과정에서 아래의 단계를 실행한다.

20, 상기 제9 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제11 특징 데이터를 얻는 단계.

차량 식별 장치는 한 개 제9 특징 데이터에 대해 풀링 처리를 수행하는 것을 통해, 제9 특징 데이터에서의 데이터의 양을 감소하여, 한 개의 제11 특징 데이터를 얻을 수 있다. 이렇게, 후속 처리에서 제11 특징 데이터에 대해 처리를 수행하여, 차량 식별 장치의 데이터 처리량을 감소할 수 있다.

차량 식별 장치는 적어도 한 개의 제9 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제11 특징 데이터를 얻는다. 예를 들어, 적어도 한 개의 제9 특징 데이터는 제9 특징 데이터 1, 제9 특징 데이터 2, 제9 특징 데이터 3을 포함한다. 차량 식별 장치는 제9 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 제11 특징 데이터 1을 얻고, 제9 특징 데이터 2에 대해 풀링 처리를 수행하는 것을 통해 제11 특징 데이터 2를 얻으며, 이때, 적어도 한 개의 제11 특징 데이터는 제11 특징 데이터 1과 제11 특징 데이터 2를 포함한다. 차량 식별 장치는 제9 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 제11 특징 데이터 1을 얻고, 제9 특징 데이터 2에 대해 풀링 처리를 수행하는 것을 통해 제11 특징 데이터 2를 얻고, 제9 특징 데이터 3에 대해 풀링 처리를 수행하는 것을 통해 제11 특징 데이터 3을 얻으며, 이때, 적어도 한 개의 제11 특징 데이터는 제11 특징 데이터 1, 제11 특징 데이터 2, 제11 특징 데이터 3을 포함한다.

단계 20에서의 풀링 처리는 전부 평균 풀링 처리이다.

21, 상기 적어도 한 개의 제11 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제2 확률을 얻는 단계.

본 발명의 실시예에서, 제2 확률은 제2 확률에 대응되는 제9 특징 데이터에 포함되는 정보량을 나타내기 위해 사용된다. 예를 들어(예 2), 적어도 한 개의 제11 특징 데이터는 제11 특징 데이터 1을 포함하고, 적어도 한 개의 제2 확률은 제2 확률 1을 포함하며, 제2 확률 1은 제11 특징 데이터 1에 포함되는 정보량에 의거하여 얻은 것이며, 제11 특징 데이터 1은 제9 특징 데이터 1에 대해 풀링 처리를 수행하는 것을 통해 얻는다. 즉 제2 확률 1은 제9 특징 데이터 1에 포함되는 정보량을 나타내기 위해 사용된다.

제2 확률과 제9 특징 데이터에 포함되는 정보량 사이에는 관련성을 구비한다. 예를 들어, 제2 확률과 제9 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 예 1에서, 제2 확률 2가 클수록 제9 특징 데이터 1에 포함되는 정보량이 크다는 것을 나타내고, 제21 확률과 제9 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 예 1에서, 제2 확률 1이 클수록 제9 특징 데이터 1에 포함되는 정보량이 작다는 것을 나타낸다.

제11 특징 데이터는 제9 특징 데이터에 의거하여 얻은 것이므로, 제11 특징 데이터에 포함되는 정보량과 제9 특징 데이터에 포함되는 정보량은 정비례 관계이다. 따라서, 차량 식별 장치는 제11 특징 데이터에 포함되는 정보량에 의거하여, 제2 확률을 얻을 수 있다.

하나의 구현 가능한 방식에서, 차량 식별 장치는 제11 특징 데이터를 softmax함수에 입력하여, 제2 확률을 얻을 수 있다.

차량 식별 장치는 한 개의 제11 특징 데이터에 포함되는 정보량에 의거하여 한 개의 제2 확률을 얻을 수 있고, 적어도 한 개의 제11 특징 데이터에 포함되는 정보량에 의거하여 적어도 한 개의 제2 확률을 얻을 수 있다. 예를 들어, 적어도 한 개의 제11 특징 데이터는 제11 특징 데이터 1과 제11 특징 데이터 2를 포함한다, 차량 식별 장치는 제11 특징 데이터 1에 포함되는 정보량에 의거하여 제2 확률 1을 얻고, 이때, 적어도 한 개의 제2 확률은 제2 확률 1을 포함한다. 차량 식별 장치는 제11 특징 데이터 1에 포함되는 정보량에 의거하여 제2 확률 1을 얻고, 제11 특징 데이터 2에 포함되는 정보량에 의거하여 제2 확률 2를 얻으며, 이때, 적어도 한 개의 제2 확률은 제2 확률 1과 제2 확률 2를 포함한다.

제2 확률과 제9 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 차량 식별 장치는 단계 22를 실행하고; 제2 확률과 제9 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 차량 식별 장치는 단계 23을 실행한다.

22, 제일 큰 m 개 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하는 단계.

23, 제일 작은 m 개 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하는 단계.

하나의 구현 방식으로서, 한 개의 제10 특징 데이터가 한 개의 부분 픽셀 포인트 영역의 특징 정보를 포함하므로, 적어도 한 개의 부분 픽셀 포인트 영역애서 부분 픽셀 포인트 영역의 수량이 1을 초과하는 상황에서, 제10 특징 데이터의 수량은 1을 초과한다. 그러나 상이한 제10 특징 데이터에 포함되는 정보량은 상이하다. 제1 식별될 차량의 부분 픽셀 포인트 영역 특징 정보의 정확도를 향상하기 위해, 차량 식별 장치는 제10 특징 데이터에 포함되는 정보량에 의거하여 각 제10 특징 데이터의 가중을 각각 결정하고, 또한 제10 특징 데이터의 가중이 적어도 한개의 제10 특징 데이터에 대해 가중 융합을 수행하는 것에 의거하여, 제5 특징 데이터를 얻는다.

하나의 구현 가능한 방식에서, 적어도 한 개의 부분 픽셀 포인트 영역은 제1 부분 픽셀 포인트 영역 및 제2 부분 픽셀 포인트 영역을 포함하고, 제9 특징 데이터의 수량과 m은 모두 1보다 크다. 차량 식별 장치는 적어도 두 개 제9 특징 데이터에서 정보량을 제일 많이 포함한 m 개 특징 데이터를 발췌하여, 제1 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제12 특징 데이터 및 제2 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제13 특징 데이터를 얻는다. 차량 식별 장치는 단계 18을 실행하는 과정에서 아래의 단계를 실행한다.

24, 상기 제12 특징 데이터에 포함되는 정보량에 의거하여 제1 가중을 얻고, 상기 제13 특징 데이터에 포함되는 정보량에 의거하여 제2 가중을 얻는 단계.

본 발명의 실시예에서, 제1 가중과 제12 특징 데이터에 포함되는 정보량은 정비례 관계이고, 제2 가중과 제13 특징 데이터에 포함되는 정보량도 정비례 관계이다.

25, 상기 제1 가중 및 상기 제2 가중에 의거하여, 상기 제12 특징 데이터 및 상기 제13 특징 데이터에 대해 가중 융합을 수행하여, 상기 제5 특징 데이터를 얻는 단계.

차량 식별 장치는 제1 가중 및 제2 가중에 의거하여 제9 특징 데이터 및 제10 특징 데이터에 대해 가중 융합을 수행하여, 제1 식별될 차량의 부분 픽셀 포인트 영역 특징 정보를 포함하는 제4 특징 데이터를 얻고, 제1 식별될 차량의 부분 픽셀 포인트 영역 특징 정보의 정확도를 향상할 수 있다.

하나의 구현 가능한 구현 방식에서, 차량 식별 장치는 제1 가중 및 제2 가중에 의거하여, 제12 특징 데이터와 제13 특징 데이터에 대해 가중 합산을 수행하여 제5 특징 데이터를 얻는다. 예를 들어, 제1 가중이 이고, 제2 가중이 이고, 제12 특징 데이터가 이고, 제13 특징 데이터가 이고, 제5 특징 데이터가 , , , , 이라고 가정하면, 은 아래의 식 을 만족시키며, 여기서, d는 실수이다. 일부 실시예에서, 이다.

다른 하나의 구현 가능한 방식에서, 차량 식별 장치는 제1 가중과 제12 특징 데이터를 곱하여 제5 중간 특징 데이터를 얻고, 제2 가중과 제13 특징 데이터를 곱하여 제6 중간 특징 데이터를 얻으며, 제5 중간 특징 데이터와 제6 중간 특징 데이터에 대해 융합 처리를 수행하여 제5 특징 데이터를 얻는다.

본 발명의 실시예는 차량 식별 네트워크를 더 제공하고, 전문에서 개시한 기술방안을 구현하도록 구성될 수 있다. 도 4를 참조하면, 도 4는 본 발명의 실시예에서 제공한 차량 식별 네트워크의 구조 예시도이다. 도 4에 도시된 바와 같이, 차량 식별 네트워크는 특징 추출 모듈(401), 키 포인트 및 부분 픽셀 포인트 영역 생성 모듈(402), 연합 훈련 모듈(403)을 포함한다. 특징 추출 모듈(401)이 처리될 이미지(400)에 대해 처리를 수행하는 것을 거쳐, 처리될 이미지의 제3 특징 이미지(404)를 얻는다. 키 포인트 및 부분 픽셀 포인트 영역 생성 모듈이 처리될 이미지에 대해 처리를 수행하는 것을 거쳐, 적어도 한 장의 제1 히트맵과 적어도 한 장의 제2 히트맵(405)을 얻는다. 제3 특징 이미지, 적어도 한 장의 제1 히트맵과 적어도 한 장의 제2 히트맵을 연합 훈련 모듈에 입력하여, 제3 특징 데이터(406)를 얻는다.

구체적으로, 도 5에 도시된 것은 특징 추출 모듈의 구조 예시도이다. 도 5에 도시된 바와 같이, 특징 추출 모듈은 3층의 연속적인 컨볼루션 층을 포함한다. 특징 추출 모듈에서, 제1 컨볼루션 계층(501)은 ResNet50에서의 conv2_x이고, 제2 컨볼루션 계층(502)은 ResNet50에서의 conv3_x이며, 제3 컨볼루션 계층(503)은 ResNet50에서의 conv4_x이다. 처리될 이미지(500)는 이러한 3층의 컨볼루션 층을 통해 특징 추출을 수행하여, 제3 특징 이미지(504)를 얻는다.

도 6에 도시된 것은 키 포인트 및 부분 픽셀 포인트 영역 생성 모듈의 구조 예시도이다. 도 6에 도시된 바와 같이, 키 포인트 및 부분 픽셀 포인트 영역 생성 모듈은 4층의 연속적으로 직렬 연결된 컨볼루션 층을 포함한다. 일부 실시예에서, 키 포인트 및 부분 픽셀 포인트 영역 모듈에서, 제1 컨볼루션 계층(601)은 ResNet50에서의 conv2_x이고, 제2 컨볼루션 계층(602)은 ResNet50에서의 conv3_x이며, 제3 컨볼루션 계층(603)은 ResNet50에서의 conv4_x이며, 제4 컨볼루션 계층(604)는 ResNet50에서의 conv5_x이다. 처리될 이미지(600)를, 이러한 4층의 컨볼루션 층을 통해 처리를 수행하여, 적어도 한 장의 제1 히트맵과 적어도 한 장의 제2 히트맵(605)을 얻는다.

도 7에 도시된 것은 연합 훈련 모듈의 구조 예시도이다. 도 7에 도시된 바와 같이, 연합 훈련 모듈의 제1 컨볼루션 계층(701)이 제3 특징 이미지(700)에 대해 처리를 수행하는 것을 거쳐, 제1 범용 특징 이미지를 얻는다. 제1 차원 축소 계층(702)이 제1 범용 특징 이미지에 대해 채널 차원에서의 축소를 수행하는 것을 거쳐 제1 특징 이미지를 얻는다. 제1 연기자-평론가 모듈(703)이 제1 특징 이미지와 적어도 한 장의 제1 히트맵(704)에 대해 처리를 수행하는 것을 거쳐, k 개 제1 평론가 특징 데이터를 얻는다. 차례로 제1 풀링 계층(71)과 제1 정규화 계층(72)이 k 개 제1 평론가 특징 데이터에 대해 각각 처리를 수행하는 것을 거쳐, k 개 제7 특징 데이터(705)를 얻는다.

연합 훈련 모듈의 제1 컨볼루션 계층(701)이 제3 특징 이미지에 대해 처리를 수행하는 것을 거쳐, 제2 범용 특징 이미지를 얻는다. 제2 차원 축소 계층(711)이 제2 범용 특징 이미지에 대해 채널 차원에서의 축소를 수행하는 것을 거쳐 제2 특징 이미지를 얻는다. 제2 연기자-평론가 모듈(712)이 제2 특징 이미지와 적어도 한 장의 제2 히트맵(713)에 대해 처리를 수행하는 것을 거쳐, m 개 제2 평론가 특징 데이터를 얻는다. 차례로 제2 풀링 계층(73)과 제2 정규화 계층(74)이 m 개 제2 평론가 특징 데이터에 대해 각각 처리를 수행하는 것을 거쳐, m 개 제10 특징 데이터(714)를 얻는다.

차례로 연합 훈련 모듈의 제2 컨볼루션 계층(721), 제3 차원 축소 계층(722), 제3 풀링 계층(75), 제3 정규화 계층(76)이 제3 특징 이미지에 대해 처리를 수행하는 것을 거쳐, 제2 특징 데이터(723)를 얻는다.

연합 훈련 모듈에서, 제1 컨볼루션 계층(701)과 제2 컨볼루션 계층(721)은 모두 ResNet50에서의 conv5_x이다. 제1 차원 축소 계층(702), 제2 차원 축소 계층(711), 제3 차원 축소 계층(722)에는 모두 한 개의 사이즈가 1*1인 컨볼루션 커널이 포함된다.

도 8을 참조하면, 도 8에 도시된 것은 제1 연기자-평론가 모듈의 구조 예시도이다. 제1 연기자-평론가 모듈의 입력은 적어도 한 장의 제1 히트맵(801)과 제1 특징 이미지(802)이다. 제1 연기자-평론가 모듈은 각 장에 따른 제1 히트맵과 제1 특징 이미지 사이의 점곱을 각각 결정하여, 적어도 한 개의 제6 특징 데이터(803)를 얻는다. 제1 채점 서브 모듈(804)이 한 개의 제6 특징 데이터에 대해 처리를 수행하는 것을 거쳐, 상기 제6 특징 데이터와 대응되는 제1 확률을 얻을 수 있다. 적어도 한 개의 제6 특징 데이터에서 제일 큰 k 개 제1 확률(805)에 대응되는 제6 특징 데이터를 발췌하여 k 개 제1 연기자 특징 데이터(806)를 얻고, 또는 적어도 한 개의 제6 특징 데이터에서 제일 작은 k 개 제1 확률에 대응되는 제6 특징 데이터를 발췌하여 k 개 제1 연기자 특징 데이터를 얻는다. K 개 제1 연기자 특징 데이터에 대해 각각 정규화 처리를 수행하여, k 개 제1 평론가 특징 데이터(807)를 얻는다.

도 9를 참조하면, 도 9에 도시된 것은 제1 채점 서브 모듈의 구조 예시도이다. 제1 채점 서브 모듈에서, 제6 특징 데이터(901)는 차례로 정규화 계층(902), 풀링 계층(903), 전체 연결 계층(904)을 거쳐, 제8 특징 데이터를 얻고, softmax 계층(905)을 거쳐 제8 특징 데이터에 대해 처리를 수행하여, 제1 확률(906)을 얻는다.

도 10을 참조하면, 도 10에 도시된 것은 제2 연기자-평론가 모듈의 구조 예시도이다. 제2 연기자-평론가 모듈의 입력은 적어도 한 장의 제2 히트맵과 제3 특징 이미지이다. 제2 연기자-평론가 모듈은 각 장에 따른 제2 히트맵(1001)과 제3 특징 이미지(1002) 사이의 점곱을 각각 결정하여, 적어도 한 개의 제9 특징 데이터(1003)를 얻는다. 제2 채점 서브 모듈(1004)이 한 개의 제9 특징 데이터에 대해 처리를 수행하는 것을 거쳐, 상기 제9 특징 데이터와 대응되는 제2 확률(1005)을 얻을 수 있다. 적어도 한 개의 제9 특징 데이터에서 제일 큰 m 개 제2 확률에 대응되는 제9 특징 데이터를 발췌하여 m 개 제2 연기자 특징 데이터를 얻고, 또는 적어도 한 개의 제9 특징 데이터에서 제일 작은 m 개 제2 확률에 대응되는 제9 특징 데이터를 발췌하여 m 개 제2 연기자 특징 데이터(1006)를 얻는다. M 개 제2 연기자 특징 데이터에 대해 각각 정규화 처리를 수행하여, m 개 제2 평론가 특징 데이터(1007)를 얻는다.

도 11를 참조하면, 도 11에 도시된 것은 제2 채점 서브 모듈의 구조 예시도이다. 제2 채점 서브 모듈에서, 제9 특징 데이터(1101)는 차례로 정규화 계층(1102), 풀링 계층(1103), 전체 연결 계층(1104)을 거쳐, 제11 특징 데이터를 얻고, softmax 계층(1105)을 거쳐 제8 특징 데이터에 대해 처리를 수행하여, 제2 확률(1106)을 얻는다.

도 4에 도시된 차량 식별 네트워크를 사용하여 이미지에서의 차량의 특징 데이터를 추출하기 전에, 차량 식별 네트워크에 대해 훈련을 수행할 것이 수요된다. 이를 위해, 본 발명은 또한 차량 식별 네트워크의 훈련 방법을 더 제공한다. 상기 훈련 방법은 아래의 단계를 포함할 수 있다.

26, 제2 식별될 차량을 포함한 훈련 이미지와 훈련될 네트워크를 획득하는 단계.

본 발명의 실시예에서, 훈련 이미지는 제1 식별될 차량을 포함한다. 하나의 훈련 이미지를 획득하는 구현 방식에서, 차량 식별 장치는 사용자가 입력 컴포넌트를 통해 입력한 훈련 이미지를 수신한다. 상기 입력 컴포넌트는, 키보드, 마우스, 터치 스크린, 터치 패드와 오디오 입력기 등을 포함한다.

다른 하나의 훈련 이미지를 획득하는 구현 방식에서, 차량 식별 장치는 훈련 데이터 단말에서 송신한 훈련 이미지를 수신한다. 상기 훈련 데이터 단말은 아래의, 핸드폰, 컴퓨터, 태블릿 PC, 서버 중 임의의 하나 일 수 있다.

본 발명의 실시예에서, 훈련될 네트워크의 구체적인 구조는 도 4를 참조한다. 하나의 훈련될 네트워크를 획득하는 구현 방식에서, 차량 식별 장치는 사용자가 입력 컴포넌트를 통해 입력한 훈련될 네트워크를 수신한다. 상기 입력 컴포넌트는, 키보드, 마우스, 터치 스크린, 터치 패드와 오디오 입력기 등을 포함한다.

다른 하나의 훈련될 네트워크를 획득하는 구현 방식에서, 차량 식별 장치는 훈련 데이터 단말에서 송신한 훈련될 네트워크를 수신한다. 상기 훈련 데이터 단말은 아래의, 핸드폰, 컴퓨터, 태블릿 PC, 서버 중 임의의 하나 일 수 있다.

27, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하고, 상기 제2 식별될 차량의 전부 특징 정보를 포함하는 제14 특징 데이터와 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함하는 제15 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제2 식별될 차량의 전부 특징 정보는 제2 식별될 차량의 전체적인 외관 특징 정보를 포함한다.

28, 상기 제14특징 데이터와 상기 훈련 이미지의 라벨에 의거하여, 제1 전역 손실을 얻는 단계.

본 발명의 실시예에서, 훈련 이미지의 라벨은 제2 식별될 차량의 타입 정보를 포함한다. 예를 들어, 모든 훈련 데이터에서 총 차량 1과 차량 2를 포함한다. 제2 식별될 차량의 타입 정보가 차량 1인 상황에서, 제2 식별될 차량은 차량 1인 것을 나타낸다.

하나의 구현 가능한 방식에서, 차량 식별 장치는 제14 특징 데이터에 의거하여 제2 식별될 차량의 타입(이하 전역 타입이라고 칭함)을 얻을 수 있고, 전역 타입과 라벨에 포함되는 타입 정보 사이의 차이에 의거하여 제1 전역 손실을 얻을 수 있다.

29, 상기 제15 특징 데이터와 상기 라벨에 의거하여, 제1 키 포인트 손실을 얻는 단계.

하나의 구현 가능한 방식에서, 차량 식별 장치는 제15 특징 데이터에 의거하여 제2 식별될 차량의 타입(이하 키 포인트 타입이라고 칭함)을 얻을 수 있고, 키 포인트 타입과 라벨에 포함되는 타입 정보 사이의 차이에 의거하여 제1 키 포인트 손실을 얻을 수 있다.

30, 상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크의 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실은 로, 총 손실을 이라고 가정하면, 하나의 구현 가능한 방식에서, 는 공식(1)을 만족시키고:

공식(1);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(2)를 만족시키고:

공식(2);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(3)을 만족시키고:

공식(3);

여기서, 는 모두 실수이다. , 이다.

31, 상기 총 손실에 기반하여 상기 훈련될 네트워크의 파라미터를 조절하여, 상기 차량 식별 네트워크를 얻는 단계.

차량 식별 장치는 총 손실에 의거하여 훈련될 네트워크의 파라미터를 조절하며, 총 손실이 수렴 임계값보다 작을 때까지 조절하여, 차량 식별 네트워크를 얻는다.

총 손실에는 제1 전역 손실과 제1 키 포인트 손실을 포함하므로, 총 손실에 기반하여 훈련될 네트워크의 파라미터를 조절하여 차량 식별 네트워크를 얻고, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하여 제1 식별될 차량의 전부 특징 정보와 키 포인트 특징 정보를 얻을 수 있다.

하나의 구현 방식으로서, 단계 30을 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

32, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제16 특징 데이터를 얻는 단계.

33, 상기 제16 특징 데이터와 상기 라벨에 의거하여, 제1 부분 픽셀 포인트 영역 손실을 얻는 단계.

하나의 구현 가능한 방식에서, 차량 식별 장치는 제16 특징 데이터에 의거하여 제2 식별될 차량의 타입(이하 부분 픽셀 포인트 영역 타입이라고 칭함)을 얻을 수 있고, 부분 픽셀 포인트 영역 타입과 라벨에 포함되는 타입 정보 사이의 차이에 의거하여 제1 부분 픽셀 포인트 영역 손실을 얻을 수 있다.

제1 부분 픽셀 포인트 영역 손실을 얻은 후, 차량 식별 장치는 단계 30을 실행하는 과정에서 아래의 단계를 실행한다.

34, 상기 제1 전역 손실, 상기 제1 키 포인트 손실과 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실을 로, 제1 부분 픽셀 포인트 영역 손실을 로, 총 손실을 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(4)을 만족시키고:

공식(4);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(5)를 만족시키고:

공식(5);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(6)을 만족시키고:

공식(6);

여기서, 는 모두 실수이다. , 이다.

총 손실에는 제1 전역 손실, 제1 키 포인트 손실 및 제1 부분 픽셀 포인트 영역 손실이 포함되므로, 총 손실에 기반하여 훈련될 네트워크의 파라미터를 조절하여 차량 식별 네트워크를 얻고, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하여 제1 식별될 차량의 전부 특징 정보, 키 포인트 특징 정보 및 부분 픽셀 포인트 영역 특징 정보를 얻을 수 있다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 27을 실행하는 과정에서 아래의 단계를 실행한다.

35, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제17 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제17 특징 데이터는 제2 식별될 차량의 키 포인트 특징 정보를 포함하고, 또한 임의의 두 개 제17 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속한다.

36, 상기 적어도 한 개의 제17 특징 데이터에서 정보량을 제일 많이 포함한 s 개 특징 데이터를 발췌하여, s 개 제18 특징 데이터를 얻는 단계 - s는 1보다 작지 않은 정수임 - .

37, 상기 s 개 제18 특징 데이터에 대해 융합 처리를 수행하여, 상기 제15 특징 데이터를 얻는 단계.

훈련될 네트워크에 대한 훈련 과정에서, s 개 제18 특징 데이터에 대해 융합 처리를 수행하여 제15 특징 데이터를 얻고, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에, k 개 제7 특징 데이터에 의거하여 제4 특징 데이터를 얻을 수 있다.

하나의 구현 방식으로서, s 개 제18 특징 데이터를 얻은 후, 단계 34를 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

38, 상기 s 개 제18 특징 데이터에 의거하여, 상기 제2 식별될 차량의 s 개 제1 식별 결과를 얻는 단계.

본 발명의 실시예에서, 제1 식별 결과는 제2 식별될 차량의 타입 정보를 포함한다. 차량 식별 장치는 한 개의 제18 특징 데이터에 의거하여, 한 개의 제1 식별 결과를 얻을 수 있다. S 개 제18 특징 데이터에 의거하여, 제2 식별될 차량의 s 개 제1 식별 결과를 얻을 수 있다.

39, 각각 상기 s 개 제1 식별 결과와 상기 라벨 사이의 차이에 의거하여, 키 포인트 타입 손실을 얻는 단계.

하나의 구현 가능한 방식에서, 차량 식별 장치는 한 개의 제1 식별 결과와 라벨에 의거하여 한 개의 제1 식별 차이를 얻을 수 있고, s 개 제1 식별 결과와 라벨에 의거하여 s 개 제1 식별 차이를 얻을 수 있다. 차량 식별 장치는 s 개 제1 식별 차이의 합을 결정하는 것을 통해, 키 포인트 타입 손실을 얻는다.

키 포인트 타입 손실을 얻은 후, 차량 식별 장치는 단계 34를 실행하는 과정에서 아래의 단계를 실행한다.

40, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실 및 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실은 로, 제1 부분 픽셀 포인트 영역 손실을 로, 키 포인트 타입 손실을 로, 총 손실은 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(7)을 만족시키고:

공식(7);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(8)를 만족시키고:

공식(8);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(9)을 만족시키고:

공식(9);

여기서, , 는 모두 실수이다. , 이다.

총 손실에는 키 포인트 타입 손실이 포함되므로, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에서, k 개 제7 특징 데이터에 의거하여 제4 특징 데이터를 얻는다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 36을 실행하는 과정에서 아래의 단계를 실행한다.

41, 포함되는 정보량에 의거하여 상기 적어도 한 개의 제17 특징 데이터에 대해 배열을 수행하여, 제1 순서를 얻는 단계.

본 발명의 실시예에서, 제1 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 제1 순서는 또는 포함되는 정보량이 작은 것부터 큰 것으로의 순서이다.

42, 상기 제1 순서에 의거하여 상기 적어도 한 개의 제17 특징 데이터에서 정보량을 제일 많이 포함한 s 개 특징 데이터를 발췌하여, 상기 s 개 제18 특징 데이터를 얻는 단계.

제1 순서가 포함되는 정보량이 큰 것부터 작은 것으로의 순서인 상황에서, 차량 식별 장치는 제1 순서에서의 앞의 s개 특징 데이터를 발췌하여 s 개 제18 특징 데이터로 사용하고; 제1 순서가 포함되는 정보량이 작은 것부터 큰 것으로의 순서인 상황에서, 차량 식별 장치는 제1 순서에서의 뒤의 s개 특징 데이터를 발췌하여 s 개 제18 특징 데이터로 사용한다.

제1 순서를 얻은 상황에서, 차량 식별 장치는 단계 40을 실행하기 전에 또한 아래의 단계를 실행한다.

43, 대응되는 상기 키 포인트 타입 손실에 의거하여 상기 s 개 제1 식별 결과에 대해 배열을 수행하여, 제2 순서를 얻는 단계.

본 발명의 실시예에서, 제1 순서가 포함되는 정보량이 큰 것부터 작은 것으로의 순서인 상황에서, 제2 순서는 키 포인트 타입 손실이 작은 것부터 큰 것으로의 순서이다. 즉 키 포인트 타입 손실이 작을수록, 제1 식별 결과는 제2 순서에서의 순위가 높다.

제1 순서가 포함되는 정보량이 작은 것부터 큰 것으로의 순서인 상황에서, 제2 순서는 키 포인트 타입 손실이 큰 것부터 작은 것으로의 순서이다. 즉 키 포인트 타입 손실이 클수록, 제1 식별 결과가 제2 순서에서의 순위가 높다.

44, 상기 제1 순서와 상기 제2 순서 사이의 오차에 의거하여, 키 포인트 배열 손실을 얻는 단계.

키 포인트 배열 손실을 얻은 후, 차량 식별 장치는 단계 40을 실행하는 과정에서 아래의 단계를 실행한다.

45, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실 및 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실을 로, 제1 부분 픽셀 포인트 영역 손실을 로, 키 포인트 타입 손실은 로, 키 포인트 배열 손실을 로, 총 손실은 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(10)을 만족시키고:

공식(10);

여기서, 는 실수이다 이다.

다른 하나의 구현 가능한 방식에서, 공식(11)를 만족시키고:

공식(11);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(12)을 만족시키고:

공식(12);

여기서, , 는 모두 실수이다. , 이다.

훈련될 네트워크에 대한 훈련 과정에서, 총 손실에 키 포인트 타입 손실을 추가하여, s 개 제18 특징 데이터의 정확도를 향상함으로써, 제15 특징 데이터에 포함되는 정보의 정확도를 향상할 수 있다. 이렇게, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에서, k 개 제7 특징 데이터의 정확도를 향상함으로써, 제4 특징 데이터에 포함되는 정보의 정확도를 향상할 수 있다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 32을 실행하는 과정에서 아래의 단계를 실행한다.

46, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제19 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제19 특징 데이터는 제2 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 또한 임의의 두 개 제19 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속한다.

47, 상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, p 개 제20 특징 데이터를 얻는 단계 - p는 1보다 작지 않은 정수임 - .

48, 상기 p 개 제20 특징 데이터에 대해 융합 처리를 수행하여, 상기 제16 특징 데이터를 얻는 단계.

훈련될 네트워크에 대한 훈련 과정에서, p 개 제20 특징 데이터에 대해 융합 처리를 수행하여 제16 특징 데이터를 얻고, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에, m 개 제10 특징 데이터에 의거하여 제5 특징 데이터를 얻을 수 있다.

하나의 구현 가능한 방식으로서, p 개 제20 특징 데이터를 얻은 후, 단계 45를 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

49, 상기 p 개 제20 특징 데이터에 의거하여, 상기 제2 식별될 차량의 p 개 제2 식별 결과를 얻는 단계.

본 발명의 실시예에서, 제2 식별 결과는 제2 식별될 차량의 타입 정보를 포함한다. 차량 식별 장치는 한 개의 제20 특징 데이터에 의거하여, 한 개의 제2 식별 결과를 얻을 수 있다. p 개 제18 특징 데이터에 의거하여, 제2 식별될 차량의 p 개 제2 식별 결과를 얻을 수 있다.

50, 각각 상기 p 개 제2 식별 결과와 상기 라벨 사이의 차이에 의거하여, 부분 픽셀 포인트 영역 타입 손실을 얻는 단계.

하나의 구현 가능한 방식에서, 차량 식별 장치는 한 개의 제2 식별 결과와 라벨에 의거하여 한 개의 제2 식별 차이를 얻을 수 있고, p 개 제2 식별 결과와 라벨에 의거하여 p 개 제2 식별 차이를 얻을 수 있다. 차량 식별 장치는 p 개 제2 식별 차이의 합을 결정하는 것을 통해, 부분 픽셀 포인트 영역 타입 손실을 얻는다.

부분 픽셀 포인트 영역 타입 손실을 얻은 후, 차량 식별 장치는 단계 45을 실행하는 과정에서 아래의 단계를 실행한다.

51, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실을 로, 제1 부분 픽셀 포인트 영역 손실을 로, 키 포인트 타입 손실을 로, 키 포인트 배열 손실을 로, 부분 픽셀 포인트 영역 타입 손실을 로, 총 손실을 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(13)을 만족시키고:

공식(13);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(14)를 만족시키고:

공식(14);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(15)를 만족시키고:

공식(15);

여기서, , 는 모두 실수이다. , 이다.

총 손실에는 부분 픽셀 포인트 영역 타입 손실이 포함되므로, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에서, m 개 제10 특징 데이터에 의거하여 제5 특징 데이터를 얻는다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 단계 47을 실행하는 과정에서 아래의 단계를 실행한다.

52, 포함되는 정보량에 의거하여 상기 적어도 한 개의 제19 특징 데이터에 대해 배열을 수행하여, 제3 순서를 얻는 단계.

본 발명의 실시예에서, 제3 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 또는 제3 순서는 포함되는 정보량이 작은 것부터 큰 것으로의 순서이다.

53, 상기 제3 순서에 의거하여 상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, 상기 p 개 제20 특징 데이터를 얻는 단계.

제3 순서가 포함되는 정보량이 큰 것부터 작은 것으로의 순서인 상황에서, 차량 식별 장치는 제3 순서에서의 앞의 p 개 특징 데이터를 발췌하여 p 개 제20 특징 데이터로 사용하고; 제3 순서가 포함되는 정보량이 작은 것부터 큰 것으로의 순서인 상황에서, 차량 식별 장치는 제3 순서에서의 뒤의 p 개 특징 데이터를 발췌하여 p 개 제20 특징 데이터로 사용한다.

제3 순서를 얻은 상황에서, 차량 식별 장치는 단계 51을 실행하기 전에 또한 아래의 단계를 실행한다.

54, 대응되는 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여 상기 p 개 제2 식별 결과에 대해 배열을 수행하여, 제4 순서를 얻는 단계.

본 발명의 실시예에서, 제3 순서가 포함되는 정보량이 큰 것부터 작은 것으로의 순서인 상황에서, 제4 순서는 부분 픽셀 포인트 영역 타입 손실이 작은 것부터 큰 것으로의 순서이다. 즉 부분 픽셀 포인트 영역 타입 손실이 작을수록, 제2 식별 결과는 제4 순서에서의 순위가 높다.

제3 순서가 포함되는 정보량이 작은 것부터 큰 것으로의 순서인 상황에서, 제4 순서는 부분 픽셀 포인트 영역 타입 손실이 큰 것부터 작은 것으로의 순서이다. 즉 부분 픽셀 포인트 영역 타입 손실이 클수록, 제2 식별 결과는 제4 순서에서의 순위가 높다.

55, 상기 제2 순서와 상기 제4 순서 사이의 오차에 의거하여, 부분 픽셀 포인트 영역 배열 손실을 얻는 단계.

부분 픽셀 포인트 영역 배열 손실을 얻은 후, 차량 식별 장치는 단계 51을 실행하는 과정에서 아래의 단계를 실행한다.

56, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실 및 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실을 로, 제1 부분 픽셀 포인트 영역 손실을 로, 키 포인트 타입 손실을 로, 키 포인트 배열 손실을 로, 부분 픽셀 포인트 영역 타입 손실을 로, 부분 픽셀 포인트 영역 배열 손실을 로, 총 손실을 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(16)을 만족시키고:

공식(16);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(17)를 만족시키고:

공식(17);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(18)을 만족시키고:

공식(18);

여기서, , 는 모두 실수이다. , 이다.

훈련될 네트워크에 대한 훈련 과정에서, 총 손실에 부분 픽셀 포인트 영역 타입 손실을 추가하여, p 개 제20 특징 데이터의 정확도를 향상함으로써, 제16 특징 데이터에 포함되는 정보의 정확도를 향상할 수 있다. 이렇게, 차량 식별 네트워크를 사용하여 처리될 이미지에 대해 처리를 수행하는 과정에서, k 개 제7 특징 데이터의 정확도를 향상함으로써, 제4 특징 데이터에 포함되는 정보의 정확도를 향상할 수 있다.

하나의 선택 가능한 구현 방식으로서, 제1 전역 손실은 전역 초점 손실을 포함하고, 차량 식별 장치는 단계 28을 실행하는 과정에서 아래의 단계를 실행한다.

57, 상기 제14 특징 데이터에 의거하여, 상기 제2 식별될 차량의 제3 식별 결과를 얻는 단계.

본 발명의 실시예에서, 제3 식별 결과는 제2 식별될 차량의 타입 정보를 포함한다. 차량 식별 장치는 제14 특징 데이터에 의거하여, 제2 식별될 차량의 타입을 결정할 수 있음으로써, 제3 식별 결과를 얻을 수 있다.

58, 상기 제3 식별 결과와 상기 라벨에 의거하여, 상기 제3 식별 결과의 초점 손실을 얻어, 상기 전역 초점 손실로 사용하는 단계.

제3 식별 결과의 초점 손실을 이라고 가정하면, 공식(19)를 만족시키고:

공식(19);

여기서, B는 훈련 이미지의 수량이고, 는 정수이고, 는 음수가 아니고, 는 제3 식별 결과에서 라벨의 타입과 대응되는 확률이다. 이다.

예를 들어, 훈련 이미지는 이미지 a를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제3 식별 결과 1을 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이면, 제3 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량은 차량 1의 확률은 0.9, 이미지 a에서의 제2 식별될 차량은 차량 2의 확률은 0.1이다. 라고 가정하면, 이때, 이다.

또 예를 들어, 훈련 이미지는 이미지 a와 이미지 b를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제3 식별 결과 1을 얻고, 훈련될 네트워크를 사용하여 이미지 b에 대해 처리를 수행하여 제3 식별 결과 2를 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이고, 이미지 b의 라벨에 포함되는 타입이 차량 2(즉 이미지 a의 라벨은 차량 2)이면, 제3 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량은 차량 1의 확률은 0.3, 이미지 a에서의 제2 식별될 차량은 차량 2의 확률은 0.7이다. 제3 식별 결과 2에서, 이미지 b에서의 제2 식별될 차량이 차량 1일 확률은 0.2, 이미지 b에서의 제2 식별될 차량이 차량 2일 확률은 0.8이다. 라고 가정하면, 이때, 이다.

최대 확률이 제1 확률 임계값과 제2 확률 임계값 사이에 위치한 제3 식별 결과에 대응되는 이미지를 제1 쉬운 샘플이라 칭하고, 훈련 이미지에서 제1 쉬운 샘플을 제외한 이미지를 제1 어려운 샘플이라고 칭한다. 예를 들어, 제1 확률 임계값을 0.4로, 제2 확률 임계값을 0.7로 가정하면, 훈련 과정에서, 훈련될 네트워크는 이미지 a에 대한 처리를 수행하는 것을 통해 제3 식별 결과 1을 얻는다.

만약 제3 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.8이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.2라면, 제3 식별 결과 1의 최대 확률이 0.8이므로, 상기 최대 확률은 제2 확률 임계값보다 크고, 이미지 a는 제1 쉬운 샘플이다.

만약 제3 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량은 차량 1일 확률이 0.5이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.5라면, 제3 식별 결과 1의 최대 확률이 0.5이므로, 상기 최대 확률 임계값은 제1 확률 임계값보다 크고, 또한 상기 최대 확률은 제2 임계값보다 작으며, 이미지 a는 제1 어려운 샘플이다.

훈련 과정에서, 제3 식별 결과의 초점 손실을 계산하는 것을 통해 키 포인트 초점 손실을 얻으므로써, 총 손실을 결정하여, 훈련될 네트워크에 대한 훈련 효과를 향상할 수 있다.

하나의 선택 가능한 구현 방식으로서, 훈련 이미지는 훈련 이미지 세트에 속하고, 훈련 이미지 세트는 또한 훈련 이미지의 제1 포지티브 샘플 이미지 및 훈련 이미지의 제1 네거티브 샘플 이미지를 포함하고, 제1 전역 손실은 전역 삼원 그룹 손실을 더 포함한다. 차량 식별 장치는 단계 28을 실행하는 과정에서 또한 아래의 단계를 실행한다.

59, 상기 훈련될 네트워크를 사용하여 상기 제1 포지티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 포지티브 샘플 이미지의 특징 데이터를 얻는 단계.

본 발명의 실시예에서, 제1 포지티브 샘플 이미지의 라벨에 포함되는 타입 정보와 훈련 이미지의 라벨에 포함되는 타입 정보는 동일하고, 제1 네거티브 샘플 이미지의 라벨에 포함되는 타입 정보와 훈련 이미지의 라벨에 포함되는 타입 정보는 상이하다.

제1 포지티브 샘플 이미지의 특징 데이터는 제1 포지티브 샘플 이미지의 시맨틱 정보를 포함하고, 상기 시맨틱 정보는 제1 포지티브 샘플 이미지에서의 제2 식별될 차량의 타입을 식별하기 위해 사용될 수 있다.

60, 상기 훈련될 네트워크를 사용하여 상기 제1 네거티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 네거티브 샘플 이미지의 특징 데이터를 얻는 단계.

제1 네거티브 샘플 이미지의 특징 데이터는 제1 포지티브 샘플 이미지의 시맨틱 정보를 포함하고, 상기 시맨틱 정보는 제1 네거티브 샘플 이미지에서의 제2 식별될 차량의 타입을 식별하기 위해 사용될 수 있다.

61, 상기 제12 특징 데이터, 상기 제1 포지티브 샘플 이미지의 특징 데이터와 상기 제1 네거티브 샘플 이미지의 특징 데이터에 의거하여, 상기 전역 삼원 그룹 손실을 얻는 단계.

차량 식별 장치는 제12 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제1 포지티브 유사도를 얻고, 제12 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제1 네거티브 유사도를 얻는다.

제12 특징 데이터는 로, 제1 포지티브 유사도는 로, 제1 네거티브 유사도는 로, 전역 삼원 그룹 손실은 이라고 가정하면, 공식(20)을 만족시키고:

공식(20);

여기서, 는 실수이다. 이다.

일부 실시예에서, 제1 포지티브 유사도는 제12 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 제2 놈(norm)이다. 제1 네거티브 유사도는 제12 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 제2 놈이다.

일부 실시예에서, 훈련 이미지 세트에는 훈련 이미지, 제1 포지티브 샘플 이미지, 제1 네거티브 샘플 이미지를 제외한 이미지를 포함하는 상황에서, 차량 식별 장치는 훈련 이미지 세트에서 훈련 이미지 이외의 이미지를 포지티브 샘플 이미지 세트와 네거티브 샘플 이미지 세트로 나눌 수 있다. 포지티브 샘플 이미지 세트에는 이미지의 라벨에 포함되는 타입 정보와 훈련 이미지의 라벨에 포함되는 타입 정보는 동일하고, 네거티브 샘플 이미지 세트에서의 이미지의 라벨에 포함되는 타입 정보와 훈련 이미지의 라벨에 포함되는 타입 정보는 상이하다.

차량 식별 장치는 포지티브 샘플 이미지 세트에서의 이미지에 대해 특징 추출 처리를 수행하여 포지티브 샘플 특징 데이터 세트를 얻고, 네거티브 샘플 이미지 세트에서의 이미지에 대해 특징 추출 처리를 수행하여 네거티브 샘플 특징 데이터 세트를 얻는다. 차량 식별 장치는 제12 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제1 포지티브 유사도 세트를 얻고, 제12 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제1 네거티브 유사도 세트을 얻는다. 제1 포지티브 유사도 세트에서의 최소치를 제1 타입 내 최소 유사도라고 칭하고, 제1 네거티브 유사도 세트에서의 최대치를 제1 타입 외 최대 유사도라고 칭한다.

제12 특징 데이터를 로, 제1 타입 내 최소 유사도를 로, 제1 타입 외 최대 유사도를 로, 전역 삼원 그룹 손실을 이라고 가정하면, 공식(21)을 만족시키고:

공식(21);

여기서, 는 실수이다. .

일부 실시예에서, 제12 특징 데이터와 제1 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제12 특징 데이터와 제1 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다. 제12 특징 데이터와 제1 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제12 특징 데이터와 제1 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다.

훈련 과정에서, 전역 삼원 그룹 손실은 훈련될 네트워크가 제12 특징 데이터에 기반하여 얻은 제2 식별될 차량의 식별 결과의 정확도를 향상함으로써, 차량 식별 네트워크가 제1 식별될 차량에 대한 타입 정확도를 향상한다.

이해해야 할 것은, 제1 전역 손실이 전역 초점 손실과 전역 삼원 그룹 손실을 포함하는 상황에서, 제1 전역 손실은 전역 초점 손실과 전역 삼원 그룹 손실의 합일 수 있다.

하나의 선택 가능한 구현 방식으로서, 단계 56을 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

62, 상기 제15 특징 데이터에 의거하여, 상기 제2 식별될 차량의 제4 식별 결과를 얻는 단계.

본 발명의 실시예에서, 제4 식별 결과는 제2 식별될 차량의 타입 정보를 포함한다. 차량 식별 장치는 제15 특징 데이터에 의거하여, 제2 식별될 차량의 타입을 결정할 수 있음으로써, 제4 식별 결과를 얻는다.

63, 상기 제4 식별 결과와 상기 라벨에 의거하여, 상기 제4 식별 결과의 초점 손실을 얻어, 키 포인트 초점 손실로 사용하는 단계.

제4 식별 결과의 초점 손실을 이라고 가정하면, 공식(22)를 만족시키고:

공식(22);

여기서, B는 훈련 이미지의 수량이고, 는 정수이며, 는 음수가 아니고, 는 제4 식별 결과에서 라벨의 타입에 대응되는 확률이다. .

예를 들어, 훈련 이미지는 이미지 a를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제4 식별 결과 1을 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이면, 제4 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량은 차량 1의 확률은 0.9, 이미지 a에서의 제2 식별될 차량은 차량 2의 확률은 0.1이다. 이라고 가정하면, 이때, 이다.

또 예를 들어, 훈련 이미지는 이미지 a와 이미지 b를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제4 식별 결과 1을 얻고, 훈련될 네트워크를 사용하여 이미지 b에 대해 처리를 수행하여 제4 식별 결과 2를 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이고, 이미지 b의 라벨에 포함되는 타입이 차량 2(즉 이미지 a의 라벨은 차량 2)이면, 제4 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률은 0.3이고, 이미지 a에서의 제2 식별될 차량이 차량 2일 확률은 0.7이다. 제4 식별 결과 2에서, 이미지 b에서의 제2 식별될 차량이 차량 1일 확률은 0.2이고, 이미지 b에서의 제2 식별될 차량이 차량 2일 확률은 0.8이다. 이라고 가정하면, 이때, 이다.

키 포인트 초점 손실을 얻은 후, 차량 식별 장치는 단계 58을 실행하는 과정에서 아래의 단계를 실행한다.

64, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실, 상기 키 포인트 초점 손실과 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실은 로, 제1 부분 픽셀 포인트 영역 손실은 로, 키 포인트 타입 손실은 로, 키 포인트 배열 손실은 로, 부분 픽셀 포인트 영역 타입 손실은 로, 부분 픽셀 포인트 영역 배열 손실은 로, 키 포인트 초점 손실은 로, 총 손실은 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(23)을 만족시키고:

공식(23);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(24)를 만족시키고:

공식(24);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(25)을 만족시키고:

공식(25);

여기서, , 는 모두 실수이다. , 이다.

최대 확률이 제3 확률 임계값과 제4 확률 임계값 사이에 위치한 제4 식별 결과에 대응되는 이미지를 제2 쉬운 샘플이라 칭하고, 훈련 이미지에서 제2 쉬운 샘플을 제외한 이미지를 제2 어려운 샘플이라고 칭한다. 예를 들어, 제3 확률 임계값을 0.4로, 제4 확률 임계값을 0.7로 가정하면, 훈련 과정에서, 훈련될 네트워크는 이미지 a에 대한 처리를 수행하는 것을 통해 제4 식별 결과 1을 얻는다.

만약 제4 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.8이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.2라면, 제4 식별 결과 1의 최대 확률이 0.8이므로, 상기 최대 확률은 제4 임계값보다 크고, 이미지 a는 제2 쉬운 샘플이다.

만약 제4 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.5이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.5라면, 제4 식별 결과 1의 최대 확률이 0.5이므로, 상기 최대 확률은 제3 확률 임계값보다 크고, 또한 상기 최대 확률은 제4 확률 임계값보다 작으며, 이미지 a는 제2 어려운 샘플이다.

훈련 과정에서, 제4 식별 결과의 초점 손실을 계산하는 것을 통해 부분 픽셀 포인트 영역 초점 손실을 얻고, 총 손실에 부분 픽셀 포인트 영역 손실을 증가하여, 훈련될 네트워크에 대한 훈련 효과를 향상할 수 있다.

하나의 선택 가능한 구현 방식으로서, 단계 63을 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

65, 상기 제15 특징 데이터, 상기 제1 포지티브 샘플 이미지의 특징 데이터와 상기 제1 네거티브 샘플 이미지의 특징 데이터에 의거하여, 키 포인트 삼원 그룹 손실을 얻는 단계.

차량 식별 장치는 제15 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제2 포지티브 유사도를 얻고, 제15 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제2 네거티브 유사도를 얻는다.

제15 특징 데이터를 로, 제2 포지티브 유사도를 로, 제2 네거티브 유사도를 로, 키 포인트 삼원 그룹 손실을 이라고 가정하면, 공식(26)을 만족시키고:

공식(26);

여기서, 는 실수이다. 이다.

일부 실시예에서, 제2 포지티브 유사도는 제15 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 제2 놈이다. 제2 네거티브 유사도는 제15 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 제2 놈이다.

차량 식별 장치는 포지티브 샘플 이미지 세트에서의 이미지에 대해 특징 추출 처리를 수행하여 포지티브 샘플 특징 데이터 세트를 얻고, 네거티브 샘플 이미지 세트에서의 이미지에 대해 특징 추출 처리를 수행하여 네거티브 샘플 특징 데이터 세트를 얻는다. 차량 식별 장치는 제15 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제2 포지티브 유사도 세트를 얻고, 제15 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제2 네거티브 유사도 세트을 얻는다. 제2 포지티브 유사도 세트에서의 최소치를 제2 타입 내 최소 유사도라고 칭하고, 제2 네거티브 유사도 세트에서의 최대치를 제2 타입 외 최대 유사도라고 칭한다.

제15 특징 데이터를 로, 제2 타입 내 최소 유사도를 로, 제2 타입 외 최대 유사도를 로, 키 포인트 삼원 그룹 손실을 이라고 가정하면, 공식(27)을 만족시키고:

공식(27);

여기서, 는 실수이다. 이다.

일부 실시예에서, 제15 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제15 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다. 제15 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제15 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다.

키 포인트 초점 손실을 얻은 후, 차량 식별 장치는 단계 63을 실행하는 과정에서 아래의 단계를 실행한다.

66, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실, 상기 키 포인트 초점 손실, 상기 키 포인트 삼원 그룹 손실 및 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실은 로, 제1 부분 픽셀 포인트 영역 손실은 로, 키 포인트 타입 손실은 로, 키 포인트 배열 손실은 로, 부분 픽셀 포인트 영역 타입 손실은 로, 부분 픽셀 포인트 영역 배열 손실은 로, 키 포인트 초점 손실은 로, 키 포인트 삼원 그룹 손실은 로, 총 손실은 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(28)을 만족시키고:

공식(28);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(29)를 만족시키고:

공식(29);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(30)을 만족시키고:

공식(30);

여기서, , 는 모두 실수이다. , 이다.

훈련 과정에서, 키 포인트 삼원 그룹 손실은 훈련될 네트워크가 제15 특징 데이터에 기반하여 얻은 제2 식별될 차량의 식별 결과의 정확도를 향상함으로써, 차량 식별 네트워크가 제1 식별될 차량에 대한 타입 정확도를 향상한다.

하나의 선택 가능한 구현 방식으로서, 단계 66을 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

67, 상기 제16 특징 데이터에 의거하여, 상기 제2 식별될 차량의 제5 식별 결과를 얻는 단계.

본 발명의 실시예에서, 제5 식별 결과는 제2 식별될 차량의 타입 정보를 포함한다. 차량 식별 장치는 제16 특징 데이터에 의거하여, 제2 식별될 차량의 타입을 결정할 수 있음으로써, 제5 식별 결과를 얻는다.

68, 상기 제5 식별 결과와 상기 라벨에 의거하여, 상기 제5 식별 결과의 초점 손실을 얻어, 부분 픽셀 포인트 영역 초점 손실로 사용하는 단계.

제5 식별 결과의 초점 손실을 이라고 가정하면, 공식(31)을 만족시키고:

공식(31);

여기서, B는 훈련 이미지의 수량이고, 는 정수이며, 는 음수가 아니고, 는 제5 식별 결과에서 라벨의 타입과 대응되는 확률이다. 이다.

예를 들어, 훈련 이미지는 이미지 a를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제5 식별 결과 1을 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이면, 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률은 0.9이고, 이미지 a에서의 제2 식별될 차량이 차량 2일 확률은 0.1이다. 이라고 가정하면, 이때, 이다.

또 예를 들어, 훈련 이미지는 이미지 a와 이미지 b를 포함하고, 훈련될 네트워크를 사용하여 이미지 a에 대해 처리를 수행하여 제5 식별 결과 1을 얻고, 훈련될 네트워크를 사용하여 이미지 b에 대해 처리를 수행하여 제5 식별 결과 2를 얻는다. 만약 이미지 a의 라벨에 포함되는 타입이 차량 1(즉 이미지 a의 라벨은 차량 1)이고, 이미지 b의 라벨에 포함되는 타입이 차량 2(즉 이미지 a의 라벨은 차량 2)이면, 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률은 0.3이고, 이미지 a에서의 제2 식별될 차량이 차량 2일 확률은 0.7이다. 제5 식별 결과 2에서, 이미지 b에서의 제2 식별될 차량이 차량 1일 확률은 0.2이고, 이미지 b에서의 제2 식별될 차량이 차량 2일 확률은 0.8이다. 이라고 가정하면, 이때, 이다.

부분 픽셀 포인트 영역 초점 손실을 얻은 후, 차량 식별 장치는 단계 66을 실행하는 과정에서 아래의 단계를 실행한다.

69, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실, 상기 키 포인트 초점 손실, 상기 키 포인트 삼원 그룹 손실, 상기 부분 픽셀 포인트 영역 초점 손실과 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실을 로, 제1 키 포인트 손실은 로, 제1 부분 픽셀 포인트 영역 손실을 로, 키 포인트 타입 손실을 로, 키 포인트 배열 손실을 로, 부분 픽셀 포인트 영역 타입 손실을 로, 부분 픽셀 포인트 영역 배열 손실을 로, 부분 픽셀 포인트 영역 초점 손실을 로, 키 포인트 초점 손실을 로, 키 포인트 삼원 그룹 손실을 로, 총 손실을 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(32)을 만족시키고:

공식(32);

여기서, 는 실수이다. 이다.

다른 하나의 구현 가능한 방식에서, 공식(33)를 만족시키고:

공식(33);

여기서, 는 실수이다. 이다.

또 다른 구현 가능한 방식에서, 공식(34)을 만족시키고:

공식(34);

여기서, , 는 모두 실수이다. , 이다.

최대 확률이 제5 확률 임계값과 제6 확률 임계값 사이에 위치한 제5 식별 결과에 대응되는 이미지를 제3 쉬운 샘플이라 칭하고, 훈련 이미지에서 제3 쉬운 샘플을 제외한 이미지를 제3 어려운 샘플이라고 칭한다. 예를 들어, 제5 확률 임계값을 0.4로, 제6 확률 임계값을 0.7로 가정하면, 훈련 과정에서, 훈련될 네트워크는 이미지 a에 대한 처리를 수행하는 것을 통해 제5 식별 결과 1을 얻는다.

만약 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.8이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.2라면, 제5 식별 결과 1의 최대 확률이 0.8이므로, 상기 최대 확률은 제6 확률 임계값보다 크고, 이미지 a는 제3 쉬운 샘플이다.

만약 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.5이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.5라면, 제5 식별 결과 1의 최대 확률이 0.5이므로, 상기 최대 확률 임계값은 제5 확률 임계값보다 크고, 또한 상기 최대 확률은 제6 임계값보다 작으며, 이미지 a는 제3 어려운 샘플이다.

훈련 과정에서, 제5 식별 결과의 초점 손실을 계산하는 것을 통해 부분 픽셀 포인트 영역 초점 손실을 얻음으로써, 총 손실을 결정하여, 제3 어려운 샘플에 대한 훈련 효과을 향상할 수 있음으로써, 훈련될 네트워크에 대한 훈련 효과를 향상한다.

하나의 선택 가능한 구현 방식으로서, 단계 69을 실행하기 전에, 차량 식별 장치는 또한 아래의 단계를 실행한다.

70, 상기 제16 특징 데이터, 상기 제1 포지티브 샘플 이미지의 특징 데이터와 상기 제1 네거티브 샘플 이미지의 특징 데이터에 의거하여, 부분 픽셀 포인트 영역 삼원 그룹 손실을 얻는 단계.

차량 식별 장치는 제16 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제3 포지티브 유사도를 얻고, 제16 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 유사도를 계산하여 제3 네거티브 유사도를 얻는다.

제16 특징 데이터는 로, 제3 포지티브 유사도는 로, 제3 네거티브 유사도는 로, 부분 픽셀 포인트 영역 삼원 그룹 손실은 이라고 가정하면, 공식(35)을 만족시키고:

공식(35);

여기서, 는 실수이다. 이다.

일부 실시예에서, 제3 포지티브 유사도는 제16 특징 데이터와 제1 포지티브 샘플 이미지의 특징 데이터 사이의 제2 놈이다. 제3 네거티브 유사도는 제16 특징 데이터와 제1 네거티브 샘플 이미지의 특징 데이터 사이의 제2 놈이다.

차량 식별 장치는 제16 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제3 포지티브 유사도 세트를 얻고, 제16 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도를 계산하여 제3 네거티브 유사도 세트를 얻는다. 제3 포지티브 유사도 세트에서의 최소치를 제3 타입 내 최소 유사도라고 칭하고, 제3 네거티브 유사도 세트에서의 최대치를 제3 타입 외 최대 유사도라고 칭한다.

제16 특징 데이터는 로, 제3 타입 내 최소 유사도는 로, 제3 타입 외 최대 유사도는 로, 부분 픽셀 포인트 영역 삼원 그룹 손실은 이라고 가정하면, 공식(36)을 만족시키고:

공식(36);

여기서, 는 실수이다. 이다.

일부 실시예에서, 제16 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제16 특징 데이터와 포지티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다. 제16 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 유사도는, 제16 특징 데이터와 네거티브 샘플 특징 데이터 세트에서의 특징 데이터 사이의 제2 놈이다.

부분 픽셀 포인트 영역 초점 손실을 얻은 후, 차량 식별 장치는 단계 69을 실행하는 과정에서 아래의 단계를 실행한다.

71, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실, 상기 키 포인트 초점 손실, 상기 키 포인트 삼원 그룹 손실, 상기 부분 픽셀 포인트 영역 초점 손실, 상기 부분 픽셀 포인트 삼원 그룹 손실과 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계.

제1 전역 손실은 로, 제1 키 포인트 손실은 로, 제1 부분 픽셀 포인트 영역 손실은 로, 키 포인트 타입 손실은 로, 키 포인트 배열 손실은 로, 부분 픽셀 포인트 영역 타입 손실은 로, 부분 픽셀 포인트 영역 배열 손실은 로, 부분 픽셀 포인트 영역 초점 손실은 로, 부분 픽셀 포인트 영역 삼원 그룹 손실은 로, 키 포인트 초점 손실은 로, 키 포인트 삼원 그룹 손실은 로, 총 손실은 이라고 가정하면, 하나의 구현 가능한 방식에서, 공식(37)을 만족시키고:

공식(37);

여기서, 는 실수이다. .

다른 하나의 구현 가능한 방식에서, 공식(38)를 만족시키고:

공식(38);

여기서, 는 실수이다. .

또 다른 구현 가능한 방식에서, 공식(39)을 만족시키고:

공식(39);

여기서, , 는 모두 실수이다. , 이다.

최대 확률이 제5 확률 임계값과 제6 확률 임계값 사이에 위치한 제5 식별 결과에 대응되는 이미지를 제3 쉬운 샘플이라 칭하고, 훈련 이미지에서 제3 쉬운 샘플을 제외한 이미지를 제3 어려운 샘플이라고 칭한다. 예를 들어, 제5 확률 임계값을 0.4로, 제6 확률 임계값을 0.7로 가정하면, 훈련 과정에서, 훈련될 네트워크는 이미지 a에 대한 처리를 수행하는 것을 통해 제5 식별 결과 1을 얻는다.

만약 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량이 차량 1일 확률이 0.8이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.2라면, 제5 식별 결과 1의 최대 확률이 0.8이므로, 상기 최대 확률은 제6 확률 임계값보다 크고, 이미지 a는 제3 쉬운 샘플이다.

만약 제5 식별 결과 1에서, 이미지 a에서의 제2 식별될 차량은 차량 1일 확률이 0.5이고, 이미지 a에서 제2 식별될 차량이 차량 2일 확률이 0.5라면, 제5 식별 결과 1의 최대 확률이 0.5이므로, 상기 최대 확률 임계값은 제5 확률 임계값보다 크고, 또한 상기 최대 확률은 제6 임계값보다 작으며, 이미지 a는 제3 어려운 샘플이다.

훈련 과정에서, 부분 픽셀 포인트 영역 삼원 그룹 손실은 훈련될 네트워크가 제16 특징 데이터에 기반하여 얻은 제2 식별될 차량의 식별 결과의 정확도를 향상함으로써, 차량 식별 네트워크가 제1 식별될 차량에 대한 타입 정확도를 향상한다.

하나의 선택 가능한 구현 방식으로서, 차량 식별 장치는 생성 데이터 세트를 획득하고, 생성 데이터 세트를 사용하여 키 포인트 및 부분 픽셀 포인트 영역 생성 모듈에 대해 훈련을 수행한다.

본 발명의 실시예에서, 생성 데이터 세트는 적어도 한 장의 히트맵 훈련 이미지를 포함하고, 각 장에 따른 히트맵 훈련 이미지의 라벨은 키 포인트 라벨 히트맵과 부분 픽셀 포인트 영역 라벨 히트맵을 포함한다. 여기서, 키 포인트 라벨 히트맵은 히트맵 훈련 이미지에서 키 포인트의 위치 정보를 포함하고, 부분 픽셀 포인트 영역 라벨 히트맵은 히트맵 훈련 이미지에서 부분 픽셀 포인트 영역의 위치 정보를 포함한다.

본 발명의 실시예에서 제공한 기술방안에 기반하여, 본 발명의 실시예는 또 차량 식별 방법의 응용 시나리오를 제공한다. 공공 장소 내의 카메라 수량의 급격한 증가에 따라, 대량의 영상 스트림을 통해 뺑소니 차량의 행적을 효과적으로 결정하는 문제는 중요한 의의를 구비한다.

A곳에서 교통사고가 발생하고, 사고를 낸 차량은 도주했다. A 사고 현장의 모니터링 카메라를 통해 뺑소니 차량의 이미지를 수집하였다. 경찰은 뺑소니 차량의 이미지를 차량 식별 장치에 입력할 수 있다.

차량 식별 장치는 본 발명의 실시예에서 제공한 기술방안을 사용해, 뺑소니 차량의 이미지에서 뺑소니 차량의 특징 데이터를 추출한다.

차량 식별 장치는 복수 개 모니터링 카메라와 서로 연결될 수 있고, 상이한 모니터링 카메라는 상이한 위치에 설치되며, 차량 식별 장치는 각 모니터링 카메라에서 실시간으로 수집된 영상 스트림을 획득할 수 있다. 차량 식별 장치는 본 발명의 실시예에서 제공한 기술방안을 사용해, 영상 스트림에서의 이미지에서 영상 스트림에서의 차량의 특징 데이터를 추출하여, 특징 데이터 베이스를 얻는다.

차량 식별 장치는 뺑소니 차량의 특징 데이터를 특징 데이터 베이스에서의 특징 데이터와 비교를 수행하여, 뺑소니 차량의 특징 데이터와 매칭되는 특징 데이터를 얻어, 목표 특징 데이터로 사용한다. 목표 특징 데이터와 대응되는 이미지는 뺑소니 차량을 포함한 이미지인 것을 결정함으로써, 뺑소니 차량을 포함한 이미지에 의거하여 뺑소니 차량의 행적을 결정할 수 있다,

본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

이상 본 발명의 실시예의 방법을 상세하게 설명하고, 아래에 본 발명의 실시예의 장치를 제공한다.

도 12를 참조하면, 도 12는 본 발명의 실시예에서 제공한 차량 식별 장치(1)의 구조 예시도이고, 상기 차량 식별 장치(1)은, 획득 유닛(11), 제1 처리 유닛(12), 제2 처리 유닛(13), 융합 처리 유닛(14), 제3 처리 유닛(15), 제4 처리 유닛(16)을 포함하고, 여기서;

획득 유닛(11)은, 제1 식별될 차량을 포함하는 처리될 이미지를 획득하도록 구성되고;

제1 처리 유닛(12)은, 상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻도록 구성되고;

제2 처리 유닛(13)은, 상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻도록 구성되며; 및

융합 처리 유닛(14)은, 상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻도록 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 부분 특징 정보는 키 포인트 특징 정보를 포함하고, 상기 제1 특징 데이터는 상기 식별될 차량의 적어도 한 개의 키 포인트의 특징 정보를 포함한다.

본 발명의 임의의 실시 방식을 결부하여, 상기 부분 특징 정보는 또한 부분 픽셀 포인트 영역 특징 정보를 포함하고, 상기 제1 특징 데이터는 상기 식별될 차량의 적어도 한 개의 부분 픽셀 포인트 영역의 특징 정보를 더 포함한다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 처리될 이미지에 대해 제3 특징 추출 처리를 수행하여, 제4 특징 데이터를 얻고 - 상기 제4 특징 데이터는 상기 제1 식별될 차량의 적어도 한 개의 키 포인트의 특징 정보를 포함함 - ;

상기 처리될 이미지에 대해 제4 특징 추출 처리를 수행하여, 제5 특징 데이터를 얻으며 - 상기 제5 특징 데이터는 상기 제1 식별될 차량의 적어도 한 개의 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 상기 부분 픽셀 포인트 영역은 상기 제1 식별될 차량에 커버되는 픽셀 포인트 영역에 속하고, 상기 부분 픽셀 포인트 영역의 면적은 상기 제1 식별될 차량에 커버되는 픽셀 포인트 영역의 면적보다 작음 - ;

상기 제4 특징 데이터와 제5 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 처리될 이미지에 대해 제5 특징 추출 처리를 수행하여, 적어도 한 개의 제6 특징 데이터를 얻고 - 상기 제6 특징 데이터는 상기 키 포인트의 특징 정보를 포함하고, 임의의 두 개의 상기 제6 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속함 - ;

상기 적어도 한 개의 제6 특징 데이터에서 정보량을 제일 많이 포함한 k 개 특징 데이터를 발췌하여, k 개 제7 특징 데이터를 얻으며 - 상기 k는 1보다 작지 않은 정수임 - ;

상기 k 개 제7 특징 데이터에 의거하여 상기 제4 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 처리될 이미지에 대해 제6 특징 추출 처리를 수행하여, 적어도 한 장의 제1 히트맵을 얻고 - 상기 제1 히트맵은 상기 키 포인트가 상기 처리될 이미지에서의 위치 정보를 포함하고, 임의의 두 장의 상기 제1 히트맵에 포함되는 정보는 상이한 키 포인트에 속함 - ;

상기 처리될 이미지에 대해 제7 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제1 특징 이미지를 얻으며 - 상기 제1 특징 이미지는 상기 처리될 이미지에서의 키 포인트의 특징 정보를 포함함 - ;

각 장에 따른 상기 제1 히트맵과 상기 제1 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개의 제6 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 적어도 한 개의 제6 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제8 특징 데이터를 얻고;

상기 적어도 한 개의 제8 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제1 확률를 얻으며 - 상기 제1 확률은 상기 제6 특징 데이터에 포함되는 정보량을 나타내기 위해 사용되고, 상기 제1 확률은 상기 제6 특징 데이터와 일대일로 대응함 - ;

상기 제1 확률과 상기 제6 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 제일 큰 k 개 상기 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하고; 또는,

상기 제1 확률이 상기 제6 특징 데이터에 포함되는 정보량과 반비례 관계인 상황에서, 제일 작은 k 개 상기 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 처리될 이미지에 대해 제10 특징 추출 처리를 수행하여, 적어도 한 개의 제9 특징 데이터를 얻고 - 상기 제9 특징 데이터는 상기 키 포인트의 특징 정보를 포함하고, 임의의 두 개의 상기 제9 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;

상기 적어도 두 개의 제9 특징 데이터에서 정보량을 제일 많이 포함한 m 개 특징 데이터를 발췌하여, m 개 제10 특징 데이터를 얻으며 - 상기 m은 1보다 작지 않은 정수임 - ;

상기 m 개 제10 특징 데이터에 의거하여 상기 제5 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 처리될 이미지에 대해 제11 특징 추출 처리를 수행하여, 상기 적어도 한 장의 제2 히트맵을 얻고 - 상기 제2 히트맵은 상기 부분 픽셀 포인트 영역이 상기 처리될 이미지에서의 위치 정보를 포함하고, 임의의 두 장의 상기 제2 히트맵에 포함되는 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;

상기 처리될 이미지에 대해 제12 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제2 특징 이미지를 얻으며 - 상기 제2 특징 이미지는 상기 처리될 이미지에서의 부분 픽셀 포인트 영역의 특징 정보를 포함함 - ;

각 장에 따른 상기 제2 히트맵과 상기 제2 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개의 제9 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결부하여, 상기 제1 처리 유닛(12)은,

상기 제9 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제11 특징 데이터를 얻고;

상기 적어도 한 개의 제11 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제2 확률를 얻으며 - 상기 제2 확률은 상기 제9 특징 데이터에 포함되는 정보량을 나타내기 위해 사용되고, 상기 제2 확률은 상기 제9 특징 데이터와 일대일로 대응함 - ;

상기 제2 확률과 상기 제9 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 제일 큰 m 개 상기 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하고; 또는,

상기 제2 확률과 상기 제9 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 제일 작은 m 개 상기 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 적어도 한 개의 부분 픽셀 포인트 영역은, 제1 픽셀 포인트 영역과 제2 픽셀 포인트 영역을 포함하고, 상기 제9 특징 데이터의 수량과 상기 m은 모두 1보다 크고, 상기 m 개 제10 특징 데이터는, 제12 특징 데이터와 제13 특징 데이터를 포함하고, 상기 제12 특징 데이터는 상기 제1 픽셀 포인트 영역의 특징 정보를 포함하며, 상기 제13 특징 데이터는 상기 제2 픽셀 포인트 영역의 특징 정보를 포함하며;

상기 제1 처리 유닛(12)은,

상기 제12 특징 데이터에 포함되는 정보량에 의거하여 제1 가중을 얻고, 상기 제13 특징 데이터에 포함되는 정보량에 의거하여 제2 가중을 얻으며 - 상기 제1 가중과 상기 제12 특징 데이터에 포함되는 정보량은 정비례 관계이고, 상기 제2 가중과 상기 제13 특징 데이터에 포함되는 정보량은 정비례 관계임 - ;

상기 제1 가중 및 상기 제2 가중에 의거하여, 상기 제12 특징 데이터 및 상기 제13 특징 데이터에 대해 가중 융합을 수행하여, 상기 제5 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 차량 식별 장치가 실행한 차량 식별 방법은 차량 식별 네트워크에 응용되고, 상기 획득 유닛은, 또한 제2 식별될 차량을 포함하는 훈련 이미지와 훈련될 네트워크를 획득하도록 구성되고;

상기 제1 처리 유닛(12)은, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 전부 특징 정보를 포함하는 제14 특징 데이터와 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함하는 제15 특징 데이터를 얻도록 구성되고;

제3 처리 유닛(15)은, 상기 제14특징 데이터와 상기 훈련 이미지의 라벨에 의거하여, 제1 전역 손실을 얻도록 구성되고;

상기 제3 처리 유닛(15)은 또, 상기 제15 특징 데이터와 상기 라벨에 의거하여, 제1 키 포인트 손실을 얻도록 구성되며;

상기 제3 처리 유닛(15)은 또한, 상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크의 총 손실을 얻도록 구성되며;

제4 처리 유닛(16)은, 상기 총 손실에 기반하여 상기 훈련될 네트워크의 파라미터를 조절하여, 상기 차량 식별 네트워크를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 처리 유닛(12)은 또한, 상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크의 총 손실을 얻기 전에, 상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제16 특징 데이터를 얻도록 구성되고;

상기 제3 처리 유닛(15)은 또, 상기 제16 특징 데이터와 상기 라벨에 의거하여, 제1 부분 픽셀 포인트 영역 손실을 얻도록 구성되고;

상기 제3 처리 유닛(15)은 또한, 상기 제1 전역 손실, 상기 제1 키 포인트 손실 및 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻도록 구성되었다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 처리 유닛(12)은,

상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제17 특징 데이터를 얻고 - 상기 제17 특징 데이터는 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함하고, 임의의 두 개 상기 제17 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속함 - ;

상기 적어도 한 개의 제17 특징 데이터에서 정보량이 제일 많은 s 개 특징 데이터를 발췌하여, s 개 제18 특징 데이터를 얻으며 - 상기 s는 1보다 작지 않은 정수임 - ;

상기 s 개 제18 특징 데이터에 대해 융합 처리를 수행하여, 상기 제15 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제3 처리 유닛은 또한, 상기 제1 전역 손실, 상기 제1 키 포인트 손실 및 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 s 개 제18 특징 데이터에 의거하여, 상기 제2 식별될 차량의 s개 제1 식별 결과를 얻고;

상기 s 개 제1 식별 결과와 상기 라벨 사이의 차이에 각각 의거하여, 키 포인트 타입 손실을 얻도록 구성되고;

상기 제4 처리 유닛(16)은,

상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실과 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 처리 유닛(12)은,

포함되는 정보량에 의거하여 상기 적어도 한 개의 제17 특징 데이터에 대해 배열을 수행하여, 제1 순서를 얻고 - 상기 제1 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 상기 제1 순서는 또는 포함되는 정보량이 작은 것부터 큰 것으로의 순서임 - ;

상기 제1 순서에 의거하여 상기 적어도 한 개의 제17 특징 데이터에서 정보량을 제일 많이 포함한 s 개 특징 데이터를 발췌하여, 상기 s 개 제18 특징 데이터를 얻도록 구성되며;

상기 제3 처리 유닛(15)은, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실 및 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻기 전에, 대응되는 상기 키 포인트 타입 손실에 의거하여 상기 s 개 제1 식별 결과에 대해 배열을 수행하여, 제2 순서를 얻고 - 상기 제2 순서는 상기 키 포인트 타입 손실이 큰 것부터 작은 것으로의 순서이고, 상기 제2 순서는 또한 상기 키 포인트 타입 손실이 작은 것부터 큰 것으로의 순서임 - ;

상기 제1 순서와 상기 제2 순서 사이의 차이에 의거하여, 키 포인트 배열 손실을 얻도록 구성되고;

상기 제4 처리 유닛(16)은,

상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실과 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 처리 유닛(12)은,

상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제19 특징 데이터를 얻고 - 상기 제19 특징 데이터는 상기 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 임의의 두 개의 상기 제19 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;

상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, p 개 제20 특징 데이터를 얻고 - 상기 p는 1보다 작지 않은 정수임 - ;

상기 p개 제20 특징 데이터에 대해 융합 처리를 수행하여, 상기 제16 특징 데이터를 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제3 처리 유닛(15)은, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실과 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 p 개 제20 특징 데이터에 의거하여, 상기 제2 식별될 차량의 p 개 제2 식별 결과를 얻고;

각각 상기 p 개 제2 식별 결과와 상기 라벨 사이의 차이에 의거하여, 부분 픽셀 포인트 영역 타입 손실을 얻도록 구성되며;

상기 제4 처리 유닛(16)은,

상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 처리 유닛(12)은,

포함되는 정보량에 의거하여 상기 적어도 한 개의 제19 특징 데이터에 대해 배열을 수행하여, 제3 순서를 얻고 - 상기 제3 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 또는 상기 제3 순서는 포함되는 정보량이 작은 것부터 큰 것으로의 순서임 - ;

상기 제3 순서에 의거하여 상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, 상기 p 개 제20 특징 데이터를 얻도록 구성되고;

상기 제3 처리 유닛(15)은, 상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻기 전에, 대응되는 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여 상기 p 개 제2 식별 결과에 대해 배열을 수행하여, 제4 순서를 얻고 - 상기 제4 순서는 상기 부분 픽셀 포인트 영역 타입 손실이 큰 것부터 작은 것으로의 순서이고, 상기 제4 순서는 또는 상기 부분 픽셀 포인트 영역 타입 손실이 작은 것부터 큰 것으로의 순서임 - ;

상기 제3 순서와 상기 제4 순서 사이의 차이에 의거하여, 부분 픽셀 포인트 영역 배열 손실을 얻도록 구성되고;

상기 제4 처리 유닛(16)은,

상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실 및 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 제1 전역 손실은 전역 초점 손실을 포함하고; 상기 제3 처리 유닛(15)은,

상기 제14 특징 데이터에 의거하여, 상기 제2 식별될 차량의 제3 식별 결과를 얻고;

상기 제3 식별 결과와 상기 라벨에 의거하여, 상기 제3 식별 결과의 초점 손실을 얻고, 상기 전역 초점 손실로 사용하도록 구성된다.

본 발명의 임의의 실시 방식을 결합하여, 상기 훈련 이미지는 훈련 이미지 세트에 속하고; 상기 훈련 이미지 세트는 또한 상기 훈련 이미지의 제1 포지티브 샘플 이미지 및 상기 훈련 이미지의 제1 네거티브 샘플 이미지를 포함하며; 상기 제1 전역 손실은 전역 삼원 그룹 손실을 더 포함하고;

상기 제3 처리 유닛(15)은 또한,

상기 훈련될 네트워크를 사용하여 상기 제1 포지티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 포지티브 샘플 이미지의 특징 데이터를 얻고;

상기 훈련될 네트워크를 사용하여 상기 제1 네거티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 네거티브 샘플 이미지의 특징 데이터를 얻으며;

상기 제12 특징 데이터, 상기 제1 포지티브 샘플 이미지의 특징 데이터와 상기 제1 네거티브 샘플 이미지의 특징 데이터에 의거하여, 상기 전역 삼원 그룹 손실을 얻도록 구성된다.

본 실시예에서, 차량 식별 장치는 제1 특징 데이터와 제2 특징 데이터에 대해 융합 처리를 수행하는 것을 통해, 제1 식별될 차량의 전부 특징 정보를 포함하고 제1 식별될 차량의 부분 특징 정보도 포함하는 제3 특징 데이터를 얻을 수 있다. 제3 특징 데이터를 제1 식별될 차량의 특징 데이터로 사용하면, 제1 식별될 차량의 특징 데이터에 포함되는 정보를 풍부히 할 수 있다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.

도 13은 본 발명의 실시예에서 제공한 차량 식별 장치의 하드웨어 구조 예시도이다. 상기 차량 식별 장치(2)는 프로세서(21), 메모리(22), 입력 장치(23), 출력 장치(24)를 포함한다. 상기 프로세서(21), 메모리(22), 입력 장치(23) 및 출력 장치(24)는 커넥터를 통해 서로 커플링되고, 상기 커넥터는 각 타입의 인터페이스, 전송 라인 또는 버스 등을 포함하며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 이해해야 할 것은, 본 발명의 각 실시예에 있어서, 커플링은 특정한 방식을 통한 상호 연결을 가리키고, 직접 연결 또는 다른 기기를 통한 간접 연결을 포함하며, 예를 들어 각 타입의 인터페이스, 전송 라인, 버스 등을 통해 연결할 수 있다.

프로세서(21)는 하나 또는 복수 개의 그래픽 처리 장치(graphics processing unit, GPU)일 수 있고, 프로세서(21)가 하나의 GPU일 경우, 상기 GPU는 단일 코어 GPU일 수 있고, 다중 코어 GPU일 수도 있다. 일부 실시예에서, 프로세서(21)는 복수 개의 GPU로 구성된 프로세서 그룹일 수 있고, 복수 개의 프로세서 사이는 하나 또는 복수 개의 버스를 통해 서로 커플링된다. 일부 실시예에서, 기 프로세서는 또한 다른 타입의 프로세서 등일 수 있고, 본 발명의 실시예는 한정하지 않는다.

메모리(22)는 컴퓨터 프로그램 명령어 및 본 발명의 방안의 프로그램 코드를 포함하는 각 타입의 컴퓨터 프로그램 코드를 저장하는데 사용될 수 있다. 선택적으로, 메모리는 랜덤 액세스 메모리(random access memory, RAM), 판독 전용 메모리(read-only memory, ROM), 제거 가능한 프로그래머블 판독 전용 메모리(erasable programmable read only memory, EPROM), 또는 시디 롬(compact disc read-only memory, CD-ROM)을 포함하지만 이에 한정되지 않으며, 상기 메모리는 관련 명령어 및 데이터를 저장하기 위한 것이다.

입력 장치(23)는 데이터 및 신호 중 적어도 하나를 입력하도록 구성되고, 출력 장치(24)는 데이터 및 신호 중 적어도 하나를 출력하도록 구성된다. 입력 장치(23) 및 출력 장치(24)는 독립적인 장치일 수 있고, 하나의 완전한 장치일 수도 있다.

이해할 수 있는 것은, 본 발명의 실시예에 있어서, 메모리(22)는 관련 명령어를 저장하는데 사용될 수 있을 뿐만 아니라, 관련 데이터를 저장하는데 사용될 수도 있으며, 예를 들어 상기 메모리(22)는 입력 장치(23)를 통해 획득된 처리될 이미지를 저장하는데 사용될 수 있고, 또는 상기 메모리(22)는 프로세서(21)를 통해 검색하여 얻은 제3 특징 데이터 등을 저장하는데 사용될 수도 있으며, 본 발명의 실시예는 상기 메모리에서 구체적으로 저장된 데이터를 한정하지 않는다.

이해할 수 있는 것은, 도 13은 차량 식별 장치의 간략화 설계를 도시할 뿐이다. 실제 응용에서, 차량 식별 장치는 또한 필요한 다른 부품을 각각 포함할 수 있고, 임의의 개수의 입력/출력 장치, 프로세서, 메모리 등을 포함하지만 이에 한정되지 않으며, 본 발명의 실시예를 구현 가능한 모든 차량 식별 장치는 본 발명의 보호 범위 내에 모두 속한다.

본 기술분야의 통상의 기술자는 본 명세서에서 개시된 실시예에서 설명한 각 예시적 유닛 및 알고리즘 단계를 결합하여, 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 결합으로 구현될 수 있음을 이해할 것이다. 이러한 기능이 하드웨어 형태로 실행될지 아니면 소프트웨어 형태로 실행될지는 기술 방안의 특정 응용 및 설계 제약 조건에 따라 결정된다. 전문 기술자는 각 특정 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 발명의 범위를 벗어나는 것으로 간주되어서는 안된다.

당업자는 설명의 편의와 간결함을 위해 상기에서 설명된 시스템, 장치 및 유닛의 구체적인 동작 과정은 전술한 방법 실시예에서 대응되는 과정을 참조할 수 있음을 이해할 것이며, 여기서 더 이상 설명하지 않는다. 본 기술분야의 통상의 기술자는 또한, 본 발명의 각 실시예의 설명은 그 자체에 초점을 두고 있으며, 설명의 편의와 간편함을 위해, 동일하거나 유사한 부분은 상이한 실시예에서 반복하여 설명하지 않았으므로, 특정한 실시예에서 설명하지 않았거나 상세하게 설명되지 않은 부분은 다른 실시예의 기재를 참조할 수 있음을 명백하게 이해할 수 있을 것이다.

본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치하거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.

상기 실시예에서, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합을 통해 전체적으로 또는 부분적으로 구현할 수 있다. 소프트웨어로 구현할 경우, 컴퓨터 프로그램 제품의 형태로 전체적으로 또는 부분적으로 구현할 수 있다. 상기 컴퓨터 프로그램 제품은 하나 또는 복수 개의 컴퓨터 명령어를 포함한다. 컴퓨터에서 상기 컴퓨터 프로그램 명령어가 로딩 및 실행될 경우, 본 발명의 실시예에 따라 설명된 프로세스 또는 기능은 전체적으로 또는 부분적으로 생성된다. 상기 컴퓨터는 범용 컴퓨터, 특수 목적 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그래머블 장치일 수 있다. 상기 컴퓨터 명령어는 컴퓨터 판독 가능한 저장 매체에 저장될 수 있거나, 상기 컴퓨터 판독 가능한 저장 매체를 통해 전송될 수 있다. 상기 컴퓨터 명령어는 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선(digital subscriber line, DSL)) 또는 무선(예를 들어 적외선, 무선, 마이크로파 등) 형태로 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터가 액세스 가능한 임의의 사용 가능한 매체 또는 하나 또는 복수 개의 사용 가능한 매체로 통합된 서버, 데이터 센터 등을 포함하는 데이터 저장 기기일 수 있다. 상기 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프), 광학 매체(예를 들어, 디지털 범용 디스크(digital versatile disc, DVD)), 또는 반도체 매체(예를 들어, 솔리드 스테이트 디스크(solid state disk, SSD)) 등일 수 있다.

본 기술분야의 통상의 기술자는 상기 실시예 방법에서의 전부 또는 일부 플로우를 구현하는 것을 이해할 수 있고, 상기 플로우는 컴퓨터 프로그램의 명령어와 관련된 하드웨어를 통해 완료될 수 있고, 상기 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 각 방법 실시예와 같은 플로우를 포함할 수 있다. 전술한 저장 매체는 판독 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

본 발명은 차량 식별 방법 및 장치, 전자 기기 및 저장 매체를 개시하였다. 상기 방법은, 제1 식별될 차량을 포함하는 처리될 이미지를 획득하는 단계; 상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계; 상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻는 단계; 및 상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻는 단계 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 를 포함한다.

Claims (24)

1. 차량 식별 방법으로서,
   제1 식별될 차량을 포함하는 처리될 이미지를 획득하는 단계;
   상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계;
   상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻는 단계; 및
   상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻는 단계 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 를 포함하는 것을 특징으로 하는 차량 식별 방법.
2. 제1항에 있어서,
   상기 부분 특징 정보는 키 포인트 특징 정보를 포함하고, 상기 제1 특징 데이터는 상기 식별될 차량의 적어도 한 개의 키 포인트의 특징 정보를 포함하는 것을 특징으로 하는 차량 식별 방법.
3. 제2항에 있어서,
   상기 부분 특징 정보는 또한 부분 픽셀 포인트 영역 특징 정보를 포함하고, 상기 제1 특징 데이터는 또한 상기 식별될 차량의 적어도 한 개의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 것을 특징으로 하는 차량 식별 방법.
4. 제3항에 있어서,
   상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻는 단계는,
   상기 처리될 이미지에 대해 제3 특징 추출 처리를 수행하여, 제4 특징 데이터를 얻는 단계 - 상기 제4 특징 데이터는 상기 제1 식별될 차량의 적어도 한 개의 키 포인트의 특징 정보를 포함함 - ;
   상기 처리될 이미지에 대해 제4 특징 추출 처리를 수행하여, 제5 특징 데이터를 얻는 단계 - 상기 제5 특징 데이터는 상기 제1 식별될 차량의 적어도 한 개의 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 상기 부분 픽셀 포인트 영역은 상기 제1 식별될 차량에 커버되는 픽셀 포인트 영역에 속하고, 상기 부분 픽셀 포인트 영역의 면적은 상기 제1 식별될 차량에 커버되는 픽셀 포인트 영역의 면적보다 작음 - ; 및
   상기 제4 특징 데이터와 제5 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
5. 제4항에 있어서,
   상기 처리될 이미지에 대해 제3 특징 추출 처리를 수행하여, 제4 특징 데이터를 얻는 단계는,
   상기 처리될 이미지에 대해 제5 특징 추출 처리를 수행하여, 적어도 한 개의 제6 특징 데이터를 얻는 단계 - 상기 제6 특징 데이터는 상기 키 포인트의 특징 정보를 포함하고, 임의의 두 개의 상기 제6 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속함 - ;
   상기 적어도 한 개의 제6 특징 데이터에서 정보량을 제일 많이 포함한 k 개 특징 데이터를 발췌하여, k 개 제7 특징 데이터를 얻는 단계 - 상기 k는 1보다 작지 않은 정수임 - ; 및
   상기 k 개 제7 특징 데이터에 의거하여 상기 제4 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
6. 제5항에 있어서,
   상기 처리될 이미지에 대해 제5 특징 추출 처리를 수행하여, 적어도 한 개의 제6 특징 데이터를 얻는 단계는,
   상기 처리될 이미지에 대해 제6 특징 추출 처리를 수행하여, 적어도 한 장의 제1 히트맵을 얻는 단계 - 상기 제1 히트맵은 상기 키 포인트가 상기 처리될 이미지에서의 위치 정보를 포함하고, 임의의 두 장의 상기 제1 히트맵에 포함되는 정보는 상이한 키 포인트에 속함 - ;
   상기 처리될 이미지에 대해 제7 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제1 특징 이미지를 얻는 단계 - 상기 제1 특징 이미지는 상기 처리될 이미지에서의 키 포인트의 특징 정보를 포함함 - ; 및
   각 장에 따른 상기 제1 히트맵과 상기 제1 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개의 제6 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
7. 제5항 또는 제6항에 있어서,
   상기 적어도 한 개의 제6 특징 데이터에서 정보량을 제일 많이 포함한 k 개 특징 데이터를 발췌하여, k 개 제7 특징 데이터를 얻는 단계는,
   상기 적어도 한 개의 제6 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제8 특징 데이터를 얻는 단계;
   상기 적어도 한 개의 제8 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제1 확률를 얻는 단계 - 상기 제1 확률은 상기 제6 특징 데이터에 포함되는 정보량을 나타내기 위해 사용되고, 상기 제1 확률은 상기 제6 특징 데이터와 일대일로 대응함 - ;
   상기 제1 확률과 상기 제6 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 제일 큰 k 개 상기 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하는 단계 ; 또는,
   상기 제1 확률이 상기 제6 특징 데이터에 포함되는 정보량과 반비례 관계인 상황에서, 제일 작은 k 개 상기 제1 확률에 대응되는 상기 제6 특징 데이터를 발췌하여, 상기 k 개 제7 특징 데이터로 사용하는 단계를 포함하는 것을 특징으로하는 차량 식별 방법.
8. 제3항 내지 제7항 중 어느 한 항에 있어서,
   상기 처리될 이미지에 대해 제4 특징 추출 처리를 수행하여, 제5 특징 데이터를 얻는 단계는,
   상기 처리될 이미지에 대해 제10 특징 추출 처리를 수행하여, 적어도 한 개의 제9 특징 데이터를 얻는 단계 - 상기 제9 특징 데이터는 상기 키 포인트의 특징 정보를 포함하고, 임의의 두 개의 상기 제9 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;
   상기 적어도 두 개의 제9 특징 데이터에서 정보량을 제일 많이 포함한 m 개 특징 데이터를 발췌하여, m 개 제10 특징 데이터를 얻는 단계 - 상기 m은 1보다 작지 않은 정수임 - ; 및
   상기 m 개 제10 특징 데이터에 의거하여 상기 제5 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
9. 제8항에 있어서,
   상기 처리될 이미지에 대해 제10 특징 추출 처리를 수행하여, 적어도 한 개의 제9 특징 데이터를 얻는 단계는,
   상기 처리될 이미지에 대해 제11 특징 추출 처리를 수행하여, 상기 적어도 한 장의 제2 히트맵을 얻는 단계 - 상기 제2 히트맵은 상기 부분 픽셀 포인트 영역이 상기 처리될 이미지에서의 위치 정보를 포함하고, 임의의 두 장의 상기 제2 히트맵에 포함되는 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;
   상기 처리될 이미지에 대해 제12 특징 추출 처리를 수행하여, 상기 처리될 이미지의 제2 특징 이미지를 얻는 단계 - 상기 제2 특징 이미지는 상기 처리될 이미지에서의 부분 픽셀 포인트 영역의 특징 정보를 포함함 - ; 및
   각 장에 따른 상기 제2 히트맵과 상기 제2 특징 이미지 사이의 점곱을 각각 결정하여, 상기 적어도 한 개의 제9 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
10. 제8항 또는 제9항에 있어서,
    상기 적어도 두 개 제9 특징 데이터에서 정보량을 제일 많이 포함한 m 개 특징 데이터를 발췌하여, m 개 제10 특징 데이터를 얻는 단계는,
    상기 제9 특징 데이터에서의 특징 데이터에 대해 각각 풀링 처리를 수행하여, 적어도 한 개의 제11 특징 데이터를 얻는 단계;
    상기 적어도 한 개의 제11 특징 데이터에 포함되는 정보량에 의거하여, 적어도 한 개의 제2 확률를 얻는 단계 - 상기 제2 확률은 상기 제9 특징 데이터에 포함되는 정보량을 나타내기 위해 사용되고, 상기 제2 확률은 상기 제9 특징 데이터와 일대일로 대응함 - ;
    상기 제2 확률과 상기 제9 특징 데이터에 포함되는 정보량이 정비례 관계인 상황에서, 제일 큰 m 개 상기 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하는 단계; 또는,
    상기 제2 확률과 상기 제9 특징 데이터에 포함되는 정보량이 반비례 관계인 상황에서, 제일 작은 m 개 상기 제2 확률에 대응되는 상기 제9 특징 데이터를 발췌하여, 상기 m 개 제10 특징 데이터로 사용하는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 적어도 한 개의 부분 픽셀 포인트 영역은, 제1 픽셀 포인트 영역와 제2 픽셀 포인트 영역을 포함하고, 상기 제9 특징 데이터의 수량과 상기 m은 모두 1보다 크고, 상기 m 개 제10 특징 데이터는 제12 특징 데이터와 제13 특징 데이터를 포함하고, 상기 제12 특징 데이터는 상기 제1 픽셀 포인트 영역의 특징 정보를 포함하고, 상기 제13 특징 데이터는 상기 제2 픽셀 포인트 영역의 특징 정보를 포함하며;
    상기 m 개 제10 특징 데이터에 의거하여 상기 제5 특징 데이터를 얻는 단계는,
    상기 제12 특징 데이터에 포함되는 정보량에 의거하여 제1 가중을 얻고, 상기 제13 특징 데이터에 포함되는 정보량에 의거하여 제2 가중을 얻는 단계 - 상기 제1 가중과 상기 제12 특징 데이터에 포함되는 정보량이 정비례 관계이고, 상기 제2 가중과 상기 제13 특징 데이터에 포함되는 정보량은 정비례 관계임 - ; 및
    상기 제1 가중 및 상기 제2 가중에 의거하여, 상기 제12 특징 데이터 및 상기 제13 특징 데이터에 대해 가중 융합을 수행하여, 상기 제5 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 차량 식별 방법은 차량 식별 네트워크에 응용되고, 상기 차량 식별 네트워크의 훈련 방법은,
    제2 식별될 차량을 포함한 훈련 이미지와 훈련될 네트워크를 획득하는 단계;
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 전부 특징 정보를 포함하는 제14 특징 데이터와 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함하는 제15 특징 데이터를 얻는 단계;
    상기 제14특징 데이터와 상기 훈련 이미지의 라벨에 의거하여, 제1 전역 손실을 얻는 단계;
    상기 제15 특징 데이터와 상기 라벨에 의거하여, 제1 키 포인트 손실를 얻는 단계;
    상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크의 총 손실을 얻는 단계; 및
    상기 총 손실에 기반하여 상기 훈련될 네트워크의 파라미터를 조절하여, 상기 차량 식별 네트워크를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
13. 제12항에 있어서,
    상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크의 총 손실을 얻기 전에, 상기 방법은 또한,
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제16 특징 데이터를 얻는 단계;
    상기 제16 특징 데이터와 상기 라벨에 의거하여, 제1 부분 픽셀 포인트 영역 손실을 얻는 단계를 포함하고;
    상기 제1 전역 손실과 상기 제1 키 포인트 손실에 의거하여, 상기 훈련될 네트워크 총 손실을 얻는 단계는,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실과 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 장치.
14. 제13항에 있어서,
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함한 제15 특징 데이터를 얻는 단계는,
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제17 특징 데이터를 얻는 단계 - 상기 제17 특징 데이터는 상기 제2 식별될 차량의 키 포인트 특징 정보를 포함하고, 임의의 두 개 상기 제17 특징 데이터에 포함되는 특징 정보는 상이한 키 포인트에 속함 - ;
    상기 적어도 한 개의 제17 특징 데이터에서 정보량이 제일 많은 s 개 특징 데이터를 발췌하여, s 개 제18 특징 데이터를 얻는 단계 - 상기 s는 1보다 작지 않은 정수임 - ;
    상기 s 개 제18 특징 데이터에 대해 융합 처리를 수행하여, 상기 제15 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
15. 제14항에 있어서,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실과 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 방법은 또한,
    상기 s 개 제18 특징 데이터에 의거하여, 상기 제2 식별될 차량의 s 개 제1 식별 결과를 얻는 단계;
    상기 s 개 제1 식별 결과와 상기 라벨 사이의 차이에 각각 의거하여, 키 포인트 타입 손실을 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실과 상기 제1 부분 픽셀 포인트 영역 손실에 의거하여, 상기 총 손실을 얻는 단계는,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실과 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
16. 제14항 또는 제15항에 있어서,
    상기 적어도 한 개의 제17 특징 데이터에서 정보량을 제일 많이 포함한 s 개 특징 데이터를 발췌하여, s 개 제18 특징 데이터를 얻는 단계는,
    포함되는 정보량에 의거하여 상기 적어도 한 개의 제17 특징 데이터에 대해 배열을 수행하여, 제1 순서를 얻는 단계 - 상기 제1 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 상기 제1 순서는 또는 포함되는 정보량이 작은 것부터 큰 것으로의 순서임 - ;
    상기 제1 순서에 의거하여 상기 적어도 한 개의 제17 특징 데이터에서 정보량을 제일 많이 포함한 s 개 특징 데이터를 발췌하여, 상기 s 개 제18 특징 데이터를 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실과 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 방법은 또한,
    대응되는 상기 키 포인트 타입 손실에 의거하여 상기 s 개 제1 식별 결과에 대해 배열을 수행하여, 제2 순서를 얻는 단계 - 상기 제2 순서는 상기 키 포인트 타입 손실이 큰 것부터 작은 것으로의 순서이고, 또는 상기 키 포인트 타입 손실이 작은 것부터 큰 것으로의 순서임 - ;
    상기 제1 순서와 상기 제2 순서 사이의 차이에 의거하여, 키 포인트 배열 손실을 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실과 상기 키 포인트 타입 손실에 의거하여, 상기 총 손실을 얻는 단계는,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실과 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 장치.
17. 제16항에 있어서,
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 상기 제2 식별될 차량의 부분 픽셀 포인트 영역의 특징 정보를 포함하는 제16 특징 데이터를 얻는 단계는,
    상기 훈련될 네트워크를 사용하여 상기 훈련 이미지에 대해 처리를 수행하여, 적어도 한 개의 제19 특징 데이터를 얻는 단계 - 상기 제19 특징 데이터는 상기 부분 픽셀 포인트 영역의 특징 정보를 포함하고, 임의의 두 개의 상기 제19 특징 데이터에 포함되는 특징 정보는 상이한 부분 픽셀 포인트 영역에 속함 - ;
    상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, p 개 제20 특징 데이터를 얻는 단계 - 상기 p는 1보다 작지 않은 정수임 - ; 및
    상기 p개 제20 특징 데이터에 대해 융합 처리를 수행하여, 상기 제16 특징 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
18. 제17항에 있어서,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실과 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 방법은 또한,
    상기 p 개 제20 특징 데이터에 의거하여, 상기 제2 식별될 차량의 p 개 제2 식별 결과을 얻는 단계; 및
    각각 상기 p 개 제2 식별 결과와 상기 라벨 사이의 차이에 의거하여, 부분 픽셀 포인트 영역 타입 손실을 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실과 상기 키 포인트 배열 손실에 의거하여, 상기 총 손실을 얻는 단계는,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
19. 제17항 또는 제18항에 있어서,
    상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, p 개 제20 특징 데이터를 얻는 단계는,
    포함되는 정보량에 의거하여 상기 적어도 한 개의 제19 특징 데이터에 대해 배열을 수행하여, 제3 순서를 얻는 단계 - 상기 제3 순서는 포함되는 정보량이 큰 것부터 작은 것으로의 순서이고, 또는 상기 제3 순서는 포함되는 정보량이 작은 것부터 큰 것으로의 순서임 - ; 및
    상기 제3 순서에 의거하여 상기 적어도 한 개의 제19 특징 데이터에서 정보량을 제일 많이 포함한 p 개 특징 데이터를 발췌하여, 상기 p 개 제20 특징 데이터를 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻기 전에, 상기 방법은 또한,
    대응되는 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여 상기 p 개 제2 식별 결과에 대해 배열을 수행하여, 제4 순서를 얻는 단계 - 상기 제4 순서는 상기 부분 픽셀 포인트 영역 타입 손실이 큰 것부터 작은 것으로의 순서이고, 상기 제4 순서는 또는 상기 부분 픽셀 포인트 영역 타입 손실이 작은 것부터 큰 것으로의 순서임 - ; 및
    상기 제3 순서와 상기 제4 순서 사이의 차이에 의거하여, 부분 픽셀 포인트 영역 배열 손실을 얻는 단계를 포함하고;
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실 및 상기 부분 픽셀 포인트 영역 타입 손실에 의거하여, 상기 총 손실을 얻는 단계는,
    상기 제1 전역 손실, 상기 제1 키 포인트 손실, 상기 제1 부분 픽셀 포인트 영역 손실, 상기 키 포인트 타입 손실, 상기 키 포인트 배열 손실, 상기 부분 픽셀 포인트 영역 타입 손실 및 상기 부분 픽셀 포인트 영역 배열 손실에 의거하여, 상기 총 손실을 얻는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
20. 제12항 내지 제19항 중 어느 한 항에 있어서,
    상기 제1 전역 손실은 전역 초점 손실을 포함하고; 상기 제14특징 데이터와 상기 훈련 이미지의 라벨에 의거하여, 제1 전역 손실을 얻는 단계는,
    상기 제14 특징 데이터에 의거하여, 상기 제2 식별될 차량의 제3 식별 결과를 얻는 단계;
    상기 제3 식별 결과와 상기 라벨에 의거하여, 상기 제3 식별 결과의 초점 손실을 얻고, 상기 전역 초점 손실로 사용하는 단계를 포함하는 것을 특징으로 하는 차량 식별 방법.
21. 제20항에 있어서,
    상기 훈련 이미지는 훈련 이미지 세트에 속하고; 상기 훈련 이미지 세트는 또한 상기 훈련 이미지의 제1 포지티브 샘플 이미지와 상기 훈련 이미지의 제1 네거티브 샘플 이미지를 포함하고; 상기 제1 전역 손실은 또한 전역 삼원 그룹 손실을 포함하며; 상기 방법은,
    상기 훈련될 네트워크를 사용하여 상기 제1 포지티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 포지티브 샘플 이미지의 특징 데이터를 얻는 단계;
    상기 훈련될 네트워크를 사용하여 상기 제1 네거티브 샘플 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 네거티브 샘플 이미지의 특징 데이터를 얻는 단계; 및
    상기 제12 특징 데이터, 상기 제1 포지티브 샘플 이미지의 특징 데이터와 상기 제1 네거티브 샘플 이미지의 특징 데이터에 의거하여, 상기 전역 삼원 그룹 손실을 얻는 단계를 더 포함하는 것을 특징으로 하는 차량 식별 방법.
22. 차량 식별 장치로서,
    제1 식별될 차량을 포함하는 처리될 이미지를 획득하도록 구성된 획득 유닛;
    상기 처리될 이미지에 대해 제1 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 부분 특징 정보를 포함하는 제1 특징 데이터를 얻도록 구성된 제1 처리 유닛;
    상기 처리될 이미지에 대해 제2 특징 추출 처리를 수행하여, 상기 제1 식별될 차량의 전체 특징 정보를 포함하는 제2 특징 데이터를 얻도록 구성된 제2 처리 유닛; 및
    상기 제1 특징 데이터와 상기 제2 특징 데이터에 대해 융합 처리를 수행하여, 상기 제1 식별될 차량의 제3 특징 데이터를 얻도록 구성된 융합 처리 유닛 - 상기 제3 특징 데이터는 상기 제1 식별될 차량의 식별 결과 획득에 사용됨 - 을 포함하는 것을 특징으로 하는 차량 식별 장치.
23. 전자 기기로서,
    프로세서와 메모리를 포함하고, 상기 메모리는 컴퓨터 프로그램 코드를 저장하기 위한 것이고, 상기 컴퓨터 프로그램 코드는 컴퓨터 명령을 포함하며, 상기 프로세서에 의해 상기 컴퓨터 명령어가 실행되면, 상기 전자 기기는 제1항 내지 제21항 중 어느 한 항에 따른 차량 식별 방법을 실행하는 것을 특징으로하는 전자 기기.
24. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램은 프로그램 명령어를 포함하며, 상기 프로그램 명령어가 프로세서에 의해 실행되는 상황에서, 상기 프로세서는 제1항 내지 제21항 중 어느 한 항에 따른 차량 식별 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.