KR20210098515A

KR20210098515A - 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체

Info

Publication number: KR20210098515A
Application number: KR1020217020811A
Authority: KR
Inventors: 슈창 르브; 구앙리앙 쳉; 지안핑 시
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-10-31
Filing date: 2020-10-27
Publication date: 2021-08-10
Also published as: JP2022535473A; WO2021083126A1

Abstract

본 출원은 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체를 제공한다. 표적 검출 방법은, 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계; 및 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계로서, 상기 제1 이미지의 라벨은 상기 제1 이미지에 포함된 검색할 표적을 라벨링한 결과인 단계를 포함한다. 본 출원은 제1 이미지 및 제2 이미지를 복수의 서로 다른 척도의 특징으로 표현함으로써, 제1 이미지 및 제2 이미지의 특징 표현 능력을 향상시키고 나아가 표적 검출의 정밀도를 높였다.

Description

표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체

본 출원은 2019년 10월 31일 중국 특허청에 출원번호 201911054823.1, 발명의 명칭 "표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체"인 중국 특허출원, 및 2019년 10월 31일 출원번호 201911063316.4, 발명의 명칭 "표적 검색 방법, 장치, 디바이스 및 저장매체"인 중국 특허출원의 우선권을 주장하고, 그 내용 전부를 인용을 통해 본 발명에 결합시켰다.

본 출원은 이미지 처리 분야에 관한 것으로, 특히 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체에 관한 것이다.

단일샘플 의미론적 분할은 컴퓨터 비전 분야, 지능형 이미지 처리 분야에서 새롭게 각광받는 문제이다. 단일샘플 의미론적 분할은 어떤 카테고리의 단일 훈련 샘플을 통해 분할 모델이 해당 부류가 위치한 픽셀을 식별하는 능력을 갖출 수 있도록 하는 것을 목적으로 한다. 단일샘플 의미론적 분할을 통해 기존 이미지 의미론적 분할의 문제점인 샘플 수집 및 라벨링 원가를 효과적으로 낮출 수 있다.

단일샘플 이미지 의미론적 분할은 어떤 한 카테고리의 물체에 대해 단일 샘플만을 사용해 훈련해, 분할 모델이 해당 물체의 모든 픽셀을 식별하는 능력을 갖출 수 있도록 하는 것을 목적으로 한다. 표적 검색의 경우, 이미지 의미론적 분할 방식을 통해 이미지에 포함된 표적을 검색할 수 있다. 이미지 의미론적 분할은 단일샘플 이미지 의미론적 분할을 포함한다. 기존의 이미지 의미론적 분할은 모델 성능을 보장하기 위해 모든 카테고리의 물체에 대해 대량의 훈련 이미지를 필요로 하므로, 라벨링 원가가 매우 높아지게 된다.

본 출원은 표적 검출, 지능형 주행 방법, 장치, 디바이스 및 저장매체를 제공함으로써 기존의 표적 검출 정밀도가 낮은 문제점을 해결하는 것을 목적으로 한다.

상기 기술과제를 해결하기 위해, 본 출원의 기술방안은 다음과 같이 구현된다.

일 실시예에서 표적 검출 방법을 제공하며, 상기 방법은, 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계; 및 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계로서, 상기 제1 이미지의 라벨은 상기 제1 이미지에 포함된 검색할 표적을 라벨링한 결과인 단계를 포함한다.

다른 실시예에서 지능형 주행 방법을 제공하며, 상기 지능형 주행 방법은 도로 이미지를 수집하는 단계; 상술한 바와 같은 표적 검출 방법을 이용해, 지원 이미지 및 상기 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 단계로서, 그 중 상기 지원 이미지의 라벨은 상기 지원 이미지에 포함된, 상기 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과인 단계; 및 검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 단계를 포함한다.

다른 실시예에서 표적 검출 장치를 제공하며, 상기 표적 검출 장치는, 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 특징추출 모듈; 및 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 확정 모듈을 포함하고, 상기 제1 이미지의 라벨은 상기 제1 이미지에 포함된 검색할 표적을 라벨링한 결과이다.

다른 실시예에서 지능형 주행 장치를 제공하며, 상기 지능형 주행 장치는, 도로 이미지를 수집하는 수집 모듈; 상술한 바와 같은 표적 검출 방법을 이용해, 지원 이미지 및 상기 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 검색 모듈; 그 중 상기 지원 이미지의 라벨은 상기 지원 이미지에 포함된, 상기 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과이고; 및 검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 제어 모듈을 포함한다.

다른 실시예에서 표적 검출 디바이스를 제공하며, 상기 표적 검출 디바이스는 메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 때 상술한 바와 같은 표적 검출 방법을 구현한다.

다른 실시예에서 지능형 주행 디바이스를 제공하며, 상기 지능형 주행 디바이스는 메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 프로그램을 실행할 때 상술한 바와 같은 지능형 주행 방법을 구현한다.

다른 실시예에서, 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장매체를 제공한다. 상기 프로그램이 프로세서에 의해 실행될 때 상기 표적 검출 방법의 단계를 구현하거나, 상기 프로그램이 프로세서에 의해 실행될 때 상기 지능형 주행 방법의 단계를 구현한다.

또 다른 실시예에서 명령을 작동하는 칩을 더 제공한다. 상기 칩은 메모리, 프로세서를 포함하고, 상기 메모리에는 코드 및 데이터가 저장된다. 상기 메모리는 상기 프로세서와 결합되고, 상기 프로세서는 상기 메모리 중의 코드를 작동시켜 상기 칩이 상기 표적 검출 방법의 단계를 실행하는 데 사용되도록 한다. 또는, 상기 프로세서는 상기 메모리 중의 코드를 작동시켜 상기 칩이 상기 지능형 주행 방법의 단계를 실행하는 데 사용되도록 한다.

또 다른 실시예에서 명령을 포함하는 프로그램 제품을 더 제공한다. 상기 프로그램 제품이 컴퓨터에서 작동할 때, 상기 컴퓨터가 상기 표적 검출 방법의 단계를 실행하도록 한다. 또는, 상기 프로그램 제품이 컴퓨터에서 작동할 때 상기 컴퓨터가 상기 지능형 주행 방법의 단계를 실행하도록 한다.

또 다른 실시예에서 컴퓨터 프로그램을 더 제공한다. 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 표적 검출 방법의 단계를 실행하는 데 사용된다. 또는, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 지능형 주행 방법의 단계를 실행하는 데 사용된다.

위 기술방안으로부터 알 수 있듯이, 상기 실시예에서는 서로 다른 척도의 제1 특징 맵 및 제2 특징 맵을 획득해 제1 이미지 및 제2 이미지의 특징 표현 능력을 향상시킴으로써, 제1 이미지 및 제2 이미지 사이의 유사성을 판단할 정보를 보다 많이 획득할 수 있게 되므로, 단일샘플에 대해 후속 표적 검출을 진행할 경우 입력된 특징을 보다 풍부하게 가질 수 있다. 이로써, 단일샘플 의미론적 분할의 분할 정밀도를 향상시키고 나아가 표적 검출의 정밀도를 향상시킬 수 있다.

이하 첨부도면은 단지 본 출원에 대해 도식적인 설명, 해석한 것으로, 본 출원의 범위를 한정하지 않는다.
도 1은 본 출원 실시예에서 제공하는 표적 검출 방법의 흐름도이다.
도 2는 본 출원 실시예에서 제공하는 표적 검출 모델의 구조 설명도이다.
도 3은 본 출원 실시예에서 제공하는 표적 검출 방법의 흐름도이다.
도 4는 본 출원 실시예에서 제공하는 대칭 캐스케이드 구조의 구조 설명도이다.
도 5는 본 출원 실시예에서 제공하는 표적 검출 방법의 흐름도이다.
도 6은 본 출원의 다른 실시예에서 제공하는 표적 검출 모델의 구조 설명도이다.
도 7은 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다.
도 8은 본 출원의 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다.
도 9는 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다.
도 10은 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다.
도 11은 본 출원 실시예에서 제공하는 지능형 주행 방법의 흐름 설명도이다.
도 12는 본 출원 실시예에서 제공하는 표적 검출 과정의 설명도이다.
도 13은 본 출원 실시예에서 제공하는 생성 모듈 및 취합 모듈의 설명도이다.
도 14는 본 출원 실시예에서 제공하는 표적 검색 방법 중 유사성 특징추출 방식과 관련 기술의 추출 방식을 대비한 설명도이다.
도 15는 본 출원 실시예에서 제공하는 표적 검출 장치의 구조 설명도이다.
도 16은 본 출원 실시예에서 제공하는 지능형 주행 장치의 구조 설명도이다.
도 17은 본 출원 실시예에서 제공하는 표적 검출 디바이스의 구조 설명도이다.
도 18은 본 출원 실시예에서 제공하는 지능형 주행 디바이스의 구조 설명도이다.

본 출원 실시예의 목적, 기술방안 및 장점을 보다 명확히 이해하도록 하기 위해, 이하 본 출원 실시예의 첨부도면을 조합해 본 출원 실시예에 따른 기술방안에 대해 명확하고 완전하게 설명한다. 이하 설명하는 실시예는 본 출원의 일부 실시예일 뿐, 모든 실시예는 아니다.

선행기술에서, 단일샘플 이미지 의미론적 분할의 딥러닝 모델은 검색 집합 이미지와 지원 집합 이미지에 대해 각각 특징추출을 진행한다. 여기에서, 검색 집합 이미지는 표적 검색이 필요한 이미지이고, 지원 집합 이미지에는 검색할 표적이 포함되어 있으며, 지원 집합 이미지 중 검색할 표적은 사전에 라벨링을 거쳐 라벨 정보를 얻는다. 라벨 정보를 결합해, 지원 집합 이미지의 특징과 검색 집합 이미지의 특징 사이의 유사성을 통해 검색 집합 이미지 중의 표적을 확정한다.

그러나, 선행기술에서는 딥러닝 모델이 지원 집합 이미지를 단일 특징 벡터로 표현할 경우 지원 집합 이미지의 특징에 대해 표현하는 능력이 제한적이며, 이에 따라 모델이 지원 집합 이미지 특징과 검색 이미지 픽셀 특징 사이의 유사성을 설명하는 능력이 부족해져, 표적 검색의 정밀도가 떨어지게 된다.

본 출원 실시예에서, 제1 이미지는 상술한 지원 집합 이미지일 수 있고 제2 이미지는 상술한 검색 집합 이미지일 수 있다. 제1 이미지 및 제2 이미지에 대해 복수의 서로 다른 척도의 특징추출을 진행하고, 제1 이미지 및 제2 이미지를 복수의 서로 다른 척도의 특징으로 표현함으로써, 제1 이미지 및 제2 이미지의 특징 표현 능력을 향상시켰다. 이로써, 제1 이미지 및 제2 이미지 사이의 유사성을 판단하는 정보를 보다 많이 획득하고, 나아가 표적 검색의 정밀도를 향상시킬 수 있다.

이하 구체적인 실시예를 통해, 본 출원의 기술방안 및 본 출원의 기술방안이 상기 기술과제를 어떻게 해결하는지 상세히 설명한다. 이하 몇 가지 구체적인 실시예는 서로 결합할 수 있으며, 동일하거나 유사한 개념 또는 과정에 대해서는 일부 실시예에서 다시 서술하지 않을 수 있다.이하 첨부도면을 조합해 본 출원의 실시예에 대해 설명한다.

도 1은 본 출원 실시예에서 제공하는 표적 검출 방법의 흐름도이다. 본 출원 실시예에서는 선행기술의 상술한 문제점에 대해 표적 검출 방법을 제공했으며, 상기 방법의 구체적인 단계는 다음과 같다.

S101: 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계.

본 실시예에서 제2 이미지는 표적 검색이 필요한 이미지로서, 표적 검색을 통해 제2 이미지에 포함된 검색할 표적이 있는 픽셀 영역을 검출할 수 있다. 여기에서, 검색할 표적은 실제 상황에 따라 확정할 수 있다. 예를 들어 동물, 식물, 인물, 차량 등일 수 있으며, 이에 한정하지 않는다. 라벨 정보는 제1 이미지 중 검색할 표적의 윤곽 정보, 픽셀 정보 등일 수 있으며, 이에 한정하지 않는다. 선택적으로, 라벨 정보는 이진화 라벨일 수 있고, 이진화 라벨에서 표적이 위치하는 픽셀 포인트 영역과 이미지 중 기타 영역의 픽셀 값은 서로 다르다.

본 실시예의 표적 검출 방법은 차량의 표적 검출 과정에 적용할 수 있고, 차량은 자동 주행 차량 또는 첨단 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 탑재된 차량 등일 수 있다. 표적 검출 방법은 로봇에도 적용할 수 있다는 점을 이해할 수 있다. 차량을 예로 들면, 제1 이미지 및 제2 이미지는 차량 상의 이미지 수집 디바이스로부터 수집한 것일 수 있고, 이미지 수집 디바이스는 단안 카메라, 양안 카메라와 같은 카메라일 수 있다.

본 실시예에서는, 특징추출 알고리즘을 통해 제1 이미지에 대해 복수의 서로 다른 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵을 얻고, 제2 이미지에 대해 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제2 특징 맵을 얻을 수 있다. 여기에서, 특징추출 알고리즘은 CNN(Convolutional Neural Networks, 컨볼루션 신경망) 알고리즘, LBP(Local Binary Pattern, 국부 이진 패턴) 알고리즘, SIFT(Scale-invariant feature transform, 척도 불변 특징 변환) 알고리즘, HOG(Histogram of Oriented Gradient, 기울기 방향성 히스토그램) 알고리즘 등일 수 있으며, 이에 한정하지 않는다.

본 실시예에서, 특징추출 알고리즘이 CNN (Convolutional Neural Networks, 컨볼루션 신경망)인 경우, 본 실시예의 표적 검출 방법은 도 2에 도시한 표적 검출 모델에 적용할 수 있다. 도 2에 도시한 바와 같이, 상기 표적 검출 모델(20)은 특징추출 네트워크(21), 척도변환 모듈(22) 및 컨볼루션 네트워크(23)를 포함한다. 여기에서 특징추출 네트워크(21)는 신경망으로서, 특징추출 네트워크(21)는 VGG(Visual Geometry Group) 네트워크, Resnet 네트워크 또는 기타 범용 이미지 특징추출 네트워크 등과 같은 기존의 네트워크 아키텍처를 채택할 수 있다. 예를 들어, 제1 이미지 및 제2 이미지를 동시에 특징추출 네트워크(21)에 입력해 복수의 서로 다른 척도의 특징추출을 진행할 수 있다. 또한 2개의 특징추출 네트워크(21)를 설치할 수도 있다. 이 경우 이 2개의 특징추출 네트워크(21)가 동일한 네트워크 아키텍처 및 네트워크 매개변수를 가지며, 제1 이미지 및 2 이미지를 각각 이 2개의 특징추출 네트워크(21)에 입력해, 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행한다. 예를 들어, 사전에 복수의 서로 다른 척도를 지정하고 각각의 척도를 대상으로 제1 이미지 및 제2 이미지에 대해 각각 해당 척도의 특징추출을 진행해, 해당 척도의 제1 특징 맵 및 제2 특징 맵을 얻을 수 있다.

S102: 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계. 제1 이미지의 라벨은 제1 이미지에 포함된 검색할 표적을 라벨링한 결과이다.

본 실시예에서, 각 척도의 제1 특징 맵, 제2 특징 맵을 대상으로 제1 이미지의 라벨 정보를 결합해, 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타내는 유사도 맵을 얻을 수 있다. 그 다음 서로 다른 척도의 유사도 맵을 통해 제2 이미지 중 검색할 표적을 확정할 수 있다.

본 실시예에서는 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻고; 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 제2 이미지 중 검색할 표적을 확정하며; 제1 이미지의 라벨은 제1 이미지에 포함된 검색할 표적을 라벨링한 결과이다. 서로 다른 척도의 제1 특징 맵 및 제2 특징 맵을 획득해 제1 이미지 및 제2 이미지의 특징 표현 능력을 향상시킴으로써 제1 이미지 및 제2 이미지 사이의 유사성을 판단할 정보를 보다 많이 획득할 수 있게 되므로, 단일샘플에 대해 후속 표적 검출을 진행할 경우 입력된 특징을 보다 풍부하게 가질 수 있다. 이로써, 단일샘플 의미론적 분할의 분할 정밀도를 향상시키고 나아가 표적 검출의 정밀도를 향상시킬 수 있다.

본 출원 실시예에서, 제1 이미지에 검색할 표적과 동일한 류의 표적이 포함되어 있다면, 제1 이미지에 포함된, 검색할 표적과 동일한 류의 표적의 모습, 무늬, 색상 등의 정보는 제1 이미지에 포함된, 검색할 표적과 동일한 류의 표적의 모습, 무늬, 색상 등의 정보와 서로 다를 수 있다. 예를 들어, 검색할 표적이 신호등이고 제1 이미지에 포함된 신호등이 수직 배열인 경우, 제2 이미지에 신호등이 포함되어 있다면 제2 이미지 내의 신호등은 수평 배열일 수 있고, 제1 이미지와 제2 이미지에서의 신호등의 상태는 일치하지 않을 수 있다.

도 3에 도시한 바와 같이, 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 상기 단계는, 제1 이미지 및 제2 이미지에 대해 각각 특징추출을 진행해 제1 특징 맵 및 제2 특징 맵을 얻는 단계 S301을 포함한다.

도 2에 도시한 바와 같이, 특징추출 네트워크(21)는 제1 컨볼루션 모듈(211), 제2 컨볼루션 모듈(212) 및 제3 컨볼루션 모듈(213)을 포함한다. 여기에서, 제1 컨볼루션 모듈(211)은 차례대로 연결된 3개의 컨볼루션 층을 포함하고, 제2 컨볼루션 모듈(212) 및 제3 컨볼루션 모듈(213)은 각각 1개의 컨볼루션 층을 포함한다.

예를 들어, 제1 이미지 및 제2 이미지를 도 2에 도시한 바와 같은 제1 컨볼루션 모듈(211)에 동시에 입력할 수 있다. 제1 컨볼루션 모듈(211)은 제1 이미지 및 제2 이미지에 따라 상응하는 특징추출 결과를 각각 출력하고, 이어서 제1 컨볼루션 모듈(211)은 제1 이미지 및 제2 이미지에서 출력된 특징추출 결과에 따라 다시 제2 컨볼루션 모듈(212)에 입력한다.제2 컨볼루션 모듈(212)은 제1 컨볼루션 모듈(211)에 따라 제1 이미지 및 제2 이미지의 특징추출 결과를 기반으로 상응하는 특징추출 결과를 각각 출력하고, 이어서 제2 컨볼루션 모듈(212)은 제1 컨볼루션 모듈(211)에 따라 제1 이미지 및 제2 이미지의 특징추출 결과에서 각각 출력된 특징추출 결과를 기반으로 다시 제3 컨볼루션 모듈(213)에 입력해, 제3 컨볼루션 모듈(213)을 통해 계속해서 제2 컨볼루션 모듈(212)에서 출력된 특징추출 결과에 따라 특징추출을 진행한다. 이로써, 제1 이미지의 특징추출 결과 및 제2 이미지의 특징추출 결과를 각각 출력하면 각각 제1 특징 맵 및 제2 특징 맵이다.

S302: 제1 특징 맵 및 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계.

도 2에 도시한 바와 같이, 제1 특징 맵 및 제2 특징 맵을 각각 척도변환 모듈(22)에 입력해, 척도변환 모듈(22)을 통해 제1 특징 맵, 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행함으로써, 제1 이미지 및 제2 이미지를 각각 복수의 서로 다른 척도의 특징 맵으로 표현한다.

선택적으로, 제1 특징 맵 및 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행하는 단계는, 제1 특징 맵 및 제2 특징 맵에 대해 각각 적어도 두 번 다운 샘플링을 진행하는 단계를 포함한다.

선택적으로, 제1 특징 맵 및 제2 특징 맵에 대해 각각 적어도 두 번 다운 샘플링을 진행하는 단계는, 각각 제1 샘플링율로 제1 특징 맵 및 제2 특징 맵에 대해 다운 샘플링을 진행해, 제1 이미지 대비 제1 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵을 얻는 단계; 및 제1 이미지 대비 제1 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵에 대해 각각 제2 샘플링율로 다운 샘플링을 진행해, 제1 이미지 대비 제2 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵을 얻는 단계를 포함하며, 제2 배수는 제1 배수보다 크다.

예를 들어, 제1 샘플링율로 제1 특징 맵에 대해 다운 샘플링을 진행해, 제1 이미지 대비 제1 배수만큼 다운 샘플링한 제1 특징 맵을 얻고, 이어서 제2 샘플링율로 제1 이미지 대비 제1 배수만큼 다운 샘플링한 제1 특징 맵에 대해 다운 샘플링을 진행해, 제1 이미지 대비 제2 배수만큼 다운 샘플링한 제1 특징 맵을 얻는다. 여기에서, 제2 배수는 제1 배수보다 크다. 마찬가지로, 제2 특징 맵에 대해서도 제1 샘플링율로 다운 샘플링을 진행해, 제2 이미지 대비 제1 배수만큼 다운 샘플링한 제2 특징 맵을 얻고, 이어서 제2 샘플링율로 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵에 대해 다운 샘플링을 진행해, 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵을 얻는다.

선택적으로, 각각 제1 샘플링율로 제1 특징 맵 및 제2 특징 맵에 대해 다운 샘플링을 진행해, 제1 이미지 대비 제1 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵을 얻은 후, 본 출원 실시예에 따른 방법은,제1 이미지 대비 제2 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제2 배수만큼 다운 샘플링한 제2 특징 맵에 대해 각각 제3 샘플링율로 다운 샘플링을 진행해, 제1 이미지 대비 제3 배수만큼 다운 샘플링한 제1 특징 맵 및 제2 이미지 대비 제3 배수만큼 다운 샘플링한 제2 특징 맵을 얻는 단계를 포함하며, 제3 배수는 제2 배수보다 크다. 선택적으로, 제1 배수, 제2 배수 및 제3 배수는 각각 8배, 16배 및 32배이다.

선택적인 일 예시에서, 척도변환 모듈(22)은 대칭 캐스케이드 구조를 채택할 수 있다. 도 4에 도시한 바와 같이, 대칭 캐스케이드 구조는 서로 대칭되게 설치되는 2개의 캐스케이드 구조를 포함한다. 여기에서, 각 캐스케이드 구조는 차례대로 연결되는 3개의 샘플링 유닛을 포함한다. 이해하기 편리하도록, 이하 2개의 캐스케이드 구조를 각각 제1 캐스케이드 구조(41) 및 제2 캐스케이드 구조(42)로 지칭한다. 제1 캐스케이드 구조에 포함된 3개의 샘플링 유닛은 각각 제1 샘플링 유닛, 제2 샘플링 유닛 및 제3 샘플링 유닛으로 지칭하고, 제2 캐스케이드 구조에 포함된 3개의 샘플링 유닛은 각각 제4 샘플링 유닛, 제5 샘플링 유닛 및 제6 샘플링 유닛으로 지칭한다. 여기에서, 제1 샘플링 유닛과 제4 샘플링 유닛의 샘플링율이 동일하고, 제2 샘플링 유닛과 제5 샘플링 유닛의 샘플링율이 동일하며, 제3 샘플링 유닛과 제6 샘플링 유닛의 샘플링율이 동일하다. 예를 들어, 제1 샘플링 유닛과 제4 샘플링 유닛은 각각 제1 샘플링율로 제1 특징 맵 및 제2 특징 맵을 샘플링해, 제1 이미지 및 제2 이미지 대비 8배 다운 샘플링한 제1 특징 맵 및 제2 특징 맵을 출력한다. 제2 샘플링 유닛과 제5 샘플링 유닛은 제1 샘플링 유닛 및 제4 샘플링 유닛에서 출력된 결과에 대해 각각 제2 샘플링율로 계속해서 샘플링해, 제1 이미지 및 제2 이미지 대비 16배 다운 샘플링한 제1 특징 맵 및 제2 특징 맵을 출력한다. 제3 샘플링 유닛과 제6 샘플링 유닛은 제2 샘플링 유닛 및 제5 샘플링 유닛에서 출력된 결과에 대해 각각 제3 샘플링율로 계속해서 샘플링해, 제1 이미지 및 제2 이미지 대비 32배 다운 샘플링한 제1 특징 맵 및 제2 특징 맵을 출력한다.

본 실시예는 도 4에 도시한 대칭 캐스케이드 구조를 채택해 제1 특징 맵 및 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행한다. 예를 들어, 제1 캐스케이드 구조(41)를 채택해 제1 특징 맵에 대해 서로 다른 척도의 변환을 진행할 때, 제1 특징 맵을 각각 차례대로 제1 샘플링 유닛, 제2 샘플링 유닛 및 제3 샘플링 유닛에 입력해, 각각 제1 샘플링 유닛, 제2 샘플링 유닛 및 제3 샘플링 유닛을 통해 서로 다른 샘플링율로 다운 샘플링함으로써, 제1 이미지 크기 대비 각각 8배, 16배 및 32배 다운 샘플링한 제1 특징 맵을 출력한다. 마찬가지로, 제2 캐스케이드 구조(42)를 채택해 제2 특징 맵에 대해 서로 다른 척도의 변환을 진행할 때, 제2 특징 맵을 각각 차례대로 제4 샘플링 유닛, 제5 샘플링 유닛 및 제6 샘플링 유닛에 입력해, 각각 제4 샘플링 유닛, 제5 샘플링 유닛 및 제6 샘플링 유닛을 통해 서로 다른 샘플링율로 다운 샘플링함으로써, 제2 이미지 크기 대비 각각 8배, 16배 및 32배 다운 샘플링한 제2 특징 맵을 출력한다.

상기 제1 캐스케이드 구조(41) 및 제2 캐스케이드 구조(42)는 2단 캐스케이드 구조일 수도 있다는 점을 이해해야 한다. 예를 들어, 제1 캐스케이드 구조(41) 및 제2 캐스케이드 구조(42)는 각각 차례대로 연결된 2개의 샘플링 유닛을 포함한다.

선택적으로, 복수의 서로 다른 척도의 제1 특징 맵과 제1 이미지의 라벨, 및 상응하는 척도의 제2 특징 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 단계는, 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해 계산 결과를 얻는 단계; 계산 결과에 따라 제2 이미지의 마스크코드 이미지를 확정하는 단계; 및 마스크코드 이미지에 따라 제2 이미지 중 검색할 표적을 확정하는 단계를 포함한다. 선택적으로, 사전 설정된 계산 규칙은 내적 계산 규칙 또는 코사인 거리의 계산 규칙을 포함한다. 여기에서, 제1 이미지의 라벨은 이미지 중의 표적 또는 객체의 카테고리의 정보를 말한다.

사전 설정된 계산 규칙이 내적인 경우를 예로 들면, 도 2에 도시한 바와 같이, 각 척도의 제1 특징 맵 및 제1 이미지의 라벨은 모두 하나의 특징 벡터를 형성할 수 있다. 예를 들어, 제1 이미지 대비 각각 8배, 16배 및 32배 다운 샘플링한 제1 특징 맵 및 제1 이미지의 라벨에 대해 보간법으로 연산해 하나의 특징 벡터를 형성하고, 이하 제1 특징 벡터, 제2 특징 벡터 및 제3 특징 벡터로 지칭한다. 그 다음, 제1 특징 벡터 및 제2 이미지 대비 8배 다운 샘플링한 제2 특징 맵에 대해 내적 연산을 진행하고, 제2 특징 벡터 및 제1 이미지 대비 16배 다운 샘플링한 제2 특징 맵에 대해 내적 연산을 진행하고, 제3 특징 벡터 및 제1 이미지 대비 32배 다운 샘플링한 제2 특징 맵에 대해 내적 연산을 진행해, 3개의 서로 다른 척도의 확률 맵을 얻는다. 3개의 서로 다른 척도의 확률 맵의 크기는 각각 제1 특징 벡터, 제2 특징 벡터 및 제3 특징 벡터의 크기와 동일하며, 3개의 서로 다른 척도의 확률 맵의 크기는 각각 제1 이미지 또는 제2 이미지 대비 8배, 16배 및 32배 다운 샘플링한 제1 특징 맵 또는 제2 특징 맵의 크기와 동일한 것으로 간주할 수도 있다. 그 후, 이 3개의 확률 맵을 컨볼루션 네트워크(23)에 입력하면, 컨볼루션 네트워크(23)가 이 3개의 확률 맵을 연결한 후 연결된 이미지에 대해 컨볼루션을 진행해, 제2 이미지의 마스크코드 이미지 mask를 출력함으로써 제2 이미지에 대한 표적 검출 효과를 달성한다.

선택적으로, 복수의 서로 다른 척도의 제1 특징 맵과 제1 이미지의 라벨, 및 상응하는 척도의 제2 특징 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 단계는, 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 및 상응하는 척도의 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 제2 이미지 중 검색할 이미지를 확정하는 단계를 포함하고; 여기에서 제3 특징 맵은 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다르다. 상기 실시예와 비교하면, 본 실시예는 제3 특징 맵을 통해 상기 실시예에서 얻은 서로 다른 척도의 내적 연산 결과를 안내하는 과정을 추가함으로써, 후속 표적 검출 정밀도를 보다 향상시켰다. 여기에서, 제3 특징 맵은 도 2에 도시한 특징추출 네트워크(21) 외의 기타 특징추출 네트워크를 채택해 특징추출을 진행할 수 있으며, 제3 특징 맵의 특징추출 네트워크의 네트워크 아키텍처 및 네트워크 매개변수는 제1, 제2 특징 맵의 네트워크 아키텍처 및 네트워크 매개변수와 서로 다르다. 예를 들어, 컨볼루션 커널이 다르다.

도 5는 본 출원의 다른 실시예에서 제공하는 표적 검출 방법의 흐름도이다. 상술한 실시예에 기초하면, 본 실시예에서 제공하는 표적 검출 방법은 구체적으로 다음과 같은 단계를 포함한다.

S501: 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계.

S502: 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해, 복수의 서로 다른 척도의 마스크코드를 얻는 단계.

해당 단계에서 얻은 마스크코드는 안내 정보로 간주되어 제3 특징 맵을 안내한다.

S503: 복수의 서로 다른 척도의 마스크코드 이미지와 상응하는 척도의 제3 특징 맵을 곱한 결과에 따라 제2 이미지 중 검색할 표적을 확정하는 단계.

본 실시예에서, 복수의 서로 다른 척도의 마스크코드 이미지와 상응하는 척도의 제3 특징 맵을 곱하는 것은, 동일한 척도의 마스크코드 이미지와 제3 특징 맵의 동일한 위치에서 마스크코드 이미지의 값(스칼라)과 제3 특징 맵의 값(벡터)을 곱하는 것을 말한다.

본 실시예의 방법은 도 6에 도시한 검출 모델에 적용할 수 있다. 도 6에 도시한 검출 모델과 도 2에 도시한 검출 모델이 서로 다른 점은, 도 2에 도시한 특징추출 네트워크(21)를 기초로 몇몇의 컨볼루션층을 추가했으며, 도 2에 도시한 대칭 캐스케이드 구조를 기초로 하나의 제3 캐스케이드 구조를 추가했다는 점이다. 여기에서, 제3 캐스케이드 구조의 구조와 제1 캐스케이드 구조 또는 제2 캐스케이드 구조의 구조는 동일하며, 그 구현 원리는 상기 실시예를 참조할 수 있다.

도 6에 도시한 바와 같이, 검출 모델(60)은 특징추출 네트워크(61), 척도변환 모듈(62) 및 컨볼루션 네트워크(63)를 포함한다. 여기에서, 특징추출 네트워크(61)는 제4 컨볼루션 모듈(611), 제5 컨볼루션 모듈(612), 제6 컨볼루션 모듈(613), 제7 컨볼루션 모듈(614), 제8 컨볼루션 모듈(615), 제9 컨볼루션 모듈(616) 및 제10 컨볼루션 모듈(617)을 포함한다. 제4 컨볼루션 모듈(611), 제5 컨볼루션 모듈(612), 제6 컨볼루션 모듈(613)과 도 2에 도시한 제1 컨볼루션 모듈(211), 제2 컨볼루션 모듈(212) 및 제3 컨볼루션 모듈(213)의 네트워크 아키텍처 및 네트워크 매개변수는 서로 동일하다. 그 작용 및 원리는 도 2에 도시한 실시예 부분을 참조할 수 있으며, 본 실시예에서는 주로 도 6과 도 2의 차이점에 대해 상세하게 설명한다. 도 2에 도시한 특징추출 네트워크(21)을 바탕으로, 제6 컨볼루션 모듈(613)(도 2의 제3 컨볼루션 모듈(213))은 그 후 제7 컨볼루션 모듈(614)에 연결되고, 제4 컨볼루션 모듈(611)(도 2의 제3 컨볼루션 모듈(211))은 그 후 차례대로 제8 컨볼루션 모듈(615), 제9 컨볼루션 모듈(616) 및 제10 컨볼루션모듈(617)에 연결되었다는 것을 볼 수 있다. 여기에서, 제6 컨볼루션 모듈(613) 및 제7 컨볼루션 모듈(614)의 출력은 또한 각각 제8 컨볼루션 모듈(615), 제9 컨볼루션 모듈(616)의 입력으로도 간주된다. 또한, 제10 컨볼루션 모듈(617)의 출력은 제3 캐스케이드 구조(33)의 입력 간주된다. 제7 컨볼루션 모듈(614)은 각각 제6 컨볼루션 모듈(613)의 출력 결과에 따라 특징추출을 진행해 제1 특징 맵 및 제2 특징 맵을 얻은 후척도변환 모듈(62)을 입력한다. 척도변환 모듈(62)과 도 2에 도시한 척도변환 모듈(22)의 구조 및 원리는 동일하다. 척도변환 모듈(62)은 각각 제1 특징 맵 및 제2 특징 맵에 대해 서로 다른 척도의 변환을 진행한다. 이와 동시에 제1 이미지의 라벨 정보 역시 척도변환 모듈(62)에 입력되고, 척도변환 모듈(62)을 통해 복수의 서로 다른 척도의 제1 특징 맵, 제2 특징 맵 및 제1 이미지의 라벨 정보에 따라 복수의 서로 다른 척도의 마스크코드 이미지 mask32x, mask16x, mask8x를 출력한다. mask32x, mask16x, mask8x는 각각 제1 특징 맵 또는 제2 특징 맵 대비 32배, 16배 및 8배 다운 샘플링한 마스크코드 이미지를 나타낸다. 척도변환 모듈(62)에서 출력된 마스크코드 이미지 mask32x, mask16x, mask8x는 제2 이미지에서 출력된 제2 이미지 대비 8배, 16배 및 32배 다운 샘플링한 제2 특징 맵에 따라, 제3 캐스케이드 구조와 함께 상응하는 픽셀 위치의 곱셈 연산을 진행해, 3개의 확률 맵을 얻는다. 그 후, 3개의 확률 맵을 컨볼루션 네트워크에 입력해 컨볼루션 등의 작업을 진행함으로써 제2 이미지에 대한 표적 검출을 구현한다.

선택적으로, 본 실시예는 제6 컨볼루션 모듈(613)을 통해 추출한 특징 맵을 직접 제3 캐스케이드 구조에 입력할 수도 있다.

선택적으로, 본 실시예는 제6 컨볼루션 모듈(613)에서 출력된, 제1 이미지를 대상으로 하는 특징 맵 및 제2 이미지를 대상으로 하는 특징 맵을 각각 제1 캐스케이드 구조 및 제2 캐스케이드 구조에 입력할 수 있다.

선택적으로, 도 2에 도시한 제1 컨볼루션 모듈, 제2 컨볼루션 모듈 및 제3 컨볼루션 모듈은 하나의 표준 VGG 네트워크 아키텍처이다. 당업자는 실제 필요에 따라 도 2에 도시한 VGG 네트워크 아키텍처 및 도 6에 도시한 제4 컨볼루션 모듈, 제5 컨볼루션 모듈, 제6 컨볼루션 모듈 및 제7 컨볼루션 모듈을 기반으로 컨볼루션 모듈의 수량을 추가하거나 감소시킬 수 있다. 본 출원 실시예에서는 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정한다. 그 다음 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해 계산 결과를 얻고, 계산 결과에 따라 제2 이미지의 마스크코드 이미지를 확정하며, 마스크코드 이미지에 따라 제2 이미지 중 검색할 표적을 확정한다. 복수의 서로 다른 척도의 마스크코드 이미지는 상응하는 척도의 제2 특징 맵 분할에 대해 유사성을 안내할 수 있다(척도변환 모듈(62)에서 출력된 마스크코드 이미지 mask32x, mask16x, mask8x는 제2 이미지에서 출력된 제2 이미지 대비 8배, 16배 및 32배 다운 샘플링한 제2 특징 맵에 따라, 제3 캐스케이드 구조와 함께 상응하는 픽셀 위치의 곱셈 연산을 진행한다). 한편, 제6 컨볼루션 모듈을 예로 들면, 제5 컨볼루션 모듈(612)이 제2 이미지의 출력 결과에 대해 제6 컨볼루션 모듈을 추가로 입력했으므로, 제6 컨볼루션 모듈은 제5 컨볼루션 모듈의 출력 결과 및 제2 이미지의 출력 결과에 따라 융합된 후 다시 특징추출을 진행할 수 있다. 이와 같이 보다 풍부한 특징 정보를 추출할 수 있고, 역방향으로 전파할 때 피드백되는 손실함수 역시 보다 풍부한 정보를 지닐 수 있어, 특징추출 네트워크 중 각 컨볼루션 모듈의 네트워크 매개변수를 보다 잘 조정할 수 있게 된다. 따라서, 후속 표적 검출 과정에서도 검출 모델의 검출 정밀도를 보다 향상시킬 수 있다.

도 7은 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다. 본 실시예에서는 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨 정보, 및 상응하는 척도의 제2 특징 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 구체적인 구현 과정에 대해 상세히 설명했다. 도 7에 도시한 바와 같이, 상기 방법은 다음과 같은 단계를 포함한다.

S701: 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 생성하는 단계.

본 실시예에서, S701은 도 1 실시예에 따른 S101과 유사하므로 여기에서는 다시 설명하지 않는다.

S702: 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계. 하나의 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타낸다.

본 실시예에서, 각 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵 사이의 특징의 유사성 정보를 포함한다.

선택적으로, S702는, 복수의 서로 다른 척도의 제1 특징 맵 및 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 및 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 유사도 맵을 얻는 단계를 포함할 수 있다.

본 실시예에서, 각 척도의 제1 특징 맵을 대상으로 해당 척도의 제1 특징 맵과 제1 이미지의 라벨 정보를 서로 곱해, 해당 척도의 제1 특징 벡터를 얻을 수 있다. 그 다음, 해당 척도의 제1 특징 벡터와 해당 척도의 제2 특징 맵을 원소에 곱해, 해당 척도의 유사도 맵을 얻는다. 해당 척도의 유사도 맵에서, 각 픽셀 위치 상에서 하나의 벡터를 통해 해당 위치에서의 제1 특징 벡터와 제2 특징 맵의 유사성을 표현한다.

내적 또는 코사인 거리를 사용해 2개의 특징 맵 사이의 유사도를 단일 채널의 유사도 맵으로 표현한 다음 단일 채널의 유사도 맵을 통해 의미론적 분할을 진행해 표적 검색을 구현하는 경우와 비교한다. 내적을 예로 들면, 2개의 특징 맵 상에서 동일한 위치에 있는 2개의 특징 벡터에 대해 내적을 구해, 각 픽셀 위치에 대응하는 수치를 얻는다. 최종적으로 얻은 유사도 맵 상에서 각 픽셀 위치는 하나의 수치에만 대응하므로 단일 채널의 특징 정보만을 나타낼 수 있고, 단일 채널의 특징 정보 지원 집합 이미지의 특징을 충분히 표현할 수 없어, 특징 맵 사이의 유사성을 설명하는 능력이 부족하게 되고 나아가 표적 검색의 정밀도가 낮아지게 된다. 본 실시예에서는 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 원소에 곱하는 방식으로 서로 다른 척도의 유사도 맵을 생성한다. 원소에 곱하는 방식으로 내적 또는 코사인 거리 방식을 대체함으로써 각 척도의 유사도 맵에 포함된 복수 채널의 유사성 정보가 유사성 특징을 보다 충분히 표현할 수 있게 되고, 나아가 표적 검색의 정밀도를 더욱 향상시킬 수 있다.

S703: 복수의 서로 다른 유사도 맵을 통합해, 통합된 유사도 맵을 얻는 단계.

본 실시예에서는 업 샘플링을 통해 서로 다른 척도의 유사도 맵을 동일한 척도의 유사도 맵으로 전환한 후 통합해, 통합된 유사도 맵을 얻는다. 구체적으로는 이하 두 가지 방식 중 임의의 한 방식으로 구현할 수 있으며, 아래에서 각각 설명한다.

첫 번째 구현방식에서, S703은 복수의 서로 다른 척도의 유사도 맵을 업 샘플링해, 척도가 동일한 복수의 유사도 맵을 얻는 단계; 및 척도가 동일한 복수의 유사도 맵을 합쳐 통합된 유사도 맵을 얻는 단계를 포함할 수 있다.

본 실시예에서, 복수의 동일한 척도의 유사도 맵을 각각 동일한 척도로 업 샘플링한 후 합침으로써, 통합된 유사도를 얻을 수 있다. 예를 들어, 3개의 유사도 맵 A, B, C를 공유하고, 이들의 척도는 차례대로 m1, m2, m3이며, m1 > m2 > m3라고 가정한다. B 및 C을 각각 업 샘플링하고, B 및 C의 척도를 모두 m1로 높일 수 있다. 그 다음, A와 업 샘플링한 B, C 이렇게 세 가지를 합쳐 통합된 유사도 맵을 얻는다. 이 때 통합된 유사도 맵의 척도는 m1이다. 또는, 하나의 척도 m4를 지정하되 m4 > m1이며, 각각 A, B, C를 업 샘플링하고 A, B, C의 척도를 모두 m4로 높인다. 그 다음, 업 샘플링한 A, B, C를 합쳐 통합된 유사도 맵을 얻는다. 해당 유사도 맵의 척도는 m4이다.

두 번째 구현방식에서 S703은,

복수의 서로 다른 척도의 유사도 맵이 유사도 맵 집합을 구성하는 단계;

유사도 맵 집합 중 척도가 가장 작은 유사도 맵을 업 샘플링해, 척도가 두 번째로 작은 유사도 맵과 척도가 동일한 유사도 맵을 얻는 단계;

얻은 유사도 맵과 척도가 두 번째로 작은 유사도 맵을 합쳐 새로운 유사도 맵을 얻는 단계; 및

유사도 맵 집합 중 업 샘플링 처리 또는 합침 처리를 하지 않은 유사도 맵과 새로운 유사도 맵을 새로운 유사도 맵 집합으로 구성하고, 마지막 유사도 맵을 얻을 때까지 업 샘플링 단계 및 합침 단계를 반복해 얻은 마지막 유사도 맵이 통합된 유사도 맵인 단계를 포함할 수 있다.

3개의 유사도 맵을 예로 들어 해당 구현방식에 대해 설명한다. 3개의 유사도 맵 A, B, C를 공유하고, 이들의 척도는 차례대로 m1, m2, m3이며, m1 > m2 > m3라고 가정한다. 먼저 C에 대해 업 샘플링을 진행해 C의 척도를 m2로 높인 다음, B와 업 샘플링한 C를 합쳐 새로운 유사도 맵 D를 얻을 수 있다. D의 척도는 m2이다. 그 다음, D에 대해 업 샘플링을 진행해 D의 척도를 m1으로 높이고, A와 업 샘플링한 D를 합쳐 최종 통합된 유사도 맵을 얻는다.

S704: 통합한 유사도 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 단계.

본 실시예에서, S704는 도 1 실시예에 따른 S102와 유사하므로 여기에서는 다시 설명하지 않는다.

본 실시예에서는 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정한 다음, 복수의 서로 다른 유사도 맵을 통합해 통합된 유사도 맵을 얻고, 통합된 유사도 맵에 따라 제2 이미지 중 검색할 표적을 확정한다. 이로써 복수의 서로 다른 척도의 유사도를 통합해, 통합된 유사도가 복수의 척도의 특징 맵을 포함할 수 있게 되며, 표적 검색의 정밀도를 보다 향상시킬 수 있다.

도 8은 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다. 본 실시예와 도 7 실시예의 차이점은, S702에서 복수의 서로 다른 척도의 유사도 맵을 확정한 후 S703에서 복수의 서로 다른 척도의 유사도 맵을 통합하기 전에, 복수의 서로 다른 척도의 유사도 맵과 상응하는 척도의 제3 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 처리된 유사도 맵을 얻는다는 점이다. 도 8에 도시한 바와 같이, 상기 방법은 다음과 같은 단계를 포함한다.

S801: 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 생성하는 단계.

본 실시예에서, S801은 도 1 실시예에 따른 S101과 유사하므로 여기에서는 다시 설명하지 않는다.

S802: 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계. 하나의 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타낸다.

본 실시예에서, S802는 도 7 실시예에 따른 S702과 유사하므로 여기에서는 다시 설명하지 않는다.

S803: 복수의 서로 다른 척도의 유사도 맵과 상응하는 척도의 제3 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 처리된 유사도 맵을 얻는 단계. 여기에서 제3 특징 맵은 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다르다.

S804: 복수의 서로 다른 척도의 처리된 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계.

본 실시예에서, S804는 도 7 실시예에 따른 S704와 유사하므로 여기에서는 다시 설명하지 않는다.

본 실시예에서는 제2 이미지에 대해 특징추출을 진행하고, 복수의 서로 다른 척도의 제2 특징 맵 뿐만 아니라 복수의 서로 다른 척도의 제3 특징 맵도 추출한다. 각 척도의 경우, 제2 이미지에 대해 서로 다른 특징추출 방식을 채택할 수 있다. 예를 들어, 서로 다른 네트워크 매개변수를 갖는 2개의 신경망을 채택해 해당 척도의 제2 특징 맵 및 제3 특징 맵을 각각 얻을 수 있다.

복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정한 후, 각 척도의 유사도 맵을 대상으로 해당 척도의 유사도 맵과 해당 척도의 제3 특징 맵을 원소에 곱해, 처리된 해당 척도의 유사도 맵을 얻는다. 그 다음, 복수의 서로 다른 척도의 처리된 유사도 맵을 통합해 통합된 유사도 맵을 얻는다.

S805: 통합한 유사도 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 단계.

본 실시예에서는 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정한 다음, 제2 이미지의 제3 특징 맵을 원소에 곱한다. 이로써, 서로 다른 척도의 유사도 맵을 사용해 제2 이미지가 분할을 진행하도록 안내해, 표적 검색의 정확도를 보다 향상시킬 수 있다.

도 9는 본 출원 실시예에서 제공하는 표적 검출 방법의 흐름도이다.

도 9에 도시한 바와 같이, 상술한 실시예의 표적 검출 방법은 신경망에 의해 실행되며, 해당 신경망은 이하 단계를 채택해 훈련해 얻는다.

S901: 제1 샘플 이미지 및 제2 샘플 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제4 특징 맵 및 복수의 서로 다른 척도의 제5 특징 맵을 얻는 단계. 여기에서, 제1 샘플 이미지 및 제2 샘플 이미지는 모두 제1 카테고리의 객체를 포함한다.

S902: 복수의 서로 다른 척도의 제4 특징 맵과 제1 샘플 이미지의 라벨, 및 상응하는 척도의 제5 특징 맵에 따라 제2 샘플 이미지 중 제1 카테고리의 객체를 확정하는 단계. 제1 샘플 이미지의 라벨은 제1 샘플 이미지에 포함된 제1 카테고리의 객체를 라벨링한 결과이다.

S903: 확정된 제2 샘플 이미지 중 제1 카테고리의 객체 및 제2 샘플 이미지의 라벨 사이의 차이에 따라 신경망의 네트워크 매개변수를 조정하는 단계. 제2 샘플 이미지의 라벨은 제2 샘플 이미지에 포함된 제1 카테고리의 객체를 라벨링한 결과이다.

본 실시예에서는 신경망을 통해 상술한 표적 검색 방식을 구현하고, 표적을 검색하기 전에 해당 신경망을 훈련할 수 있다. 구체적으로, 복수의 샘플 이미지를 포함하는 훈련 집합에서 동일한 카테고리의 객체를 포함하는 제1 샘플 이미지 및 제2 샘플 이미지를 획득할 수 있으며, 해당 객체가 이번 훈련 과정에서 검색할 표적이다. 여기에서, 훈련 집합은 복수의 부분 집합을 포함할 수 있고, 각 부분 집합 중의 샘플 이미지는 모두 동일한 카테고리의 객체를 포함한다. 예를 들어, 카테고리는 차량, 보행자, 교통 지시등(즉, 신호등) 등을 포함할 수 있고, 획득한 제1 샘플 이미지 및 제2 샘플 이미지는 모두 교통 지시등을 포함할 수 있다. 교통 지시등을 해당 회차 훈련 과정에서 검색할 표적으로 간주한다. 제1 샘플 이미지 중의 교통 지시등을 라벨링해, 제1 샘플 이미지의 라벨을 얻는다.제2 샘플 이미지 중의 교통 지시등을 라벨링해, 제2 샘플 이미지의 라벨을 얻는다.

본 실시예의 훈련 과정은 상술한 실시예의 표적 검출 방법의 과정과 유사하며, 구체적인 실시 과정은 상술한 실시예 설명을 참조할 수 있다. 설명해야 할 점은, 본 실시예에서는 신경망을 훈련함으로써 신경망이 동일한 카테고리의 이미지 사이의 연관을 식별할 수 있도록, 제1 샘플 이미지 및 제2 샘플 이미지에 동일한 카테고리의 객체가 포함되어야 한다는 점이다. 예를 들어, 훈련 단계에서는 신호등으로 신경망을 훈련할 수 있고, 테스트 단계 또는 응용 단계에서는 가로등으로 신경망을 테스트하거나 응용할 수 있다.

도 10은 본 출원의 또 다른 실시예에서 제공하는 표적 검색 방법의 흐름 설명도이다. 본 실시예에서는 도 9의 실시예에서 훈련을 완료한 신경망의 테스트 방식에 대해 상세히 설명한다. 도 10에 도시한 바와 같이, 상기 방법은 다음 단계를 포함할 수 있다.

S1001: 제1 테스트 이미지 및 제2 테스트 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 테스트 특징 맵 및 복수의 서로 다른 척도의 제2 테스트 특징 맵을 얻는 단계. 여기에서, 제1 테스트 이미지 및 상기 제2 테스트 이미지는 하나의 테스트 이미지 집합에서 유래되고, 테스트 이미지 집합 중의 각 테스트 이미지는 모두 동일한 카테고리의 객체를 포함한다.

S1002: 복수의 서로 다른 척도의 제1 테스트 특징 맵과 제1 테스트 이미지의 라벨, 및 상응하는 척도의 제2 테스트 특징 맵에 따라 제2 테스트 이미지 중 검색할 표적을 확정하는 단계. 제1 테스트 이미지의 라벨은 제1 테스트 이미지에 포함된 검색할 표적을 라벨링한 결과이다.

본 실시예에서, 사전에 동일한 카테고리의 객체를 포함하는 테스트 이미지를 하나의 테스트 이미지 집합으로 구성하고, 복수의 테스트 이미지 집합을 하나의 전체 테스트 집합으로 구성할 수 있다. 신경망을 테스트할 때, 하나의 테스트 이미지 집합에서 제1 테스트 이미지 및 제2 테스트 이미지를 선택해, 제1 테스트 이미지 및 제2 테스트 이미지를 통해 신경망을 테스트한다. 예를 들어, 가로등을 포함하는 제1 테스트 이미지 및 제2 테스트 이미지를 통해 신경망을 테스트할 수 있다.

일 예시에서, 테스트 이미지 집합에서 각 테스트 카테고리에 대해 하나의 샘플을 제1 테스트 이미지로 선택할 수 있다. 예를 들어, PASCAL VOC의 테스트 이미지 집합에서 각 카테고리(총 20류)에 대해 각각 한 장의 이미지를 제1 테스트 이미지로 선택한다. 테스트 과정에서, 테스트 이미지 집합 중 각 샘플에 대해 모두 이와 대응되는 카테고리의 제1 테스트 이미지와 테스트 데이터 쌍을 구성한 후, 도 2 또는 도 5에 도시한 모델에 입력하고 평가한다. 여기에서, 테스트 데이터 쌍 중의 테스트 이미지는 동일한 카테고리의 표적을 포함하고 있다. 이렇게 하면 무작위로 선택한 테스트 데이터 쌍으로 인해 카테고리 선택이 편중되는 종래의 문제를 방지할 수 있고, 동시에 샘플의 품질이 서로 달라 평가 지표가 안정되지 않는 문제도 해결할 수 있다. 선택적으로, 테스트 시 100번 훈련한 후 한 번 테스트할 수 있고, 120번 훈련한 후 한 번 테스트할 수도 있다. 당업자는 실제 수요에 따라 상응하도록 조정할 수 있으며, 본 실시예에서는 이에 대해 구체적으로 한정하지 않는다.

본 출원 실시예의 훈련된 신경망의 경우, 검색할 이미지의 카테고리에 대응하는 훈련 이미지의 수량이 훈련 이미지 집합에서 낮은 비율을 차지하거나 학습하지 않은 카테고리를 대하더라도, 본 실시예의 표적 방법은 이에 대해 정확하게 검출할 수 있다. 한편, 무작위로 테스트 데이터 쌍을 선택하는 본 출원 실시예의 방법은 샘플에 대한 지나친 의존을 경감하고 실제 응용 시나리오에서 수집하기 어려운 카테고리 샘플도 정확하게 검출할 수 있어, 무작위로 선택한 테스트 쌍으로 인해 카테고리 선택이 편중되는 종래의 문제를 방지할 수 있고, 동시에 지원 샘플의 품질이 서로 달라 평가 지표가 안정되지 않는 문제도 해결했다. 예를 들어, 자동 주행 시 표적 검출 작업에서, 시나리오 중 대량의 훈련 샘플을 제공하지 않는 표적 카테고리에 대해서도 정확하게 검출할 수 있다.

도 11은 본 출원 실시예에서 제공하는 지능형 주행 방법의 흐름 설명도이다. 도 11에 도시한 바와 같이, 상기 방법은 다음 단계를 포함할 수 있다.

S1101: 도로 이미지를 수집하는 단계.

S1102: 상술한 바와 같은 표적 검출 방법을 채택해, 지원 이미지 및 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 단계. 여기에서, 지원 이미지의 라벨은 지원 이미지에 포함된, 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과이다.

S1103: 검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 단계.

본 실시예에서, 지능형 주행 디바이스는 자동 주행 차량, 첨단 운전자 보조 시스템(Advanced Driving Assistance Systems, ADAS)이 탑재된 차량, 로봇 등을 포함할 수 있다. 예를 들어, 지능형 주행 디바이스가 주행 시 또는 정지 시 수집한 도로 이미지를 획득한 다음, 상기 표적 검출 방법을 사용해 도로 이미지에 대해 표적 검출을 진행할 수 있다. 상기 표적 검출 방법을 사용할 때, 도로 이미지를 상기 제2 이미지로 사용하고 지원 이미지를 상기 제1 이미지로 사용한다. 그 다음, 표적 검출 결과에 따라 지능형 주행 디바이스를 제어한다. 예를 들어, 자동 주행 차량 또는 로봇 등의 지능형 주행 디바이스에 대해 감속, 제동, 방향 전환 등의 작동을 직접 제어하거나, ADAS가 장착된 차량의 운전자에게 감속, 제동, 방향 전환 등의 명령을 발송한다. 예를 들어, 검색 결과가 지능형 주행 디바이스 앞의 교통 지시등에 빨간등으로 표시되면, 지능형 주행 디바이스가 감속해 정차하도록 제어한다. 지능형 주행 디바이스 앞에 보행자가 나타난 것으로 검색 결과가 표시되면, 지능형 주행 디바이스가 제동을 걸도록 제어한다.

도 12는 본 출원 실시예에서 제공하는 표적 검출 과정의 설명도이다. 제1 이미지를 제1 컨볼루션 신경망에 입력해 제1 이미지의 복수의 서로 다른 척도의 제1 특징 맵을 얻고, 제2 이미지를 제2 컨볼루션 신경망에 입력해 제2 이미지의 복수의 서로 다른 척도의 제2 특징 맵을 얻는다. 제2 이미지의 제2 특징 맵, 제1 이미지의 제1 특징 맵 및 제1 이미지의 라벨 정보를 생성 모듈에 입력해, 복수의 척도의 유사도 맵을 얻는다. 복수의 척도의 유사도 맵을 취합 모듈에 입력해, 통합된 유사도 맵을 얻는다. 통합된 유사도 맵을 제3 컨볼루션 신경망에 입력해 제2 이미지의 의미론적 분할도를 얻음으로써, 제2 이미지에 대한 표적 검출을 구현한다.

도 13은 본 출원 실시예에서 제공하는 생성 모듈 및 취합 모듈의 설명도이다. 도면에서 conv는 컨볼루션층을 나타내고 pool은 풀링 처리를 나타낸다. 제1 이미지의 특징 맵을 생성 모듈(131)의 제1 컨볼루션 채널에 입력해 복수의 서로 다른 척도의 제1 특징 맵을 얻는다. 제2 이미지의 특징 맵을 생성 모듈(131)의 제2 컨볼루션 채널에 입력해 복수의 서로 다른 척도의 제2 특징 맵을 얻은 후, 제1 이미지의 라벨 정보와 각각 곱셈 처리 및 풀링 처리를 진행해 제1 이미지의 복수의 서로 다른 척도의 특징 벡터를 얻는다. 제2 이미지의 복수의 서로 다른 척도의 특징 맵을 각각 대응하는 척도의 특징 벡터와 곱해, 복수의 서로 다른 척도의 유사도 맵을 얻는다. 생성 모듈(131)은 복수의 서로 다른 척도의 유사도 맵을 취합 모듈(132)에 출력하고, 취합 모듈(132)은 복수의 서로 다른 척도의 유사도 맵을 통합해, 통합된 유사도 맵을 출력한다.

도 14는 본 출원 실시예에서 제공하는 표적 검색 방법의 유사성 특징추출 방식과 내적 또는 코사인 거리로 유사성 특징을 추출하는 방식을 대비한 설명도이다. 도면에서 좌측 부분은 내적 또는 코사인 거리로 유사성 특징을 추출하는 것에 대한 설명도이다. 도면에서 우측 부분은 대응하는 픽셀 위치의 벡터를 곱해 유사성 특징을 추출하는 것에 대한 설명도이다. 본 출원 실시예에서 제시하는 방법은 원소에 곱하는 방법을 통해, 내적 또는 코사인 거리와 비교했을 때 출력되는 유사도 맵이 단일 채널에서 복수 채널로 바뀌게 된다. 이로써 유사성 정보의 채널 정보를 유지하는 동시에, 후속 컨볼루션 및 비선형 작동을 결합해 유사성 특징을 보다 합리적으로 표현할 수 있어, 표적 검출의 정밀도를 더욱 향상시킬 수 있다.

도 15는 본 출원 실시예에서 제공하는 표적 검출 장치의 구조 설명도이다. 본 출원 실시예에서 제공하는 표적 검출 장치는 표적 검출 방법 실시예에서 제공하는 처리 흐름을 실행할 수 있다. 도 15에 도시한 바와 같이, 본 실시예에서 제공하는 표적 검출 장치(150)는 특징추출 모듈(151) 및 확정 모듈(152)을 포함한다. 특징추출 모듈(151)은 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는다. 확정 모듈(152)은 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정한다. 제1 이미지의 라벨은 제1 이미지에 포함된 검색할 표적을 라벨링한 결과이다.

선택적으로, 특징추출 모듈(151)이 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻을 때, 구체적으로, 제1 이미지 및 제2 이미지에 대해 각각 특징추출을 진행해 제1 특징 맵 및 제2 특징 맵을 얻는 단계; 및 제1 특징 맵 및 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계를 포함한다.

선택적으로, 특징추출 모듈(151)이 제1 특징 맵 및 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행할 때, 구체적으로 제1 특징 맵 및 제2 특징 맵에 대해 각각 적어도 두 번 다운 샘플링을 진행하는 단계를 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정할 때, 구체적으로, 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해 계산 결과를 얻는 단계; 계산 결과에 따라 제2 이미지의 마스크코드 이미지를 확정하는 단계; 및 마스크코드 이미지에 따라 제2 이미지 중 검색할 표적을 확정하는 단계를 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정할 때, 구체적으로, 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 및 상응하는 척도의 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 제2 이미지 중 검색할 이미지를 확정하는 단계를 포함한다. 여기에서 제3 특징 맵은 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다르다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 및 상응하는 척도의 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 제2 이미지 중 검색할 이미지를 확정하는 단계는, 구체적으로, 복수의 서로 다른 척도의 제1 특징 맵과 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해, 복수의 서로 다른 척도의 마스크코드를 얻는 단계; 및 복수의 서로 다른 척도의 마스크코드 이미지와 상응하는 척도의 제3 특징 맵을 곱한 결과에 따라 제2 이미지 중 검색할 표적을 확정하는 단계를 포함한다.

선택적으로, 사전 설정된 계산 규칙은 내적 계산 규칙 또는 코사인 거리의 계산 규칙을 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 척도의 제1 특징 맵과 제1 이미지의 라벨 정보, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계는, 구체적으로, 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계로서, 하나의 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타내는 단계; 복수의 서로 다른 유사도 맵을 통합해, 통합된 유사도 맵을 얻는 단계; 및 통합된 유사도 맵에 따라 제2 이미지 중 검색할 표적을 확정하는 단계를 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 척도의 제1 특징 맵, 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계는, 구체적으로, 복수의 서로 다른 척도의 제1 특징 맵과 제1 이미지의 라벨 정보에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 및 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 제2 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 유사도 맵을 얻는 단계를 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계는 구체적으로, 복수의 서로 다른 척도의 유사도 맵을 업 샘플링해, 척도가 동일한 복수의 유사도 맵을 얻는 단계; 및 척도가 동일한 복수의 유사도 맵을 합쳐 통합된 유사도 맵을 얻는 단계를 포함한다.

선택적으로, 확정 모듈(152)이 복수의 서로 다른 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계는, 구체적으로, 복수의 서로 다른 척도의 유사도 맵이 유사도 맵 집합을 구성하는 단계; 유사도 맵 집합 중 척도가 가장 작은 유사도 맵을 업 샘플링해, 척도가 두 번째로 작은 유사도 맵과 척도가 동일한 유사도 맵을 얻는 단계; 얻은 유사도 맵과 척도가 두 번째로 작은 유사도 맵을 합쳐 새로운 유사도 맵을 얻는 단계; 및 유사도 맵 집합 중 업 샘플링 처리 또는 합침 처리를 하지 않은 유사도 맵과 새로운 유사도 맵을 새로운 유사도 맵 집합으로 구성하고, 마지막 유사도 맵을 얻을 때까지 업 샘플링 단계 및 합침 단계를 반복해 얻은 마지막 유사도 맵이 통합된 유사도 맵인 단계를 포함한다.

선택적으로, 확정 모듈(152)는, 복수의 서로 다른 척도의 유사도 맵과 상응하는 척도의 제3 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 처리된 유사도 맵을 얻는 단계로서, 여기에서 제3 특징 맵은 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다른 단계; 및 복수의 서로 다른 척도의 처리된 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계에도 사용된다.

선택적으로, 표적 검출 장치는 신경망에 의해 구현되며, 상기 장치는 이하 단계를 통해 신경망을 훈련해 얻는 데 사용되는 훈련 모듈(153)을 더 포함하고, 상기 단계는, 제1 샘플 이미지 및 제2 샘플 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제4 특징 맵 및 복수의 서로 다른 척도의 제5 특징 맵을 얻는 단계로서, 그 중 제1 샘플 이미지 및 제2 샘플 이미지는 모두 제1 카테고리의 객체를 포함하는 단계; 복수의 서로 다른 척도의 제4 특징 맵과 제1 샘플 이미지의 라벨, 및 상응하는 척도의 제5 특징 맵에 따라 제2 샘플 이미지 중 제1 카테고리의 객체를 확정하는 단계로서, 제1 샘플 이미지의 라벨은 제1 샘플 이미지에 포함된 제1 카테고리의 객체를 라벨링한 결과인 단계; 및 확정된 제2 샘플 이미지 중 제1 카테고리의 객체 및 제2 샘플 이미지의 라벨 사이의 차이에 따라 신경망의 네트워크 매개변수를 조정하는 단계로서, 제2 샘플 이미지의 라벨은 제2 샘플 이미지에 포함된 제1 카테고리의 객체를 라벨링한 결과인 단계를 포함한다.

선택적으로, 상기 장치는 훈련을 완료한 신경망을 테스트하는 테스트 모듈(154)을 더 포함하고, 테스트 모듈은 구체적으로, 제1 테스트 이미지 및 제2 테스트 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 테스트 특징 맵 및 복수의 서로 다른 척도의 제2 테스트 특징 맵을 얻는 단계로서, 그 중 제1 테스트 이미지 및 제2 테스트 이미지는 하나의 테스트 이미지 집합에서 유래되고, 테스트 이미지 집합 중의 각 테스트 이미지는 모두 동일한 카테고리의 객체를 포함하는 단계; 및 복수의 서로 다른 척도의 제1 테스트 특징 맵과 제1 테스트 이미지의 라벨, 및 상응하는 척도의 제2 테스트 특징 맵에 따라 제2 테스트 이미지 중 검색할 표적을 확정하는 단계로서, 제1 테스트 이미지의 라벨은 제1 테스트 이미지에 포함된 검색할 표적을 라벨링한 결과인 단계를 이용해 훈련을 완료한 신경망을 테스트한다.

본 출원 실시예에서 제공하는 표적 검출 장치는 상술한 표적 검출 방법의 실시예를 실행하는 데 사용될 수 있는데, 그 구현 원리와 기술효과가 유사하므로 본 실시예에 대해 여기에서는 다시 설명하지 않는다.

도 16은 본 출원 일 실시예에서 제공하는 지능형 주행 장치의 구조 설명도이다. 도 16에 도시한 바와 같이, 본 실시예에서 제공하는 지능형 주행 장치(160)는 수집 모듈(161), 검색 모듈(162) 및 제어 모듈(163)을 포함한다. 수집 모듈(161)은 도로 이미지를 수집하는 데 사용된다. 검색 모듈(162)은 본 출원 실시예에서 제공하는 표적 검출 방법을 채택해, 지원 이미지 및 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 데 사용된다. 여기에서, 지원 이미지의 라벨은 지원 이미지에 포함된, 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과이다. 제어 모듈(163)은 검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 데 사용된다.

본 출원 실시예에서 제공하는 지능형 주행 장치를 실시할 경우 전술한 지능형 주행 방법을 참고할 수 있는데, 그 구현 원리와 기술효과가 유사하므로 본 실시예에 대해 여기에서는 다시 설명하지 않는다.

도 17은 본 출원 일 실시예에서 제공하는 표적 검출 디바이스의 하드웨어 구조 설명도이다. 본 출원 실시예에서 제공하는 표적 검출 디바이스는 표적 검출 방법 실시예에서 제공하는 처리 흐름을 실행할 수 있다. 도 17에 도시한 바와 같이, 본 실시예에서 제공하는 표적 검출 디바이스(170)는 적어도 하나의 프로세서(171) 및 메모리(172)를 포함한다. 상기 표적 검출 디바이스(170)는 통신 부재(173)를 더 포함한다. 여기에서, 프로세서(171), 메모리(172) 및 통신 부재(173)는 버스(174)를 통해 연결된다.

구체적인 구현 과정에서, 적어도 하나의 프로세서(171)는 상기 메모리(172)에 저장되는 컴퓨터 실행 명령을 실행해, 적어도 하나의 프로세서(171)가 위와 같은 표적 검출 방법을 실행하도록 한다.

프로세서(171)의 구체적인 구현 과정은 상기 표적 검출 방법 실시예를 참고할 수 있는데, 그 구현 원리와 기술효과가 유사하므로 본 실시예에 대해 여기에서는 다시 설명하지 않는다.

도 18은 본 출원 일 실시예에서 제공하는 지능형 주행 디바이스의 하드웨어 구조 설명도이다. 본 출원 실시예에서 제공하는 지능형 주행 디바이스는 지능형 주행 방법 실시예에서 제공하는 처리 흐름을 실행할 수 있다. 도 18에 도시한 바와 같이, 본 실시예에서 제공하는 지능형 주행 디바이스(180)는 적어도 하나의 프로세서(181) 및 메모리(182)를 포함한다. 상기 지능형 주행 디바이스(180)는 통신 부재(183)를 더 포함한다. 여기에서, 프로세서(181), 메모리(182) 및 통신 부재(183)는 버스(184)를 통해 연결된다.

구체적인 구현 과정에서, 적어도 하나의 프로세서(181)는 상기 메모리(182)에 저장되는 컴퓨터 실행 명령을 실행해, 적어도 하나의 프로세서(181)가 위와 같은 지능형 주행 방법을 실행하도록 한다.

프로세서(181)의 구체적인 구현 과정은 상기 지능형 주행 방법 실시예를 참고할 수 있는데, 그 구현 원리와 기술효과가 유사하므로 본 실시예에 대해 여기에서는 다시 설명하지 않는다.

상기 도 17 및 도 18에 도시한 실시예에서, 프로세서는 중앙처리유닛(영문: Central Processing Unit, "CPU"라 약칭)일 수 있고, 기타 범용 프로세서, 디지털 신호 프로세서 (영문: Digital Signal Processor, "DSP"라 약칭), 전용 집적회로(영문: Application Specific Integrated Circuit, "ASIC"이라 약칭) 등일 수도 있다. 범용 프로세서는 마이크로 프로세서 또는 상기 프로세서일 수 있고, 임의의 종래의 프로세서일 수도 있다. 본 발명에서 공개한 방법의 단계는 하드웨어 프로세서의 실행에 의해 직접 수행되거나, 프로세서의 하드웨어 및 소프트웨어 모듈의 조합에 의해 실행될 수 있다.

메모리는 고속 RAM 메모리를 포함할 수 있고, 적어도 하나의 디스크 메모리와 같은 비휘발성 저장 NVM을 더 포함할 수도 있다.

버스는 업계 표준 아키텍처(Industry Standard Architecture, ISA) 버스, 주변 디바이스 상호 연결 (Peripheral Component Interconnect, PCI) 버스 또는 확장 업계 표준 아키텍처 (Extended Industry Standard Architecture, EISA) 버스 등일 수 있다. 버스는 주소 버스, 데이터 버스, 제어 버스 등으로 나눌 수 있다. 편리하게 표시하게 하기 위해, 본 출원 첨부도면의 버스는 한 줄의 버스 또는 한 유형의 버스만으로 한정하지 않는다.

다른 실시예에서, 본 출원 실시예에서는 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장매체를 더 제공하며, 상기 프로그램이 프로세서에 의해 실행될 때 상기 표적 검출 방법 또는 지능형 주행 방법의 단계를 구현한다.

또 다른 실시예에서, 본 출원 실시예에서는 명령을 작동하는 칩을 더 제공한다. 상기 칩은 메모리, 프로세서를 포함하고, 상기 메모리에는 코드 및 데이터가 저장된다. 상기 메모리는 상기 프로세서와 결합되고, 상기 프로세서는 상기 메모리 중의 코드를 작동시켜 상기 칩이 상기 표적 검출 방법 또는 지능형 주행 방법의 단계를 실행하는 데 사용되도록 한다.

또 다른 실시예에서, 본 출원 실시예에서는 명령을 포함하는 프로그램 제품을 더 제공한다. 상기 프로그램 제품이 컴퓨터에서 작동할 때 상기 컴퓨터가 상기 표적 검출 방법 또는 지능형 주행 방법의 단계를 실행하게 된다.

또 다른 실시예에서, 본 출원 실시예에서는 컴퓨터 프로그램을 더 제공한다. 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상기 표적 검출 방법 또는 지능형 주행 방법의 단계를 실행하게 된다.

본 출원에서 제공한 여러 실시예에서, 공개된 장치 및 방법은 기타 방식으로 구현될 수 있다는 것을 이해해야 한다. 예를 들어, 이상 설명한 장치 실시예는 단지 예시로서, 상기 유닛의 분할은 논리적 기능 분할일 뿐이며 실제 구현 시에는 다른 분할 방식이 있을 수 있다. 예를 들어, 복수의 유닛 또는 구성 요소는 결합되거나 또 다른 시스템에 집적될 수 있고, 또는 일부 특징이 생략되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 기타 형식일 수 있다.

분리된 구성품으로 설명한 상기 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 표시되는 구성품은 물리적 유닛일 수도 있고 아닐 수도 있다. 즉, 한 위치에 위치할 수도 있고 복수의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 이들 중 일부 또는 전부의 유닛을 선택해 본 실시예 방안의 목적을 달성할 수 있다.

또한, 본 출원의 각 실시예에서 각 기능 유닛은 하나의 처리유닛으로 집적될 수 있고, 각 유닛이 물리적으로 단독으로 존재할 수도 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛으로 집적될 수도 있다. 상기 집적 유닛은 하드웨어 형식으로 구현할 수 있고, 하드웨어에 소프트웨어 기능 유닛을 더한 형식으로 구현할 수도 있다.

상기 소프트웨어 기능 유닛의 형식으로 구현하는 집적된 유닛은 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 상기 소프트웨어 기능 유닛은 저장매체에 저장되며, 컴퓨터 디바이스(개인용 컴퓨터, 서버 또는 네트워크 디바이스 등) 또는 프로세서(processor)로 본 출원 각 실시예에 따른 방법의 일부 단계를 실행하기 위한 약간의 명령을 포함한다. 전술한 저장매체는, U디스크, 이동 하드 디스크, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

편리하고 간결한 설명을 위해 상기 각 기능 모듈의 구분만으로 예를 들어 설명했으며, 실제 응용에서는 필요에 따라 상기 기능이 서로 다른 기능 모듈에 의해 완료되도록 할당할 수 있다는 점을 당업자는 명확하게 이해할 수 있다. 즉, 장치의 내부 구조를 서로 다른 기능 모듈로 구분함으로써 위에서 설명한 기능의 전부 또는 일부를 완성할 수 있다. 위에서 설명한 장치의 구체적인 작동 과정은 전술한 방법 실시예 중 대응하는 과정을 참고할 수 있으며, 여기에서는 다시 서술하지 않는다.

마지막으로 설명할 점은, 이상 각 실시예는 단지 본 출원의 기술방안을 설명하기 위한 것일 뿐, 이를 한정하는 것은 아니라는 점이다. 전술한 각 실시예를 참조해 본 출원에 대해 상세히 설명했으나, 본 분야의 당업자는 전술한 각 실시예에 기재된 기술방안에 대해 수정하거나 그 중 일부 또는 모든 기술특징을 동등하게 교체할 수 있다는 점을 이해해야 한다. 이러한 수정 또는 교체로 인해 상응하는 기술방안의 본질이 본 출원 각 실시예에 따른 기술방안의 범위를 벗어나지는 않는다.

Claims

표적 검출 방법에 있어서,
제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계; 및
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하고, 상기 제1 이미지의 라벨은 상기 제1 이미지에 포함된 검색할 표적을 라벨링한 결과인 것을 특징으로 하는 표적 검출 방법.
제1항에 있어서,
제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 상기 단계는,
상기 제1 이미지 및 상기 제2 이미지에 대해 각각 특징추출을 진행해, 제1 특징 맵 및 제2 특징 맵을 얻는 단계; 및
상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제2항에 있어서,
상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행하는 상기 단계는,
상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 적어도 두 번 다운 샘플링을 진행하는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계는,
복수의 서로 다른 척도의 제1 특징 맵 및 상기 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계;
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해 계산 결과를 얻는 단계;
상기 계산 결과에 따라 상기 제2 이미지의 마스크코드 이미지를 확정하는 단계; 및
상기 마스크코드 이미지에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 상기 단계는,
복수의 서로 다른 척도의 제1 특징 맵, 상기 제1 이미지의 라벨 및 상응하는 척도의 상기 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 상기 제2 이미지 중 검색할 이미지를 확정하는 단계를 포함하고;
상기 제3 특징 맵은 상기 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다른 것을 특징으로 하는 표적 검출 방법.
제5항에 있어서,
복수의 서로 다른 척도의 제1 특징 맵, 상기 제1 이미지의 라벨 및 상응하는 척도의 상기 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 상기 제2 이미지 중 검색할 이미지를 확정하는 상기 단계는,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계;
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해, 복수의 서로 다른 척도의 마스크코드를 얻는 단계; 및
복수의 서로 다른 척도의 마스크코드 이미지와 상응하는 척도의 상기 제3 특징 맵을 곱한 결과에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제4항 또는 제6항에 있어서,
상기 사전 설정된 계산 규칙은 내적 계산 규칙 또는 코사인 거리의 계산 규칙을 포함하는 것을 특징으로 하는 표적 검출 방법.
제1항에 있어서,
상기 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 상기 단계는,
복수의 서로 다른 척도의 상기 제1 특징 맵, 상기 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계로서, 하나의 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타내는 단계;
복수의 서로 다른 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계; 및
통합된 유사도 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제8항에 있어서,
복수의 서로 다른 척도의 상기 제1 특징 맵, 상기 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 상기 단계는,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨 정보에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 및
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 유사도 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제8항 또는 제9항에 있어서,
복수의 서로 다른 척도의 유사도 맵을 통합해 통합된 유사도 맵을 얻는 상기 단계는,
복수의 서로 다른 척도의 유사도 맵을 업 샘플링해, 척도가 동일한 복수의 유사도 맵을 얻는 단계; 및
척도가 동일한 복수의 유사도 맵을 합쳐 통합된 유사도 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제8항 또는 제9항에 있어서,
복수의 서로 다른 척도의 유사도 맵을 통합해 통합된 유사도 맵을 얻는 상기 단계는,
척도가 서로 다른 상기 복수의 유사도 맵이 유사도 맵 집합을 구성하는 단계;
상기 유사도 맵 집합 중 척도가 가장 작은 유사도 맵을 업 샘플링해, 척도가 두 번째로 작은 유사도 맵과 척도가 동일한 유사도 맵을 얻는 단계;
얻은 유사도 맵과 척도가 두 번째로 작은 유사도 맵을 합쳐 새로운 유사도 맵을 얻는 단계; 및
상기 유사도 맵 집합 중 업 샘플링 처리 또는 합침 처리를 하지 않은 유사도 맵과 새로운 유사도 맵을 새로운 유사도 맵 집합으로 구성하고, 마지막 유사도 맵을 얻을 때까지 업 샘플링 단계 및 합침 단계를 반복해 얻은 마지막 유사도 맵이 통합된 유사도 맵인 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
복수의 서로 다른 척도의 상기 제1 특징 맵, 상기 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 상기 단계 이후, 복수의 서로 다른 척도의 유사도 맵을 통합해 통합된 유사도 맵을 얻기 전에, 상기 방법은,
복수의 서로 다른 척도의 유사도 맵과 상응하는 척도의 제3 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 처리된 유사도 맵을 얻는 단계를 더 포함하고; 그 중 상기 제3 특징 맵은 상기 제2 이미지에 따라 확정되며, 동일한 척도의 제1 특징 맵과 제3 특징 맵은 서로 다르며;
복수의 서로 다른 척도의 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계는,
복수의 서로 다른 척도의 처리된 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 방법.
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 표적 검출 방법은 신경망에 의해 실행되며, 상기 신경망은,
제1 샘플 이미지 및 제2 샘플 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제4 특징 맵 및 복수의 서로 다른 척도의 제5 특징 맵을 얻는 단계로서, 그 중 상기 제1 샘플 이미지 및 상기 제2 샘플 이미지는 모두 제1 카테고리의 객체를 포함하는 단계;
복수의 서로 다른 척도의 제4 특징 맵과 상기 제1 샘플 이미지의 라벨, 및 상응하는 척도의 상기 제5 특징 맵에 따라 상기 제2 샘플 이미지 중 상기 제1 카테고리의 객체를 확정하는 단계로서, 상기 제1 샘플 이미지의 라벨은 상기 제1 샘플 이미지에 포함된 상기 제1 카테고리의 객체를 라벨링한 결과인 단계; 및
확정된 상기 제2 샘플 이미지 중 상기 제1 카테고리의 객체 및 상기 제2 샘플 이미지의 라벨 사이의 차이에 따라 상기 신경망의 네트워크 매개변수를 조정하는 단계로서, 상기 제2 샘플 이미지의 라벨은 상기 제2 샘플 이미지에 포함된 상기 제1 카테고리의 객체를 라벨링한 결과인 단계를 이용해 훈련해 얻는 것임을 특징으로 하는 표적 검출 방법.
제13항에 있어서,
상기 신경망 훈련을 완료한 후, 상기 방법은 훈련을 완료한 신경망을 테스트하는 단계를 더 포함하고;
제1 테스트 이미지 및 제2 테스트 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 테스트 특징 맵 및 복수의 서로 다른 척도의 제2 테스트 특징 맵을 얻는 단계;
상기 제1 테스트 이미지 및 상기 제2 테스트 이미지는 하나의 테스트 이미지 집합에서 유래되고, 상기 테스트 이미지 집합 중의 각 테스트 이미지는 모두 동일한 카테고리의 객체를 포함하는 단계; 및
복수의 서로 다른 척도의 제1 테스트 특징 맵과 상기 제1 테스트 이미지의 라벨, 및 상응하는 척도의 상기 제2 테스트 특징 맵에 따라 상기 제2 테스트 이미지 중 검색할 표적을 확정하는 단계로서, 상기 제1 테스트 이미지의 라벨은 상기 제1 테스트 이미지에 포함된 검색할 표적을 라벨링한 결과인 단계를 이용해 훈련을 완료한 신경망을 테스트하는 것을 특징으로 하는 표적 검출 방법.
지능형 주행 방법에 있어서,
도로 이미지를 수집하는 단계;
제1항 내지 제14항 중 어느 한 항에 따른 방법을 이용해, 지원 이미지 및 상기 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 단계로서, 그 중 상기 지원 이미지의 라벨은 상기 지원 이미지에 포함된, 상기 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과인 단계; 및
검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 단계를 포함하는 것을 특징으로 하는 지능형 주행 방법.
표적 검출 장치에 있어서,
제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 특징추출 모듈; 및
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 확정 모듈을 포함하고, 상기 제1 이미지의 라벨은 상기 제1 이미지에 포함된 검색할 표적을 라벨링한 결과인 것을 특징으로 하는 표적 검출 장치.
제16항에 있어서,
상기 특징추출 모듈이 제1 이미지 및 제2 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻을 경우, 구체적으로,
상기 제1 이미지 및 상기 제2 이미지에 대해 각각 특징추출을 진행해 제1 특징 맵 및 제2 특징 맵을 얻는 단계; 및
상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행해, 복수의 서로 다른 척도의 제1 특징 맵 및 복수의 서로 다른 척도의 제2 특징 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제17항에 있어서,
상기 특징추출 모듈이 상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 여러 번 척도변환을 진행할 경우, 구체적으로,
상기 제1 특징 맵 및 상기 제2 특징 맵에 대해 각각 적어도 두 번 다운 샘플링을 진행하는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제16항 내지 제18항 중 어느 한 항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정할 경우, 구체적으로,
복수의 서로 다른 척도의 제1 특징 맵 및 상기 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계;
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해 계산 결과를 얻는 단계;
상기 계산 결과에 따라 상기 제2 이미지의 마스크코드 이미지를 확정하는 단계; 및
상기 마스크코드 이미지에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제16항 내지 제18항 중 어느 한 항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨, 및 상응하는 척도의 상기 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정할 경우, 구체적으로,
복수의 서로 다른 척도의 제1 특징 맵, 상기 제1 이미지의 라벨 및 상응하는 척도의 상기 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 상기 제2 이미지 중 검색할 이미지를 확정하는 단계를 포함하고;
상기 제3 특징 맵은 상기 제2 이미지에 따라 확정되며, 동일한 척도의 제2 특징 맵과 제3 특징 맵은 서로 다른 것을 특징으로 하는 표적 검출 장치.
제20항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 제1 특징 맵, 상기 제1 이미지의 라벨 및 상응하는 척도의 상기 제2 특징 맵을 상응하는 척도의 제3 특징 맵의 안내 정보로 삼아 상기 제2 이미지 중 검색할 이미지를 확정하는 상기 단계는, 구체적으로,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계;
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 사전 설정된 계산 규칙에 따라 계산해, 복수의 서로 다른 척도의 마스크코드를 얻는 단계; 및
복수의 서로 다른 척도의 마스크코드 이미지와 상응하는 척도의 상기 제3 특징 맵을 곱한 결과에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제19항에 있어서,
상기 사전 설정된 계산 규칙은 내적 계산 규칙 또는 코사인 거리의 계산 규칙을 포함하는 것을 특징으로 하는 표적 검출 장치.
제16항에 있어서,
상기 확정 모듈이 상기 복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨 정보, 및 상응하는 척도의 제2 특징 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 상기 단계는, 구체적으로,
복수의 서로 다른 척도의 상기 제1 특징 맵, 상기 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 단계로서, 하나의 척도의 유사도 맵은 해당 척도의 제1 특징 맵과 제2 특징 맵의 유사성을 나타내는 단계;
복수의 서로 다른 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계; 및
통합된 유사도 맵에 따라 상기 제2 이미지 중 검색할 표적을 확정하는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제23항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 상기 제1 특징 맵, 상기 제1 이미지의 라벨 정보 및 대응하는 척도의 제2 특징 맵에 따라 복수의 서로 다른 척도의 유사도 맵을 확정하는 상기 단계는, 구체적으로,
복수의 서로 다른 척도의 제1 특징 맵과 상기 제1 이미지의 라벨 정보에 따라 복수의 서로 다른 척도의 제1 특징 벡터를 확정하는 단계; 및
상기 복수의 서로 다른 척도의 제1 특징 벡터와 상응하는 척도의 상기 제2 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 유사도 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제23항 또는 제24항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 유사도 맵을 통합하고 통합된 유사도 맵을 얻는 상기 단계는, 구체적으로,
복수의 서로 다른 척도의 유사도 맵을 업 샘플링해, 척도가 동일한 복수의 유사도 맵을 얻는 단계; 및
척도가 동일한 복수의 유사도 맵을 합쳐 통합된 유사도 맵을 얻는 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제23항 또는 제24항에 있어서,
상기 확정 모듈이 복수의 서로 다른 척도의 유사도 맵을 통합하고 통합된 유사도 맵을 얻는 상기 단계는, 구체적으로,
척도가 서로 다른 상기 복수의 유사도 맵이 유사도 맵 집합을 구성하는 단계;
상기 유사도 맵 집합 중 척도가 가장 작은 유사도 맵을 업 샘플링해, 척도가 두 번째로 작은 유사도 맵과 척도가 동일한 유사도 맵을 얻는 단계;
얻은 유사도 맵과 척도가 두 번째로 작은 유사도 맵을 합쳐 새로운 유사도 맵을 얻는 단계; 및
상기 유사도 맵 집합 중 업 샘플링 처리 또는 합침 처리를 하지 않은 유사도 맵과 새로운 유사도 맵을 새로운 유사도 맵 집합으로 구성하고, 마지막 유사도 맵을 얻을 때까지 업 샘플링 단계 및 합침 단계를 반복해 얻은 마지막 유사도 맵이 통합된 유사도 맵인 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제23항 내지 제26항 중 어느 한 항에 있어서,
상기 확정 모듈은,
복수의 서로 다른 척도의 유사도 맵과 상응하는 척도의 제3 특징 맵을 원소에 곱해, 복수의 서로 다른 척도의 처리된 유사도 맵을 얻는 단계로서, 그 중 상기 제3 특징 맵은 상기 제2 이미지에 따라 확정되며, 동일한 척도의 제1 특징 맵과 제3 특징 맵은 서로 다른 단계; 및
복수의 서로 다른 척도의 처리된 유사도 맵을 통합해 통합된 유사도 맵을 얻는 단계에 더 사용되는 것을 특징으로 하는 표적 검출 장치.
제16항 내지 제27항 중 어느 한 항에 있어서,
상기 표적 검출 장치는 신경망에 의해 구현되며, 상기 장치는 이하 단계를 통해 상기 신경망을 훈련해 얻는 데 사용되는 훈련 모듈을 더 포함하고, 상기 단계는,
제1 샘플 이미지 및 제2 샘플 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제4 특징 맵 및 복수의 서로 다른 척도의 제5 특징 맵을 얻는 단계로서, 그 중 상기 제1 샘플 이미지 및 상기 제2 샘플 이미지는 모두 제1 카테고리의 객체를 포함하는 단계;
복수의 서로 다른 척도의 제4 특징 맵과 상기 제1 샘플 이미지의 라벨, 및 상응하는 척도의 상기 제5 특징 맵에 따라 상기 제2 샘플 이미지 중 상기 제1 카테고리의 객체를 확정하는 단계로서, 상기 제1 샘플 이미지의 라벨은 상기 제1 샘플 이미지에 포함된 상기 제1 카테고리의 객체를 라벨링한 결과인 단계; 및
확정된 상기 제2 샘플 이미지 중 상기 제1 카테고리의 객체 및 상기 제2 샘플 이미지의 라벨 사이의 차이에 따라 상기 신경망의 네트워크 매개변수를 조정하는 단계로서, 상기 제2 샘플 이미지의 라벨은 상기 제2 샘플 이미지에 포함된 상기 제1 카테고리의 객체를 라벨링한 결과인 단계를 포함하는 것을 특징으로 하는 표적 검출 장치.
제28항에 있어서,
상기 장치는,
훈련을 완료한 신경망을 테스트하는 테스트 모듈을 더 포함하고;
상기 테스트 모듈은 구체적으로,
제1 테스트 이미지 및 제2 테스트 이미지에 대해 각각 복수의 서로 다른 척도의 특징추출을 진행해, 복수의 서로 다른 척도의 제1 테스트 특징 맵 및 복수의 서로 다른 척도의 제2 테스트 특징 맵을 얻는 단계;
상기 제1 테스트 이미지 및 상기 제2 테스트 이미지는 하나의 테스트 이미지 집합에서 유래되고, 상기 테스트 이미지 집합 중의 각 테스트 이미지는 모두 동일한 카테고리의 객체를 포함하는 단계; 및
복수의 서로 다른 척도의 제1 테스트 특징 맵과 상기 제1 테스트 이미지의 라벨, 및 상응하는 척도의 상기 제2 테스트 특징 맵에 따라 상기 제2 테스트 이미지 중 검색할 표적을 확정하는 단계로서, 상기 제1 테스트 이미지의 라벨은 상기 제1 테스트 이미지에 포함된 검색할 표적을 라벨링한 결과인 단계를 이용해 훈련을 완료한 신경망을 테스트하는 것을 특징으로 하는 표적 검출 장치.
지능형 주행 장치에 있어서,
도로 이미지를 수집하는 수집 모듈;
제1항 내지 제14항 중 어느 한 항에 따른 방법을 이용해, 지원 이미지 및 상기 지원 이미지의 라벨에 따라 수집된 도로 이미지에 대해 검색할 표적을 검색하는 검색 모듈; 그 중 상기 지원 이미지의 라벨은 상기 지원 이미지에 포함된, 상기 검색할 표적과 동일한 카테고리의 표적을 라벨링한 결과이고;
검색 결과에 따라 수집된 도로 이미지의 지능형 주행 디바이스를 제어하는 제어 모듈을 포함하는 것을 특징으로 하는 지능형 주행 장치.
메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하는 표적 검출 디바이스에 있어서,
상기 프로세서가 상기 프로그램을 실행할 때 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는 표적 검출 디바이스.
메모리, 프로세서 및 상기 메모리에 저장되어 상기 프로세서에서 실행될 수 있는 컴퓨터 프로그램을 포함하는 지능형 주행 디바이스에 있어서,
상기 프로세서가 상기 프로그램을 실행할 때 제15항에 따른 방법을 구현하는 것을 특징으로 하는 지능형 주행 디바이스.
컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장매체에 있어서,
상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제14항 중 어느 한 항에 따른 표적 검출 방법을 구현하거나, 상기 프로그램이 프로세서에 의해 실행될 때 제15항에 따른 지능형 주행 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
명령을 작동하는 칩에 있어서,
상기 칩은 메모리, 프로세서를 포함하고, 상기 메모리에는 코드 및 데이터가 저장되며, 상기 메모리는 상기 프로세서와 결합되고, 상기 프로세서가 상기 메모리 중의 코드를 작동시키면 상기 칩이 제1항 내지 제14항 중 어느 한 항에 따른 표적 검출 방법을 실행하는 데 사용되거나, 상기 프로세서가 상기 메모리 중의 코드를 작동시키면 상기 칩이 제15항에 따른 지능형 주행 방법을 실행하는 데 사용되는 것을 특징으로 하는, 명령을 작동하는 칩.
명령을 포함하는 프로그램 제품에 있어서,
상기 프로그램 제품이 컴퓨터에서 작동할 때 상기 컴퓨터가 제1항 내지 제14항 중 어느 한 항에 따른 표적 검출 방법을 실행하거나, 상기 프로그램 제품이 컴퓨터에서 작동할 때 상기 컴퓨터가 제15항에 따른 지능형 주행 방법을 실행하는 것을 특징으로 하는, 명령을 포함하는 프로그램 제품.
컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제14항 중 어느 한 항에 따른 표적 검출 방법을 실행하는 데 사용되거나, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 제15항에 따른 지능형 주행 방법을 실행하는 데 사용되는 것을 특징으로 하는 컴퓨터 프로그램.