KR20210151773A

KR20210151773A - 대상 재인식 방법 및 장치, 단말 및 저장 매체

Info

Publication number: KR20210151773A
Application number: KR1020217025979A
Authority: KR
Inventors: 이시아오 게; 다펭 첸; 펭 주; 루이 자오; 홍셍 리
Original assignee: 센스타임 그룹 리미티드
Priority date: 2020-06-04
Filing date: 2020-11-03
Publication date: 2021-12-14
Also published as: TWI780567B; JP2022548187A; TW202147156A; WO2021243947A1; CN111612100A; CN111612100B

Abstract

본 발명의 실시예는 대상 재인식 방법, 장치, 저장 매체 및 컴퓨터 기기를 제공하고, 상기 대상 재인식 방법은 사전 훈련된 재인식 네트워크를 획득하는 단계; 인식될 이미지를 획득하는 단계; 및 상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하는 단계를 포함한다. 여기서, 상기 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터는 상기 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되며, 상기 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않는다.

Description

대상 재인식 방법 및 장치, 단말 및 저장 매체

본원 발명은 출원번호가 CN202010499288.7이고 출원일자가 2020년 06월 04일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 발명에 인용된다.

본 발명은 이미지 처리 기술분야에 관한 것으로, 특히 대상 재인식 방법, 장치, 저장 매체 및 컴퓨터 기기에 관한 것이다.

근년에 이르러, 인공 지능 분야에서는, 도메인 적응 전략을 사용하여 이미지 인식, 분류 및 검출 등 작업을 해결하는 것이 화제가 되었다. 예를 들어 대상(예를 들어 보행자, 차량 등)의 재인식(re-identification, re-ID) 등에 응용된다.

관련 기술에 있어서, 일반적으로 의사 라벨링(Pseudo-Labelling) 기술을 사용하여 도메인 간의 대상 재인식을 구현하고, 즉 소스 도메인 이미지 데이터에 대해 대응되는 진실 라벨을 추가하며, 소스 도메인 이미지 데이터를 사용하여 네트워크에 대해 사전 훈련을 수행하고, 사전 훈련된 네트워크를 사용하여 타깃 도메인 이미지 데이터를 클러스터링하여 의사 라벨링을 생성하며, 마지막으로 의사 라벨링을 구비한 이미지 데이터를 사용하여 네트워크에 대해 최적화를 수행하여, 최종적인 네트워크를 획득한다.

관련 기술이 네트워크에 대해 최적화를 수행할 경우, 오직 타깃 도메인 중 의사 라벨링을 구비한 이미지 데이터만 사용하여, 클러스터링에 포함되지 않는 아웃라이어를 삭제하며, 아웃라이어는 어렵지만 가치 있는 샘플 이미지 데이터일 수 있으므로, 네트워크의 클러스터링 성능을 제한하고, 나아가 네트워크의 클러스터링 결과에 대해 특정 영향을 미칠수 있다.

본 발명은 대상 재인식 방법, 장치, 저장 매체 및 컴퓨터 기기를 제공한다.

본 발명이 제공한 대상 재인식 방법은, 사전 훈련된 재인식 네트워크를 획득하는 단계; 인식될 이미지를 획득하는 단계; 상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하는 단계를 포함하며; 상기 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터는 상기 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되며, 상기 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않는다

이와 같이, 본 발명의 실시예는 클러스터링 중에 포함되지 않는 아웃라이어를 결합하여 네트워크 훈련을 수행함으로써, 재인식 네트워크의 클러스터링 성능을 향상시키는데 되움이 되어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킨다.

하나의 실시예에 있어서, 상기 재인식 네트워크의 훈련 이미지 데이터는 제2 이미지 데이터 세트를 더 포함하고, 상기 제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터는 실제 클러스터링 라벨을 포함하고; 상기 제2 이미지 데이터 세트가 배치된 이미지 데이터 도메인 및 상기 제1 이미지 데이터 세트가 배치된 이미지 데이터 도메인은 상이하다.

이와 같이, 본 발명의 실시예는 실제 클러스터링 라벨이 포함되지 않는 제1 클러스터링 이미지 데이터, 비 클러스터링 인스턴스 이미지 데이터 및 실제 클러스터링 라벨이 포함된 제2 클러스터링 이미지 데이터의 감독을 제공함으로써, 재인식 네트워크의 클러스터링 성능을 향상시키는데 되움이 되어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킨다.

하나의 실시예에 있어서, 상기 사전 훈련된 재인식 네트워크를 획득하기 전에, 상기 초기 네트워크를 획득하는 단계; 상기 훈련 이미지 데이터를 획득하는 단계; 및 상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하는 단계를 더 포함한다.

이와 같이, 본 발명의 실시예는 획득한 훈련 이미지 데이터를 통해 초기 네트워크에 대해 훈련을 수행하여, 재인식 네트워크를 획득함으로써, 재인식 네트워크의 이미지 분류 및 물체 인식 능력을 향상시킬 수 있다.

하나의 실시예에 있어서, 상기 상기 훈련 이미지 데이터를 획득하는 단계는, 상기 초기 네트워크를 통해 상기 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 얻은 초기 클러스터링 결과를 획득하는 단계; 및 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계를 포함한다.

이와 같이, 본 발명의 실시예가 타깃 도메인 이미지 데이터를 처리하기 위한 처리 프로세스는, 자체 정의 단계 크기 비교 학습 전략으로 이해할 수 있고, 즉 “간단한 것에서 어려운 것으로”의 원칙에 따라, 가장 신뢰할 수 있는 클러스터링을 먼저 획득한 다음, 클러스터링 처리함으로써 신뢰할 수 있는 클러스터링을 점진적으로 추가하여, 학습 타깃의 품질을 향상시키고, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소시킨다.

하나의 실시예에 있어서, 상기 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터를 포함하고; 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계는, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득하는 단계; 상기 제2 현재 클러스터의 밀도 지수를 결정하는 단계 - 상기 밀도 지수는 상기 제2 현재 클러스터의 이미지 데이터 개수 및 상기 제1 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제1 현재 클러스터를 상기 제2 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 및 감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트하는 단계를 포함한다.

이와 같이, 클러스터링의 밀도를 평가하여 다시 클러스터링 처리를 수행하여, 신뢰할 수 있는 클러스터링을 점진적으로 추가함으로써, 학습 타깃의 품질을 향상시키고, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소한다.

하나의 실시예에 있어서, 상기 초기 클러스터링 결과는 초기 비 클러스터링 이미지 데이터를 더 포함하고; 상기 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계는, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터의 제3 현재 클러스터에 다른 클러스터의 이미지 데이터 및 상기 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하는 단계 - 상기 다른 클러스터는 상기 초기 클러스터링 이미지 데이터 중 상기 제3 현재 클러스터와 상이한 클러스터임 - ; 상기 제4 현재 클러스터의 독립 지수를 결정하는 단계 - 상기 독립 지수는 상기 제3 현재 클러스터의 이미지 데이터 개수 및 상기 제4 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제3 현재 클러스터를 상기 제4 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 및 추가된 이미지 데이터가 상기 다른 클러스터의 이미지 데이터를 포함할 경우, 상기 다른 클러스터를 해체하는 것; 및 추가된 이미지 데이터가 상기 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트하는 것 중 적어도 하나를 수행하는 단계를 포함한다.

이와 같이, 클러스터링의 독립성을 평가하여, 다시 클러스터링 처리를 수행함으로써, 특징이 나타내는 인식률을 점진적으로 향상시킬 수 있으며, 더 많은 비 클러스터링 데이터를 새로운 클러스터링에 추가하여, 신뢰할 수 있는 클러스터링을 점진적으로 추가함으로써, 학습 타깃의 품질을 향상시키고, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소한다.

하나의 실시예에 있어서, 상기 상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하는 단계는, 상기 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정하는 단계; 상기 훈련 이미지 데이터 및 상기 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 상기 비교 손실에 기반하여 상기 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하는 단계; 상기 최적화 네트워크를 통해 상기 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하며, 클러스터링 결과에 따라 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터를 획득하는 단계; 상기 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 상기 새로운 훈련 이미지 데이터 및 상기 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 상기 재인식 네트워크를 획득하는 단계를 포함한다.

이와 같이, 본 발명의 실시예는 동적으로 네트워크를 최적화하고, 훈련 데이터를 업데이트하며, 이미지 데이터 중심을 업데이트함으로써, 재 인식 네트워크의 훈련 성능을 향상시킬 수 있어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킬 수 있다.

하나의 실시예에 있어서, 상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심을 포함하거나; 또는, 상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 상기 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함한다.

이와 같이, 비감독 학습을 통해 네트워크 훈련을 수행할 수도 있고, 제2 클러스터링 이미지 데이터를 도입하여, 반감독 학습을 사용하여 훈련을 수행할 수도 있어, 네트워크 훈련의 유연성 및 다양성을 제공한다.

하나의 실시예에 있어서, 상기 재인식 네트워크는 잔차 네트워크를 포함한다.

이와 같이, 잔차 네트워크는 잔차 블록(Residual block)으로 구성된 네트워크이므로, 네트워크 내부의 잔차 블록이 점프 연결을 사용하여, 기울기 사라짐 및 기울기 폭발 문제를 해결하는데 도움이 되고, 잔차 네트워크로 하여금 쉽게 최적화하는 특징을 구비하게 하는 동시에, 이미지 분류 및 물체 인식 성능을 향상시킬 수도 있다.

본 발명에서 제공한 대상 재인식 장치는, 사전 훈련된 재인식 네트워크를 획득하도록 구성된 네트워크 획득 모듈; 인식될 이미지를 획득하도록 구성된 이미지 획득 모듈; 및 상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하도록 구성된 재인식 모듈을 포함하며, 여기서, 상기 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터는 상기 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되며, 상기 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않는다.

본 발명은 컴퓨터 기기를 제공하고, 상기 컴퓨터 기기는 메모리, 프로세서 및 상기 메모리에 저장되고 상기 프로세서 상에서 작동 가능한 컴퓨터 프로그램을 포함하며, 상기 프로세서는 상기 프로그램을 실행할 경우 상기 대상 재인식 방법을 구현한다.

본 발명은 컴퓨터 실행 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 실행 명령어가 처리 프로세서에 의해 실행될 경우 상기 대상 재인식 방법을 구현하도록 구성된다.

본 발명의 실시예는 컴퓨터 프로그램 제품을 제공하며, 여기서, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 본 발명의 실시예의 대상 재 인식 방법에 따른 일부 또는 전부 단계를 실행하도록 작동된다. 상기 컴퓨터 프로그램 제품은 소프트웨어 설정 패키지일 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명의 실시예를 한정하려는 것은 아니다.

아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명의 다른 특징 및 측면이 더욱 명확해질 것이다.

도 1은 본 발명의 실시예에 따른 네트워크 훈련을 통해 재인식 네트워크를 획득하는 예시도이다.
도 2는 본 발명의 실시예에 따른 타깃 도메인 이미지 데이터에 대해 처리를 수행하는 예시도이다.
도 3은 본 발명의 실시예에 따른 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득하는 예시도이다.
도 4는 본 발명의 실시예에 따른 밀도 지수를 계산하는 예시도이다.
도 5는 본 발명의 실시예에 따른 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득하는 예시도이다.
도 6은 본 발명의 실시예에 따른 독립 지수를 계산하는 예시도이다.
도 7은 본 발명의 실시예에 따른 훈련 이미지 데이터를 통해 초기 네트워크에 대해 훈련을 수행하여, 재인식 네트워크를 획득하는 예시도이다.
도 8은 본 발명의 실시예에 따른 재인식 네트워크를 통해 대상 재인식을 수행하는 예시도이다.
도 9는 본 발명의 실시예에 따른 재인식 네트워크 훈련을 수행하는 방법의 예시도이다.
도 10a는 본 발명의 실시예에 따른 클러스터링 처리 방법의 예시도이다.
도 10b는 본 발명의 실시예에 따른 다른 재 클러스터링 처리 방법의 예시도이다.
도 11은 본 발명의 실시예에 따른 재인식 네트워크 훈련 장치의 예시도이다.
도 12는 본 발명의 실시예에 따른 대상 재인식 장치의 예시도이다.

본 발명의 실시예의 목적, 기술적 해결 수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결 수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예라는 것은 명백하다. 본 발명 실시예에 기반하여, 본 분야 기술자가 발명적 작업을 부여하지 않는 전제 하에서 얻은 다른 모든 실시예는 모두 본 발명의 청구범위에 속한다.

본 발명 실시예에서 사용된 용어는 다만 특정 실시예를 설명하기 위한 것으로, 본 발명을 한정하려는 것이 아니다. 본 발명 실시예 및 첨부된 청구범위에 사용된 단수 형태 “하나의” 및 “상기”는 문맥상 명확하게 다른 의미를 나타내지 않는 한, 복수 형태도 포함하도록 의도된다.

이해하여야 할 것은, 본문에서의 용어 “및/또는”은 단지 관련된 대상의 관련 관계를 서술하는 것이고, 세 종류의 관계가 존재할 수 있다는 것을 나타내며, 예를 들어, A 및/또는 B는 A가 단독으로 존해하거나, A와 B가 동시에 존해하거나, B가 단독으로 존재하는 세 종류의 경우를 나타낼 수 있다. 또한, 본문에서의 부호 “/”은 일반적으로 전후 연관 대상이 “또는”의 관계임을 의미한다.

문맥에 따라, 본문에 사용되는 용어 "만약...”, "...면"은 상황에 따라 "....할 때" 또는 "....할 경우" 또는 "결정에 응답하여” 또는 “검출에 응답하여”로 해석될 수 있다. 유사하게, 문맥에 따라, 문구 “결정하면” 또는 “검출되면(진술된 조건 또는 사건)”은 “결정되는 경우” 또는 “결정에 응답하여” 또는 “검출되는 경우(진술된 조건 또는 사건)” 또는 “검출에 응답하여(진술된 조건 또는 사건)”로 해석될 수 있다.

더 설명해야 할 것은, 용어 “포함” 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 상품 또는 시스템으로 하여금 이러한 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않는 다른 요소를 포함하도록 할 수도 있으며, 또는 이러한 상품, 또는 시스템에 고유한 요소를 포함하도록 한다. 더 많은 제한이 없는 경우, 문구 "하나의 무엇을 포함"에 의해 제한된 요소는, 상기 요소가 포함된 상품 또는 시스템에 다른 동일한 요소가 더 존재하는다는 것을 배제하지 않는다.

인공 지능(Artificial Intelligence, Ai)은 디지털 컴퓨터 또는 디지털 컴퓨터로 제어되는 기계를 사용하여 인간 지능을 시뮬레이션, 연장 및 확장하고, 환경을 인식하고, 지식을 습득하며, 지식을 사용하여 최상의 결과를 얻는 이론, 방법, 기술 및 응용 시스템이다. 다시 말하면, 인공 지능은 지능의 본질을 이해하고, 인간의 지능과 유사한 방식으로 반응할 수 있는 새로운 종류의 지능형 기계를 생산하려는 컴퓨터 과학의 종합 기술이다. 인공 지능은 다양한 지능형 기계의 설계 원리와 구현 방법을 연구하여, 기계가 감지, 추론 및 의사 결정 기능을 갖도록 한다.

인공 지능 기술은 하드웨어 수준의 기술과 소프트웨어 수준의 기술을 포함하는 광범위한 분야를 포괄하는 하나의 포괄적인 분야이다. 예를 들어, 인공 지능 기초 기술은 일반적으로 센서, 전용 인공 지능 칩, 클라우드 컴퓨팅, 분산 스토리지, 빅 데이터 처리 기술, 운영/인터렉션 시스템, 메카트로닉스 등 기술을 포함한다. 인공 지능 소프트웨어 기술은 주로 컴퓨터 비전 기술 및 기계 학습/딥러닝 등 몇 가지 중요한 방향을 포함한다.

컴퓨터 비전 기술(Computer Vision, CV)은 기계가 “볼 수 있게” 만드는 방법을 연구하는 과학이고, 본 발명의 일부 실시예에 있어서, 사람의 눈 대신 카메라 및 컴퓨터를 사용하여 타깃에 대해 인식, 추적 및 측정 등 기계 비전을 수행하고, 그래픽 처리를 하여, 사람의 눈으로 관찰하거나 또는 기기에 전송하여 검출한 이미지보다 컴퓨터 처리를 더 적합하게 하는 것을 가리킨다. 하나의 과학 분야로서, 컴퓨터 비전은 관련 이론과 기술을 연구하고, 이미지 또는 다차원 데이터에서 정보를 획득할 수 있는 인공 지능 시스템을 구축하려고 한다. 컴퓨터 비전 기술은 일반적으로 이미지 처리, 이미지 인식, 이미지 시멘틱 이해, 이미지 검색, 광학 문자 인식(Optical Character Recognition, OCR), 영상 처리, 영상 시멘틱 이해, 비디오 콘텐츠/행동 인식, 3 차원 물체 재구성, 3 차원(three dimensional, 3D) 기술, 가상 현실, 증강 현실, 동기식 위치 추적 및 지도 구축 등 기술을 포함하고, 그리고 흔히 볼수 있는 얼굴 인식, 지문 인식 등 생체 인식 기술도 포함한다.

기계 학습 (Machine Learning, ML)은 일종의 다분야 교차 학과로서, 확률 이론, 통계학, 근사 이론, 볼록 분석, 알고리즘 복잡도 이론 등 복수 개의 학과와 관련된다. 컴퓨터가 인간 학습 행동을 시뮬레이션하거나 구현하는 방법에 대한 전문적으로 연구하여, 새로운 지식 또는 기술을 습득하며, 기존 지식 구조를 재구성하여 지속적으로 자체 성능을 개선한다. 기계 학습은 인공 지능의 핵심이고, 컴퓨터를 지능적으로 만드는 근본적인 방법이며, 인공 지능의 각 분야에 적용된다. 기계 학습 및 딥러닝은 일반적으로 인공 신경망, 신뢰 네트워크, 강화 학습, 이동 학습, 귀납 학습, 교육 학습 등 기술을 포함한다.

타깃 재인식은 컴퓨터 비전 및 보안 모니터링 분야에서 중요한 문제이고, 데이터 세트 중에서 대응되는 타깃의 이미지를 검색해야 하며, 상기 타깃은 보행자, 차량 등일 수 있다. 그러나 훈련된 네트워크를 직접 상이한 모니터링 장면에 응용하면, 카메라 환경, 조명, 배경, 촬영 장비 등과 같은 이미지 도메인의 차이로 인해 네트워크가 불가피한 성능 저하를 나타낸다. 또한, 네트워크 훈련을 위해 각 모니터링 장면에 대해 상이한 훈련 데이터를 라벨링하는 것은 라벨링을 하는데 많은 인력 및 시간이 필요하기 때문에 비현실적이다.

현재 상이한 도메인 적응(Domain Adaptation, 이동 학습의 일종)을 위한 타깃 재인식 방법에 있어서, 의사 라벨링에 기반한 방법은 일반적인 방법이다. 상기 대상 재인식 방법은 라벨이 없는 타깃 도메인에서 지속적으로 클러스터링하여 의사 라벨링을 생성하여 자체 훈련을 수행하고, 가장 진보된 성능을 달성하는 것을 목표로 한다. 그러나, 클러스터링의 과정에서 특정 비정상 점이 생겨, 그 어떤 타입의 가장자리 샘플로도 분류할수 없으며, 관련 방법에서는 클러스터링의 품질을 확보하기 위해, 이런 비정상 점을 모두 직접 폐기하고, 훈련 세트로 분류하지 않으며, 즉 네트워크가 자체 훈련을 수행하는 과정에서는 타깃 도메인 중 의사 라벨링을 구비한 이미지 데이터만 사용하고, 클러스터링 중에 포함되지 않는 아웃라이어는 버려지나, 아웃라이어는 어렵지만 가치 있는 샘플 이미지 데이터일 수 있으므로, 네트워크의 클러스터링 성능을 제한하여, 네트워크의 클러스터링 결과에 일정한 영향을 미칠수 있다.

이에 기반하여, 본 발명은 대상 재인식 방법을 제안하고, 상기 대상 재인식 방법에서 사용한 재인식 네트워크는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터에 기반하여 훈련하여 획득된 것이므로, 본 발명은 클러스터링에 포함되지 않는 아웃라이어를 결합하여 네트워크 훈련을 수행하므로, 재인식 네트워크의 클러스터링 성능을 향상시키는데 되움이 되어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킨다.

본 발명의 실시예에서 제안한 대상 재인식 방법은 두 개의 부분으로 나눌수 있고, 네트워크 훈련 부분 및 네트워크 응용 부분을 포함하며; 여기서, 네트워크 훈련 부분은 기계 학습의 기술 분야에 관한 것이며, 네트워크 훈련 부분에 있어서, 기계 학습의 기술을 통해 초기 네트워크를 훈련하여 훈련된 재인식 네트워크를 획득하고; 네트워크 응용 부분에 있어서, 네트워크 훈련 부분에서 훈련하여 획득한 재인식 네트워크를 사용하므로, 인식될 이미지 중 타깃 대상의 재인식 결과를 획득한다.

이해를 돕기 위해, 본 발명의 방안 중 네트워크 훈련 부분에 대해 먼저 설명할 것이다.

이해할 수 있는 것은, 본 발명 중 네트워크 훈련 부분의 방법 단계는 단말 또는 서버에 의해 구현될 수 있다.

도 1은 본 발명의 실시예에 따른 네트워크 훈련을 통해 재인식 네트워크를 획득하는 예시도이고, 도 1에 도시된 바와 같이, 상기 처리 프로세스는 단계 S100, 단계 S200 및 단계 S300을 포함한다.

단계 S100에 있어서, 초기 네트워크를 획득하고;

단계 S200에 있어서, 훈련 이미지 데이터를 획득하며;

단계 S300에 있어서, 훈련 이미지 데이터를 통해 초기 네트워크에 대해 훈련을 수행하여, 재인식 네트워크를 획득한다.

여기서, 초기 네트워크는 초기 훈련될 네트워크이고, 상기 초기 네트워크는 일정한 대상 재인식 능력을 구비한다.

여기서, 초기 네트워크는 예를 들어 잔차 네트워크(Residual Network, ResNet) 등일 수 있고, 잔차 네트워크는 잔차 블록(Residual block)으로 구성된 네트워크이므로, 네트워크 내부의 잔차 블록이 점프 연결을 사용하여, 기울기 사라짐 및 기울기 폭발 문제를 해결하는데 도움이 되고, 잔차 네트워크로 하여금 쉽게 최적화하는 특징을 구비하게 하는 동시에, 이미지 분류 및 물체 인식 성능을 향상시킬 수도 있다.

일부 실시예에 있어서, 네트워크 훈련 방법은 비감독 학습을 사용할 수 있다. 비감독 학습은 타깃 도메인 중 라벨이 없는 이미지 데이터만 사용하여 네트워크 훈련을 수행하는 처리 과정을 가리키고, 상기 타깃 도메인은 제1 모니터링 장면일 수 있다.

비감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 재인식 네트워크의 훈련 이미지 데이터는 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함한다. 여기서, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터는 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되고, 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않으며, 제1 이미지 데이터 세트는 타깃 도메인의 이미지 데이터에 대응한다.

일부 실시예에 있어서, 네트워크 훈련 방법은 반감독 학습을 사용할 수 있다. 반감독 학습은 소스 도메인 중 라벨이 있는 이미지 데이터 및 타깃 도메인 중 라벨이 없는 이미지 데이터를 동시에 사용하여 네트워크 훈련을 수행하는 처리 과정을 가리키고, 상기 소스 도메인은 제2 모니터링 장면일 수 있다. 소스 도메인 중 라벨이 있는 이미지 데이터는 ground-truth(진실값) 라벨을 구비하고, ground-truth는 수동 표기를 사용할 수 있고, ground-truth는 네트워크 훈련 과정에서 가치 있는 감독을 제공할 수 있다.

여기서, 반감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터, 비 클러스터링 인스턴스 이미지 데이터 및 제2 이미지 데이터 세트를 포함한다.

여기서, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터는 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되고, 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않으며, 제1 이미지 데이터 세트는 타깃 도메인의 이미지 데이터에 대응한다.

제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터는 실제 클러스터링 라벨을 포함하고, 제2 이미지 데이터 세트는 소스 도메인의 이미지 데이터에 대응하고; 제2 이미지 데이터 세트가 배치된 이미지 데이터 도메인은 제1 이미지 데이터 세트가 배치된 이미지 데이터 도메인와 상이하다.

하나의 실시예에 있어서, 반감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 훈련 이미지 데이터를 획득하는 단계는 라벨이 있는 소스 도메인 이미지 데이터를 획득하는 단계, 라벨이 없는 타깃 도메인 이미지 데이터를 획득하는 단계, 및 타깃 도메인 이미지 데이터에 대해 처리를 수행하는 단계를 포함한다.

여기서, 소스 도메인 이미지 데이터를 획득할 때, 직접 라벨링이 완료된 이미지 데이터를 획득하면 된다.

일부 실시예에 있어서, 비감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 훈련 이미지 데이터를 획득하는 단계는 라벨이 없는 타깃 도메인 이미지 데이터를 획득하는 단계 및 타깃 도메인 이미지 데이터에 대해 처리를 수행하는 단계를 포함한다.

도 2는 타깃 도메인 이미지 데이터에 대해 처리를 수행하는 예시도이고, 도 2에 도시된 바와 같이, 상기 처리 프로세스는 단계 S220 및 단계 S240을 포함한다.

단계 S220에 있어서, 초기 네트워크가 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 얻은 초기 클러스터링 결과를 획득하고;

단계 S240에 있어서, 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득한다.

여기서, 제1 이미지 데이터 세트는 타깃 도메인 이미지 데이터에 대응한다. 라벨이 없는 타깃 도메인 이미지 데이터를 획득한 후, 초기 네트워크를 통해 제1 이미지 데이터 세트에 대해 초기 클러스터링 처리를 먼저 수행하여, 제1 이미지 데이터 세트에 대응되는 초기 클러스터링 결과를 획득하며, 다음, 초기 클러스터링 결과에 대해 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득한다.

여기서, 상기 타깃 도메인 이미지 데이터에 대해 처리한 처리 프로세스에 대해, 자체 정의 단계 크기 비교 학습 전략으로 이해할 수 있고, 즉“간단한 것에서 어려운 것으로”의 원칙에 따라, 가장 신뢰할 수 있는 클러스터링을 먼저 획득한 다음, 재 클러스터링 처리를 통해 신뢰할 수 있는 클러스터링을 점진적으로 추가하여, 학습 타깃의 품질을 향상시키고, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소시킨다.

하나의 실시예에 있어서, 클러스터링 신뢰도 평가 기준을 제공하고, 상기 기준은 클러스터링의 밀도를 평가하여 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행함으로써, 신뢰할 수 있는 클러스터링의 개수를 늘린다.

본 실시예에 있어서, 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터를 포함한다.

도 3은 본 발명의 실시예에서 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득하는 예시도이며, 도 3에 도시된 바와 같이, 상기 처리 프로세스는 단계 S242A, 단계 S244A, 단계 S246A 및 단계 S248A를 포함한다.

단계 S242A에 있어서, 이미지 특징 거리에 따라, 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득하며;

단계 S244A에 있어서, 제2 현재 클러스터의 밀도 지수를 결정하고, 밀도 지수는 제2 현재 클러스터의 이미지 데이터 개수 및 제1 현재 클러스터의 이미지 데이터 개수의 비율이며;

단계 S246A에 있어서, 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 대체 제1 현재 클러스터를 제2 현재 클러스터로 대체함으로써, 제1 클러스터링 이미지 데이터를 획득하며;

단계 S248A에 있어서, 감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트한다.

본 실시예는 클러스터링 표준을 높여 다시 클러스터링 처리를 수행하므로, 클러스터링의 밀도가 기설정된 요구에 도달하는지 여부를 검증한다.

동일한 클러스터링으로 분류된 각 이미지 데이터에 대해, 각 이미지 데이터의 이미지 특징 거리가 클러스터링 표준을 만족한다고 이해할 수 있고, 즉

이고, 여기서,

는 이미지 특징 거리이고,

은 클러스터링 표준에 대응되는 거리이다.

클러스터링 표준을 높인(클러스터링 표준에 대응되는 거리를 감소) 후, 예를 들어 클러스터링 표준은

가 되고,

이며, 즉 일부 이미지 데이터의 이미지 특징 거리가 클러스터링 표준보다 클 수 있고, 즉

이며, 이때, 이미지 특징 거리에 따라

의 이미지 데이터를 보류하고,

인 이미지 데이터를 제1 현재 클러스터에서 제거하며, 제1 현재 클러스터 중의 이미지 데이터의 개수를 감소하여, 새로운 제2 현재 클러스터를 획득한다.

제2 현재 클러스터를 획득한 후, 제2 현재 클러스터의 밀도 지수를 계산하고, 상기 밀도 지수는 클러스터링의 밀도를 평가하기 위한 것이다. 밀도 지수는 공식

을 통해 계산하여 획득할수 있고, 여기서, P는 밀도 지수이고, n1은 제1 현재 클러스터의 이미지 데이터 개수이며, n2는 제2 현재 클러스터의 이미지 데이터 개수이다.

도 4는 밀도 지수를 계산하는 예시도이고, 도 4에 도시된 바와 같이, 원점은 이미지 데이터를 나타내고, 흑색 원점은 보류된 이미지 데이터를 나타내며, 흰색 원점은 제거된 이미지 데이터를 나타내고, 실선 영역은 제1 현재 클러스터 clu1을 나타내며, 점선 영역은 제2 현재 클러스터 clu2를 나타내고, 도 4에서 보다시피, 제1 현재 클러스터 clu1의 이미지 데이터 개수는 7이고, 제2 현재 클러스터 clu2의 이미지 데이터 개수는 5이며, 즉 제2 현재 클러스터 clu2의 밀도 지수 P는,

이다.

밀도 지수 P를 계산하여 획득한 후, 밀도 지수 P를 상응한 제1 기설정된 임계값

와 비교하여, 비교 결과에 따라 새로운 클러스터(즉 제2 현재 클러스터)를 보류할지 여부를 결정한다.

여기서,

일 경우, 제2 현재 클러스터 clu2의 밀도 지수 P가 기설정된 밀도 요구에 도달했음을 설명하고, 이때, 제1 현재 클러스터를 해체하고, 제2 현재 클러스터를 보류하며, 제2 현재 클러스터를 사용하여 제1 클러스터링 이미지 데이터에 대해 업데이트를 수행한다. 동시에, 클러스터 중 감소된(제거된) 이미지 데이터에 대해, 상기 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트한다. 예를 들어, 도 4를 참조하면, P가 5/7이고,

가0.5일 경우,

이고, 이때, 제1 현재 클러스터를 제2 현재 클러스터로 대체함으로써, 제1 클러스터링 이미지 데이터에 대해 업데이트를 수행한다.

일 경우, 제2 현재 클러스터 clu2의 밀도 지수 P가 기설정된 밀도 요구에 도달하지 않았음을 설명하고, 이때, 제2 현재 클러스터를 해체하고, 제1 현재 클러스터를 보류한다.

본 실시예는 클러스터링의 밀도를 평가하여 다시 클러스터링 처리를 수행하여, 신뢰할 수 있는 클러스터링을 점진적으로 추가하므로, 학습 타깃의 품질을 향상하여, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소한다.

하나의 실시예에 있어서, 클러스터링 신뢰도 평가 기준을 제공하고, 상기 기준은 평가 클러스터링의 독립성를 통해 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행함으로써, 신뢰할 수 있는 클러스터링의 개수를 늘린다.

본 실시예에 있어서, 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터 및 초기 비 클러스터링 이미지 데이터를 포함한다.

도 5는 본 발명의 실시예에 있어서 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 획득하는 예시도이며, 도 5에 도시된 바와 같이, 상기 처리 프로세스는 단계 S242B, 단계 S244B, 단계 S246B 및 단계 S248B를 포함한다.

단계 S242B에 있어서, 이미지 특징 거리에 따라, 초기 클러스터링 이미지 데이터의 제3 현재 클러스터 중에 다른 클러스터의 이미지 데이터 및 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하며, 다른 클러스터는 초기 클러스터링 이미지 데이터 중 제3 현재 클러스터와 상이한 클러스터이고;

단계 S244B에 있어서, 제4 현재 클러스터의 독립 지수를 결정하고; 독립 지수는 제3 현재 클러스터의 이미지 데이터 개수 및 제4 현재 클러스터의 이미지 데이터 개수의 비율이며;

단계 S246B에 있어서, 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 제3 현재 클러스터를 제4 현재 클러스터로 대체함으로써, 제1 클러스터링 이미지 데이터를 획득하며;

단계 S248B에 있어서, 추가된 이미지 데이터가 다른 클러스터의 이미지 데이터를 포함할 경우, 다른 클러스터를 해체하는 것; 및 추가된 이미지 데이터가 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트하는 것 중 적어도 하나를 수행한다.

본 실시예는 클러스터링 표준을 저하하므로 다시 클러스터링 처리를 수행하여, 클러스터링의 독립성이 기설정된 요구에 도달하는지 여부를 검증한다.

이고, 여기서,

는 이미지 특징 거리이고,

은 클러스터링 표준에 대응되는 거리이다.

클러스터링 표준을 낮춘(클러스터링 표준에 대응되는 거리를 추가) 후, 예를 들어 클러스터링 표준은

이 되고,

이면, 비현재 클러스터의 이미지 데이터(예를 들어 다른 클러스터의 이미지 데이터 및 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나)의 이미지 특징 거리가 클러스터링 표준에 도달할 수 있고, 즉

이며, 여기서,

은 비현재 클러스터의 이미지 데이터의 이미지 특징 거리이다.

이때, 이미지 특징 거리에 따라

의 비현재 클러스터링 이미지 데이터를 제3 현재 클러스터에 추가하고, 제3 현재 클러스터 중의 이미지 데이터 개수를 추가하여, 새로운 제4 현재 클러스터를 획득한다.

이해할 수 있는 것은, 추가된 이미지 데이터는, 요구에 부합되는 다른 클러스터의 이미지 데이터만 포함할 수 있고, 요구에 부합되는 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터만 포함할 수 있거나, 또한 요구에 부합되는 다른 클러스터의 이미지 데이터 및 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 동시에 포함할 수도 있다.

제4 현재 클러스터를 획득한 후, 제4 현재 클러스터의 독립 지수를 계산하고, 상기 독립 지수는 클러스터링의 독립성을 평가하기 위한 것이다. 독립 지수는 아래 공식

를 통해 계산하여 획득할수 있고, 여기서, Q는 독립 지수이고, n3은 제3 현재 클러스터의 이미지 데이터 개수이며, n4는 제4 현재 클러스터의 이미지 데이터 개수이다.

도 6은 독립 지수를 계산하는 예시도이고, 도 6에 도시된 바와 같이, 실선 영역은 다시 클러스터링하기 전 기존 클러스터링 클러스터, 즉 초기 클러스터링 이미지 데이터 중의 클러스터를 나타내고, 제3 현재 클러스터 clu3 및 다른 클러스터 clui를 포함하며, 원점은 이미지 데이터를 나타내고, 흑색 원점은 초기 클러스터링 이미지 데이터 중의 이미지 데이터를 나타내며, 흰색 원점은 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 나타내고, 점선 영역은 제4 현재 클러스터 clu4를 나타내며, 도 6에 따르면, 제3 현재 클러스터 clu3의 이미지 데이터 개수는 2이고, 제4 현재 클러스터 clu4의 이미지 데이터 개수는 7이며, 즉 제4 현재 클러스터 clu4의 독립 지수 Q는,

이다.

독립 지수 Q를 계산하여 획득한 후, 독립 지수 Q를 상응한 제1 기설정된 임계 값

와 비교하고, 비교 결과에 따라 새로운 클러스터(즉 제4 현재 클러스터)를 보류할지 여부를 결정한다.

여기서,

일 경우, 제4 현재 클러스터 clu4의 독립 지수 Q가 기설정된 독립 요구에 도달했음을 설명하고, 이때, 제3 현재 클러스터를 해체하고, 제4 현재 클러스터를 보류하며, 제4 현재 클러스터를 사용하여 제1 클러스터링 이미지 데이터에 대해 업데이트를 수행한다.

여기서, 추가된 이미지 데이터가 다른 클러스터의 이미지 데이터를 포함할 경우, 다른 클러스터를 해체하고, 예를 들어, 제4 현재 클러스터 clu4의 독립 지수 Q가 기설정된 독립성 요구에 도달할 경우, 다른 클러스터 clui(i는 클러스터 번호를 나타내는 정수)를 해체한다.

여기서, 추가된 이미지 데이터가 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트한다.

일 경우, 제4 현재 클러스터 clu4의 밀도 지수 Q가 기설정된 독립 요구에 도달하지 않았음을 설명하고, 이때, 제4 현재 클러스터를 해체하고, 제3 현재 클러스터를 보류한다.

여기서, 추가된 이미지 데이터가 다른 클러스터의 이미지 데이터를 포함할 경우, 다른 클러스터를 보류하고, 예를 들어, 제4 현재 클러스터 clu4의 독립 지수 Q가 기설정된 독립성 요구에 도달하지 않을 경우, 다른 클러스터 clui를 보류한다.

여기서, 추가된 이미지 데이터가 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트한다.

예를 들어, 도 6을 참조하면, Q가 2/7이고,

가 0.5일 경우,

이고, 이때, 제4 현재 클러스터 clu4를 해체하고, 제3 현재 클러스터 clu3 및 다른 클러스터 clui를 보류하며, 동시에, 추가한 클러스터링되지 않는 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트한다.

본 실시예는 클러스터링의 독립성을 평가하여 다시 클러스터링 처리를 수행함으로써, 특징이 나타내는 인식률을 점진적으로 향상시킬 수 있으며, 더 많은 비 클러스터링 데이터를 새로운 클러스터링에 추가하여, 신뢰할 수 있는 클러스터링을 점진적으로 추가함으로써, 학습 타깃의 품질을 향상시키고, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소시킨다.

하나의 실시예에 있어서, 클러스터링 신뢰도 평가 기준을 제공하고, 상기 기준은 평가 클러스터링의 독립성 및 밀도를 통해 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행함으로써, 신뢰할 수 있는 클러스터링의 개수를 늘린다.

독립성 및 밀도를 통해 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하는 처리 프로세스에 관해, 상기 실시예 중의 각각 클러스터링의 독립성을 평가하여 다시 클러스터링 처리를 수행하고 클러스터링의 밀도를 평가하여 다시 클러스터링 처리를 수행하는 처리 단계를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.

여기서, 독립성 및 밀도를 동시에 결합하여 다시 클러스터링 처리를 수행할 경우, 대응되는 기설정된 임계 값은 실제 상황에 따라 설정할 수 있으며, 예를 들어,

및

을 모두 0.5 등으로 설정할 수 있다.

본 실시예는 클러스터링의 독립성 및 밀도를 평가하여 다시 클러스터링 처리를 수행하여, 신뢰할 수 있는 클러스터링을 점진적으로 추가하므로, 학습 타깃의 품질을 향상시켜, 신뢰할 수 있는 클러스터링을 추가하여 오류를 감소한다.

하나의 실시예에 있어서, 네트워크 훈련의 처리 단계에 대해 설명할 것이다.

도 7은 본 발명의 실시예에 따른 훈련 이미지 데이터를 통해 초기 네트워크에 대해 훈련을 수행하여, 재인식 네트워크를 획득하는 예시도이고, 도 7에 도시된 바와 같이, 상기 처리 프로세스 단계 S320, 단계 S340, 단계 S360 및 단계 S380을 포함한다.

단계 S320에 있어서, 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정하고;

단계 S340에 있어서, 훈련 이미지 데이터 및 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 비교 손실에 기반하여 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하며;

단계 S360에 있어서, 최적화 네트워크를 통해 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터 획득하고;

단계 S380에 있어서, 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 새로운 훈련 이미지 데이터 및 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 재인식 네트워크를 획득한다.

일부 실시예에 있어서, 비감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 훈련 데이터는 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 이에 따라, 이미지 데이터 중심은 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심 및 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심을 포함한다.

일부 실시예에 있어서, 반감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 훈련 데이터는 제1 클러스터링 이미지 데이터, 비 클러스터링 인스턴스 이미지 데이터 및 제2 클러스터링 이미지 데이터를 포함한다. 대응되게, 이미지 데이터 중심은 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함한다.

여기서, 반감독 학습을 사용하여 네트워크 훈련을 수행하는 것을 예로 들어 설명할 것이다.

(1) 획득된 훈련 이미지 데이터에 기반하여 초기의 이미지 데이터 중심을 먼저 결정한다.

제1 클러스터링 이미지 데이터에 기반하여 대응되는 제1 클러스터링 중심을 결정할 경우, 제1 클러스터링 이미지 데이터 중의 각 클러스터링에 대해, 각 클러스터링 중 이미지 데이터의 평균 특징 벡터를 각 클러스터링에 대응되는 제1 클러스터링 중심으로 할 수 있다. 이해할 수 있는 것은, 제1 클러스터링 이미지 데이터가 복수 개의 클러스터링을 포함할 경우, 제1 클러스터링 중심의 개수는 복수 개로 대응된다.

비 클러스터링 인스턴스 이미지 데이터에 기반하여 대응되는 인스턴스의 중심을 결정할 경우, 비 클러스터링 인스턴스 이미지 데이터 중의 각 별도의 인스턴스에 대해, 각 별도의 인스턴스에 대응되는 특징 벡터가 별도 인스턴스의 인스턴스 중심이다. 이해할 수 있는 것은, 비 클러스터링 인스턴스 이미지 데이터각 복수 개의 별도의 인스턴스를 포함할 경우, 인스턴스 중심의 개수는 복수 개로 대응된다.

제2 클러스터링 이미지 데이터에 기반하여 대응되는 제2 클러스터링 중심을 결정할 경우, 제2 클러스터링 이미지 데이터 중의 각 클러스터링에 대해, 각 클러스터링 중 이미지 데이터의 평균 특징 벡터를 각 클러스터링에 대응되는 제2 클러스터링 중심으로 사용할 수 있다. 이해할 수 있는 것은, 제2 클러스터링 이미지 데이터가 복수 개의 클러스터링을 포함할 경우, 제2 클러스터링 중심의 개수는 복수 개로 대응된다.

(2) 훈련 이미지 데이터 및 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 비교 손실에 기반하여 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득한다.

여기서,

는 제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터(즉 소스 도메인 데이터 )를 나타내고,

는 제1 이미지 데이터 세트(즉 타깃 도메인 데이터 )을 나타내며,

는 제1 클러스터링 이미지 데이터를 나타내고,

는 비 클러스터링 인스턴스 이미지 데이터를 나타내며, 즉

이다.

특징 벡터

에 대해, 아래의 공식 (1)을 통해 비교 손실을 계산할 수 있고, 비교 손실에 기반하여 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하며;

(1);

여기서,

는0.05로 설정 하고, <a, b>는 a, b 두 개의 특징 벡터 사이의 내적을 나타내며, 특징 벡터의 유사성을 측정하기 위한 것이고,

는 제2 클러스터링 이미지 데이터 중클러스터링의 개수를 나타내며,

는 제1 클러스터링 이미지 데이터 중클러스터링의 개수를 나타내고,

는 비 클러스터링 인스턴스 이미지 데이터 중 별도 예시의 개수를 나타내며,

는 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 나타내고,

는 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심을 나타내며,

는 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심을 나타낸다.

또한,

는 특징 벡터 f에 대응되는 데이터 중심을 나타내고, 예를 들어,

일 경우,

이고;

일 경우,

이며;

일 경우,

이다.

(3) 최적화 네트워크를 획득한 후, 최적화 네트워크를 통해 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행한다.

여기서, 본 발명의 처리 과정에 있어서, 하이브리드 메모리(hybrid memory)를 사용하여 제1 클러스터링 이미지 데이터, 비 클러스터링 인스턴스 이미지 데이터 및 제2 클러스터링 이미지 데이터를 저장할 수 있고, 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 저장할 수 있다.

이해할 수 있는 것은, 반복마다, 매번 처리되는 특징 벡터는 모두 혼합 메모리의 업데이트에 참여한다.

최적화 네트워크를 사용하여 클러스터링을 수행하는 과정에 있어서, 새로운 클러스터링 결과가 나타날 수 있으므로, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터의 업데이트 및 변경이 발생될 수 있으며, 즉 새로운 훈련 이미지 데이터를 획득한다. 새로운 훈련 이미지 데이터를 획득한 후, 업데이트 변화에 따라 혼합 메모리에 대해 업데이트를 수행하면 된다.

(4) 새로운 훈련 이미지 데이터를 획득한 후, 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 혼합 메모리에 저장된 이미지 데이터 중심을 업데이트 및 조절한다.

이해할 수 있는 것은, 제2 클러스터링 중심의 업데이트에 대해, 원래 중심의 기초 위에서 조절할 수 있고; 제1 클러스터링 중심 및 인스턴스 중심의 업데이트에 대해, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터의 업데이트 및 변경에 따라 다시 계산한다.

여기서, 제2 클러스터링 중심

의 업데이트는 아래의 공식 (2)를 통해 구현될 수 있고;

(2);

여기서,

는 현재 처리에서 제2 클러스터링 이미지 데이터에 속한 특징이고,

는 제2 클러스터링 중심을 업데이트하는 운동량 계수이며, 예를 들어,

는 0.2로 설정할 수 있다.

제1 클러스터링 중심

의 업데이트는 아래의 공식 (3)을 통해 구현될 수 있고;

(3);

여기서,

는 제1 클러스터링 이미지 데이터 중의 제 k개의 클러스터링 클러스터이고, |

|는 클러스터 중의 특징 개수를 나타낸다.

인스턴스 중심

의 업데이트는 아래의 공식 (4)를 통해 구현할 수 있고;

(4);

여기서,

은 업데이트 인스턴스 중심의 운동량 계수이고, 예를 들어,

는 0.2로 설정할 수 있다.

비 클러스터링 인스턴스 이미지 데이터 중의 이미지 데이터를 지정하고, 최적화 네트워크를 통해 상기 이미지 데이터가 제 k 개의 클러스터링 클러스터에 속하는 것을 결정될 경우, 제1 클러스터링 중심

의 업데이트 공식을 사용하여, 제1 클러스터링 중심

를 업데이트한다.

(5) 혼합 메모리에 대해 업데이트를 수행한 후, 네트워크가 수렴될 때까지 단계 (2)로 돌아가서 네트워크 반복 훈련을 수행하며, 즉 재인식 네트워크를 획득한다.

하나의 실시예에 있어서, 비감독 학습을 사용하여 네트워크 훈련을 수행할 경우, 훈련 이미지 데이터가 제2 클러스터링 이미지 데이터를 포함하지 않고, 이미지 데이터 중심이 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함하지 않는 것을 제외하고는, 원리는 반감독 학습을 사용하여 네트워크 훈련을 수행하는 원리와 유사하므로, 여기서 더 이상 설명하지 않는다.

하나의 실시예에 있어서, 본 발명의 방안 중 네트워크 응용 부분에 대해 설명할 것이다.

이해할 수 있는 것은, 본 발명에서 네트워크 응용 부분의 방법의 단계는 단말 또는 서버에 의해 구현될 수 있고, 네트워크 응용 부분의 방법의 단계의 실행 본체는 네트워크 훈련 부분의 방법의 단계의 실행 본체와 동일하거나 상이할 수 있다.

도 8은 본 발명의 실시예에 따른 재인식 네트워크를 통해 대상 재인식을 수행하는 예시도이고, 도 8에 도시된 바와 같이, 상기 처리 프로세스 단계 S400, 단계 S500 및 단계 S600을 포함한다.

단계 S400에 있어서, 사전 훈련된 재인식 네트워크를 획득하고;

단계 S500에 있어서, 인식될 이미지를 획득하며;

단계 S600에 있어서, 재인식 네트워크를 통해 인식될 이미지에 대해 재인식 처리를 수행하여, 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하고;

여기서, 재인식 네트워크는 본 발명의 이상 각 실시예 중 네트워크 훈련 부분의 방법 단계를 통해 훈련하여 획득한다.

비감독 학습 훈련을 통해 재인식 네트워크를 획득할 경우, 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터는 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되고, 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨이 포함되지 않는다.

여기서, 반감독 학습 훈련을 통해 재인식 네트워크를 획득할 경우, 재인식 네트워크의 훈련 이미지 데이터는 제2 이미지 데이터 세트를 더 포함하고, 제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터는 실제 클러스터링 라벨을 포함하고; 제2 이미지 데이터 세트가 배치된 이미지 데이터 도메인 및 제1 이미지 데이터 세트가 배치된 이미지 데이터 도메인은 상이하다.

본 실시예는 대상 재인식 방법을 제공하고, 상기 대상 재인식 방법에서 사용한 재인식 네트워크는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터에 기반하여 훈련하여 획득되며, 따라서, 본 발명은 클러스터링에 포함되지 않는 아웃라이어를 결합하여 네트워크 훈련을 수행하므로, 재인식 네트워크의 클러스터링 성능을 향상하는데 되움이 되어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킨다.

비감독 도메인 적응 문제는 소스 도메인에서 라벨이 있는 데이터를 이용하여 훈련된 모델을 라벨이 없는 타깃 도메인로 이동하여, 타깃 도메인에서 판별 능력이 있는 특징을 학습할 수 있음으로써, 효율적으로 타깃 재인식을 수행하는 것을 목표로 하며, 상기 소스 도메인은 모니터링 장면 A일 수 있고, 상기 타깃 도메인은 모니터링 장면 B일 수 있다. 소스 도메인 및 타깃 도메인의 타깃 신원이 겹치지 않으므로, 타깃 재인식의 비감독 도메인 적응 문제는 오픈 세트의 문제이고, 상기 타깃은 보행자 또는 차량 등일 수 있다.

순수 비감독 문제는 라벨이 있는 데이터 없이 판별 능력의 특징을 학습할 수 있도록 하는것을 목표로 하고, 즉 소스 도메인의 라벨이 있는 데이터의 보조가 필요 없이 직접 비감독의 방식으로 타깃 도메인에서 효율적으로 타깃 재인식을 수행할 수 있다.

현재 비감독 또는 비감독 도메인 적응의 타깃 재인식의 방법에 있어서, 의사 라벨링에 기반하는 방법은 가장 효율적이다. 상기 대상 재인식 방법은 라벨이 없는 타깃 도메인에서 지속적으로 클러스터링하여 의사 라벨링을 생성하여 자체 훈련을 수행하고, 가장 진보된 성능을 달성하는 것을 목표로 한다. 하지만 상기 대상 재인식 방법은 아래와 같은 몇 가지 결함이 존재하여, 그들의 성능의 향상을 제한하며, 그 결함은, 첫째, 클러스터링의 과정은 특정 클러스터링 비정상 샘플을 생성하므로, 즉 어떤 타입의 가장자리 샘플로도 분류할 수 없으며, 기존의 방법은 클러스터링의 품질을 확보하기 위해, 이러한 클러스터링 비정상 샘플을 모두 직접 폐기하여, 훈련 세트로 분류하지 않는다. 그러나, 이러한 클러스터링 비정상 샘플은 가치 있는 어려운 샘플로 간주되어, 학습을 수행해야 하며; 둘째, 클러스터링에 기반한 비감독 도메인 적응 알고리즘은 통상적으로 소스 도메인의 데이터를 이용하여 사전 훈련을 수행하고, 훈련된 모델을 판독 액세스하며, 클러스터링에 의해 생성된 의사 라벨링 및 라벨이 없는 타깃 도메인 샘플을 통해 훈련을 수행함으로써, 타깃 도메인로 이동한다. 상기 알고리즘은 타깃 도메인의 훈련 과정에서 가치 있는 소스 도메인 데이터를 폐기하고, 소스 도메인에 구비한 진실 라벨의 데이터를 낭비하므로, 소스 도메인의 성능을 저하시킨다. 셋째, 비감독 도메인 적응의 타깃 재인식 문제에서 인식도가 부족하고, 여기서 비감독 타깃 재인식 문제는 탐구된 적이 없다. 넷째, 관련 비교 학습 손실 함수는 인스턴스 레벨 감독만 고려한다.

본 발명의 실시예는 비감독 타깃 재인식 상의 자기 주도 비교 학습 방법을 제공하고, 동시에 소스 도메인 및 타깃 도메인에서 모든 샘플에 대해 특징 학습을 수행하기 위해 통합된 비교 학습 프레임을 제공하며, 상기 프레임은 하나의 하이브리드 메모리 모듈을 동적 업데이트하여, 따라서 동시에 소스 도메인의 진실한 레벨, 타깃 도메인의 클러스터링 레벨 및 타깃 도메인 클러스터링되지 않는 인스턴스 레벨의 감독을 제공한다.

본 발명의 실시예는 자기 주도 비교 학습 전략 및 하나의 신규 클러스터링 신뢰도 평가 기준을 제안하고, 신뢰할 수 있는 클러스터링을 통해 훈련 오차를 감소한다. 상기 전략은 점진적으로 더 많은 신뢰할 수 있는 클러스터링을 생성하여 특징 학습을 향상시키고, 따라서 클러스터링에 도움이 되는 더욱 효율적인 특징을 획득할 수 있다.

본 발명의 실시예에서 제안한 방법은 비감독 도메인 적응형 보행자 및 차량 재인식 문제에서 첨단의 인식도를 달성하고, 수동 라벨링이 없이 소스 도메인의 성능을 효율적으로 향상시킬 수 있다. 본 발명의 실시예의 방법은 비감독 타깃 재인식 문제로 간단히 확장할 수 있고, 즉 훈련 중의 소스 도메인 데이터 및 소스 도메인 레벨의 감독을 제거함으로써, 관련 방법에 비해 성능을 현저히 향상시킨다.

본 발명의 실시예에서 제안한 통합 비교 학습 프레임은 하나의 컨볼루션 뉴럴 네트워크에 기반한 이미지 인코더, 및 하이브리드 메모리 모듈을 포함하고, 상기 하이브리드 메모리 모듈은 이미지 인코더가 출력한 이미지 특징을 통해 동적 업데이트를 수행하고, 실시간 소스 도메인 레벨, 타깃 도메인 클러스터링 레벨 및 타깃 도메인 클러스터링되지 않는 인스턴스 레벨의 감독을 제공한다. 구체적으로, 하이브리드 메모리 모듈은 소스 도메인 클래스 중심, 타깃 도메인 클러스터 중심, 클러스터링되지 않은 타깃 도메인 인스턴스 특징을 감독으로 한다. 여기서, 소스 도메인 인코딩 특징은 소스 도메인 클래스 중심을 직접 업데이트하기 위한 것이고, 타깃 도메인 인코딩 특징은 인스턴스 레벨 특징을 업데이트하기 위한 것이며, 타깃 도메인의 클러스터링 중심은 업데이트된 인스턴스 특징으로 실시간으로 계산한다.

본 발명의 실시예에서 제안한 자기 주도 비교 학습 전략은 “간단한 것에서 어려운 것으로”의 원칙을 기반으로, 신뢰할 수 있는 클러스터링을 먼저 학습한 다음, 신뢰할 수 있는 클러스터링을 점진적으로 추가하여, 학습 타깃의 품질을 향상시키고, 따라서 신뢰할 수 있는 클러스터링을 추가하여 오차를 감소한다. 상기 전략은 클러스터링 신뢰도 평가 기준을 제공하고, 클러스터링의 독립성 및 긴밀성을 평가하므로 가장 신뢰할 수 있는 클러스터링을 선택하여 보류하고, 다른 클러스터링은 클러스터링이 없는 샘플로 반환되어, 인스턴스 레벨 감독을 제공한다.

상기 통합 비교 학습 프레임의 훈련 단계는 주로 아래 두 가지이고, 지속적으로 교대로 실행되며,

클러스터링 및 클러스터링 신뢰도 평가 기준을 통해, 라벨이 없는 타깃 도메인 샘플을 클러스터링 세트 및 비 클러스터링 세트 두 부분으로 분류하고, 각각 클러스터링 레벨 및 비 클러스터링의 인스턴스 레벨 감독을 제공한다.

하이브리드 메모리 모듈이 제공한 소스 도메인 레벨, 타깃 도메인 클러스터링 레벨 및 타깃 도메인 클러스터링되지 않는 인스턴스 레벨의 감독을 기반으로, 제안한 통합 비교 학습 손실을 통해 훈련을 수행하고, 따라서 이미지 인코더를 최적화하며; 이미지 인코더가 생긴 이미지 특징은 하이브리드 메모리 모듈을 동적 업데이트하기 위한 것이고, 여기서 소스 도메인 이미지는 타입을 단위로 업데이트를 수행하며, 타깃 도메인 이미지는 예시를 단위로 업데이트를 수행한다.

본 발명의 실시예는 통합 비교 학습 프레임을 제안하고, 동시에 소스 도메인 및 타깃 도메인의 모든 훈련 샘플을 학습하므로, 첨단의 성능을 획득할 수 있고; 본 발명의 실시예는 자기 주도 학습 전략을 더 제안하고, 클러스터링 신뢰도 평가 기준을 제공하므로, 신뢰할 수 있는 클러스터링을 통해 훈련 오차를 감소하며; 도메인 적응 학습 과정에 있어서, 동시에 소스 도메인 성능을 향상시킬 수 있고; 통합 비교 학습 손실 함수를 통해 동시에 레벨, 클러스터링 레벨, 인스턴스 레벨의 감독을 제공하며; 보행자 재인식, 차량 재인식의 비감독 도메인 적응 문제에서 더욱 첨단의 인식 효과를 달성하고; 더 효율적으로 라벨이 없는 타깃 도메인 데이터를 이용하여 훈련을 수행하므로, 라벨이 있는 소스 도메인 성능을 향상시키며; 라벨이 없는 데이터 확장 훈련 세트를 사용하므로 훈련 성능을 향상시킨다.

본 발명의 실시예의 알고리즘의 이미지 인코더를 이용하여, 타깃 이미지의 특징 정보를 추출할 수 있고; 본 발명의 실시예의 알고리즘 추출의 특징을 이용하여, 보안 모니터링 장면의 보행자 또는 차량에 대해 검색을 수행할 수 있으며; 본 발명의 실시예의 알고리즘을 이용하여, 비감독한 경우 이미지 인코더의 능력을 향상시킬 수 있다.

도 9는 본 발명의 실시예에서 제공한 사용 반감독 학습이 재인식 네트워크 훈련의 방법을 수행하는 예시도이고, 도 9에 도시된 바와 같이, 상기 재인식 네트워크의 훈련 방법은 단계 S901, 단계 S902, 단계 S903, 단계 S904, 단계 S905를 포함한다.

단계 S901에 있어서, 잔차 네트워크(초기 네트워크)(901)를 획득하고;

단계 S902에 있어서, 혼합 메모리(902)에서 제1 이미지 데이터 세트(9021) 및 제2 이미지 데이터 세트(9022)를 획득하고, 상기 제1 이미지 데이터 세트(9021) 중 라벨이 없는 타깃 도메인 이미지 데이터

를 포함하고, 상기 제2 이미지 데이터 세트(9022) 중 실제 클러스터링 라벨이 포함된 소스 도메인 이미지 데이터

를 포함하며, 상기 소스 도메인 이미지 데이터는 제2 클러스터링 이미지 데이터로도 지칭되고;

단계 S903에 있어서, 상기 잔차 네트워크(901)를 통해 상기 제1 이미지 데이터 세트 중의 타깃 도메인 이미지 데이터

에 대해 클러스터링 처리를 수행하여 초기 클러스터링 결과를 획득하고, 상기 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터 및 초기 비 클러스터링 이미지 데이터를 포함하며;

단계 S904에 있어서; 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하고;

단계 S905에 있어서; 상기 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정한다.

여기서, 상기 훈련 이미지 데이터는 상기 제1 클러스터링 이미지 데이터, 상기 비 클러스터링 인스턴스 이미지 데이터, 상기 제2 클러스터링 이미지 데이터를 포함하고; 상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 상기 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함하며, 결정된 상기 제1 클러스터링 중심, 상기 제2 클러스터링 중심 및 상기 인스턴스 중심을 모두 혼합 메모리(902)에 저장된다.

일부 실시예에 있어서, 단계 S905는 단계 S9051, 단계 S9052 및 단계 S9053를 포함한다. 단계 S9051에 있어서, 상기 훈련 이미지 데이터 및 상기 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 상기 비교 손실에 기반하여 상기 잔차 네트워크(901)에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하며;

단계 S9052에 있어서, 상기 최적화 네트워크를 통해 상기 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 혼합 메모리(902) 중의 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터

및

을 획득하고, 상기

중에는 제2 클러스터링 이미지 데이터를 포함하고, 상기

중에는 업데이트 후의 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 포함하고;

단계 S9053에 있어서; 상기 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 상기 새로운 훈련 이미지 데이터 및 상기 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 상기 재인식 네트워크를 획득한다.

여기서, 새로운 훈련 데이터

및

에 따라 혼합 메모리(902)에 대해 업데이트를 수행한다.

일부 실시예에 있어서, 단계 S904에 있어서 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하고, 도 10a에 도시된 바와 같이, 단계 S9041, 단계 S9042, 단계 S9043, 및 단계 S9044를 포함한다.

단계 S9041에 있어서, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득한다.

도 10a에 도시된 바와 같이, 원점은 이미지 데이터를 나타낼 수 있고, 흰색 원점은 초기 클러스터링 이미지 데이터를 나타낼 수 있으며, 회색 원점은 초기 비 클러스터링 이미지 데이터를 나타낼 수 있고; 이미지 특징 거리가 d1에서 d2로 변경되면, d2<d1이고, 이때 제1 현재 클러스터(101a) 중의 이미지 데이터(1011a) 및 이미지 데이터(1012a)의 이미지 특징 거리가 d2보다 크므로, 제1 현재 클러스터(101a) 중에서 제거되고, 제1 현재 클러스터(101a) 중의 이미지 데이터가 감소되며, 새로운 제2 현재 클러스터(102a)를 획득한다.

단계 S9042에 있어서, 상기 제2 현재 클러스터의 밀도 지수를 결정하고, 상기 밀도 지수는 상기 제2 현재 클러스터의 이미지 데이터 개수 및 상기 제1 현재 클러스터의 이미지 데이터 개수의 비율이며;

도 10a에 도시된 바와 같이, 제2 현재 클러스터 중의 이미지 데이터의 개수는 5이고, 제1 현재 클러스터 중의 이미지 데이터의 개수는 7이며, 즉 제2 현재 클러스터의 밀도 지수는 5/7이다.

단계 S9043에 있어서, 상기 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제1 현재 클러스터를 상기 제2 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터(90211)를 획득하며;

여기서, 만약 제1 기설정된 임계 값이 0.5이고, 즉 밀도 지수가 제1 기설정된 임계 값보다 크므로, 즉 제1 클러스터링 이미지 데이터는 제2 현재 클러스터(102a) 중의 이미지 데이터일 수 있다.

단계 S9044에 있어서, 감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터(90211)에 속하도록 업데이트한다.

도 10a에 도시된 바와 같이, 감소된 이미지 데이터(1011a) 및 이미지 데이터(1012a)를 비 클러스터링 인스턴스 이미지 데이터(90212)에 속하도록 업데이트하고, 이때, 비 클러스터링 인스턴스 이미지 데이터 중에는 획색 원점으로 나타낸 초기 비 클러스터링 이미지 데이터, 및 이미지 데이터(1011a) 및 이미지 데이터(1012a)를 포함한다.

일부 실시예에 있어서, 단계 S904에 있어서 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하고, 도 10a에 도시된 바와 같이, 단계 S9045, 단계 S9046, 단계 S9047, 및 단계 S9048을 포함한다.

단계 S9045에 있어서, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터의 제3 현재 클러스터에 다른 클러스터의 이미지 데이터 및 상기 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하며, 상기 다른 클러스터는 상기 초기 클러스터링 이미지 데이터 중 상기 제3 현재 클러스터와 상이한 클러스터이고;

도 10b에 도시된 바와 같이, 원점은 이미지 데이터를 나타낼 수 있고, 흰색 원점은 초기 클러스터링 이미지 데이터를 나타낼 수 있으며, 회색 원점은 초기 비 클러스터링 이미지 데이터를 나타낼 수 있고; 다시 클러스터링을 처리하기 전, 기존의 제3 현재 클러스터(101b) 및 다른 클러스터(102b)는, 이미지 특징 거리가 d1에서 d3으로 변경되면, d3>d1이고, 이때 초기 비 클러스터링 이미지 데이터(1011b), 초기 비 클러스터링 이미지 데이터(1012b) 및 초기 비 클러스터링 이미지 데이터(1013b)의 이미지 특징 거리는 모두 d3보다 작고, 초기 비 클러스터링 이미지 데이터(1011b), 초기 비 클러스터링 이미지 데이터(1012b), 초기 비 클러스터링 이미지 데이터(1013b) 및 다른 클러스터(102b) 중의 이미지 데이터는 제3 현재 클러스터(101b)에 추가되며, 제3 현재 클러스터(101b) 중의 이미지 데이터가 추가되어, 새로운 제4 현재 클러스터(103b)를 획득한다.

단계 S9046에 있어서, 상기 제4 현재 클러스터의 독립 지수를 결정하고; 상기 독립 지수는 상기 제3 현재 클러스터의 이미지 데이터 개수 및 상기 제4 현재 클러스터의 이미지 데이터 개수의 비율이며;

도 10b에 도시된 바와 같이, 제3 현재 클러스터(101b) 중의 이미지 데이터 개수는 3이고, 제4 현재 클러스터(103b) 중의 이미지 데이터 개수는 9이며, 즉 제4 현재 클러스터(103b)의 독립 지수는 3/9이다.

단계 S9047에 있어서, 상기 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제3 현재 클러스터를 상기 제4 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하며;

여기서, 제1 기설정된 임계 값이 0.3이고, 독립 지수가 제1 기설정된 임계 값보다 크다고 가정하면, 제1 클러스터링 이미지 데이터(90211)는 클러스터(103a) 중의 이미지 데이터일 수 있다.

단계 S9048에 있어서, 추가된 이미지 데이터가 상기 다른 클러스터의 이미지 데이터를 포함할 경우, 상기 다른 클러스터를 해체하고; 및/또는, 추가된 이미지 데이터가 상기 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터(90212)에 속하지 않도록 업데이트한다.

여기서, 다른 클러스터(102b)및 제3 클러스터(101b)를 해체할 수 있고, 추가된 이미지 데이터가 초기 클러스터링 이미지 데이터 중의 이미지 데이터(1011b), 이미지 데이터(1012b) 및 이미지 데이터(1013b)를 포함하면, 이미지 데이터(1011b), 이미지 데이터(1012b) 및 이미지 데이터(1013b)를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트하며, 즉 비 클러스터링 인스턴스 이미지 데이터 중에는 이미지 데이터(1011b), 이미지 데이터(1012b)및 이미지 데이터(1013b)를 포함하지 않는다.

이해해야 할 것은, 비록 상기 실시예 중의 프로세스 도면 중의 각 단계는 화살표로 지시된 순서로 표시되지만, 이런 단계는 반드시 화살표로 지시된 순서대로 실행되는 것은 아니다. 본 문에서 명시 적으로 언급하지 않는 한, 이런 단계의 실행은 순서대로 엄격하게 제한되지 않으며, 다른 순서로 실행할 수 있다. 또한, 도면의 단계 중 적어도 일부는 여러 하위 단계 또는 여러 단계를 포함할 수 있고, 이런 하위 단계 또는 단계는 반드시 동시에 실행되는 것은 아니며, 상이한 시간에 실행될 수 있으며, 실행 순서도 반드시 순차적인 것은 아니지만, 다른 단계 또는 다른 단계의 하위 단계 또는 단계의 적어도 일부와 순차적으로 또는 교대로 수행될 수 있다.

하나의 실시예에 있어서, 재인식 네트워크 훈련 장치를 제공한다.

도 11은 본 발명의 실시예에 따른 재인식 네트워크 훈련 장치의 예시도이고, 도 11에 도시된 바와 같이, 상기 대상 재인식 장치는,

초기 네트워크를 획득하도록 구성된 제1 획득 모듈(100);

훈련 이미지 데이터를 획득하도록 구성된 제2 획득 모듈(200); 및

훈련 이미지 데이터를 통해 초기 네트워크에 대해 훈련을 수행하여, 재인식 네트워크를 획득하도록 구성된 네트워크 훈련 모듈(300)을 포함한다

재인식 네트워크 훈련 장치에 관한 한계에 대해서는 상술한 재인식 네트워크 훈련 방법에 대한 한계를 참조하며, 여기서 더 이상 설명하지 않는다. 상기 재인식 네트워크 훈련 장치 중의 각 모듈은 전체적으로 또는 부분적으로 소프트웨어, 하드웨어 및 그들의 조합을 통해 구현될 수 있다. 상기 각 모듈은 하드웨어 형태로 컴퓨터 기기 중의 프로세스에 내장되거나 독립적일 수 있고, 소프트웨어 형태로 컴퓨터 기기 중의 메모리에 저장될 수도 있으며, 따라서 프로세서가 상기 각 모듈에 대응되는 작업을 호출하고 실행할 수 있다.

하나의 실시예에 있어서, 대상 재인식 장치를 제공한다.

도 12은 본 발명의 실시예에 따른 대상 재인식 장치의 예시도이고, 도 12에 도시된 바와 같이, 상기 대상 재인식 장치는,

사전 훈련된 재인식 네트워크를 획득하도록 구성된 네트워크 획득 모듈(400);

인식될 이미지를 획득하도록 구성된 이미지 획득 모듈(500); 및

재인식 네트워크를 통해 인식될 이미지에 대해 재인식 처리를 수행하여, 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하도록 구성된 재인식 모듈(600)을 포함한다.

여기서, 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터는 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되고, 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨이 포함되지 않는다.

하나의 실시예에 있어서, 상기 대상 재인식 장치는, 상기 초기 네트워크를 획득하도록 구성된 초기 네트워크 획득 모듈; 상기 훈련 이미지 데이터를 획득하도록 구성된 데이터 획득 모듈; 및 상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하도록 구성된 훈련 모듈을 더 포함한다.

하나의 실시예에 있어서, 상기 데이터 획득 모듈은, 상기 초기 네트워크를 통해 상기 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 얻은 초기 클러스터링 결과를 획득하도록 구성된 결과 획득 유닛; 및 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하도록 구성된 클러스터링 처리 유닛을 포함한다.

하나의 실시예에 있어서, 상기 초기 클러스터링 결는과는 초기 클러스터링 이미지 데이터를 포함하고; 상기 클러스터링 처리 유닛은, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득하는 단계; 상기 제2 현재 클러스터의 밀도 지수를 결정하는 단계 - 상기 밀도 지수는 상기 제2 현재 클러스터의 이미지 데이터 개수 및 상기 제1 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제1 현재 클러스터를 상기 제2 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 및 감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트하도록 구성된다.

하나의 실시예에 있어서, 상기 초기 클러스터링 결과는 초기 비 클러스터링 이미지 데이터를 더 포함하고; 상기 클러스터링 처리 유닛은, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터의 제3 현재 클러스터에 다른 클러스터의 이미지 데이터 및 상기 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하는 단계 - 상기 다른 클러스터는 상기 초기 클러스터링 이미지 데이터 중 상기 제3 현재 클러스터와 상이한 클러스터임 - ; 상기 제4 현재 클러스터의 독립 지수를 결정하는 단계 - 상기 독립 지수는 상기 제3 현재 클러스터의 이미지 데이터 개수 및 상기 제4 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제3 현재 클러스터를 상기 제4 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 추가된 이미지 데이터가 상기 다른 클러스터의 이미지 데이터를 포함할 경우, 상기 다른 클러스터를 해체하는 단계; 및/또는, 추가된 이미지 데이터가 상기 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트 하도록 구성된다.

하나의 실시예에 있어서, 상기 훈련 모듈은,상기 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정하도록 구성된 제1 결정 유닛; 상기 훈련 이미지 데이터 및 상기 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 상기 비교 손실에 기반하여 상기 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하도록 구성된 최적화 유닛; 상기 최적화 네트워크를 통해 상기 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터를 획득하도록 구성된 클러스터링 유닛; 및 상기 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 상기 새로운 훈련 이미지 데이터 및 상기 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 상기 재인식 네트워크를 획득하도록 구성된 제2 결정 유닛을 포함한다.

대상 재인식 장치에 관한 한정은 상술한 대상 재인식 방법에 대한 한정을 참조하며, 여기서 더 이상 설명하지 않는다. 상기 대상 재인식 장치 중의 각 모듈은 전부 또는 부분이 소프트웨어, 하드웨어 및 그들의 조합을 통해 구현될 수 있다. 상기 각 모듈은 하드웨어 형태로 컴퓨터 기기 중의 프로세스에 내장되거나 독립적일 수 있고, 소프트웨어 형태로 컴퓨터 기기 중의 메모리에 저장될 수도 있으며, 따라서 프로세서가 상기 각 모듈에 대응되는 작업을 호출하고 실행할수 있다.

본 발명의 실시예는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 상기 대상 재인식 방법 실시예에 따른 임의의 대상 재 인식 방법의 일부 또는 전부 단계를 실행하도록 작동된다.

하나의 실시예에 있어서, 컴퓨터 기기를 제공하고, 상기 컴퓨터 기기는 메모리, 프로세서 및 메모리에 저장되고 프로세서 상에서 작동 가능한 컴퓨터 프로그램을 포함하며, 프로세서가 프로그램을 실행할 경우 상기 각 실시예 중 네트워크 훈련 부분의 방법의 단계, 및 네트워크 응용 부분의 방법의 단계 중 적어도 하나를 구현한다.

하나의 실시예에 있어서, 본 발명은 컴퓨터 실행 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 컴퓨터 실행 명령어는 프로세서에 의해 실행될 경우 상기 각 실시예 중 네트워크 훈련 부분의 방법의 단계, 및 네트워크 응용 부분의 방법 단계 중 적어도 하나를 구현하기 위한 것이다.

본 기술분야의 기술자는 명세서를 고려하고 본문에 개시된 발명을 실천한 후, 본 발명의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 개시의 일반적인 원리에 따르며, 본 발명에서 개시되지 않는 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 설명서 및 실시예는 다만 예시적인 것으로 간주되어야 하며, 본 발명의 진정한 범위 및 사상은 다음의 청구범위에 의해 지적된다.

이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 첨부된 청 범위에 의해서만 한정된다.

[산업상 이용 가능성]

본 실시예에 있어서, 사전 훈련된 재인식 네트워크를 획득하고; 인식될 이미지를 획득하며; 상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득한다. 상기 대상 재인식 방법에서 사용한 재인식 네트워크는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터에 기반하여 훈련하여 획득함으로써, 본 발명은 클러스터링 중에 포함되지 않는 아웃라이어를 결합하여 네트워크 훈련을 수행하므로, 재인식 네트워크의 클러스터링 성능을 향상시키는데 되움이 되어, 본 발명의 대상 재인식 방법을 통해 획득한 타깃 대상 재인식 결과의 정확도를 향상시킨다.

Claims

대상 재인식 방법으로서,
사전 훈련된 재인식 네트워크를 획득하는 단계;
인식될 이미지를 획득하는 단계; 및
상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하는 단계를 포함하며;
상기 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터는 상기 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되며, 상기 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않는 것을 특징으로 하는 대상 재인식 방법.
제1 항에 있어서,
상기 재인식 네트워크의 훈련 이미지 데이터는 제2 이미지 데이터 세트를 더 포함하는 단계 - 상기 제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터는 실제 클러스터링 라벨을 포함함 - ;
상기 제2 이미지 데이터 세트가 배치된 이미지 데이터 도메인 및 상기 제1 이미지 데이터 세트가 배치된 이미지 데이터 도메인은 상이한 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
제1항 또는 제2항에 있어서,
상기 사전 훈련된 재인식 네트워크를 획득하기 전에,
상기 초기 네트워크를 획득하는 단계;
상기 훈련 이미지 데이터를 획득하는 단계; 및
상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하는 단계를 더 포함하는 것을 특징으로 하는 대상 재인식 방법.
제3항에 있어서,
상기 훈련 이미지 데이터를 획득하는 단계는,
상기 초기 네트워크를 통해 상기 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 얻은 초기 클러스터링 결과를 획득하는 단계; 및
상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
제4항에 있어서,
상기 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터를 포함하고;
상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계는,
이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득하는 단계;
상기 제2 현재 클러스터의 밀도 지수를 결정하는 단계 - 상기 밀도 지수는 상기 제2 현재 클러스터의 이미지 데이터 개수 및 상기 제1 현재 클러스터의 이미지 데이터 개수의 비율임 - ;
상기 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제1 현재 클러스터를 상기 제2 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 및
감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트하는 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
제5항에 있어서,
상기 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터를 포함하고;
상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하는 단계는,
이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터의 제3 현재 클러스터에 다른 클러스터의 이미지 데이터 및 상기 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하는 단계 - 상기 다른 클러스터는 상기 초기 클러스터링 이미지 데이터 중 상기 제3 현재 클러스터와 상이한 클러스터임 - ;
상기 제4 현재 클러스터의 독립 지수를 결정하는 단계 - 상기 독립 지수는 상기 제3 현재 클러스터의 이미지 데이터 개수 및 상기 제4 현재 클러스터의 이미지 데이터 개수의 비율임 - ;
상기 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제3 현재 클러스터를 상기 제4 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하는 단계; 및
추가된 이미지 데이터가 상기 다른 클러스터의 이미지 데이터를 포함할 경우, 상기 다른 클러스터를 해체하는 것; 및 추가된 이미지 데이터가 상기 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트하는 것 중 하나를 수행하는 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
제3항에 있어서,
상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하는 단계는,
상기 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정하는 단계;
상기 훈련 이미지 데이터 및 상기 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 상기 비교 손실에 기반하여 상기 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하는 단계;
상기 최적화 네트워크를 통해 상기 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터를 획득하는 단계; 및
상기 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 상기 새로운 훈련 이미지 데이터 및 상기 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 상기 재인식 네트워크를 획득하는 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
제7항에 있어서,
상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심을 포함하거나;
또는,
상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 상기 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함하는 것을 특징으로 하는 대상 재인식 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 재인식 네트워크는 잔차 네트워크를 포함하는 단계를 포함하는 것을 특징으로 하는 대상 재인식 방법.
대상 재인식 장치로서;
사전 훈련된 재인식 네트워크를 획득하도록 구성된 네트워크 획득 모듈;
인식될 이미지를 획득하도록 구성된 이미지 획득 모듈; 및
상기 재인식 네트워크를 통해 상기 인식될 이미지에 대해 재인식 처리를 수행하여, 상기 인식될 이미지 중 타깃 대상의 재인식 결과를 획득하도록 구성된 재인식 모듈을 포함하며;
상기 재인식 네트워크의 훈련 이미지 데이터는 적어도 제1 클러스터링 이미지 데이터 및 비 클러스터링 인스턴스 이미지 데이터를 포함하고, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터는 상기 재인식 네트워크에 대응되는 초기 네트워크에 의해 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 획득되며, 상기 제1 이미지 데이터 세트 중의 이미지 데이터는 실제 클러스터링 라벨을 포함하지 않는 것을 특징으로 하는 대상 재인식 장치.
제10 항에 있어서,
상기 재인식 네트워크의 훈련 이미지 데이터는 제2 이미지 데이터 세트를 더 포함하고, 상기 제2 이미지 데이터 세트 중의 제2 클러스터링 이미지 데이터는 실제 클러스터링 라벨을 포함하며;
상기 제2 이미지 데이터 세트가 배치된 이미지 데이터 도메인 및 상기 제1 이미지 데이터 세트가 배치된 이미지 데이터 도메인은 상이한 것을 특징으로 하는 대상 재인식 장치.
제10항 또는 제11항에 있어서,
상기 대상 재인식 장치는,
상기 초기 네트워크를 획득하도록 구성된 초기 네트워크 획득 모듈; 상기 훈련 이미지 데이터를 획득하도록 구성된 데이터 획득 모듈; 및 상기 훈련 이미지 데이터를 통해 상기 초기 네트워크에 대해 훈련을 수행하여, 상기 재인식 네트워크를 획득하도록 구성된 훈련 모듈을 더 포함하는 것을 특징으로 하는 대상 재인식 장치.
제12항에 있어서,
상기 데이터 획득 모듈은,
상기 초기 네트워크를 통해 상기 제1 이미지 데이터 세트에 대해 클러스터링 처리를 수행하여 얻은 초기 클러스터링 결과를 획득하도록 구성된 결과 획득 유닛; 및 상기 초기 클러스터링 결과에 대해 다시 클러스터링 처리를 수행하여, 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터를 획득하도록 구성된 클러스터링 처리 유닛을 포함하는 것을 특징으로 하는 대상 재인식 장치.
제13항에 있어서,
상기 초기 클러스터링 결과는 초기 클러스터링 이미지 데이터를 포함하고;
상기 클러스터링 처리 유닛은, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터 중 제1 현재 클러스터의 이미지 데이터 개수를 감소하여, 제2 현재 클러스터를 획득하고; 상기 제2 현재 클러스터의 밀도 지수를 결정하며 - 상기 밀도 지수는 상기 제2 현재 클러스터의 이미지 데이터 개수 및 상기 제1 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 밀도 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제1 현재 클러스터를 상기 제2 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하며; 감소된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하도록 업데이트하도록 구성된 것을 특징으로 하는 대상 재인식 장치.
제14항에 있어서,
상기 초기 클러스터링 결과는 초기 비 클러스터링 이미지 데이터를 더 포함하고;
상기 클러스터링 처리 유닛은 또한, 이미지 특징 거리에 따라, 상기 초기 클러스터링 이미지 데이터의 제3 현재 클러스터에 다른 클러스터의 이미지 데이터 및 상기 초기 비 클러스터링 이미지 데이터에서의 이미지 데이터 중 적어도 하나를 추가하여, 제4 현재 클러스터를 획득하고 - 상기 다른 클러스터는 상기 초기 클러스터링 이미지 데이터 중 상기 제3 현재 클러스터와 상이한 클러스터임 - ; 상기 제4 현재 클러스터의 독립 지수를 결정하며 - 상기 독립 지수는 상기 제3 현재 클러스터의 이미지 데이터 개수 및 상기 제4 현재 클러스터의 이미지 데이터 개수의 비율임 - ; 상기 독립 지수가 제1 기설정된 임계 값에 도달할 경우, 상기 제3 현재 클러스터를 상기 제4 현재 클러스터로 대체함으로써, 상기 제1 클러스터링 이미지 데이터를 획득하고; 추가된 이미지 데이터가 상기 다른 클러스터의 이미지 데이터를 포함할 경우, 상기 다른 클러스터를 해체하는 것; 및 추가된 이미지 데이터가 상기 초기 비 클러스터링 이미지 데이터 중의 이미지 데이터를 포함할 경우, 추가된 이미지 데이터를 비 클러스터링 인스턴스 이미지 데이터에 속하지 않도록 업데이트하는 것 중 하나를 수행하도록 구성된 것을 특징으로 하는 대상 재인식 장치.
제12항에 있어서,
상기 훈련 모듈은,
상기 훈련 이미지 데이터에 기반하여 이미지 데이터 중심을 결정하도록 구성된 제1 결정 유닛; 상기 훈련 이미지 데이터 및 상기 이미지 데이터 중심에 기반하여 비교 손실을 결정하고, 상기 비교 손실에 기반하여 상기 초기 네트워크에 대해 파라미터 최적화를 수행하여, 최적화 네트워크를 획득하도록 구성된 최적화 유닛; 상기 최적화 네트워크를 통해 상기 훈련 이미지 데이터 중의 비 클러스터링 인스턴스 이미지 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 제1 클러스터링 이미지 데이터 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대해 업데이트를 수행하여, 새로운 훈련 이미지 데이터를 획득하도록 구성된 클러스터링 유닛; 및 상기 새로운 훈련 이미지 데이터에 기반하여 새로운 이미지 데이터 중심을 결정하고, 훈련이 완료될 때까지 상기 새로운 훈련 이미지 데이터 및 상기 새로운 이미지 데이터 중심에 기반하여 새로운 비교 손실을 결정하는 단계로 돌아가, 상기 재인식 네트워크를 획득하도록 구성된 제2 결정 유닛을 포함하는 것을 특징으로 하는 대상 재인식 장치.
제16항에 있어서,
상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심 및 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심을 포함하거나;
또는,
상기 이미지 데이터 중심은 상기 제1 클러스터링 이미지 데이터에 대응되는 제1 클러스터링 중심, 상기 비 클러스터링 인스턴스 이미지 데이터에 대응되는 인스턴스 중심 및 상기 제2 클러스터링 이미지 데이터에 대응되는 제2 클러스터링 중심을 포함하는 것을 특징으로 하는 대상 재인식 장치.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 재인식 네트워크는 잔차 네트워크를 포함하는 것을 특징으로 하는 대상 재인식 장치.
컴퓨터 기기로서,
메모리, 프로세서 및 상기 메모리에 저장되고 상기 프로세서 상에서 작동될 수 있는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때 제1항 내지 제9항 중 어느 한 항에 따른 대상 재인식 방법을 구현하는 것을 특징으로 하는 컴퓨터 기기.
컴퓨터 실행 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 실행 명령어가 처리 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 대상 재인식 방법을 구현하도록 구성된 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품으로서,
상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 때, 상기 전자 기기의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.