KR20200143478A

KR20200143478A - 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체

Info

Publication number: KR20200143478A
Application number: KR1020207033113A
Authority: KR
Inventors: 이시아오 거; 얀타오 쉔; 다펑 첸; 시아오강 왕; 홍셩 리
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-01-15
Filing date: 2019-11-15
Publication date: 2020-12-23
Also published as: CN111435432B; KR102454515B1; SG11202009395SA; CN111435432A; WO2020147414A1; TW202029062A; US11416703B2; JP2021517321A; TWI757668B; JP7074877B2; US20210012154A1

Abstract

본 발명은 이미지 샘플군을 취득하는 것과, 상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하고, 이미지의 제1 특징을 사용하여 제1 분류 결과를 얻는 것과, 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것과, 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것과, 소정 요구가 충족될 때까지 적어도 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하는 것을 포함하는 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체에 관한 것으로, 본 발명의 실시예는 신원 인식의 정밀도를 효과적으로 높일 수 있다.

Description

네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체

본 발명은 2019년 1월 15일에 중국 특허국에 제출된, 출원번호가 201910036096.X이고, 발명의 명칭이 「네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 그 개시의 전부가 참조에 의해 본 발명에 포함된다.

본 발명은 네트워크 최적화에 관한 것으로, 특히 네트워크 최적화 방법 및 장치, 이미지 처리 방법 및 장치, 및 기억 매체에 관한 것이다.

보행자 재식별은 식별성 있는 특징을 학습하여 보행자의 검색과 매칭을 행하는 것을 주지로 한다. 일반적으로, 이미지 데이터 세트에서의 보행자 자세의 다양성, 배경의 다양성 등은 신원 특징의 추출에 영향을 미친다. 현재, 관련 기술에 있어서 심도 뉴럴 네트워크에 의해 특징을 추출하고 분해하여 신원을 인식하도록 되어 있다.

본 발명의 실시예는 네트워크 최적화의 기술적 해결 수단을 제공한다.

본 발명의 일 측면에 의하면 뉴럴 네트워크를 최적화하는 네트워크 최적화 방법으로서, 동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하는 것과, 상기 이미지 샘플군 중의 이미지의, 신원 특징을 포함하는 제1 특징 및 속성 특징을 포함하는 제2 특징을 취득하고, 이미지의 제1 특징을 사용하여 제1 분류 결과를 얻는 것과, 상기 이미지 샘플군 중의 페어 이미지에 대해, 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻는 것과, 소정 방식을 사용하여 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것과, 소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하는 것을 포함하는 네트워크 최적화 방법을 제공한다.

일부 가능한 실시형태에서는 상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하는 것은 상기 페어 이미지의 두 개의 이미지를 상기 뉴럴 네트워크의 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력하는 것과, 상기 신원 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제1 특징을 취득하고, 상기 속성 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제2 특징을 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은 상기 신원 코딩 네트워크 모듈에 의해 취득된 제1 특징의 제1 분류 결과를 취득하는 것과, 제1 소정 방식을 사용하여, 상기 제1 분류 결과 및 상기 이미지 샘플군 중의 이미지에 대응하는 진위 분류 결과에 기초하여, 상기 제1 손실값을 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈에 입력하기 전에, 상기 페어 이미지의 두 개의 이미지에서의 대상물의 이미지 영역에 노이즈를 추가하는 것을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 이미지 샘플군 중의 페어 이미지의 이미지의 제1 특징과 제2 특징을 상기 뉴럴 네트워크의 생성 네트워크 모듈에 입력하는 것과, 상기 생성 네트워크 모듈에 의해 상기 이미지 샘플군 중의 페어 이미지에 대해 상기 특징 교환 처리를 실행하여, 상기 새로운 페어 이미지를 얻는 것을 포함한다.

일부 가능한 실시형태에서는 입력된 페어 이미지가 동일한 대상물의 이미지인 경우에, 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 단계를 포함하고, 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 것은 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함한다.

일부 가능한 실시형태에서는 입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것을 포함하고, 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 것과, 상기 제1 중간 이미지의 제1 특징과 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함한다.

일부 가능한 실시형태에서는 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은 제2 소정 방식을 사용하여 상기 생성 네트워크 모듈에 의해 취득된 새로운 페어 이미지의, 대응하는 원 페어 이미지에 대한 제2 손실값을 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은 제3 소정 방식을 따라, 상기 새로운 페어 이미지의 제1 특징과 제2 특징 및 상기 새로운 페어 이미지에 대응하는 원 페어 이미지의 제1 특징과 제2 특징에 기초하여 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 얻는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻은 후, 생성된 새로운 페어 이미지를 상기 뉴럴 네트워크의 식별 네트워크 모듈에 입력하여, 상기 새로운 페어 이미지의 진위 정도를 나타내는 라벨 특징을 얻는 것과, 제4 소정 방식을 사용하여, 상기 라벨 특징에 기초하여 상기 새로운 페어 이미지의 제4 손실값을 취득하는 것을 추가로 포함한다.

일부 가능한 실시형태에서는 소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하는 것은 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것과, 소정 요구가 충족될 때까지 상기 뉴럴 네트워크의 손실값에 기초하여 상기 뉴럴 네트워크의 파라미터를 조정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것은 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우, 제5 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 취득하는 것과, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는 것과, 상기 제1 네트워크 손실값과 제2 네트워크 손실값의 가산 결과에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것을 포함한다.

본 발명의 제2 측면에 의하면, 입력 이미지를 수신하는 것과, 뉴럴 네트워크 모델에 의해 상기 입력 이미지의 제1 특징을 인식하는 것과, 상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하는 것을 포함하고, 상기 뉴럴 네트워크 모델은 제1 측면 중 어느 한 항에 기재된 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델인 이미지 처리 방법을 제공한다.

본 발명의 제3 측면에 의하면, 동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하기 위한 취득 모듈과, 상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하기 위한 특징 코딩 네트워크 모듈과, 이미지의 제1 특징에 기초하여 제1 분류 결과를 얻기 위한 분류 모듈과, 상기 이미지 샘플군 중의 페어 이미지에 대해, 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻기 위한 생성 네트워크 모듈과, 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하기 위한 손실값 취득 모듈과, 소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하기 위한 조정 모듈을 포함하는 네트워크 최적화 장치를 제공한다.

일부 가능한 실시형태에서는 상기 특징 코딩 네트워크 모듈은 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈을 포함하고, 상기 취득 모듈은 추가로, 상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력하기 위해 사용되고, 상기 신원 코딩 네트워크 모듈은 상기 페어 이미지의 두 개의 이미지의 제1 특징을 취득하기 위해 사용되고, 상기 속성 코딩 네트워크 모듈은 상기 페어 이미지의 두 개의 이미지의 제2 특징을 취득하기 위해 사용된다.

일부 가능한 실시형태에서는 상기 손실값 취득 모듈은 추가로, 상기 신원 코딩 네트워크 모듈에 의해 취득된 제1 특징에 대응하는 제1 분류 결과를 취득하고, 제1 소정 방식을 사용하여, 상기 제1 분류 결과 및 상기 이미지 샘플군 중의 이미지에 대응하는 진위 분류 결과에 기초하여, 상기 제1 손실값을 취득하기 위해 사용된다.

일부 가능한 실시형태에서는 상기 장치는 상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈에 입력하기 전에, 상기 페어 이미지의 두 개의 이미지에서의 대상물의 이미지 영역에 노이즈를 추가하기 위한 전처리 모듈을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 동일한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻기 위해 사용되고, 구체적으로는 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하기 위해 사용된다.

일부 가능한 실시형태에서는 상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻기 위해 사용되고, 구체적으로는 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 것과, 상기 제1 중간 이미지의 제1 특징과 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 손실값 취득 모듈은 추가로, 제2 소정 방식을 사용하여, 상기 생성 네트워크 모듈에 의해 취득된 새로운 페어 이미지의, 대응하는 원 페어 이미지에 대한 제2 손실값을 취득하기 위해 사용된다.

일부 가능한 실시형태에서는 상기 손실값 취득 모듈은 추가로, 제3 소정 방식을 따라, 상기 새로운 페어 이미지의 제1 특징과 제2 특징 및 상기 새로운 페어 이미지에 대응하는 원 페어 이미지의 제1 특징과 제2 특징에 기초하여, 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 얻기 위해 사용된다.

일부 가능한 실시형태에서는 상기 장치는 상기 새로운 페어 이미지를 수신하고, 상기 새로운 페어 이미지의 진위 정도를 나타내는 라벨 특징을 얻기 위한 식별 네트워크 모듈을 추가로 포함하고, 상기 손실값 취득 모듈은 추가로 제4 소정 방식을 사용하여, 상기 라벨 특징에 기초하여 상기 새로운 페어 이미지의 제4 손실값을 취득하기 위해 사용된다.

일부 가능한 실시형태에서는 상기 조정 모듈은 추가로, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것과, 소정 요구가 충족될 때까지 상기 뉴럴 네트워크의 손실값에 기초하여 상기 뉴럴 네트워크의 파라미터를 조정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 조정 모듈은 추가로, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우, 제5 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 얻는 것과, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는 것과, 상기 제1 네트워크 손실값과 제2 네트워크 손실값의 가산 결과에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것에 사용된다.

본 발명의 제4 측면에 의하면, 입력 이미지를 수신하기 위한 수신 모듈과, 뉴럴 네트워크 모델에 의해, 상기 입력 이미지의 제1 특징을 인식하기 위한 인식 모듈과, 상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하기 위한 신원 결정 모듈을 포함하고, 상기 뉴럴 네트워크 모델은 제1 측면 중 어느 한 항에 기재된 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델인 이미지 처리 장치를 제공한다.

본 발명의 제5 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 제1 측면 및 제2 측면 중 어느 한 항에 기재된 방법을 실행하도록 구성되는 전자 기기를 제공한다.

본 발명의 제6 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제1 측면 및 제2 측면 중 어느 한 항에 기재된 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.

본 발명의 일 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기 상에서 실행되면, 상기 전자 기기의 프로세서에 상기 네트워크 최적화 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.

본 발명의 실시예는 입력 이미지의 제1 특징(신원 특징)과 제1 특징 이외의 제2 특징을 효과적으로 추출할 수 있고, 2장의 이미지의 제2 특징을 교환하여 새로운 이미지를 형성함으로써, 신원에 관련되는 특징과 신원에 관련되지 않는 특징을 성공적으로 분리할 수 있고, 여기서, 신원에 관련되는 특징은 보행자 재식별에 효과적으로 이용 가능하다. 본 발명의 실시예는 훈련 단계에서도 적용 단계에서도 이미지 데이터 세트 이외의 보조 정보를 전혀 필요로 하지 않고, 충분한 감독을 제공하고, 인식 정밀도를 효과적으로 높일 수 있다.

이상의 일반적인 설명과 이하의 상세한 설명은 해석적이나 예시적인 것에 불과하고, 본 발명을 제한하지 않는 것을 이해해야 한다.

도면을 참조하면서 예시적인 실시예를 상세히 설명함으로써, 본 발명의 다른 특징 및 측면은 명확해진다.

명세서의 일부로서 포함되는 도면은 본 발명에 합치되는 실시예를 나타내고, 명세서와 함께 본 발명의 기술적 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 네트워크 최적화 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 네트워크 최적화 방법에서의 단계(S200)의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 네트워크 최적화 방법에서의 단계(S300)의 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 네트워크 최적화 방법에서의 단계(S303)의 흐름도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S400)의 흐름도를 나타낸다.
도 6은 본 발명의 실시예에 따른 제1 타입의 샘플을 사용하여 네트워크 최적화 처리를 실행하는 과정 모식도를 나타낸다.
도 7은 본 발명의 실시예에 따른 제2 타입의 샘플을 사용하여 네트워크 최적화 처리를 실행하는 과정 모식도를 나타낸다.
도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 네트워크 최적화 장치의 블록도를 나타낸다.
도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 11은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 나타낸다.
도 12는 본 발명의 실시예에 따른 전자 기기(1900)의 블록도를 나타낸다.

이하에 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호는 동일 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈으나, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요는 없다.

여기에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.

본 명세서에서 용어 「및/또는」은 단순히 관련 대상의 관련 관계를 기술하기 위한 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B가 동시에 존재하거나, B만이 존재하는 세 가지 경우를 나타낼 수 있다. 또한, 본 명세서에서, 용어 「하나 이상」은 다종 중 어느 하나 또는 다종 중 적어도 두 개의 임의의 조합을 나타내고, 예를 들면, A, B 및 C 중 하나 이상을 포함하는 것은, A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 어떤 구체적인 상세가 없어도 본 발명은 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 생략한다.

본 발명의 실시예는 뉴럴 네트워크 또는 다른 기계 학습 네트워크의 훈련에 이용 가능한 네트워크 최적화 방법을 제공한다. 예를 들면, 목표 사용자의 얼굴 인식, 신원 검증 등을 행하는 장면의 기계 학습 네트워크의 훈련 과정에 사용되어도 되고, 이미지 진위 판정 등의 고정밀도를 요구하는 네트워크의 훈련 과정에 사용되어도 되고, 본 발명은 구체적인 적용 장면을 제한하지 않고, 본 발명에서 제공되는 네트워크 최적화 방법을 사용하여 실시되는 과정이면, 전부 본 발명의 보호 범위 내에 포함된다. 본 발명의 실시예는 뉴럴 네트워크를 예로서 설명하지만, 이에 한정되지 않는다. 본 발명의 실시예의 네트워크 최적화 방법에 의해 훈련한 후, 네트워크는 대상물인 인물에 대한 인식 정밀도가 높아지고, 또한 이미지 이외의 다른 보조 정보를 입력할 필요가 없어지고, 간단하고 편리한 특징을 갖는다.

본 발명의 실시예에서 제공되는 네트워크 최적화 방안은 사용자 기기(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 기기, 계산 장치, 차량 탑재 장치, 웨어러블 장치 등의 단말 장치, 서버 또는 다른 종류의 전자 기기에 의해 실행되어도 된다. 일부 가능한 실시형태에서는 이 네트워크 최적화 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능한 명령을 불러 냄으로써 실현되어도 된다.

도 1은 본 발명의 실시예에 따른 네트워크 최적화 방법의 흐름도를 나타낸다. 도 1에 나타내는 바와 같이, 본 발명의 실시예의 네트워크 최적화 방법은 동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하는 단계(S100)와, 상기 이미지 샘플군 중의 이미지의, 신원 특징을 포함하는 제1 특징 및 속성 특징을 포함하는 제2 특징을 취득하고, 이미지의 제1 특징을 사용하여 제1 분류 결과를 얻는 단계(S200)와, 상기 이미지 샘플군 중의 이미지에 대해, 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻는 단계(S300)와, 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 단계(S400)와, 소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여, 뉴럴 네트워크의 파라미터를 조정하는 단계(S500)를 포함해도 된다.

본 발명의 실시예에서는 뉴럴 네트워크를 훈련할 때, 먼저 뉴럴 네트워크에 뉴럴 네트워크를 훈련하는 샘플 이미지인 이미지 샘플군을 입력하도록 해도 된다. 본 발명의 실시예에서는 이미지 샘플군은 동일한 대상물의 상이한 이미지로 구성된 페어 이미지인 제1 타입의 샘플 및 상이한 대상물의 상이한 이미지로 구성된 페어 이미지인 제2 타입의 샘플과 같은 두 개의 타입의 이미지 샘플을 포함하고, 즉, 제1 타입의 샘플에 있어서, 각 페어 이미지마다의 이미지는 동일한 대상물의 상이한 이미지이고, 제2 타입의 샘플에 있어서, 각 페어 이미지마다의 이미지는 상이한 대상물의 상이한 이미지이도록 해도 된다. 여기서, 각 페어 이미지마다는 하기 제1 이미지 및 제2 이미지와 같은 두 개의 이미지를 포함해도 된다. 또한, 본 발명의 실시예는 이 두 개의 타입의 이미지 샘플을 각각 사용하여 뉴럴 네트워크를 훈련하도록 해도 된다.

또한, 본 발명의 실시예의 이미지 샘플군 중의 하나 이상의 이미지는 이미지에서의 대상물에 대응하고, 이미지에서의 대상물의 인물의 신원을 식별하기 위한 신원 표지를 갖도록 해도 된다. 본 발명의 실시예에서는 이미지 샘플군 중의 하나 이상의 이미지는 그것에 포함되는 대상물에 대응하는, 행렬의 형식으로 나타내는 진위 분류 라벨을 가져도 된다. 이 진위 분류 라벨에 기초하여, 뉴럴 네트워크 모델에 의한 분류 결과의 정확도를 비교하고, 예를 들면, 대응하는 손실값을 결정할 수 있다.

일부 가능한 실시형태에서는 이미지 샘플군을 취득하는 방식은 통신 컴포넌트를 사용하여 다른 전자 기기, 예를 들면, 서버, 휴대 전화, 임의의 컴퓨터 장치 등에서 이미지 샘플군을 수신하는 방식을 포함해도 된다. 여기서, 이미지 샘플군 중의 하나 이상의 이미지는 카메라에 의해 취득된 영상 이미지, 코딩 처리한 복수의 페어 이미지여도 되지만, 본 발명을 구체적으로 한정하는 것은 아니다.

이미지 샘플군을 취득한 후, 뉴럴 네트워크의 구체적인 최적화 과정을 실행할 수 있다. 단계(S200)에 있어서, 먼저 각 페어 이미지마다의 제1 이미지와 제2 이미지의 제1 특징 및 제2 특징을 인식하도록 해도 된다. 여기서, 제1 특징은 예를 들면, 복식의 색, 형상, 액세서리 특징 등 이미지에서의 대상물의 신원 특징을 포함해도 되고, 제2 특징은 예를 들면, 속성 특징과 같은 제1 특징 이외의 특징이어도 되고, 대상물인 인물의 자세 특징, 배경 특징, 환경 특징 등을 포함해도 된다. 이하, 제1 특징과 제2 특징의 취득 방식에 대해 예를 들어 설명한다.

도 2는 본 발명의 실시예에 따른 네트워크 최적화 방법에서의 단계(S200)의 흐름도를 나타낸다. 상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하고, 이미지의 제1 특징을 사용하여 제1 분류 결과를 얻는 것은 상기 페어 이미지의 두 개의 이미지를 상기 뉴럴 네트워크의 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력하는 단계(S201)와, 상기 신원 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제1 특징을 취득하고, 상기 속성 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제2 특징을 취득하는 단계(S202)와, 상기 뉴럴 네트워크의 분류 모듈을 사용하여 상기 제1 특징에 대응하는 제1 분류 결과를 얻는 단계(S203)를 포함한다.

여기서, 본 발명의 실시예의 뉴럴 네트워크는 이미지에서의 대상물의 신원 특징을 인식하기 위한 신원 코딩 네트워크 모듈 및 이미지에서의 대상물의 속성 특징을 인식하기 위한 속성 코딩 네트워크 모듈을 포함해도 된다. 따라서, 취득된 이미지 샘플군 중의 하나 이상의 페어 이미지를 상기 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 각각 입력하고, 신원 코딩 네트워크 모듈에 의해, 수신한 페어 이미지의 두 개의 이미지의 제1 특징을 취득하고, 속성 코딩 네트워크 모듈에 의해, 수신한 페어 이미지의 두 개의 이미지의 제2 특징을 취득할 수 있다. 예를 들면, 입력된 페어 이미지의 두 개의 이미지를 각각 A 및 B로 나타내면, 신원 코딩 네트워크 모듈에 의해 취득된 A의 제1 특징이 A_u이고, 신원 코딩 네트워크 모듈에 의해 취득된 B의 제1 특징이 B_u이며, 속성 코딩 네트워크 모듈에 의해 취득된 A의 제2 특징이 A_v이고, 속성 코딩 네트워크 모듈에 의해 취득된 B의 제2 특징이 B_v이다.

여기서, 신원 코딩 네트워크 모듈은 소정의 인물 특징의 추출 알고리즘을 사용하여 이미지의 제1 특징을 추출해도 되고, 또는 합성곱 모듈, 풀링 모듈 등의 제1 특징을 취득하기 위한 모듈 유닛을 포함해도 된다. 본 발명의 실시예는 신원 코딩 네트워크 모듈의 구조에 대해, 구체적으로 한정하지 않고, 이미지의 제1 특징을 추출할 수 있으면, 본 발명의 실시예의 신원 코딩 네트워크 모듈로 할 수 있다.

이상과 동일하게, 속성 코딩 네트워크 모듈은 소정의 자세 특징 및 배경 특징의 알고리즘을 사용하여 이미지의 제2 특징을 추출해도 되고, 또는 합성곱 모듈 등의 모듈 유닛을 포함해도 된다. 본 발명의 실시예는 속성 코딩 네트워크 모듈의 구조에 대해, 구체적으로 한정하지 않고, 이미지의 제2 특징을 추출할 수 있으면, 본 발명의 실시예의 속성 코딩 네트워크 모듈로 할 수 있다.

본 발명의 실시예는 페어 이미지의 두 개의 이미지의 제1 특징과 제2 특징이 추출된 후, 제1 특징을 이용하여 분류 인식을 실행하고, 또한, 후속의 특징 교환 처리를 실행하도록 해도 된다.

본 발명의 실시예의 뉴럴 네트워크는 입력측이 신원 코딩 네트워크 모듈의 출력측에 접속되고, 상기 신원 코딩 네트워크 모듈에서 출력된 제1 특징을 수신하고, 수신한 제1 특징에 기초하여 제1 분류 결과를 얻는 분류 모듈을 추가로 포함해도 된다. 여기서, 상기 제1 분류 결과는 제1 특징에 대응하는 신원 표지의 예측 결과를 나타내고, 대상 표지로 예측되는 확률을 요소로 하는 행렬의 형식으로 나타내도 된다. 본 발명의 실시예의 분류 모듈의 구성에 대해서는 소정의 분류 원칙에 의해 제1 특징 분류를 실행하고, 제1 특징에 대응하는 제1 분류 결과를 얻는 것이면, 자유롭게 설정할 수 있다. 제1 분류 결과가 얻어진 후, 이 제1 분류 결과에 대응하는 제1 손실값을 취득하고, 추가로 이 제1 손실값에 기초하여 뉴럴 네트워크의 손실값을 결정하고, 네트워크의 파라미터를 피드백 조정할 수 있다.

또한, 각 이미지의 제1 특징과 제2 특징이 얻어진 후, 페어 이미지의 두 개의 이미지에 대해 특징 교환 처리를 행할 수 있다. 여기서, 상기 실시예와 같이, 특징 교환 처리는 페어 이미지의 제1 이미지의 제2 특징과 제2 이미지의 제2 특징을 교환하고, 제1 특징과 교환 후의 제2 특징에 기초하여 새로운 이미지를 얻을 수 있다.

특징 교환 처리에 의해, 하나의 이미지의 제1 특징과 다른 하나의 이미지의 제2 특징을 조합하여 새로운 이미지를 형성할 수 있다. 이 새로운 이미지를 사용하여 분류함으로써, 신원 특징에 기초하는 인물 신원의 인식을 효과적으로 실현하고, 배경, 자세 등의 속성의 영향을 저감할 수 있다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S300)의 흐름도를 나타낸다. 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 이미지 샘플군 중의 페어 이미지를 상기 뉴럴 네트워크의 생성 네트워크 모듈에 입력하는 단계(S301)와, 상기 생성 네트워크 모듈에 의해 상기 이미지 샘플군 중의 페어 이미지에 대해 상기 특징 교환 처리를 실행하여, 상기 새로운 페어 이미지를 얻는 단계(S302)를 포함해도 된다.

본 발명의 실시예에서는 뉴럴 네트워크는 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 의해 얻어진 제1 특징과 제2 특징에 대해 특징 교환 처리를 실행하고, 교환 후의 특징에 기초하여 새로운 이미지를 얻는 생성 네트워크 모듈을 추가로 포함해도 된다. 구체적으로는, 본 발명의 실시예에서는 상기 실시예와 같이 입력된 이미지 샘플군은 두 개의 타입의 이미지 샘플군을 포함해도 된다. 여기서, 제1 타입의 샘플 중의 페어 이미지는 동일한 대상물의 이미지이다. 본 발명의 실시예는 제1 타입의 샘플의 페어 이미지에 대해, 각 페어 이미지마다의 이미지에 대해 1회의 특징 교환 처리를 실행하도록 해도 된다.

제1 타입의 샘플에 대해, 상기 이미지 샘플군 중의 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 것을 포함해도 된다. 이 과정은 각 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함해도 된다.

제1 타입의 샘플 중의 페어 이미지의 두 개의 이미지가 동일 대상물의 상이한 이미지이기 때문에, 특징 교환 처리를 실행하여 얻어진 새로운 이미지는 여전히 동일 대상물의 이미지이다. 특징 교환 처리가 완료된 후, 얻어진 새로운 이미지와 대응하는 원 이미지의 상이 및 새로운 이미지의 제1 특징 및 제2 특징과 대응하는 원 이미지의 제1 특징 및 제2 특징의 상이에 따라, 뉴럴 네트워크의 손실값을 결정해도 된다. 또한, 생성된 새로운 이미지를 직접 이용하여 인식 분류를 실행해도 되고, 이 경우, 생성된 새로운 페어 이미지를 분류 모듈에 입력하고, 분류를 실행하여 제2 분류 결과를 얻어도 된다.

예를 들면, 제1 타입의 샘플 중의 페어 이미지는 이미지 A 및 이미지 B를 포함하고, 신원 코딩 네트워크 모듈에 의해 취득된 A의 제1 특징이 A_u이고, 신원 코딩 네트워크 모듈에 의해 취득된 B의 제1 특징이 B_u이며, 속성 코딩 네트워크 모듈에 의해 취득된 A의 제2 특징이 A_v이고, 속성 코딩 네트워크 모듈에 의해 취득된 B의 제2 특징이 B_v이다. A 및 B는 각각 동일한 대상물의 제1 이미지 및 제2 이미지이고, 제1 이미지와 제2 이미지가 상이한 것이다. 특징 교환 처리를 실행할 때, A의 제1 특징 A_u 및 B의 제2 특징 B_v를 사용하여 새로운 제1 이미지 A'A'를 얻고, B의 제1 특징 B_u 및 A의 제2 특징 A_v를 사용하여 새로운 제2 이미지 B'B'를 얻도록 해도 된다.

이상과 같이, 본 발명의 실시예의 뉴럴 네트워크는 수신한 제1 특징과 제2 특징에 기초하여 새로운 이미지를 생성하기 위한 생성 네트워크 모듈을 포함해도 된다. 예를 들면, 생성 네트워크 모듈은 하나 이상의 합성곱 유닛을 포함해도 되고, 또는 다른 처리 유닛을 포함해도 된다. 생성 네트워크 모듈에 의해, 제1 특징과 제2 특징에 대응하는 이미지를 얻을 수 있다. 즉, 생성 네트워크에 의해, 상기 제2 특징의 교환, 교환 후의 특징에 기초하는 이미지 생성의 과정을 실시할 수 있다.

상기 특징 교환 처리에 의해, 두 장의 이미지의 제2 특징을 교환함으로써 새로운 이미지를 형성할 수 있고, 이에 의해 신원에 관련되는 특징과 신원에 관련되지 않는 특징을 성공적으로 분리할 수 있다. 이와 같은 방식으로 뉴럴 네트워크를 훈련함으로써, 뉴럴 네트워크에 의한 신원 특징의 인식 정밀도를 높일 수 있다.

또한, 본 발명의 실시예의 이미지 샘플군은 포함되는 페어 이미지가 상이한 대상물의 이미지인 제2 타입의 샘플군을 추가로 포함해도 된다. 본 발명의 실시예는 제2 타입의 샘플 중의 페어 이미지에 대해 각 페어 이미지마다의 이미지에 대해 2회의 특징 교환 처리를 실행하도록 해도 된다.

도 4는 제2 타입의 샘플군에 대해, 본 발명의 실시예에 따른 네트워크 최적화 방법에서의 단계(S303)의 흐름도를 나타낸다. 입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 이미지 샘플군 중의 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것을 포함해도 된다. 이 과정은 상기 제2 타입의 샘플 중의 각 페어 이미지마다의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 단계(S3031)와, 상기 제1 중간 이미지의 제1 특징과 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 단계(S3032)를 포함해도 된다.

예를 들면, 신원 코딩 네트워크 모듈에 의해 취득된 A의 제1 특징이 A_u이고, 신원 코딩 네트워크 모듈에 의해 취득된 B의 제1 특징이 B_u이며, 속성 코딩 네트워크 모듈에 의해 취득된 A의 제2 특징이 A_v이고, 속성 코딩 네트워크 모듈에 의해 취득된 B의 제2 특징이 B_v이다. A와 B는 각각 상이한 대상물의 제1 이미지와 제2 이미지이다. 1회째의 특징 교환 처리를 실행할 때, A의 제1 특징 A_u와 B의 제2 특징 B_v를 사용하여 새로운 제1 중간 이미지 A'A'를 얻고, B의 제1 특징 B_u와 A의 제2 특징 A_v를 사용하여 새로운 제2 중간 이미지 B'B'를 얻도록 해도 된다. 2회째의 특징 교환 처리를 실행할 때, 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈을 다시 사용하여 제1 중간 이미지 A'A'의 제1 특징 A'_u와 제2 특징 A'_v및 제2 중간 이미지 B'B'의 제1 특징 B'_u와 제2 특징 B'_v를 각각 취득하고, 추가로 생성 네트워크를 사용하여 제1 중간 이미지 A'A'의 제2 특징 A'_v와 제2 중간 이미지 B'B'의 제2 특징 B'_v의 교환 처리를 실행하고, 제1 중간 이미지 A'A'의 제1 특징 A'_u와 제2 중간 이미지 B'B'의 제2 특징 B'_v를 사용하여 새로운 제1 이미지 A''를 생성하고, 제1 중간 이미지 A'A'의 제2 특징 A'_v와 제2 중간 이미지 B''의 제1 특징 B'_u를 사용하여 새로운 제2 이미지 B''를 생성하도록 해도 된다.

상기 2회의 특징 교환 처리에 의해, 두 장의 이미지의 제2 특징을 교환함으로써, 새로운 이미지를 형성할 수 있다. 제2 타입의 샘플에 대해, 동일한 대상물의 페어 이미지의 경우의 훈련 과정과의 상이는 1회째의 특징 교환 처리 후, 직접적인 화소 레벨의 감독이 없기 때문에, 2회째의 특징 교환 처리를 행하여 원 이미지에 대응하는 이미지를 생성하고, 이 과정을 순환 생성 과정으로 해도 되는 점에 있다.

특징 교환 처리의 실행이 완료된 후, 얻어진 새로운 이미지와 대응하는 원 이미지 사이의 상이 및 새로운 이미지의 제1 특징 및 제2 특징과 대응하는 원 이미지의 제1 특징 및 제2 특징의 상이를 이용해도 되고, 또한, 이 새로운 이미지의 제1 특징을 분류 모듈에 입력하고, 분류 처리를 실행하여 제2 분류 결과를 얻어도 된다. 여기서, 제1 타입의 샘플의 경우에, 최종적인 새로운 이미지의 제1 특징의 제2 분류 결과를 직접 얻을 수 있지만, 제2 타입의 샘플의 경우에, 최종적으로 새로운 이미지의 제1 특징의 제2 분류 결과를 얻는 것에 추가하여, 중간 이미지의 제1 특징의 제2 분류 결과도 얻을 수 있다. 본 발명의 실시예는 상기 제2 분류 결과, 새로운 이미지와 원 이미지 사이의 상이 및 특징 사이의 상이에 기초하여 뉴럴 네트워크를 최적화해도 된다. 즉, 본 발명의 실시예는 뉴럴 네트워크의 손실값이 소정 요구를 충족하고, 예를 들면, 손실 임계값보다 낮아질 때까지 뉴럴 네트워크의 각 네트워크 모듈에 의해 얻어진 출력 결과의 손실값에 기초하여, 뉴럴 네트워크를 피드백 조정해도 된다. 본 발명의 실시예의 뉴럴 네트워크의 손실 함수는 네트워크 모듈의 손실 함수에 관련되고, 예를 들면, 복수의 네트워크 모듈의 손실 함수의 가중합이어도 된다. 이에 의해, 각 네트워크 모듈의 손실값에 기초하여 뉴럴 네트워크의 손실값을 얻고, 손실값이 손실 임계값보다 낮다는 소정 요구를 충족할 때까지, 뉴럴 네트워크의 각 네트워크 모듈의 파라미터를 조정할 수 있다. 이 손실 임계값에 대해, 당업자에 의해 필요에 따라 설정해도 되고, 본 발명은 구체적으로 한정하지 않는다.

이하, 본 발명의 실시예의 피드백 조정 과정을 상세하게 설명한다.

신원 코딩 네트워크 모듈에 의해 이미지의 제1 특징이 얻어진 후, 분류 모듈에 의해 이 제1 특징에 기초하여 제1 분류 결과를 얻을 수 있다. 본 발명의 실시예는 제1 소정 방식을 사용하여 상기 신원 코딩 네트워크 모듈에 의해 취득된 제1 특징을 사용하여 얻어진 제1 분류 결과의 제1 손실값을 취득해도 된다. 여기서, 도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S400)의 흐름도를 나타낸다. 제1 손실값을 취득하는 과정은 상기 신원 코딩 네트워크 모듈에 의해 취득된 제1 특징의 제1 분류 결과를 취득하는 단계(S401)와, 제1 소정 방식을 사용하여, 상기 제1 분류 결과 및 상기 이미지 샘플군 중의 이미지에 대응하는 진위 분류 결과에 기초하여, 상기 제1 손실값을 취득하는 단계(S402)를 포함한다.

상기 실시예와 같이, 단계(S200)에 있어서, 샘플 중의 이미지의 제1 특징을 취득한 경우, 분류 모듈에 의해 이 제1 특징의 분류 인식을 실행하여, 제1 특징에 대응하는 제1 분류 결과를 얻고, 이 제1 분류 결과는 각 신원 라벨에 대응하는 확률을 요소로 하는 행렬의 형식으로 나타내도 된다. 본 발명의 실시예에서는 이 제1 분류 결과와 진위 분류 결과를 비교함으로써 제1 차값을 얻고, 이 제1 차값을 제1 손실값으로서 결정해도 된다. 또는 다른 실시예에서는 제1 분류 결과와 진위 분류 결과를 분류 모듈의 제1 손실 함수에 입력하여 제1 손실값을 얻어도 된다. 본 발명은 제1 손실값의 취득 방식을 구체적으로 한정하지 않는다.

본 발명의 실시예에서는 제1 타입의 샘플 및 제2 타입의 샘플에 의해 뉴럴 네트워크를 훈련하는 경우에, 채용되는 손실 함수는 동일해도 되고, 상이해도 된다. 또한, 본 발명의 실시예는 제1 타입의 샘플에 의해 훈련하여 얻어진 뉴럴 네트워크의 손실값과, 제2 타입의 샘플에 의해 훈련하여 얻어진 뉴럴 네트워크의 손실값을 가산 처리하여, 최종적인 뉴럴 네트워크의 손실값을 얻고, 이 손실값을 사용하여 네트워크에 대한 피드백 조정 처리를 행하도록 해도 된다. 여기서, 피드백 조정은 뉴럴 네트워크의 각 네트워크 모듈의 파라미터를 조정해도 되고, 일부 네트워크 모듈의 파라미터만을 조정해도 되고, 본 발명은 구체적으로 한정되지 않는다.

우선, 본 발명의 실시예는 제1 소정 방식을 사용하여 상기 신원 코딩 네트워크 모듈에 의해 취득된 제1 특징을 사용하여 얻어진 제1 분류 결과의 제1 손실값을 얻어도 된다. 여기서, 제1 소정 방식은 이하의 식 (1)로 나타내도 된다.

단,

는 요소의 곱셈을 나타내고,

은 제1 분류 결과에 대응하는 N차원의 예측 특징 벡터를 나타내고, L은 대응하는 원 이미지의 진위 라벨에 대응하는 N차원의 특징 벡터(진위 분류 결과)이고,

는 제1 손실 함수에 대응하는 제1 손실값이고, i가 1 이상 N 이하의 변수이다.

상기 형태에 의하면, 분류 모듈에 의해 얻어진 제1 분류 결과의 제1 손실값을 얻을 수 있다. 여기서, 본 발명의 실시예는 이 제1 손실값에 기초하여 신원 코딩 네트워크 모듈, 속성 코딩 네트워크 모듈 및 분류 모듈의 파라미터를 피드백 조정해도 되고, 이 제1 손실값 및 다른 네트워크 모듈의 손실값에 기초하여 뉴럴 네트워크의 전체 손실값을 결정하여, 뉴럴 네트워크의 하나 이상의 네트워크 모듈을 통일적으로 피드백 조정해도 되고, 본 발명은 피드백 조정을 한정하지 않는다.

본 발명의 실시예는 추가로 생성 네트워크 모듈에 의해 생성된 새로운 페어 이미지를 처리하고, 새로운 페어 이미지의 제2 손실값 및 대응하는 특징의 제3 손실값을 얻도록 해도 된다. 여기서, 제2 손실값의 결정 방식은 제2 소정 방식을 사용하여, 상기 생성 네트워크 모듈에 의해 취득된 새로운 페어 이미지의, 원 페어 이미지에 대한 제2 손실값을 취득하는 방식을 포함해도 된다.

본 발명의 실시예에서는 생성 네트워크에 의해 새로운 페어 이미지를 얻고, 새로운 페어 이미지와 원 페어 이미지 사이의 상이에 기초하여, 제2 손실값을 결정하도록 해도 된다.

제1 타입의 샘플에 대해, 상기 제2 소정 방식은 식 (2)로 나타내도 된다.

단,

및

는 각각 원 페어 이미지의 제1 이미지 및 제2 이미지이고,

및

는 각각 새로운 페어 이미지의 새로운 제1 이미지 및 새로운 제2 이미지이고,

은 제2 손실 함수에 대응하는 제2 손실값이고,

은 1노름을 나타낸다.

상기 형태에 의하면, 제1 타입의 샘플에 대해, 생성 네트워크 모듈에 의해 생성된 새로운 페어 이미지에 대응하는 제2 손실값을 얻을 수 있다.

제2 타입의 샘플에 대해, 상기 제2 소정 방식은 식 (3)으로 나타내도 된다.

단,

는 원 페어 이미지의 제1 이미지이고,

는 새로운 페어 이미지의 1 이미지이고,

는 원 페어 이미지의 제2 이미지이고,

는 새로운 페어 이미지의 제2 이미지이다.

또한, 본 발명의 실시예는 추가로 새로운 제2 페어 이미지의 특징에 대응하는 제3 손실값을 취득해도 된다. 제3 소정 방식에 의해 상기 제3 손실값을 취득해도 된다.

여기서, 제3 소정 방식은 식 (4)로 나타내도 된다.

단,

는 원 페어 이미지의 제1 이미지

의 제1 특징을 나타내고,

는 새로운 제1 이미지

의 제1 특징이고,

는 원 페어 이미지의 제2 이미지

의 제2 특징을 나타내고,

는 새로운 제2 이미지

의 제2 특징이고, T는 전치 연산이고,

는 제3 손실 함수에 대응하는 손실값이고,

는 2노름을 나타낸다.

상기 형태에 의하면, 분류 모듈에 의해, 생성 네트워크 모듈에서 생성된 새로운 페어 이미지의 특징에 대응하는 제3 손실값을 얻을 수 있다.

이상과 동일하게, 본 발명의 실시예는 각각 제2 손실값 및 제3 손실값에 기초하여, 생성 네트워크 모듈의 파라미터를 피드백 조정해도 되고, 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여, 뉴럴 네트워크의 복수의 네트워크 모듈을 일괄적으로 피드백 조정해도 된다. 예를 들면, 본 발명의 일부 가능한 실시형태에서는 상기 제1 손실값, 제2 손실값 및 제3 손실값의 가중합에 의해 뉴럴 네트워크의 손실값을 얻어도 되고, 즉, 뉴럴 네트워크의 손실 함수가 상기 제1 손실 함수, 제2 손실 함수 및 제3 손실 함수의 가중합이고, 각각의 손실 함수의 가중치를 구체적으로 한정하지 않고, 당업자에 의해 필요에 따라 자유롭게 설정 가능하다. 얻어진 손실값이 손실 임계값보다 큰 경우, 복수의 네트워크 모듈의 파라미터를 피드백 조정하고, 손실값이 손실 임계값보다 작아지면 훈련을 종료하여, 뉴럴 네트워크의 최적화를 완성시킨다. 또한, 본 발명의 실시예에서는 제1 타입의 샘플의 페어 이미지에 기초하여 훈련하는 경우의 제1 손실 함수, 제2 손실 함수 및 제3 손실 함수는 제2 타입의 샘플의 페어 이미지에 기초하여 훈련하는 경우의 제1 손실 함수, 제2 손실 함수 및 제3 손실 함수와 상이해도 되지만, 본 발명을 구체적으로 한정하는 것은 아니다.

또한, 본 발명의 실시예의 뉴럴 네트워크를 보다 높은 정밀도로 훈련하기 위해, 본 발명의 실시예의 뉴럴 네트워크는 생성된 새로운 페어 이미지의 진위 정도(진위 정도의 라벨 특징)를 식별하기 위한 식별 네트워크 모듈을 추가로 포함하고, 이 진위 정도에 기초하여, 식별 네트워크 모듈에서 결정된, 생성된 새로운 페어 이미지에 대응하는 제4 손실값을 취득하도록 해도 된다. 본 발명의 실시예의 식별 네트워크 및 생성 네트워크는 적대적 생성 네트워크를 구성해도 된다. 이 적대적 생성 네트워크의 구체적인 구조에 대해, 당업자에 의해 종래의 기술 수단에 기초하여 적절한 구조를 선택하여 배치할 수 있고, 본 발명에서 구체적으로 한정하지 않는다. 여기서, 본 발명의 실시예는 생성된 새로운 페어 이미지를 상기 뉴럴 네트워크의 식별 네트워크 모듈에 입력하고, 제4 소정 방식을 사용하여 상기 새로운 페어 이미지의 제4 손실값을 취득하도록 해도 된다.

여기서, 제4 소정 방식은 식 (5)로 나타낸다.

단, D는 식별 네트워크 모듈의 모델 함수를 나타내고, E[]는 기대값을 나타내고, X는 새로운 이미지에 대응하는 원 이미지, 즉 진위 이미지를 나타내고,

는 식별 네트워크 모듈에 입력되는 새로운 이미지를 나타내고, D(X)는 식별 네트워크 모듈에 의한, 진위 이미지의 라벨 특징을 나타내고,

는 식별 네트워크 모듈에 의한, 입력된 새로운 이미지의 라벨 특징을 나타낸다. 단,

의 요소는 0∼1의 수치이고, 1에 근접할수록 이 요소의 진위 정도가 높다.

본 발명의 실시예에서는 식별 네트워크 모듈의 훈련 과정을 단독으로 실행하고, 즉 식별 네트워크 모듈에 생성된 새로운 이미지 및 대응하는 진위 이미지를 입력하고, 제4 손실 함수에 대응하는 손실값이 요구되는 손실 임계값보다 낮아질 때까지, 상기 제4 손실 함수에 기초하여 식별 네트워크 모듈을 훈련하도록 해도 된다.

다른 일부 가능한 실시예에서는 식별 네트워크 모듈을 상기 신원 코딩 네트워크 모듈, 속성 코딩 네트워크 모듈 및 생성 네트워크 모듈과 함께 훈련하도록 해도 된다. 이에 대응하여, 본 발명의 실시예의 단계(S400)은 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 뉴럴 네트워크의 손실값을 취득하도록 해도 된다. 즉, 뉴럴 네트워크의 손실 함수는 상기 제1 손실 함수, 제2 손실 함수, 제3 손실 함수 및 제4 손실 함수의 가중합이고, 각 손실 함수의 가중치에 대해 본 발명은 구체적으로 한정하지 않고, 당업자에 의해 필요에 따라 자유롭게 설정 가능하다. 얻어진 손실값이 손실 임계값보다 큰 경우, 뉴럴 네트워크의 복수의 네트워크 모듈의 파라미터를 피드백 조정하고, 손실값이 손실 임계값보다 작아지면 훈련을 종료하여, 뉴럴 네트워크의 최적화를 완성시킨다.

또한, 본 발명의 실시예에서는 제1 타입의 샘플의 페어 이미지에 기초하여 훈련하는 경우의 제1 손실 함수, 제2 손실 함수 및 제3 손실 함수는 제2 샘플군의 페어 이미지에 기초하여 훈련하는 경우의 제1 손실 함수, 제2 손실 함수 및 제3 손실 함수와 상이해도 되지만, 본 발명을 구체적으로 한정하는 것은 아니다.

본 발명의 일부 가능한 실시예에서는 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력한 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우(제1 타입의 샘플), 제5 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 취득하고, 단, 제5 소정 방식은 식 (6)으로 나타낸다.

단,

,

및

는 각각 제2 손실 함수, 제3 손실 함수 및 제4 손실 함수의 가중치이고,

는 제1 네트워크 손실값이다.

신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는다. 단, 제6 소정 방식은 식 (7)로 나타낸다.

단,

,

및

은 제2 네트워크 손실값이다.

본 발명의 실시예는 제1 네트워크 손실값과 제2 네트워크 손실값의 가산 결과에 기초하여, 뉴럴 네트워크 손실값을 얻도록 해도 되고, 즉, 뉴럴 네트워크의 손실값 L＝

＋

이어도 된다. 훈련 과정에서 얻어진 손실값이 손실 임계값보다 큰 경우, 뉴럴 네트워크의 파라미터를 피드백 조정하고, 예를 들면, 복수의 네트워크 모듈(신원 코딩 네트워크 모듈, 속성 코딩 네트워크 모듈, 생성 네트워크 모듈 및 식별 네트워크 모듈 등)의 파라미터를 피드백 조정하고, 뉴럴 네트워크의 손실값이 손실 임계값보다 작아지면 훈련을 종료하여, 뉴럴 네트워크의 최적화를 완성시키도록 해도 된다. 또는 다른 실시예에서는 제1 손실값에 기초하여 신원 코딩 네트워크 모듈, 속성 코딩 네트워크 모듈 및 분류 모듈의 파라미터를 조정하고, 제2 손실값 및 제3 손실값에 기초하여 생성 네트워크 모듈의 파라미터를 피드백 조정하고, 제4 손실값에 기초하여 식별 네트워크 모듈의 파라미터를 조정하고, 손실값이 대응하는 손실 함수의 손실 임계값보다 작아지면, 훈련을 종료하도록 해도 된다. 즉, 본 발명의 실시예는 임의의 네트워크 모듈을 단독으로 피드백 조정하고 훈련해도 되고, 뉴럴 네트워크의 손실값에 기초하여 뉴럴 네트워크의 일부 또는 전부의 네트워크 모듈을 일괄적 조정해도 되고, 당업자에 의해 필요에 따라 적절한 방식을 선택하여 이 조정 과정을 실행할 수 있다.

또한, 본 발명의 실시예에서는 뉴럴 네트워크의 신원 특징의 인식 정밀도를 높이기 위해, 상기 이미지 샘플군을 신원 코딩 네트워크 모듈에 입력하기 전에 이미지에 노이즈를 추가하고, 예를 들면, 상기 페어 이미지의 두 개의 이미지에서의 대상물의 이미지 영역에 노이즈를 추가하도록 해도 된다. 본 발명의 실시예에서는 대상물인 인물의 이미지 영역의 일부에 피복층을 추가하도록 노이즈를 추가할 수 있다. 상기 피복층의 크기는 당업자에 의해 필요에 따라 자유롭게 설정할 수 있고, 본 발명은 한정하지 않는다. 본 발명의 실시예에서는 신원 코딩 네트워크 모듈에 입력되는 이미지에만 노이즈를 추가하고, 다른 네트워크 모듈에 노이즈를 도입하지 않는다. 이렇게 하면, 뉴럴 네트워크의 신원 인식의 정밀도를 효과적으로 높일 수 있다.

본 발명의 실시예를 보다 명료하게 설명하기 위해, 이하, 예를 들어 제1 타입의 샘플 및 제2 타입의 샘플에 기초한 훈련 과정을 설명한다.

도 6은 본 발명의 실시예에 관한 제1 타입의 샘플을 사용하여 네트워크 최적화 처리를 실행하는 과정 모식도를 나타낸다. 여기서, 동일한 대상물의 두 개의 이미지 Xu 및 Xv를 신원 코딩 네트워크 Eid에 입력하여 제1 특징을 취득하고, 이미지 Xu 및 Xv를 속성 코딩 네트워크 Ea에 입력하여 제2 특징을 취득하고, 제1 특징을 분류기 C에 입력하여 제1 분류 결과를 취득하고, 또한 제1 손실값 Lc를 취득하도록 해도 된다. 여기서, 신원 코딩 네트워크 Eid에 입력되는 이미지에 노이즈를 추가하고, 예를 들면, 대상물인 인물의 영역에 피복맵을 추가하여 일부 영역을 차폐해도 된다.

페어 이미지의 제2 특징을 교환하고, 생성 네트워크 모듈 G를 사용하여 교환 처리 후의 두 개의 새로운 이미지를 취득하고, 두 개의 새로운 이미지에 대응하는 제2 손실값 Lir 및 두 개의 새로운 이미지의 제1 특징 및 제2 특징에 대응하는 제3 손실값 Ls를 얻고, 새로운 이미지를 식별 네트워크 모듈 D에 입력하여 제4 손실값 Ladv를 얻는다. 이 때, 제1 손실값 Lc, 제2 손실값 Lir, 제3 손실값 Ls 및 제4 손실값 Ladv를 사용하여 뉴럴 네트워크의 손실값을 얻고, 이 손실값이 손실 임계값보다 작아지면 훈련을 종료하고, 그렇지 않으면 뉴럴 네트워크의 하나 이상의 네트워크 모듈의 파라미터를 피드백 조정할 수 있다.

도 7은 본 발명의 실시예에 관련된 제2 타입의 샘플을 사용하여 네트워크 최적화 처리를 실행하는 과정 모식도를 나타낸다. 여기서, 상이한 대상물의 두 개의 이미지 Xu 및 Yw를 신원 코딩 네트워크 Eid에 입력하여 제1 특징을 취득하고, 이미지 Xu 및 Yw를 속성 코딩 네트워크 Ea에 입력하여 제2 특징을 취득하고, 제1 특징을 분류기 C에 입력하여 제1 분류 결과를 취득하고, 또한 제1 손실값 Lc를 취득하도록 해도 된다. 여기서, 신원 코딩 네트워크 Eid에 입력되는 이미지에 노이즈를 추가하고, 예를 들면, 대상물인 인물의 영역에 피복맵을 추가하여 일부 영역을 차폐해도 된다.

페어 이미지의 제2 특징을 교환하고, 생성기에 의해 교환 처리 후의 두 개의 중간 이미지를 얻고, 추가로 신원 코딩 네트워크 모듈 Eid 및 속성 코딩 네트워크 모듈 Ea에 의해, 상기 두 개의 중간 이미지의 제1 특징과 제2 특징을 얻고, 이어서 중간 이미지의 제2 특징을 교환하여 새로운 이미지를 얻는다. 이 때, 두 개의 새로운 이미지에 대응하는 제2 손실값 Ls 및 두 개의 새로운 이미지의 제1 특징과 제2 특징에 대응하는 제3 손실값 Lcr을 얻고, 중간 이미지 또는 새로운 이미지를 식별 네트워크 모듈 D에 입력하여 제4 손실값 Ladv를 얻는다. 이 때, 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값을 사용하여 뉴럴 네트워크의 손실값을 얻고, 이 손실값이 손실 임계값보다 작아지면 훈련을 종료하고, 그렇지 아니면 뉴럴 네트워크의 하나 이상의 네트워크 모듈의 파라미터를 피드백 조정할 수 있다.

본 발명의 실시예는 입력 이미지의 제1 특징(신원 특징)과 제1 특징 이외의 제2 특징을 효과적으로 추출할 수 있고, 2장의 이미지의 제2 특징을 교환하여 새로운 이미지를 형성함으로써, 신원에 관련되는 특징과 신원에 관련되지 않는 특징을 효과적으로 분리할 수 있고, 여기서, 신원에 관련되는 특징은 보행자 재식별에 효과적으로 이용 가능하다. 본 발명의 실시예에서는 훈련 단계에서도 적용 단계에서도 이미지 데이터 세트 이외의 보조 정보를 전혀 필요로 하지 않고, 충분한 감독을 제공하고, 인식 정밀도를 효과적으로 높일 수 있다.

구체적인 실시형태의 상기 방법에 있어서, 각 단계의 기술 순서는 엄격한 실행 순서인 것은 아니고, 실시 프로세스가 전혀 제한되지도 않으며, 각 단계의 구체적인 실행 순서는 그 기능과 가능한 내재적 논리에 의존하는 것을 당업자가 이해할 수 있다.

또한, 본 발명의 실시예는 제1 측면에서 제공된 이미지 최적화 방법에 의해 얻어진 뉴럴 네트워크를 사용하여 이미지 인식을 실행하여, 입력 이미지에 대응하는 신원의 인식 결과를 취득할 수 있는 이미지 처리 방법을 추가로 제공한다.

도 8은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 여기서, 상기 방법은 입력 이미지를 수신하는 단계(S10)와, 뉴럴 네트워크 모델에 의해, 상기 입력 이미지의 제1 특징을 인식하는 단계(S20)와, 상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하는 단계(S30)를 포함하고, 상기 뉴럴 네트워크 모델은 제1 측면 중 어느 한 항에 기재된 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델이다.

본 발명의 실시예에서는 제1 측면에 의해 훈련하여, 요구를 충족하는 뉴럴 네트워크 모델을 얻고, 추가로 뉴럴 네트워크 모델을 사용하여 이미지에서의 대상물의 신원 인식을 실행하도록 해도 되고, 즉 뉴럴 네트워크 모델을 사용하여 이미지 인식 등을 실행 가능한 이미지 처리 장치를 형성하고, 이 장치를 사용하여 상기 신원 인식 과정을 실행하도록 해도 된다.

본 발명의 실시예에서는 복수의 인물의 정보, 예를 들면, 인물의 이미지 및 대응하는 성명, 연령, 직무 등과 같은 신원 정보를 포함하는 데이터베이스를 가져도 되고, 본 발명은 이에 한정되지 않는다.

본 발명의 실시예에서는 입력 이미지가 수신된 후, 수신한 입력 이미지의 제1 특징을 데이터베이스에서의 인물의 이미지와 조합(照合)하여, 데이터베이스에서 매칭되는 인물을 판정할 수 있다. 본 발명의 실시예에서, 뉴럴 네트워크 모델은 상기 실시예에 의해 훈련되어 정밀도 요구를 충족하는 것이기 때문에, 입력 이미지와 매칭되는 대상물을 정확하게 검색하여, 추가로 그것에 대응하는 신원 정보를 취득할 수 있다.

본 발명의 실시예의 이미지 처리 방법에 의하면, 이미지에서의 대상물의 신원을 고속으로 인식하고, 인식 정밀도를 높일 수 있다.

본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있는 것으로 이해할 수 있고, 분량에 한정이 있으므로, 본 발명에서는 상세한 설명을 생략한다.

또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이들은 전부 본 발명에서 제공되는 이미지 처리 방법 중 어느 하나를 실현하는 것에 이용 가능하고, 대응하는 기술적 해결 수단 및 설명에 대해서는 방법 부분의 대응하는 기재를 참조하면 되고, 상세한 설명을 생략한다.

도 9는 본 발명의 실시예에 따른 네트워크 최적화 장치의 블록도를 나타낸다. 도 9에 나타내는 바와 같이, 상기 네트워크 최적화 장치는 동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하기 위한 취득 모듈(10)과, 상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하기 위한 특징 코딩 네트워크 모듈(20)과, 이미지의 제1 특징에 기초하여 제1 분류 결과를 얻기 위한 분류 모듈(30)과, 상기 이미지 샘플군 중의 페어 이미지에 대해 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻기 위한 생성 네트워크 모듈(40)과, 소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하기 위한 손실값 취득 모듈(50)과, 소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 제2 손실값 및 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하기 위한 조정 모듈(60)을 포함한다.

일부 가능한 실시형태에서는 상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 동일한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻기 위해 사용되고, 그것은 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하는 것과, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻기 위해 사용되고, 그것은 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 것과, 상기 제1 중간 이미지의 제1 특징과 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 조정 모듈은 추가로, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값을 사용하여 상기 뉴럴 네트워크의 손실값을 얻는 것과, 소정 요구가 충족될 때까지 상기 뉴럴 네트워크의 손실값에 기초하여 상기 뉴럴 네트워크의 파라미터를 조정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 조정 모듈은 추가로, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우, 제5 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 얻는 것과, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는 것과, 상기 제1 네트워크 손실값과 제2 네트워크 손실값의 가산 결과에 기초하여, 상기 뉴럴 네트워크의 손실값을 얻는 것에 사용된다.

도 10은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다. 도면에 나타내는 바와 같이, 이미지 처리 장치는 입력 이미지를 수신하기 위한 수신 모듈(100)과, 뉴럴 네트워크 모델에 의해, 상기 입력 이미지의 제1 특징을 인식하기 위한 인식 모듈(200)과, 상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하기 위한 신원 결정 모듈(300)을 포함하고, 상기 뉴럴 네트워크 모델은 제1 측면 중 어느 한 항에 기재된 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델이도록 해도 된다.

일부 실시예에서는 본 발명의 실시예에서 제공된 장치가 구비한 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용되고, 그 구체적인 실현 형태에 대해서는 상기 방법 실시예의 설명을 참조하면 되고, 간략화하기 위해 여기에 중복 설명은 생략한다.

본 발명의 실시예는 추가로, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체여도 된다.

본 발명의 실시예는 추가로, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기를 제공한다.

본 발명의 실시예는 추가로, 컴퓨터 판독 가능 코드를 포함하고, 컴퓨터 판독 가능 코드가 기기 상에서 실행되면, 기기의 프로세서에 이상의 실시예 중 어느 하나에서 제공된 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램 제품을 제공한다.

전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.

도 11은 본 발명의 실시예에 따른 전자 기기(800)의 블록도를 나타낸다. 예를 들면, 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 기기, 피트니스 기구, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.

도 11을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.

처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련되는 동작을 제어한다. 처리 컴포넌트(802)는 명령을 실행하여 상기 방법 중 전부 또는 일부 단계를 실행하기 위해 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.

메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터는 예로서, 전자 기기(800)에서 운용하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 스크린은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계, 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신한 오디오 신호는 추가로 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)에 의해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 하나의 스피커를 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위한 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우, 근방의 물체의 존재를 검출하도록 구성된 근접 센서를 포함한다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은, 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부의 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.

예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용할 수 있다.

예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

도 12는 예시적인 일 실시예에 기초하여 나타낸 전자 기기(1900)의 블록도이다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 12를 참조하면, 전자 기기(1900)는 추가로 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써, 상기 방법을 실행하도록 구성된다.

전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 또는 유사한 것에 기초하여 동작할 수 있다.

예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령을 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.

컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내의 돌기 구조와 같은 기계적 부호화 장치 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.

여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드(target code)여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터에서 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 측면을 실현할 수 있도록 해도 된다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것으로 이해되어야 한다.

상기 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억시키고, 이에 의해 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 해도 된다. 명령을 기억하고 있는 컴퓨터 판독 가능 기억 매체에는 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하기 위한 명령을 갖는 제품을 포함한다.

컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드하고, 컴퓨터, 기타 프로그래머블 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실행되는 프로세스를 생성하고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대안으로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이한 순서로 실현해도 된다. 예를 들면, 두 개의 연속적인 블록은 실질적으로 동시에 실행해도 되고, 또한 이러한 기능에 의해 반대 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 되는 것에 주의해야 한다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 사용된 용어는 각 실시예의 원리, 실제 적용 또는 종래 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

뉴럴 네트워크를 최적화하는 네트워크 최적화 방법으로서,
동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하는 것과,
상기 이미지 샘플군 중의 이미지의, 신원 특징을 포함하는 제1 특징 및 속성 특징을 포함하는 제2 특징을 취득하고, 이미지의 제1 특징을 사용하여 제1 분류 결과를 얻는 것과,
상기 이미지 샘플군 중의 페어 이미지에 대해, 상기 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 상기 제1 이미지의 제2 특징과 상기 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻는 것과,
소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것과,
소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 상기 제2 손실값 및 상기 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하는 것을 포함하는, 네트워크 최적화 방법.
제 1 항에 있어서,
상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하는 것은,
상기 페어 이미지의 두 개의 이미지를 상기 뉴럴 네트워크의 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력하는 것과,
상기 신원 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제1 특징을 취득하고, 상기 속성 코딩 네트워크 모듈을 사용하여 상기 페어 이미지의 두 개의 이미지의 제2 특징을 취득하는 것을 포함하는, 네트워크 최적화 방법.
제 2 항에 있어서,
소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은,
상기 신원 코딩 네트워크 모듈에 의해 취득된 상기 제1 특징의 상기 제1 분류 결과를 취득하는 것과,
제1 소정 방식을 사용하여, 상기 제1 분류 결과 및 상기 이미지 샘플군 중의 이미지에 대응하는 진위 분류 결과에 기초하여, 상기 제1 손실값을 취득하는 것을 포함하는, 네트워크 최적화 방법.
제 2 항 또는 제 3 항에 있어서,
상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈에 입력하기 전에
상기 페어 이미지의 두 개의 이미지에서의 대상물의 이미지 영역에 노이즈를 추가하는 것을 추가로 포함하는, 네트워크 최적화 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은,
상기 이미지 샘플군 중의 페어 이미지의 이미지의 제1 특징과 제2 특징을 상기 뉴럴 네트워크의 생성 네트워크 모듈에 입력하는 것과,
상기 생성 네트워크 모듈에 의해 상기 이미지 샘플군 중의 페어 이미지에 대한 상기 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 것을 포함하는, 네트워크 최적화 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
입력된 페어 이미지가 동일한 대상물의 이미지인 경우에, 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은, 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 것을 포함하고,
상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻는 것은,
상기 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 상기 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함하는, 네트워크 최적화 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은, 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것을 포함하고,
상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻는 것은,
상기 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 것과,
상기 제1 중간 이미지의 제1 특징과 상기 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것을 포함하는, 네트워크 최적화 방법.
제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은,
제2 소정 방식을 사용하여, 상기 생성 네트워크 모듈에 의해 취득된 새로운 페어 이미지의, 대응하는 원 페어 이미지에 대한 제2 손실값을 취득하는 것을 포함하는, 네트워크 최적화 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하는 것은,
제3 소정 방식을 따라, 상기 새로운 페어 이미지의 제1 특징과 제2 특징 및 상기 새로운 페어 이미지에 대응하는 원 페어 이미지의 제1 특징과 제2 특징에 기초하여, 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 얻는 것을 포함하는, 네트워크 최적화 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 이미지 샘플군 중의 페어 이미지에 대해 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻은 후,
생성된 상기 새로운 페어 이미지를 상기 뉴럴 네트워크의 식별 네트워크 모듈에 입력하여 상기 새로운 페어 이미지의 진위 정도를 나타내는 라벨 특징을 얻는 것과,
제4 소정 방식을 사용하여 상기 라벨 특징에 기초하여 상기 새로운 페어 이미지의 제4 손실값을 취득하는 것을 추가로 포함하는, 네트워크 최적화 방법.
제 10 항에 있어서,
소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 상기 제2 손실값 및 상기 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하는 것은,
상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것과,
소정 요구가 충족될 때까지 상기 뉴럴 네트워크의 손실값에 기초하여 상기 뉴럴 네트워크의 파라미터를 조정하는 것을 포함하는, 네트워크 최적화 방법.
제 11 항에 있어서,
상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것은,
상기 뉴럴 네트워크에 입력된 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우, 제5 소정 방식을 사용하여, 상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 얻는 것과,
상기 뉴럴 네트워크에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는 것과,
상기 제1 네트워크 손실값과 상기 제2 네트워크 손실값의 가산 결과에 기초하여, 상기 뉴럴 네트워크의 손실값을 얻는 것을 포함하는, 네트워크 최적화 방법.
입력 이미지를 수신하는 것과,
뉴럴 네트워크 모델에 의해 상기 입력 이미지의 제1 특징을 인식하는 것과,
상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하는 것을 포함하고,
상기 뉴럴 네트워크 모델은 제 1 항 내지 제 12 항 중 어느 한 항의 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델인, 이미지 처리 방법.
동일한 대상물의 이미지로 구성된 페어 이미지 및 상이한 대상물의 이미지로 구성된 페어 이미지를 포함하는 이미지 샘플군을 취득하기 위한 취득 모듈과,
상기 이미지 샘플군 중의 이미지의 제1 특징과 제2 특징을 취득하기 위한 특징 코딩 네트워크 모듈과,
이미지의 제1 특징에 기초하여 제1 분류 결과를 얻기 위한 분류 모듈과,
상기 이미지 샘플군 중의 페어 이미지에 대해 상기 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 또한 상기 제1 이미지의 제2 특징과 상기 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 특징 교환 처리를 실행하여, 새로운 페어 이미지를 얻기 위한 생성 네트워크 모듈과,
소정 방식을 사용하여, 상기 제1 분류 결과의 제1 손실값, 상기 새로운 페어 이미지의 제2 손실값 및 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 취득하기 위한 손실값 취득 모듈과,
소정 요구가 충족될 때까지 적어도 상기 제1 손실값, 상기 제2 손실값 및 상기 제3 손실값에 기초하여 뉴럴 네트워크의 파라미터를 조정하기 위한 조정 모듈을 포함하는, 네트워크 최적화 장치.
제 14 항에 있어서,
상기 특징 코딩 네트워크 모듈은 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈을 포함하고,
상기 취득 모듈은 추가로, 상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈 및 속성 코딩 네트워크 모듈에 입력하기 위해 사용되고,
상기 신원 코딩 네트워크 모듈은 상기 페어 이미지의 두 개의 이미지의 제1 특징을 취득하기 위해 사용되고, 상기 속성 코딩 네트워크 모듈은 상기 페어 이미지의 두 개의 이미지의 제2 특징을 취득하기 위해 사용되는, 네트워크 최적화 장치.
제 15 항에 있어서,
상기 손실값 취득 모듈은 추가로, 상기 신원 코딩 네트워크 모듈에 의해 취득된 상기 제1 특징에 대응하는 상기 제1 분류 결과를 취득하고, 제1 소정 방식을 사용하여, 상기 제1 분류 결과 및 상기 이미지 샘플군 중의 이미지에 대응하는 진위 분류 결과에 기초하여, 상기 제1 손실값을 취득하기 위해 사용되는, 네트워크 최적화 장치.
제 15 항 또는 제 16 항에 있어서,
상기 페어 이미지의 두 개의 이미지를 상기 신원 코딩 네트워크 모듈에 입력하기 전에, 상기 페어 이미지의 두 개의 이미지에서의 대상물의 이미지 영역에 노이즈를 추가하기 위한 전처리 모듈을 추가로 포함하는, 네트워크 최적화 장치.
제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 동일한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 1회의 특징 교환 처리를 실행하여 상기 새로운 페어 이미지를 얻기 위해 사용되고,
상기 생성 네트워크 모듈은 구체적으로 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 제2 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하기 위해 사용되는, 네트워크 최적화 장치.
제 14 항 내지 제 18 항 중 어느 한 항에 있어서,
상기 생성 네트워크 모듈은 추가로, 입력된 페어 이미지가 상이한 대상물의 이미지인 경우에, 상기 페어 이미지의 이미지에 대해 2회의 특징 교환 처리를 실행하여 새로운 페어 이미지를 얻기 위해 사용되고,
상기 생성 네트워크 모듈은 구체적으로, 상기 페어 이미지의 제1 이미지의 제1 특징과 제2 이미지의 제2 특징을 사용하여 새로운 제1 중간 이미지를 생성하고, 상기 제1 이미지의 제2 특징과 상기 제2 이미지의 제1 특징을 사용하여 새로운 제2 중간 이미지를 생성하는 것과, 상기 제1 중간 이미지의 제1 특징과 상기 제2 중간 이미지의 제2 특징을 사용하여 새로운 제1 이미지를 생성하고, 상기 제1 중간 이미지의 제2 특징과 제2 중간 이미지의 제1 특징을 사용하여 새로운 제2 이미지를 생성하는 것에 사용되는, 네트워크 최적화 장치.
제 18 항 또는 제 19 항에 있어서,
상기 손실값 취득 모듈은 추가로, 제2 소정 방식을 사용하여, 상기 생성 네트워크 모듈에 의해 취득된 새로운 페어 이미지의, 대응하는 원 페어 이미지에 대한 제2 손실값을 취득하기 위해 사용되는, 네트워크 최적화 장치.
제 14 항 내지 제 20 항 중 어느 한 항에 있어서,
상기 손실값 취득 모듈은 추가로, 제3 소정 방식을 따라, 상기 새로운 페어 이미지의 제1 특징과 제2 특징 및 상기 새로운 페어 이미지에 대응하는 원 페어 이미지의 제1 특징과 제2 특징에 기초하여, 상기 새로운 페어 이미지의 제1 특징과 제2 특징의 제3 손실값을 얻기 위해 사용되는, 네트워크 최적화 장치.
제 14 항 내지 제 21 항 중 어느 한 항에 있어서,
상기 페어 이미지를 수신하고, 상기 새로운 페어 이미지의 진위 정도를 나타내는 라벨 특징을 얻기 위한 식별 네트워크 모듈을 추가로 포함하고,
상기 손실값 취득 모듈은 추가로, 제4 소정 방식을 사용하여, 상기 라벨 특징에 기초하여 상기 새로운 페어 이미지의 제4 손실값을 취득하기 위해 사용되는, 네트워크 최적화 장치.
제 22 항에 있어서,
상기 조정 모듈은 추가로, 상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 손실값을 얻는 것과,
소정 요구가 충족될 때까지 상기 뉴럴 네트워크의 손실값에 기초하여 상기 뉴럴 네트워크의 파라미터를 조정하는 것에 사용되는, 네트워크 최적화 장치.
제 23 항에 있어서,
상기 조정 모듈은 추가로, 상기 뉴럴 네트워크에 입력된 이미지 샘플군이 동일한 대상물의 페어 이미지인 경우, 제5 소정 방식을 사용하여, 상기 제1 손실값, 제2 손실값, 제3 손실값 및 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제1 네트워크 손실값을 얻는 것과,
상기 뉴럴 네트워크에 입력된 이미지 샘플군이 상이한 대상물의 페어 이미지인 경우, 제6 소정 방식을 사용하여, 상기 제1 손실값, 상기 제2 손실값, 상기 제3 손실값 및 상기 제4 손실값에 기초하여 상기 뉴럴 네트워크의 제2 네트워크 손실값을 얻는 것과,
상기 제1 네트워크 손실값과 상기 제2 네트워크 손실값의 가산 결과에 기초하여, 상기 뉴럴 네트워크의 손실값을 얻는 것에 사용되는, 네트워크 최적화 장치.
입력 이미지를 수신하기 위한 수신 모듈과,
뉴럴 네트워크 모델에 의해 상기 입력 이미지의 제1 특징을 인식하기 위한 인식 모듈과,
상기 제1 특징에 기초하여 상기 입력 이미지에서의 대상물의 신원을 결정하기 위한 신원 결정 모듈을 포함하고,
상기 뉴럴 네트워크 모델은 제 1 항 내지 제 12 항 중 어느 한 항의 네트워크 최적화 방법에 의해 최적화 처리되어 얻어진 네트워크 모델인, 이미지 처리 장치.
프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 제 1 항 내지 제 12 항 중 어느 한 항의 방법 또는 제 13 항의 방법을 실행하도록 구성되는, 이미지 처리 장치.
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제 1 항 내지 제 12 항 중 어느 한 항의 방법 또는 제 13 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기 상에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 12 항 중 어느 한 항의 방법 또는 제 13 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.