KR20200136034A

KR20200136034A - 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템

Info

Publication number: KR20200136034A
Application number: KR1020207031431A
Authority: KR
Inventors: 춘후 우; 퀴안 첸
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2018-09-10
Filing date: 2019-05-24
Publication date: 2020-12-04
Also published as: CN110889314B; CN110889314A; SG11202010672YA; WO2020052275A1; US20210049390A1; PH12020551800A1; JP2021520015A

Abstract

본 출원의 실시예는 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템을 제공하고, 상기 방법은, 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계; 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계; 및 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계를 포함한다.

Description

이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템

관련 출원의 상호 참조

본 출원은 출원 번호가 CN201811051583.5이고 출원일이 2018년 9월 10일인 중국특허 출원에 기반하여 제출한 것이며, 상기 중국특허 출원의 우선권을 주장하고, 상기 중국특허 출원의 전부 내용은 본 출원에 참조자료로 포함된다.

본 출원의 실시예는 컴퓨터 기술에 관한 것으로서, 특히 이미지 처리 방법, 장치, 단말 기기, 서버 및 시스템에 관한 것이다.

방문 횟수 통계, 인물 신원 인식 및 인물 특징 분석 등에 사용되기 위해, 실제 필요에 따라, 일부 기업 또는 조직 등은 공공 장소에서 사람에 대해 추적 인식을 수행해야 할 수 있다.

관련 기술에서, 얼굴 추적의 방식을 통해 추적 인식을 수행하고, 카메라에 의해 캡처된 화면에서의 얼굴에 대해 특징 매칭 분석을 수행하는 것을 통해, 얼굴 정보를 인식한다. 그러나, 관련 기술의 방법을 사용하여 얻은 추적 인식 결과의 정확도는 높지 않다.

본 출원의 실시예는 이미지 처리의 기술방안을 제공한다.

제1 측면에 있어서, 이미지 처리 방법을 제공하고, 상기 방법은, 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계; 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계; 및 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계는, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계 - 상기 제1 인체의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 품질에 따라, 상기 제1 인물 인식 요청 메시지에 상기 제1 인체의 이미지 정보가 포함되는지 여부를 결정하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계는, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계를 포함한다.

일부 실시예에 있어서, 상기 품질 요구는, 얼굴 해상도 요구, 얼굴 크기 요구, 얼굴 각도 요구, 얼굴 검출 신뢰도 요구 및 인체 검출 신뢰도, 얼굴 무결성 요구 중 적어도 하나를 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하지 않는 것에 응답하여, 상기 서버에 상기 제1 얼굴의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 송신하는 단계 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 더 포함한다.

일부 실시예에 있어서, 상기 제1 인물 인식 요청 메시지는, 상기 제1 얼굴의 추적 식별자 정보 또는 제1 얼굴의 검출 프레임 식별자 정보를 더 포함한다.

일부 실시예에 있어서, 상기 제1 인물 인식 요청 메시지는, 상기 제1 얼굴의 식별자 정보를 더 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 즉 제1 얼굴과 매칭되는 인체가 존재하는지 여부에 기반하여, 인체의 이미지 정보에 기반하여 제1 얼굴에 대해 인물 인식을 수행할지 여부를 결정한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 상기 제1 인물 인식 요청 메시지에 제1 얼굴의 이미지 정보가 포함되는지 여부를 결정한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것 및 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 여기서, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하기 전, 상기 방법은, 상기 제1 얼굴의 이미지 정보를 상기 제1 인체의 이미지 정보로 대체하여 인물 인식을 수행하는 것으로 결정하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계는, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하지 않는 것에 응답하여, 상기 제1 얼굴의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 서버로 송신하는 단계 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 포함한다.

일부 실시예에 있어서, 상기 제1 이미지의 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계는, 상기 제1 이미지에 대응되는 적어도 하나의 얼굴 및 상기 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하는 단계 - 상기 후보 쌍은 상기 적어도 하나의 얼굴 중 하나의 얼굴 및 상기 적어도 하나의 인체 중 하나의 인체를 포함하고, 상기 적어도 하나의 얼굴은 상기 제1 얼굴을 포함함 - ; 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계; 및 상기 타겟 매칭 결과에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 에 따라상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하는 단계는, 제1 후보 쌍에 포함된 제2 인체 및 상기 제1 후보 쌍에 포함된 제2 얼굴에 기반하여, 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 결정하는 단계 - 상기 N 개의 후보 쌍은 상기 제1 후보 쌍을 포함하고, 상기 타겟 대상은 인체의 일부임 - ; 및 상기 타겟 대상의 추정 위치 정보 및 상기 타겟 대상의 실제 위치 정보에 기반하여, 상기 제1 후보 쌍의 매칭 확률 정보를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 타겟 대상은 귀 및 얼굴 중 적어도 하나를 포함한다.

일부 실시예에 있어서, 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계는, 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 결정하는 단계 - 상기 후보 매칭 결과는 상기 N 개의 후보 쌍 중 m 개의 후보 쌍을 포함하고, 상기 m 개의 후보 쌍 중 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 각각 상이하며, 1≤m≤N임 - ; 및 상기 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 상기 적어도 하나의 후보 매칭 결과로부터 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계는, 상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 인체 추적 결과를 얻는 단계 - 상기 인체 추적 결과는 상기 비디오 시퀀스에서의 적어도 하나의 이미지의 인체 추적 정보를 포함함 - ; 및 상기 비디오 시퀀스에서의 적어도 일부의 이미지의 얼굴 추적 결과 중 상기 제1 이미지의 프레임 번호에 대응되는 인체 추적 정보에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 전, 상기 방법은, 상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 상기 비디오 시퀀스의 인체 추적 결과를 얻는 단계; 및 상기 제1 이미지의 프레임 번호에 기반하여, 상기 비디오 시퀀스의 인체 추적 결과로부터 상기 제1 이미지의 인체 추적 정보를 검색하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 전, 상기 방법은, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 비디오 시퀀스의 인체 추적 결과에서 상기 제1 이미지의 인체 추적 정보를 찾지 못한 것에 응답하여, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 인체 추적 결과에 상기 제1 이미지의 프레임 번호에 대응되는 인체 추적 정보가 존재하지 않는 것에 응답하여, 상기 제1 이미지에 대한 인체 검출을 통해 얻은 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계는, 제1 이미지에 대해 얼굴 추적을 수행하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계를 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 제1 이미지에 대해 인체 추적을 수행하여, 상기 제1 이미지에서의 제3 인체를 얻는 단계; 및 제2 인물 인식 요청 메시지를 서버로 송신하는 단계 - 상기 제2 인물 인식 요청 메시지는 상기 제3 인체의 이미지 정보 및 상기 제3 인체의 추적 식별자 정보를 포함함 - 를 더 포함한다.

일부 실시예에 있어서, 상기 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻기 전, 상기 방법은, 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계는, 이미지에 포함된 얼굴의 품질에 기반하여, 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계를 포함한다.

제2 측면에 있어서, 이미지 처리 방법을 제공하고, 상기 방법은, 제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하는 단계 - 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함함 - ; 및 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻는 단계; 및 상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계 - 상기 얼굴 템플릿 데이터베이스에는 적어도 하나의 얼굴 템플릿이 저장되어 있음 - 를 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻는 단계는, 상기 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득하는 단계를 포함한다.

일부 실시예에 있어서, 상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는, 상기 제1 얼굴의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 얼굴의 특징 정보를 얻는 단계; 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정하는 단계; 및 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 방법은, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인물 식별자 정보 및 상기 제1 얼굴의 정보를 상기 얼굴 템플릿 데이터베이스에 추가하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 인물 인식 요청 메시지는 상기 제1 인체에서의 제1 얼굴의 검출 프레임 식별자 정보 또는 추적 식별자 정보를 더 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하는 단계; 및 상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하는 단계는, 상기 제1 인체의 이미지에 대해 특징 추출을 수행하여, 상기 제1 인체의 특징 정보를 얻는 단계; 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정하는 단계 - 상기 인체 템플릿 데이터베이스는 적어도 하나의 인체 템플릿을 저장함 - ; 및 상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계는, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 인체 템플릿이 속하는 인물의 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계는, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 방법은, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인체 식별자 정보 및 상기 제1 인체의 정보를 상기 인체 템플릿 데이터베이스에 추가하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 제1 인체의 인체 식별자 정보 및 상기 제1 인체가 속하는 인물의 인물 식별자 정보와 상기 제1 인체가 속하는 인물의 인체 식별자 정보 사이의 연관 관계를 연관 데이터베이스에 추가하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 인물 인식 요청 메시지는, 상기 제1 인체의 추적 식별자 정보 또는 검출 프레임 식별자 정보를 더 포함한다.

일부 실시예에 있어서, 상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는, 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는지 여부를 결정하는 단계 - 상기 연관 데이터베이스는 인체 식별자 정보와 인물 식별자 정보 사이의 적어도 하나의 연관 관계를 저장하기 위한 것임 - ; 및 상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는 것에 응답하여, 상기 매칭되는 연관 관계에서의 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함한다.

일부 실시예에 있어서, 상기 방법은, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 제2 단말 기기에 송신하는 단계를 더 포함한다.

일부 실시예에 있어서, 상기 인물 인식 요청 메시지는 상기 제1 단말 기기에 기반하여 비디오 시퀀스에서의 적어도 하나의 이미지에 대해 얼굴 추적을 수행하여 얻은 것이다.

제3 측면에 있어서, 이미지 처리 장치를 제공하고, 상기 장치는, 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻도록 구성된 획득 모듈; 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된 제1 결정 모듈; 및 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하도록 구성된 송신 모듈을 포함한다.

제4 측면에 있어서, 이미지 처리 장치를 제공하고, 상기 장치는, 제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하도록 구성된 수신 모듈 - 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함함 - ; 및 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 결정 모듈을 포함한다.

제5 측면에 있어서, 단말 기기를 제공하고, 상기 단말 기기는 프로그램 명령어를 저장하도록 구성된 메모리; 및 상기 메모리에서의 프로그램 명령어를 호출하고 실행하며, 상기 제1 측면에 따른 방법 단계를 실행하도록 구성된 프로세서를 포함한다.

제6 측면에 있어서, 서버를 제공하고, 상기 서버는 프로그램 명령어를 저장하도록 구성된 메모리; 및 상기 메모리에서의 프로그램 명령어를 호출하고 실행하며, 상기 제2 측면에 따른 방법 단계를 실행하도록 구성된 프로세서를 포함한다.

제7 측면에 있어서, 상기 제5 측면에 따른 단말 기기 및 상기 제6 측면에 따른 서버를 포함하는 이미지 처리 시스템을 제공한다.

제8 측면에 있어서, 판독 가능한 저장 매체를 제공하고, 상기 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램은 상기 제1 측면 또는 제2 측면에 따른 방법을 실행하기 위한 것이다.

본 출원의 실시예에서 제공한 기술방안에서, 이미지에서의 제1 얼굴을 획득하는 것을 통해, 이미지에 대응되는 적어도 하나의 인체에 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하고, 결정된 결과에 기반하여, 서버에 인물 인식 요청 메시지를 송신하므로, 인물 인식의 정확성을 향상시킴에 있어서 유리하다.

본 출원 또는 종래 기술의 기술 방안을 더욱 명확하게 설명하기 위해, 실시예 또는 종래 기술의 설명에서 사용되는 도면을 아래에서 간단히 설명하며, 명맥하게, 이하의 설명에서의 도면은 본 출원의 실시예 중 일부이며, 본 기술분야의 통상의 기술자는 그 어떤 창조적인 작업을 하지 않아도 이들 도면에 따른 다른 도면을 얻을 수 있다.
도 1은 본 출원의 실시예의 예시적인 시스템 아키텍처도이다.
도 2는 본 출원의 실시예에서 제공한 이미지 처리 방법의 흐름 예시도이다.
도 3은 본 출원의 실시예에서 제공한 이미지 처리 방법의 다른 흐름 예시도이다.
도 4는 본 출원의 실시예에서 제공한 이미지 처리 방법의 또 다른 흐름 예시도이다.
도 5는 본 출원의 실시예에서 제공한 이미지 처리 방법의 또 다른 흐름 예시도이다.
도 6은 본 출원의 실시예에서 제공한 이미지 처리 방법의 또 다른 흐름 예시도이다.
도 7은 본 출원의 실시예에서 제공한 이미지 처리 장치의 모듈 구조도이다.
도 8은 본 출원의 실시예에서 제공한 이미지 처리 장치의 다른 모듈 구조도이다.
도 9는 본 출원의 실시예에서 제공한 이미지 처리 장치의 다른 모듈 구조도이다.
도 10은 본 출원의 실시예에서 제공한 이미지 처리 장치의 다른 모듈 구조도이다.
도 11은 본 출원의 실시예에서 제공한 이미지 처리 장치의 다른 모듈 구조도이다.
도 12는 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 모듈 구조도이다.
도 13은 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 14는 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 15는 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 16은 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 17은 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 18은 본 출원의 실시예에서 제공한 다른 이미지 처리 장치의 다른 모듈 구조도이다.
도 19는 본 출원의 실시예에서 제공한 단말 기기의 예시적 블록도이다.
도 20은 본 출원의 실시예에서 제공한 서버의 예시적 블록도이다.
도 21은 본 출원의 실시예에서 제공한 이미지 처리 시스템의 아키텍처 예시도이다.

본 출원의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 출원의 실시예에서의 도면과 결합하여, 본 출원의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 출원의 전부 실시예가 아닌 일부 실시예라는 것은 명백하다. 본 발명 실시예에 기반하여, 본 분야 기술자는 창조성 노동 없이 얻어진 다른 실시예는 전부 본 출원의 보호 범위에 속해야 한다.

관련 기술에서 주로 얼굴 정보에 기반하여 인물의 추적 인식을 수행하지만, 실제 환경에서, 얼굴 추적 인식은 가림, 촬영 각도 등 문제로 인해 검출 누락, 검출 품질 불량 등 결과를 초래할 수 있으므로, 얻은 추적 인식 결과의 정확도는 높지 않다. 본 출원의 실시예는 상기 문제에 기반하여, 이미지 처리 방법을 제안하고, 클라이언트는 얼굴 및 인체를 매칭하고, 매칭 결과에 따라 서버에 인물 인식 요청 메시지를 송신하며, 얼굴 및 인체를 동시에 매칭되므로, 추적 인식 결과의 정확도가 크게 향상될 수 있고, 이와 동시에, 매칭 결과가 서버에 송신된 후, 또한 서버가 상기 매칭 결과에 따라 정확한 클라이언트 데이터 분석을 수행하도록 할 수 있다.

본 출원의 실시예에서 제공한 방법은 인물 추적 인식을 수행해야 하는 다양한 시나리오에 적용될 수 있다. 예를 들어 슈퍼 마켓, 소매점 등 시나리오에서, 슈퍼 마켓, 소매점의 운영자는 고객 흐름 통계, 고객 인식, 고객 방문 횟수 등 정보를 얻고, 이러한 정보를 기업 관리 시의 중요한 기준 정보로 사용하기 위해, 슈퍼 마켓 또는 소매점 내의 고객 흐름에 대해 추적 인식을 수행해야 한다. 또 예를 들어 교차로, 기차역 등과 같은 공공 장소의 모니터링 시나리오에서, 이러한 시나리오에서 인원에 대해 추적 인식을 수행하는 것을 통해, 일부 특정 인원의 신원 정보 등을 결정할 수 있다.

본 출원의 아래의 실시예는 소매점 시나리오를 예로 들어 본 출원의 실시예의 방안을 설명하지만, 본 출원의 실시예가 이에 한정되지 않음은 자명한 것이다.

도 1은 본 출원의 실시예의 예시적 시스템 아키텍처도이고, 도 1에 도시된 바와 같이, 상기 아키텍처는 제1 단말 기기(11), 서버(12) 및 제2 단말 기기(13)를 포함한다. 소매점 시나리오에서, 상기 제1 단말 기기에는 클라이언트가 작동되어 있고, 상기 제1 단말 기기는 소매점 내에 전개되며, 소매점 내에 설치되어 카메라에 연결되어, 카메라에 의해 캡처된 비디오 이미지의 획득, 추적, 매칭 등 처리를 수행한다. 상기 제1 단말 기기에서의 클라이언트는 서버에 연결되고, 서버는 제1 단말 기기에서의 클라이언트로부터 데이터를 수신한 후 인식 처리를 수행하며, 처리 결과를 제2 단말 기기의 클라이언트에 송신한다. 상기 제2 단말 기기의 클라이언트는 소매점의 운영자의 관리 시스템 등일 수 있고, 상기 제2 단말 기기의 클라이언트는 서버에 의해 송신된 정보를 분석하는 것을 통해, 전술한 고객 흐름 통계, 고객 인식, 고객 방문 횟수 등 정보를 얻을 수 있다.

본 출원의 아래의 실시예는 각각 상기 클라이언트 및 서버의 관점으로부터 본 출원의 실시예의 방안을 설명한다. 아래에 먼저 클라이언트의 처리 과정을 설명한다. 본 출원의 실시예에서 제공한 이미지 처리 방법에 있어서, 도 2에 도시된 바와 같이, 상기 방법의 실행 주체는 전술한 클라이언트이거나, 다른 단말 기기일 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 이해의 편의를 위해, 아래에 클라이언트로 방법을 실행하는 것을 예로 들어 설명한다. 도 2에 도시된 방법은 아래와 같은 단계를 포함한다.

단계 S201에 있어서, 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는다.

여기서, 상기 제1 이미지는 카메라에 의해 실시간으로 촬영된 비디오 시퀀스 중 한 프레임의 이미지일 수 있거나, 상기 제1 이미지는 정적 이미지일 수 있으며, 본 출원의 실시예는 제1 이미지의 구체적인 구현에 대해 한정하지 않는다.

일부 실시예에 있어서, 카메라는 실시간으로 촬영하여, 연속적인 비디오 스트리밍을 얻고, 카메라는 비디오 스트리밍을 클라이언트에 실시간으로 또는 정기적으로 송신할 수 있다. 클라이언트는 비디오 스트리밍을 디코딩하여, 비디오 시퀀스를 얻을 수 있다. 상기 비디오 시퀀스에는 복수 개의 프레임의 이미지가 포함된다. 클라이언트는 또한 상기 복수 개의 프레임의 이미지 또는 상기 복수 개의 프레임의 이미지 중 일부 이미지에 대해 본 출원의 실시예의 방법을 각각 사용하여 처리할 수 있다.

일부 실시예에 있어서, 다른 방식을 통해 비디오 시퀀스 또는 제1 이미지를 획득할 수도 있고, 본 출원의 실시예는 획득하는 구체적인 방식에 대해 한정하지 않는다. 일부 실시예에 있어서, 클라이언트는 비디오 시퀀스에 포함된 복수 개의 이미지로부터 제1 이미지를 선택할 수 있다. 예를 들어, 클라이언트는 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택할 수 있거나, 클라이언트는 기설정된 임계값에 기반하여 비디오 시퀀스로부터 제1 이미지를 선택할 수도 있지만, 본 출원의 실시예는 프레임의 선택의 구체적인 구현에 대해 한정하지 않는다.

일부 실시예에 있어서, 클라이언트는 이미지에 포함된 얼굴의 품질에 기반하여, 상기 비디오 시퀀스에 포함된 복수 개의 이미지로부터 상기 제1 이미지를 선택할 수 있다. 예시적으로, 클라이언트는 비디오 시퀀스에 포함된 Q(Q는 정수이고, 예를 들어, 10임) 개의 프레임의 연속 이미지로부터 제1 이미지로서 품질이 가장 좋은 한 프레임을 선택할 수 있다. 예를 들어, 각 이미지의 품질 점수를 결정할 수 있고, 품질 점수가 가장 높은 이미지를 제1 이미지로 사용할 수 있다. 여기서, 품질 점수는 이미지의 하나 또는 복수 개의 요소에 기반하여 획득될 수 있고, 예를 들어, 얼굴 해상도, 얼굴 각도, 얼굴 크기, 얼굴 검출의 신뢰도 등 하나 또는 임의의 조합에 기반하여, 이미지의 품질 점수를 결정할 수 있거나, 다른 요소에 기반하여, 이미지의 품질 점수를 결정할 수도 있다. 또한, 여러 가지 방식을 통해 이미지의 품질 점수를 획득할 수 있고, 예를 들어, 신경 네트워크에 기반하여 이미지의 품질 점수를 결정할 수 있거나, 다른 알고리즘에 기반하여 이미지의 품질 점수를 얻을 수 있으며, 본 출원의 실시예는 품질 점수의 획득 방식 및 영향 요소에 대해 한정하지 않는다.

또 예를 들어, 클라이언트는 비디오 시퀀스로부터 제1 이미지로서 품질 점수가 기설정된 임계값에 도달한 이미지를 선택할 수 있다. 여기서, 하나의 예에 있어서, 이미지의 종합 품질 점수를 결정할 수 있고, 종합 품질 점수가 기설정된 임계값에 도달하는지 여부에 기반하여 상기 이미지를 선택할지 여부를 결정할 수 있고; 또는, 이미지의 각 품질 요소의 임계값을 설정할 수 있으며, 예를 들어 얼굴 각도, 얼굴 크기, 얼굴 해상도 중 하나 또는 임의의 복수 개 중 각 항의 임계값을 설정할 수 있으며, 각 품질 요소가 대응되는 임계값에 도달하는지 여부에 기반하여 상기 이미지를 선택할지 여부를 결정한다. 또는, 종합 품질 점수 및 각 품질 요소 각각에 대응되는 임계값을 설정할 수도 있고, 본 출원의 실시예는 그 구체적인 구현에 대해 한정하지 않는다.

하나의 선택 가능한 방식으로서, 클라이언트는 제1 이미지에 대해 얼굴 검출을 수행하여, 제1 얼굴을 얻을 수 있고, 이때, 클라이언트는 제1 얼굴의 검출 프레임 식별자와 같은 제1 얼굴의 이미지 및 제1 얼굴의 식별자 정보를 얻을 수 있다. 또는, 클라이언트는 제1 이미지에 대해 얼굴 추적을 수행하여, 제1 이미지에서의 제1 얼굴을 얻을 수 있고, 이때, 다른 방식으로서, 클라이언트는 제1 얼굴의 이미지 및 제1 얼굴의 추적 식별자 정보를 얻을 수 있다.

일부 실시예에 있어서, 클라이언트는 얼굴 키 포인트에 기반하여 얼굴 추적을 수행할 수 있고, 예를 들어 클라이언트는 제1 이미지 전에 위치한 제2 이미지에 대해 얼굴 검출을 수행하여, 얼굴 이미지를 얻을 수 있고, 얼굴 이미지에 대해 키 포인트 검출을 수행하여, 키 포인트가 제2 이미지에서의 위치 정보를 얻을 수 있으며, 여기서, 제2 이미지와 제1 이미지 사이의 간격은 기설정된 값보다 낮을 수 있다. 다음, 클라이언트는 옵티컬 플로우 정보와 같은 키 포인트가 제2 이미지에서의 위치 정보 및 제1 이미지가 제2 이미지에 대한 운동 정보에 기반하여, 키 포인트가 제1 이미지에서의 예측 위치 정보를 결정하고, 키 포인트가 제1 이미지에서의 예측 위치 정보에 기반하여, 제1 얼굴의 이미지를 획득할 수 있다.

일부 실시예에 있어서, 다른 방식에 기반하여 얼굴 추적을 수행할 수도 있으며, 본 출원의 실시예는 얼굴 추적의 구체적인 구현에 대해 한정하지 않는다. 일부 실시예에 있어서, 얼굴 추적을 통해 제1 얼굴을 얻은 후, 클라이언트는 또한 상기 제1 얼굴이 위치한 이미지의 프레임 식별자를 기록할 수 있다.

단계 S202에 있어서, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정한다.

일부 실시예에 있어서, 제1 이미지에 포함된 적어도 하나의 인체에 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정할 수 있다.

본 출원의 실시예에 있어서, 여러 가지 방식을 통해 제1 이미지에 포함된 적어도 하나의 인체의 정보를 얻을 수 있다. 일부 실시예에 있어서, 제1 이미지에 대해 인체 검출을 수행하여, 제1 이미지에서의 적어도 하나의 인체를 얻을 수 있고, 이때, 한 가지 방식으로서, 검출 프레임 식별자와 같은 각 인체의 이미지 및 각 인체의 식별자 정보를 얻을 수 있다. 다른 일부 가능한 구현 방식에 있어서, 제1 이미지에 대해 인체 추적을 수행하여, 제1 이미지에서의 적어도 하나의 인체를 얻을 수 있고, 예를 들어, 상기 제1 이미지가 속하는 비디오 시퀀스의 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 인체 추적 결과를 얻을 수 있으며, 여기서, 상기 인체 추적 결과는 상기 비디오 시퀀스에서의 적어도 하나의 이미지의 인체 추적 정보를 포함한다. 이때, 다른 방식으로서, 각 인체의 이미지 및 각 인체의 추적 식별자 정보를 얻을 수 있다. 또 하나의 방식으로서, 각 인체에 대해, 클라이언트는 또한 상기 인체가 위치한 이미지의 프레임 식별자를 추가로 기록할 수 있지만, 본 출원의 실시예는 이에 한정되지 않는다.

일부 실시예에 있어서, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 전, 상기 방법은, 상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부 이미지에 대해 인체 추적을 수행하여, 상기 비디오 시퀀스의 인체 추적 결과를 얻는 단계; 및 상기 제1 이미지의 프레임 번호에 기반하여, 상기 비디오 시퀀스의 인체 추적 결과로부터 상기 제1 이미지의 인체 추적 정보를 검색하는 단계를 더 포함한다.

일부 실시예에 있어서, 비디오 시퀀스의 적어도 일부의 이미지의 인체 추적 결과로부터 상기 제1 얼굴의 프레임 번호에 대응되는 인체 추적 정보를 검색할 수 있다. 한 가지 경우에 있어서, 인체 추적 결과에 상기 제1 얼굴의 프레임 번호에 대응되는 인체 추적 정보가 존재하면, 제1 이미지의 프레임 번호에 대응되는 인체 추적 정보로부터 제1 얼굴과 매칭되는 인체를 검색한다. 다른 경우에 있어서, 인체추적 결과애 상기 제1 얼굴의 프레임 번호에 대응되는 인체 추적 정보가 존재하지 않으면, 제1 이미지에 대해 인체 검출을 수행할 수 있고, 제1 이미지에 대해 인체 검출을 수행하여 얻은 적어도 하나의 인체로부터 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정할 수 있다. 다른 일부 가능한 구현 방식에 있어서, 직접 제1 이미지에 대해 인체 검출을 수행할 수 있고, 제1 이미지에 대해 인체 검출을 수행하여 얻은 적어도 하나의 인체로부터 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정할 수 있다.

본 출원의 실시예는 제1 이미지의 적어도 하나의 인체를 획득하는 방식을 한정하지 않는다.

단계 S203에 있어서, 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신한다.

일부 실시예에 있어서, 상기 결정된 결과는, 제1 얼굴과 매칭되는 인체가 존재하거나, 제1 얼굴과 매칭되는 인체가 존재하지 않는 것을 포함한다.

상이한 결정 결과에 대해, 클라이언트는 서버에 상이한 제1 인물 인식 요청 메시지를 송신할 수 있고, 즉 상이한 결정 결과의 경우, 제1 인물 인식 요청 메시지에 포함된 정보는 상이할 수 있다. 예를 들어, 결정된 결과에 기반하여, 즉 제1 얼굴과 매칭되는 인체가 존재하는지 여부에 기반하여, 인체의 이미지 정보에 기반하여 제1 얼굴에 대해 인물 인식을 수행할지 여부를 결정할 수 있다. 또 예를 들어, 결정된 결과에 기반하여, 제1 인물 인식 요청 메시지에 제1 얼굴의 이미지 정보가 포함되는지 여부를 결정할 수 있다.

본 출원의 실시예에 있어서, 클라이언트는 얼굴 및 인체를 매칭하고, 매칭 결과에 따라 서버에 인물 인식 요청 메시지를 송신함으로써, 인물 인식의 정확성을 향상시킴에 있어서 유리하다. 일부 실시예에 있어서, 타겟 영역의 모니터링 시나리오에서, 일반적으로 하나 또는 복수 개의 위치에섯 카메라를 설치하고, 빛, 쉐이딩, 얼굴 각도 등 요소로 인해, 얼굴을 통해 인물 인식을 수행할 수 없거나, 인물 인식의 정확성이 비교적 낮을 수 있으므로, 본 출원의 실시예는 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하고, 매칭 결과에 기반하여 서버에 송신한 제1 인물 인식 요청 메시지에 제1 얼굴의 이미지 정보가 포함되는지 여부를 결정함으로써, 인물 인식의 정확성을 향상시킴에 있어서 유리하다.

상기 실시예의 기초 상에서, 아래에 결정된 결과에 따라 제1 인물 인식 요청 메시지를 서버로 송신하는 방법을 설명한다. 전술한 바와 같이, 상기 결정된 결과는, 제1 얼굴과 매칭되는 인체가 존재하거나, 제1 얼굴과 매칭되는 인체가 존재하지 않는 것을 포함할 수 있다. 아래에 이 두 가지 처리 방식을 각각 설명한다.

1. 제1 얼굴과 매칭되는 인체가 존재한다.

일부 실시예에 있어서, 제1 얼굴과 매칭되는 인체(상기 매칭되는 인체를 제1 인체로 지칭함)가 존재할 경우, 클라이언트는 서버에 상기 제1 인체의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 송신할 수 있다.

가능한 구현 방식에 있어서, 제1 얼굴과 매칭되는 인체가 존재하는 것에 응답하여, 제1 인물 인식 요청 메시지에 제1 인체의 이미지 정보가 포함되는 것으로 직접 결정할 수 있다. 이때, 한 가지 방식으로서, 제1 인물 인식 요청 메시지에 제1 얼굴의 이미지 정보가 추가로 포함될 수 있고, 이에 상응하게, 서버는 상기 제1 인물 인식 요청 메시지를 수신한 후, 제1 얼굴의 이미지 정보 및 제1 인체의 이미지 정보에 기반하여 인물 인식을 수행할 수 있다. 또는, 제1 인물 인식 요청 메시지는 제1 얼굴의 이미지 정보를 포함하지 않을 수 있고, 이에 상응하게, 서버는 제1 인물 인식 요청 메시지를 수신한 후, 제1 인체의 이미지 정보에 기반하여 인물 인식을 수행할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

가능한 구현 방식에 있어서, 또한 제1 인체의 이미지 품질을 판단하고, 제1 이미지 품질에 기반하여 제1 인물 인식 요청 메시지에 제1 인체의 이미지 정보가 포함되는지 여부를 결정할 수 있다. 한 가지 방식으로서, 제1 인체의 이미지 품질이 기설정된 품질 요구를 만족하는지 여부를 판단함으로써, 제1 인물 인식 요청 메시지에 제1 인체의 이미지 정보가 포함되는지 여부를 결정할 수 있다.

한 가지 경우에 있어서, 제1 인체의 이미지 품질이 품질 요구를 만족하면, 서버에 송신된 제1 작업 인식 요청 메시지는 제1 인체의 이미지 정보를 포함한다. 이에 상응하게, 서버는 제1 인체의 이미지 정보에 기반하여 인물 인식을 수행할 수 있다. 예를 들어, 서버는 제1 인체의 이미지 정보로부터 제1 얼굴의 이미지 정보를 획득할 수 있고, 예를 들어 제1 인체의 이미지로부터 제1 얼굴의 이미지를 선택하고, 제1 얼굴의 이미지 정보에 기반하여 인물 인식을 수행하지만, 본 출원의 실시예는 이에 한정되지 않는다.

다른 경우에 있어서, 제1 인체의 이미지 품질이 품질 요구를 만족하지 못하면, 서버에 송신된 제1 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함하지 않지만 상기 제1 얼굴의 이미지 정보만 포함하며, 여기서, 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것이다.

이로써, 본 출원의 실시예의 기술방안에 있어서, 이미지의 실제 상황에 따라 인체 검출 또는 인체 추적을 통해 얻은 인체의 이미지 정보 또는 얼굴 검출 또는 얼굴 추적을 통해 얻은 얼굴의 이미지 정보에 기반하여 인물 인식을 수행하는 것으로 결정할 수 있고, 예를 들어, 인체의 이미지 품질이 비교적 좋을 경우 인체의 이미지 정보로부터 얼굴의 이미지 정보를 획득하는 것을 통해 인물 인식을 수행하지만, 인체의 이미지 품질이 비교적 나쁠 경우 얼굴 검출 또는 얼굴 추적으로 얻은 얼굴의 이미지 정보를 이용하여 인물 인식을 수행함으로써, 인물 인식을 수행할 경우 얼굴 각도, 쉐이딩 등 요소로 인해 초래되는 인식 정확도가 낮은 문제를 예방하고, 인물 인식의 정확성을 향상시킨다.

여기서, 본 출원의 실시예에 있어서, 품질 요구는 실제 상황에 따라 설정될 수 있다. 가능한 구현 방식에 있어서, 상기 품질 요구는, 얼굴 해상도 요구, 얼굴 크기 요구, 얼굴 각도 요구, 얼굴 검출 신뢰도 요구 및 인체 검출 신뢰도, 얼굴 무결성 요구 중 하나 또는 임의의 조합을 포함할 수 있다.

하나의 예에 있어서, 품질 요구가 인체 검출 프레임의 신뢰가 기설정된 임계값에 도달한 것, 얼굴의 무결성이 특정한 요구(예를 들어 완전한 인체를 포함함)에 도달한 것, 얼굴의 해상도가 특정한 요구에 도달한 것, 얼굴 크기가 특정한 요구에 도달한 것, 얼굴 각도가 특정한 범위에 도달한 것 중 적어도 하나를 포함하므로, 서버는 인체 이미지로부터 품질이 비교적 좋은 얼굴 이미지를 획득할 수 있고 상기 얼굴 이미지에 기반하여 인물 인식을 수행하여, 인물 인식의 정확성을 향상시킬 수 있다.

한 가지 방식으로서, 품질 요구는 다른 타입의 파라미터 요구를 포함할 수도 있으며, 본 출원의 실시예는 그 구체적인 구현에 대해 한정하지 않는다. 본 출원의 실시예에 있어서, 상기 임의의 경로를 통해 서버로 송신된 제1 인물 인식 요청 메시지가 제1 인체의 이미지 정보를 포함하는 것으로 결정하면, 하나의 예에 있어서, 상기 메시지는 제1 얼굴의 이미지 정보를 추가로 포함할 수 있으며, 이때, 서버는 제1 인물 인식 요청 메시지를 수신한 후, 메시지에 포함된 제1 얼굴의 이미지 정보 또는 제1 인체의 이미지 정보를 이용하여 인물 인식을 하거나, 두 개를 결합하여 인물 인식을 수행하는 것으로 선택할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 다른 예에 있어서, 상기 메시지는 제1 얼굴의 이미지 정보를 포함하지 않을 수 있고, 이에 상응하게, 상기 메시지를 송신하기 전, 상기 제1 얼굴의 이미지 정보를 상기 제1 인체의 이미지 정보로 대체하는 것으로 결정할 수 있음으로써, 제1 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함하지만 제1 얼굴의 이미지 정보를 포함하지 않는다. 이에 상응하게, 서버는 제1 인물 인식 요청 메시지를 수신한 후, 메시지에 포함된 제1 인체의 이미지 정보에 기반하여 인물 인식을 수행하지만, 본 출원의 실시예는 이에 한정되지 않는다.

2. 제1 얼굴과 매칭되는 인체가 존재하지 않는다.

일부 실시예에 있어서, 제1 얼굴과 매칭되는 인체가 존재하지 않는 것에 응답하여, 클라이언트는 상기 제1 얼굴의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 서버로 송신할 수 있다. 이로써, 제1 얼굴에 대응되는 제1 인물 인식 요청 메시지는 제1 얼굴의 이미지 정보, 제1 인체의 이미지 정보, 또는 제1 인체의 이미지 및 제1 얼굴의 이미지 정보를 포함할 수 있다.

본 출원의 실시예에 있어서, 가능한 구현 방식에 있어서, 제1 인체의 이미지 정보는 제1 인체의 이미지를 포함한다. 이때, 서버는 제1 인체의 이미지에 기반하여 인물 인식을 수행할 수 있다. 예를 들어, 서버는 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득하고, 제1 얼굴의 이미지 및 얼굴 템플릿에 기반하여 인물 인식을 수행하며; 또 예를 들어, 제1 인체의 이미지, 인체 템플릿 및 인물-인체 연관 베이스에 기반하여 인물 인식을 수행하는 등이며, 본 출원의 실시예는 서버가 제1 인체의 이미지에 기반하여 인물 인식을 수행하는 구체적인 구현에 대해 한정하지 않는다.

가능한 구현 방식에 있어서, 제1 인체의 이미지 정보는 제1 인체의 이미지의 특징 정보를 포함하고, 여기서, 한 가지 방식으로서, 제1 인체의 이미지의 특징 정보는 인체 특징 정보를 포함할 수 있거나, 얼굴 특징 정보를 포함할 수 있거나, 인체 특징 정보 및 얼굴 특징 정보를 포함할 수 있다. 여기서, 제1 인체의 이미지의 인체 특징 정보는 제1 인체의 이미지에 대해 특징 추출하여 얻은 것이고, 제1 인체의 이미지의 얼굴 특징 정보는 제1 인체의 이미지에서의 얼굴 영역 이미지에 대해 특징 추출을 수행하여 얻은 것이다. 일부 실시예에 있어서, 제1 얼굴의 이미지 정보는 제1 얼굴의 이미지 및 제1 얼굴의 이미지의 특징 정보 중 적어도 하나를 포함하고, 여기서, 제1 얼굴의 이미지의 특징 정보는 제1 얼굴의 이미지에 대해 특징 추출을 수행하여 얻은 것이며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 한 가지 구현 방식에 있어서, 제1 인물 인식 요청 메시지는 제1 인체의 이미지 정보 및 제1 얼굴의 이미지 정보 중 적어도 하나를 포함하는 것 외에, 또한 추적 식별자 정보 또는 검출 프레임 식별자 정보와 같은 제1 얼굴의 식별자 정보를 포함할 수 있다. 서버는 이러한 정보를 획득한 후, 이러한 정보에 따라 더욱 정확한 인물 신원 인식 및 추가적인 분석 처리 중 적어도 하나를 수행할 수 있다.

이해의 편의함을 위해, 용어 "제1 인체의 이미지 정보"는 이미지에 대해 인체 검출 또는 인체 추적을 수행하여 얻은 이미지 정보이고, 또한, 상기 실시예에서, 용어 "제1 얼굴의 이미지 정보"는 이미지에 대해 얼굴 검출 또는 얼굴 추적을 수행하여 얻은 이미지 정보이다. 아래의 실시예에 있어서, 용어 "제1 얼굴의 이미지 정보"는 메시지에서의 인체의 이미지 정보에 기반하여 얻은 얼굴의 이미지 정보를 가리킬 수도 있다.

또한, 이해해야 할 것은, 용어 "제1 인물 인식 요청 메시지"는 얼굴 검출 또는 얼굴 추적을 통해 획득된 인물을 인식하도록 요청하는 인물 인식 요청 메시지를 가리키고, 용어 "제2 인물 인식 요청 메시지"는 인체 검출 또는 인체 추적을 통해 획득된 인물을 인식하도록 요청하는 인물 인식 요청 메시지를 가리킨다. 또한, 클라이언트는 또한 제1 이미지에 대해 인체 검출 또는 추적을 수행하여, 얼굴 검출 또는 추적의 결과를 얻고, 인체 검출 또는 추적의 결과를 서버에 송신할 수 있다.

하나의 예에 있어서, 클라이언트는 제1 이미지에 대해 인체 추적 또는 검출을 수행하여, 제1 이미지에서의 제2 인체를 얻고, 제2 인물 인식 요청 메시지를 서버로 송신할 수 있으며, 상기 제2 인물 인식 요청 메시지는 제2 인체의 이미지 정보 및 제2 인체의 식별자 정보를 포함하며, 여기서, 제2 인체의 이미지 정보는 제2 인체의 이미지 및 제2 인체의 이미지의 인체 특징 정보 중 적어도 하나를 포함할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 서버는 제2 인물 인식 요청 메시지를 수신한 후, 제2 인체의 이미지 정보에 기반하여 인물 인식을 수행할 수 있다.

도 3은 본 출원의 실시예에서 제공한 이미지 처리 방법의 다른 흐름 예시도이다.

단계 S301에 있어서, 제1 이미지에서의 적어도 하나의 얼굴 및 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하고, 여기서, 상기 후보 쌍은 상기 적어도 하나의 얼굴 중 하나의 얼굴 및 상기 적어도 하나의 인체 중 하나의 인체를 포함하고, 상기 적어도 하나의 얼굴은 상기 제1 얼굴을 포함한다. 여기서, N은 1보다 크거나 같은 정수이다.

일부 실시예에 있어서, 제1 이미지에 대해 얼굴 검출 또는 추적을 수행하여 적어도 하나의 얼굴을 얻을 수 있고, 제1 이미지에 대해 인체 검출 또는 추적을 수행하여 적어도 하나의 인체를 얻을 수 있다.

적어도 하나의 제1 얼굴 및 적어도 하나의 제1 인체를 얻은 후, 적어도 하나의 인체 및 적어도 하나의 얼굴에서의 임의의 얼굴-인체 조합을 후보 쌍으로 사용하여, N 개의 후보 쌍을 얻을 수 있고, 즉 N=(n1×n2)/2이며, 여기서, n1 및 n2은 각각 적어도 하나의 얼굴의 개수 및 적어도 하나의 인체의 개수이며; 또는, 적어도 하나의 인체 및 적어도 하나의 얼굴에서의 일부 얼굴-인체 조합을 후보 쌍으로 사용하여, N 개의 후보 쌍을 얻을 수 있으며, 본 출원의 실시예는 N 개의 후보 쌍의 구체적인 구현에 대해 한정하지 않는다.

한 가지 방식에 있어서, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체를 얻은 후, 각 얼굴을 기준으로, 적어도 하나의 인체 중 일부 또는 각 인체 또는 일부 인체의 후보 쌍을 구축할 수 있다. 다른 방식에 있어서, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체를 얻은 후, 각 인체를 기준으로, 적어도 하나의 얼굴 중 각 얼굴 또는 일부 얼굴의 후보 쌍을 구축할 수 있다.

일부 실시예에 있어서, 후보 쌍의 매칭 확률 정보는 후보 쌍에 포함된 얼굴 및 인체의 매칭 정도를 나타내기 위한 것이다. 하나의 예에 있어서, 매칭 확률 정보는 매칭 확률을 포함할 수 있고, 후보 쌍의 매칭 확률이 클수록 후보 쌍에 포함된 얼굴 및 인체의 매칭 정도가 더 높은 것을 나타낸다. 다른 예에 있어서, 매칭 확률 정보는 매칭 가중치를 포함할 수 있고, 후보 쌍의 매칭 가중치가 작을 수록 후보 쌍에 포함된 얼굴 및 인체의 매칭 정도가 더 높은 것을 나타내며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

본 출원의 실시예에 있어서, 여러 가지 방식을 통해 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 얻을 수 있고, 하나의 예에 있어서, 기계 학습 또는 다른 방법의 매칭 알고리즘에 기반하여, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 얻으며, 예를 들어, 후보 쌍에 포함된 얼굴 및 인체의 이미지 정보를 신경 네트워크에 입력하고 처리하여, 상기 후보 쌍의 매칭 확률 정보를 출력할 수 있지만, 본 출원의 실시예는 후보 쌍의 매칭 확률 정보를 얻는 구체적인 구현에 대해 한정하지 않는다.

단계 S302에 있어서, 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정한다.

일부 실시예에 있어서, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 기반하여, 적어도 하나의 인체와 적어도 하나의 얼굴 중 매칭되는 각 얼굴-인체 상을 결정할 수 있다. 예를 들어, 상기 타겟 매칭 결과가 매칭되는 n1 개의 얼굴-인체 쌍을 포함할 수 있으면, 이때, n1 개의 얼굴에서의 각 얼굴은 이에 매칭되는 인체가 존재하며, 여기서, n1은 n2보다 작을 수 있으며, 이때, n2 개의 인체에서의 일부 인체는 이에 매칭되는 얼굴이 존재하지 않으며; 또는, n1이 n2와 동일하면, 이때, n1 개의 얼굴 및 n2 개의 인체는 일대일 대응되게 매칭된다. 또 예를 들어, 상기 타겟 매칭 결과는 매칭되는 n2 개의 얼굴-인체 쌍을 포함할 수 있고, n2는 n1보다 작으며, 이때, n2 개의 인체에서의 각 인체는 이에 매칭되는 얼굴이 존재하지만, n1 개의 얼굴에서의 일부 얼굴은 이에 매칭되는 인체가 존재하지 않는다. 또 예를 들어, 상기 타겟 매칭 결과는 매칭되는 n3 개의 얼굴-인체 쌍을 포함할 수 있고, 여기서, n3은 n1 및 n2보다 작으며, 이때, n1 개의 얼굴에서의 일부 얼굴 및 n2 개의 인체에서의 일부 인체의 매칭을 구현하였고, 본 출원의 실시예는 타겟 매칭 결과의 구체적인 구현에 대해 한정하지 않는다.

단계 S303에 있어서, 상기 타겟 매칭 결과에 기반하여, 상기 제1 이미지의 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정한다.

일부 실시예에 있어서, 상기 적어도 하나의 얼굴 및 적어도 하나의 인체의 타겟 매칭 결과는 적어도 한 쌍의 매칭되는 인체 및 얼굴(즉 적어도 하나의 매칭되는 얼굴-인체 쌍)을 포함한다. 이에 상응하게, 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 위해, 상기 타겟 매칭 결과에서 제1 얼굴을 검색할 수 있다. 일부 실시예에 있어서, 제1 얼굴과 매칭되는 인체가 존재하면, 제1 얼굴과 매칭되는 인체의 정보를 추가로 획득할 수 있다.

한 가지 방식에 있어서, 아래의 방식을 통해 N 개의 후보 쌍에서의 제1 후보 쌍의 매칭 확률 정보를 결정할 수 있고, 여기서, 상기 제1 후보 쌍은 N 개의 후보 쌍에서의 임의의 후보 쌍일 수 있으며, 제1 후보 쌍은 제2 얼굴 및 제2 인체를 포함한다. 제1 후보 쌍에 포함된 제2 인체 및 상기 제1 후보 쌍에 포함된 제2 얼굴에 기반하여, 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 결정하며, 여기서, 상기 타겟 대상은 인체의 일부이다. 다음, 상기 타겟 대상의 추정 위치 정보 및 상기 타겟 대상의 실제 위치 정보에 기반하여, 상기 제1 후보 쌍의 매칭 확률 정보를 결정한다.

일부 실시예에 있어서, 상기 타겟 대상은 인체의 일부일 수 있고, 예를 들어 귀, 얼굴 또는 눈, 코 등과 같은 얼굴의 특정한 부위일 수 있거나, 인체의 다른 부위일 수도 있으며, 본 출원의 실시예는 타겟 대상의 구체적인 구현에 대해 한정하지 않는다. 가능한 구현 방식에 있어서, 제2 인체 및 제2 얼굴 중 하나에 기반하여 타겟 대상의 추정 위치 정보를 결정할 수 있고, 다른 하나에 기반하여 타겟 대상의 실제 위치 정보를 결정할 수 있다. 이로써, 타겟 대상의 추정 위치 정보 및 실제 위치 정보에 기반하여, 예를 들어 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 비교하는 것을 통해, 또는 타겟 대상의 추정 위치 정보에 대응되는 추정 위치와 실제 위치 정보에 대응되는 실제 위치 사이의 거리를 결정하는 것을 통해, 제1 후보 쌍에서의 제2 얼굴 및 제2 인체의 매칭 정도를 결정할 수 있지만, 본 출원의 실시예는 이에 대해 한정하지 않는다.

본 출원의 실시예에 있어서, 타겟 대상의 실제 위치 정보 및 추정 위치 정보의 결정은 동시에 실행될 수 있거나 임의의 선후 순서로 실행될 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 하나의 예에 있어서, 상기 타겟 대상이 귀이면, 이때, 제2 인체 및 제2 얼굴에 기반하여, 귀의 추정 위치 및 실제 위치를 얻을 수 있고, 더 나아가, 거리 등과 같은 추정 위치 및 실제 위치 사이의 차이에 따라, 제2 인체 및 제2 얼굴의 매칭 확률 정보를 결정할 수 있다.

아래의 설명은 제2 인체 및 제2 얼굴에 기반하여 귀의 추정 위치 및 실제 위치를 얻는 하나의 예이다. 일부 실시예에 있어서, 단계 S301에서, 상기 제2 인체에 기반하여, 귀의 실제 위치 정보를 결정하고, 상기 제2 얼굴에 기반하여, 귀의 추정 위치 정보를 결정한다. 본 출원의 실시예에 있어서, 여러 가지 방식을 통해 제2 인체에 기반하여 귀의 실제 위치 정보를 결정할 수 있다. 하나의 예에 있어서, 클라이언트에 의해 얻은 제2 인체가 제2 인체의 이미지를 포함하면, 이때, 제2 인체의 이미지에 대해 키 포인트 검출을 수행하여, 귀 키 포인트의 위치 정보를 얻을 수 있으며, 여기서, 상기 귀의 실제 위치 정보는 귀 키 포인트의 위치 정보를 포함한다. 다른 예에 있어서, 클라이언트에 의해 얻은 제2 인체가 제2 인체의 위치 정보를 포함하면, 이때, 상기 제2 인체의 위치 정보에 기반하여, 상기 제1 이미지로부터 상기 제2 인체의 이미지를 획득할 수 있고, 제2 인체의 이미지에 대해 키 포인트 검출을 수행하여, 귀 키 포인트의 위치 정보를 얻을 수 있으며, 또는, 클라이언트는 다른 방식을 통해 귀의 실제 위치 정보를 결정할 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

일부 실시예에 있어서, 상기 귀 키 포인트의 위치 정보는 적어도 하나의 귀의 키 포인트의 위치 정보를 포함할 수 있고, 즉 왼쪽 귀 키 포인트의 위치 정보 및 오른쪽 귀 키 포인트 중 적어도 하나의 위치 정보를 포함하며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 일부 실시예에 있어서, 신경 네트워크를 통해 제2 인체의 이미지에 대해 키 포인트 검출을 수행할 수 있다. 예를 들어, 미리 훈련된 키 포인트 검출 모델을 통해, 상기 제2 인체의 이미지를 상기 키 포인트 검출 모델에 입력할 수 있고, 상기 키 포인트 검출 모델은 상기 제2 인체에서의 귀 키포인트 정보를 출력할 수 있다. 또는, 다른 키 포인트 검출 알고리즘을 통해, 제2 인체의 이미지의 키 포인트 정보를 얻을 수도 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다. 본 출원의 실시예에 있어서, 클라이언트는 여러 가지 방식을 통해 상기 제2 얼굴에 기반하여 귀의 추정 위치 정보를 결정할 수 있다. 한 가지 방식으로서, 제2 얼굴의 얼굴 한정 프레임의 위치 정보 또는 제2 얼굴의 위치 정보에 기반하여, 귀의 추정 위치 정보를 결정한다. 가능한 구현 방식에 있어서, 상기 제2 얼굴의 중심 포인트 위치 및 상기 제2 얼굴의 사이즈 정보에 기반하여, 귀의 추정 위치 정보를 결정할 수 있다.

일부 실시예에 있어서, 상기 제2 얼굴의 사이즈 정보는 제2 얼굴의 높이 및 너비 등을 포함할 수 있다.

가능한 구현 방식에 있어서, 제2 얼굴의 얼굴 한정 프레임의 복수 개의 꼭지점의 위치 정보에 기반하여, 귀의 추정 위치 정보를 결정할 수 있다. 일부 실시예에 있어서, 제2 얼굴의 얼굴 한정 프레임을 먼저 획득할 수 있고, 상기 얼굴 한정 프레임의 정보에 기반하여, 얼굴의 높이 및 너비를 얻을 수 있다. 예를 들어, 제1 이미지의 적어도 일부에 대해 얼굴 검출 또는 얼굴 추적을 수행하는 것을 통해, 제2 얼굴의 얼굴 한정 프레임을 얻을 수 있고, 상기 얼굴 한정 프레임의 정보는 상기 얼굴 한정 프레임의 위치 정보를 포함할 수 있으며, 예를 들어 복수 개의 꼭지점이 이미지에서의 좌표를 포함하거나, 중심 포인트의 위치 및 얼굴 한정 프레임의 너비 및 높이를 포함한다. 하나의 예에 있어서, 얼굴의 높이는 얼굴 한정 프레임의 높이와 동일할 수 있고, 얼굴의 너비는 얼굴 한정 프레임의 너비와 동일할 수 있지만, 본 출원의 실시예는 이에 대해 한정하지 않는다.

가능한 구현 방식에 있어서, 가우시안 분포 모델을 통해 상기 귀의 추정 위치 정보를 결정할 수 있고, 여기서, 상기 귀의 추정 위치 정보는 추정 왼쪽 귀 위치 및 추정 오른쪽 귀 위치 중 적어도 하나를 포함할 수 있다.

예를 들어, 귀의 추정 위치는 공식(1)에 의해 얻는다.

(1)

여기서,

및

는 귀의 추정 위치 파라미터이고, 인공으로 설정된 것일 수 있거나 훈련을 통해 얻은 것일 수 있으며,

는 제2 얼굴의 중심 포인트 위치이고,

는 제2 얼굴의 너비이며,

는 제2 얼굴의 높이다.

가능한 구현 방식에 있어서, 신경 네트워크를 통해 귀의 추정 위치 정보를 결정할 수 있다. 이때, 제2 얼굴의 이미지를 신경 네트워크에 입력하고 처리하여, 귀의 추정 위치 정보를 얻을 수 있지만, 본 출원의 실시예는 이에 대해 한정하지 않는다.

클라이언트는 귀의 추정 위치 정보 및 실제 위치 정보를 결정한 후, 상기 귀의 추정 위치 정보 및 상기 귀의 실제 위치 정보에 기반하여 제1 후보 쌍의 제1 매칭 확률 정보를 결정한다.

일부 실시예에 있어서, 상기 귀의 실제 위치 정보에 대응되는 위치와 상기 귀의 추정 위치 정보에 대응되는 위치 사이의 거리를 계산할 수 있고, 상기 거리 및 상기 가우시안 분포 모델에서의 모델 파라미터에 따라 확률 밀도를 얻을 수 있으며, 상기 확률 밀도는 제1 후보 쌍의 매칭 확률로 사용될 수 있고, 또는, 상기 확률 밀도를 통해, 제1 후보 쌍의 매칭 확률을 결정할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

다른 예에 있어서, 상기 타겟 대상은 얼굴이다. 이때, 한 가지 방식으로서, 제2 인체에 기반하여, 제2 얼굴의 추정 위치 정보를 결정할 수 있고, 제2 얼굴의 추정 위치 정보 및 제2 얼굴의 실제 위치 정보에 기반하여, 제1 후보 쌍의 매칭 확률 정보를 결정할 수 있다. 일부 실시예에 있어서, 상기 제2 인체의 한정 프레임 정보에 기반하여, 상기 제2 얼굴의 중심 포인트의 추정 위치 정보를 결정할 수 있다. 또한, 상기 제2 얼굴의 위치 정보에 기반하여, 상기 제2 얼굴의 중심 포인트의 실제 위치 정보를 결정한다. 다음, 제2 얼굴의 중심 포인트의 추정 위치 정보 및 제2 얼굴의 중심 포인트의 실제 위치 정보에 기반하여, 제1 후보 쌍의 매칭 확률 정보를 결정할 수 있다.

제2 얼굴의 위치 정보에 기반하여 제2 얼굴의 중심 포인트의 실제 위치 정보를 결정하는 과정은 상기 실시예의 설명을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다. 클라이언트는 여러 가지 방식을 통해 제2 인체의 위치 정보(즉 인체 한정 프레임의 위치 정보)에 따라 제2 얼굴의 중심 포인트의 추정 위치 정보를 결정할 수 있다. 한 가지 방식으로서, 클라이언트는 상기 인체 한정 프레임의 위치 정보에 따라 인체 한정 프레임의 꼭지점 좌표, 인체 높이 및 인체 너비 중 적어도 하나를 결정할 수 있다. 더 나아가, 상기 꼭지점 좌표, 인체 높이 및 인체 너비 중 적어도 하나에 따라, 제2 얼굴의 중심 포인트의 추정 위치 정보를 결정한다.

하나의 예에 있어서, 가우시안 분포 모델을 통해 제2 얼굴의 중심 포인트의 추정 위치를 결정할 수 있다.

예를 들어, 제2 얼굴의 중심 포인트의 추정 위치는 공식(2)에 의해 얻는다.

(2);

여기서,

및

는 인체 한정 프레임의 꼭지점 좌표이고,

및

는 제2 얼굴의 중심 포인트의 추정 위치 파라미터이며, 는 기설정된 것이거나 훈련을 통해 얻은 것이며,

는 인체 너비이며,

는 인체 높이이다.

다른 예에 있어서, 제2 인체의 이미지에 대해 얼굴 검출을 수행하고, 검출 결과에 기반하여 제2 얼굴의 중심 포인트의 추정 위치 정보를 결정할 수 있으며, 예를 들어, 검출된 얼굴 검출 프레임의 위치 정보를 제2 얼굴의 중심 포인트의 추정 위치 정보로 결정한다.

다른 예에 있어서, 신경 네트워크를 통해 제2 얼굴의 중심 포인트의 추정 위치 정보를 결정할 수 있다. 이때, 제2 인체의 이미지를 신경 네트워크에 입력하고 처리하여, 제2 얼굴의 중심 포인트의 추정 위치 정보를 얻을 수 있지만, 본 출원의 실시예는 이에 대해 한정하지 않는다.

제2 얼굴의 중심 포인트의 추정 위치 정보 및 실제 위치 정보를 얻은 후, 이에 기반하여 제1 후보 쌍의 매칭 확률 정보를 결정할 수 있다.

일부 실시예에 있어서, 상기 제1 얼굴의 중심 포인트의 추정 위치 및 상기 제1 얼굴의 중심 포인트의 실제 위치에 따라 2 차원 가우시안 함수를 구축할 수 있음으로써, 확률 밀도를 얻고, 상기 확률 밀도를 제1 후보 쌍의 매칭 확률로 사용하며, 또는, 상기 확률 밀도를 통해, 제1 후보 쌍의 매칭 확률을 결정할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

단계 S302에 있어서, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계의 한 가지 방식은, 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 결정하는 단계 - 상기 후보 매칭 결과는 상기 N 개의 후보 쌍 중 m 개의 후보 쌍을 포함하고, 상기 m 개의 후보 쌍 중 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 각각 상이하며, 1≤m≤N임 - ; 및 상기 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 상기 적어도 하나의 후보 매칭 결과로부터 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계이다.

일부 실시예에 있어서, 상기 후보 매칭 결과는 m 개의 후보 쌍의 집합이고, 상기 집합에서의 후보 쌍은 중복되지 않으며, 즉 후보 매칭 결과에 포함된 m 개의 후보 쌍에서의 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 상이하다. 다시 말해, 후보 매칭 결과는 N 개의 후보 쌍 중 매칭되는 것으로 가정된 m 개의 얼굴-인체 쌍의 집합이다.

일부 실시예에 있어서, 상기 m은 상기 적어도 하나의 인체 또는 상기 적어도 하나의 얼굴의 개수와 동일할 수 있다. 또는, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 기반하여, N 개의 후보 쌍에 대해 필터링 처리를 수행하여, m 개의 후보 쌍을 얻을 수 있고, m 개의 후보 쌍에 기반하여 적어도 하나의 후보 매칭 결과를 얻을 수 있으며, 이때, m은 적어도 하나의 인체의 개수보다 작고 적어도 하나의 얼굴의 개수보다 작을 수 있지만, 본 출원의 실시예는 이에 대해 한정하지 않는다.

가능한 구현 방식에 있어서, 후보 매칭 결과의 매칭 확률 정보를 결정할 경우, 후보 매칭 결과에 포함된 m 개의 후보 쌍의 매칭 확률의 합을 상기 후보 매칭 결과의 매칭 확률 정보에 대응되는 매칭 확률로 사용할 수 있다.

예시적으로, 특정한 후보 매칭 결과에 3 개의 후보 쌍이 포함되고, 각 후보 쌍이 각각 하나의 매칭 확률을 갖고 있으며, 각각 확률 1, 확률 2 및 확률 3이면, 상기 후보 매칭 결과의 매칭 확률은 상기 확률 1, 상기 확률 2 및 확률 3의 합이다.

가능한 구현 방식에 있어서, m 개의 후보 쌍의 가중치 매칭 확률의 합을 상기 후보 매칭 결과의 매칭 확률로 사용할 수 있다. 또는, 다른 방식을 통해 m 개의 후보 쌍의 매칭 확률을 처리하여, 후보 매칭 결과의 매칭 확률을 얻을 수도 있고, 예를 들어, 후보 매칭 결과의 매칭 확률은 m 개의 후보 쌍의 매칭 확률의 평균값, 최대값 또는 최소값과 동일하며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 얻은 후, 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 적어도 하나의 후보 매칭 결과로부터 타겟 매칭 결과를 결정할 수 있다. 한 가지 방식으로서, 상기 적어도 하나의 후보 매칭 결과 중 매칭 확률 정보에 대응되는 매칭 확률이 가장 큰 후보 매칭 결과를 상기 타겟 매칭 결과로 사용할 수 있다. 또는, 기설정된 임계값의 방식을 통해 적어도 하나의 후보 매칭 결과로부터 타겟 매칭 결과를 결정할 수 있고, 본 출원의 실시예는 이에 대해 한정하지 않는다.

도 3에 도시된 예에 있어서, 제1 이미지에서의 적어도 하나의 얼굴 및 적어도 하나의 인체의 전반적인 매칭 상황을 먼저 결정한 다음, 전반적인 매칭 상황에 따라 적어도 하나의 얼굴에서의 제1 얼굴의 인체 매칭 상황을 결정하면, 특히 제1 이미지에서의 적어도 일부의 얼굴에 대해 분석 처리를 수행해야 하는 경우에, 제1 이미지 중 모든 얼굴 및 인체의 매칭 결과를 한꺼번에 얻을 수 있고, 이미지 처리 효율을 향상시킬 수 있다.

다른 일부의 가능한 구현 방식에 있어서, 제1 얼굴과 제1 이미지의 적어도 하나의 인체 중 각 인체의 매칭 확률 정보에 따라, 적어도 하나의 인체로부터 제1 얼굴과 매칭되는 인체를 결정할 수 있지만, 본 출원의 실시예는 이에 한정되지 않는다.

본 출원의 실시예에서 제공한 다른 이미지 처리 방법에 있어서, 도 4에 도시된 바와 같이, 상기 방법의 실행 주체는 서버 또는 다른 인물 인식을 구현 가능한 기기이며, 이해의 편의함을 위해, 아래에 상기 방법이 서버에 의해 실행되는 것을 예로 들어 설명하지만, 본 출원의 실시예는 이에 한정되지 않는다.

단계 S401에 있어서, 제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하고, 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함한다.

가능한 구현 방식에 있어서, 상기 제1 단말 기기는 상기 도 1에서의 단말 기기일 수 있지만, 본 출원의 실시예는 이에 한정되지 않는다.

일부 실시예에 있어서, 인물 인식 요청 메시지는 상기 실시예에서 얼굴 검출 또는 추적에 기반하여 얻은 제1 인물 인식 요청 메시지일 수 있거나, 상기 실시예에서 인체 검출 또는 추적에 기반하여 얻은 제2 인물 인식 요청 메시지일 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

단계 S402에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정한다.

서버는 인물 인식 요청 메시지에 포함된 제1 인체의 이미지 정보에 기반하여, 인물 식별자 정보를 결정한다. 여기서, 서버가 인물 인식을 수행하는 과정에서, 얼굴 템플릿 데이터베이스, 인체 템플릿 데이터베이스 및 연관 데이터베이스 중 하나 또는 복수 개에 관한 것일 수 있다.

여기서, 얼굴 템플릿 데이터베이스는 적어도 하나의 얼굴 템플릿을 저장하기 위한 것이고, 얼굴 템플릿은 얼굴 이미지 또는 얼굴 특징 정보를 포함할 수 있으며, 인물 식별자(person-id)와 같은 속하는 인물의 인물 식별자 정보를 가질 수 있으며, 상기 인물 식별자는 한 사람을 유일하게 나타낼 수 있다. 인체 템플릿 데이터베이스는 적어도 하나의 인체 템플릿을 저장하기 위한 것이고, 인체 템플릿은 인체 이미지 또는 인체 특징 정보를 포함할 수 있으며, 인체 식별자(body-id 또는 Re-Id)와 같은 속하는 인물의 인물 식별자 정보를 가질 수 있으며, 상기 인체 식별자는 인체를 유일하게 나타내는데 사용될 수 있다.

연관 데이터베이스는 얼굴에 기반한 제1 인물 식별자 정보(예를 들어, 인물 식별자)와 인체에 기반한 제2 인물 식별자 정보(예를 들어, 인체 식별자) 사이의 대응 관계를 저장하기 위한 것이고, 또는, 인체에 기반한 제2 인물 식별자 정보를 인체 식별자 정보로 지칭하면, 이때, 연관 데이터베이스는 인물 식별자 정보와 인체 식별자 정보 사이의 대응 관계를 저장하기 위한 것이다. 예를 들어, 연관 데이터베이스는 복수 개의 기록을 포함할 수 있고, 각 기록은 하나의 인체 식별자 및 상기 인체 식별자와 대응되는 인물 식별자를 포함한다.

또한, 얼굴 템플릿, 인체 템플릿 및 연관 데이터베이스에서의 어느 하나 또는 복수 개는 인공으로 기록된 것일 수 있거나, 인공으로 기록된 정보에 기반하여 얻은 것일 수 있으며, 예를 들어 인공으로 기록된 얼굴 이미지에 대해 특징 추출을 수행하여 얻은 것이거나, 인물 인식 과정에서 동적으로 업데이트된 것일 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

아래에 인물 인식 요청 메시지의 상이한 내용의 경우에서 단계 S402의 구체적인 구현을 상세하게 설명한다.

본 출원의 실시예에서 제공한 다른 이미지 처리 방법에 있어서, 도 5에 도시된 바와 같이, 여기서, 상기 예에서, 서버에 의해 수신된 인물 인식 요청 메시지가 제1 인물 인식 요청 메시지인 것으로 가정한다. 이때, 서버는 단계 S501 및 단계 S502를 통해 얼굴에 기반한 인물 인식을 수행할 수 있거나, 단계 S503을 통해 인체에 기반한 인물 인식을 수행할 수 있으며, 또는 얼굴에 기반한 인물 인식 및 인체에 기반한 인물 인식을 결합하여, 최종적인 인물 인식 결과를 얻을 수 있다.

단계 S501에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에서의 제1 얼굴의 이미지 정보를 얻는다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보는 제1 인체의 이미지를 포함한다. 이때, 서버는 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득할 수 있다. 하나의 예에 있어서, 서버는 제1 인체의 이미지에 대해 얼굴 검출을 수행하여, 제1 얼굴의 이미지를 얻을 수 있다. 또는, 서버는 제1 얼굴의 위치 정보를 획득할 수 있고, 제1 얼굴의 위치 정보에 기반하여, 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득할 수 있다. 예를 들어, 제1 인물 인식 요청 메시지는 제1 얼굴의 위치 정보를 포함하고, 또는, 제1 인물 인식 요청 메시지는 제1 얼굴의 키 포인트 정보를 포함하는 등이며, 본 출원의 실시예는 서버가 제1 얼굴의 이미지를 획득하는 구체적인 구현에 대해 한정하지 않는다. 일부 실시예에 있어서, 제1 인체의 이미지 정보는 제1 인체의 이미지의 인체 특징 정보 및 제1 인체의 이미지 중 적어도 하나의 얼굴 특징 정보를 포함한다. 이때, 서버는 제1 인체의 이미지 정보에 포함된 얼굴 특징 정보를 획득할 수 있지만, 본 출원의 실시예는 이에 한정되지 않는다.

단계 S502에 있어서, 상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정한다. 일부 실시예에 있어서, 서버는 얼굴 템플릿 데이터베이스에 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정할 수 있다.

가능한 구현 방식에 있어서, 제1 얼굴의 이미지 정보는 제1 얼굴의 이미지를 포함한다. 이때, 하나의 예에 있어서, 얼굴 템플릿 데이터베이스에서의 얼굴 템플릿이 얼굴 특징 정보를 포함하면, 서버는 상기 제1 얼굴의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 얼굴의 특징 정보를 얻을 수 있으며, 제1 얼굴의 특징 정보와 적어도 하나의 얼굴 템플릿에서의 얼굴 특징 정보 사이의 유사도 또는 거리에 기반하여, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정할 수 있다. 다른 예에 있어서, 얼굴 템플릿 데이터베이스에서의 얼굴 템플릿이 얼굴 이미지를 포함하면, 서버는 제1 얼굴의 이미지와 얼굴 템플릿 데이터베이스에 포함된 적어도 하나의 얼굴 템플릿 사이의 유사도에 기반하여, 얼굴 템플릿 데이터베이스에 제1 얼굴의 이미지와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정할 수 있다.

가능한 구현 방식에 있어서, 제1 얼굴의 이미지 정보는 제1 인체의 이미지의 얼굴 특징 정보를 포함하고, 이에 상응하게, 서버는 제1 인체의 이미지의 얼굴 특징 정보에 기반하여 얼굴 템플릿 데이터베이스에 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿을 결정할 수 있으며, 본 출원의 실시예는 얼굴 템플릿 데이터베이스에 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정하는 구체적인 구현에 대해 한정하지 않는다. 다음, 서버는 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻을 수 있고, 여기서, 하나의 예로서, 제1 인체가 속하는 인물의 인물 식별자 정보는 인물 식별자를 포함한다.

하나의 예로서, 상기 결정된 결과가 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿이 존재하는 것이면, 이때, 한 가지 방식으로서, 서버는 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보를 제1 인체가 속하는 인물의 인물 식별자 정보로 결정한다.

일부 실시예에 있어서, 얼굴 템플릿 데이터베이스에서의 각 얼굴 템플릿이 인물 신원 식별자에 모두 대응되므로, 얼굴 템플릿 데이터베이스에 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿이 존재하면, 상기 제1 얼굴에 대응되는 인물이 서버 엔드에 의해 이미 기록된 인물인 것을 나타낸다. 이때, 한 가지 방식으로서, 서버는 상기 인물의 등장 횟수를 1 추가할 수 있거나, 시간 정보, 위치 정보, 대응되는 카메라 정보, 수집 이미지 등 하나 또는 복수 개와 같은 상기 인물이 이번에 등장한 정보를 기록할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

다른 예로서, 상기 결정된 결과가 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 이미지 정보와 매칭되는 얼굴 템플릿이 존재하지 않는 것이면, 이때, 한 가지 방식으로서, 서버는 인물 식별자를 새로 추가하는 등과 같이 인물 식별자 정보를 새로 추가할 수 있고, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정할 수 있다.

얼굴 템플릿 데이터베이스에 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하지 않으면, 서버는 상기 제1 얼굴이 속한 인물이 새로 등장된 인물인 것으로 확인할 수 있고, 상기 새로 등장된 인물에 새로 추가된 인물 식별자 정보를 분배할 수 있다.

일부 실시예에 있어서, 서버는 상기 새로 등장된 인물에 인물 식별자 정보를 분배한 후, 상기 새로 추가된 인물 식별자 정보 및 상기 제1 얼굴의 이미지 정보를 상기 얼굴 템플릿 데이터베이스에 추가할 수 있고, 여기서, 한 가지 방식으로서, 하나의 새로운 기록으로서 상기 새로 추가된 인물 식별자 정보와 상기 제1 얼굴의 이미지 정보는 얼굴 템플릿 데이터베이스에 추가될 수 있음으로써, 상기 새로 추가된 인물 식별자 정보와 제1 얼굴의 이미지 정보 사이의 대응 관계를 구축한다. 또는, 서버는 제1 얼굴의 이미지 정보를 얼굴 템플릿 데이터베이스에 추가할 수도 있고, 제1 얼굴의 이미지 정보와 새로 추가된 인물 식별자 정보 사이의 대응 관계를 기록할 수 있다.

단계 S503에 있어서, 제1 인체의 이미지 정보 및 인체 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정한다.

일부 실시예에 있어서, 상기 제1 인체의 이미지 정보는 제1 인체의 이미지를 포함한다. 이때, 하나의 예에 있어서, 인체 템플릿 데이터베이스에서의 인체 템플릿이 인체 특징 정보를 포함하면, 서버는 상기 제1 인체의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 인체의 특징 정보를 얻을 수 있고, 제1 인체의 특징 정보와 적어도 하나의 인체 템플릿에서의 인체 특징 정보 사이의 유사도 또는 거리에 기반하여, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정할 수 있다.

다른 예에 있어서, 인체 템플릿 데이터베이스에서의 인체 템플릿이 인체 이미지를 포함하면, 서버는 제1 인체의 이미지와 인체 템플릿 데이터베이스에 포함된 적어도 하나의 인체 템플릿 사이의 유사도에 기반하여, 인체 템플릿 데이터베이스에 제1 인체의 이미지와 매칭되는 인체 템플릿이 존재하는지 여부를 결정할 수 있다.

가능한 구현 방식에 있어서, 제1 인체의 이미지 정보는 제1 인체의 이미지의 인체 특징 정보를 포함하고, 이에 상응하게, 서버는 제1 인체의 이미지의 인체 특징 정보에 기반하여 인체 템플릿 데이터베이스에 제1 인체의 이미지 정보와 매칭되는 인체 템플릿을 결정할 수 있으며, 본 출원의 실시예는 인체 템플릿 데이터베이스에 제1 인체의 이미지 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정하는 구체적인 구현에 대해 한정하지 않는다.

다음, 서버는 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻을 수 있고, 여기서, 하나의 예로서, 제1 인체가 속하는 인물의 인물 식별자 정보는 인체 식별자를 포함한다.

하나의 예로서, 상기 결정된 결과가 인체 템플릿 데이터베이스에 상기 제1 인체의 이미지 정보와 매칭되는 인체 템플릿이 존재하는 것이면, 이때, 한 가지 방식으로서, 서버는 상기 매칭되는 인체 템플릿에 대응되는 제2 인물 식별자 정보를 제1 인체가 속하는 인물의 인물 식별자 정보로 결정한다. 또는, 서버는 또한 연관 데이터베이스에서 상기 매칭되는 인체 템플릿에 대응되는 제2 인물 식별자 정보에 대응되는 제1 인물 식별자 정보를 검색할 수 있고, 검색으로 얻은 상기 제1 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정할 수 있다.

일부 실시예에 있어서, 인체 템플릿 데이터베이스에서의 각 인체 템플릿이 인체 식별자에 모두 대응되므로, 인체 템플릿 데이터베이스에 제1 인체의 이미지 정보와 매칭되는 인체 템플릿이 존재하면, 상기 제1 인체가 서버 엔드에 의해 이미 기록된 인체인 것을 나타낸다. 이때, 한 가지 방식으로서, 서버는 상기 인체의 등장 횟수를 1 추가할 수 있거나, 시간 정보, 위치 정보, 대응되는 카메라 정보, 수집 이미지 등 하나 또는 복수 개와 같은 상기 인체가 이번에 등장한 정보를 기록할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

다른 예로서, 상기 결정된 결과가 인체 템플릿 데이터베이스에 상기 제1 인체의 이미지 정보와 매칭되는 인체 템플릿이 존재하지 않는 것이면, 이때, 한 가지 방식으로서, 서버는 인체 식별자를 새로 추가하는 등과 같이 제2 인물 식별자 정보 또는 인체 식별자 정보를 새로 추가할 수 있으며, 새로 추가된 제2 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정할 수 있다. 인체 템플릿 데이터베이스에 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하지 않으면, 서버는 상기 제1 인체가 속한 인물이 새로 등장된 인물인 것으로 확인할 수 있고, 상기 새로 등장된 인물에 새로 추가된 인물 식별자 정보를 분배할 수 있다.

일부 실시예에 있어서, 서버는 상기 새로 등장된 인물에 제2 인물 식별자 정보를 분배한 후, 상기 새로 추가된 제2 인물 식별자 정보 및 상기 제1 인체의 이미지 정보를 상기 인체 템플릿 데이터베이스에 추가할 수 있고, 여기서, 한 가지 방식으로서, 하나의 새로운 기록으로서 상기 새로 추가된 인물 식별자 정보와 상기 제1 인체의 이미지 정보는 인체 템플릿 데이터베이스에 추가될 수 있음으로써, 상기 새로 추가된 제2 인물 식별자 정보와 제1 인체의 이미지 정보 사이의 대응 관계를 구축한다. 또는, 서버는 제1 인체의 이미지 정보를 인체 템플릿 데이터베이스에 추가할 수도 있고, 제1 인체의 이미지 정보와 새로 추가된 제2 인물 식별자 정보 사이의 대응 관계를 기록할 수 있다.

가능한 구현 방식에 있어서, 서버는 얼굴에 기반한 인물 인식 및 인체에 기반한 인물 인식을 수행하고, 얼굴에 기반한 제1 인물 식별자 정보(예를 들어, 인물 식별자) 및 인체에 기반한 제2 인물 식별자 정보(예를 들어, 인체 식별자)를 얻은 후, 제1 인물 식별자 정보와 제2 인물 식별자 정보 사이의 대응 관계를 구축하고, 제1 인물 식별자 정보와 제2 인물 식별자 정보 사이의 대응 관계를 연관 데이터베이스에 추가하지만, 본 출원의 실시예는 이에 한정되지 않는다. 일부 실시예에 있어서, 상기 제1 인물 인식 요청 메시지는 또한 검출 프레임 식별자 정보 또는 추적 식별자 정보와 같은 상기 제1 인체에서의 제1 얼굴의 식별자 정보를 포함할 수 있다. 서버는 제1 얼굴의 검출 프레임 정보 또는 추적 식별자 정보에 따라, 고객 흐름 분석 등과 같이 추가적인 신원 인식을 실행할 수 있다.

본 출원의 실시예에서 제공한 다른 이미지 처리 방법에 있어서, 도 6에 도시된 바와 같이, 여기서, 상기 예에서 서버에 의해 수신된 인물 인식 요청 메시지가 제2 인물 인식 요청 메시지인 것으로 가정한다.

단계 S601에 있어서, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보(또는 제2 인물 식별자 정보)를 결정한다. 상기 방식에 있어서, 서버는 제1 인체의 이미지 정보 및 인체 템플릿 데이터베이스에 기반하여 제1 인체의 인체 식별자 정보 또는 제2 인물 식별자 정보를 결정할 수 있다. 단계 S602에 있어서, 상기 제1 인체의 인체 식별자 정보(또는 제2 인물 식별자 정보)에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정한다.

일부 실시예에 있어서, 제1 인체의 인체 식별자 정보를 결정한 후, 서버는 연관 데이터베이스에 상기 제1 인체의 인체 식별자 정보와 매칭되는 연관 관계가 존재하는지 여부를 결정하는 것을 통해 제1 인체가 속하는 인물의 인물 식별자 정보를 결정할 수 있고, 여기서, 상기 연관 데이터베이스는 인체 식별자 정보와 인물 식별자 정보 사이의 적어도 하나의 연관 관계를 저장하기 위한 것이다. 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는다.

일부 실시예에 있어서, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자 정보와 매칭되는 연관 관계가 존재하면, 서버는 상기 매칭되는 연관 관계에서의 인물 식별자 정보(또는 제1 인물 식별자 정보로 지칭됨)를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정할 수 있다. 연관 데이터베이스에 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하면, 상기 제1 인체가 속하는 인물의 인물이 서버에 이미 저장된 인물인 것을 설명하고, 서버는 제1 인체의 인체 식별자에 대응되는 인물 신원 식별자에 대응되는 인물이 제1 인체가 속하는 인물인 것으로 결정할 수 있다. 일부 실시예에 있어서, 연관 데이터베이스에 상기 제1 인체의 인체 식별자 정보와 매칭되는 연관 관계가 존재하지 않으면, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정한다. 연관 데이터베이스에 제1 인체의 인체 식별자 정보와 매칭되는 연관 관계가 존재하지 않으면, 서버는 상기 제1 인체가 속하는 인물이 새로 등장된 인물인 것으로 확인할 수 있고, 상기 새로 등장된 인물은 하나의 새로 추가된 인물 식별자 정보에 대응될 수 있다.

상기 각 실시예의 경우, 한 가지 방식으로서, 서버는 제1 인체의 인물 식별자 정보를 결정한 후, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 제2 단말 기기에 송신할 수 있고, 제2 단말 기기는 예를 들어 일부 판매자가 소유한 단말 기기일 수 있으며, 제2 단말 기기는 제1 인체가 속하는 인물의 인물 식별자 정보에 기반하여, 고객 흐름 통계, 고객 인식, 고객 방문 횟수 통계 등 처리를 수행할 수 있으며, 본 출원의 실시예는 이에 대해 한정하지 않는다.

다른 실시예에 있어서, 서버에 의해 수신된 메시지에 얼굴만 포함될 경우, 상기 얼굴 템플릿 데이터베이스에 따라 상기 얼굴에 대해 인식 처리를 수행할 수 있다. 일부 실시예에 있어서, 서버는 상기 얼굴와 얼굴 템플릿 데이터베이스에서의 얼굴 템플릿에 대해 매칭 처리를 수행할 수 있고, 상기 결정된 결과에 따라 인식할 수 있다. 일부 실시예에 있어서, 얼굴 템플릿 데이터베이스에 상기 얼굴과 매칭되는 얼굴 템플릿이 존재하면, 서버는 상기 얼굴이 속하는 인물의 인물 식별자 정보가 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보인 것으로 결정할 수 있다. 일부 실시예에 있어서, 얼굴 템플릿 데이터베이스에 상기 얼굴과 매칭되는 얼굴 템플릿이 존재하지 않으면, 서버는 상기 얼굴의 특징 정보를 얼굴 템플릿 데이터베이스에 추가할 수 있고, 상기 얼굴이 속하는 인물의 인물 식별자 정보를 분배할 수 있다.

본 출원의 실시예에서 제공한 이미지 처리 장치, 도 7에 도시된 바와 같이, 상기 장치는, 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻도록 구성된 획득 모듈(701); 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 위한 제1 결정 모듈(702); 및 상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하도록 구성된 송신 모듈(703)을 포함한다.

다른 실시예에 있어서, 송신 모듈(703)은, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하도록 구성되고, 여기서, 상기 제1 인체의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것이다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치, 도 8에 도시된 바와 같이, 상기 장치는, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 품질에 따라, 상기 제1 인물 인식 요청 메시지에 상기 제1 인체의 이미지 정보가 포함되는지 여부를 결정하도록 구성된 제2 결정 모듈(704)을 더 포함한다.

다른 실시예에 있어서, 송신 모듈(703)은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하도록 구성된다.

다른 실시예에 있어서, 상기 품질 요구는, 얼굴 해상도 요구, 얼굴 크기 요구, 얼굴 각도 요구, 얼굴 검출 신뢰도 요구 및 인체 검출 신뢰도, 완전한 얼굴을 포함하는지 여부 중 적어도 하나를 포함한다.

다른 실시예에 있어서, 송신 모듈(703)은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하지 않는 것에 응답하여, 상기 서버에 상기 제1 얼굴의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 송신하도록 구성되고, 여기서, 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것이다.

다른 실시예에 있어서, 상기 제1 인물 인식 요청 메시지는, 상기 제1 얼굴의 추적 식별자 정보 또는 제1 얼굴의 검출 프레임 식별자 정보를 더 포함한다. 다른 실시예에 있어서, 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것 및 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 여기서, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함한다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치, 도 9에 도시된 바와 같이, 상기 장치는, 상기 제1 얼굴의 이미지 정보를 상기 제1 인체의 이미지 정보로 대체하여 인물 인식을 수행하는 것으로 결정하도록 구성된 제3 결정 모듈(705)을 더 포함한다.

다른 실시예에 있어서, 송신 모듈(703)은 또한 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하지 않는 것에 응답하여, 상기 제1 얼굴의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 서버로 송신하도록 구성되고, 여기서, 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것이다.

다른 실시예에 있어서, 제1 결정 모듈(702)은, 상기 제1 이미지의 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된다.

다른 실시예에 있어서, 제1 결정 모듈(702)은, 상기 제1 이미지에 대응되는 적어도 하나의 얼굴 및 상기 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하고 - 상기 후보 쌍은 상기 적어도 하나의 얼굴 중 하나의 얼굴 및 상기 적어도 하나의 인체 중 하나의 인체를 포함하고, 상기 적어도 하나의 얼굴은 상기 제1 얼굴을 포함함 - ; 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하며; 상기 타겟 매칭 결과에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된다.

다른 실시예에 있어서, 제1 결정 모듈(702)은, 제1 후보 쌍에 포함된 제2 인체 및 상기 제1 후보 쌍에 포함된 제2 얼굴에 기반하여, 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 결정하고 - 상기 N 개의 후보 쌍은 상기 제1 후보 쌍을 포함하고, 상기 타겟 대상은 인체의 일부임 - ; 상기 타겟 대상의 추정 위치 정보 및 상기 타겟 대상의 실제 위치 정보에 기반하여, 상기 제1 후보 쌍의 매칭 확률 정보를 결정하도록 구성된다.

다른 실시예에 있어서, 상기 타겟 대상은 귀 및 얼굴 중 적어도 하나를 포함한다.

다른 실시예에 있어서, 제1 결정 모듈(702)은, 상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 결정하고 - 상기 후보 매칭 결과는 상기 N 개의 후보 쌍 중 m 개의 후보 쌍을 포함하고, 상기 m 개의 후보 쌍 중 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 각각 상이하며, 1≤m≤N임 - ; 상기 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 상기 적어도 하나의 후보 매칭 결과로부터 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하도록 구성된다.

다른 실시예에 있어서, 제1 결정 모듈(702)은, 상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 인체 추적 결과를 얻고 - 상기 인체 추적 결과는 상기 비디오 시퀀스에서의 적어도 하나의 이미지의 인체 추적 정보를 포함함 - ; 상기 비디오 시퀀스에서의 적어도 일부의 이미지의 얼굴 추적 결과 중 상기 제1 이미지의 프레임 번호에 대응되는 인체 추적 정보에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된다. 다른 실시예에 있어서, 제1 결정 모듈(702)은, 상기 인체 추적 결과에 상기 제1 이미지의 프레임 번호에 대응되는 인체 추적 정보가 존재하지 않는 것에 응답하여, 상기 제1 이미지에 대한 인체 검출을 통해 얻은 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된다.

다른 실시예에 있어서, 상기 장치는, 상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 상기 비디오 시퀀스의 인체 추적 결과를 얻도록 구성된 인체 추적 모듈; 및 상기 제1 이미지의 프레임 번호에 기반하여, 상기 비디오 시퀀스의 인체 추적 결과로부터 상기 제1 이미지의 인체 추적 정보를 검색하도록 구성된 추적 정보 검색 모듈을 더 포함한다.

다른 실시예에 있어서, 상기 장치는, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻도록 구성된 검출 인체 모듈을 더 포함한다.

다른 실시예에 있어서, 상기 장치는, 상기 비디오 시퀀스의 인체 추적 결과에서 상기 제1 이미지의 인체 추적 정보를 찾지 못한 것에 응답하여, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻도록 구성된 인체 검출 모듈을 더 포함한다.

다른 실시예에 있어서, 획득 모듈(701)은, 제1 이미지에 대해 얼굴 추적을 수행하여, 상기 제1 이미지에서의 제1 얼굴을 얻도록 구성된다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치, 도 10에 도시된 바와 같이, 상기 장치는, 상기 제1 이미지에 대해 인체 추적을 수행하여, 상기 제1 이미지에서의 제3 인체를 얻도록 구성된 추적 모듈(706)을 더 포함한다. 송신 모듈(703)은 또한, 제2 인물 인식 요청 메시지를 서버로 송신하도록 구성되고, 상기 제2 인물 인식 요청 메시지는 상기 제3 인체의 이미지 정보 및 상기 제3 인체의 추적 식별자 정보를 포함한다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 11에 도시된 바와 같이, 상기 장치는 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하도록 구성된 선택 모듈(707)을 더 포함한다. 다른 실시예에 있어서, 선택 모듈(707)은, 이미지에 포함된 얼굴의 품질에 기반하여, 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하도록 구성된다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 12에 도시된 바와 같이, 상기 장치는 제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하도록 구성된 수신 모듈(1201) - 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함함 - 을 포함한다. 결정 모듈(1202), 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된다.

다른 실시예에 있어서, 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것 및 상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 여기서, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함한다.

본 출원의 실시예는 다른 이미지 처리 장치를 제공하고, 도 13에 도시된 바와 같이, 결정 모듈(1202)은, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻도록 구성된 제1 결정 유닛(12021); 및 상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 제2 결정 유닛(12022) - 상기 얼굴 템플릿 데이터베이스에는 적어도 하나의 얼굴 템플릿이 저장되어 있음 - 을 포함한다.

다른 실시예에 있어서, 제1 결정 유닛(12021)은 상기 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득하도록 구성된다. 다른 실시예에 있어서, 제2 결정 유닛(12022)은 상기 제1 얼굴의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 얼굴의 특징 정보를 얻고; 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정하며; 상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻도록 구성된다. 다른 실시예에 있어서, 제2 결정 유닛(12022)은, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된다. 다른 실시예에 있어서, 제2 결정 유닛(12022)은, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 14에 도시된 바와 같이, 상기 장치는, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인물 식별자 정보 및 상기 제1 얼굴의 정보(예를 들어 제1 얼굴의 특징 정보)를 상기 얼굴 템플릿 데이터베이스에 추가하도록 구성된 제1 추가 모듈(1203)을 더 포함한다. 다른 실시예에 있어서, 상기 인물 인식 요청 메시지는 상기 제1 인체에서의 제1 얼굴의 검출 프레임 식별자 정보 또는 추적 식별자 정보를 더 포함한다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 15에 도시된 바와 같이, 결정 모듈(1202)은, 상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하도록 구성된 제3 결정 유닛(12023); 및 상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 제4 결정 유닛(12024)을 더 포함한다.

다른 실시예에 있어서, 제3 결정 유닛(12023)은, 상기 제1 인체의 이미지에 대해 특징 추출을 수행하여, 상기 제1 인체의 특징 정보를 얻고; 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정하며 - 상기 인체 템플릿 데이터베이스는 적어도 하나의 인체 템플릿을 저장함 - ; 상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻도록 구성된다. 다른 실시예에 있어서, 제3 결정 유닛(12023)은, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 인체 템플릿에 대응되는 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하도록 구성된다. 다른 실시예에 있어서, 제3 결정 유닛(12023)은, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하도록 구성된다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 16에 도시된 바와 같이, 상기 장치는, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인체 식별자 정보 및 상기 제1 인체의 정보를 상기 인체 템플릿 데이터베이스에 추가하도록 구성된 제2 추가 모듈(1204)을 더 포함한다.

본 출원의 실시예는 다른 이미지 처리 장치를 제공하고, 도 17에 도시된 바와 같이, 상기 장치는, 상기 제1 인체의 인체 식별자 정보 및 상기 제1 인체가 속하는 인물의 인물 식별자 정보와 상기 제1 인체가 속하는 인물의 인체 식별자 정보 사이의 연관 관계를 연관 데이터베이스에 추가하도록 구성된 제3 추가 모듈(1205)을 더 포함한다.

다른 실시예에 있어서, 상기 인물 인식 요청 메시지는 상기 제1 인체의 추적 식별자 정보 또는 검출 프레임 식별자 정보를 더 포함한다. 다른 실시예에 있어서, 제4 결정 유닛(12024)은, 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는지 여부를 결정하고 - 상기 연관 데이터베이스는 인체 식별자 정보와 인물 식별자 정보 사이의 적어도 하나의 연관 관계를 저장하기 위한 것임 - ; 상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻도록 구성된다. 다른 실시예에 있어서, 제4 결정 유닛(12024)은, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는 것에 응답하여, 상기 매칭되는 연관 관계에서의 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된다. 다른 실시예에 있어서, 제4 결정 유닛(12024)은, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된다.

본 출원의 실시예에서 제공한 다른 이미지 처리 장치에 있어서, 도 18에 도시된 바와 같이, 상기 장치는, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 제2 단말 기기에 송신하도록 구성된 송신 모듈(1206)을 더 포함한다. 다른 실시예에 있어서, 상기 인물 인식 요청 메시지는 상기 제1 단말 기기에 기반하여 비디오 시퀀스에서의 적어도 하나의 이미지에 대해 얼굴 추적을 수행하여 얻은 것이다.

본 출원의 실시예에서 제공한 단말 기기, 도 19에 도시된 바와 같이, 상기 단말 기기(1900)는, 프로그램 명령어를 저장하도록 구성된 메모리(1901)를 포함한다. 프로세서(1902)은, 메모리(1901)에서의 프로그램 명령어를 호출하고 실행하며, 상기 방법 실시예 중 클라이언트에 의해 실행되는 방법 단계를 실행하도록 구성된다.

본 출원의 실시예에서 제공한 서버에 있어서, 도 20에 도시된 바와 같이, 상기 서버(2000)는 프로그램 명령어를 저장하도록 구성된 메모리(2002)를 포함한다. 프로세서(2001)은, 메모리(2002)에서의 프로그램 명령어를 호출하고 실행하며, 상기 방법 실시예 중 서버에 의해 실행되는 방법 단계를 실행하도록 구성된다.

본 출원의 실시예에서 제공한 이미지 처리 시스템, 도 21에 도시된 바와 같이, 상기 시스템(2100)은 통신 연결된 카메라(1800), 단말 기기(1900) 및 서버(2000)를 포함한다. 실시 과정에서, 카메라(1800)에 의해 비디오 이미지가 실시간으로 촬영되고 단말 기기(1900)에 송신되며, 단말 기기는 비디오 이미지에 따라 추적, 매칭 등 처리를 수행하여, 인체 정보 및 얼굴 정보를 얻으며, 정보를 서버(2000)에 송신함으로써, 서버는 수신된 정보에 따라 인식 처리를 수행한다.

본 기술분야의 기술자는, 상기 각 방법 실시예를 구현하는 전부 또는 일부 단계가 프로그램 명령어에 관련된 하드웨어를 통해 완료될 수 있음을 이해할 수 있을 것이다. 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 프로그램이 실행될 경우, 상기 각 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다. 마지막으로 설명할 것은, 이상의 각 실시예는 다만 본 출원의 기술적 해결수단을 설명하기 위해서이며, 이를 한정하는 것은 아니며, 전술한 각 실시예를 참조하여 본 출원에 대해 상세한 설명을 진행하였으나, 본 기술분야의 통상의 기술자는, 전술한 각 실시예에서 설명한 기술적 해결수단에 대해 여전히 수정을 진행할 수 있으며, 또는, 일부 또는 전부 기술특징에 대해 동등한 교체를 진행할 수 있으며, 이러한 수정 또는 교체는 상응한 기술적 해결수단의 본질이 본 출원의 각 실시예의 기술적 해결수단의 범위를 벗어나지 않음을 이해해야 한다.

Claims

이미지 처리 방법으로서,
제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계;
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계; 및
상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계는,
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계 - 상기 제1 인체의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 이미지 처리 방법은, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 품질에 따라, 상기 제1 인물 인식 요청 메시지에 상기 제1 인체의 이미지 정보가 포함되는지 여부를 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 또는 제3항에 있어서,
상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계는, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서,
상기 품질 요구는 얼굴 해상도 요구, 얼굴 크기 요구, 얼굴 각도 요구, 얼굴 검출 신뢰도 요구 및 인체 검출 신뢰도, 얼굴 무결성 요구 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지 처리 방법은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하지 않는 것에 응답하여, 상기 서버에 상기 제1 얼굴의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 송신하는 단계 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것, 및
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하기 전, 상기 이미지 처리 방법은,
상기 제1 얼굴의 이미지 정보를 상기 제1 인체의 이미지 정보로 대체하여 인물 인식을 수행하는 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 제1 인물 인식 요청 메시지는, 상기 제1 얼굴의 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하는 단계는, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하지 않는 것에 응답하여, 상기 제1 얼굴의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 서버로 송신하는 단계 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 이미지의 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계는,
상기 제1 이미지에 대응되는 적어도 하나의 얼굴 및 상기 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하는 단계 - 상기 후보 쌍은 상기 적어도 하나의 얼굴 중 하나의 얼굴 및 상기 적어도 하나의 인체 중 하나의 인체를 포함하고, 상기 적어도 하나의 얼굴은 상기 제1 얼굴을 포함함 - ;
상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계; 및
상기 타겟 매칭 결과에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제11항에 있어서,
상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하는 단계는,
제1 후보 쌍에 포함된 제2 인체 및 상기 제1 후보 쌍에 포함된 제2 얼굴에 기반하여, 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 결정하는 단계 - 상기 N 개의 후보 쌍은 상기 제1 후보 쌍을 포함하고, 상기 타겟 대상은 인체의 일부임 - ; 및
상기 타겟 대상의 추정 위치 정보 및 상기 타겟 대상의 실제 위치 정보에 기반하여, 상기 제1 후보 쌍의 매칭 확률 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제12항에 있어서,
상기 타겟 대상은 귀 및 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계는,
상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 결정하는 단계 - 상기 후보 매칭 결과는 상기 N 개의 후보 쌍 중 m 개의 후보 쌍을 포함하고, 상기 m 개의 후보 쌍 중 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 각각 상이하며, 1≤m≤N임 - ; 및
상기 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 상기 적어도 하나의 후보 매칭 결과로부터 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 전, 상기 이미지 처리 방법은,
상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하기 전, 상기 이미지 처리 방법은,
상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 상기 비디오 시퀀스의 인체 추적 결과를 얻는 단계; 및
상기 제1 이미지의 프레임 번호에 기반하여, 상기 비디오 시퀀스의 인체 추적 결과로부터 상기 제1 이미지의 인체 추적 정보를 검색하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제16항에 있어서,
상기 이미지 처리 방법은,
상기 비디오 시퀀스의 인체 추적 결과에서 상기 제1 이미지의 인체 추적 정보를 찾지 못한 것에 응답하여, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제17항 중 어느 한 항에 있어서,
상기 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계는,
제1 이미지에 대해 얼굴 추적을 수행하여, 상기 제1 이미지에서의 제1 얼굴을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제18항 중 어느 한 항에 있어서,
상기 이미지 처리 방법은,
상기 제1 이미지에 대해 인체 추적을 수행하여, 상기 제1 이미지에서의 제3 인체를 얻는 단계; 및
제2 인물 인식 요청 메시지를 서버로 송신하는 단계 - 상기 제2 인물 인식 요청 메시지는 상기 제3 인체의 이미지 정보 및 상기 제3 인체의 추적 식별자 정보를 포함함 - 를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제19항 중 어느 한 항에 있어서,
상기 제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻기 전, 상기 이미지 처리 방법은,
비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제20항에 있어서,
상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계는, 이미지에 포함된 얼굴의 품질에 기반하여, 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 방법으로서,
제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하는 단계 - 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함함 - ; 및
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제22항에 있어서,
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것; 및
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제22항 또는 제23항에 있어서,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻는 단계; 및
상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계 - 상기 얼굴 템플릿 데이터베이스에는 적어도 하나의 얼굴 템플릿이 저장되어 있음 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제24항에 있어서,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻는 단계는,
상기 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제24항 또는 제25항에 있어서,
상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는,
상기 제1 얼굴의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 얼굴의 특징 정보를 얻는 단계;
상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정하는 단계; 및
상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제26항에 있어서,
상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제26항 또는 제27항에 있어서,
상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제28항에 있어서,
상기 이미지 처리 방법은, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인물 식별자 정보 및 상기 제1 얼굴의 정보를 상기 얼굴 템플릿 데이터베이스에 추가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제22항 내지 제29항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는 상기 제1 인체에서의 제1 얼굴의 검출 프레임 식별자 정보 또는 추적 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제22항 내지 제30항 중 어느 한 항에 있어서,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하는 단계; 및
상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제31항에 있어서,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하는 단계는,
상기 제1 인체의 이미지에 대해 특징 추출을 수행하여, 상기 제1 인체의 특징 정보를 얻는 단계;
인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정하는 단계 - 상기 인체 템플릿 데이터베이스는 적어도 하나의 인체 템플릿을 저장함 - ; 및
상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제32항에 있어서,
상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계는, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 인체 템플릿에 대응되는 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제32항 또는 제33항에 있어서,
상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻는 단계는, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제34항에 있어서,
상기 이미지 처리 방법은, 새로운 인체 템플릿으로서 상기 새로 추가된 인체 식별자 정보 및 상기 제1 인체의 정보를 상기 인체 템플릿 데이터베이스에 추가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제35항에 있어서,
상기 이미지 처리 방법은, 상기 제1 인체의 인체 식별자 정보 및 상기 제1 인체가 속하는 인물의 인물 식별자 정보와 상기 제1 인체가 속하는 인물의 인체 식별자 정보 사이의 연관 관계를 연관 데이터베이스에 추가하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제31항 내지 제36항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는, 상기 제1 인체의 추적 식별자 정보 또는 검출 프레임 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제31항 내지 제37항 중 어느 한 항에 있어서,
상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하는 단계는,
연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는지 여부를 결정하는 단계 - 상기 연관 데이터베이스는 인체 식별자 정보와 인물 식별자 정보 사이의 적어도 하나의 연관 관계를 저장하기 위한 것임 - ; 및
상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제38항에 있어서,
상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는 것에 응답하여, 상기 매칭되는 연관 관계에서의 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제38항에 있어서,
상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻는 단계는, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제31항 내지 제40항 중 어느 한 항에 있어서,
상기 이미지 처리 방법은, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 제2 단말 기기에 송신하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제22항 내지 제41항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는 상기 제1 단말 기기에 기반하여 비디오 시퀀스에서의 적어도 하나의 이미지에 대해 얼굴 추적을 수행하여 얻은 것임을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치로서,
제1 이미지를 처리하여, 상기 제1 이미지에서의 제1 얼굴을 얻도록 구성된 획득 모듈;
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된 제1 결정 모듈; 및
상기 결정된 결과에 따라, 제1 인물 인식 요청 메시지를 서버로 송신하도록 구성된 송신 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제43항에 있어서,
상기 송신 모듈은,
상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하도록 구성된 것 - 상기 제1 인체의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 을 특징으로 하는 이미지 처리 장치.
제44항에 있어서,
상기 이미지 처리 장치는, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 제1 인체가 존재하는 것에 응답하여, 상기 제1 인체의 이미지 품질에 따라, 상기 제1 인물 인식 요청 메시지에 상기 제1 인체의 이미지 정보가 포함되는지 여부를 결정하도록 구성된 제2 결정 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제44항 또는 제45항에 있어서,
상기 송신 모듈은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하는 것에 응답하여, 상기 제1 인체의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 상기 서버로 송신하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제46항에 있어서,
상기 품질 요구는 얼굴 해상도 요구, 얼굴 크기 요구, 얼굴 각도 요구, 얼굴 검출 신뢰도 요구 및 인체 검출 신뢰도, 얼굴 무결성 요구 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제44항 내지 제47항 중 어느 한 항에 있어서,
상기 송신 모듈은, 상기 제1 인체의 이미지 품질이 품질 요구를 만족하지 않는 것에 응답하여, 상기 서버에 상기 제1 얼굴의 이미지 정보를 포함하는 상기 제1 인물 인식 요청 메시지를 송신하도록 구성된 것 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 을 특징으로 하는 이미지 처리 장치.
제44항 내지 제48항 중 어느 한 항에 있어서,
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것, 및
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제44항 내지 제49항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는, 상기 제1 얼굴의 이미지 정보를 상기 제1 인체의 이미지 정보로 대체하여 인물 인식을 수행하는 것으로 결정하도록 구성된 제2 결정 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제50항 중 어느 한 항에 있어서,
상기 제1 인물 인식 요청 메시지는 상기 제1 얼굴의 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제50항 중 어느 한 항에 있어서,
상기 송신 모듈은, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하지 않는 것에 응답하여, 상기 제1 얼굴의 이미지 정보를 포함하는 제1 인물 인식 요청 메시지를 서버로 송신하도록 구성된 것 - 상기 제1 얼굴의 이미지 정보는 상기 서버가 인물 인식을 수행하기 위한 것임 - 을 특징으로 하는 이미지 처리 장치.
제43항 내지 제52항 중 어느 한 항에 있어서,
상기 제1 결정 모듈은,
상기 제1 이미지에 대응되는 적어도 하나의 얼굴 및 상기 적어도 하나의 인체에 따라, N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보를 결정하고 - 상기 후보 쌍은 상기 적어도 하나의 얼굴 중 하나의 얼굴 및 상기 적어도 하나의 인체 중 하나의 인체를 포함하고, 상기 적어도 하나의 얼굴은 상기 제1 얼굴을 포함함 - ;
상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴 및 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하며;
상기 타겟 매칭 결과에 기반하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체에 상기 제1 얼굴과 매칭되는 인체가 존재하는지 여부를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제53항에 있어서,
상기 제1 결정 모듈은,
제1 후보 쌍에 포함된 제2 인체 및 상기 제1 후보 쌍에 포함된 제2 얼굴에 기반하여, 타겟 대상의 추정 위치 정보 및 실제 위치 정보를 결정하고 - 상기 N 개의 후보 쌍은 상기 제1 후보 쌍을 포함하고, 상기 타겟 대상은 인체의 일부임 - ;
상기 타겟 대상의 추정 위치 정보 및 상기 타겟 대상의 실제 위치 정보에 기반하여, 상기 제1 후보 쌍의 매칭 확률 정보를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제54항에 있어서,
상기 타겟 대상은 귀 및 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제53항 내지 제55항 중 어느 한 항에 있어서,
상기 제1 결정 모듈은,
상기 N 개의 후보 쌍 중 각 후보 쌍의 매칭 확률 정보에 따라, 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보를 결정하고 - 상기 후보 매칭 결과는 상기 N 개의 후보 쌍 중 m 개의 후보 쌍을 포함하고, 상기 m 개의 후보 쌍 중 각 두 개의 후보 쌍에 포함된 얼굴 및 인체는 각각 상이하며, 1≤m≤N임 - ;
상기 적어도 하나의 후보 매칭 결과 중 각 후보 매칭 결과의 매칭 확률 정보에 기반하여, 상기 적어도 하나의 후보 매칭 결과로부터 상기 적어도 하나의 얼굴과 상기 적어도 하나의 인체의 타겟 매칭 결과를 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제56항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻도록 구성된 검출 인체 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제57항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는,
상기 제1 이미지가 속하는 비디오 시퀀스 중 적어도 일부의 이미지에 대해 인체 추적을 수행하여, 상기 비디오 시퀀스의 인체 추적 결과를 얻도록 구성된 인체 추적 모듈; 및
상기 제1 이미지의 프레임 번호에 기반하여, 상기 비디오 시퀀스의 인체 추적 결과로부터 상기 제1 이미지의 인체 추적 정보를 검색하도록 구성된 추적 정보 검색 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제58항에 있어서,
상기 이미지 처리 장치는, 상기 비디오 시퀀스의 인체 추적 결과에서 상기 제1 이미지의 인체 추적 정보를 찾지 못한 것에 응답하여, 상기 제1 이미지에 대해 인체 검출을 수행하여, 상기 제1 이미지에 대응되는 적어도 하나의 인체를 얻도록 구성된 인체 검출 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제59항 중 어느 한 항에 있어서,
상기 획득 모듈은, 제1 이미지에 대해 얼굴 추적을 수행하여, 상기 제1 이미지에서의 제1 얼굴을 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제43항 내지 제60항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는, 상기 제1 이미지에 대해 인체 추적을 수행하여, 상기 제1 이미지에서의 제3 인체를 얻도록 구성된 추적 모듈을 더 포함하고; 상기 송신 모듈은 또한, 제2 인물 인식 요청 메시지를 서버로 송신하도록 구성된 것 - 상기 제2 인물 인식 요청 메시지는 상기 제3 인체의 이미지 정보 및 상기 제3 인체의 추적 식별자 정보를 포함함 - 을 특징으로 하는 이미지 처리 장치.
제43항 내지 제61항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는, 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하도록 구성된 선택 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제62항에 있어서,
상기 선택 모듈은, 이미지에 포함된 얼굴의 품질에 기반하여, 상기 비디오 시퀀스에 포함된 기설정된 개수의 연속 이미지로부터 상기 제1 이미지를 선택하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
이미지 처리 장치로서,
제1 단말 기기에 의해 송신된 인물 인식 요청 메시지를 수신하도록 구성된 수신 모듈 - 상기 인물 인식 요청 메시지는 제1 인체의 이미지 정보를 포함함 - ; 및
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 결정 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제64항에 있어서,
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지를 포함하는 것; 및
상기 제1 인체의 이미지 정보가 상기 제1 인체의 이미지의 특징 정보를 포함하는 것 중 적어도 하나이고, 상기 제1 인체의 이미지의 특징 정보는 인체 특징 정보 및 얼굴 특징 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제65항 또는 제64항에 있어서,
상기 결정 모듈은,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체에 포함된 제1 얼굴의 이미지 정보를 얻도록 구성된 제1 결정 유닛; 및
상기 제1 얼굴의 이미지 정보 및 얼굴 템플릿 데이터베이스에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 제2 결정 유닛 - 상기 얼굴 템플릿 데이터베이스에는 적어도 하나의 얼굴 템플릿이 저장되어 있음 - 을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제66항에 있어서,
상기 제1 결정 유닛은, 상기 제1 인체의 이미지로부터 제1 얼굴의 이미지를 획득하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제66항 또는 제67항에 있어서,
제2 결정 유닛은,
상기 제1 얼굴의 이미지에 대해 특징 추출 처리를 수행하여, 상기 제1 얼굴의 특징 정보를 얻고;
상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는지 여부를 결정하며;
상기 결정된 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제68항에 있어서,
상기 제2 결정 유닛은, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 얼굴 템플릿에 대응되는 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제68항 또는 제69항에 있어서,
상기 제2 결정 유닛은, 상기 얼굴 템플릿 데이터베이스에 상기 제1 얼굴의 특징 정보와 매칭되는 얼굴 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제70항에 있어서,
상기 이미지 처리 장치는, 새로운 얼굴 템플릿으로서 상기 새로 추가된 인물 식별자 정보 및 상기 제1 얼굴의 정보를 상기 얼굴 템플릿 데이터베이스에 추가하도록 구성된 제1 추가 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제64항 내지 제71항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는 상기 제1 인체에서의 제1 얼굴의 검출 프레임 식별자 정보 또는 추적 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제64항 내지 제72항 중 어느 한 항에 있어서,
상기 결정 모듈은,
상기 제1 인체의 이미지 정보에 기반하여, 상기 제1 인체의 인체 식별자 정보를 결정하도록 구성된 제3 결정 유닛; 및
상기 제1 인체의 인체 식별자 정보에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 결정하도록 구성된 제4 결정 유닛을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제73항에 있어서,
상기 제3 결정 유닛은,
상기 제1 인체의 이미지에 대해 특징 추출을 수행하여, 상기 제1 인체의 특징 정보를 얻고;
인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는지 여부를 결정하며 - 상기 인체 템플릿 데이터베이스는 적어도 하나의 인체 템플릿을 저장함 - ;
상기 결정된 결과에 기반하여, 상기 제1 인체의 인체 식별자 정보를 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제74항에 있어서,
상기 제3 결정 유닛은, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하는 것에 응답하여, 상기 매칭되는 인체 템플릿에 대응되는 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제74항에 있어서,
상기 제3 결정 유닛은, 상기 인체 템플릿 데이터베이스에 상기 제1 인체의 특징 정보와 매칭되는 인체 템플릿이 존재하지 않는 것에 응답하여, 새로 추가된 인체 식별자 정보를 상기 제1 인체의 인체 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제76항에 있어서,
상기 이미지 처리 장치는, 새로운 인체 템플릿으로서 상기 새로 추가된 인체 식별자 정보 및 상기 제1 인체의 정보를 상기 인체 템플릿 데이터베이스에 추가하도록 구성된 제2 추가 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제77항에 있어서,
상기 이미지 처리 장치는, 상기 제1 인체의 인체 식별자 정보 및 상기 제1 인체가 속하는 인물의 인물 식별자 정보와 상기 제1 인체가 속하는 인물의 인체 식별자 정보 사이의 연관 관계를 연관 데이터베이스에 추가하도록 구성된 제3 추가 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제73항 내지 제78항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는 상기 제1 인체의 추적 식별자 정보 또는 검출 프레임 식별자 정보를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제73항 내지 제79항 중 어느 한 항에 있어서,
상기 제4 결정 유닛은,
연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는지 여부를 결정하고 - 상기 연관 데이터베이스는 인체 식별자 정보와 인물 식별자 정보 사이의 적어도 하나의 연관 관계를 저장하기 위한 것임 - ;
상기 결정 결과에 기반하여, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 얻도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제80항에 있어서,
상기 제4 결정 유닛은, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하는 것에 응답하여, 상기 매칭되는 연관 관계에서의 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제80항에 있어서,
상기 제4 결정 유닛은, 상기 연관 데이터베이스에 상기 제1 인체의 인체 식별자와 매칭되는 연관 관계가 존재하지 않는 것에 응답하여, 새로 추가된 인물 식별자 정보를 상기 제1 인체가 속하는 인물의 인물 식별자 정보로 결정하도록 구성된 것을 특징으로 하는 이미지 처리 장치.
제73항 내지 제82항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는, 상기 제1 인체가 속하는 인물의 인물 식별자 정보를 제2 단말 기기에 송신하도록 구성된 송신 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제73항 내지 제83항 중 어느 한 항에 있어서,
상기 인물 인식 요청 메시지는 상기 제1 단말 기기에 기반하여 비디오 시퀀스에서의 적어도 하나의 이미지에 대해 얼굴 추적을 수행하여 얻은 것임을 특징으로 하는 이미지 처리 장치.
단말 기기로서,
프로그램 명령어를 저장하도록 구성된 메모리; 및 상기 메모리에서의 프로그램 명령어를 호출하고 실행하며, 제1항 내지 제21항 중 어느 한 항에 따른 이미지 처리 방법 단계를 실행하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 단말 기기.
서버로서,
프로그램 명령어를 저장하도록 구성된 메모리; 및 상기 메모리에서의 프로그램 명령어를 호출하고 실행하며, 제22항 내지 제42항 중 어느 한 항에 따른 이미지 처리 방법의 단계를 실행하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 서버.
이미지 처리 시스템으로서,
제85항에 따른 단말 기기 및 제86항에 따른 서버를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
컴퓨터 프로그램이 저장되어 있는 판독 가능한 저장 매체로서,
상기 컴퓨터 프로그램은 제1항 내지 제21항 또는 제22항 내지 제42항 중 어느 한 항에 따른 이미지 처리 방법을 실행하도록 구성된 것을 특징으로 하는 판독 가능한 저장 매체.