KR20220025052A

KR20220025052A - 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체

Info

Publication number: KR20220025052A
Application number: KR1020227003244A
Authority: KR
Inventors: 추이비 황; 타오 모; 추안 양; 첸총 친; 유헝 첸
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-08-15
Filing date: 2020-05-09
Publication date: 2022-03-03
Also published as: TW202109514A; CN110502651B; CN110502651A; TWI761851B; WO2021027344A1; JP2022542127A

Abstract

본 발명은 이미지 처리 방법, 장치, 전자 기기 및 기억 매체에 관한 것으로, 상기 방법은 복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하는 것(S10)과, 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것(S20)과, 얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하는 것(S30)을 포함하고, 본 발명의 실시예에 의하면, 오브젝트의 시공간 궤적을 신속하고 효과적으로 취득할 수 있다.

Description

이미지 처리 방법 및 장치, 전자 기기 및 기억 매체

본원은 2019년 8월 15일에 중국 국가지식산권국에 제출된, 출원번호가 201910755628.5이고, 발명의 명칭이 「이미지 처리 방법 및 장치, 전자 기기 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 그 모든 내용은 원용함으로써 본원에 포함된다.

본 발명은 컴퓨터 비전 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체에 관한 것이다.

안전한 도시 건설에 따른 도시 레벨의 감시 시스템은 매일 대량의 사람의 얼굴 사진을 촬영하고 있다. 이들 얼굴 데이터는 규모가 크고, 시간이나 지역 분포가 넓은 등의 특징을 갖는다.

본 발명은 이미지 처리의 발명을 제공한다.

본 발명의 일 측면에 의하면, 복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하는 것과, 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것과, 얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여, 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하는 것을 포함하는 이미지 처리 방법이 제공된다.

일부 가능한 실시형태에서는 상기 방법은 입력 이미지의 이미지 특징을 취득하는 것과, 상기 입력 이미지의 이미지 특징에 대해 양자화 처리를 실행하여 상기 입력 이미지의 양자화 특징을 얻는 것과, 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것은 상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득하는 것과, 상기 입력 이미지의 양자화 특징의 제3 유사도가 높은 것부터 순서대로 K3(K3은 1 이상의 정수)개의 클러스터 중심을 결정하는 것과, 상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득하는 것과, 상기 K3개의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 당해 제4 유사도가 제3 임계값보다 큼에 따라, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것은 추가로, 상기 입력 이미지의 이미지 특징과의 제4 유사도가 제3 임계값보다 큰 클러스터 중심이 존재하지 않음에 따라, 상기 입력 이미지의 양자화 특징 및 상기 이미지 데이터 세트 내의 이미지의 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 하나 이상의 새로운 클러스터를 얻는 것을 포함한다.

일부 가능한 실시형태에서는 상기 제1 인덱스는 상기 이미지의 수집 시간, 수집 장소, 상기 이미지를 수집하는 이미지 수집 장치의 식별자 및 상기 이미지 수집 장치의 장착 위치 중 하나 이상을 포함한다.

일부 가능한 실시형태에서는 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것은 상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것과, 상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것과, 상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것을 포함한다.

일부 가능한 실시형태에서는 상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것은 상기 이미지 데이터 세트 내의 복수의 상기 이미지를 그룹화하여 복수의 이미지 그룹을 얻는 것과, 상기 복수의 이미지 그룹 각각을, 각 특징 추출 모델에 입력되는 이미지 그룹이 상이하도록 복수의 특징 추출 모델에 입력하고, 상기 복수의 특징 추출 모델을 사용하여 상기 특징 추출 모델에 대응하는 이미지 그룹 내의 이미지의 특징 추출 처리를 병렬 분산적으로 실행하여 상기 복수의 이미지의 이미지 특징을 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것은 상기 복수의 이미지의 이미지 특징을 그룹화 처리하여, 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는 것과, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 전에, 상기 복수의 제1 그룹 각각에 제2 인덱스를 배치하여 복수의 제2 인덱스를 얻는 것을 추가로 포함하고, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것은 상기 복수의 제2 인덱스 각각을 각 양자화기에 할당되는 상기 제2 인덱스가 상이하도록 복수의 양자화기에 할당하는 것과, 상기 복수의 양자화기의 각각을 사용하여, 할당된 상기 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 병렬적으로 실행하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 양자화 처리는 직접 양자화·부호화 처리를 포함한다.

일부 가능한 실시형태에서는 상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것은 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것과, 상기 제1 유사도에 기초하여 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징인 것과, 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것은 상기 K1 근방 이미지로부터, 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과, 상기 제1 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것은 상기 어느 하나의 이미지의 이미지 특징과 상기 어느 하나의 이미지의 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득하는 것과, 상기 제2 유사도에 기초하여, 상기 어느 하나의 이미지의 K2(K2는 1 이상, K1 이하의 정수) 근방 이미지를 결정하고, 상기 K2 근방 이미지의 이미지 특징은 상기 K1 근방 이미지 중 상기 어느 하나의 이미지의 이미지 특징과의 제2 유사도가 높은 순서의 K2 개의 이미지 특징인 것과, 상기 K2 근방 이미지로부터, 상기 어느 하나의 이미지의 이미지 특징과의 상기 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택하는 것과, 상기 제2 이미지 세트 내의 모든 이미지와 상기 이미지 중 하나를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하기 전에, 상기 이미지 데이터 세트 내의 상기 복수의 이미지의 양자화 특징을 그룹화 처리하여 하나 이상의 이미지의 양자화 특징을 포함하는 복수의 제2 그룹을 얻는 것을 추가로 포함하고, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것은 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하기 전에 상기 복수의 제2 그룹 각각에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻는 것을 추가로 포함하고, 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것은 상기 제3 인덱스에 기초하여 상기 제3 인덱스에 대응하는 유사도 연산 태스크를 구축하고, 상기 유사도 연산 태스크는 상기 제3 인덱스에 대응하는 제2 그룹 내의 목표 이미지의 양자화 특징과 상기 목표 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것인 것과, 상기 복수의 제3 인덱스 각각에 대응하는 유사도 취득 태스크를 병렬 분산적으로 실행하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것과, 상기 클러스터 중심에 제4 인덱스를 배치하여 상기 제4 인덱스와 대응하는 클러스터 중심을 관련시켜 기억하는 것을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것은 상기 하나 이상의 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 상기 클러스터의 클러스터 중심을 결정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하는 것은 상기 클러스터 내의 각 이미지에 관련된 제1 인덱스에 기초하여, 상기 클러스터에 대응하는 오브젝트가 출현하는 시간 정보와 위치 정보를 결정하는 것과, 상기 시간 정보와 위치 정보에 기초하여 상기 오브젝트의 시공간 궤적 정보를 결정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 방법은 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것은 상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득하는 것과, 상기 이미 알려진 오브젝트의 양자화 특징과 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정하는 것과, 상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득하는 것과, 상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 당해 제6 유사도가 제4 임계값보다 큼에 따라, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것은 추가로, 상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다 작음에 따라, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정하는 것을 포함한다.

본 발명의 제2 측면에 의하면, 복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하기 위한 취득 모듈과, 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻기 위한 클러스터링 모듈과, 얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여, 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하기 위한 결정 모듈을 포함하는 이미지 처리 장치가 제공된다.

일부 가능한 실시형태에서는 상기 장치는 입력 이미지의 이미지 특징을 취득하는 것과, 상기 입력 이미지의 이미지 특징에 대해 양자화 처리를 실행하여 상기 입력 이미지의 양자화 특징을 얻는 것과, 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것에 사용되는 인크리멘털 클러스터링 모듈을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 인크리멘털 클러스터링 모듈은 추가로, 상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도을 취득하는 것과, 상기 입력 이미지의 양자화 특징과의 제3 유사도가 높은 것부터 순서대로 K3개의 클러스터 중심을 결정하는 것과, 상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득하는 것과, 상기 K3개(K3은 1 이상의 정수)의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 당해 제4 유사도가 제3 임계값보다 큰 경우, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 인크리멘털 클러스터링 모듈은 추가로, 상기 입력 이미지의 이미지 특징과의 제4 유사도가 제3 임계값보다 큰 클러스터 중심이 존재하지 않는 경우, 상기 입력 이미지의 양자화 특징 및 상기 이미지 데이터 세트 내의 이미지의 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 하나 이상의 새로운 클러스터를 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 모듈은 상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하기 위한 제1 분산 처리 유닛과, 상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 위한 제2 분산 처리 유닛과, 상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻기 위한 클러스터링 유닛을 포함한다.

일부 가능한 실시형태에서는 상기 제1 분산 처리 유닛은 추가로, 상기 이미지 데이터 세트 내의 복수의 상기 이미지를 그룹화하여 복수의 이미지 그룹을 얻는 것과, 상기 복수의 이미지 그룹 각각을 각 특징 추출 모델에 입력되는 이미지 그룹이 상이하도록 복수의 특징 추출 모델에 입력하고, 상기 복수의 특징 추출 모델을 사용하여 상기 특징 추출 모델에 대응하는 이미지 그룹 내의 이미지의 특징 추출 처리를 병렬 분산적으로 실행하여 상기 복수의 이미지의 이미지 특징을 취득하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 분산 처리 유닛은 추가로, 상기 복수의 이미지의 이미지 특징을 그룹화 처리하여, 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는 것과, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 분산 처리 유닛은 추가로, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 전에, 상기 복수의 제1 그룹 각각에 제2 인덱스를 배치하여 복수의 제2 인덱스를 얻는 것과, 상기 복수의 제2 인덱스 각각을, 각 양자화기에 할당되는 상기 제2 인덱스가 상이하도록 복수의 양자화기에 할당하는 것과, 상기 복수의 양자화기의 각각을 사용하여 할당된 상기 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 병렬적으로 실행하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것과, 상기 제1 유사도에 기초하여, 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징인 것과, 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 K1 근방 이미지로부터 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과, 상기 제1 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 어느 하나의 이미지의 이미지 특징과 상기 어느 하나의 이미지의 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득하는 것과, 상기 제2 유사도에 기초하여, 상기 어느 하나의 이미지의 K2(K2는 1 이상, K1 이하의 정수) 근방 이미지를 결정하고, 상기 K2 근방 이미지의 이미지 특징은 상기 K1 근방 이미지 중 상기 어느 하나의 이미지의 이미지 특징과의 제2 유사도가 높은 순서의 K2개의 이미지 특징인 것과, 상기 K2 근방 이미지로부터, 상기 어느 하나의 이미지의 이미지 특징과의 상기 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택하는 것과, 상기 제2 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하기 전에 상기 이미지 데이터 세트 내의 상기 복수의 이미지의 양자화 특징을 그룹화 처리하여, 하나 이상의 이미지의 양자화 특징을 포함하는 복수의 제2 그룹을 얻는 것에 사용되고, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것은 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하기 전에, 상기 복수의 제2 그룹 각각에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻는 것에 사용되고, 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것은 상기 제3 인덱스에 기초하여, 상기 제3 인덱스에 대응하는 유사도 연산 태스크를 구축하고, 상기 유사도 연산 태스크는 상기 제3 인덱스에 대응하는 제2 그룹 내의 목표 이미지의 양자화 특징과 상기 목표 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것인 것과, 상기 복수의 제3 인덱스 각각에 대응하는 유사도 취득 태스크를 병렬 분산적으로 실행하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 클러스터 중심 결정 모듈은 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것과, 상기 클러스터 중심에 제4 인덱스를 배치하여 상기 제4 인덱스와 대응하는 클러스터 중심을 관련시켜 기억하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터 중심 결정 모듈은 추가로, 상기 하나 이상의 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 상기 클러스터의 클러스터 중심을 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 결정 모듈은 추가로, 상기 클러스터 내의 각 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트가 출현하는 시간 정보와 위치 정보를 결정하는 것과, 상기 시간 정보와 위치 정보에 기초하여 상기 오브젝트의 시공간 궤적 정보를 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 장치는 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하기 위한 신분 결정 모듈을 추가로 포함한다.

일부 가능한 실시형태에서는 상기 신분 결정 모듈은 추가로, 상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득하는 것과, 상기 이미 알려진 오브젝트의 양자화 특징 및 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정하는 것과, 상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득하는 것과, 상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 당해 제6 유사도가 제4 임계값보다 큰 경우, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 신분 결정 모듈은 추가로, 상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다도 작은 경우, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정하는 것에 사용된다.

본 발명의 제3 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러냄으로써, 제1 측면 중 어느 한 항에 기재된 방법을 실행하도록 구성되는 전자 기기가 제공된다.

본 발명의 제4 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제1 측면 중 어느 한 항에 기재된 방법을 실현하는 컴퓨터 판독 가능 기억 매체가 제공된다.

본 발명의 제5 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 가동하면, 상기 전자 기기의 프로세서는 제1 측면 중 어느 한 항에 기재된 방법을 실현하기 위한 명령을 실행하는 컴퓨터 프로그램이 제공된다.

본 발명의 실시예에서는 각 이미지에 대응하는 인덱스 정보가 배치되고, 이미지 내의 오브젝트의 시공간 데이터를 결정할 수 있다. 이 배치에 기초하여, 상이한 오브젝트의 시공간 궤적의 해석을 실현할 수 있다. 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링을 행한 후, 각 오브젝트에 대응하는 이미지 세트(하나의 클러스터는 하나의 오브젝트의 이미지 세트에 상당함)를 얻을 수 있고, 당해 클러스터 내의 각 이미지에 관련된 인덱스 정보(제1 인덱스)에 의해 당해 클러스터 내에 대응하는 오브젝트의 시공간 궤적 정보를 얻을 수 있기 때문에, 상이한 오브젝트의 궤적 해석이 실현된다. 또한, 본 발명의 실시예에서는 분산 클러스터링 방법을 사용함으로써 클러스터링 효율을 향상시킬 수 있기 때문에, 오브젝트의 시공간 궤적을 신속하고, 효과적으로 취득할 수 있다.

또한, 상술한 개략적인 설명 및 다음의 상세한 설명은 예시적이고 해석적인 것에 불과하고, 본 발명을 한정하는 것은 아니다.

이하, 도면을 참조하면서 예시적인 실시예를 상세하게 설명함으로써, 본 발명의 다른 특징 및 측면은 명료해진다.

여기서, 본 명세서의 일부로서 포함되는 도면은 본 발명의 실시예에 바람직하고, 명세서와 함께 본 발명의 기술적 해결 수단의 설명에 사용된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S20)의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S21)의 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S22)의 흐름도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S23)의 흐름도를 나타낸다.
도 6은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S233)의 흐름도를 나타낸다.
도 7은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S233)의 다른 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 이미지 처리 방법에서의 클러스터 인크리멘털 처리를 실행하는 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S43)의 흐름도를 나타낸다.
도 10은 본 발명의 실시예에 따른 이미지 처리 방법에서의 클러스터가 매칭되는 오브젝트의 신분을 결정하는 흐름도를 나타낸다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 12는 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 13은 본 발명의 실시예에 따른 다른 전자 기기의 블록도를 나타낸다.

이하에 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서의 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈지만, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요가 없다.

여기서의 용어 「예시적」이란 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기서, 「예시적」으로 설명되는 어떤 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.

본 명세서에서의 용어 「및/또는」은 단순히 관련 대상과의 관련 관계를 기술하는 것이고, 3개의 관계가 존재 가능함을 나타내고, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B　양방이 존재하거나, B만이 존재한다는 3개의 경우를 나타내도 된다. 또한, 본 명세서에서의 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면, A, B, C 중 하나 이상을 포함하는 것은 A, B 및 C로 이루어지는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타내도 된다.

또한, 본 발명을 보다 효과적으로 설명하기 위해 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 어떤 구체적인 상세가 없어도 동일하게 실시할 수 있음을 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 행하지 않는다.

본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리를 위반하지 않는 한, 서로 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 분량에 한계가 있으므로, 본 발명에서는 상세한 설명을 생략한다.

또한, 본 발명에서는 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 제공한다. 이들은 전부 본 발명에 따른 이미지 처리 방법 중 어느 하나를 실현하기 위해 이용할 수 있다. 대응하는 기술적 해결 수단과 설명은 방법의 대응하는 기재를 참조하면 되고, 상세한 설명은 생략한다.

본 발명의 실시예에 따른 이미지 처리 방법은 임의의 이미지 처리 장치에 적용할 수 있다. 예를 들면, 이미지 처리 방법은 사용자측 장치(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대 기기, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 서버 또는 다른 처리 장치에 의해 실행되어도 된다. 본 발명은 이것에 대해 일일히 예를 들어 설명하지 않는다. 또한, 일부 가능한 실시형태에서는 이 이미지 처리 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러냄으로써 실현되어도 된다.

이하, 본 발명의 실시예를 상세히 설명한다. 도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 도 1에 나타내는 바와 같이, 상기 이미지 처리 방법은 이하의 단계를 포함할 수 있다.

(S10): 복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득한다.

일부 가능한 실시형태에서는 이미지 데이터 세트는 이미지 수집 장치에 의해 수집하여 취득 가능한 복수의 이미지를 포함할 수 있다. 또한, 각 이미지는 동일한 이미지 수집 장치에 의해 수집되어도 되고, 상이한 이미지 수집 장치에 의해 수집되어도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다. 예를 들면, 거리, 백화점, 보안 분야, 집, 단지나 그 밖의 에어리어에 이미지 수집 장치를 배치하고, 배치된 이미지 수집 장치에 의해 대응하는 장소 내의 이미지를 수집할 수 있다. 본 발명의 실시예에 따른 이미지는 하나 이상의 이미지 수집 장치에 의해 수집된 이미지여도 된다. 이미지 수집 장치는 휴대 전화, 카메라나 이미지를 수집할 수 있는 그 밖의 장치여도 된다. 본 발명은 이에 대해 일일히 예를 들어 설명하지 않는다.

일부 가능한 실시형태에서는 본 발명의 실시예에 따른 이미지 데이터 세트 내의 이미지는 동일한 유형의 오브젝트, 예를 들면, 인물 오브젝트를 포함할 수 있다. 본 발명의 실시예에 따른 이미지 처리 방법에 의하면, 동일한 인물 오브젝트의 시공간 궤적 정보를 취득할 수 있다. 또한, 다른 실시예에서는 이미지 데이터 세트 내의 이미지는 동물 등의 다른 종류의 오브젝트를 포함할 수도 있기 때문에, 동일한 동물의 시공간 궤적을 결정할 수 있다. 본 발명에서는 이미지 내의 오브젝트의 종류에 대해 구체적으로 한정되지 않는다.

일부 가능한 실시형태에서는 이미지 데이터 세트를 취득하는 방법으로는 이미지 수집 장치에 직접 접속하여 수집된 이미지를 수신하는 것을 포함해도 되고, 서버 또는 다른 전자 기기에 접속함으로써, 서버 또는 다른 전자 기기에서 송신된 이미지를 수신하는 것을 포함해도 된다. 또한, 본 발명의 실시예에 따른 이미지 데이터 세트 내의 이미지는 전처리된 이미지여도 된다. 예를 들면, 이 전처리는 수집된 이미지에서 사람의 얼굴을 포함하는 이미지(얼굴 이미지)를 잘라내거나, 수집된 이미지에서 신호 대 잡음비가 낮은 이미지, 희미한 이미지 또는 인물 오브젝트를 포함하지 않는 이미지를 삭제할 수 있다. 이상은 예시적인 설명에 지나지 않고, 본 발명에서는 이미지 데이터 세트를 취득하는 구체적인 방법에 대해 한정되지 않는다.

일부 가능한 실시형태에서는 이미지 데이터 세트는 추가로, 각 이미지에 관련되고, 이미지에 대응하는 시간 데이터 및 공간 위치 데이터 중 하나 이상을 포함하는 시공간 데이터를 결정하기 위한 제1 인덱스를 포함한다. 예를 들면, 제1 인덱스는 이미지의 수집 시간, 수집 장소, 이미지를 수집하는 이미지 수집 장치의 식별자 및 이미지 수집 장치의 장착 위치 중 하나 이상을 포함할 수 있다. 따라서, 이미지에 관련된 제1 인덱스에 의해, 이미지 내의 오브젝트의 출현 시간, 장소 등의 시공간 데이터 정보를 결정할 수 있다.

일부 가능한 실시형태에서는 이미지 수집 장치는 이미지를 수집하여 수집된 이미지를 송신할 때, 추가로 당해 이미지의 제1 인덱스를 추가로 송신하고, 예를 들면, 이미지의 수집 시간, 이미지의 수집 장소, 이미지를 수집하는 이미지 수집 장치(예를 들면, 카메라)의 식별자 등의 정보를 송신할 수 있다. 이미지 및 제1 인덱스를 수신한 후, 당해 이미지와 대응하는 제1 인덱스를 관련시켜 기억시키고, 예를 들면, 데이터 베이스에 기억할 수 있다. 이 데이터 베이스는 로컬 데이터 베이스여도 되고, 클라우드 데이터 베이스여도 된다.

(S20): 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는다.

일부 가능한 실시형태에서는 이미지 데이터 세트를 취득한 후, 당해 이미지 데이터 세트 내의 복수의 이미지에 대해 분산 클러스터링 처리를 실행할 수 있다. 이미지 데이터 세트 내의 이미지는 동일한 오브젝트의 이미지여도 되고, 상이한 오브젝트의 이미지여도 된다. 본 발명의 실시예에서는 이미지에 대해 분산 클러스터링 처리를 행하여, 복수의 클러스터를 얻을 수 있다. 얻어진 각 클러스터 내의 이미지는 동일한 오브젝트의 이미지를 포함한다. 분산 클러스터링 처리에 의해 클러스터링 처리를 동시에 병렬적으로 실행할 수 있기 때문에, 클러스터링 정밀도가 확보된 후에 클러스터링 효율이 더욱 향상된다.

일부 가능한 실시형태에서는 이미지 데이터 세트 내의 이미지에 대응하는 특징 정보간의 유사도에 기초하여, 2개의 이미지가 동일한 오브젝트를 포함하는지 여부를 결정할 수 있다. 예를 들면, 이미지 내의 인물 오브젝트의 얼굴 특징을 추출하여 임의의 2개의 이미지의 얼굴 특징간의 유사도를 결정하고, 유사도가 임계값보다 큰 2개의 이미지를 동일한 오브젝트를 포함하는 이미지로서 결정할 수 있다. 이에 의해, 이 2개의 이미지가 클러스터링되어 클러스터링 결과가 얻어진다. 또한, 다른 실시예에서는 각 이미지의 얼굴 특징의 K 근방의 얼굴 특징(유사도가 가장 높은 K개의 얼굴 특징, K는 1 이상의 정수)을 결정하고, 당해 K 근방의 얼굴 특징으로부터 유사도가 임계값보다 큰 얼굴 특징을 결정할 수 있다. 또한, 다른 방법에 의해 클러스터링 처리를 실행할 수도 있다.

(S30): 얻어진 클러스터 내의 각 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정한다.

일부 가능한 실시형태에서는 얻어진 각 클러스터에 포함되는 이미지는 동일한 오브젝트의 이미지이기 때문에, 이 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 이 클러스터에 대응하는 오브젝트의 출현 시간, 위치 등의 정보를 결정할 수 있다. 각 오브젝트의 시간 정보와 위치 정보에 의해, 이 오브젝트에 관한 시공간 궤적 정보를 형성할 수 있다. 예를 들면, 시간과 위치 좌표계를 확립하고, 하나의 클러스터 내의 각 이미지의 제1 인덱스에 기초하여, 이 좌표계에 오브젝트의 출현 시간, 장소 등의 정보를 나타낼 수 있기 때문에, 이 오브젝트의 시공간 궤적을 직감적으로 나타낼 수 있다.

상기 배치에 의하면, 본 발명의 실시예에서는 분산 클러스터링의 클러스터링 결과에 기초하여 각 클러스터 내의 각 이미지에 관련된 제1 인덱스에 의해 당해 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 얻을 수 있다. 본 발명의 실시예에서는 데이터 내의 잠재적인 궤적 정보를 효과적으로 파악하고, 데이터의 가치 및 이들 데이터의 배후에 의존하는 리소스 투입을 충분히 이용할 수 있다. 그리고, 본 발명의 실시예에서는 분산 클러스터링과 같은 클러스터링 방법에 의해, 클러스터링 처리 속도를 향상시킬 수 있다.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 이미지 데이터 세트를 얻은 후, 이미지 데이터 세트 내의 이미지에 대해 클러스터링 처리를 실행할 수 있다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S20)의 흐름도를 나타낸다. 상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것(단계(S20))은

(S21): 상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것과,

(S22): 상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것과,

(S23): 상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것을 포함할 수 있다.

일부 가능한 실시형태에서는 이미지는 얼굴 이미지여도 되고, 대응하는 이미지 특징은 대응하는 얼굴 특징이다. 단계(S21)에서, 이미지의 이미지 특징을 취득할 때, 특징 추출 알고리즘에 의해 이미지의 이미지 특징을 추출해도 되고, 트레이닝에 의해 특징 추출을 실행할 수 있는 뉴럴 네트워크를 통해 당해 이미지 특징의 추출을 실행해도 된다. 특징 추출 알고리즘은 주성분 분석(Princial Componts Analysis, 이하, PCA라고 함), 선형 판별 분석(Linear Discriminant Analysis, 이하, LDA라고 함), 독립 성분 분석(Independent Component Analysis, 이하 ICA라고 함) 등의 알고리즘 중 하나 이상을 포함해도 되고, 얼굴 영역을 인식할 수 있음과 함께, 얼굴 영역의 특징을 얻을 수 있는 다른 알고리즘을 사용해도 된다. 뉴럴 네트워크는 VGG 네트워크(Visual Geometry Group Network) 등의 합성곱 뉴럴 네트워크여도 된다. 합성곱 뉴럴 네트워크를 통해 이미지에 대해 합성곱 처리를 행하여 이미지의 얼굴 영역의 특징인 얼굴 특징을 얻는다. 본 발명의 실시예에서는 특징 추출 알고리즘 및 특징을 추출하는 뉴럴 네트워크에 대해 구체적으로 한정되지 않고, 얼굴 특징(이미지 특징)의 추출을 실현할 수 있으면, 본 발명의 실시예로 할 수 있다.

또한, 일부 가능한 실시형태에서는 이미지 특징의 추출 속도를 향상시키기 위해, 각 이미지의 이미지 특징을 병렬 분산적으로 추출할 수 있다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S21)의 흐름도를 나타낸다. 상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것(단계(S21))은 이하의 단계를 포함할 수 있다.

(S211): 상기 이미지 데이터 세트 내의 복수의 상기 이미지를 그룹화하여 복수의 이미지 그룹을 얻는다.

일부 가능한 실시형태에서는 이미지 데이터 세트 내의 복수의 이미지를 그룹화하고, 하나 이상의 이미지를 포함할 수 있는 복수의 이미지 그룹을 얻을 수 있다. 이미지를 그룹화하는 방법은 평균 그룹화 또는 랜덤 그룹화를 포함할 수 있다. 얻어진 이미지 그룹의 수는 미리 설정된 수여도 되고, 이 수는 이하의 특징 추출 모델의 수 이하여도 된다.

(S212): 상기 복수의 이미지 그룹 각각을 각 특징 추출 모델에 입력하고, 이미지 그룹이 상이하도록 복수의 특징 추출 모델에 입력하고, 상기 복수의 특징 추출 모델을 사용하여 상기 특징 추출 모델에 대응하는 이미지 그룹 내의 이미지의 특징 추출 처리를 병렬 분산적으로 실행하여 상기 복수의 이미지의 이미지 특징을 취득한다.

일부 가능한 실시형태에서는 얻어진 복수의 이미지 그룹에 기초하여 특징 추출의 분산 병렬 처리 프로세스를 실행할 수 있다. 얻어진 복수의 이미지 그룹 각각을 특징 추출 모델의 각각에 할당하고, 특징 추출 모델을 사용하여 할당된 이미지 그룹 내의 이미지의 특징 추출 처리를 실행하여, 대응하는 이미지의 이미지 특징을 얻을 수 있다.

일부 가능한 실시형태에서는 특징 추출 모델은 상기 특징 추출 알고리즘을 사용하여 특징 추출 처리를 실행해도 되고, 특징 추출 모델은 상기 특징 추출 뉴럴 네트워크로서 구성되어 이미지 특징을 얻어도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다.

일부 가능한 실시형태에서는 복수의 특징 추출 모델을 사용하여 각 이미지 그룹의 특징 추출을 병렬 분산적으로 실행할 수 있다. 예를 들면, 각 특징 추출 모델은 하나 이상의 이미지 그룹의 이미지 특징 추출을 동시에 실행할 수 있기 때문에, 특징 추출 속도를 향상시킬 수 있다.

일부 가능한 실시형태에서는 이미지의 이미지 특징을 얻은 후, 이미지의 제1 인덱스와 이미지 특징을 관련시켜 기억시키고, 제1 인덱스와 이미지 특징의 매핑 관계를 확립하고, 당해 매핑 관계를 데이터 베이스에 기억할 수 있다. 예를 들면, 감시된 실시간 이미지 스트림은 프론트 엔드의 분산 특징 추출 모듈(특징 추출 모델)에 입력할 수 있다. 이 분산 특징 추출 모듈에 의해 이미지 특징을 추출한 후, 이 이미지 특징을 영속적 특징의 형태로 시공간 정보에 기초하는 특징 데이터 베이스에 기억시킨다. 즉, 제1 인덱스와 이미지 특징을 영속적 특징의 형태로 특징 데이터 베이스에 기억시킨다. 데이터 베이스에서는 이 영속적 특징은 인덱스 구조로 기억되고, 영속적 특징의 데이터 베이스에서의 제1 인덱스 key는 Region id, Camera idx, Captured time 및 Sequence id를 포함할 수 있다. Region id는 카메라 영역의 식별자이고, Camera idx는 영역 내의 카메라 id이고, Captured time은 이미지의 수집 시간이고, Sequence id는 중복 제거에 사용할 수 있는 자기 증가 시퀀스 식별자(예를 들면, 순차 배열된 숫자 등의 식별자)이고, 제1 인덱스는 각 이미지 특징의 유일한 식별자를 구성하고, 이미지 특징의 시공간 정보를 포함시킬 수 있다. 제1 인덱스와 대응하는 이미지 특징을 관련시켜 기억시킴으로써, 각 이미지의 이미지 특징(영속적 특징)을 용이하게 취득할 수 있음과 함께, 이미지 내의 오브젝트의 시공간 데이터 정보(시간과 위치)를 얻을 수 있다.

일부 가능한 실시형태에서는 이미지의 이미지 특징을 얻은 후에, 이미지에 대해 양자화 처리를 실행하여 각 이미지에 대응하는 양자화 특징을 얻을 수 있다. 즉, 단계(S22)를 실행할 수 있다. 본 발명의 실시예에서는 직접 양자화(Product quantization, 이하 PQ라고 함) 부호화를 사용하여 이미지 데이터 세트 내의 각 이미지의 이미지 특징에 대응하는 양자화 특징을 얻을 수 있다. 예를 들면, PQ 양자화기에 의해 당해 양자화 처리를 실행한다. PQ 양자화기에 의해 양자화 처리를 실행하는 프로세스는 이미지 특징의 벡터 공간을 복수의 저차원 벡터 공간으로 분해하는 데카르트 곱을 포함하고, 분해하여 얻어진 저차원 벡터 공간을 각각 양자화함으로써, 각 이미지 특징은 복수의 저차원 공간의 양자화 조합 표현을 가짐으로써, 즉 양자화 특징을 얻을 수 있다. 본 발명에서는 PQ 부호화의 구체적인 프로세스에 대해 구체적으로 설명하지 않는다. 당업자는 종래의 기술적 수단에 의해 당해 양자화 프로세스를 실현할 수 있다. 양자화 처리에 의해 이미지 특징의 데이터 압축을 실현할 수 있다. 예를 들면, 본 발명의 실시예에서는 이미지의 이미지 특징의 차원은 N이어도 되고, 각 차원의 데이터는 float32 부동 소수점수(즉, 32비트 부동 소수점수)여도 된다. 양자화 처리에 의해 얻어진 양자화 특징의 차원은 N이어도 되고, 각 차원의 데이터는 half 부동 소수점수(즉, 반정밀도 부동 소수점수)여도 된다. 즉, 양자화 처리에 의해 특징의 데이터량을 저감시킬 수 있다.

일부 가능한 실시형태에서는 하나의 양자화기에 의해 모든 이미지 특징의 양자화 처리가 실행되어도 되고, 복수의 양자화기에 의해 이미지 특징의 양자화 처리를 실행해도 된다. 즉, 하나 이상의 양자화기에 의해 모든 이미지의 이미지 특징에 대해 양자화 처리를 실행하고, 모든 이미지에 대응하는 양자화 특징을 얻을 수 있다. 복수의 양자화기에 의해 이미지 특징의 양자화 처리를 실행하는 경우, 병렬 분산적인 실행 방법을 사용하여 처리 속도를 향상시킬 수 있다.

이하, 양자화 처리 및 클러스터링 처리의 프로세스에 대해 상세히 설명한다. 상기 실시예에서 설명한 바와 같이, 양자화 특징의 취득 프로세스를 고속화하기 위하여, 본 발명의 실시예에서는 병렬 분산적인 실행 방법을 사용하여 상기 양자화 처리를 실행할 수 있다. 도 4는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S22)의 흐름도를 나타낸다. 상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것은 이하의 단계를 포함할 수 있다.

(S221): 상기 복수의 이미지의 이미지 특징을 그룹화 처리하여, 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는다.

본 발명의 실시예에서는 이미지 특징을 그룹화하고, 각 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여, 대응하는 양자화 특징을 얻을 수 있다. 복수의 양자화기에 의해 이미지 데이터 세트의 이미지 특징의 양자화 처리를 실행하는 경우, 당해 복수의 양자화기를 사용하여, 상이한 이미지의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행할 수 있기 때문에, 양자화 처리에 필요한 시간을 단축하고, 연산 속도를 향상시킬 수 있다.

각 이미지 특징의 양자화 처리를 병렬적으로 실행할 때, 이미지 특징을 복수의 그룹(복수의 제1 그룹)으로 나눌 수 있다. 당해 제1 그룹은 상기 이미지의 그룹(이미지 그룹)과 동일해도 된다. 즉, 이미지를 그룹화하는 방법에 의해 이미지 특징을 대응하는 수의 그룹으로 나눈다. 즉, 얻어진 이미지 그룹의 이미지 특징에 기초하여 이미지 특징의 그룹을 직접 결정해도 되고, 복수의 제1 그룹을 재형성해도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다. 각 제1 그룹은 하나 이상의 이미지의 이미지 특징을 포함한다. 본 발명에서는 제1 그룹의 수에 대해 구체적으로 한정되지 않고, 양자화기의 수, 처리 능력 및 이미지의 수에 기초하여 종합적으로 결정할 수 있다. 당업자는 실제 필요에 따라 뉴럴 네트워크를 결정할 수 있다.

또한, 본 발명의 실시예에서는 상기 복수의 이미지의 이미지 특징을 그룹화 처리하는 방법으로는 상기 복수의 이미지의 이미지 특징에 대해 평균 그룹화를 실행하거나, 또는 랜덤 그룹화 방법을 사용하여 상기 복수의 이미지들의 이미지 특징에 대해 그룹화를 실행하는 것을 포함할 수 있다. 즉, 본 발명의 실시예에서는 그룹의 수에 따라 이미지 데이터 세트 내의 각 이미지의 이미지 특징에 대해 평균 그룹화를 행해도 되고, 랜덤으로 그룹화하여, 복수의 제1 그룹을 얻어도 된다. 복수의 이미지의 이미지 특징을 복수의 제1 그룹으로 나눌 수 있으면, 본 발명의 실시예로 할 수 있다.

일부 가능한 실시형태에서는 이미지 특징을 그룹화 처리하여 복수의 제1 그룹을 얻는 경우, 추가로 각 제1 그룹에 식별자(예를 들면, 제2 인덱스)를 할당하고, 제2 인덱스와 제1 그룹을 관련시켜 기억할 수 있다. 예를 들면, 이미지 데이터 세트의 각 이미지 특징은 이미지 특징 라이브러리(T)(특징 데이터 베이스)로서 형성하고, 이미지 특징 라이브러리(T) 내의 이미지 특징을 그룹화하고(샤딩), n개의 제1 그룹{S₁, S₂, …S_n}을 얻을 수 있다. 여기서, S_i는 i개째의 제1 그룹을 나타내고, i는 1 이상 n 이하의 정수이고, n은 제1 그룹의 수를 나타내고, n은 1 이상의 정수이다. 각 제1 그룹은 하나 이상의 이미지의 이미지 특징을 포함할 수 있다. 각 제1 그룹을 용이하게 구별하고, 양자화 처리를 용이하게 하기 위해, 각 제1 그룹에 대응하는 제2 인덱스{I₁₁, I₁₂, …I_1n}를 할당할 수 있다. 제1 그룹(S_i)의 제1 인덱스는 (I_1i)여도 된다.

(S222): 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는다.

일부 가능한 실시형태에서는 이미지 특징을 그룹화 처리하여 복수의 (적어도 2개의) 제1 그룹을 얻은 후, 각 제1 그룹 내의 이미지 특징의 양자화 처리를 각각 병렬적으로 실행할 수 있다. 예를 들면, 복수의 양자화기에 의해 당해 양자화 처리를 실행하고, 각 양자화기는 하나 이상의 제1 그룹의 이미지 특징의 양자화 처리를 실행할 수 있기 때문에, 처리 속도를 향상시킬 수 있다.

일부 가능한 실시형태에서는 각 제1 그룹의 제2 인덱스에 기초하여 각 양자화기에 대응하는 양자화 처리 태스크를 할당할 수도 있다. 즉, 각 제1 그룹의 제2 인덱스 각각을, 각 양자화기에 할당되는 제2 인덱스가 상이하도록 복수의 양자화기에 할당할 수 있다. 양자화기에 의해 할당된 제2 인덱스에 대응하는 양자화 처리 태스크를 각각 병렬적으로 실행하는 것, 즉, 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리 태스크를 각각 병렬적으로 실행하고, 즉 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 실행한다.

또한, 양자화 처리 속도를 더욱 향상시키기 위해, 양자화기의 수를 제2 그룹화의 수 이상으로 할 수 있다. 한편, 각 양자화기에 많아도 하나의 제2 인덱스를 할당할 수 있다. 즉, 각 양자화기는 하나의 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리밖에 실행할 수 없다. 그러나, 상술한 것은 본 발명의 실시예의 구체적인 한정이 되지 않는다. 그룹의 수, 양자화기의 수 및 각 양자화기에 할당된 제1 인덱스의 수는 상이한 필요에 따라 설정할 수 있다.

상기 실시예에서 설명한 바와 같이, 양자화 처리는 이미지 특징의 데이터량을 저감시킬 수 있다. 본 발명의 실시예에서는 양자화 처리는 직접 양자화(Product, quantization, 이하 PQ라고 함) 부호화 처리여도 된다. 예를 들면, PQ 양자화기에 의해 당해 양자화 처리를 실행한다. 양자화 처리에 의해 이미지 특징의 데이터 압축을 실현할 수 있다. 예를 들면, 본 발명의 실시예에서는 이미지의 이미지 특징의 차원은 N이어도 되고, 각 차원의 데이터는 float32 부동 소수점 수여도 된다. 양자화 처리에 의해 얻어진 양자화 특징의 차원은 N이어도 되고, 각 차원의 데이터는 half 부동 소수점 수여도 된다. 즉, 양자화 처리에 의해 이미지 특징의 데이터량을 저감시킬 수 있다.

상기 실시예에 의하면, 양자화 처리를 병렬 분산적으로 실행할 수 있기 때문에, 양자화 처리의 속도를 향상시킬 수 있다.

이미지 데이터 세트 내의 이미지의 양자화 특징을 얻은 후, 양자화 특징과 제1 인덱스를 관련시켜 기억시킴으로써, 제1 인덱스, 제2 인덱스, 이미지, 이미지 특징 및 양자화 특징을 관련시켜 기억할 수 있기 때문에, 데이터의 판독과 호출이 용이해진다.

또한, 이미지의 양자화 특징을 얻은 경우, 각 이미지의 양자화 특징을 사용하여 당해 이미지 데이터 세트에 대해 클러스터링 처리를 실행할 수 있고, 즉, 단계(S23)를 실행할 수 있다. 이미지 데이터 세트 내의 이미지는 동일한 오브젝트의 이미지여도 되고, 상이한 오브젝트의 이미지여도 된다. 본 발명의 실시예에서는 이미지에 대해 클러스터링 처리를 행하여, 복수의 클러스터를 얻을 수 있다. 얻어진 각 클러스터 내의 이미지는 동일한 오브젝트의 이미지이다.

도 5는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S23)의 흐름도를 나타낸다. 상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것(단계(S23))은 이하의 단계를 포함할 수 있다.

(S231): 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득한다.

일부 가능한 실시형태에서는 이미지의 이미지 특징에 대응하는 양자화 특징을 얻은 후, 양자화 특징에 기초하여 이미지의 클러스터링 처리를 실행하고, 즉 동일한 오브젝트의 클러스터(동일한 신분을 갖는 오브젝트의 클러스터)를 얻을 수 있다. 본 발명의 실시예에서는 우선, 임의의 2개의 양자화 특징 사이의 제1 유사도를 얻을 수 있고, 제1 유사도는 코사인 유사도여도 된다. 다른 실시예에서는 다른 방법에 의해 양자화 특징 사이의 제1 유사도를 결정할 수도 있다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다.

일부 가능한 실시형태에서는 하나의 연산기에 의해 임의의 2개의 양자화 특징 사이의 제1 유사도를 산출해도 되고, 복수의 연산기에 의해 각각의 양자화 특징 사이의 제1 유사도는 병렬 분산적으로 산출해도 된다. 복수의 연산기에 의해 연산을 병렬적으로 실행함으로써, 연산 속도를 향상시킬 수 있다.

동일하게, 본 발명의 실시예에서는 추가로 양자화 특징의 그룹에 기초하여, 각 그룹의 양자화 특징과 나머지 양자화 특징의 제1 유사도를 분산적으로 실행할 수도 있다. 각 이미지의 양자화 특징을 그룹화하여, 복수의 제2 그룹을 얻을 수 있고, 각 제2 그룹은 하나 이상의 이미지의 양자화 특징을 포함한다. 직접 제1 그룹에 기초하여 제2 그룹을 결정할 수 있다. 즉, 제1 그룹의 이미지 특징에 기초하여 대응하는 양자화 특징을 결정하고, 제1 그룹 내의 이미지 특징에 대응하는 양자화 특징에 기초하여 제2 그룹을 직접 형성할 수 있다. 혹은, 각 이미지의 양자화 특징에 기초하여 재그룹화하여 복수의 제2 그룹을 얻을 수도 있다. 동일하게, 당해 그룹화 방법은 평균 그룹화여도 되고, 랜덤 그룹화여도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다.

복수의 제2 그룹을 얻은 후, 각 제2 그룹에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻을 수도 있다. 제3 인덱스에 의해 각 제2 그룹을 구별할 수 있음과 함께, 제3 인덱스와 제2 그룹을 관련시켜 기억할 수도 있다. 예를 들면, 이미지 데이터 세트의 각 이미지의 양자화 특징은 양자화 특징 라이브러리(L)로서 형성할 수 있고, 양자화 특징을 상기 이미지 특징 라이브러리(T)에 관련시켜 기억할 수도 있다. 양자화 특징을 이미지, 이미지 특징, 제1 인덱스, 제2 인덱스, 제3 인덱스에 대응하여 관련시켜 기억할 수도 있다. 양자화 특징 라이브러리(L) 내의 양자화 특징을 그룹화(샤딩)함으로써, m개의 제2 그룹{L₁, L₂, …L_m}을 얻을 수 있다. 여기서, L_j는 j개째의 제2 그룹을 나타내고, j는 1 이상 m 이하의 정수이고, m은 제2 그룹의 수를 나타내고, m은 1 이상의 정수이다. 각 제2 그룹을 용이하게 구별하고, 클러스터링 처리를 용이하게 하기 위해, 각 제2 그룹에 대응하는 제3 인덱스{I₂₁, I₂₂, …I_2m}를 할당할 수 있다. 제2 그룹(L_j)의 제3 인덱스는 (I_2j)여도 된다.

복수의 제2 그룹을 얻은 후, 복수의 연산기에 의해 당해 복수의 제2 그룹 내의 양자화 특징과 나머지 양자화 특징의 제1 유사도를 각각 실행할 수 있다. 이미지 데이터 세트의 데이터 양은 매우 클 가능성이 있기 때문에, 복수의 연산기에 의해 각 제2 그룹 내의 어느 하나의 양자화 특징과 나머지 모든 양자화 특징의 제1 유사도를 병렬적으로 실행할 수 있다.

일부 가능한 실시형태에서는 복수의 연산기를 포함할 수 있다. 당해 연산기는 예를 들면, CPU, 프로세서, 싱글칩 마이크로 컴퓨터 등의 연산 처리 기능을 갖는 임의의 전자 디바이스여도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다. 각 연산기는 하나 이상의 제2 그룹 내의 각 양자화 특징과 나머지 모든 이미지의 양자화 특징의 제1 유사도를 산출할 수 있기 때문에, 처리 속도를 향상시킬 수 있다.

일부 가능한 실시형태에서는 각 제2 그룹의 제3 인덱스에 기초하여, 각 연산기에 대응하는 유사도 연산 태스크를 할당할 수도 있다. 즉, 각 제2 그룹의 제3 인덱스를 각각 복수의 연산기에 할당할 수 있고, 각 연산기에 할당된 제3 인덱스는 상이하다. 연산기에 의해 할당된 제3 인덱스에 대응하는 유사도 연산 태스크를 각각 병렬적으로 실행하고, 유사도 연산 태스크는 제3 인덱스에 대응하는 제2 그룹 내의 이미지의 양자화 특징과 당해 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것이다. 복수의 연산기의 병렬적인 실행에 의해, 임의의 2개의 이미지의 양자화 특징 사이의 제1 유사도를 신속하게 얻을 수 있다.

또한, 유사도 연산 속도를 더욱 향상시키기 위해, 연산기의 수를 제2 그룹의 수 이상으로 할 수 있다. 한편, 각 연산기에 많아도 하나의 제3 인덱스를 할당할 수 있고, 각 연산기는 하나의 제3 인덱스에 대응하는 제2 그룹 내의 양자화 특징과 나머지 양자화 특징의 제1 유사도 연산밖에 실행할 수 없다. 그러나, 상술한 것은 본 발명의 실시예의 구체적인 한정이 되지 않는다. 그룹의 수, 연산기의 수, 및 각 연산기에 할당된 제3 인덱스의 수는 상이한 필요에 따라 설정할 수 있다.

(S232): 상기 제1 유사도에 기초하여 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징이다.

임의의 2개의 양자화 특징 사이의 제1 유사도를 얻은 후, 어느 하나의 이미지의 K1 근방 이미지, 즉 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1개의 양자화 특징에 대응하는 이미지를 취득할 수 있다. 당해 어느 하나의 이미지와 제1 유사도가 높은 순서의 K1개의 양자화 특징에 대응하는 이미지는 동일한 오브젝트를 포함할 수 있는 이미지를 나타내는 근방 이미지이다. 어느 양자화 특징의 제1 유사도 시퀀스를 취득할 수 있다. 제1 유사도 시퀀스는 당해 어느 양자화 특징과의 유사도가 높은 것에서 낮은 것으로, 또는 낮은 것에서 높은 것으로 배열되는 양자화 특징의 시퀀스이다. 제1 유사도 시퀀스를 얻은 후, 당해 어느 양자화 특징과의 제1 유사도가 높은 순서의 K1개의 양자화 특징을 용이하게 결정하고, 추가로 어느 하나의 이미지의 K1 근방 이미지를 결정할 수 있다. K1의 수는 이미지 데이터 세트 내의 이미지의 수에 따라 결정할 수 있고, 예를 들면, 20, 30이어도 된다. 또한, 다른 실시예에서는 다른 수치로 설정해도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다.

(S233): 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정한다.

일부 가능한 실시형태에서는 각 이미지의 K1 근방 이미지를 얻은 후, 후속 클러스터링 처리를 실행할 수 있다. 예를 들면, K1 근방 이미지를 직접 사용하여 클러스터를 얻어도 되고, K1 근방 이미지의 이미지 특징에 기초하여 클러스터를 얻어도 된다. 도 6은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S233)의 흐름도를 나타낸다. 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것(단계(S233))은

(S23301): 상기 K1 근방 이미지로부터, 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과,

(S23302): 상기 제1 이미지 세트 내의 모든 이미지와 상기 이미지 중 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것을 포함할 수 있다.

일부 가능한 실시형태에서는 각 이미지의 K1 근방 이미지(양자화 특징의 제1 유사도가 높은 순서의 K1개의 이미지)를 얻은 후, 각 이미지의 K1 근방 이미지에서 제1 유사도가 제1 임계값보다 큰 이미지를 직접 선택하고, 선택된 제1 유사도가 제1 임계값보다 큰 이미지에 의해 제1 이미지 세트를 형성한다. 제1 임계값은 설정된 값이어도 되고, 예를 들면, 90％여도 되지만, 본 발명의 구체적인 한정은 이루어지지 않는다. 제1 임계값의 설정에 의해, 어느 하나의 이미지에 가장 가까운 이미지를 선택할 수 있다.

어느 하나의 이미지의 K1 근방 이미지로부터 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택한 후, 당해 어느 하나의 이미지와 선택된 제1 이미지 세트 내의 모든 이미지를 제1 상태로서 라벨링하여, 제1 상태에 있는 이미지에 기초하여 하나의 클러스터를 형성할 수 있다. 예를 들면, 이미지(A)의 K1 근방 이미지로부터 선택된 제1 유사도가 제1 임계값보다 큰 이미지가 A1과 A2를 포함하는 제1 이미지 세트인 경우, A를 각각 A1, A2와 함께 제1 상태로서 라벨링할 수 있다. A1의 K1 근방 이미지로부터 선택된 제1 유사도가 제1 임계값보다 큰 이미지가 B1을 포함하는 제1 이미지 세트인 경우, A1과 B1을 제1 상태로서 라벨링할 수 있다. 또한, A2의 K1 근방 이미지에는 제1 유사도가 제1 임계값보다 큰 이미지가 존재하지 않는 경우, A2를 제1 상태로서 라벨링하지 않는다. 이상에 의해, A, A1, A2, B1을 1개의 클러스터로 분류할 수 있다. 즉, 이미지(A, A1, A2, B1)에는 동일한 오브젝트가 포함되어 있다.

상기 형태에 의해, 클러스터링 결과를 용이하게 얻을 수 있다. 양자화 특징에 의해 이미지 특징량이 삭감되기 때문에, 클러스터링 속도를 향상시킬 수 있다. 또한, 제1 임계값을 설정함으로써, 클러스터링 정밀도를 향상시킬 수 있다.

다른 일부 가능한 실시예에서는 이미지 특징의 유사도를 추가로 조합하여 클러스터링 정밀도를 향상시킬 수 있다. 도 7은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S233)의 다른 흐름도를 나타낸다. 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것(단계(S233))은 추가로 이하의 단계를 포함할 수 있다.

(S23311): 상기 어느 하나의 이미지의 이미지 특징과 상기 어느 하나의 이미지의 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득한다.

일부 가능한 실시형태에서는 각 이미지의 K1 근방 이미지(양자화 특징의 제1 유사도가 높은 순서의 K1개의 이미지)를 얻은 후, 당해 어느 하나의 이미지의 이미지 특징과 그 대응하는 K1 근방 이미지의 이미지 특징의 제2 유사도를 추가로 산출할 수 있다. 즉, 어느 하나의 이미지의 K1 근방 이미지를 얻은 후, 당해 어느 하나의 이미지의 이미지 특징과 K1개의 근방 이미지의 이미지 특징의 제2 유사도를 추가로 산출할 수 있다. 이 제2 유사도는 코사인 유사도여도 된다. 또한, 다른 실시예에서는 다른 방법에 의해 유사도를 결정해도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다.

(S23312): 상기 제2 유사도에 기초하여, 상기 어느 하나의 이미지의 K2(K2는 1 이상 및 K1 이하의 정수) 근방 이미지를 결정하고, 상기 K2 근방 이미지의 이미지 특징은 상기 K1 근방 이미지 중 상기 어느 하나의 이미지의 이미지 특징과의 제2 유사도가 높은 순서의 K2개의 이미지 특징이다.

일부 가능한 실시형태에서는 어느 하나의 이미지의 이미지 특징과 대응하는 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득하고, 제2 유사도가 높은 순서의 K2개의 이미지 특징을 추가로 선택하고, 당해 K2개의 이미지 특징에 대응하는 이미지를 당해 하나 이상의 이미지의 K2 근방 이미지로서 결정할 수 있다. K2의 수치는 필요에 따라 설정할 수 있다.

(S23313): 상기 K2 근방 이미지로부터, 상기 어느 하나의 이미지의 이미지 특징과의 상기 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택한다.

일부 가능한 실시형태에서는 각 이미지의 K2 근방 이미지(이미지 특징의 제2 유사도가 높은 순서의 K2개의 이미지)를 얻은 후, 각 이미지의 K2 근방 이미지로부터 제2 유사도가 제2 임계값보다 큰 이미지를 직접 선택하고, 선택된 이미지에 의해 제2 이미지 세트를 형성할 수 있다. 제2 임계값은 설정된 값이어도 되고, 예를 들면, 90％여도 되지만, 본 발명의 구체적인 한정은 되지 않는다. 제2 임계값의 설정에 의해, 어느 하나의 이미지에 가장 가까운 이미지를 선택할 수 있다.

(S23314): 상기 제2 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성한다.

일부 가능한 실시형태에서는 어느 하나의 이미지의 K2 근방 이미지로부터 이미지 특징 사이의 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택한 후, 당해 어느 하나의 이미지와 선택된 제2 이미지 세트 내의 모든 이미지를 제1 상태로서 라벨링하고, 제1 상태에 있는 이미지에 기초하여 하나의 클러스터를 형성할 수 있다. 예를 들면, 이미지(A)의 K2 근방 이미지에서 선택된 제2 유사도가 제2 임계값보다 큰 이미지가 이미지(A3)와 (A4)인 경우, A를 A3, A4와 함께 제1 상태로서 라벨링할 수 있다. A3의 K2 근방 이미지로부터 선택된 제2 유사도가 제2 임계값보다 큰 이미지가 이미지 B2인 경우, A3과 B2를 제1 상태로서 라벨링할 수 있다. 또한, A4의 K2 근방 이미지에는 제2 유사도가 제2 임계값보다 큰 이미지가 존재하지 않는 경우, A4를 제1 상태로서 라벨링하지 않는다. 이상에 의해, A, A3, A4, B2를 1개의 클러스터로 분류할 수 있다. 즉, 이미지(A, A3, A4, B2)에는 동일한 오브젝트가 포함되어 있다.

상기 형태에 의해, 클러스터링 결과를 용이하게 얻을 수 있다. 양자화 특징에 의해 이미지 특징량을 삭감함과 함께, 양자화 특징에 의해 얻어진 K1 근방 이미지에 기초하여 이미지 특징에 가장 가까운 K2 근방 이미지를 추가로 결정하기 때문에, 클러스터링 속도를 향상시킴과 함께, 클러스터링 정밀도를 더욱 향상시킬 수 있다. 또한, 양자화 특징, 이미지 특징 사이의 유사도의 산출 프로세스에서는 병렬 분산적인 연산 방법을 사용할 수 있기 때문에, 클러스터링 속도를 향상시킬 수 있다.

본 발명의 실시예에서는 양자화 특징의 특징량이 이미지 특징에 비해 삭감되기 때문에, 연산 비용이 저감된다. 또한, 복수의 연산기의 병렬 처리에 의해 연산 속도를 더욱 향상시킬 수 있다.

이미지의 하나 이상의 클러스터를 얻은 후에, 동일한 클러스터 내의 이미지는 동일한 오브젝트(예를 들면, 인물 오브젝트)의 이미지 세트인 것으로 생각된다. 클러스터 내의 이미지에 관련된 제1 인덱스에 의해, 당해 오브젝트가 출현하는 시간 정보 및 대응하는 위치 정보를 얻을 수 있다. 당해 시간 정보 및 위치 정보에 기초하여 당해 오브젝트의 시공간 궤적 정보를 추가로 얻을 수 있다.

상술한 바와 같이, 클러스터링 처리를 실행한 후, 하나 이상의 클러스터를 얻을 수 있다. 각 클러스터 내에는 하나 이상의 이미지가 포함되어도 되고, 동일한 클러스터 내의 이미지는 동일한 오브젝트를 포함하는 것으로 생각된다. 클러스터링 처리를 실행한 후, 얻어진 각 클러스터의 클러스터 중심을 추가로 결정할 수 있다. 일부 가능한 실시형태에서는 클러스터 내의 각 이미지의 이미지 특징의 평균값은 당해 클러스터의 클러스터 중심으로 할 수 있다. 클러스터 중심을 얻은 후, 이 클러스터 중심에 제4 인덱스를 할당하여, 각 클러스터 중심에 대응하는 클러스터를 구별할 수 있다. 즉, 본 발명의 실시예의 각 이미지는 이미지 식별자로서의 제3 인덱스와, 이미지 특징의 제1 그룹의 식별자로서의 제1 인덱스와, 양자화 특징이 속하는 제2 그룹의 식별자로서의 제2 인덱스와, 클러스터의 식별자로서의 제4 인덱스를 포함하고, 상기 인덱스나 대응하는 특징, 이미지 등의 데이터를 관련시켜 기억할 수 있다. 다른 실시예에서는 다른 특징 데이터의 인덱스도 존재할지 모르지만, 본 발명에서는 이에 대해 특별히 한정되지 않는다. 또한, 이미지의 제3 인덱스, 이미지 특징의 제1 그룹의 제1 인덱스, 양자화 특징의 제2 그룹의 제2 인덱스 및 클러스터의 제4 인덱스는 전부 상이하고, 상이한 기호 식별자로 나타낼 수 있다.

또한, 본 발명의 실시예에 의해 복수의 클러스터를 얻은 후, 수신한 이미지에 대해 클러스터링 처리를 추가로 행하여, 수신한 이미지가 속하는 클러스터를 결정하고, 즉 클러스터의 인크리멘털 처리를 실행할 수 있다. 수신한 이미지에 매칭되는 클러스터를 결정한 후, 당해 수신한 이미지를 대응하는 클러스터에 할당할 수 있다. 현재 클러스터가 당해 수신한 이미지와 매칭되지 않은 경우, 당해 수신한 이미지를 단독으로 하나의 클러스터로 하거나, 또는 기존의 이미지 데이터 세트와 융합하여 클러스터링 처리를 재실행할 수 있다.

도 8은 본 발명의 실시예에 따른 이미지 처리 방법에서의 클러스터 인크리멘털 처리를 실행하는 흐름도를 나타낸다. 상기 클러스터 인크리멘털 처리는 이하의 단계를 포함할 수 있다.

(S41): 입력 이미지의 이미지 특징을 취득한다.

일부 가능한 실시형태에서는 입력 이미지는 이미지 수집 장치에 의해 실시간으로 수집된 이미지여도 되고, 다른 장치를 통해 송신된 이미지여도 되고, 로컬에 기억된 이미지여도 된다. 본 발명에서는 이에 대해 구체적으로 한정되지 않는다. 입력 이미지를 얻은 후에, 입력 이미지의 이미지 특징을 얻을 수 있다. 상기 실시예와 동일하게, 특징 수집 알고리즘에 의해 이미지 특징을 얻어도 되고, 합성곱 뉴럴 네트워크의 적어도 1층의 합성곱 처리에 의해 이미지 특징을 얻어도 된다. 이미지는 얼굴 이미지여도 되고, 대응하는 이미지 특징은 얼굴 특징이다.

(S42): 상기 입력 이미지의 이미지 특징에 대해 양자화 처리를 실행하여 상기 입력 이미지의 양자화 특징을 얻는다.

이미지 특징을 얻은 후, 당해 이미지 특징에 대해 양자화 처리를 추가로 실행하고, 대응하는 양자화 특징을 얻을 수 있다. 본 발명의 실시예에 의해 얻어진 입력 이미지는 하나여도 되고, 복수여도 된다. 이미지 특징의 취득 및 이미지 특징의 양자화 처리를 실행할 때, 병렬 분산적으로 실행함으로써 취득할 수 있다. 구체적인 병렬 실행 프로세스는 상기 실시예에 기재된 프로세스와 동일하기 때문에, 여기서 반복하여 설명하지 않는다.

(S43): 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정한다.

이미지의 양자화 특징을 얻은 후, 당해 양자화 특징 및 각 클러스터의 클러스터 중심에 기초하여 당해 입력 이미지가 속하는 클러스터를 결정할 수 있다. 구체적인 클러스터링 방법은 상기 프로세스를 참조할 수도 있다.

도 9는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S43)의 흐름도를 나타낸다. 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것(S43)은 이하의 단계를 포함할 수 있다.

(S4301): 상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득한다.

상술한 바와 같이, 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 클러스터의 클러스터 중심(클러스터 중심의 이미지 특징)을 결정하고, 클러스터 중심의 양자화 특징을 얻을 수도 있다. 예를 들면, 클러스터 중심의 이미지 특징에 대해 양자화 처리를 실행하여 당해 클러스터 중심의 양자화 특징을 얻어도 되고, 클러스터 내의 각 이미지의 양자화 특징에 대해 평균값 처리를 실행하고, 당해 클러스터 중심의 양자화 특징을 얻어도 된다.

또한, 입력 이미지와 각 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득할 수 있다. 동일하게, 이 제3 유사도는 코사인 유사도여도 되지만, 본 발명의 구체적인 한정이 되지 않는다.

일부 가능한 실시형태에서는 복수의 클러스터 중심을 그룹화하여 복수의 클러스터 중심군을 얻을 수 있다. 당해 복수의 클러스터 중심군을 복수의 연산기에 할당하고, 각 연산기에 할당된 클러스터 중심군은 상이하다. 복수의 연산기에 의해 각 클러스터 중심군 내의 클러스터 중심과 입력 이미지의 양자화 특징의 제3 유사도를 각각 병렬적으로 실행함으로써 처리 속도를 향상시킬 수 있다.

(S4302): 상기 입력 이미지의 양자화 특징과의 제3 유사도가 높은 것부터 순서대로 K3(K3은 1 이상의 정수)개의 클러스터 중심을 결정한다.

또한, 입력 이미지의 양자화 특징과 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 얻은 후, 유사도가 높은 것부터 순서대로 K3개의 클러스터 중심을 얻을 수 있다. K3의 수는 클러스터의 수보다 적다. 얻어진 당해 K3 클러스터 중심은 입력 이미지에 가장 매칭되는 K3개의 클러스터로 나타낼 수 있다.

일부 가능한 실시형태에서는 병렬 분산적으로 실행함으로써 입력 이미지와 각 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 얻을 수 있다. 즉, 각 클러스터 중심을 그룹화하고, 상이한 연산기에 의해 대응하는 그룹의 클러스터 중심의 양자화 특징과 입력 이미지의 양자화 특징의 유사도를 연산할 수 있기 때문에, 연산 속도를 향상시킬 수 있다.

(S4303): 상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득한다.

일부 가능한 실시형태에서는 입력 이미지의 양자화 특징과의 제4 유사도가 높은 것부터 순서대로 K3개의 클러스터 중심을 얻을 때, 당해 입력 이미지의 이미지 특징과 대응하는 K3개의 클러스터 중심의 이미지 특징과의 제4 유사도를 추가로 얻을 수 있다. 동일하게, 이 제4 유사도는 코사인 유사도여도 되지만, 본 발명의 구체적인 한정이 되지 않는다.

동일하게, 입력 이미지의 이미지 특징과 대응하는 K3개의 클러스터 중심의 이미지 특징과의 제4 유사도를 연산할 때, 병렬 분산적으로 실행함으로써 연산할 수도 있다. 예를 들면, K3개의 클러스터 중심을 복수의 그룹으로 나누고, 당해 K3개의 클러스터 중심을 각각 복수의 연산기에 할당하고, 연산기는 할당된 클러스터 중심의 이미지 특징과 입력 이미지의 이미지 특징의 제4 유사도를 실행할 수 있기 때문에, 연산 속도를 향상시킬 수 있다.

(S4304): 상기 K3개의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 당해 가장 높은 제4 유사도가 제3 임계값보다 큰 경우, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가한다.

(S4305): 상기 입력 특징의 이미지 특징과의 제4 유사도가 제3 임계값보다 큰 클러스터 중심이 존재하지 않는 경우, 상기 입력 이미지의 양자화 특징 및 상기 이미지 데이터 세트 내의 이미지의 양자화 특징에 기초하여 상기 클러스터링 처리를 실행하여 하나 이상의 새로운 클러스터를 얻는다.

일부 가능한 실시형태에서는 입력 이미지의 이미지 특징과 K3개의 클러스터 중심의 이미지 특징의 제4 유사도에는 제3 임계값보다 큰 제4 유사도가 있는 경우, 이 입력 이미지는 제4 유사도가 가장 높은 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정할 수 있다. 즉, 이 입력 이미지에 포함되는 오브젝트와 제4 유사도가 가장 높은 클러스터에 대응하는 오브젝트는 동일한 오브젝트이다. 이 경우, 이 입력 이미지를 이 클러스터에 추가할 수 있다. 예를 들면, 이 클러스터의 식별자를 입력 이미지에 할당하고, 관련시켜 기억할 수 있기 때문에, 입력 이미지가 속하는 클러스터를 결정할 수 있다.

일부 가능한 실시형태에서는 입력 이미지의 이미지 특징과 K3개의 클러스터 중심의 이미지 특징의 제4 유사도의 전부가 제3 임계값보다 작은 경우, 입력 이미지는 모든 클러스터와 매칭되지 않는 것으로 결정할 수 있다. 이 경우, 이 입력 이미지를 단독 클러스터로 해도 되고, 입력 이미지와 기존의 이미지 데이터 세트를 융합하여 새로운 이미지 데이터 세트를 취득하고, 새로운 이미지 데이터 세트에 대해 단계(S20)를 재실행해도 된다. 즉, 모든 이미지에 대해 분산 클러스터링을 재실행하여 하나 이상의 새로운 클러스터를 얻는다. 이와 같이 하여 이미지 데이터를 정확하게 클러스터링할 수 있다.

일부 가능한 실시형태에서는 하나의 클러스터 내에 포함되는 이미지가 변화되면, 예를 들면, 새로운 입력 이미지가 새로 추가되거나 클러스터링 처리가 재실행되면, 클러스터의 클러스터 중심을 재결정할 수 있기 때문에, 클러스터 중심의 정밀도가 향상되고, 후속 프로세스에서의 정확한 클러스터링 처리가 용이해진다.

이미지를 클러스터링한 후, 각 클러스터 내의 이미지에 매칭되는 오브젝트의 신분을 추가로 결정할 수 있다. 즉, 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정할 수 있다. 도 10은 본 발명의 실시예에 따른 이미지 처리 방법에서의 클러스터가 매칭되는 오브젝트의 신분을 결정하는 흐름도를 나타낸다. 상기 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것은 이하의 단계를 포함한다.

(S51): 상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득한다.

일부 가능한 실시형태에서는 신분 특징 라이브러리에는 복수의 이미 알려진 신분의 오브젝트 정보가 포함되어 있고, 예를 들면, 이미 알려진 신분의 오브젝트의 얼굴 이미지 및 오브젝트의 신분 정보가 포함되어도 되고, 신분 정보는 이름, 연령이나 직업 등의 기본 정보를 포함해도 된다.

또한, 신분 특징 라이브러리에는 각 이미 알려진 오브젝트의 이미지 특징 및 양자화 특징이 추가로 포함되어도 된다. 각 이미 알려진 오브젝트의 얼굴 이미지에 기초하여 대응하는 이미지 특징을 얻을 수 있고, 이미지 특징에 대해 양자화 처리를 행하여 양자화 특징을 얻을 수 있다.

(S52): 상기 이미 알려진 오브젝트의 양자화 특징과 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4(K4는 1 이상의 정수)개의 이미 알려진 오브젝트의 양자화 특징을 결정한다.

일부 가능한 실시형태에서는 각 이미 알려진 오브젝트의 양자화 특징을 얻은 후, 이미 알려진 오브젝트의 양자화 특징과 얻어진 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 추가로 얻을 수 있다. 제5 유사도는 코사인 유사도여도 되지만, 본 발명의 구체적인 한정이 되지 않는다. 추가로, 각 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정할 수 있다. 즉, 신분 특징 라이브러리로부터 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트를 찾을 수 있고, 당해 K4개의 이미 알려진 오브젝트는 클러스터 중심과의 매칭 정도가 높은 순서의 K4개의 신분이어도 된다.

다른 일부 가능한 실시형태에서는 각 이미 알려진 오브젝트의 양자화 특징과의 제5 유사도가 높은 순서로 K4개의 클러스터 중심을 얻을 수도 있다. 당해 K4개의 클러스터 중심은 이미 알려진 오브젝트의 신분과의 매칭 정도가 높은 순서의 K4개의 클러스터 중심에 대응한다.

동일하게, 이미 알려진 오브젝트의 양자화 특징을 그룹화하고, 하나 이상의 양자화기에 의해 당해 이미 알려진 오브젝트의 양자화 특징과 얻어진 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 실행할 수 있기 때문에, 처리 속도를 향상시킬 수 있다.

(S53): 상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득한다.

일부 가능한 실시형태에서는 각 클러스터 중심에 대응하는 K4개의 이미 알려진 오브젝트를 얻은 후, 각 클러스터 중심과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 추가로 결정할 수 있다. 제6 유사도는 코사인 유사도여도 되지만, 본 발명의 구체적인 한정이 되지 않는다.

일부 가능한 실시형태에서는 이미 알려진 각 클러스터 중심인 것으로 결정된 경우, 이미 알려진 오브젝트에 대응하는 K4개의 클러스터 중심을 얻은 후, 당해 이미 알려진 오브젝트의 이미지 특징과 당해 K4개의 클러스터 중심의 이미지 특징의 제6 유사도를 추가로 결정할 수 있다. 제6 유사도는 코사인 유사도여도 되지만, 본 발명의 구체적인 한정이 되지 않는다.

(S54): 상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 당해 제6 유사도가 제4 임계값보다 큰 경우, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정한다.

(S55): 상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다 작은 경우, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정한다.

일부 가능한 실시형태에서는 클러스터 중심에 매칭되는 K4개의 이미 알려진 오브젝트인 것으로 결정된 경우, K4개의 이미 알려진 오브젝트의 이미지 특징에는 하나 이상의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심과의 제6 유사도가 제4 임계값보다 큰 것이 있으면, 제6 유사도가 가장 높은 이미 알려진 오브젝트의 이미지 특징을 클러스터 중심에 가장 매칭되는 이미지 특징으로서 결정할 수 있다. 이 경우, 당해 제6 유사도가 가장 높은 이미 알려진 오브젝트의 신분을 당해 클러스터 중심에 매칭되는 신분으로서 결정할 수 있다. 즉, 당해 클러스터 중심에 대응하는 클러스터 내의 각 이미지의 신분은 제6 유사도가 가장 높은 이미 알려진 오브젝트의 신분이다. 또한, 이미 알려진 오브젝트에 대응하는 K4개의 클러스터 중심인 것으로 결정된 경우, 이미 알려진 오브젝트에 대응하는 K4개의 클러스터 중심에는 이미 알려진 오브젝트의 이미지 특징과의 제6 유사도가 제4 임계값보다 큰 클러스터 중심이 있으면, 제6 유사도가 가장 높은 클러스터 중심을 당해 이미 알려진 오브젝트에 일치시킬 수 있다. 즉, 당해 제6 유사도가 가장 높은 클러스터 중심에 대응하는 클러스터는 당해 이미 알려진 오브젝트의 신분에 매칭되기 때문에, 대응하는 클러스터의 오브젝트의 신분이 결정된다.

일부 가능한 실시형태에서는 클러스터 중심에 매칭되는 K4개의 이미 알려진 오브젝트인 것으로 결정된 경우, K4개의 이미 알려진 오브젝트와 대응하는 클러스터 중심의 이미지 특징과의 제6 유사도의 전부가 제4 임계값보다 작으면, 클러스터 중심에 매칭되는 신분 오브젝트가 존재하지 않는 것이 설명된다. 또한, 이미 알려진 오브젝트에 매칭되는 K4개의 클러스터 중심인 것으로 결정된 경우, K4개의 클러스터 중심의 이미지 특징과 상기 이미 알려진 오브젝트의 이미지 특징의 제6 유사도의 전부가 제4 임계값보다 작으면 얻어진 클러스터에는 당해 이미 알려진 오브젝트에 매칭되는 신분이 존재하지 않음을 나타낸다.

이상으로부터, 본 발명의 실시예에서는 각 이미지에 대응하는 인덱스 정보를 배치하여 이미지 내의 오브젝트의 시공간 데이터를 결정할 수 있다. 이 배치에 기초하여, 상이한 오브젝트의 시공간 궤적의 해석을 실현할 수 있다. 이미지 데이터 세트 내의 이미지를 클러스터링한 후, 각 오브젝트에 대응하는 이미지 세트(1개의 클러스터는 하나의 오브젝트의 이미지 세트에 상당함)를 얻을 수 있다. 당해 클러스터 내의 각 이미지에 관련된 인덱스 정보(제1 인덱스)에 기초하여, 당해 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 얻을 수 있기 때문에, 상이한 오브젝트의 궤적 해석을 실현할 수 있다. 또한, 본 발명의 실시예에서는 분산 클러스터링 방법을 사용함으로써 클러스터링 효율을 향상시킬 수 있다.

당업자라면, 구체적인 실시형태에 따른 상기 방법에서는 각 단계의 기재 순서는 실행 순서를 엄밀하게 한정하여 실시 과정을 한정하는 것이 아니고, 각 단계의 실행 순서가 그 기능과 내부 논리에 의해 구체적으로 결정되는 것을 이해해야 한다.

도 11은 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다. 도 11에 나타내는 바와 같이, 상기 이미지 처리 장치는

복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하기 위한 취득 모듈(10)과,

상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻기 위한 클러스터링 모듈(20)과,

얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여, 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하기 위한 결정 모듈(30)을 포함한다.

일부 가능한 실시형태에서는 상기 인크리멘털 클러스터링 모듈은 추가로, 상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득하는 것과, 상기 입력 이미지의 양자화 특징과의 제3 유사도를 높은 것부터 순서대로 K3개의 클러스터 중심을 결정하는 것과, 상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득하는 것과, 상기 K3개(K3은 1 이상의 정수)의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 당해 제4 유사도가 제3 임계값보다 큰 경우, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 분산 처리 유닛은 추가로, 상기 복수의 이미지의 이미지 특징을 그룹화 처리하여 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는 것과, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 분산 처리 유닛은 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 전에, 상기 복수의 제1 그룹 각각에 제2 인덱스를 배치하여 복수의 제2 인덱스를 얻는 것과, 상기 복수의 제2 인덱스 각각을, 각 양자화기에 할당되는 상기 제2 인덱스가 상이하도록 복수의 양자화기에 할당하는 것과, 상기 복수의 양자화기 각각을 사용하여 할당된 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 병렬적으로 실행하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것과, 상기 제1 유사도에 기초하여, 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징인 것과, 상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 K1 근방 이미지로부터 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과, 상기 제1 이미지 세트 내의 모든 이미지와 상기 이미지 중 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하기 전에 상기 이미지 데이터 세트 내의 복수의 이미지의 양자화 특징을 그룹화 처리하여, 하나 이상의 이미지의 양자화 특징을 포함하는 복수의 제2 그룹을 얻는 것에 사용되고, 상기 이미지 데이터 중 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것은 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 클러스터링 유닛은 추가로, 상기 제2 그룹 내의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하기 전에, 상기 복수의 제2 그룹 각각에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻는 것에 사용되고, 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것은 상기 제3 인덱스에 기초하여, 상기 제3 인덱스에 대응하는 유사도 연산 태스크를 구축하고, 상기 유사도 연산 태스크는 상기 제3 인덱스에 대응하는 제2 그룹 내의 목표 이미지의 양자화 특징과 상기 목표 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것인 것과, 상기 복수의 제3 인덱스 각각에 대응하는 유사도 취득 태스크를 병렬 분산적으로 실행하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 클러스터 중심 결정 모듈은 추가로, 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것과, 상기 클러스터 중심에 제4 인덱스를 배치하여 상기 제4 인덱스와 대응하는 클러스터 중심을 관련시켜 기억하는 것에 사용된다.

일부 가능한 실시형태에서는 클러스터 중심 결정 모듈은 추가로, 상기 하나 이상의 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 상기 클러스터의 클러스터 중심을 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 신분 결정 모듈은 추가로, 상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득하는 것과, 상기 이미 알려진 오브젝트의 양자화 특징과 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정하는 것과, 상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득하는 것과, 상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 상기 제6 유사도가 제4 임계값보다 큰 경우, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 신분 결정 모듈은 추가로, 상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다 작은 경우, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정하는 것에 사용된다.

일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상술한 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해 상술한 방법의 실시예의 설명을 참조해도 되고, 간소화를 위해 여기서 상세한 설명을 생략한다.

본 발명의 실시예에서는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현하는 컴퓨터 판독 가능 기억 매체가 추가로 제공된다. 컴퓨터 판독 가능 기억 매체는 휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 불휘발성 컴퓨터 판독 가능 기억 매체여도 된다.

본 발명의 실시예에서는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기가 추가로 제공된다.

본 발명의 실시예에서는 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 장치에서 가동하면, 상기 전자 기기의 프로세서는 상기 어느 하나의 실시예에 따른 이미지 처리 방법을 실현하기 위한 명령을 실행하는 컴퓨터 프로그램 제품이 추가로 제공된다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로서 제공되어도 된다.

도 12는 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다. 예를 들면, 전자 기기(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.

도 12를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.

처리 컴포넌트(802)는 통상, 전자 기기(800)의 전반적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작에 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.

메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 다양한 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함해도 된다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하도록, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 배면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 배면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 배면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G, 또는 3G 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.

예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 시그널 프로세서(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.

예시적인 실시예에서는 추가로 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

도 13은 본 발명의 실시예에 따른 다른 전자 기기의 블록도를 나타낸다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 13을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억되어 있는 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.

전자 기기(1900)는 추가로, 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950), 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억되어 있는 오퍼레이팅 시스템, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 등에 기초하여 동작할 수 있다.

예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령을 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.

컴퓨터 판독 가능 기억 매체는 명령 실행 기기에 의해 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 일시적인 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호인 것으로 해석되는 것은 아니다.

여기서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함시키는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.

이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.

컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시되는 프로세스를 생성하도록 해도 된다. 이와 같이 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이하게 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병렬적으로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 된다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 것에도 주의해야 한다.

논리를 위반하지 않는 한, 본 발명의 상이한 실시예를 서로 조합할 수 있다. 상이한 실시예는 각각 중점을 두고 설명되어 있지만, 중점을 두고 설명되지 않은 부분은 다른 실시예의 기재를 참조할 수 있다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 기존 기술에 대한 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하는 것과,
상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것과,
얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하는 것을 포함하는, 이미지 처리 방법.
제 1 항에 있어서,
입력 이미지의 이미지 특징을 취득하는 것과,
상기 입력 이미지의 이미지 특징에 대해 양자화 처리를 실행하여 상기 입력 이미지의 양자화 특징을 얻는 것과,
상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것을 추가로 포함하는, 이미지 처리 방법.
제 2 항에 있어서,
상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것은
상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득하는 것과,
상기 입력 이미지의 양자화 특징과의 제3 유사도가 높은 것부터 순서대로 K3(K3은 1 이상의 정수)개의 클러스터 중심을 결정하는 것과,
상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득하는 것과,
상기 K3개의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 상기 제4 유사도가 제3 임계값보다 큼에 따라, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가하는 것을 포함하는, 이미지 처리 방법.
제 3 항에 있어서,
상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것은
상기 입력 이미지의 이미지 특징과의 제4 유사도가 제3 임계값보다 큰 클러스터 중심이 존재하지 않음에 따라, 상기 입력 이미지의 양자화 특징 및 상기 이미지 데이터 세트 내의 이미지의 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 하나 이상의 새로운 클러스터를 얻는 것을 추가로 포함하는, 이미지 처리 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제1 인덱스는 상기 이미지의 수집 시간, 수집 장소, 상기 이미지를 수집하는 이미지 수집 장치의 식별자 및 상기 이미지 수집 장치의 장착 위치 중 하나 이상을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻는 것은
상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것과,
상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것과,
상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것을 포함하는, 이미지 처리 방법.
제 6 항에 있어서,
상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하는 것은
상기 이미지 데이터 세트 내의 복수의 상기 이미지를 그룹화하여 복수의 이미지 그룹을 얻는 것과,
상기 복수의 이미지 그룹 각각을, 각 특징 추출 모델에 입력되는 이미지 그룹이 상이하도록 복수의 특징 추출 모델에 입력하고, 상기 복수의 특징 추출 모델을 사용하여 상기 특징 추출 모델에 대응하는 이미지 그룹 내의 이미지의 특징 추출 처리를 병렬 분산적으로 실행하여 상기 복수의 이미지의 이미지 특징을 취득하는 것을 포함하는, 이미지 처리 방법.
제 6 항 또는 제 7 항에 있어서,
상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것은
상기 복수의 이미지의 이미지 특징을 그룹화 처리하여, 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는 것과,
상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것을 포함하는, 이미지 처리 방법.
제 8 항에 있어서,
상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 전에,
상기 복수의 제1 그룹 각각에 제2 인덱스를 배치하여 복수의 제2 인덱스를 얻는 것을 추가로 포함하고,
상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것은
상기 복수의 제2 인덱스 각각을 상기 양자화기에 할당되는 상기 제2 인덱스가 상이하도록 복수의 양자화기에 할당하는 것과,
상기 복수의 양자화기의 각각을 사용하여, 할당된 상기 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 병렬적으로 실행하는 것을 포함하는, 이미지 처리 방법.
제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 양자화 처리는 직적 양자화·부호화 처리를 포함하는, 이미지 처리 방법.
제 6 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻는 것은
상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것과,
상기 제1 유사도에 기초하여 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징인 것과,
상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것을 포함하는, 이미지 처리 방법.
제 11 항에 있어서,
상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것은
상기 K1 근방 이미지로부터, 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과,
상기 제1 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것을 포함하는, 이미지 처리 방법.
제 11 항에 있어서,
상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것은
상기 어느 하나의 이미지의 이미지 특징과 상기 어느 하나의 이미지의 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득하는 것과,
상기 제2 유사도에 기초하여, 상기 어느 하나의 이미지의 K2(K2는 1 이상 및 K1 이하의 정수) 근방 이미지를 결정하고, 상기 K2 근방 이미지의 이미지 특징은 상기 K1 근방 이미지 중 상기 어느 하나의 이미지의 이미지 특징과의 제2 유사도가 높은 순서의 K2개의 이미지 특징인 것과,
상기 K2 근방 이미지로부터, 상기 어느 하나의 이미지의 이미지 특징과의 상기 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택하는 것과,
상기 제2 이미지 세트 내의 모든 이미지와 상기 이미지 중 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것을 포함하는, 이미지 처리 방법.
제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하기 전에,
상기 이미지 데이터 세트 내의 상기 복수의 이미지의 양자화 특징을 그룹화 처리하여 하나 이상의 이미지의 양자화 특징을 포함하는 복수의 제2 그룹을 얻는 것을 추가로 포함하고,
상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것은
상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것을 포함하는, 이미지 처리 방법.
제 14 항에 있어서,
상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하기 전에,
상기 복수의 제2 그룹 각각에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻는 것을 추가로 포함하고,
상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것은
상기 제3 인덱스에 기초하여 상기 제3 인덱스에 대응하는 유사도 연산 태스크를 구축하고, 상기 유사도 연산 태스크는 상기 제3 인덱스에 대응하는 제2 그룹 내의 목표 이미지의 양자화 특징과 상기 목표 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것인 것과,
상기 복수의 제3 인덱스 각각에 대응하는 유사도 취득 태스크를 병렬 분산적으로 실행하는 것을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것과,
상기 클러스터 중심에 제4 인덱스를 배치하여 상기 제4 인덱스와 대응하는 클러스터 중심을 관련시켜 기억시키는 것을 추가로 포함하는, 이미지 처리 방법.
제 16 항에 있어서,
상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것은
상기 하나 이상의 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 상기 클러스터의 클러스터 중심을 결정하는 것을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하는 것은
상기 클러스터 내의 각 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트가 출현하는 시간 정보 및 위치 정보를 결정하는 것과,
상기 시간 정보와 위치 정보에 기초하여 상기 오브젝트의 시공간 궤적 정보를 결정하는 것을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여, 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것을 추가로 포함하는, 이미지 처리 방법.
제 19 항에 있어서,
상기 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여, 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것은
상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득하는 것과,
상기 이미 알려진 오브젝트의 양자화 특징과 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정하는 것과,
상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득하는 것과,
상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 당해 제6 유사도가 제4 임계값보다 큼에 따라, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정하는 것을 포함하는, 이미지 처리 방법. .
제 20 항에 있어서,
상기 신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여, 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하는 것은
상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다 작음에 따라, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정하는 것을 추가로 포함하는, 이미지 처리 방법.
복수의 이미지와, 상기 복수의 이미지에 각각 관련되고, 상기 이미지 내의 오브젝트의 시공간 데이터를 결정하기 위한 제1 인덱스를 포함하는 이미지 데이터 세트를 취득하기 위한 취득 모듈과,
상기 이미지 데이터 세트 내의 이미지에 대해 분산 클러스터링 처리를 실행하여 하나 이상의 클러스터를 얻기 위한 클러스터링 모듈과,
얻어진 상기 클러스터 내의 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트의 시공간 궤적 정보를 결정하기 위한 결정 모듈을 포함하는, 이미지 처리 장치.
제 22 항에 있어서,
입력 이미지의 이미지 특징을 취득하는 것과, 상기 입력 이미지의 이미지 특징에 대해 양자화 처리를 실행하여 상기 입력 이미지의 양자화 특징을 얻는 것과, 상기 입력 이미지의 양자화 특징 및 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심에 기초하여 상기 입력 이미지가 속하는 클러스터를 결정하는 것에 사용되는 인크리멘털 클러스터링 모듈을 추가로 포함하는, 이미지 처리 장치.
제 23 항에 있어서,
상기 인크리멘털 클러스터링 모듈은 추가로 상기 입력 이미지의 양자화 특징과 상기 분산 클러스터링 처리에 의해 얻어진 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제3 유사도를 취득하는 것과, 상기 입력 이미지의 양자화 특징과의 제3 유사도가 높은 것부터 순서대로 K3(K3은 1 이상의 정수)개의 클러스터 중심을 결정하는 것과, 상기 입력 이미지의 이미지 특징과 상기 K3개의 클러스터 중심의 이미지 특징의 제4 유사도를 취득하는 것과, 상기 K3개의 클러스터 중심 중 어느 하나의 클러스터 중심의 이미지 특징과 상기 입력 이미지의 이미지 특징의 제4 유사도가 가장 높고, 당해 제4 유사도가 제3 임계값보다 큰 경우, 상기 입력 이미지를 상기 어느 하나의 클러스터 중심에 대응하는 클러스터에 추가하는 것에 사용되는, 이미지 처리 장치.
제 24 항에 있어서,
상기 인크리멘털 클러스터링 모듈은 추가로, 상기 입력 이미지의 이미지 특징과의 제4 유사도가 제3 임계값보다 큰 클러스터 중심이 존재하지 않는 경우, 상기 입력 이미지의 양자화 특징 및 상기 이미지 데이터 세트 내의 이미지의 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 하나 이상의 새로운 클러스터를 얻는 것에 사용되는, 이미지 처리 장치.
제 22 항 내지 제 25 항 중 어느 한 항에 있어서,
상기 제1 인덱스는 상기 이미지의 수집 시간, 수집 장소, 상기 이미지를 수집하는 이미지 수집 장치의 식별자 및 상기 이미지 수집 장치의 장착 위치 중 하나 이상을 포함하는, 이미지 처리 장치.
제 22 항 내지 제 26 항 중 어느 한 항에 있어서,
상기 클러스터링 모듈은
상기 이미지 데이터 세트 내의 상기 이미지의 이미지 특징을 병렬 분산적으로 취득하기 위한 제1 분산 처리 유닛과,
상기 이미지 특징에 대해 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 위한 제2 분산 처리 유닛과,
상기 이미지 데이터 세트 내의 상기 이미지에 대응하는 양자화 특징에 기초하여 상기 분산 클러스터링 처리를 실행하여 상기 하나 이상의 클러스터를 얻기 위한 클러스터링 유닛을 포함하는, 이미지 처리 장치.
제 27 항에 있어서,
제1 분산 처리 유닛은 추가로, 상기 이미지 데이터 세트 내의 복수의 상기 이미지를 그룹화하여 복수의 이미지 그룹을 얻는 것과,
상기 복수의 이미지 그룹 각각을 각 특징 추출 모델에 입력되는 이미지 그룹이 상이하도록 복수의 특징 추출 모델에 입력하고, 상기 복수의 특징 추출 모델을 사용하여 상기 특징 추출 모델에 대응하는 이미지 그룹 내의 이미지의 특징 추출 처리를 병렬 분산적으로 실행하여 상기 복수의 이미지의 이미지 특징을 취득하는 것에 사용되는, 이미지 처리 장치.
제 27 항 또는 제 28 항에 있어서,
상기 제2 분산 처리 유닛은 추가로, 상기 복수의 이미지의 이미지 특징을 그룹화 처리하여 하나 이상의 이미지의 이미지 특징을 포함하는 복수의 제1 그룹을 얻는 것과,
상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻는 것에 사용되는, 이미지 처리 장치.
제 29 항에 있어서,
상기 제2 분산 처리 유닛은 추가로, 상기 복수의 제1 그룹의 이미지 특징의 양자화 처리를 병렬 분산적으로 실행하여 상기 이미지 특징에 대응하는 양자화 특징을 얻기 전에, 상기 복수의 제1 그룹 각각에 제2 인덱스를 배치하여 복수의 제2 인덱스를 얻는 것과,
상기 복수의 제2 인덱스 각각을 상기 양자화기에 할당되는 상기 제2 인덱스가 상이하도록 복수의 양자화기에 할당하는 것과,
상기 복수의 양자화기 각각을 사용하여, 할당된 상기 제2 인덱스에 대응하는 제1 그룹 내의 이미지 특징의 양자화 처리를 병렬적으로 실행하는 것에 사용되는, 이미지 처리 장치.
제 27 항 내지 제 30 항 중 어느 한 항에 있어서,
상기 양자화 처리는 직적 양자화·부호화 처리를 포함하는, 이미지 처리 장치.
제 27 항 내지 제 31 항 중 어느 한 항에 있어서,
상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것과,
상기 제1 유사도에 기초하여 상기 어느 하나의 이미지의 K1 근방 이미지를 결정하고, 상기 K1 근방 이미지의 양자화 특징은 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 높은 순서의 K1(K1은 1 이상의 정수)개의 양자화 특징인 것과,
상기 어느 하나의 이미지 및 상기 어느 하나의 이미지의 K1 근방 이미지를 사용하여 상기 분산 클러스터링 처리의 클러스터링 결과를 결정하는 것에 사용되는, 이미지 처리 장치.
제 32 항에 있어서,
상기 클러스터링 유닛은 추가로, 상기 K1 근방 이미지로부터 상기 어느 하나의 이미지의 양자화 특징과의 제1 유사도가 제1 임계값보다 큰 제1 이미지 세트를 선택하는 것과,
상기 제1 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것에 사용되는, 이미지 처리 장치.
제 32 항에 있어서,
상기 클러스터링 유닛은 추가로, 상기 어느 하나의 이미지의 이미지 특징과 상기 어느 하나의 이미지의 K1 근방 이미지의 이미지 특징의 제2 유사도를 취득하는 것과,
상기 제2 유사도에 기초하여, 상기 어느 하나의 이미지의 K2(K2는 1 이상, K1 이하의 정수) 근방 이미지를 결정하고, 상기 K2 근방 이미지의 이미지 특징은 상기 K1 근방 이미지 중 상기 어느 하나의 이미지의 이미지 특징과의 제2 유사도가 높은 순서의 K2개의 이미지 특징인 것과,
상기 K2 근방 이미지로부터, 상기 어느 하나의 이미지의 이미지 특징과의 상기 제2 유사도가 제2 임계값보다 큰 제2 이미지 세트를 선택하는 것과,
상기 제2 이미지 세트 내의 모든 이미지와 상기 어느 하나의 이미지를 동일한 오브젝트가 포함되어 있는 상태인 제1 상태로서 라벨링하고, 제1 상태로서 라벨링된 각 이미지에 기초하여 하나의 클러스터를 형성하는 것에 사용되는, 이미지 처리 장치.
제 32 항 내지 제 34 항 중 어느 한 항에 있어서,
상기 클러스터링 유닛은 추가로, 상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하기 전에, 상기 이미지 데이터 세트 내의 상기 복수의 이미지의 양자화 특징을 그룹화 처리하여, 하나 이상의 이미지의 양자화 특징을 포함하는 복수의 제2 그룹을 얻는 것에 사용되고,
상기 이미지 데이터 세트 내의 어느 하나의 이미지의 양자화 특징과 나머지 이미지의 양자화 특징의 제1 유사도를 취득하는 것은
상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것을 포함하는, 이미지 처리 장치.
제 35 항에 있어서,
상기 클러스터링 유닛은 추가로, 상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하기 전에 상기 복수의 제2 그룹 각각에 제3 인덱스를 배치하여 복수의 제3 인덱스를 얻는 것에 사용되고,
상기 제2 그룹 내의 이미지의 양자화 특징과 상기 나머지 이미지의 양자화 특징의 제1 유사도를 병렬 분산적으로 취득하는 것은
상기 제3 인덱스에 기초하여 상기 제3 인덱스에 대응하는 유사도 연산 태스크를 구축하고, 상기 유사도 연산 태스크는 상기 제3 인덱스에 대응하는 제2 그룹 내의 목표 이미지의 양자화 특징과 상기 목표 이미지를 제외한 모든 이미지의 양자화 특징의 제1 유사도를 취득하는 것인 것과,
상기 복수의 제3 인덱스 각각에 대응하는 유사도 취득 태스크를 병렬 분산적으로 실행하는 것을 포함하는, 이미지 처리 장치.
제 22 항 내지 제 36 항 중 어느 한 항에 있어서,
상기 클러스터 중심 결정 모듈은 상기 분산 클러스터링 처리에 의해 얻어진 상기 클러스터의 클러스터 중심을 결정하는 것과,
상기 클러스터 중심에 제4 인덱스를 배치하여 상기 제4 인덱스와 대응하는 클러스터 중심을 관련시켜 기억하는 것에 사용되는, 이미지 처리 장치.
제 37 항에 있어서,
상기 클러스터 중심 결정 모듈은 추가로, 상기 하나 이상의 클러스터 내의 각 이미지의 이미지 특징의 평균값에 기초하여 상기 클러스터의 클러스터 중심을 결정하는 것에 사용되는, 이미지 처리 장치.
제 37 항에 있어서,
상기 결정 모듈은 추가로, 상기 클러스터 내의 각 이미지에 관련된 제1 인덱스에 기초하여 상기 클러스터에 대응하는 오브젝트가 출현하는 시간 정보와 위치 정보를 결정하는 것과,
상기 시간 정보와 위치 정보에 기초하여 상기 오브젝트의 시공간 궤적 정보를 결정하는 것에 사용되는, 이미지 처리 장치.
제 22 항 내지 제 39 항 중 어느 한 항에 있어서,
신분 특징 라이브러리 내의 하나 이상의 오브젝트의 신분 특징에 기초하여, 각 상기 클러스터에 대응하는 오브젝트의 신분을 결정하기 위한 신분 결정 모듈을 추가로 포함하는, 이미지 처리 장치.
제 40 항에 있어서,
상기 신분 결정 모듈은 추가로, 상기 신분 특징 라이브러리 내의 이미 알려진 오브젝트의 양자화 특징을 취득하는 것과,
상기 이미 알려진 오브젝트의 양자화 특징과 상기 하나 이상의 클러스터의 클러스터 중심의 양자화 특징의 제5 유사도를 결정함과 함께, 상기 클러스터 중심의 양자화 특징과의 제5 유사도가 높은 순서의 K4개의 이미 알려진 오브젝트의 양자화 특징을 결정하는 것과,
상기 클러스터 중심의 이미지 특징과 대응하는 K4개의 이미 알려진 오브젝트의 이미지 특징의 제6 유사도를 취득하는 것과,
상기 K4개의 이미 알려진 오브젝트 중 하나의 이미 알려진 오브젝트의 이미지 특징과 상기 클러스터 중심의 이미지 특징의 제6 유사도가 가장 높고, 당해 제6 유사도가 제4 임계값보다 큰 경우, 상기 제6 유사도가 가장 높은 상기 하나의 이미 알려진 오브젝트를 상기 클러스터 중심에 대응하는 클러스터에 매칭되는 것으로 결정하는 것에 사용되는, 이미지 처리 장치.
제 41 항에 있어서,
상기 신분 결정 모듈은 추가로, 상기 K4개의 이미 알려진 오브젝트의 이미지 특징과 대응하는 클러스터 중심의 이미지 특징의 제6 유사도의 전부가 상기 제4 임계값보다 작은 경우, 상기 이미 알려진 오브젝트에 매칭되는 클러스터가 존재하지 않는 것으로 결정하는 것에 사용되는, 이미지 처리 장치.
프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러냄으로써, 제1 항 내지 제21 항 중 어느 한 항의 이미지 처리 방법을 실행하도록 구성되는, 전자 기기.
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 21 항 중 어느 한 항의 이미지 처리 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 가동하면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 21 항 중 어느 한 항의 이미지 처리 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.