KR102363811B1 - 이미지 검색 방법, 장치, 기기 및 판독 가능 저장 매체 - Google Patents

Abstract

본 출원은 이미지 검색 방법, 장치, 기기 및 판독 가능 저장 매체를 제공하며, 상기 방법은, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 단계(Sa101) - 차원 축소 특징의 차원은 컨볼루션 계층 특징의 차원보다 작음 - ; 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계(Sa102); 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계(Sa103); 및 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지에 대해 검색을 진행하는 단계(Sa104)를 포함한다.

Description

이미지 검색 방법, 장치, 기기 및 판독 가능 저장 매체

관련 출원의 상호 참조

본 출원은 2017년 09월 27일에 중국 특허청에 제출한 출원 번호가 201710891875.9이고, 출원 명칭이 “이미지 검색 방법, 장치 및 컴퓨터 판독 가능 저장 매체”인 중국특허 출원의 우선권을 요청하며, 그 전부 내용을 인용하여 본 출원에 결합하였다.

본 출원은 컴퓨터 시각 분야, 특히 이미지 검색 방법, 장치, 기기 및 판독 가능 저장 매체에 관한 것이다.

이미지 검색은 하나의 검색될 이미지를 정하고, 데이터베이스를 검색하여, 데이터베이스에서 상기 검색될 이미지에 가장 가까운 이미지를 리턴하는 작업을 말한다. 이미지 검색은 컴퓨터 시각 및 이미지 분석의 중요한 문제이다. 이미지 검색은 상품 추천, 보안 모니터링 및 의료 진단과 같은 많은 분야에서 중요한 응용을 가지고 있다.

비록 업계에서 이미지 검색 연구에 많은 노력을 기울이고 있지만, 유감스럽게도, 이미지 검색은 여전히 복잡하고 어려운 문제이다. 이미지 검색의 검색 정확도, 효율은 많은 요인의 영향을 받으며, 이는, 한 측면으로, 복잡한 이미지 배경이 종종 관심 영역에 심각한 간섭을 일으켜, 검색 정확도에 영향을 주기 때문이고; 다른 한 측면으로, 대규모 이미지 검색 과정에서, 이미지는 종종 백만 레벨이나 심지어는 더 큰 레벨에 도달하지만, 이미지 검색이 실시간 성능에 대한 요구 또한 매우 높은 작업이므로, 이미지 검색의 알고리즘이 매우 효율적이고 빠른 것을 요구하고 있다. 그러나, 기존의 많은 이미지 검색 알고리즘은 종종 복잡한 배경 또는 비교적 작은 관심 영역(Region Of Interest, ROI)을 가진 이미지에 대해 효과적인 검색 방안을 정확하고 효율적으로 제공할 수 없으므로, 나아가, 좋은 특징을 추출하여 검색을 진행하기 어렵다.

본 출원은 복잡한 배경 및 작은 ROI 중 적어도 하나를 갖는 이미지를 정확하고 효율적으로 검색하기 위한 이미지 검색 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다.

본 출원의 제1 측면은 이미지 검색 방법을 제공하며, 상기 방법은, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 단계 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계; 및 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계를 포함한다.

본 출원의 제2 측면은 이미지 검색 장치를 제공하며, 상기 장치는, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻도록 구성되는 차원 축소 모듈 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻도록 구성되는 클러스터링 모듈; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻도록 구성되는 융합 모듈; 및 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하도록 구성되는 검색 모듈을 포함한다.

본 출원의 제3 측면은 기기를 제공하며, 메모리, 프로세서 및 메모리에 저장되고 프로세서 상에서 작동될 수 있는 컴퓨터 프로그램을 포함하며, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 다음의 단계를 구현한다. 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 단계 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계; 및 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계를 구현한다.

본 출원의 실시예의 제4 측면은 컴퓨터 판독 가능 저장 매체를 제공하며, 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 다음의 단계를 구현한다. 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 단계 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계; 및 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계를 구현한다.

상기 본 출원에서 제공되는 기술 방안으로부터 알 수 있다시피, 한 측면으로, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행함으로써, ROI가 임의의 형상으로 변경 될 수 있도록 하여, 이미지 검색 결과에 대한 노이즈의 영향을 감소시키며; 다른 한 측면으로, 각 차원 축소 특징에 기반하여 클러스터링 동작을 진행함으로써, 복수 개의 클러스터링 영역 특징을 획득하여, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 최대한 감소시킨다.

본 출원의 실시예에서의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 실시예 또는 종래 기술에 대한 설명에 필요한 도면을 간략하게 소개하며, 명백하게, 아래의 설명에서의 도면은 본 출원의 일부 실시예일 뿐, 본 기술 분야의 통상의 기술자는, 창의적 작업이 없이도, 이러한 도면에 따라 다른 도면을 획득할 수 있다.
도 1a는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 흐름 모식도이다.
도 1b는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 흐름 모식도이다.
도 1c는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 흐름 모식도이다.
도 2는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 3은 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 4는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 5는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 6은 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 7은 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 8은 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 9a는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 9b는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이다.
도 10은 본 출원의 실시예에서 제공되는 기기의 구조 모식도이다.

아래의 서술은 설명을 위한 것이지 한정하려는 것은 아니며, 특정 시스템 구조, 기술과 같은 세부 사항은 본 출원의 실시예를 완전히 이해하기 위해 제공된다. 그러나, 본 분야의 기술자에게 있어서 구체적인 세부 사항이 없는 다른 실시예에서도 본 출원을 구현할 수 있음은 명백할 것이다. 다른 경우, 공지된 시스템, 장치, 회로 및 방법에 대한 상세한 설명을 생략하여 불필요한 세부 사항이 본 출원에 대한 설명을 방해하지 않도록 한다.

본 출원의 기술 방안을 설명하기 위해, 아래에 구체적인 실시예로 설명을 진행한다.

도면 1a는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 흐름 모식도이며, 아래의 단계 Sa101 내지 단계 Sa104를 포함하며, 아래에서 상세히 설명한다.

단계 Sa101에 있어서, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻으며, 여기서, 차원 축소 특징의 차원은 컨볼루션 계층 특징의 차원보다 작다.

검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하는 것은 다음과 같은 사실을 기반으로 한다. 1) 다중 공선성(multi collinearity)과 예측 변수 사이는 서로 연관되어 있으며, 예를 들어, 다중 공선성은 솔루션 공간(solution space)의 불안정성을 유발하므로, 결과의 불일치를 유발할 수 있다. 2) 고차원 공간 자체는 희소성이 있으며, 연구에 따르면, 1 차원 정규 분포는 값의 68 %가 양의 표준 편차와 음의 표준 편차 사이에 있으며, 10 차원 공간에서는 값의 0.02 %만이 양의 표준 편차와 음의 표준 편차 사이에 있다. 3) 너무 많은 변수가 검색 규칙의 구축을 방해한다. 4) 변수 측면에서만의 분석은 변수 사이의 잠재적 관계를 소홀히 할 수 있으며, 예를 들어, 복수 개의 예측 변수는 데이터의 한 측면 특징만을 반영하는 하나의 그룹에 속할 수 있다. 5) 가장 중요한 정보는 고차원 벡터의 앞 부분에 집중되어 있으며, 뒷 부분은 종종 노이즈이다. 6) 차원 축소 후, 특징에 대해 빠르고 효율적으로 클러스터링을 진행하고, 노이즈의 영향을 감소한다. 따라서, 차원 축소 동작의 목적에는, 예측 변수의 개수를 감소, 이러한 예측 변수가 서로 독립적이 되도록 함, 및 결과를 설명하는 프레임을 제공하는 등이 포함된다.

단계 Sa102에 있어서, 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는다.

단계 Sa103에 있어서, 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는다.

단계 Sa104에 있어서, 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지에 대해 검색을 진행한다.

상기 도면 1a에 도시된 이미지 검색 방법으로부터 알수 있다시피, 한 측면으로, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행함으로써, ROI가 임의의 형상으로 변경될 수 있어, 이미지 검색 결과에 대한 노이즈의 영향을 감소시키며; 다른 한 측면으로, 각 차원 축소 특징에 기반하여 클러스터링 동작을 진행함으로써, 복수 개의 클러스터링 영역 특징을 획득하여, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 최대한 감소시킨다.

도면 1b는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 흐름 모식도이며, 아래의 단계 Sb101 내지 Sb105를 포함하며, 다음과 같이 상세히 설명한다.

단계 Sb101에 있어서, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻으며, 여기서, 차원 축소 특징의 차원은 컨볼루션 계층 특징의 차원보다 작다.

검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하기 전에, 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 각 컨볼루션 계층 특징을 얻는 단계를 더 포함한다. 여기서, 뉴럴 네트워크를 학습함으로써, 컨볼루션 뉴럴 네트워크를 획득하고, 즉, 이미지 분류 작업 또는 거리 학습 작업을 통해, 뉴럴 네트워크 가중치를 미리 학습한 다음, 이 뉴럴 네트워크 구조의 전체 연결 계층을 포기하고, 컨볼루션 커널의 가중치 및 오프셋 등을 포함하는 컨볼루션 계층의 파라미터만을 보존하여, 컨볼루션 뉴럴 네트워크를 획득하고; 그 다음, 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 컨볼루션 뉴럴 네트워크로 하여금 검색될 이미지의 각 컨볼루션 계층 특징을 출력하도록 한다. 여기서, 컨볼루션 뉴럴 네트워크는 컨볼루션 계층 및 다운 샘플링 계층을 포함하고, 여기서 각 컨볼루션 계층 특징은 검색될 이미지에서 픽셀 영역에 대응되는 특징을 각각 나타낸다. 예를 들어, 픽셀 영역이 8*8 픽셀 단위이면, 컨볼루션 계층 특징의 개수는(검색될 이미지의 높이에 포함된 픽셀 개수/8)*(검색될 이미지의 너비에 포함된 픽셀 개수/8)이며; 다른 예를 들어, 픽셀 영역이 16*16 픽셀 단위이면, 컨볼루션 계층 특징의 개수는(검색될 이미지의 높이에 포함된 픽셀 개수/16)*(검색될 이미지의 너비에 포함된 픽셀 개수/16) 등이다.

설명해야 할 것은, 상기 실시예에서 각 차원 축소 특징의 차원은 검색의 정확도에 따라 결정될 수 있다. 일반적으로, 차원 축소 이전의 각 컨볼루션 계층 특징의 차원은 차원 축소 특징의 차원보다 훨씬 더 클 수 있으며, 예를 들어, 차원 축소 이전의 각 컨볼루션 계층 특징의 차원은 256 또는 512이며, 차원 축소 특징의 차원은 5일 수 있다.

실시예로부터 알 수 있다시피, 한 측면으로, 각 컨볼루션 계층 특징을 추출하고, 컨볼루션 뉴럴 네트워크의 컨볼루션 계층 특징의 강한 표현 능력을 이용하여, 시맨틱이 유사한 이미지를 특징 공간에서 유사하게 함으로써, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 감소시키며, 따라서 이미지 검색의 정확도 또는 품질을 개선시키며; 다른 한 측면으로, 검색될 이미지의 컨볼루션 계층 특징에 대해 차원 축소 동작을 진행함으로써, 검색될 이미지의 ROI로 하여금 임의의 형태로 변경되도록 하여, 이미지 검색 결과에 대한 노이즈의 영향을 감소시킨다.

본 출원실시예에서, 검색될 이미지의 각 컨볼루션 계층 특징은 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 D 차원 특징의 집합이며, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 경우, 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 D 차원 특징을 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 C 차원 특징으로 감소시키는 것일 수 있으며, 명백하게, 여기서 C는 D보다 작고, H 및 W는 각각 검색될 이미지의 높이 및 너비이다.

단계 Sb102에 있어서, 각 차원 축소 특징 사이의 거리에 기반하여, 차원 축소 특징을 클러스터링하여, 복수 개의 특징 클러스터링 센터를 얻는다.

여기서, 검색될 이미지의 각 차원 축소 특징에서 동등한 특징 사이의 거리를 갖는 차원 축소 특징을 하나의 특징 클러스터링 센터로 클러스터링하여, 복수 개의 특징 클러스터링 센터를 구성한다. 여기서, 2 개의 특징 사이의 거리가 설정 조건을 만족할 때, 예를 들어, 기설정 거리 임계값 범위 내에서, 2 개의 특징 사이의 거리는 동등한 것으로 결정될 수 있다.

단계 Sb103에 있어서, 단계 Sb102에서 얻은 복수 개의 특징 클러스터링 센터의 각 특징 클러스터링 센터에 대해, 각 특징 클러스터링 센터의 클러스터링 특징으로서 상응하는 컨볼루션 계층 특징의 최대 값을 각각 샘플링한다.

설명해야 할 것은, 상기 단계 Sb103에서, 상응하는 컨볼루션 계층 특징은 각 특징 클러스터링 센터에 포함된 각 차원 축소 특징에 대응되는 컨볼루션 계층 특징을 의미하고, 클러스터링 특징의 개수는 32 개이며, 클러스터링 특징의 개수는 또한 검색의 정확도에 따라 다른 수치를 취할 수도 있으며, 여기서는 다만 예로서 설명된다. 상기 각 차원 축소 특징에 기반하여 클러스터링 동작을 진행함으로써, 복수 개의 클러스터링 영역 특징을 획득하여, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 최소화시킨다.

단계 Sb104에 있어서, 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는다.

여기서, 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계는, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 회귀 처리를 진행하여, 각 회귀 클러스터링 특징을 얻는 단계; 및 각 회귀 클러스터링 특징을 합쳐, 글로벌 특징을 얻는 단계를 포함할 수 있다. 여기서, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 각각 회귀 처리를 진행하여, 각 회귀 클러스터링 특징을 얻는 단계는, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징 각각에 대해 균일화 처리, 미백 처리, 2차 균일화 처리를 순차적으로 진행하여, 각 회귀 클러스터링 특징을 얻는 단계를 포함한다.

단계 Sb105에 있어서, 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지에 대해 검색을 진행한다.

본 출원 하나의 실시예로서, 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계는, 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계 - K는 1보다 크거나 같은 정수임 - 를 포함할 수 있다.

여기서, 글로벌 특징과 데이터베이스 중 이미지의 특징 사이의 거리에 기반하여, 데이터베이스 중 이미지와 검색될 이미지의 유사도에 대해 정렬함으로써, 검색될 이미지 유사도가 가장 높은 K 개의 이미지를 획득한다.

데이터베이스 중 이미지의 이미지 특징과 글로벌 특징 사이의 거리가 작을수록, 이 이미지와 검색될 이미지가 더 유사하거나 유사도가 더 높다는 것을 표시하므로, 상기 실시예는 이러한 원칙에 따라, 데이터베이스 중 이미지와 검색될 이미지의 유사도를 정렬함으로써, 검색될 이미지 유사도가 가장 높은 K 개의 이미지를 획득한다.

여기서, 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계는, 글로벌 특징과 데이터베이스 중 각 이미지 특징 사이의 거리를 계산하는 단계; 및 글로벌 특징과 데이터베이스 중 각 이미지 특징 사이의 거리에 기반하여, 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지로서 데이터베이스에서 글로벌 특징과의 거리가 가장 작은 K 개의 이미지를 획득하는 단계를 포함할 수 있다.

데이터베이스로부터 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득한 후, 상기 방법은, K 개의 이미지 및 검색될 이미지와의 유사도를 제시하는 단계를 더 포함한다.

도면 1a 및 도면 1b 예의 이미지 검색 방법으로부터 알 수 있다시피, 한 측면으로, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행함으로써, ROI가 임의의 형상으로 변경 될 수 있어, 이미지 검색 결과에 대한 노이즈를 감소시키며; 다른 한 측면으로, 각 차원 축소 특징에 기반하여 클러스터링 동작을 진행함으로써, 복수 개의 클러스터링 영역 특징을 획득하여, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 최소화시킨다.

도 1c는 본 출원의 실시예에서 제공되는 이미지 검색 방법의 선택적인 구현의 흐름 모식도이며, 단계 Sc101 내지 단계 Sc107을 포함하며, 다음과 같이 상세히 설명한다.

단계 Sc101에 있어서, 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 각 컨볼루션 계층 특징을 얻는다.

여기서, 뉴럴 네트워크를 학습함으로써, 컨볼루션 뉴럴 네트워크를 획득하고, 즉, 이미지 분류 작업 또는 거리 학습 작업을 통해, 뉴럴 네트워크 가중치를 미리 학습한 다음, 이 뉴럴 네트워크 구조의 전체 연결 계층을 포기하고, 컨볼루션 커널의 가중치 및 오프셋 등을 포함하는 컨볼루션 계층의 파라미터만을 보존하여, 컨볼루션 뉴럴 네트워크를 획득하고; 그 다음, 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 검색될 이미지의 각 컨볼루션 계층 특징을 출력하도록 하며, 여기서, 컨볼루션 뉴럴 네트워크는 컨볼루션 계층 및 다운 샘플링 계층을 포함하며, 여기서 각 컨볼루션 계층 특징은 검색될 이미지에서 픽셀 영역에 대응되는 특징을 각각 나타낸다. 예를 들어, 픽셀 영역이 8*8 픽셀 단위이면, 컨볼루션 계층 특징의 개수는(검색될 이미지의 높이에 포함된 픽셀 개수/8)*(검색될 이미지의 너비에 포함된 픽셀 개수/8)이며; 다른 예를 들어, 픽셀 영역이 16*16 픽셀 단위이면, 컨볼루션 계층 특징의 개수는(검색될 이미지의 높이에 포함된 픽셀 개수/16)*(검색될 이미지의 너비에 포함된 픽셀 개수/16) 등이다.

단계 Sc102에 있어서, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻으며, 여기서, 차원 축소 특징의 차원은 컨볼루션 계층 특징의 차원보다 작다.

본 출원하나의 실시예로서, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 것은, 주성분 분석(Principal Component Analysis, PCA) 방법을 사용하여 차원 축소를 진행하는 것일 수 있다. PCA 방법은 차원 축소 이전의 n 개의 이전 특징을 더 적은 개수의 새로운 m 개의 특징으로 교체하는 것이며, 새로운 특징은 이전 특징의 선형 조합이며, 이러한 선형 조합은 표본 분산(sample variance)을 최대화하여, 새로운 m 개의 특징을 가능한 한 서로 관련시키지 않도록 하며, 이전 특징에서 새로운 특징의 맵핑은 데이터에서의 고유한 변이성을 캡처한다.

설명해야 할 것은, 본 출원에서 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하는 것은 상기 PCA 방법에 한정되지 않으며, 요인 분석 또는 사용자 정의 복합체 등과 같은 다른 방법을 사용하여 구현될 수도 있으며, 따라서, 상기 PCA 방법은 본 출원을 한정하기 위해 사용되지 않는다.

본 출원실시예에서, 검색될 이미지의 각 컨볼루션 계층 특징은 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 D 차원 특징의 집합이며, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 경우, 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 D 차원 특징을 이미지 공간의 H*W 개의 위치에서 검색될 이미지의 C 차원 특징으로 감소시키는 것일 수 있으며, 명백하게, 여기서 C는 D보다 작고, H 및 W는 각각 검색될 이미지의 높이 및 너비이다.

단계 Sc103에 있어서, 각 차원 축소 특징 사이의 거리에 기반하여, 차원 축소 특징을 클러스터링하여, 복수 개의 특징 클러스터링 센터를 얻는다.

여기서, 검색될 이미지의 각 차원 축소 특징에서 동등한 특징 사이의 거리를 갖는 차원 축소 특징을 하나의 특징 클러스터링 센터로 클러스터링하여, 최종적으로 복수 개의 특징 클러스터링 센터를 구성한다. 여기서, 2 개의 특징 사이의 거리가 설정 조건을 만족할 때, 예를 들어, 기설정 거리 임계값 범위 내에서, 2 개의 특징 사이의 거리는 동등한 것으로 결정할 수 있다.

단계 Sc104에 있어서, 단계 Sc103에서 얻은 복수 개의 특징 클러스터링 센터의 각 특징 클러스터링 센터에 대해, 각 특징 클러스터링 센터의 클러스터링 특징으로서 상응하는 컨볼루션 계층 특징의 최대값을 각각 샘플링한다.

설명해야 할 것은, 상기 단계 Sb104에서, 상응하는 컨볼루션 계층 특징은 각 특징 클러스터링 센터에 포함된 각 차원 축소 특징에 대응되는 컨볼루션 계층 특징을 의미하고, 클러스터링 특징의 개수는 32 개이며, 클러스터링 특징의 개수는 또한 검색의 정확도에 따라 다른 수치를 취할 수도 있으며, 여기서는 다만 예로서 설명된다.

상기 각 차원 축소 특징에 기반하여 클러스터링 동작을 진행함으로써, 복수 개의 클러스터링 영역 특징을 획득하여, 이미지 특징에 대한 조명, 각도, 차폐 등 요인으로 인한 영향을 최소화시킨다.

단계 Sc105에 있어서, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 각각 회귀 처리를 진행하여, 각 회귀 클러스터링 특징을 얻는다.

여기서, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 각각 회귀 처리를 진행하여, 각 회귀 클러스터링 특징을 얻는 단계는, 복수 개의 클러스터링 특징 중의 각 클러스터링 특징 각각에 대해 균일화 처리, 미백 처리, 2차 균일화 처리를 순차적으로 진행하여, 각 회귀 클러스터링 특징을 얻는 단계를 포함한다.

단계 Sc106에 있어서, 각 회귀 클러스터링 특징을 합쳐, 글로벌 특징을 얻는다.

단계 Sc107에 있어서, 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지에 대해 검색을 진행한다.

본 출원 하나의 실시예로서, 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계는, 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계 - K는 1보다 크거나 같은 정수임 - 를 포함할 수 있다.

여기서, 글로벌 특징과 데이터베이스 중 이미지의 특징 사이의 거리에 기반하여, 데이터베이스 중 이미지와 검색될 이미지의 유사도에 대해 정렬함으로써, 검색될 이미지 유사도가 가장 높은 K 개의 이미지를 획득한다.

데이터베이스 중 이미지의 이미지 특징과 글로벌 특징 사이의 거리가 작을수록, 이 이미지와 검색될 이미지가 더 유사하거나 유사도가 더 높으므로, 상기 실시예는 이러한 원칙에 따라, 데이터베이스 중 이미지와 검색될 이미지의 유사도를 정렬함으로써, 검색될 이미지 유사도가 가장 높은 K 개의 이미지를 획득한다.

여기서, 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계는, 글로벌 특징과 데이터베이스 중 각 이미지 특징 사이의 거리를 계산하는 단계; 및 글로벌 특징과 데이터베이스 중 각 이미지 특징 사이의 거리에 기반하여, 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지로서 데이터베이스에서 글로벌 특징 사이의 거리가 가장 작은 K 개의 이미지를 획득하는 단계를 포함할 수 있다.

데이터베이스로부터 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득한 후, 상기 방법은, K 개의 이미지 및 검색될 이미지와의 유사도를 제시하는 단계를 더 포함한다.

도 2는 본 출원의 실시예에서 제공되는 이미지 검색 장치의 선택적인 구성 구조 모식도이며, 차원 축소 모듈(201), 클러스터링 모듈(202), 융합 모듈(203) 및 검색 모듈(204)을 포함하며, 다음과 같이 상세히 설명한다.

차원 축소 모듈(201)은 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻도록 구성되고, 여기서, 차원 축소 특징의 차원은 컨볼루션 계층 특징의 차원보다 작으며, 차원 축소 특징의 차원은 5일 수 있다.

클러스터링 모듈(202)은 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻도록 구성되고, 클러스터링 특징의 개수는 32일 수 있다.

융합 모듈(203)은 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻도록 구성된다.

검색 모듈(204)은 글로벌 특징에 기반하여, 데이터베이스에서 검색될 이미지에 대해 검색을 진행하도록 구성된다.

설명해야 할 것은, 본 출원의 실시예에서 제공되는 장치는, 본 출원의 방법 실시예와 동일한 개념에 기반하므로, 생성된 기술적 효과는 본 출원의 방법 실시예와 동일하며, 자세한 내용은 본 출원의 방법 실시예의 설명을 참조하며, 여기서 더 이상 설명하지 않는다.

도 2에 도시된 이미지 검색 장치는, 도면 3에 도시된 이미지 검색 장치와 같은 입력 모듈(301)을 더 포함할 수 있다. 입력 모듈(301)은 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 각 컨볼루션 계층 특징을 얻도록 구성되고, 여기서, 각 컨볼루션 계층 특징은 검색될 이미지에서 픽셀 영역에 대응되는 특징을 각각 나타낸다.

도 2 에 도시된 클러스터링 모듈(202)은, 도 4에 도시된 이미지 검색 장치와 같은 제1 처리 유닛(401) 및 샘플링 유닛(402)을 포함할 수 있다.

제1 처리 유닛(401)은 각 차원 축소 특징 사이의 거리에 기반하여, 차원 축소 특징을 클러스터링하여, 복수 개의 특징 클러스터링 센터를 얻는다.

샘플링 유닛(402)은 복수 개의 특징 클러스터링 센터의 각 특징 클러스터링 센터에 대해, 각 특징 클러스터링 센터의 클러스터링 특징으로서 상응하는 컨볼루션 계층 특징의 최대 값을 각각 샘플링한다.

도 2에 도시된 융합 모듈(203)은, 도면 5에 도시된 이미지 검색 장치와 같은 회귀 처리 유닛(501) 및 추가 유닛(502)을 포함할 수 있다.

회귀 처리 유닛(501)은 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 각각 회귀 처리를 진행하여, 각 회귀 클러스터링 특징을 얻도록 구성된다.

추가 유닛(502)은 각 회귀 클러스터링 특징을 합쳐, 글로벌 특징을 얻도록 구성된다.

도 5에 도시된 회귀 처리 유닛(501)은 도 6에 도시된 이미지 검색 장치와 같은 제2 처리 유닛(601)을 포함할 수 있다. 제2 처리 유닛(601)은 복수 개의 클러스터링 특징 중의 각 클러스터링 특징 각각에 대해 균일화 처리, 미백 처리, 2차 균일화 처리를 순차적으로 진행하여, 각 회귀 클러스터링 특징을 얻도록 구성된다.

도 2에 도시된 검색 모듈(204)은 도 7에 도시된 이미지 검색 장치와 같은 제1 획득 유닛(701)을 포함할 수 있다. 제1 획득 유닛(701)은 글로벌 특징에 기반하여, 데이터베이스로부터 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하도록 구성되고, 여기서, K는 1보다 크거나 같은 정수이다.

도 7에 도시된 제1 획득 유닛(701)은, 도 8에 도시된 이미지 검색 장치와 같은 계산 유닛(801) 및 제2 획득 유닛(802)을 포함할 수 있고, 여기서, 계산 유닛(801)은 글로벌 특징과 데이터베이스 중 각 이미지 특징 사이의 거리를 계산하도록 구성되고; 제2 획득 유닛(802)은 글로벌 특징에 기반하여, 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지로서 데이터베이스로부터 글로벌 특징 사이의 거리가 가장 작은 K 개의 이미지를 획득한다,

도 7 또는 도 8에 도시된 이미지 검색 장치는, 도 9a 또는 도 9b에 도시된 이미지 검색 장치와 같은 제시 모듈(901)을 더 포함할 수 있다. 제시 모듈(901)은 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지 및 검색될 이미지와의 유사도 각각을 제시하도록 구성된다.

도 10은 본 출원의 실시예에서 제공되는 기기의 선택적인 구조 모식도이다. 도 10에 도시된 바와 같이, 이 실시예의 기기(10)는 프로세서(100), 메모리(101) 및 메모리(101)에 저장되고 프로세서(100)에서 작동될 수 있는 이미지 검색 방법의 프로그램과 같은 컴퓨터 프로그램(102)을 포함한다. 프로세서(100)는 컴퓨터 프로그램(102)을 실행할 때, 도 1a에 도시된 단계 Sa101 내지 단계 Sa104와 같은 상기 이미지 검색 방법의 실시예의 단계를 구현한다. 또는, 프로세서(100)는 컴퓨터 프로그램(102)을 실행할 때 상기 각 장치 실시예에서 도 2에 도시된 차원 축소 모듈(201), 클러스터링 모듈(202), 융합 모듈(203) 및 검색 모듈(204)의 기능과 같은 각 모듈/유닛의 기능을 구현한다.

예시적으로, 이미지 검색 방법의 컴퓨터 프로그램(102)은, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻고, 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작으며; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻으며; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻으며; 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하도록 실행된다. 컴퓨터 프로그램(102)은 하나 또는 복수 개의 모듈/유닛으로 분할 될 수 있으며, 하나 또는 복수 개의 모듈/유닛은 메모리(101)에 저장되며, 본 출원을 완성하기 위해 프로세서(100)에 의해 실행된다. 하나 또는 복수 개의 모듈/유닛은 특정 기능을 완료할 수 있는 일련의 컴퓨터 프로그램 명령어 세그먼트일 수 있고, 이 명령어 세그먼트는 컴퓨터 프로그램(102)이 계산 기기(10)에서의 실행 과정을 설명하도록 구성된다. 예를 들어, 컴퓨터 프로그램(102)은 차원 축소 모듈(201), 클러스터링 모듈(202), 융합 모듈(203) 및 검색 모듈(204)의 기능(가상 장치 중의 모듈)으로 분할 될 수 있으며, 각 모듈 기능은 다음과 같다. 차원 축소 모듈(201)은 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻도록 구성되고, 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작으며; 클러스터링 모듈(202)은 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻도록 구성되며; 융합 모듈(203)은 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻도록 구성되고; 검색 모듈(204)은 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하도록 구성된다.

기기(10)는 프로세서(100) 및 메모리(101)를 포함하지만 이에 한정되지 않는다. 본 기술 분야의 기술자는 도 10이 다만 기기(10)의 예이고, 기기(10)에 대한 한정을 하지 않으며, 도면에 도시된 것보다 더 많거나 더 적은 구성 요소를 포함하거나, 일부 구성 요소를 조합하거나, 상이한 구성 요소를 포함할 수 있으며, 예를 들어, 기기는 입출력 기기, 네트워크 액세스 기기, 버스 등을 더 포함할 수도 있다는 것을 이해할 것이다.

프로세서(100)는 중앙 처리 장치(Central Processing Unit, CPU)일 수 있고, 다른 범용 프로세서, 디지털 신호 프로세서 (Digital Signal Processor, DSP), 주문형 집적 회로 (Application Specific Integrated Circuit, ASIC), 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 소자, 분리형 게이트 또는 트랜지스터 논리 소자, 분리형 하드웨어 컴포넌트 등일 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수 있다.

메모리(101)는 기기(10)의 하드 디스크 또는 메모리와 같은 기기(10)의 내부 저장 유닛일 수 있다. 메모리(101)는 기기(10)에 장착된 플러그인 하드 디스크, 스마트 메모리 카드(Smart Media Card, SMC), SD(Secure Digital) 카드, 플래시 카드(Flash Card) 등과 같은, 기기(10)의 외부 저장 기기일 수도 있다. 더 나아가, 메모리(101)는 기기(10)의 내부 저장 유닛 및 외부 저장 기기를 포함할 수 있다. 메모리(101)는 컴퓨터 프로그램, 기기가 필요로 하는 다른 프로그램 및 데이터를 저장하도록 구성된다. 메모리(101)는 또한 출력되거나 출력될 데이터를 일시적으로 저장하도록 구성될 수 있다.

예시적인 실시예에서, 본 출원의 실시예는 또한, 컴퓨터 판독 가능 저장 매체를 제공하며, 예를 들어, 컴퓨터 프로그램의 메모리(101)를 포함하고, 상기 컴퓨터 프로그램은 전술한 이미지 검색 방법의 상기 단계를 완료하기 위해 기기 중의 프로세서(100)에 의해 실행된다. 컴퓨터 판독 가능 저장 매체는 FRAM, ROM, PROM, EPROM, EEPROM, Flash Memory, 자기 표면 메모리, 광 디스크 또는 CD-ROM 등 메모리일 수 있으며; 또한 휴대폰, 컴퓨터, 태블릿, 개인 디지털 어시스턴트와 같은 상기 메모리 중 하나 또는 임의의 조합을 포함하는 다양한 기기일 수도 있다.

컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서, 이 컴퓨터 프로그램은 프로세서에 의해 작동될 때, 본 출원의 상기 실시예에서 제공되는 이미지 검색 방법을 실행한다.

본 기술 분야의 기술자는 설명의 편의성 및 간결성을 위해 전술 한 기능 유닛 또는 모듈의 분할이 예로서 설명됨을 명확하게 이해할 수 있으며, 실제 응용에서, 전술 한 기능 할당은 필요에 따라 상이한 기능 유닛 또는 모듈에 의해 완료 될 수 있으며, 즉, 장치의 내부 구조는 전술 한 기능의 전부 또는 일부를 완료하기 위해 상이한 기능 유닛 또는 모듈로 분할된다. 실시예에서의 각 기능 유닛, 모듈은 하나의 처리 유닛에 통합될 수 있거나 각 유닛은 물리적으로 단독으로 존재할 수 있으며, 또는 2 개 또는 2 개 이상의 유닛이 하나의 유닛으로 통합될 수 있으며, 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다. 또한, 각 기능 유닛, 모듈의 구체적인 명칭은 다만 서로의 구별을 용이하게 하기 위한 것일뿐, 본 출원의 보호 범위를 한정하려는 것은 아니다. 상기 시스템에서 유닛, 모듈의 구체적인 작업 과정은, 전술한 방법 실시예에서의 대응되는 과정을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.

상기 실시예에서, 각 실시예의 설명은 각각의 중점을 가지며, 어떤 실시예에서 상세하게 설명 또는 기재하지 않은 부분에 대해서는, 기타 실시예의 관련 설명을 참조할 수 있다.

본 기술분야의 통상의 기술자는 본문에서 개시된 실시예에서 설명된 각 예시적 유닛 및 알고리즘 단계를 결합하여 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합을 통해 구현될 수 있음을 이해할 수 있다. 이러한 기능이 하드웨어 방식으로 수행될지 아니면 소프트웨어 방식으로 수행될지는 기술 방안의 특정 응용과 설계 제약 조건에 따라 결정된다. 전문 기술자는 각 특정된 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 출원의 범위를 벗어나는 것으로 간주되어서는 안된다.

본 출원에서 제공되는 실시예에서, 개시된 장치, 기기 및 방법은, 다른 방식을 통해 구현될 수 있다. 예를 들어, 상술한 장치/기기의 실시예는 다만 예시적인 것이며, 예를 들어, 모듈 또는 유닛의 구분은 다만 논리 기능적 구분에 속하며, 실제로 구현할 시 다른 구분 방식이 있을 수 있고, 예를 들어, 복수 개의 유닛 또는 어셈블리는 결합될 수 있거나, 다른 시스템에 집적될 수 있으며, 또는 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 기재 또는 논의된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형식일 수 있다.

분리 부재로서 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛이거나, 물리적 유닛이 아닐 수 있으며, 하나의 위치에 있거나, 복수 개의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그 중의 일부 또는 전부 유닛을 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.

또한, 본 출원의 각 실시예에서 각 기능 유닛은 하나의 처리 유닛에 통합되거나 또는 각각의 유닛이 별도로 물리적으로 존재할 수도 있고, 2 개 또는 2 개 이상의 유닛이 하나의 유닛에 통합될 수도 있다. 상기 통합된 유닛은 하드웨어의 형태를 사용하여 구현될 수 있으며, 소프트웨어 기능 유닛의 형태를 사용하여 구현될 수도 있다.

통합된 모듈/유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하면, 본 출원은 상기 실시예의 방법 중의 전부 또는 일부 흐름을 구현하며, 컴퓨터 프로그램을 통해 관련되는 하드웨어를 지시함으로써 완료될 수도 있으며, 이미지 검색 방법의 컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 이 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 상기 각 방법의 실시예의 단계를 구현할 수 있으며, 즉, 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻고, 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작으며; 상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻으며; 상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻으며; 상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행한다. 여기서, 컴퓨터 프로그램은 컴퓨터 프로그램 코드를 포함하고, 컴퓨터 프로그램 코드는 소스 코드 형태, 목적 코드 형태, 실행 가능한 파일 또는 일부 중간 형태 등일 수 있다. 컴퓨터 판독 가능 매체는, 컴퓨터 프로그램 코드를 반송할 수 있는 임의의 엔티티 또는 장치, 기록 매체, USB, 모바일 하드 디스크, 자기 디스크, 광 디스크, 컴퓨터 메모리, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 전기 캐리어 신호, 통신 신호 및 소프트웨어 분배 매체 등을 포함할 수 있다. 설명해야 할 것은, 컴퓨터 판독 가능 매체에 포함된 내용은 관할권의 법률 및 특허 관례에 따라 적절하게 증가 및 감소될 수 있으며, 예를 들어, 일부 관할 지역에서는 법률 및 특허 관례에 따라 컴퓨터 판독 가능 매체는 전기 캐리어 신호 및 통신 신호를 포함하지 않는다. 전술한 실시예는 본 출원을 한정하려는 것이 아니라 본 출원의 기술 방안을 설명하기 위한 것일 뿐이며, 본 출원이 전술한 실시예를 참조하여 상세하게 설명되었지만, 본 기술 분야의 통상의 기술자는 여전히 전술한 실시예에서 설명된 기술 방안을 수정하거나 그것의 일부 기술 특징을 동등하게 대체할 수 있다는 것을 이해해야 하고, 이러한 수정 또는 교체는 본 출원의 실시예의 기술 방안의 사상 및 범위로부터 해당 기술 방안의 본질을 벗어나지 않으며 본 출원의 보호 범위 내에 속해야 함을 이해해야 한다.

Claims (24)

1. 이미지 검색 방법으로서, 상기 방법은,
   검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻는 단계 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ;
   상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계;
   상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계; 및
   상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계를 포함하고;
   상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻는 단계는,
   상기 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 회귀 처리를 각각 진행하여, 각 회귀 클러스터링 특징을 얻는 단계; 및
   상기 각 회귀 클러스터링 특징을 합쳐, 상기 글로벌 특징을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
2. 제1항에 있어서,
   상기 검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하기 전에, 상기 방법은,
   상기 검색될 이미지를 컨볼루션 뉴럴 네트워크에 입력하여, 상기 각 컨볼루션 계층 특징을 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 검색 방법.
3. 제2항에 있어서,
   각 상기 컨볼루션 계층 특징은 상기 검색될 이미지에서 픽셀 영역에 대응되는 특징을 각각 나타내는 것을 특징으로 하는 이미지 검색 방법.
4. 제1항에 있어서,
   상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻는 단계는,
   상기 각 차원 축소 특징 사이의 거리에 기반하여, 상기 차원 축소 특징을 클러스터링하여, 복수 개의 특징 클러스터링 센터를 얻는 단계; 및
   상기 복수 개의 특징 클러스터링 센터의 각 특징 클러스터링 센터에 대해, 각 특징 클러스터링 센터의 상기 클러스터링 특징으로서, 상응하는 컨볼루션 계층 특징의 최대 값을 각각 샘플링하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
5. 삭제
6. 제1항에 있어서,
   상기 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 회귀 처리를 각각 진행하여, 각 회귀 클러스터링 특징을 얻는 단계는,
   상기 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 균일화 처리, 미백 처리, 2차 균일화 처리를 각각 순차적으로 진행하여, 상기 각 회귀 클러스터링 특징을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
7. 제1항에 있어서,
   상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하는 단계는,
   상기 글로벌 특징에 기반하여, 상기 데이터베이스로부터 상기 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계 - 상기 K는 1보다 크거나 같은 정수임 - 를 포함하는 것을 특징으로 하는 이미지 검색 방법.
8. 제7항에 있어서,
   상기 글로벌 특징에 기반하여, 상기 데이터베이스로부터 상기 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지를 획득하는 단계는,
   상기 글로벌 특징과 상기 데이터베이스 중 각 이미지 특징 사이의 거리를 계산하는 단계; 및
   상기 글로벌 특징과 상기 데이터베이스 중 각 이미지 특징 사이의 거리에 기반하여, 상기 검색될 이미지와의 유사도가 가장 높은 K 개의 이미지로서 상기 데이터베이스로부터 상기 글로벌 특징 사이의 거리가 가장 작은 K 개의 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
9. 제7항 또는 제8항에 있어서,
   상기 방법은,
   상기 K 개의 이미지 및 상기 K 개의 이미지가 각각 상기 검색될 이미지에 대한 유사도를 제시하는 단계를 더 포함하는 것을 특징으로 하는 이미지 검색 방법.
10. 제1항에 있어서,
    상기 차원 축소 특징의 차원은 5인 것을 특징으로 하는 이미지 검색 방법.
11. 제1항에 있어서,
    상기 클러스터링 특징의 개수는 32 개인 것을 특징으로 하는 이미지 검색 방법.
12. 이미지 검색 장치로서,
    검색될 이미지의 각 컨볼루션 계층 특징에 대해 차원 축소 동작을 각각 진행하여, 각 차원 축소 특징을 얻도록 구성되는 차원 축소 모듈 - 상기 차원 축소 특징의 차원은 상기 컨볼루션 계층 특징의 차원보다 작음 - ;
    상기 각 차원 축소 특징에 기반하여 클러스터링을 진행하여, 복수 개의 클러스터링 특징을 얻도록 구성되는 클러스터링 모듈;
    상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻도록 구성되는 융합 모듈; 및
    상기 글로벌 특징에 기반하여, 데이터베이스에서 상기 검색될 이미지에 대해 검색을 진행하도록 구성되는 검색 모듈을 포함하고;
    상기 복수 개의 클러스터링 특징에 대해 특징 융합을 진행하여, 글로벌 특징을 얻도록 구성되는 융합 모듈은,
    상기 복수 개의 클러스터링 특징 중의 각 클러스터링 특징에 대해 회귀 처리를 각각 진행하여, 각 회귀 클러스터링 특징을 얻도록 구성되는 회귀 처리 유닛; 및
    상기 각 회귀 클러스터링 특징을 합쳐, 상기 글로벌 특징을 얻도록 구성되는 추가 유닛을 포함하는 것을 특징으로 하는 이미지 검색 장치.
13. 기기로서,
    메모리, 프로세서 및 상기 메모리에 저장되고 상기 프로세서에서 작동될 수 있는 컴퓨터 프로그램을 포함하고, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때 제1항 내지 제4항 및 제6항 내지 제8항 중 어느 한 항에 따른 방법의 단계를 구현하는 것을 특징으로 하는 기기.
14. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제4항 및 제6항 내지 제8항 중 어느 한 항에 따른 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images