KR20200093631A

KR20200093631A - 이미지 검색 방법 및 장치

Info

Publication number: KR20200093631A
Application number: KR1020207018908A
Authority: KR
Inventors: 다펑 첸; 홍셩 리; 슈아이 이; 마오칭 티안
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2018-04-19
Filing date: 2018-11-21
Publication date: 2020-08-05
Also published as: US20200327363A1; SG11202006003SA; CN108563767B; WO2019200913A1; JP2021508899A; KR102460065B1; US11328171B2; JP6928725B2; CN108563767A

Abstract

　본 발명은 이미지 검색 방법 및 장치에 관한 것으로, 상기 방법은 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하는 것(S11)과, 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것(S12)과, 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는 것(S13)과, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정하는 것(S14)을 포함하는 것으로, 본 발명은 상기 수단에 의해 이미지 검색의 정밀도나 로버스트성을 높일 수 있다.

Description

이미지 검색 방법 및 장치

본원은 2018년 4월 19일에 중국 특허국에 제출된 출원번호 201810355179.0, 발명의 명칭 「이미지 검색 방법 및 장치」의 중국 특허출원의 우선권을 주장하고, 그 개시 전체가 참조에 의해 본원에 포함된다.

본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 이미지 검색 방법 및 장치에 관한 것이다.

내용에 기초하는 이미지 검색(CBIR; Content-Based Image Retrieval)은 컴퓨터 비전 분야에서 대규모 디지털 이미지 내용 검색에 주목하고 있는 연구 과제이다. 내용에 기초하는 이미지 검색은 사용자로부터 입력되는 한 장의 키 이미지를 기초로 동일하거나 또는 유사한 내용을 갖는 다른 이미지를 검색하는 것이 가능하다.

관련 기술에 있어서, 이미지 검색 모델을 트레이닝할 때, 일반적으로는 페어와이즈 손실 함수(pairwise loss), 트리플릿 손실 함수(triplet loss) 또는 쿼드플릿 손실 함수(quadruplet loss) 등의 손실 함수가 사용된다. 이들 손실 함수는 전부 중간 유사도(즉, 페어와이즈 내, 트리플릿 내 또는 쿼드플릿 내의 유사도)만을 제약하는 것이다. 이와 같이 트레이닝된 이미지 검색 모델은 이미지 검색의 정밀도나 로버스트성이 낮다.

이를 감안하여, 본 발명은 이미지 검색 방법 및 장치를 제공한다.

본 발명의 일 측면에 의하면, 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하는 것과, 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것과, 상기 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는 것과, 상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하는 것을 포함하는 이미지 검색 방법을 제공한다.

가능한 일 실현형태에서는, 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것은, 상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻는 것과, 상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것을 포함한다.

가능한 일 실현형태에서는, 상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻는 것은, 상기 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하는 것과, 각 상기 멀티 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화하는 것을 포함한다.

가능한 일 실현형태에서는, 상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것은, 임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻는 것과, 상기 차분 벡터에 대해 비트마다 평방 연산을 행하여, 상기 차분 벡터의 평방 벡터를 얻는 것과, 상기 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻는 것과, 상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻는 것과, 상기 2차원 벡터에 대해 정규화 처리를 행하여, 상기 임의의 2장의 이미지간의 중간 유사도를 얻는 것을 포함한다.

가능한 일 실현형태에서는, 상기 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻는 것은, 상기 평방 벡터의 평균값과 분산을 각각 계산하는 것과, 비트마다 상기 평방 벡터에서 상기 평균값을 뺀 값을 상기 분산으로 나누어 상기 정규화 벡터를 얻는 것을 포함한다.

가능한 일 실현형태에서는, 상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻는 것은, 상기 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 상기 정규화 벡터에 대응하는 2차원 벡터로 하는 것을 포함한다.

가능한 일 실현형태에서는, 상기 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는 것은, 상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻는 것과, 상기 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻는 것을 포함한다.

가능한 일 실현형태에서는, 상기 중간 유사도에 의해 최종적인 유사도를 제약하기 전에 상기 중간 유사도에 의해 최종적인 유사도 추정을 초기화하는 것을 추가로 포함한다.

가능한 일 실현형태에서는, 상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻는 것은, 상기 검색 이미지와 상기 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하는 것과, 상기 제1 이미지와 상기 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하는 것과, 상기 검색 이미지와 상기 제2 이미지의 최종적인 유사도 추정을 계산하는 것과, 상기 제2 중간 유사도와 상기 최종적인 유사도 추정의 곱을 계산하는 것과, 상기 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산하는 것과, 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 상기 가중치 중첩 결과에 의해 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정을 갱신하여, 상기 검색 이미지와 상기 제1 이미지의 수렴된 최종적인 유사도 추정을 얻는 것을 포함한다.

가능한 일 실현형태에서는, 상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하는 것은, 상기 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 상기 검색 이미지에 대응하는 목표 이미지로 하는 것을 포함한다.

본 발명의 다른 측면에 의하면, 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하기 위한 취득 모듈과, 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 모듈과, 상기 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻기 위한 융합 모듈과, 상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하기 위한 특정 모듈을 포함하는 이미지 검색 장치를 제공한다.

가능한 일 실현형태에서는, 상기 계산 모듈은, 상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻기 위한 추출 서브 모듈과, 상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 서브 모듈을 포함한다.

가능한 일 실현형태에서는, 상기 추출 서브 모듈은 상기 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하기 위한 추출 유닛과, 각 상기 멀티 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화하기 위한 표준화 유닛을 포함한다.

가능한 일 실현형태에서는, 상기 계산 서브 모듈은, 임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻기 위한 차분 연산 유닛과, 상기 차분 벡터에 대해 비트마다 평방 연산을 행하여, 상기 차분 벡터의 평방 벡터를 얻기 위한 평방 연산 유닛과, 상기 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻기 위한 제1 정규화 유닛과, 상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻기 위한 차원 삭감 유닛과, 상기 2차원 벡터에 대해 정규화 처리를 행하여, 상기 임의의 2장의 이미지간의 중간 유사도를 얻기 위한 제2 정규화 유닛을 포함한다.

가능한 일 실현형태에서는, 상기 제1 정규화 유닛은 상기 평방 벡터의 평균값과 분산을 각각 계산하기 위한 계산 서브 유닛과, 비트마다 상기 평방 벡터에서 상기 평균값을 뺀 값을 상기 분산으로 나누어 상기 정규화 벡터를 얻기 위한 정규화 서브 유닛을 포함한다.

가능한 일 실현형태에서는, 상기 차원 삭감 유닛은 상기 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 상기 정규화 벡터에 대응하는 2차원 벡터로 하기 위해 사용된다.

가능한 일 실현형태에서는, 상기 융합 모듈은, 상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻기 위한 제약 서브 모듈과, 상기 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻기 위한 정규화 서브 모듈을 포함한다.

가능한 일 실현형태에서는, 상기 융합 모듈은 상기 중간 유사도에 의해 최종적인 유사도 추정을 초기화하기 위한 초기화 서브 모듈을 추가로 포함한다.

가능한 일 실현형태에서는, 상기 제약 서브 모듈은 상기 검색 이미지와 상기 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하기 위한 제1 계산 유닛과, 상기 제1 이미지와 상기 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하기 위한 제2 계산 유닛과, 상기 검색 이미지와 상기 제2 이미지의 최종적인 유사도 추정을 계산하기 위한 제3 계산 유닛과, 상기 제2 중간 유사도와 상기 최종적인 유사도 추정의 곱을 계산하기 위한 제4 계산 유닛과, 상기 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산하기 위한 제5 계산 유닛과, 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 상기 가중치 중첩 결과에 의해 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정을 갱신하여, 상기 검색 이미지와 상기 제1 이미지의 수렴된 최종적인 유사도 추정을 얻기 위한 특정 유닛을 포함한다.

가능한 일 실현형태에서는, 상기 특정 모듈은 상기 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 상기 검색 이미지에 대응하는 목표 이미지로 하기 위해 사용된다.

본 발명의 다른 측면에 의하면, 상기 방법을 실행하도록 구성되는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하는 전자 기기를 제공한다.

본 발명의 다른 측면에 의하면, 컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 상기 방법이 실현되는 컴퓨터 판독 가능 기억 매체를 제공한다.

본 발명의 각 측면의 이미지 검색 방법 및 장치에 의하면, 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하고, 이미지군 중의 임의의 2장의 이미지간의 중간 유사도를 계산하고, 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻고, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정함으로써, 이미지 검색의 정밀도나 로버스트성을 높일 수 있다.

이하, 도면을 참조하면서 예시적인 실시예에 대해 상세하게 설명함으로써, 본 발명의 다른 특징 및 측면은 명료해진다.

명세서에 포함되고 또한 명세서의 일부를 구성하는 도면은 명세서와 함께 본 발명의 예시적인 실시예, 특징 및 측면을 개시하고, 또한 본 발명의 원리를 해석하기 위해 사용된다.
도 1은 본 발명의 일 실시예에 따른 이미지 검색 방법의 흐름도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S12)의 예시적 흐름도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S121)의 예시적 흐름도를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S122)의 예시적 흐름도를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S1223)의 예시적 흐름도를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S13)의 예시적 흐름도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S131)의 예시적 흐름도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 이미지 검색 장치의 블록도를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 이미지 검색 장치의 예시적 블록도를 나타낸다.
도 10은 예시적 실시예에 나타내는 이미지 검색을 위한 장치(1900)의 블록도이다.

이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세히 설명한다. 도면에서 동일한 부호는 동일하거나 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈지만, 특별히 언급하지 않는 한, 비례에 따라 도면을 작성할 필요가 없다.

본 명세서에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.

또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 어떤 구체적인 상세가 없어도 본 발명을 실시할 수 있는 것을 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하도록 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 하지 않는다.

도 1은 본 발명의 일 실시예에 따른 이미지 검색 방법의 흐름도를 나타낸다. 상기 방법은 서버에 이용 가능하다. 도 1에 나타내는 바와 같이, 상기 방법은 단계(S11)∼단계(S14)를 포함한다.

단계(S11)에서는 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득한다.

본 실시예에서 제공하는 이미지 검색 방법은 이미지 라이브러리에서 검색 이미지와 동일하거나 또는 유사한 내용을 포함하는 이미지를 검색하는 것을 목적으로 한다. 본 실시예에서는 이미지 라이브러리 내의 이미지를 후보 이미지로 한다. 본 실시예에서의 이미지군은 검색 이미지와 이미지 라이브러리 내의 후보 이미지 중 하나 이상의 후보 이미지를 포함한다.

가능한 일 실현형태에서는, 상기 이미지 검색 방법은 인물 재동정(Person Re-Identification)에 적용 가능하다. 상기 이미지 검색 방법을 인물 재동정에 적용하는 경우에 검색 이미지는 목표 인물을 포함하는 이미지여도 되고, 이미지 라이브러리 내의 각 후보 이미지는 인물을 포함하는 이미지여도 된다.

본 실시예에서는 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득한 후, 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 전에 이미지군 중의 각 이미지의 특징을 추출하는 것을 추가로 포함한다.

가능한 일 실현형태에서는, 특징 추출 네트워크에 의해 검색 이미지의 특징과 각 후보 이미지의 특징을 추출할 수 있다. 상기 특징 추출 네트워크는 심층 뉴럴 네트워크여도 된다. 예를 들면, 특징 추출 네트워크는 ResNet50, ResNet101 또는 Inception 등이어도 된다.

단계(S12)에서는 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산한다.

여기에서, 2장의 이미지간의 중간 유사도는 상기 2장의 이미지간의 유사도의 초기값을 나타내도 된다.

본 실시예에서는 먼저 각 이미지의 멀티 스케일 특징 벡터를 산출하고, 다음으로 당해 멀티 스케일 특징 벡터에 의해 임의의 2장의 이미지간의 중간 유사도를 계산하도록 해도 된다. 여기에서, 멀티 스케일 특징 벡터는 복수의 상이한 스케일의 특징 벡터인 것을 나타낼 수 있거나, 또는 하나의 특징 벡터가 복수의 상이한 스케일에 관련되는 것을 나타낼 수 있다. 중간 유사도의 값이 취해지는 범위는 [0, 1]이어도 된다.

다른 방식을 사용하여 임의의 2장의 이미지간의 중간 유사도를 계산할 수 있는 것이 물론이고, 여기에서 한정되지 않는다.

가능한 일 실현형태에서는, 2개의 이미지간의 중간 유사도가 클수록, 상기 2개의 이미지에 동일한 내용이 포함될 가능성이 높은 것을 나타낼 수 있다. 예를 들면, 인물 재동정에서는 2개의 이미지간의 중간 유사도가 클수록, 상기 2개의 이미지에 동일한 인물이 포함될 가능성이 높은 것을 나타낸다.

단계(S13)에서는 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는다.

본 실시예에서는 검색 이미지와 후보 이미지간의 최종적인 유사도는 검색 이미지와 후보 이미지의 유사도의 최종값, 즉 최종적으로 특정되는 검색 이미지와 후보 이미지의 유사도를 나타내도 된다.

본 실시예에서는 최종적인 유사도의 값이 취해지는 범위는 [0, 1]이어도 된다.

가능한 일 실현형태에서는, 2개의 이미지간의 최종적인 유사도가 클수록, 상기 2개의 이미지에 동일한 내용이 포함될 가능성이 높은 것을 나타낼 수 있다. 예를 들면, 상기 이미지 검색 방법을 인물 재동정에 적용하는 경우에 2개의 이미지간의 최종적인 유사도가 클수록, 상기 2개의 이미지에 동일한 인물이 포함될 가능성이 높은 것을 나타낼 수 있다.

가능한 일 실현형태에서는, 검색 이미지와 후보 이미지의 융합 후의 유사도가 수렴될 때까지 조건부 확률장 알고리즘(conditional random field algorithm)을 사용하여 임의의 2장의 이미지간의 중간 유사도에 대해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는다.

가능한 일 실현형태에서는, 조건부 확률장 알고리즘을 사용하여 확률적 그래피컬 모델(Probabilistic Graphical Model)을 구축할 수 있다. 상기 확률적 그래피컬 모델은 무방향 그래프여도 된다. 상기 실현형태에서는 검색 이미지와 각 후보 이미지의 각각을 상기 확률적 그래피컬 모델의 노드로 해도 된다. 검색 이미지 노드와 후보 이미지 노드 사이의 변의 가중치는 검색 이미지와 후보 이미지의 최종적인 유사도 추정과 동일해도 되고, 2개의 후보 이미지 노드 사이의 변의 가중치는 상기 2개의 후보 이미지간의 중간 유사도와 동일해도 된다. 여기에서, 검색 이미지 노드와 후보 이미지 노드 사이의 변의 가중치의 초기값은 검색 이미지와 후보 이미지의 최종적인 유사도 추정의 초기값과 동일해도 된다. 상기 실현형태에서는 검색 이미지와 후보 이미지의 관계를 조건부 확률장의 1차의 항으로 간주하고, 후보 이미지와 후보 이미지의 관계를 조건부 확률장의 2차의 항으로 간주해도 된다. 상기 실현형태에서는, 검색 이미지와 후보 이미지의 최종적인 유사도 추정이 수렴될 때까지 노드 사이의 변의 가중치에 의해 정보 전달을 행하여 검색 이미지와 후보 이미지의 최종적인 유사도 추정을 제약함으로써, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻을 수 있다. 검색 이미지와 후보 이미지의 최종적인 유사도 추정이 수렴될 때까지 조건부 확률장 알고리즘을 사용하여 검색 이미지와 후보 이미지의 최종적인 유사도 추정을 제약함으로써, 검색 이미지와 후보 이미지의 신뢰적이고, 또한 안정적인 최종적인 유사도를 얻을 수 있다. 예를 들면, 이미지 A와 이미지 B에 동일한 인물이 포함되고, 이미지 A와 이미지 C에도 동일한 인물이 포함되는 경우에 이미지 B와 이미지 C의 최종적인 유사도도 당연히 높을 것이다. 여기에서, 최종적인 유사도 추정은 최종적인 유사도의 추정값을 나타내도 된다.

가능한 일 실현형태에서는, 매회 최종적인 유사도를 제약할 때마다 검색 이미지와 후보 이미지의 최종적인 유사도 추정에 대해 정규화 처리를 행하고, 검색 이미지와 후보 이미지의 최종적인 유사도 추정의 값을 [0, 1] 범위로 하도록 해도 된다.

단계(S14)에서는 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정한다.

본 실시예에서는 검색 이미지에 대응하는 목표 이미지란 검색 이미지와 동일하거나 또는 유사한 내용을 포함하는 후보 이미지를 가리켜도 된다. 예를 들면, 인물 재동정에서는 검색 이미지에 대응하는 목표 이미지란 후보 이미지 중 검색 이미지와 동일한 인물을 포함하는 이미지를 가리켜도 된다.

가능한 일 실현형태에서는, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정하는 것은, 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 검색 이미지에 대응하는 목표 이미지로 하는 것을 포함한다.

다른 가능한 실현형태에서는, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정하는 것은, 검색 이미지와의 최종적인 유사도가 큰 쪽에서 N개의 후보 이미지를 검색 이미지에 대응하는 목표 이미지로 특정하는 것을 포함하고, 여기에서 N은 양의 정수이다.

상기 실현형태의 일례로서 검색 이미지와의 최종적인 유사도가 가장 큰 후보 이미지를 검색 이미지에 대응하는 목표 이미지로서 특정해도 된다. 이 예에서, N은 1이다.

본 실시예는 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하고, 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하고, 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻고, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정함으로써, 심층 학습과 조건부 확률 벡터장을 조합하여 이미지 검색의 정밀도나 로버스트성을 높였다.

가능한 일 실현형태에서는, 중간 유사도의 특정, 멀티 스케일 특징 융합 및 최종적인 유사도의 특정을 하나의 심층 학습 모델에 통합하여, 엔드투엔드(end-to-end) 트레이닝을 행하도록 해도 된다.

도 2는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S12)의 예시적 흐름도를 나타낸다. 도 2에 나타내는 바와 같이, 단계(S12)는 단계(S121)와 단계(S122)를 포함해도 된다.

단계(S121)에서는 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻는다.

여기에서, 멀티 스케일 특징 추출은 복수의 스케일의 특징을 추출하는 것을 나타내도 된다.

단계(S122)에서는 멀티 스케일 특징 벡터에 의해 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산한다.

본 실시예는 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행함으로써, 이미지의 상이한 스케일의 특징을 충분히 얻을 수 있고, 이미지 검색 결과의 정확성을 더욱 높이는 것에 기여하며, 검색된 목표 이미지가 각 스케일 상에서 검색 이미지에 근접하도록 한다.

도 3은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S121)의 예시적 흐름도를 나타낸다. 도 3에 나타내는 바와 같이, 단계(S121)는 단계(S1211)와 단계(S1212)를 포함해도 된다.

단계(S1211)에서는 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출한다.

여기에서, 멀티 스케일 특징맵은 복수의 스케일 특징맵을 나타내도 된다.

가능한 일 실현형태에서는, 특징 추출 네트워크에 의해 이미지군 내의 각 이미지마다 특징 추출을 행하여 미리 설정된 수의 상이한 스케일의 특징맵을 얻을 수 있고, 본 실시예에서는 미리 설정된 수가 3이어도 된다. 특징 네트워크로는 종래의 특징 추출 네트워크의 기본적인 구성, 예를 들면, ResNet50, ResNet101 또는 Inception 등이 사용된다.

단계(S1212)에서는 각 멀티 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화한다.

가능한 일 실현형태에서는, 추출된 각 이미지의 대응하는 상이한 스케일의 특징맵을 특징 추출 네트워크의 풀링층(pooling layer)과 전체 결합층을 통해 처리함으로써, 각 이미지의 대응하는 상이한 스케일의 특징맵을 동일한 미리 설정된 차원의 특징 벡터로 표준화할 수 있고, 본 실시예에서는 미리 설정된 차원이 128 차원이어도 된다.

본 실시예는 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하여, 각 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화함으로써, 후의 이미지간의 중간 유사도 계산에 기여한다.

도 4는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S122)의 예시적 흐름도를 나타낸다. 도 4에 나타내는 바와 같이, 단계(S122)는 단계(S1221)∼단계(S1225)를 포함해도 된다.

단계(S1221)에서는 임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻는다.

본 실시예에서는 동일한 스케일의 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 벡터의 차분 벡터를 얻는다.

단계(S1222)에서는 차분 벡터에 대해 비트마다 평방 연산을 행하여, 차분 벡터의 평방 벡터를 얻는다.

본 실시예에서는 차분 벡터 중의 각 요소의 평방값을 비트마다 계산하여, 차분 벡터의 평방 벡터를 얻는다.

단계(S1223)에서는 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻는다.

가능한 일 실현형태에서는, 상기 단계(S1222)에서 얻어진 평방 벡터에 대해 비트마다 표준 편차를 계산하여, 정규화 벡터를 얻는다.

단계(S1224)에서는 정규화 벡터에 대해 차원 삭감 처리를 행하여, 정규화 벡터에 대응하는 2차원 벡터를 얻는다.

가능한 일 실현형태에서는, 합성곱 뉴럴 네트워크의 전체 결합층에 의해 정규화 벡터에 대해 차원 삭감 처리를 행하여, 정규화 벡터에 대응하는 2차원 벡터를 얻을 수 있다. 구체적인 프로세스는 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 정규화 벡터에 대응하는 2차원 벡터로 하도록 한다.

본 실시예에서는 정규화 벡터를 2차원 벡터로 차원 삭감함으로써, 이항 분류(binary classification)하여 2개의 이미지에 동일한 내용이 포함되는지 여부를 특정하는(예를 들면, 인물 재동정에서 2개의 이미지에 동일한 인물이 포함되는지 여부를 특정하는) 것에 기여한다.

단계(S1225)에서는 2차원 벡터에 대해 정규화 처리를 행하여, 임의의 2장의 이미지간의 중간 유사도를 얻는다.

본 실시예에서는 Sigmoid 함수를 사용해 상기 2차원 벡터에 대해 정규화 처리를 행하여, 임의의 2장의 이미지간의 중간 유사도를 특정할 수 있다.

도 5는 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S1223)의 예시적 흐름도를 나타낸다. 도 5에 나타내는 바와 같이, 단계(S1223)는 단계(S12231)와 단계(S12232)를 포함해도 된다.

단계(S12231)에서는 평방 벡터의 평균값과 분산을 각각 계산한다.

단계(S12232)에서는 비트마다 평방 벡터에서 평균값을 뺀 값을 분산으로 나누어 정규화 벡터를 얻는다.

이상과 같이 도 5에서 평방 벡터에 대한 정규화 처리의 방법을 설명했지만, 당업자이면 본 발명이 이에 한정되지 않는 것을 이해할 수 있다. 당업자는 실제로 적용하는 장면의 요구 및/또는 개인적인 기호에 따라 평방 벡터에 대한 정규화 처리의 구체적인 방법을 유연하게 설치할 수 있고, 평방 벡터를 정규화할 수 있으면 된다.

도 6은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S13)의 예시적 흐름도를 나타낸다. 도 6에 나타내는 바와 같이, 단계(S13)는 단계(S131)와 단계(S132)를 포함해도 된다.

단계(S131)에서는 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻는다.

실시예에서는 최종적인 유사도를 제약하는 것은 최종적인 유사도 추정이 수렴하도록 하는 프로세스를 나타낼 수 있다. 가능한 일 실현형태에서는, 조건부 확률장 알고리즘을 사용하여, 중간 유사도에 의해 최종적인 유사도를 제약할 수 있다.

단계(S132)에서는 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻는다.

가능한 일 실현형태에서는, 중간 유사도에 의해 최종적인 유사도를 제약하기 전에 중간 유사도에 의해 최종적인 유사도 추정을 초기화하는 것을 추가로 포함한다.

상기 실현형태의 일례로서, 중간 유사도에 의해 최종적인 유사도 추정을 초기화하는 것은 검색 이미지와 후보 이미지의 중간 유사도와 지정 계수의 곱을 검색 이미지와 후보 이미지의 최종적인 유사도 추정의 초기값으로 하는 것을 포함해도 된다.

도 7은 본 발명의 일 실시예에 따른 이미지 검색 방법의 단계(S131)의 예시적 흐름도를 나타낸다. 도 7에 나타내는 바와 같이, 단계(S131)는 단계(S1311)∼단계(S1316)를 포함해도 된다.

단계(S1311)에서는 검색 이미지와 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산한다.

본 실시예에서의 제1 이미지란 후보 이미지 중 어느 하나를 가리키고, 여기에서 「제1」은 설명 및 지시를 용이하게 하기 위한 것에 불과하고, 본 발명의 구체적인 실현형태에서 대응하는 제1 이미지가 반드시 존재한다는 것은 아니다.

여기에서, 검색 이미지와 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하는 방법은 상술한 중간 유사도의 계산 방법과 동일하고, 여기에서 상세한 설명은 생략한다.

단계(S1312)에서는 제1 이미지와 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산한다.

본 실시예에서의 제2 이미지란 후보 이미지 중 제1 이미지 이외의 이미지 중 어느 하나를 가리키고, 여기에서 「제2」는 설명 및 지시를 용이하게 하기 위한 것에 불과하고, 본 발명의 구체적인 실현형태에서 대응하는 제2 이미지가 반드시 존재한다는 것은 아니다.

여기에서, 제1 이미지와 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하는 방법은 상술한 중간 유사도의 계산 방법과 동일하고, 여기에서 상세한 설명은 생략한다.

단계(S1313)에서는 검색 이미지와 제2 이미지의 최종적인 유사도 추정을 계산한다.

본 실시예에서는 제1회의 최종적인 유사도를 제약하는 경우에 검색 이미지와 제2 이미지의 최종적인 유사도 추정은 검색 이미지와 제2 이미지의 최종적인 유사도 추정의 초기값과 동일해도 되고, 여기에서 검색 이미지와 제2 이미지의 최종적인 유사도 추정의 초기값은 검색 이미지와 제2 이미지의 중간 유사도와 지정 계수의 곱과 동일해도 된다. 제

회의 최종적인 유사도를 제약하는 경우에 검색 이미지와 제2 이미지의 최종적인 유사도 추정은 제

회의 최종적인 유사도를 제약하여 얻어진 검색 이미지와 제2 이미지의 최종적인 유사도 추정과 동일해도 되고, 단,

이다.

단계(S1314)에서는 제2 중간 유사도와 최종적인 유사도 추정의 곱을 계산한다.

단계(S1315)에서는 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산한다.

단계(S1316)에서는 검색 이미지와 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 가중치 중첩 결과에 의해 검색 이미지와 제1 이미지의 최종적인 유사도 추정을 갱신하여, 검색 이미지와 제1 이미지의 수렴된 최종적인 유사도 추정을 얻는다.

가능한 일 실현형태에서는, 식 1에 의해 제

회의 최종적인 유사도를 제약한 후의 검색 이미지

와 제1 이미지

의 최종적인 유사도 추정

을 특정할 수 있다.

단,

는 스케일

에 대응하는 제1 파라미터를 나타내고,

는 스케일

에 대응하는 제2 파라미터를 나타내고,

는 스케일의 총 수를 나타내고,

는 검색 이미지

와 제1 이미지

의 스케일

에서의 중간 유사도를 나타내고,

는 제1 이미지

와 제2 이미지

의 스케일

에서의 중간 유사도를 나타내고,

는 제

회의 최종적인 유사도를 제약한 후의 검색 이미지

와 제2 이미지

의 스케일

에서의 최종적인 유사도 추정을 나타낸다.

본 실시예에서는 검색 이미지와 후보 이미지 중 어느 하나의 최종적인 유사도 추정이 수렴되지 않으면, 검색 이미지와 각 후보 이미지의 최종적인 유사도 추정이 수렴될 때까지 최종적인 유사도를 계속 제약할 수 있다.

도 8은 본 발명의 일 실시예에 따른 이미지 검색 장치의 블록도를 나타낸다. 도 8에 나타내는 바와 같이, 상기 장치는 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하기 위한 취득 모듈(81)과, 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 모듈(82)과, 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻기 위한 융합 모듈(83)과, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정하기 위한 특정 모듈(84)을 포함한다.

도 9는 본 발명의 일 실시예에 따른 이미지 검색 장치의 예시적 블록도를 나타낸다.

가능한 일 실현형태에서는, 계산 모듈(82)은 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻기 위한 추출 서브 모듈(821)과, 멀티 스케일 특징 벡터에 의해 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 서브 모듈(822)을 포함한다.

가능한 일 실현형태에서는, 추출 서브 모듈(821)은 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하기 위한 추출 유닛과, 각 멀티 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화하기 위한 표준화 유닛을 포함한다.

가능한 일 실현형태에서는, 계산 서브 모듈(822)은 임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻기 위한 차분 연산 유닛과, 차분 벡터에 대해 비트마다 평방 연산을 행하여, 차분 벡터의 평방 벡터를 얻기 위한 평방 연산 유닛과, 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻기 위한 제1 정규화 유닛과, 정규화 벡터에 대해 차원 삭감 처리를 행하여, 정규화 벡터에 대응하는 2차원 벡터를 얻기 위한 차원 삭감 유닛과, 2차원 벡터에 대해 정규화 처리를 행하여, 임의의 2장의 이미지간의 중간 유사도를 얻기 위한 제2 정규화 유닛을 포함한다.

가능한 일 실현형태에서는, 제1 정규화 유닛은 평방 벡터의 평균값과 분산을 각각 계산하기 위한 계산 서브 유닛과, 비트마다 평방 벡터에서 평균값을 뺀 값을 분산으로 나누어 정규화 벡터를 얻기 위한 정규화 서브 유닛을 포함한다.

가능한 일 실현형태에서는, 차원 삭감 유닛은 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 정규화 벡터에 대응하는 2차원 벡터로 하기 위해 사용된다.

가능한 일 실현형태에서는, 융합 모듈(83)은 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻기 위한 제약 서브 모듈(831)과, 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻기 위한 정규화 서브 모듈(832)을 포함한다.

가능한 일 실현형태에서는, 융합 모듈(83)은 중간 유사도에 의해 최종적인 유사도 추정을 초기화하기 위한 초기화 서브 모듈(833)을 추가로 포함한다.

가능한 일 실현형태에서는, 제약 서브 모듈(831)은 검색 이미지와 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하기 위한 제1 계산 유닛과, 제1 이미지와 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하기 위한 제2 계산 유닛과, 검색 이미지와 제2 이미지의 최종적인 유사도 추정을 계산하기 위한 제3 계산 유닛과, 제2 중간 유사도와 최종적인 유사도 추정의 곱을 계산하기 위한 제4 계산 유닛과, 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산하기 위한 제5 계산 유닛과, 검색 이미지와 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 가중치 중첩 결과에 의해 검색 이미지와 제1 이미지의 최종적인 유사도 추정을 갱신하여, 검색 이미지와 제1 이미지의 수렴된 최종적인 유사도 추정을 얻기 위한 특정 유닛을 포함한다.

가능한 일 실현형태에서는, 특정 모듈(84)은 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 검색 이미지에 대응하는 목표 이미지로 하기 위해 사용된다.

본 실시예는 검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하고, 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하고, 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻고, 최종적인 유사도에 의해 각 후보 이미지에서 검색 이미지에 대응하는 목표 이미지를 특정함으로써, 이미지 검색의 정밀도나 로버스트성을 높일 수 있다.

도 10은 일 예시적 실시예에 의해 나타낸 이미지 검색을 위한 장치(1900)의 블록도이다. 예를 들면, 장치(1900)는 서버로서 제공할 수 있다. 도 10을 참조하면, 장치(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.

장치(1900)는 또한 장치(1900)의 전원 관리를 실행하도록 구성된 전원 컴포넌트(1926), 장치(1900)를 네트워크에 접속하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 장치(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 또는 유사한 것에 기초하여 동작할 수 있다.

예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령이 장치(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행할 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 기억된 컴퓨터 판독 가능 기억 매체를 포함해도 된다.

컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 의해 사용되는 명령을 보존 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 펄스광) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.

여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되거나, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크에 의해 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 객체 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목적 코드(target code)여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터가 관여하는 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되거나, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 퍼스널라이즈하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 측면을 실현하도록 해도 된다.

또한, 여기에서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 측면을 설명했지만, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것을 이해해야 한다.

상기 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억시키고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 해도 된다. 명령을 기억하고 있는 컴퓨터 판독 가능 기억 매체에는 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하기 위한 명령을 갖는 제품을 포함한다.

컴퓨터 판독 가능 프로그램은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로딩하고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실현되는 프로세스를 생성하고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 몇 가지 대안으로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이하게 실현해도 된다. 예를 들면, 두 개의 연속적인 블록은 실질적으로 동시에 실행해도 되고, 또한 이러한 기능에 의해 반대 순서로 실행해도 된다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정된 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 되는 것에 주의해야 한다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 시장에서의 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본문에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하는 것과,
상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것과,
상기 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는 것과,
상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하는 것을 포함하는, 이미지 검색 방법.
제 1 항에 있어서,
상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것은,
상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻는 것과,
상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것을 포함하는, 방법.
제 2 항에 있어서,
상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻는 것은,
상기 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하는 것과,
상기 멀티 스케일 특징맵 각각을 미리 설정된 차원의 특징 벡터로 표준화하는 것을 포함하는, 방법.
제 2 항에 있어서,
상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하는 것은,
임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻는 것과,
상기 차분 벡터에 대해 비트마다 평방 연산을 행하여 상기 차분 벡터의 평방 벡터를 얻는 것과,
상기 평방 벡터에 대해 정규화 처리를 행하여 정규화 벡터를 얻는 것과,
상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻는 것과,
상기 2차원 벡터에 대해 정규화 처리를 행하여, 상기 임의의 2장의 이미지간의 중간 유사도를 얻는 것을 포함하는, 방법.
제 4 항에 있어서,
상기 평방 벡터에 대해 정규화 처리를 행하여 정규화 벡터를 얻는 것은,
상기 평방 벡터의 평균값과 분산을 각각 계산하는 것과,
비트마다 상기 평방 벡터에서 상기 평균값을 뺀 값을 상기 분산으로 나누어 상기 정규화 벡터를 얻는 것을 포함하는, 방법.
제 4 항에 있어서,
상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻는 것은,
상기 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 상기 정규화 벡터에 대응하는 2차원 벡터로 하는 것을 포함하는, 방법.
제 1 항에 있어서,
상기 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻는 것은,
상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻는 것과,
상기 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻는 것을 포함하는, 방법.
제 7 항에 있어서,
상기 중간 유사도에 의해 최종적인 유사도를 제약하기 전에,
상기 중간 유사도에 의해 최종적인 유사도 추정을 초기화하는 것을 추가로 포함하는, 방법.
제 7 항에 있어서,
상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻는 것은,
상기 검색 이미지와 상기 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하는 것과,
상기 제1 이미지와 상기 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하는 것과,
상기 검색 이미지와 상기 제2 이미지의 최종적인 유사도 추정을 계산하는 것과,
상기 제2 중간 유사도와 상기 최종적인 유사도 추정의 곱을 계산하는 것과,
상기 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산하는 것과,
상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 상기 가중치 중첩 결과에 의해 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정을 갱신하여, 상기 검색 이미지와 상기 제1 이미지의 수렴된 최종적인 유사도 추정을 얻는 것을 포함하는, 방법.
제 1 항에 있어서,
상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하는 것은,
상기 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 상기 검색 이미지에 대응하는 목표 이미지로 하는 것을 포함하는, 방법.
검색 이미지와 하나 이상의 후보 이미지를 포함하는 이미지군을 취득하기 위한 취득 모듈과,
상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 모듈과,
상기 임의의 2장의 이미지간의 중간 유사도에 의해 멀티 스케일 특징 융합을 행하여, 상기 검색 이미지와 각 후보 이미지의 최종적인 유사도를 얻기 위한 융합 모듈과,
상기 최종적인 유사도에 의해 상기 각 후보 이미지에서 상기 검색 이미지에 대응하는 목표 이미지를 특정하기 위한 특정 모듈을 포함하는, 이미지 검색 장치.
제 11 항에 있어서,
상기 계산 모듈은,
상기 이미지군 내의 각 이미지에 대해 각각 멀티 스케일 특징 추출을 행하여, 각 이미지에 일대일로 대응하는 멀티 스케일 특징 벡터를 얻기 위한 추출 서브 모듈과,
상기 멀티 스케일 특징 벡터에 의해 상기 이미지군 내의 임의의 2장의 이미지간의 중간 유사도를 계산하기 위한 계산 서브 모듈을 포함하는, 장치.
제 12 항에 있어서,
상기 추출 서브 모듈은,
상기 이미지마다 미리 설정된 수의 멀티 스케일 특징맵을 추출하기 위한 추출 유닛과,
각 상기 멀티 스케일 특징맵을 미리 설정된 차원의 특징 벡터로 표준화하기 위한 표준화 유닛을 포함하는, 장치.
제 12 항에 있어서,
상기 계산 서브 모듈은,
임의의 2장의 이미지에 대응하는 멀티 스케일 특징 벡터에 대해 비트마다 차분 연산을 행하여, 2개의 멀티 스케일 특징 벡터의 차분 벡터를 얻기 위한 차분 연산 유닛과,
상기 차분 벡터에 대해 비트마다 평방 연산을 행하여, 상기 차분 벡터의 평방 벡터를 얻기 위한 평방 연산 유닛과,
상기 평방 벡터에 대해 정규화 처리를 행하여, 정규화 벡터를 얻기 위한 제1 정규화 유닛과,
상기 정규화 벡터에 대해 차원 삭감 처리를 행하여, 상기 정규화 벡터에 대응하는 2차원 벡터를 얻기 위한 차원 삭감 유닛과,
상기 2차원 벡터에 대해 정규화 처리를 행하여, 상기 임의의 2장의 이미지간의 중간 유사도를 얻기 위한 제2 정규화 유닛을 포함하는, 장치.
제 14 항에 있어서,
상기 제1 정규화 유닛은,
상기 평방 벡터의 평균값과 분산을 각각 계산하기 위한 계산 서브 유닛과,
비트마다 상기 평방 벡터에서 상기 평균값을 뺀 값을 상기 분산으로 나누어 상기 정규화 벡터를 얻기 위한 정규화 서브 유닛을 포함하는, 장치.
제 14 항에 있어서,
상기 차원 삭감 유닛은,
상기 정규화 벡터와 미리 설정된 계수 행렬의 곱을 계산하고, 상기 곱을 상기 정규화 벡터에 대응하는 2차원 벡터로 하기 위해 사용되는, 장치.
제 11 항에 있어서,
상기 융합 모듈은,
상기 중간 유사도에 의해 최종적인 유사도를 제약하고, 수렴된 최종적인 유사도 추정을 얻기 위한 제약 서브 모듈과,
상기 수렴된 최종적인 유사도 추정에 대해 정규화 처리를 행하여, 최종적인 유사도를 얻기 위한 정규화 서브 모듈을 포함하는, 장치.
제 17 항에 있어서,
상기 융합 모듈은,
상기 중간 유사도에 의해 최종적인 유사도 추정을 초기화하기 위한 초기화 서브 모듈을 추가로 포함하는, 장치.
제 17 항에 있어서,
상기 제약 서브 모듈은,
상기 검색 이미지와 상기 후보 이미지 내의 제1 이미지의 제1 중간 유사도를 계산하기 위한 제1 계산 유닛과,
상기 제1 이미지와 상기 후보 이미지 내의 제2 이미지의 제2 중간 유사도를 계산하기 위한 제2 계산 유닛과,
상기 검색 이미지와 상기 제2 이미지의 최종적인 유사도 추정을 계산하기 위한 제3 계산 유닛과,
상기 제2 중간 유사도와 상기 최종적인 유사도 추정의 곱을 계산하기 위한 제4 계산 유닛과,
상기 제1 중간 유사도와 상기 곱의 가중치 중첩 결과를 계산하기 위한 제5 계산 유닛과,
상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정이 수렴될 때까지 상기 가중치 중첩 결과에 의해 상기 검색 이미지와 상기 제1 이미지의 최종적인 유사도 추정을 갱신하여, 상기 검색 이미지와 상기 제1 이미지의 수렴된 최종적인 유사도 추정을 얻기 위한 특정 유닛을 포함하는, 장치.
제 11 항에 있어서,
상기 특정 모듈은,
상기 최종적인 유사도가 미리 설정된 임계값보다 큰 후보 이미지를 상기 검색 이미지에 대응하는 목표 이미지로 하기 위해 사용되는, 장치.
제 1 항 내지 제 10 항 중 어느 한 항의 방법을 실행하도록 구성되는 프로세서와,
상기 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하는, 전자 기기.
컴퓨터 프로그램 명령을 기억한 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 10 항 중 어느 한 항의 방법이 실현되는, 컴퓨터 판독 가능 기억 매체.