KR101941693B1 - 내용 기반 이미지 검색방법 및 그에 따른 시스템 - Google Patents

내용 기반 이미지 검색방법 및 그에 따른 시스템 Download PDF

Info

Publication number
KR101941693B1
KR101941693B1 KR1020170067457A KR20170067457A KR101941693B1 KR 101941693 B1 KR101941693 B1 KR 101941693B1 KR 1020170067457 A KR1020170067457 A KR 1020170067457A KR 20170067457 A KR20170067457 A KR 20170067457A KR 101941693 B1 KR101941693 B1 KR 101941693B1
Authority
KR
South Korea
Prior art keywords
images
image
information
query
regions
Prior art date
Application number
KR1020170067457A
Other languages
English (en)
Other versions
KR20180131690A (ko
Inventor
낭종호
김상철
이승빈
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020170067457A priority Critical patent/KR101941693B1/ko
Publication of KR20180131690A publication Critical patent/KR20180131690A/ko
Application granted granted Critical
Publication of KR101941693B1 publication Critical patent/KR101941693B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 내용 기반 이미지 검색방법은, 사용자 단말기가, 다수의 예제 이미지 중 일부를 선택하고, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택하여 합성하여 질의 이미지를 생성하는 제1단계; 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하는 제2단계; 상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 제3단계; 내용 기반 이미지 검색 시스템이, 상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하는 제4단계; 및 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 제5단계;를 구비하며, 상기 데이터베이스에는, 이미지가 저장하며, 상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장됨을 특징으로 한다.

Description

내용 기반 이미지 검색방법 및 그에 따른 시스템{Method and system for content based image search}
본 발명은 이미지 검색 기술에 관한 것으로, 더욱 상세하게는 질의 이미지 중 일부 영역들인 관심 영역들에 대한 이미지들과 상기 관심 영역들의 위치정보들을 포함하는 쿼리 정보에 대한 검색을 요청하면, 상기 쿼리 정보의 관심 영역들에 대응되는 영역들에 위치하는 이미지들이 상기 질의 이미지의 이미지와 유사한 이미지를 내용 기반으로 검색함으로써, 사용자가 검색해내길 바라는 이미지를 손쉽게 찾을 수 있게 하는 내용 기반 이미지 검색방법 및 그에 따른 시스템에 관한 것이다.
인터넷의 발달로 인해 인터넷을 이용한 다양한 서비스가 제공되고 있으며, 그 중 대표적인 예가 검색 서비스라 할 수 있다. 상기 검색 서비스는 사용자가 검색하고자 하는 단어 또는 단어의 조합을 쿼리로 입력하면, 검색 엔진이 입력된 쿼리에 상응하는 검색 결과 문서(예컨대, 사용자로부터 입력된 검색 쿼리를 포함하는 웹 사이트, 기사)를 사용자에게 제공하는 서비스를 의미한다.
최근 사용자의 다양한 검색요구에 부응하기 위해 검색 서비스 제공자들은 텍스트 형태의 검색결과뿐만 아니라 이미지와 같은 컨텐츠를 검색결과로 제공하고 있다. 종래 검색 서비스 제공자들은 사용자가 입력한 쿼리를 포함하고 있는 이미지들, 예컨대 사용자가 입력한 쿼리가 파일명 또는 이미지와 관련된 텍스트에 포함되어 있는 이미지를 해당 쿼리의 중요도에 따라 모델링하여 이미지 검색결과를 제공하였다.
도 1은 종래 방식에 따르는 이미지 검색과정을 예시한 것이다. 도 1의 (a)가 찾고자 하는 스타일의 이미지라고 가정한다면, 사용자는 도 1의 (b)에 예시한 바와 같이 수영장, 신부, 남자 등의 키워드를 이용하여 이미지 검색을 요청할 수도 있고, 도 1의 (c)에 예시한 바와 같이 왼쪽에 신부가 있고 오른쪽에 남자가 있는 수영장의 웨딩 사진 등의 시멘틱 검색어를 이용하여 이미지 검색을 요청할 수 있다.
이러한 이미지 검색요청에 따라 이미지 검색 서비스 제공자는 도 1의 (d)에 예시한 바와 같은 검색결과를 도 1의 (d)에 도시한 바와 같이 제공한다. 그러나 상기 검색결과는 사용자가 찾고자 하는 스타일의 이미지와는 구별된다.
이와 같이 종래 키워드 검색 또는 시맨틱 검색을 통해서는 사용자가 원하는 이미지를 검색해내기가 어려웠다.
이러한 문제를 해소하기 위해 종래에는 텍스트가 아닌 쿼리 이미지를 직접 입력하여 검색을 이행하는 이미지 검색 기술이 제안되었으며, 이는 대한민국 특허청에 이미지를 탐색하는 시스템들 및 방법들을 명칭으로 하여 특허공개된 제10-2014-0111328호가 있으며, 이는 미디어 소스로부터 비디오 콘텐트를 수신하고; 상기 비디오 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 수신하고; 메모리에 상기 이미지를 저장하고; 상기 이미지에 디스플레이되는 복수의 아이템들을 선택하고, 제1아이템은 알려진 아이덴티티를 갖고 그리고 제2아이템은 알려지지 않은 아이덴티티를 가지며; 상기 이미지에서 상기 복수의 선택된 아이템들을 강조하고, 상기 제1아이템의 강조는 상기 제2아이템의 강조와는 서로 다른 외양(appearance)을 갖고; 상기 제1 및 제2 아이템들 중 하나에 대한 사용자 선택을 수신하고; 상기 선택된 아이템에 관한 정보를 검색하고; 그리고 상기 검색된 정보에 기초한 디스플레이 데이터를 제공하도록 된 프로세싱 회로를 포함하는 것을 특징으로 하는 시스템을 개시한다.
이와 같이 종래에는 텍스트가 아닌 쿼리 이미지를 토대로 이미지를 검색하는 기술이 제안되었으나, 여전히 사용자가 원하는 검색결과를 제공하는 데에는 한계가 있었다.
한국특허공개 제1020120109591호 한국특허공개 제1020130038547호 PCT 공개 제2011054002호 한국특허공개 제1020130060766호
본 발명은 질의 이미지 중 일부 영역들인 관심 영역들에 대한 이미지들과 상기 관심 영역들의 위치정보들을 포함하는 쿼리 정보에 대한 검색을 요청하면, 상기 쿼리 정보의 관심 영역들에 대응되는 영역들에 위치하는 이미지들이 상기 질의 이미지의 이미지와 유사한 이미지를 내용 기반으로 검색함으로써, 사용자가 검색해내길 바라는 이미지를 손쉽게 찾을 수 있게 하는 내용 기반 이미지 검색방법 및 그에 따른 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따르는 내용 기반 이미지 검색방법은, 사용자 단말기가, 다수의 예제 이미지 중 일부를 선택하고, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택하여 합성하여 질의 이미지를 생성하는 제1단계; 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하는 제2단계; 상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 제3단계; 내용 기반 이미지 검색 시스템이, 상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하는 제4단계; 및 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 제5단계;를 구비하며, 상기 데이터베이스에는, 이미지가 저장하며, 상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장됨을 특징으로 한다.
본 발명은 질의 이미지 중 일부 영역들인 관심 영역들에 대한 이미지들과 상기 관심 영역들의 위치정보들을 포함하는 쿼리 정보에 대한 검색을 요청하면, 상기 쿼리 정보의 관심 영역들에 대응되는 영역들에 위치하는 이미지들이 상기 질의 이미지의 이미지와 유사한 이미지를 내용 기반으로 검색함으로써, 사용자가 검색해내길 바라는 이미지를 손쉽게 찾을 수 있게 하는 효과를 야기한다.
도 1은 종래 방식에 따르는 내용 기반 이미지 검색 과정을 예시한 도면.
도 2는 본 발명의 바람직한 실시예에 따른 내용 기반 이미지 검색 시스템의 구성도.
도 3은 본 발명의 바람직한 실시예에 따르는 내용 기반 이미지 검색방법의 절차도.
도 4 내지 도 6은 본 발명의 바람직한 실시예에 따르는 내용 기반 이미지 검색과정을 예시한 도면.
도 7은 본 발명의 바람직한 실시예에 따라 순위를 재설정하는 과정을 예시한 도면.
본 발명은 질의 이미지 중 일부 영역들인 관심 영역들에 대한 이미지들과 상기 관심 영역들의 위치정보들을 포함하는 쿼리 정보에 대한 검색을 요청하면, 상기 쿼리 정보의 관심 영역들에 대응되는 영역들에 위치하는 이미지들이 상기 질의 이미지의 이미지와 유사한 이미지를 내용 기반으로 검색함으로써, 사용자가 검색해내길 바라는 이미지를 손쉽게 찾을 수 있게 한다.
이러한 본 발명의 바람직한 실시예에 따른 내용 기반 이미지 검색 시스템의 구성 및 처리 과정을 도면을 참조하여 상세하게 설명한다.
<내용 기반 이미지 검색 시스템의 구성>
본 발명의 바람직한 실시예에 따르는 내용 기반 이미지 검색 시스템의 구성을 도 2를 참조하여 설명한다.
상기 내용 기반 이미지 검색 서비스 시스템(200)은 서비스 서버(202)와 데이터베이스(204)로 구성된다.
상기 서비스 서버(202)는 질의 이미지 중 관심영역들의 이미지들과 상기 관심영역들의 위치정보들로 구성되는 쿼리 정보를 사용자 단말기(100)로부터 제공받아, 상기 질의 이미지에 대해 내용 기반 이미지 검색을 이행하고, 그에 따른 내용 기반 이미지 검색결과에 따르는 유사 이미지들의 순위를 결정하고, 상기 순위를 관심영역들 중 부분의 비중이 클수록 순위를 낮추는 방식으로 재결정한다. 상기 재결정된 순위에 따라 상위 순위의 이미지들을 유사 이미지로서 상기 사용자 단말기(100)로 반환한다.
상기 데이터베이스(204)는 본 발명의 바람직한 실시예에 따른 이미지 검색 서비스를 위한 다양한 크기의 다양한 이미지들은 물론이며, 각 이미지에 대한 빠른 검색을 위해 이미지에 내재된 저수준 시각 기술자 특징정보를 미리 저장한다.
상기 이미지들의 저수준 시각 기술자 특징정보의 저장 과정을 도 5를 참조하여 좀더 설명한다. 상기 데이터베이스(204)에 저장되는 이미지들은 크기가 다양하다. 이에 서비스 서버(202)는 다양한 크기의 이미지들을 미리 정해둔 제1크기로 노말라이즈(nomalize)한다. 이후 상기 서비스 서버(202)는 상기 미리 정해둔 제1크기로 노말라이즈된 이미지들을 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 분할된 영역들 각각에 대해 5가지로 정의된 시각 기술자별로 특성값을 계산한다. 상기 특성값은 DCD(Dominant Color Descriptor), SCD(Scalable Color Descriptor), CLD(Color Layout Descriptor), CSD(Color Structure Descriptor) 및 EHD(Edge Histogram Descriptor)이다.
상기 서비스 서버(202)는 이미지를 노말라이즈하여 균등 분할하여 생성한 분할 영역들 각각에 대해 5가지의 시각 기술자별 특성값 계산 결과를 저수준 시각 기술자 특징정보로서 상기 데이터베이스(204)에 저장한다.
상기 사용자 단말기(100)는 사용자에 의한 이미지 검색에 의해 획득된 이미지들 및 사용자가 미리 저장해둔 이미지들 중 일부를 선택적으로 편집하여 질의 이미지를 생성하고, 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할한다. 상기 사용자 단말기(100)는 사용자가 상기 분할된 다수 영역 중 일부를 관심영역들로 설정하면, 상기 선택된 관심영역에 위치하는 이미지 및 상기 관심영역의 위치정보를 결합하여 쿼리 정보를 생성하고, 상기 쿼리 정보를 상기 서비스 서버(200)로 전송하여 내용 기반 이미지 검색을 요청하고, 그 요청에 따라 반환되는 검색 결과를 출력하여 사용자에게 안내한다.
<내용 기반 이미지 검색 과정>
이제 상기한 내용 기반 이미지 검색 서비스 시스템(200)에 의해 제공되는 내용 기반 이미지 검색방법을 도 3을 참조하여 상세하게 설명한다.
상기 사용자 단말기(100)는 사용자에 의해 질의 이미지 생성이 요청되는지를 체크한다(300단계).
상기 사용자에 의해 질의 이미지 생성이 요청되면, 상기 사용자 단말기(100)는 예제 이미지들 중 원하는 이미지들을 다수 선택 및 합성하여 질의 이미지를 생성한다(302단계). 상기 예제 이미지들은 사용자에 의한 이미지 검색에 의해 획득된 이미지들 및 사용자가 미리 저장해둔 이미지들이다.
상기 질의 이미지 편집과정은 도 4에 예시한 바와 같다. 즉, 사용자는 키워드 기반 이미지 검색을 통해 도 4의 (a)에 예시한 바와 같이 예제 이미지들을 획득할 수 있다. 상기 예제 이미지들의 일부를 크롭 앤 페이스트하여 사용자는 자신이 검색해내길 원하는 이미지, 즉 도 4의 (c)와 유사한 이미지를 구성할 수 있으며, 이는 도 4의 (b)에 예시한 바와 같다.
상기한 바와 같이 질의 이미지 편집이 완료되면, 상기 사용자 단말기(100)는 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 미리 정해둔 제2크기로 균등하게 분할하며, 사용자로부터 상기 균등 분할한 영역 중 일부를 관심영역들로 설정받는다. 여기서, 사용자에 의해 질의 이미지 편집 및 관심영역을 설정한 것을 예시한 것이 도 6의 (a)이다.
이와 같이 사용자에 의한 질의 이미지 편집 및 관심영역 설정이 완료되면, 상기 사용자 단말기(100)는 질의 이미지 중 관심영역들의 이미지들과 관심영역들의 위치정보들을 결합하여 쿼리 정보를 생성한다(304단계). 상기 쿼리 정보는 수학식 1과 같이 구성될 수 있다.
Figure 112017051924069-pat00001
상기 수학식 1에 나타낸 바와 같이, 상기 쿼리정보(query)는 관심영역들의 이미지(이미지1~이미지n)와 그에 대응되는 관심영역 위치정보(관심영역1~관심영역n)로 구성된다.
이후 상기 사용자 단말기(100)는 상기 쿼리 정보를 서비스 서버(202)로 전송한다(306단계).
상기 서비스 서버(202)는 상기 사용자 단말기(100)로부터 쿼리 정보가 수신되면, 상기 쿼리 정보를 구성하는 관심영역들의 이미지들에 대해 저수준 내용정보인 시각 기술자 특성정보를 검출한다. 상기 시각 기술자 특성정보는 DCD(Dominant Color Descriptor), SCD(Scalable Color Descriptor), CLD(Color Layout Descriptor), CSD(Color Structure Descriptor), EHD(Edge Histogram Descriptor)이다.
이후 상기 서비스 서버(202)는 상기 쿼리 정보를 구성하는 관심영역들의 이미지들에 대한 시각 기술자 특성정보들의 검출이 완료되면, 상기 데이터베이스(204)에 저장된 이미지들 각각에 대해 상기 쿼리 정보에 포함된 관심영역 위치정보들 각각에 대응되는 영역들의 이미지에 대한 저수준 내용정보인 시각 기술자 특성정보들을 상기 데이터베이스(204)에서 독출하고, 상기 쿼리 정보로부터 검출된 시각 기술자 특성정보들과 상기 데이터베이스(204)에서 독출된 이미지들 각각의 시각 기술자별 특성정보들 사이의 차이를 나타내는 거리값의 분산을 계산하고, 이 분산 중 가장 큰 값을 갖는 시각 기술자 특성정보들을 최대 판별 특징(mdf, most discriminant feature)으로 선택하고, 이 최대 판별 특징(mdf)의 거리값을 오름차순으로 하여 유사 이미지들의 순위를 결정한다(308,310단계).
상기 순위 결정은 수학식 2에 따른다.
Figure 112017051924069-pat00002
상기 최대 판별 특징의 거리값(dist(query,dbimgi))은 질의 이미지(query)와 어느 한 데이터베이스(204)의 이미지(img1)와의 최대 판별 특징의 거리값이고, 상기
Figure 112017051924069-pat00003
는 쿼리와 검색중인 데이터베이스 이미지의 서브영역 i의 mdf의 차이를 의미하고,
Figure 112017051924069-pat00004
는 데이터베이스의 모든 이미지와의
Figure 112017051924069-pat00005
의 평균값을 의미한다.
여기서, 질의 이미지와 데이터베이스(204)에 저장된 이미지 사이의 최대 판별 특징을 예시한 것이 도 6의 (b)와 (c)이다.
여기서, 저급 수준의 시각 기술자 특징정보는 배경이 없는 경우에 매우 유사한 이미지가 되기 때문에 관심영역들의 일부에서만 부분적으로 유사도가 굉장히 높아지는 경향이 있다. 그러나 모든 관심 영역이 모두 유사한 이미지를 찾아내야 하므로, 최종거리는 편차의 합으로 결정한다.
이러한 과정을 거쳐 질의 이미지의 관심영역들에 대해 유사한 이미지들의 순위를 결정하면, 상기 서비스 서버(202)는 관심영역들에 대한 크기에 따라 상기 유사 이미지들의 순위를 재설정하고, 상위 순위에 위치하는 유사 이미지들을 검색결과로서 상기 사용자 단말기(100)로 반환한다(312단계).
이러한 순위 재설정은 수학식 3에 따라 이루어진다.
Figure 112017051924069-pat00006
상기 수학식 3에서 rm는 쿼리로 들어온 m번째 관심영역에 포함된 서브영역의 총 개수이고, ROIm은 m번째 관심영역이고, n은 집합에서 원소개수를 나타내는 식이다. 예를 들어, 전체 ROI 영역이 16개이고, 이중 해당 관심영역이 ROI 영역을 5개 포함하고 있을 경우에 n(ROIm)=5로 설정한다는 의미이다. 그리고 total은 총 관심영역에 포함되어 있는 서브영역의 총 개수이다.
그리고 Ranknew는 관심영역들에 대한 영역 크기를 고려하여 새로 갱신한 데이터베이스 이미지의 순위이고, Rankl는 데이터 베이스 l번째 이미지와 쿼리의 유사도 순위이다.
이러한 순위 재산출 과정을 도 7을 참조하여 좀 더 설명한다.
9개의 서브영역으로 구성되는 쿼리 이미지(query)에 대해 4개의 서브영역으로 구성된 관심영역 r1과 6개의 서브 영역으로 구성된 관심영역 r2가 구비된다고 가정하면, 총 관심영역에 포함되어 있는 서브영역의 총 개수는 10이 된다.
이를 수학식 3에 대입하면 수학식 4와 같다.
Figure 112017051924069-pat00007
이에 따라 상기 Ranknew는 관심영역들에 대한 영역 크기에 따라 갱신된다.
이러한 순위 재배열 과정을 예로 들어 좀더 설명한다. 순위 재설정은 관심영역을 구성하는 서브영역들의 수의 역수를 가중치로 하여 이루어진다. 즉, 관심영역을 구성하는 서브영역들이 많을수록 해당 관심영역이 크므로 이미지 전체에서 차지하는 비중이 크다는 근거를 가진다.
이에 상기 수학식 2에 의해서 얻어진 최대 판별 특징의 거리값을 기준으로 정렬한 경우에는 실제 유사도와 상이할 수 있다.
즉, 2개의 관심영역들이 검색 질의로 왔는데 1개의 관심영역이 전체 이미지에서 차지하는 비율이 70%이고 나머지 하나가 15%라고 가정할 때, 데이터베이스의 임의의 이미지 하나가 70%를 차지하는 이미지의 랭킹이 2등, 15%를 차지하는 이미지의 랭킹이 10등이라고 가정할 때에, 가중치 계산이 없을 경우에는 단순 랭킹의 합은 2+10로 전체 이미지중 12등이 될 것이다. 반면에 70%를 차지하는 이미지의 랭킹이 8등, 15%를 차지하는 이미지의 랭킹이 3등이라고 한다면, 단순 랭킹의 합은 11등이 되므로 위의 이미지보다 더 높은 등수를 갖게 되는 문제가 발생할 수 있다.
이런 문제를 막기 위해서 본 발명은 수학식 3을 이용해서 관심영역이 클수록 랭킹을 낮게 하는 방식으로 랭킹을 재배열한다.
상기 사용자 단말기(100)는 유사 이미지들인 검색결과를 표시하여 안내한다(314단계).
100 : 사용자 단말기
200 : 내용 기반 이미지 검색 서비스 시스템
202 : 서비스 서버
204 : 데이터베이스

Claims (8)

  1. 내용 기반 이미지 검색방법에 있어서,
    사용자 단말기가, 다수의 예제 이미지 중 일부를 선택받아, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택받으면, 이를 합성하여 질의 이미지를 생성하는 제1단계;
    상기 사용자 단말기가, 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하는 제2단계;
    상기 사용자 단말기가, 상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 제3단계;
    내용 기반 이미지 검색 시스템의 서비스 서버가, 상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하는 제4단계;
    상기 내용 기반 이미지 검색 시스템의 서비스 서버가, 상기 내용 기반 이미지 검색 시스템의 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와 상기 쿼리 정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 제5단계;를 구비하며,
    상기 데이터베이스에는,
    이미지가 저장하며,
    상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장되며,
    상기 제4단계에서 상기 서비스 서버가,
    상기 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보 사이의 차이를 나타내는 거리값의 편차의 합을 검출하고,
    상기 이미지들 각각에 대한 거리값의 편차의 합을 오름차순으로 정렬하여 상기 질의 이미지와 유사한 이미지들의 순위를 결정하고,
    상위 순위로 결정된 이미지들을 상기 유사한 이미지로 결정하여 검색결과로 상기 사용자 단말기로 반환하는 것임을 특징으로 하는 내용 기반 이미지 검색방법.
  2. 삭제
  3. 내용 기반 이미지 검색방법에 있어서,
    사용자 단말기가, 다수의 예제 이미지 중 일부를 선택받아, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택받으면, 이를 합성하여 질의 이미지를 생성하는 제1단계;
    상기 사용자 단말기가, 상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하는 제2단계;
    상기 사용자 단말기가, 상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 제3단계;
    내용 기반 이미지 검색 시스템의 서비스 서버가, 상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하는 제4단계;
    상기 내용 기반 이미지 검색 시스템의 서비스 서버가, 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와 상기 쿼리 정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 제5단계;를 구비하며,
    상기 데이터베이스에는,
    이미지가 저장하며,
    상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장되며,
    상기 제4단계에서 상기 서비스 서버가,
    상기 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와 상기 쿼리정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보 사이의 차이를 나타내는 거리 값의 편차의 합을 검출하고,
    상기 이미지들 각각에 대한 거리값의 편차의 합을 오름차순으로 정렬하여 상기 질의 이미지와 유사한 이미지들의 순위를 결정하고,
    상기 유사한 이미지들에 대해 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들에 대한 거리값들의 편차의 합의 비중에 따라 상기 순위를 재설정하고,
    상위 순위로 재설정된 이미지들을 상기 유사한 이미지로 결정하여 검색결과로 상기 사용자 단말기로 반환하는 것임을 특징으로 하는 내용 기반 이미지 검색방법.
  4. 제1항 또는 제3항에 있어서,
    상기 시각 기술자 특징정보는,
    DCD(Dominant Color Descriptor), SCD(Scalable Color Descriptor), CLD(Color Layout Descriptor), CSD(Color Structure Descriptor) 및 EHD(Edge Histogram Descriptor)임을 특징으로 하는 내용 기반 이미지 검색방법.
  5. 내용 기반 이미지 검색 시스템에 있어서,
    다수의 예제 이미지 중 일부를 선택받고, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택받아 합성하여 질의 이미지를 생성하고,
    상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고,
    상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 사용자 단말기; 및
    상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하고,
    데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리 정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 서비스 서버;를 구비하며,
    상기 데이터베이스에는,
    이미지가 저장하며,
    상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장되며,
    상기 서비스 서버는,
    상기 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리 정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보 사이의 차이를 나타내는 거리 값의 편차를 검출하고,
    상기 이미지들에 대한 거리값의 편차의 합을 오름차순으로 정렬하여 상기 질의 이미지와 유사한 이미지들의 순위를 결정하고,
    상위 순위로 결정된 이미지들을 상기 유사한 이미지로 결정하여 검색결과로 상기 사용자 단말기로 반환하는 것임을 특징으로 하는 내용 기반 이미지 검색 시스템.
  6. 삭제
  7. 내용 기반 이미지 검색 시스템에 있어서,
    다수의 예제 이미지 중 일부를 선택받고, 선택된 일부 이미지들에서 하나 이상의 일부 영역을 선택받아 합성하여 질의 이미지를 생성하고,
    상기 질의 이미지를 미리 정해둔 제1크기로 노말라이즈하고, 상기 노말라이즈한 질의 이미지를 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고,
    상기 다수 영역 중 일부를 관심 영역으로 선택받아, 관심 영역들 각각에 해당되는 이미지와 관심 영역의 위치를 나타내는 관심영역 위치정보를 결합하여 쿼리 정보를 생성하여 외부로 전송하는 사용자 단말기; 및
    상기 쿼리 정보를 제공받으면 상기 관심영역들에 대한 이미지들 각각에 대해 시각 기술자 특징정보를 검출하고,
    데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리 정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보를 비교하여 유사한 이미지들을 검색하고, 그에 따른 검색결과를 상기 사용자 단말기로 반환하는 서비스 서버;를 구비하며,
    상기 데이터베이스에는,
    이미지가 저장하며,
    상기 이미지를 미리 정해둔 제1크기로 노말라이즈한 후에, 미리 정해둔 제2크기로 균등하게 다수 영역으로 분할하고, 상기 분할된 다수 영역에 대해 각각 시각 기술자 특징정보를 검출하여 미리 저장되며,
    상기 서비스 서버는,
    상기 데이터베이스에 저장된 이미지들 각각에 대해, 상기 쿼리정보의 관심영역 위치정보들에 대응되는 영역들의 이미지의 시각 기술자 특징정보와, 상기 쿼리정보의 관심영역들의 이미지들 각각에 대한 시각 기술자 특징정보 사이의 차이를 나타내는 거리 값의 편차의 합을 검출하고,
    상기 이미지들에 대한 거리값의 편차의 합을 오름차순으로 정렬하여 상기 질의 이미지와 유사한 이미지들의 순위를 결정하고,
    상기 유사한 이미지들에 대해 상기 쿼리 정보의 관심영역 위치정보들에 대응되는 영역들에 대한 거리값의 편차의 합의 비중에 따라 상기 순위를 재설정하고,
    상위 순위로 재설정된 이미지들을 상기 유사한 이미지로 결정하여 검색결과로 상기 사용자 단말기로 반환하는 것임을 특징으로 하는 내용 기반 이미지 검색 시스템.
  8. 제5항 또는 제7항에 있어서,
    상기 시각 기술자 특징정보는,
    DCD(Dominant Color Descriptor), SCD(Scalable Color Descriptor), CLD(Color Layout Descriptor), CSD(Color Structure Descriptor) 및 EHD(Edge Histogram Descriptor)임을 특징으로 하는 내용 기반 이미지 검색 시스템.
KR1020170067457A 2017-05-31 2017-05-31 내용 기반 이미지 검색방법 및 그에 따른 시스템 KR101941693B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170067457A KR101941693B1 (ko) 2017-05-31 2017-05-31 내용 기반 이미지 검색방법 및 그에 따른 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170067457A KR101941693B1 (ko) 2017-05-31 2017-05-31 내용 기반 이미지 검색방법 및 그에 따른 시스템

Publications (2)

Publication Number Publication Date
KR20180131690A KR20180131690A (ko) 2018-12-11
KR101941693B1 true KR101941693B1 (ko) 2019-01-24

Family

ID=64671945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067457A KR101941693B1 (ko) 2017-05-31 2017-05-31 내용 기반 이미지 검색방법 및 그에 따른 시스템

Country Status (1)

Country Link
KR (1) KR101941693B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539376B1 (ko) * 2022-11-07 2023-06-02 주식회사 드랩 자연어 기반 상품 사진 생성 방법, 서버 및 컴퓨터 프로그램

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710491B2 (en) 2009-11-02 2017-07-18 Microsoft Technology Licensing, Llc Content-based image search
KR101457284B1 (ko) 2009-12-30 2014-10-31 노키아 코포레이션 콘텐츠 기반 이미지 검색을 가능하게 하는 방법 및 장치
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
KR101307325B1 (ko) 2011-10-10 2013-09-10 건국대학교 산학협력단 관심영역 설정을 이용한 이미지 이중 검색 시스템
KR101363374B1 (ko) 2011-11-30 2014-02-14 이병선 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템
KR20160012901A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 이미지를 검색하는 방법 및 그 전자 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jongwon Lee 외 1명, "Content-Based Image Retrieval Method using the Relative Location of Multiple ROIs", Advances in Electrical and Computer Engineering, pp 85-90, Volume 11, Number 3, 2011*

Also Published As

Publication number Publication date
KR20180131690A (ko) 2018-12-11

Similar Documents

Publication Publication Date Title
US20220035827A1 (en) Tag selection and recommendation to a user of a content hosting service
US11017034B1 (en) System and method for search with the aid of images associated with product categories
US20190012334A1 (en) Architecture for Responding to Visual Query
US9384214B2 (en) Image similarity from disparate sources
CA2770186C (en) User interface for presenting search results for multiple regions of a visual query
KR101659097B1 (ko) 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
US8473525B2 (en) Metadata generation for image files
US20140172821A1 (en) Generating filters for refining search results
US20020168117A1 (en) Image search method and apparatus
US20140181070A1 (en) People searches using images
US11669536B2 (en) Information providing device
WO2020255307A1 (ja) 情報処理装置、情報処理方法、および記録媒体
CN115618109A (zh) 内容推荐方法、装置、电子设备及计算机可读存储介质
KR101941693B1 (ko) 내용 기반 이미지 검색방법 및 그에 따른 시스템
US11256763B2 (en) System and method for searching for object based on property thereof
JP2009146013A (ja) コンテンツ検索方法及び装置並びにプログラム
AU2016200659B2 (en) Architecture for responding to a visual query
KR102412447B1 (ko) 전자책 정보를 제공하는 방법 및 이를 이용한 서버
KR102409598B1 (ko) 전자책 정보를 검색하기 위한 사용자 인터페이스를 제공하는 방법 및 이를 이용한 서버
US12124466B2 (en) Information providing device
KR101886182B1 (ko) 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant