KR20170131924A - 이미지 검색 방법, 장치 및 컴퓨터 프로그램 - Google Patents

이미지 검색 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20170131924A
KR20170131924A KR1020160062745A KR20160062745A KR20170131924A KR 20170131924 A KR20170131924 A KR 20170131924A KR 1020160062745 A KR1020160062745 A KR 1020160062745A KR 20160062745 A KR20160062745 A KR 20160062745A KR 20170131924 A KR20170131924 A KR 20170131924A
Authority
KR
South Korea
Prior art keywords
image
categories
user
images
server
Prior art date
Application number
KR1020160062745A
Other languages
English (en)
Inventor
김택수
김상범
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020160062745A priority Critical patent/KR20170131924A/ko
Publication of KR20170131924A publication Critical patent/KR20170131924A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G06F17/30268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F17/30696—
    • G06F17/30705—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법을 개시한다.

Description

이미지 검색 방법, 장치 및 컴퓨터 프로그램{Method, apparatus and computer program for searching image}
본 발명은 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 주어진 검색어에 대응하는 이미지를 검색하여 제공함에 있어, 상기 검색된 이미지를 상기 검색어의 특성을 반영하여 정해지는 카테고리 별로 분류하여 제공함으로써, 사용자가 상기 검색된 이미지 및 이로부터 도출되는 부가적인 정보를 체계적으로 파악할 수 있도록 하는 이미지 검색 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
정보통신 기술의 발달과 함께 스마트폰이나 개인용 피씨(PC) 등 단말을 이용한 정보의 검색 및 습득이 일반화되고 있다.
특히, 근래에는 사용자가 특정 검색어에 대한 사진이나 그림 등 이미지를 검색하는 경우가 늘어나고 있는데, 이는 백문불여일견(百聞不如一見)이라는 말처럼 텍스트 만으로 정보를 습득하는 것보다는 실제 사진 등의 이미지를 보는 것이 효율적인 경우가 많기 때문이다. 나아가, 풍경이나 음식 등과 같이 텍스트 만으로는 기술하기 어려운 분야들의 경우에는 사용자에게 이미지를 검색하여 제공할 필요성이 더욱 커지게 된다.
이와 관련하여, 다수의 인터넷 포털 서비스 등에서는 주어진 검색어에 대하여 사진 등 이미지를 검색하여 제공하는 서비스를 구현하고 있는 상황이다. 그러나, 상기 종래 기술에 따른 사진 등 이미지 검색 서비스의 경우 검색된 사진 등 이미지에 대하여 상기 검색어와의 연관 정도나 이미지의 생성 일시 등에 따라 단순 정렬하여 제공되는 정도에 머무르고 있다.
이에 따라, 종래 이미지 검색 서비스에서는 다양한 이미지가 체계적으로 분류되어 제공되지 못하고 혼재되어 제공되는 바, 사용자가 이미지 검색 결과로부터 자신이 원하는 정보를 체계적이고 편리하게 파악하기 어렵다는 문제가 나타나게 된다.
예를 들어, 사용자가 특정 음식점에 대한 이미지를 검색하고자 하는 경우, 종래 이미지 검색 서비스에서는 통상 위 특정 음식점의 내부, 외부 사진, 다양한 음식 사진 등을 혼재되어 사용자에게 제공하게 된다. 따라서, 사용자가 위 특정 음식점의 내부 인테리어를 자세하게 살피려면, 혼재된 다수의 이미지들을 순차적으로 살펴 내부 인테리어 이미지를 선별하면서 각 이미지들을 검토해야 하는 불편함이 따른다. 나아가, 사용자가 상기 검색된 이미지를 이용하여 상기 특정 음식점에서 유명한 음식 메뉴들을 파악하려고 한다면, 검색된 다수의 이미지들 중 음식에 해당하는 이미지들을 선별한 후, 각 이미지가 어떤 음식 메뉴에 해당하는지 판단하고, 각 음식 메뉴 중 어떤 음식 메뉴에 대한 이미지가 많은지, 그에 대한 평가는 어떤지 등을 직접 확인하여야 하는 불편함이 따를 수 있다.
이에 따라, 주어진 검색어에 대한 이미지 검색 결과를 제공함에 있어서, 사용자가 검색된 이미지로부터 자신이 원하는 이미지 또는 이로부터 도출될 수 있는 부가 정보를 편리하게 파악할 수 있도록, 검색된 이미지를 체계적으로 분류하여 제공할 수 있는 방안에 대한 요구가 지속되고 있으나, 아직 이에 대한 적절한 해법이 제시되지 못하고 있는 상황이다.
대한민국 공개특허 제 10-2011-0061261호(2011년 6월 9일 공개)
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 주어진 검색어에 대한 이미지를 검색하여 제공함에 있어, 검색된 이미지를 상기 검색어의 특성에 따라 정해지는 카테고리 별로 분류하여 제공할 수 있는 이미지 검색 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
나아가, 본 발명은 상기 검색된 이미지를 카테고리 별로 분류함에 있어, 상기 검색된 이미지에 대한 분석을 통하여 자동으로 상기 카테고리 별로 분류할 수 있는 이미지 검색 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 이미지 검색 방법은, 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 이미지 검색 방법은, 사용자 단말이 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법으로서, 사용자가 입력한 검색어를 서버로 전송하는 단계; 상기 서버로부터, 상기 검색어에 의하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받는 단계; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 상기 기재된 이미지 검색 방법의 각 단계를 컴퓨터에서 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 서버는, 주어진 검색어에 대한 이미지를 검색하여 제공하는 서버로서, 상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 카테고리 도출부; 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 이미지 분류부; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 이미지 제공부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 사용자 단말은, 주어진 검색어에 대한 이미지를 검색하여 제공하는 사용자 단말로서, 사용자가 입력한 검색어를 서버로 전송하는 검색어 전송부; 상기 서버로부터, 상기 검색어에 의하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받는 분류 데이터 수신부; 및 상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하는 사용자 인터페이스부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 주어진 검색어의 특성을 고려하여 미리 정해진 카테고리를 이용하여, 상기 검색어에 대하여 검색된 이미지를 상기 카테고리에 따라 분류하여 사용자에게 제공함으로써, 사용자가 검색된 이미지로부터 자신이 원하는 이미지 또는 이로부터 도출될 수 있는 부가 정보를 편리하게 파악할 수 있게 된다.
또한, 본 발명의 일 실시예에 따르면, 주어진 이미지를 복수의 카테고리로 분류할 수 있도록 학습된 분류기를 이용하여, 주어진 검색어를 이용하여 검색된 이미지를 상기 복수의 카테고리 별로 분류함으로써, 사용자가 상기 복수의 카테고리 별로 분류된 검색 이미지를 제공받을 수 있으며, 나아가 자신이 원하는 이미지 또는 이로부터 도출될 수 있는 부가 정보를 편리하게 파악할 수 있게 된다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 검색 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 서버 관점의 이미지 검색 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따라 카테고리 별로 분류된 이미지의 예시도이다.
도 4a와 도 4b는 본 발명의 일 실시예에 따라 카테고리 별로 분류된 이미지를 사용자 단말에서 디스플레이하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 검색된 텍스트를 분석하여 대표 키워드를 산출하는 과정에 대한 설명도이다.
도 6은 본 발명의 일 실시예에 따라 카테고리 별로 분류된 이미지를 모니터에서 디스플레이하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 사용자 단말 관점에서의 이미지 검색 방법의 순서도이다.
도8은 본 발명의 일 실시예에 따라 검색된 이미지와 텍스트를 처리하여 사용자에게 제공하는 과정을 설명하기 위한 설명도이다.
도 9는 본 발명의 일 실시예에 따른 이미지 검색을 위한 서버의 구성도이다.
도 10은 본 발명의 일 실시예에 따른 이미지 검색을 위한 사용자 단말의 구성도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하에서는, 본 발명에 따른 이미지 검색 방법, 장치 및 컴퓨터 프로그램의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.
먼저, 도 1에서는 본 발명의 일 실시예에 따른 이미지 검색 시스템(100)의 구성도를 보여주고 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 이미지 검색 시스템 (100)은 사용자가 입력한 검색어에 대한 이미지를 검색하여 제공함에 있어서, 사용자가 입력한 검색어를 서버(120)로 전송하고, 상기 서버(120)로부터 복수의 카테고리 별로 분류된 이미지를 전송받아 사용자에게 제공하는 사용자 단말(110)과, 상기 사용자 단말(110)로부터 사용자가 입력한 검색어를 전송받아 이에 대한 이미지를 검색하며, 상기 검색어의 유형에 따라 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하여, 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류하여 상기 사용자 단말(110)로 제공하는 서버(120) 및 상기 사용자 단말(110)과 서버(120)를 연결하는 네트워크(130)를 포함하여 구성될 수 있다.
이때, 상기 사용자 단말(110)로서는 스마트폰, 태블릿 PC, PDA, 휴대전화 등 다양한 휴대 단말기가 사용될 수 있고, 그외에도 퍼스널 컴퓨터(PC), 노트북 PC 등 사용자로부터 검색어를 입력받고, 상기 검색어에 대하여 검색된 이미지를 제공하는데 사용될 수 있는 다양한 단말들이 채택될 수 있다.
또한, 본 발명에서 이미지는 그림, 사진 등을 포함하며, 나아가 문자나 기호, 도형 등을 포함하여 다양하게 구성될 수도 있다.
또한, 상기 사용자 단말(110)과 서버(120)를 연결하는 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.
도 2에서는 본 발명의 일 실시예에 따른 서버(120) 관점의 이미지 검색 방법의 순서도를 도시하고 있다. 아래에서는 도 2를 참조하여 본 발명의 일 실시예에 따른 이미지 검색 방법을 각 단계별로 나누어 자세하게 검토한다.
먼저, S110단계에서는 서버(120)가 주어진 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출 된다.
구체적인 예로서, 사용자가 이미지를 검색하기 위한 검색어로서 음식점의 명칭(예를 들어, OO 면옥)를 입력하는 경우, 상기 검색어는 음식점에 대응하는 제1 유형에 해당할 수 있다.
이때, 음식점의 경우 사용자들이 통상적으로 관심을 가지는 이미지는 음식점의 외관의 모습, 내부 인테리어, 메뉴, 음식 사진 등이 될 수 있으므로, 사용자가 음식점에 대응하는 제1 유형의 검색어를 입력하는 경우, 이에 대한 카테고리로서 상기 "외관", "내부", "메뉴", "음식" 등의 카테고리를 도출할 수 있다.
다른 예로서, 사용자가 식물의 이름(예를 들어, 동백나무)를 입력하는 경우, 상기 검색어는 식물에 대응하는 제2 유형에 해당할 수 있다.
식물의 경우 사용자들이 통상적으로 관심을 가지는 이미지는 식물의 꽃, 잎파리, 뿌리 등의 형상 등을 포함할 수 있으므로, 사용자가 식물에 대응하는 제2 유형의 검색어를 입력하는 경우, 이에 대한 카테고리로서 상기 "꽃", "잎파리", "뿌리" 등을 카테고리로서 도출할 수 있게 된다.
이때, 본 발명의 일 실시예로서, 상기 OO 면옥 등의 음식점 명칭, 동백나무 등의 식물 명칭 등 사용자가 입력할 수 있는 검색어들을 미리 유형 별로 분류하고, 사용자들의 사용 행태나 선호도 등을 고려하여 상기 유형에 따른 복수의 카테고리를 선정할 수 있으며, 나아가, 상기 검색어들의 목록 및 그에 대한 유형, 유형에 따른 복수의 카테고리를 데이터베이스 등에 저장하여 관리할 수도 있다.
더 나아가, 상기 복수의 카테고리에는 사용자에게 제공되지 않고 차단되는 카테고리가 포함될 수도 있다.
예를 들어, 상기 OO 면옥 등의 음식점에 대한 이미지를 검색하는 경우, 검색된 이미지 중에는 사람의 얼굴이나 동물 등이 포함되는 이미지가 있을 수 있는데, 사람의 얼굴이나 동물이 포함되는 이미지의 경우 다른 사용자에게 효용성이 떨어질 수 있고, 특히 사람의 얼굴이 포함되는 이미지는 사생활 침해의 여지도 있을 수 있으므로, 이러한 이미지들은 차단하는 것이 바람직할 수 있다.
이에 따라, 상기 복수의 카테고리에는 "사람", "동물" 등의 카테고리가 포함될 수도 있으며, 상기 "사람", "동물" 등의 카테고리로 분류되는 이미지들은 검색 결과로서 제공되지 않고 차단될 수 있다.
다음으로, S120 단계에서는 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하게 된다.
이에 대한 하나의 실시예로서, 주어진 이미지를 분류할 수 있도록 학습된 분류기를 이용하여, 상기 검색어에 대하여 검색된 이미지를 분류할 수 있다. 보다 구체적으로, 콘볼루션 신경망 네트워크(Convolution Neural Network, CNN)의 일종인 VGG 네트워크 등 딥러닝(deep learning) 기법을 적용하여 학습된 분류기를 이용하여 검색된 이미지를 분류할 수도 있다. 이때, 상기 분류기는 딥러닝 기법 외에도 다양한 기계 학습 기법을 적용하여 구현하는 것도 가능하다.
예를 들어, 앞서 살핀 예에서 음식점에 대한 이미지를 분류하는 경우를 살펴 본다. 음식점의 경우 복수의 카테고리로서 음식점의 "외관", "내부", "메뉴", "음식" 등의 카테고리로 분류할 수 있으며, 나아가, 사용자에게 제공되지 않고 차단되는 "사람", "동물" 등의 카테고리를 포함하여 분류할 수도 있다.
또한, 상기 S120 단계는 상기 복수의 카테고리 중 제1 카테고리로 분류된 이미지를 유사도를 기준으로 클러스터링하여 복수의 군집으로 나누는 단계를 포함할 수도 있다.
예를 들어, 상기 음식점에 대한 이미지를 분류하는 경우, 상기 "음식" 카테고리에 해당하는 이미지들은 다시 여러 종류의 음식 종류를 포함할 수 있는 바, 상기 "음식" 카테고리에 해당하는 이미지들을 음식 종류 별로 클러스터링하여 다시 복수개의 군집으로 나누어 사용자에게 제공할 수도 있다.
도 3을 살펴보면, 음식점의 사진을 "외관"(310), "내부"(320), "메뉴"(330) 및 "음식"(340) 카테고리로 나누어 분류한 후, 사용자에게 제공하는 화면을 예시하고 있다. 또한, 상기 "음식"(340) 카테고리에서는 다시 이미지를 음식 종류별로 클러스터링(예를 들어, "단호박 대하 구이", "떡갈비", "맑은 조개탕" 등) 하여 복수의 군집으로 나누어 제공하고 있음을 볼 수 있다.
보다 구체적으로, 상기 제1 카테고리에 포함된 이미지를 클러스터링하여 복수의 군집으로 나누기 위하여, K-means 기법 등 이미지의 유사도를 기준으로 군집화하는 기법을 사용할 수 있다. 이때, 상기 클러스터에 포함되는 이미지를 적절한 수로 조절하기 위하여 상기 K-means 기법에서의 K 값을 조절할 수 있다.
이에 따라, 상기 "음식" 클러스터로 분류되었던 이미지들은 유사한 이미지(즉, 같은 종류의 음식)들로 클러스터링되어 복수의 군집으로 나누어지게 된다.
보다 구체적인 실시예로서, 앞서 살핀 VGG 네트워크 기법을 사용하여 이미지들을 복수의 카테고리로 분류한 후, 다시 하나의 카테고리에 속한 이미지들을 클러스터링하여 복수의 군집으로 나누는 경우, 각 이미지에 대한 VGG 네트워크의 전체 연결된 7번째 계층에서 (Fully Connected, FC7) 출력되는 이미지 피쳐(image feature)를 추출하고 이를 클러스터링하여 복수의 군집으로 나눌 수도 있다.
나아가, 본 발명의 일 실시예로서, 상기 서버(120)는 특정 검색어에 대하여 이미지를 검색하고, 상기 검색된 이미지를 상기 특정 검색어의 유형에 따라 도출되는 복수의 카테고리 별로 분류하여 미리 데이터베이스에 저장하여 둔 후에, 사용자가 상기 특정 검색어에 대한 검색을 요청하는 경우 상기 데이터베이스에 저장된 데이터를 상기 사용자의 사용자 단말로 제공함으로써, 상기 사용자의 검색 요청에 신속하게 응답하도록 할 수도 있다.
또한 도4a와 도 4b에서는 본 발명의 일 실시예에 따라 스마트폰 등 사용자 단말에 이미지를 카테고리 별로 분류하여 제공하는 경우의 다른 예를 보여주고 있다.
도 4a에서 볼 수 있는 바와 같이, 본 발명에서는 사용자가 검색한 매장을 대표하는 이미지를 선정하여 제공(410)할 수 있다. 이때, 상기 사용자가 검색한 매장을 대표하는 이미지는 상기 복수의 카테고리 별로 분류된 이미지의 수 또는 상기 복수의 군집에 속하는 이미지의 수를 고려하여, 상기 사용자가 검색한 매장을 대표하는 카테고리 또는 군집을 선정할 수 있으며, 나아가 상기 카테고리 또는 군집에서 대표 이미지를 선정할 수도 있다.
이때, 상기 대표 이미지를 선정함에 있어서는 상기 카테고리 또는 군집에 포함되는 이미지들의 중간값에 가장 가까운 이미지를 선정하거나, 검색된 이미지에 대응하는 텍스트(예를 들어, "가장 맛있는", "최고" 등)를 고려하여 대표 이미지를 선정할 수도 있다.
또한, 도 4a에서 볼 수 있는 바와 같이, 음식 종류별로 이미지를 군집화하여 제공할 수 있으며(420), 이때, 제한된 화면에 검색된 이미지를 모두 표시하기 어려운 경우, 도 4b에서 볼 수 있는 바와 같이 외관(430), 메뉴(440), 내부(450) 등의 카테고리 별로 분류된 이미지들을 스크롤하여 확인하도록 할 수도 있다.
나아가, 본 발명의 일 실시예로서 상기 주어진 검색어에 대한 이미지를 수집하는데 그치지 않고, 상기 검색된 이미지에 대응하는 텍스트를 수집한 후, 상기 카테고리 또는 군집을 대표하는 키워드를 선정하여 사용자에게 제공할 수도 있다.
보다 구체적으로, 상기 서버(120)는 주어진 검색어에 의하여 검색되는 웹 페이지 등에 포함된 이미지와 상기 이미지에 대응하는 텍스트를 수집한 후, 상기 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류할 수 있다.
이때, 상기 이미지에 대응하는 텍스트는 상기 이미지를 설명하는 내용에 포함되는 텍스트일 수 있다.
여기서, 상기 이미지에 대응하는 텍스트는 상기 이미지의 주변에 배치될 가능성이 높으므로 상기 이미지의 위치를 기준으로 상기 이미지에 대응하는 텍스트를 산출할 수도 있다. 예를 들어, 상기 웹 페이지에서 상기 이미지의 하단 등 주변이나 소정의 거리 이내에 배치되는 텍스트에서 선택될 수 있다.
보다 구체적인 예로서, 상기 웹페이지에 제1 이미지가 포함되어 있고 상기 제1 이미지의 위치를 기준으로 제1 거리에 제1 텍스트가 배치되어 있고, 상기 제1 이미지의 위치를 기준으로 제2 거리에 제2 텍스트가 배치되어 있는 경우, 상기 제1 이미지의 위치를 기준으로 소정의 거리 이내에 배치된 제1 텍스트 중에서 상기 제1 이미지에 대응하는 텍스트를 선택할 수 있다. 물론, 상기 제1 거리 및 제2 거리가 모두 상기 소정의 거리 이내에 해당하는 경우에는 상기 제1 텍스트 및 제2 텍스트 중에서 상기 제1 이미지에 대응하는 텍스트를 선택할 수도 있다.
또는, 상기 이미지에 대응하는 텍스트는 상기 이미지와의 거리를 기준으로 가중치를 설정할 수 있으며, 텍스트의 크기나 색상에도 가중치를 설정하여 산출할 수도 있다.
나아가, 본 발명에서 상기 이미지에 대응하는 텍스트를 산출함에 있어서, 반드시 상기 이미지의 위치를 기준으로 판단하는 것은 아니며, 상기 텍스트에 포함되는 문구 등 다양한 방법을 이용하여 상기 이미지에 대응하는 텍스트를 산출할 수도 있다.
이어서, 상기 서버(120)는 상기 복수의 카테고리 중 제2 카테고리 또는 그로부터 생성되는 하나 이상의 군집에 속하는 이미지에 대하여, 상기 이미지에 대응하는 텍스트를 이용하여 상기 제2 카테고리 또는 상기 하나 이상의 군집을 대표하는 키워드를 선정할 수 있다.
보다 구체적인 실시예로서, 도 5에서는 검색된 텍스트를 분석하여 대표 키워드를 산출하는 과정을 설명하고 있다. 도 5에서 볼 수 있는 바와 같이, 먼저 검색어를 이용하여 수집된 이미지 또는 상기 이미지로부터 산출된 이미지 피쳐(image feature)(Vi)와 각 이미지 또는 이미지 피쳐에 대응하는 텍스트로부터 추출된 형태소(Ti)로부터 형태소들의 집합에 대한 단어 가방(bag of words, BoW) (Si)을 산출한다.
이어서, 상기 단어 가방(Si)의 길이를 기준으로 주어진 수식 등을 사용하여 정규화(modified-length normalize)하고, 상기 단어 가방(Si)에 대응하는 이미지가 대표 이미지에 가까울수록(유사도가 높을수록) 높은 가중치를 부여하여 도 5에서 볼 수 있는 바와 같이, avg(S)에서 가장 큰 값을 가지는 인덱스에 해당하는 항목(형태소)를 대표 키워드로 선정하게 된다.
구체적인 예를 들어, 각 이미지 피쳐(Vi)에 대한 형태소(Ti)들을 이용하여 단어 가방(Si)를 구성하게 되는데, 도 5에 형태소 "스테이크"는 단어 가방 Si 의 첫번째 인덱스( Si = [첫번째 인덱스, 두번쩨 인덱스, …)에 대응할 수 있으며, "머쉬룸"은 두번째 인덱스에 대응할 수 있다.
상기와 같은 방법으로 단어 가방(Si)가 구성되면, 상기 각 단어 가방(Si)의 길이를 고려하여 정규화(modified-length normalize)한 후(즉, 형태소가 많은 경우 대표 키워드의 비중이 낮아짐), 대표 이미지에 가까울 수록 높은 가중치를 부여하여(weighted pooling), avg(S)에서 가장 큰 값을 가지는 인덱스에 해당하는 항목(형태소)를 대표 키워드로 선정하게 된다. 이에 따라, 도 5의 예에서는 각 형태소의 출현 빈도 및 대표 이미지와의 유사도 등을 고려하여 "스테이크"가 대표 키워드로 선정될 수 있다.
나아가, 도 5에서 볼 수 있는 바와 같이 상기 "스테이크" 형태소가 포함되는 단어 가방에 "아이" 형태소가 포함될 확률이 소정의 기준지(예를 들어 0.5)를 넘는 경우, "아이 스테이크"를 대표 키워드로 선정할 수도 있으며, 더 나아가, "스테이크" 형태소가 포함되는 단어 가방에 "립" 형태소와 "아이" 형태소가 모두 포함될 확률이 소정의 기준지(예를 들어 0.5)를 넘는 경우에는 "립 아이 스테이크"를 대표 키워드로 선정할 수도 있다.
이어서, S130 단계에서는 상기 서버(120)가 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말(110)로 제공하게 된다.
이에 따라, 상기 사용자 단말(110)은 도 6에서 볼 수 있는 바와 같이 외관(610), 내부(620), 메뉴(630) 및 복수의 군집(음식 메뉴)로 나누어진 음식(640) 카테고리 별로 분류된 이미지를 사용자에게 제공할 수 있게 된다.
나아가, 본 발명의 일 실시예로서 도 6에서 볼 수 있는 바와 같이 특정 검색어에 대한 대표 이미지(또는 특정 카테고리 또는 군집에 대한 대표 이미지)를 선정하거나, 그에 대응하는 텍스트 등을 제공(650)할 수도 있다.
더 나아가, 본 발명의 일 실시예로서 도 6에서 볼 수 있는 바와 같이 데이터베이스에 미리 생성되어 저장되어 있는 검색어의 목록을 제시하고 사용자가 상기 목록에서 검색어를 선택하여, 복수의 카테고리 별로 분류된 이미지를 제공(660)받을 수 있도록 할 수도 있다.
도 7에서는 본 발명의 일 실시예에 따른 사용자 단말(110) 관점에서의 이미지 검색 방법의 순서도를 도시하고 있다. 아래에서는 도 7를 참조하여 본 발명의 일 실시예에 따른 이미지 검색 방법을 각 단계별로 나누어 자세하게 검토한다.
먼저, S210단계에 대하여 살핀다. 본 단계(S210)에서는 사용자 단말(110)이 사용자가 입력한 검색어를 서버(120)로 전송하게 된다.
이에 따라, 사용자 단말(110)에서는 사용자에게 검색어들 입력하기 위한 사용자 인터페이스를 제공하고, 상기 사용자가 입력하는 검색어를 수집한 후, 이를 상기 서버(120)로 전송할 수 있다.
다음으로, S220단계에서는 상기 사용자 단말(110)이 상기 서버(120)로 상기 검색어에 대하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받게 된다.
이에 따라, 상기 서버(120)는 상기 사용자가 입력한 검색어를 사용하여 이미지를 검색하게 된다(도 8의 510). 상기 서버(120)는 상기 사용자가 입력한 검색어를 전달받아 그에 대한 이미지를 검색할 수도 있겠으나, 특정 검색어에 대한 검색 결과를 미리 도출한 후 이를 이용할 수도 있다.
또한, 서버(120)는 상기 이미지와 함께 상기 이미지에 대한 텍스트로 함께 검색할 수도 있다(도 8의 510).
이어서, 상기 서버(120)는 상기 검색된 이미지를 분석하여 처리할 수 있으며(도 8의 520), 나아가 상기 검색된 텍스트를 분석하여 처리할 수도 있다(도 8의 530).
상기 이미지 처리 과정에서, 서버(120)는 검색된 이미지로부터 이미지 피쳐를 산출(도 8의 Feature Computation)하여 사용할 수도 있다.
이어서, 서버(120)는 상기 이미지 또는 이미지 피쳐에 대하여 복수의 카테고리로 분류하는 작업을 수행하게 된다.
보다 구체적으로, 상기 서버(120)는 상기 검색어의 유형에 따라 정해진 복수의 카테고리를 도출하고, 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류(도 8의 Menu, Interior, Exterior, Food)할 수 있다.
이때, 상기 서버(120)는 주어진 이미지를 상기 복수의 카테고리로 분류할 수 있도록 딥 러닝(Deep learning) 등 기계 학습 등의 기법으로 학습된 분류기를 이용하여, 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류할 수도 있다. 나아가, 상기 복수의 카테고리에는 상기 사용자 단말로 제공되지 않도록 차단되는 카테고리가 포함될 수도 있다.
또한, 상기 서버(120)는 특정 검색어에 대하여 이미지를 검색하고, 상기 검색된 이미지를 상기 특정 검색어의 유형에 따라 도출되는 복수의 카테고리 별로 분류하여 미리 데이터베이스에 저장해 둔 후에, 사용자가 상기 특정 검색어에 대한 검색을 요청하는 경우 상기 데이터베이스에 저장된 데이터를 상기 사용자의 사용자 단말(110)로 제공할 수도 있다.
나아가, 상기 서버(120)는 상기 복수의 카테고리 중 제1 카테고리로 분류된 이미지를 유사도를 기준으로 클러스터링(도 8의 clustering)하여 복수의 군집(도 8의 Menu Cluster 1~4)으로 나누어 사용자 단말(110)로 제공할 수도 있다.
또한, 상기 서버(120)는 상기 검색된 이미지에 대응하는 텍스트를 이용하여 상기 카테고리 또는 군집을 대표하는 키워드를 선정하여 사용자 단말(110)로 제공할 수도 있다.
보다 구체적으로, 도 8에서 서버(120)는 각 이미지에 대응하는 텍스트로부터 형태소를 추출하게 된다(도 8의 N-gram Feature Extraction). 이어서, 서버(120)는 각 이미지에 대응하는 형태소로 구성되는 단어 가방(Si)의 길이를 고려하고, 상기 단어 가방(Si)에 대응하는 이미지와 대표 이미지의 유사도에 따른 가중치를 고려하여, 상기 카테고리 또는 군집을 대표하는 키워드를 선정하게 된다(도 8의 Cluster Name Decision).
마지막으로, S230단계에서는 사용자 단말(110)이 상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하게 된다.
이에 따라, 상기 사용자는 자신이 입력한 검색어에 대하여, 상기 검색어의 유형에 따라 도출되는 복수의 카테고리 별로 분류된 이미지 검색 결과를 제공받을 수 있게 된다.
또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 이미지 검색 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다. 또한, 상기 상기 컴퓨터로 판독 가능한 매체는 전자적 기록 매체(예를 들면, 롬, 플래시 메모리, 등), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같이 컴퓨터로 판독이 가능한 일체의 저장매체를 포함한다.
또한, 도 9에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)의 구성도를 예시하고 있다.
도 9에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)는 카테고리 도출부(121), 이미지 분류부(122) 및 이미지 제공부(123)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)를 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 이미지 검색 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 원문 수신부(121)에서는 주어진 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하게 된다.
또한, 이미지 분류부(122)에서는 상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하게 된다.
마지막으로, 이미지 제공부(123)에서는 상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말(110)로 제공하게 된다.
이때, 상기 이미지 분류부(122)에서는, 주어진 이미지를 상기 복수의 카테고리로 분류할 수 있도록 학습된 분류기를 이용하여, 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류할 수 있다.
여기서, 상기 복수의 카테고리에는 상기 사용자 단말(110)로 제공되지 않도록 차단되는 카테고리가 포함될 수 있다.
또한, 상기 이미지 분류부(122)에서는 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류한 후, 상기 복수의 카테고리 중 제1 카테고리로 분류된 이미지를 유사도를 기준으로 클러스터링하여 복수의 군집으로 나눌 수도 있다.
또한, 상기 서버(120)는 상기 검색된 이미지에 대응하는 텍스트를 함께 검색하고, 상기 텍스트로부터 상기 카테고리 또는 군집을 대표하는 키워드를 선정하여 사용자 단말(110)로 제공할 수도 있다.
또한, 상기 서버(120)는 특정 검색어에 대하여 이미지를 검색하고, 상기 검색된 이미지를 상기 특정 검색어의 유형에 따라 도출되는 복수의 카테고리 별로 분류하여 미리 데이터베이스에 저장한 후에, 사용자가 상기 특정 검색어에 대한 검색을 요청하는 경우 상기 데이터베이스에 저장된 데이터를 상기 사용자의 사용자 단말(110)로 제공할 수도 있다.
또한, 도 10에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 사용자 단말(110)의 구성도를 예시하고 있다.
도 10에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 사용자 단말(110)은 검색어 전송부(111), 분류 데이터 수신부(112) 및 사용자 인터페이스부(113)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 사용자 단말(110)을 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 사용자 단말(110)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 이미지 검색 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 검색어 전송부(111)에서는 사용자가 입력한 검색어를 서버(120)로 전송하게 된다.
이어서, 분류 데이터 수신부(112)에서는 상기 서버(120)로부터 상기 검색어에 의하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받게 된다.
마지막으로, 사용자 인터페이스부(113)에서는 상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하게 된다.
이때, 상기 분류된 데이터는 주어진 이미지를 상기 복수의 카테고리로 분류할 수 있도록 학습된 분류기를 이용하여, 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류된 데이터일 수 있다.
또한, 상기 분류된 데이터는 상기 검색된 이미지를 상기 복수의 카테고리 별로 분류한 후, 상기 복수의 카테고리 중 제1 카테고리로 분류된 이미지를 유사도를 기준으로 클러스터링하여 복수의 군집으로 나누어진 데이터일 수도 있다.
또한, 상기 사용자 단말(110)는 상기 서버(120)로부터 검색된 이미지에 대응하는 텍스트로부터 선정된 상기 카테고리 또는 군집을 대표하는 키워드를 제공받을 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 이미지 검색 시스템
110, 110a, 110b : 사용자 단말
111 : 검색어 전송부
112 : 분류 데이터 수신부
113 : 사용자 인터페이스부
120 : 서버
121 : 카테고리 도출부
122 : 이미지 분류부
123 : 이미지 제공부
130 : 네트워크

Claims (12)

  1. 서버가 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법에 있어서,
    상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 단계;
    상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 단계; 및
    상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  2. 제 1항에 있어서,
    상기 분류하는 단계에서는,
    주어진 이미지를 상기 복수의 카테고리로 분류할 수 있도록 학습된 분류기를 이용하여,
    상기 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 것을 특징으로 하는 이미지 검색 방법.
  3. 제 1항에 있어서,
    상기 서버는 특정 검색어에 대하여 이미지를 검색하고, 상기 검색된 이미지를 상기 특정 검색어의 유형에 따라 도출되는 복수의 카테고리 별로 분류하여 미리 데이터베이스에 저장한 후에,
    사용자가 상기 특정 검색어에 대한 검색을 요청하는 경우 상기 데이터베이스에 저장된 데이터를 상기 사용자의 사용자 단말로 제공하는 것을 특징으로 하는 이미지 검색 방법.
  4. 제 1항에 있어서,
    상기 복수의 카테고리는,
    상기 사용자 단말로 제공되지 않도록 차단되는 카테고리를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  5. 제 1항에 있어서,
    상기 분류하는 단계는,
    상기 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 단계; 및
    상기 복수의 카테고리 중 제1 카테고리로 분류된 이미지를 유사도를 기준으로 클러스터링하여 복수의 군집으로 나누는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  6. 제5항에 있어서,
    상기 복수의 카테고리 별로 분류된 이미지의 수 또는 상기 복수의 군집에 속하는 이미지의 수를 고려하여,
    상기 주어진 검색어에 대한 대표 카테고리 또는 군집을 선정하는 단계를 더 포함하는 것을 특징으로 하는 이미지 검색 방법.
  7. 제 1항에 있어서,
    상기 분류하는 단계는,
    상기 서버가 상기 주어진 검색어에 의하여 검색되는 웹 페이지에 포함된 이미지와 상기 이미지에 대응하는 텍스트를 수집하는 단계;
    상기 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 단계; 및
    상기 복수의 카테고리 중 제2 카테고리 또는 그로부터 생성되는 하나 이상의 군집에 속하는 이미지에 대하여,
    상기 이미지에 대응하는 텍스트를 이용하여 상기 제2 카테고리 또는 상기 하나 이상의 군집을 대표하는 키워드를 선정하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  8. 제 7항에 있어서,
    상기 키워드를 선정하는 단계는,
    상기 이미지에 대응하는 텍스트를 구성하는 형태소를 추출하는 단계;
    상기 추출된 형태소의 출현 빈도를 고려하여 상기 키워드를 선정하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  9. 사용자 단말이 주어진 검색어에 대한 이미지를 검색하여 제공하는 방법에 있어서,
    사용자가 입력한 검색어를 서버로 전송하는 단계;
    상기 서버로부터, 상기 검색어에 의하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받는 단계; 및
    상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  10. 컴퓨터에서 제1항 내지 제9항 중 어느 한 항에 기재된 이미지 검색 방법의 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  11. 주어진 검색어에 대한 이미지를 검색하여 제공하는 서버에 있어서,
    상기 검색어의 유형에 따라, 검색된 이미지를 분류하는데 사용되는 복수의 카테고리를 도출하는 카테고리 도출부;
    상기 검색어에 대하여 검색된 이미지를 상기 복수의 카테고리 별로 분류하는 이미지 분류부; 및
    상기 복수의 카테고리 별로 분류된 이미지를 사용자 단말로 제공하는 이미지 제공부를 포함하는 것을 특징으로 하는 서버.
  12. 주어진 검색어에 대한 이미지를 검색하여 제공하는 사용자 단말에 있어서,
    사용자가 입력한 검색어를 서버로 전송하는 검색어 전송부;
    상기 서버로부터, 상기 검색어에 의하여 검색된 이미지가 상기 검색어의 유형에 따라 도출된 복수의 카테고리 별로 분류된 데이터를 전송받는 분류 데이터 수신부; 및
    상기 복수의 카테고리 별로 분류된 이미지를 사용자에게 제공하는 사용자 인터페이스부를 포함하는 것을 특징으로 하는 사용자 단말.
KR1020160062745A 2016-05-23 2016-05-23 이미지 검색 방법, 장치 및 컴퓨터 프로그램 KR20170131924A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160062745A KR20170131924A (ko) 2016-05-23 2016-05-23 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062745A KR20170131924A (ko) 2016-05-23 2016-05-23 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20170131924A true KR20170131924A (ko) 2017-12-01

Family

ID=60921739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062745A KR20170131924A (ko) 2016-05-23 2016-05-23 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20170131924A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194569A1 (ko) * 2018-04-04 2019-10-10 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램
KR20200020748A (ko) * 2020-02-11 2020-02-26 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램
KR20200026423A (ko) 2018-08-31 2020-03-11 십일번가 주식회사 사용자 컨텍스트 기반 사용자 분석 결과 제공 장치 및 방법
KR20200099271A (ko) * 2019-02-14 2020-08-24 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법
KR20200101643A (ko) 2019-02-20 2020-08-28 이득기 인공지능 기반의 유사 디자인 검색 장치
KR20200119370A (ko) 2019-03-22 2020-10-20 이득기 인공지능 기반의 유사 디자인 검색 장치
KR20210006661A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법
KR102243554B1 (ko) * 2021-01-18 2021-04-22 위셀글로벌 주식회사 오픈 마켓 판매상품에 대한 가격 변동 자동 모니터링 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194569A1 (ko) * 2018-04-04 2019-10-10 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램
KR20200026423A (ko) 2018-08-31 2020-03-11 십일번가 주식회사 사용자 컨텍스트 기반 사용자 분석 결과 제공 장치 및 방법
KR20200099271A (ko) * 2019-02-14 2020-08-24 엔에이치엔 주식회사 이미지의 태그어에 기반하여 모자이크 이미지를 생성해 제공하는 방법
KR20200101643A (ko) 2019-02-20 2020-08-28 이득기 인공지능 기반의 유사 디자인 검색 장치
KR20200119370A (ko) 2019-03-22 2020-10-20 이득기 인공지능 기반의 유사 디자인 검색 장치
KR20210006661A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법
KR20200020748A (ko) * 2020-02-11 2020-02-26 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램
KR102243554B1 (ko) * 2021-01-18 2021-04-22 위셀글로벌 주식회사 오픈 마켓 판매상품에 대한 가격 변동 자동 모니터링 시스템

Similar Documents

Publication Publication Date Title
KR20170131924A (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
US11637797B2 (en) Automated image processing and content curation
US11194965B2 (en) Keyword extraction method and apparatus, storage medium, and electronic apparatus
US10540575B1 (en) Ephemeral content management
CN108241667B (zh) 用于推送信息的方法和装置
US9864803B2 (en) Method and system for multimodal clue based personalized app function recommendation
CN104143005B (zh) 一种相关搜索系统及方法
US20100034470A1 (en) Image and website filter using image comparison
US20220383053A1 (en) Ephemeral content management
US20100211551A1 (en) Method, system, and computer readable recording medium for filtering obscene contents
CN101479728A (zh) 视觉以及多维搜索
CN107958042B (zh) 一种目标专题的推送方法及移动终端
CN109829108B (zh) 信息推荐方法、装置、电子设备及可读存储介质
CN101305368A (zh) 语义可视搜索引擎
KR102020551B1 (ko) 모바일 컨텍스트 정보 기반의 음식점 추천방법 및 그를 위한 장치
CN105531701A (zh) 个性化趋势图像搜索建议
KR20080024712A (ko) 사용자의 검색 히스토리를 이용한 모바일 정보 검색 방법,분류 방법 및 정보 검색 시스템
CN109791559A (zh) 促进图像作为搜索查询的使用
US11010411B2 (en) System and method automatically sorting ranked items and generating a visual representation of ranked results
KR20200083159A (ko) 사용자 단말에서의 사진 검색 방법 및 시스템
CN112860929A (zh) 一种图片搜索方法、装置、电子设备及存储介质
US11176189B1 (en) Relevance feedback with faceted search interface
CN106202312B (zh) 一种用于移动互联网的兴趣点搜索方法和系统
CN115168568B (zh) 一种数据内容的识别方法、装置以及存储介质
CN108694171B (zh) 信息推送的方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment