KR20180132363A - 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법 - Google Patents

이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR20180132363A
KR20180132363A KR1020170069197A KR20170069197A KR20180132363A KR 20180132363 A KR20180132363 A KR 20180132363A KR 1020170069197 A KR1020170069197 A KR 1020170069197A KR 20170069197 A KR20170069197 A KR 20170069197A KR 20180132363 A KR20180132363 A KR 20180132363A
Authority
KR
South Korea
Prior art keywords
image
search
tag
web server
terminal
Prior art date
Application number
KR1020170069197A
Other languages
English (en)
Inventor
조수선
전진환
Original Assignee
한국교통대학교산학협력단
전진환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단, 전진환 filed Critical 한국교통대학교산학협력단
Priority to KR1020170069197A priority Critical patent/KR20180132363A/ko
Publication of KR20180132363A publication Critical patent/KR20180132363A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G06F17/30247—
    • G06F17/30268—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 단말기를 사용하여 획득된 이미지를 이용하고 연결된 컴퓨터 또는 직접 단말기를 이용하여 검색을 수행할 수 있는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템 및 방법에 관한 것으로서, 카메라가 구비되며 상기 카메라를 이용하여 상기 촬영한 검색 대상 이미지를 생성하고 상기 이미지를 이용하여 검색하는 단말기; 상기 단말기를 통해 접속되며 상기 이미지를 전송받아 검색서비스를 연결하여 이미지에 대응하는 검색 결과를 상기 단말기로 전송하는 웹서버; 상기 웹서버로부터 이미지서치 명령을 수신하여 상기 이미지 서치 명령에 포함된 태그를 추출하여 상기 태그에 대응하는 이미지를 검색하여 검색된 태그의 그룹을 상기 웹서버로 전송하는 이미지 자동태깅엔진; 및 상기 웹서버로부터 태그 그룹을 수신받아 대표 태그 및 카테고리를 추출하여 이를 상기 웹서버로 전송하는 검색어 파인더;를 포함하여 구성되어 획득한 이미지 또는 저장된 이미지를 이용하여 쉽게 검색을 수행할 수 있도록 구성한 효과가 있다.

Description

이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법{Mobile VISUAL SEARCH SERVICE SYSTEM AND METHOD USING AUTOMATIC IMAGE TAGGING}
본 발명은 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 단말기의 이미지를 이용하여 연결된 컴퓨터에서 자동 태깅을 하고 대표 태그를 이용한 이미지 검색어를 추출하여 단말기 상에서 텍스트기반 비주얼 검색을 수행할 수 있는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템 및 방법에 관한 것이다.
일반적으로 이미지 검색은 이미지의 URL(Uniform Resource Locator)를 복사하여 붙이고 이미지 검색을 클릭하면 해당 URL에 저장된 이미지와 연관된 이미지를 검색하도록 구성된다. 비주얼 검색 기술은 해외에서도 Google, MS, Baidu 등의 유명 IT기업을 중심으로 전개될 정도로 주목받고 있으나, 현재의 기술 수준은 검색을 위해 이미지를 정제하는 과정을 거치거나, 이미지 자체에 관련된 텍스트를 함께 분석하여 검색하는 방식으로 사용되어지고 있으며 대부분 PC를 기반으로 한 서비스로 검색 결과 또한 질의 이미지와 비슷한 유형의 유사 이미지를 중심으로 하고 있다.
따라서, 모바일 환경에서 텍스트 입력 과정을 완전히 배제하는 이미지 기반의 검색 서비스로의 전환이 필요한 시점에 도달하였다. 예컨대, 구글은 전술한 바와 같이 이미지의 URL(Uniform Resource Locator)를 복사하여 붙이고 이미지 검색을 클릭하여 해당 URL에 저장된 이미지와 연관된 이미지를 검색하도록 구성된다. 그러나, 이 경우 숙련된 사용자가 아닌 경우에는 해당 이미지의 URL을 검색하여 이를 붙이는 것이 어렵다. 또는 인터넷으로 검색된 이미지에 마우스와 같은 입력장치의 커서를 배치시킨 후에 마우스를 우클릭하여 이미지 검색을 할 수도 있지만, 이 경우에도 PC 기반의 검색이며 단순화되어 있기는 하지만, 여전히 복잡한 과정이 요구된다는 문제점이 있다.
대한민국 등록특허 제10-1028810호(발명의 명칭 : 광고 대상 분석 장치 및 그 방법)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것이다. 검색하고자 하는 대상을 스마트폰과 같은 모바일 단말기의 카메라로 촬영하면 해당 촬영 이미지가 사용자 입장에서는 검색 키워드와 같이 동일한 역할을 할 수 있도록 한다. 이미지를 이미지의 컨텐츠를 나타내는 태그정보들로 변환하고, 이를 이용하여 기존의 검색엔진에서 사용할 수 있는 일반적인 검색용 키워드를 생성하여 검색에 사용할 수 있도록 하는 시스템 및 방법을 제공한다. 즉, 단말기의 기존 모바일 검색엔진의 검색 창에 질의 이미지와 매칭되는 검색어를 자동으로 입력해주고 검색 결과를 출력해주는 것이 본 발명 과제의 목표이다.
상술한 목적을 달성하기 위한 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템은 사용자가 검색을 위해 촬영한 대상 이미지를 이미지 자동 태깅을 이용하여 비주얼 검색하는 서비스 시스템에 있어서,
카메라가 구비되며 상기 카메라를 이용하여 상기 검색 대상 이미지 촬영하여 이미지를 생성하고 상기 이미지를 이용하여 검색하는 단말기;
상기 이미지를 전송받아 이미지 자동 태깅 엔진 및 검색어 파인더를 거친 후, 반환 되는 대표 검색어를 단말기에 전송하는 웹서버;
상기 웹서버로부터 이미지 자동 태깅 명령을 수신하여 추출된 이미지 태그 그룹을 상기 웹서버로 전송하는 이미지 자동 태깅 엔진; 및
상기 웹서버로부터 태그 그룹을 수신받아 대표 태그 및 카테고리를 생성하여 상기 카테고리를 이미지에 대한 대표 검색어로 상기 웹서버에 전송하는 검색어 파인더;를 포함하여 구성된다.
상기 이미지 자동 태깅 엔진은 이미지로부터 가능한 모든 태그들과 정확도를 나타내는 각 태그 별 확률 값을 추출하여 태그 그룹을 형성하도록 구성될 수 있다.
상기 웹서버는,
단말기로부터 이미지를 수신하여 자동태깅엔진를 시작하고 단말기와 웹서버의 자동태깅엔진를 연결시키는 클라이언트 웹 서비스; 및
상기 이미지를 이미지 자동 태깅 엔진으로 전송하고 상기 이미지 자동 태깅 엔진으로부터 태그 그룹을 수신하며 상기 태그 그룹을 검색어 파인더로 전송하여 이미지 검색어를 수신하고 상기 이미지 검색어를 상기 클라이언트 웹 서비스로 전송하여 검색을 수행하도록 하는 웹 서비스 모듈;을 포함하여 구성된다.
상술한 목적을 달성하기 위한 이미지 자동 태깅을 이용한 비주얼 검색 서비스 방법은, 단말기로부터 입력된 검색 대상 이미지를 이미지 자동 태깅을 이용하며, 단말기, 웹서버, 이미지 자동 태깅 엔진 및 검색어 파인더를 포함하여 구성되는 비주얼 검색하는 서비스 방법에 있어서,
상기 이미지 자동 태깅 엔진은 상기 이미지를 입력받아 태그 그룹을 추출하는 단계;
상기 검색어 파인더는 상기 태그 그룹으로부터 대표 태그를 추출하고 상기 대표 태그의 카테고리를 추출하는 단계;
상기 추출된 카테고리를 이미지 검색어로 상기 웹서버에 전송하는 단계; 및
상기 웹서버는 상기 이미지 검색어로 대응하는 검색 서비스를 상기 단말기에 연결시키는 단계;를 포함하여 구성된다.
따라서 본 발명의 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템 및 방법은 단말기의 이미지를 이용하여 연결된 컴퓨터에서 자동 태깅을 하고 대표 태그를 이용한 이미지 검색어를 추출하여 단말기 상에서 텍스트기반 비주얼 검색을 수행할 수 있도록 함으로써 단말기에 구비된 카메라를 이용하여 획득한 이미지 또는 저장된 이미지를 이용하여 쉽게 비주얼 검색을 수행할 수 있도록 구성한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템의 구성을 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 도 1의 웹서버의 구성을 나타낸 블록 구성도.
도 3은 본 발명의 일 실시예에 따라 이미지를 이용하여 검색하는 과정을 나타낸 처리 흐름도.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템의 구성을 나타낸 블록 구성도이다.
도 1을 참조하면, 본 발명의 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템은 사용자가 촬영하기 위해 카메라를 포함하는 단말기(100), 단말기(100)에 의해 촬영되는 대상인 검색 대상 이미지(110), 이미지 자동 태깅 엔진(130), 검색어 파인더(140) 및 웹서버(200)로 구성된다.
도 1을 참조하면, 사용자가 단말기(100)를 통해 질의 이미지를 웹서버(200)로 전달하면 웹서버(200)는 이 질의 이미지를 자동태깅엔진(130)에 전달한다. 자동태깅엔진(130)은 이 질의 이미지에 대한 의미적 태그정보들을 추출하여 웹서버(200)에 결과를 반환하고, 웹서버(200)는 반환 받은 의미적 태그정보를 검색어 파인더에 전달한다. 검색어 파인더(140)는 자동태깅엔진(130)을 통해 추출된 태그정보들 중에서 해당 이미지를 대표할 수 있는 키워드를 생성한다. 검색어 파인더(140)를 통해 생성된 대표 키워드는 다시 웹서버(200)로 전송 되며, 웹서버(200)는 이 대표 키워드를 사용자 단말기(100)로 전달하여 기존 포털 검색엔진에서 검색어로 사용할 수 있도록 한다.
전술한 바와 같이, 본 발명의 이미지 검색 기술 방식은 기존의 이미지 대 이미지 형태의 이미지 검색방식이 아닌, 모바일 단말기를 이용한 이미지 대 키워드 방식을 사용함으로써 기존의 포털 검색 엔진을 그대로 활용할 수 있다는 차별점을 갖는다.
먼저, 단말기(100)는 카메라가 구비되며 상기 카메라를 이용하여 검색 대상 이미지를 촬영하여 이미지를 생성하고 상기 생성된 이미지를 웹서버(200)로 전송하고 이에 대응하는 검색을 수행한다.
웹서버(200)는 이미지를 전송받아 이미지 자동 태깅 엔진(130)에 전달한 후, 검색어 파인더(140)로부터 전달받은 이미지 검색어를 이용하여 텍스트기반의 이미지 검색을 수행한다. 웹서버(200)는 검색 결과를 단말기(100)로 전송하고 사용자는 단말기(100)를 통해 검색 결과를 확인할 수 있다.
이미지 자동태깅엔진(130)은 웹서버(200)로부터 촬영한 이미지와 함께 이미지 자동 태깅 명령을 수신하여 상기 촬영한 이미지로부터 태그 그룹을 추출하고 상기 태그 그룹에 포함된 태그들을 상기 웹서버(200)로 전송한다.
검색어 파인더(140)는 웹서버(200)로부터 태그 그룹을 수신받아 대표 태그 및 카테고리를 추출하고 추출된 카테고리를 이미지 검색어로 하여 웹서버(200)로 전송한다. 웹서버(200)는 이미지 검색어에 대응하는 검색을 수행한다.
이미지 자동태깅엔진(130)은 이미지로부터 가능한 모든 태그들과 정확도를 나타내는 각 태그 별 확률값을 추출하여 다수의 태그 그룹을 형성한다.
도 2는 본 발명의 일 실시예에 따른 도 1의 웹서버의 구성을 나타낸 블록 구성도이다.
도 2를 참조하면, 상기 웹서버(200)는 클라이언트 웹 서비스(210)와 웹 서비스 모듈(220)을 포함하여 구성된다.
클라이언트 웹 서비스(210)는 단말기(100)로부터 이미지를 수신하여 검색 서비스를 시작한다.
웹 서비스 모듈(220)은 이미지를 이미지 자동태깅엔진(130)으로 전송하고 상기 이미지 자동태깅엔진(130)으로부터 태그 그룹을 수신하며 태그 그룹을 검색어 파인더(140)로 전송하여 이미지 검색어를 수신하고 이미지 검색어에 대응하는 검색 서비스를 단말기(100)로 연결하여 검색 결과를 확인할 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따라 이미지를 이용하여 검색하는 과정을 나타낸 처리 흐름도이다.
도 3을 참조하면, 먼저, 단말기(100)는 사용자로부터 이미지를 입력받아 이를 웹서버(200)로 전송한다(S202단계).
웹서버(200)는 입력된 이미지를 이미지 자동태깅엔진(130)으로 전송한다(S204단계) .
이미지 자동태깅엔진(130)은 웹서버(200)로부터 이미지를 입력받아 태그 그룹을 추출한다(S206단계).
웹서버(200)는 추출된 이미지 자동태깅엔진(130)으로부터 태그 그룹을 수신한다(S208단계).
웹서버(200)는 수신한 태그 그룹을 검색어 파인더(140)로 전송한다(S210단계).
검색어 파인더(140)는 수신한 상기 태그 그룹으로부터 대표 태그를 추출한다(S212단계).
검색어 파인더(140)는 상기 대표 태그의 카테고리를 추출한다(214단계).
검색어 파인더(140)는 상기 S210단계 및 S212단계에서 추출한 대표 태그 및 카테고리를 웹서버(200)로 전송한다(S216단계)
웹서버(200)는 수신한 대표 태그 및 카테고리에 대응하는 검색 서비스를 상기 단말기(100)에 연결시킨다(S218).
상기 본 발명의 내용은 도면에 도식된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 단말기 110 : 검색 대상 이미지
130 : 이미지 자동 태깅 엔진 140 : 검색어 파인더
200 : 웹서버 210 : 클라이언트 웹 서비스
220 : 웹 서비스 모듈

Claims (4)

  1. 카메라가 구비되며 상기 카메라를 이용하여 상기 검색 대상 이미지을 촬영하여 이미지를 생성하고 상기 이미지를 웹서버에 전송하고 웹서버로부터 수신 받은 검색어를 이용하여 검색하는 단말기;
    상기 이미지를 전송받아 검색서비스를 연결하여 이미지에 대응하는 검색 결과를 단말기로 전송하는 웹서버;
    상기 웹서버로부터 이미지서치 명령을 수신하여 상기 이미지 서치 명령에 포함된 태그를 추출하여 상기 태그에 대응하는 이미지를 검색하고 검색된 태그의 그룹을 상기 웹서버로 전송하는 이미지 자동태깅엔진; 및
    상기 웹서버로부터 태그 그룹을 수신받아 대표 태그 및 카테고리를 추출하여 이를 상기 웹서버로 전송하는 검색어 파인더;를 포함하는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템.
  2. 제1항에 있어서, 상기 이미지 자동태깅엔진은,
    이미지로부터 추출한 태그들과 정확도를 나타내는 각 태그 별 확률값을 추출하여 다수의 태그 그룹을 형성하도록 구성되는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템.
  3. 제1항에 있어서, 상기 웹서버는,
    상기 단말기로부터 이미지를 수신하여 검색 서비스를 시작하고 단말기와 웹서버의 검색서비스를 연결시키는 클라이언트 웹 서비스; 및
    상기 이미지를 이미지 자동태깅엔진으로 전송하고 상기 이미지 자동태깅엔진으로부터 태그 그룹을 수신하며 상기 태그 그룹을 검색어 파인더로 전송하여 대표 태그 및 카테고리를 수신하고 상기 대표 태그 및 상기 카테고리를 상기 클라이언트 웹 서비스로 전송하여 검색을 수행하도록 하는 웹 서비스 모듈;을 포함하는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 시스템.
  4. 상기 이미지 자동태깅엔진은 상기 이미지를 입력받아 태그 그룹을 추출하는 단계;
    상기 검색어 파인더는 상기 태그 그룹으로부터 대표 태그를 추출하고 상기 대표 태그를 추출하는 단계;
    상기 대표 태그의 카테고리를 추출하는 단계;
    상기 추출된 대표 태그 및 상기 카테고리를 상기 웹서버로 전송하는 단계; 및
    상기 웹서버는 상기 대표 태그 및 상기 카테고리에 대응하는 검색 서비스를 상기 단말기에 연결시키는 단계;를 포함하는 이미지 자동 태깅을 이용한 비주얼 검색 서비스 방법.
KR1020170069197A 2017-06-02 2017-06-02 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법 KR20180132363A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170069197A KR20180132363A (ko) 2017-06-02 2017-06-02 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170069197A KR20180132363A (ko) 2017-06-02 2017-06-02 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20180132363A true KR20180132363A (ko) 2018-12-12

Family

ID=64670075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170069197A KR20180132363A (ko) 2017-06-02 2017-06-02 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20180132363A (ko)

Similar Documents

Publication Publication Date Title
US20210233319A1 (en) Context-aware tagging for augmented reality environments
US9665596B2 (en) Data access based on content of image recorded by a mobile device
US9020529B2 (en) Computer based location identification using images
US7536445B2 (en) Enabling a web-crawling robot to collect information from web sites that tailor information content to the capabilities of accessing devices
CN109743624B (zh) 视频切割方法、装置、计算机设备和存储介质
US20050162523A1 (en) Photo-based mobile deixis system and related techniques
US11055373B2 (en) Method and apparatus for generating information
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
KR20120001847A (ko) 이미지 검색시스템 및 이미지 검색방법
CN113806588B (zh) 搜索视频的方法和装置
US20190188224A1 (en) Method and apparatus for obtaining picture public opinions, computer device and storage medium
KR20160118198A (ko) 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기
US9665574B1 (en) Automatically scraping and adding contact information
CN106708963B (zh) 一种人工智能模式下的网站编辑器文章录入方法及系统
KR100898757B1 (ko) 위치정보를 기반으로 한 이미지 검색 방법 및 시스템.
KR20180132363A (ko) 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법
CN113132340B (zh) 一种基于视觉与主机特征的钓鱼网站识别方法及电子装置
CN114238735A (zh) 一种互联网数据智能采集方法
JP2022181319A (ja) 動画検索装置、動画検索システム及びプログラム
CN111695031A (zh) 基于标签的搜索方法、装置、服务器及存储介质
KR101896177B1 (ko) 다중 결과 제공 기능을 구비한 이미지 검색 시스템
CN104484414A (zh) 一种收藏夹信息的处理方法和装置
KR101746594B1 (ko) 웹 크롤러 기반 사용자 검색이력 추종 학습형 사용자 맞춤 검색정보 푸쉬 제공시스템
WO2021213339A1 (en) Method and system for extracting and storing image metadata
CN116938999B (zh) 一种基于grpc的多方信息传递及状态同步方法、系统及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment