KR102115286B1 - 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법 - Google Patents

이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법 Download PDF

Info

Publication number
KR102115286B1
KR102115286B1 KR1020130001258A KR20130001258A KR102115286B1 KR 102115286 B1 KR102115286 B1 KR 102115286B1 KR 1020130001258 A KR1020130001258 A KR 1020130001258A KR 20130001258 A KR20130001258 A KR 20130001258A KR 102115286 B1 KR102115286 B1 KR 102115286B1
Authority
KR
South Korea
Prior art keywords
image
search
terminal
information
search request
Prior art date
Application number
KR1020130001258A
Other languages
English (en)
Other versions
KR20140089675A (ko
Inventor
유승우
우경구
박형민
이종하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130001258A priority Critical patent/KR102115286B1/ko
Publication of KR20140089675A publication Critical patent/KR20140089675A/ko
Application granted granted Critical
Publication of KR102115286B1 publication Critical patent/KR102115286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
    • H04B5/72—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for local intradevice communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법 이 개시된다. 본 발명의 이미지 검색 서버는, 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 검색 요청 수신부와, 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 검색 범위 결정부와, 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하는 유사 이미지 검색부와, 검색 결과를 단말로 송신하는 검색 결과 송신부를 포함할 수 있다.

Description

이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법{Server, terminal, system and method for searching images}
이미지 검색 기술에 관한 것으로, 특히, 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법에 관한 것이다.
인터넷 또는 통신 기술에 발달로 인하여 세계 곳곳에 흩어져 있는 다양한 이미지 자료들에 대한 접근이 가능하게 됨으로써 찾고자 하는 이미지를 이미지 데이터베이스 또는 인터넷상에서 효율적이고 정확하게 검색해 낼 수 있는 이미지 검색 시스템에 대한 필요성이 증대되고 있다.
한편, 이미지 데이터베이스에 저장된 모든 이미지를 검색 범위로 하는 이미지 검색 서비스는 일반적으로 잘 알려지거나 유명한 이미지를 검색하는 경우는 빠르고 정확한 결과를 보여줄 수 있으나, 잘 알려지지 않은 이미지를 검색하는 경우는 검색해야 하는 범위가 너무 많아서 빠르고 정확한 결과를 보여주기 어렵다. 또한, 사용자가 직접 검색 범위를 설정하는 이미지 검색 서비스는 빠르고 정확한 결과를 보여줄 수는 있으나 사용자가 직접 카테고리 등을 선택하여 검색 범위를 설정해야 하기 때문에 불편을 초래한다.
근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 이를 기반으로 검색 범위를 결정함으로써, 빠르고 정확하게 유사 이미지를 검색하여 사용자에게 제공할 수 있는 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법이 제공된다.
본 발명의 일 양상에 따른 이미지 검색 서버는, 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 검색 요청 수신부와 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 검색 범위 결정부와 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하는 유사 이미지 검색부와 검색 결과를 단말로 송신하는 검색 결과 송신부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따른 이미지 검색 서비스 제공 단말은, 근거리 통신을 이용하여 주변 객체의 아이디 정보를 수집하는 객체 아이디 수집부와 수집된 객체 아이디 정보 및 검색 요청 이미지가 포함된 이미지 검색 요청 신호를 송신하는 검색 요청부와 이미지 검색 요청에 대한 이미지 검색 결과를 수신하는 검색 결과 수신부를 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따른 이미지 검색 서비스 제공 방법은, 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 단계와 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 단계와 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하는 단계와 검색 결과를 단말로 송신하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따른 이미지 검색 서비스 제공 시스템은, 근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 검색 요청 이미지와 단말 주변 객체 아이디 정보가 포함된 이미지 검색 요청 신호를 이미지 검색 서버로 송신하고, 이미지 검색 요청 신호에 대응한 이미지 검색 결과를 이미지 검색 서버로부터 수신하는 단말과 단말로부터 단말 주변 객체 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하여, 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하고, 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하며, 검색 결과를 단말로 송신하는 이미지 검색 서버를 포함할 수 있다.
근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 이를 기반으로 검색 범위를 결정함으로써, 빠르고 정확하게 유사 이미지를 검색하여 사용자에게 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템의 개략적인 구성도이다.
도 2는 도 1의 단말(110)의 상세 구성도이다.
도 3은 도 1의 이미지 검색 서버(130)의 상세 구성도이다.
도 4는 도 3의 유사 이미지 검색부(350)의 상세 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
한편, 본 명세서에서 설명되는 단말은 휴대폰, 스마트 폰(smart phone), 태블릿 PC, 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션, 웨어러블 디바이스(Wearable Device) 등의 다양한 디바이스가 포함될 수 있으나, 이하, 본 발명의 일 실시 예를 설명함에 있어, 웨어러블 디바이스(Wearable Device)를 기준으로 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템(100)은 단말(110) 및 이미지 검색 서버(130)를 포함할 수 있다.
단말(110)은 객체 아이디 수집 명령에 따라 근거리 통신을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 예를 들면, 단말(110)은 NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 등 다양한 근거리 통신 기술을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 이때, 단말(110)은 각 객체에 부착된 태그로부터 각 객체의 아이디 정보를 수신하거나 특정 물체에 부착된 태그로부터 복수 개체의 아이디 정보를 수신함으로써 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다.
단말(110)은 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함한 이미지 검색 요청 신호를 이미지 검색 서버(130)로 송신하고, 이미지 검색 서버(130)로부터 이미지 검색 요청 신호에 대한 이미지 검색 결과를 수신할 수 있다. 이때, 단말(110)은 사용자로부터 검색 요청 이미지를 입력 받을 수도 있고, 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 직접 생성할 수도 있다.
한편, 단말(110)은 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 사용자로부터 입력 받을 수도 있으나, 미리 설정된 조건을 만족하는지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성하는 것도 가능하다. 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보면, 안경형 웨어러블 디바이스는 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성하고, 그에 따른 기능을 수행할 수 있다.
단말(110)은 수신된 이미지 검색 결과를 출력할 수 있다. 이때, 단말(110)은 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강 현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 단말(110)은 이미지 검색 결과에 포함된 각 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라 숫자를 표시하거나 합성 색상의 진하기 정도를 달리하는 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다.
이미지 검색 서버(130)는 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 단말(110)로부터 수신하여, 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지(이하, 객체 이미지)에서 검색 범위를 결정할 수 있다. 예를 들어, 이미지 검색 서버(130)는 기 저장된 객체 이미지 중에서 수신된 단말 주변 객체 아이디 정보에 대응되는 객체 이미지만을 검색 후보로 결정할 수 있다.
이미지 검색 서버(130)는 결정된 검색 범위 내에서 수신된 검색 요청 이미지와 유사한 객체 이미지(이하, 유사 이미지)를 검색하여, 검색 결과를 단말(110)로 송신할 수 있다. 예를 들어, 이미지 검색 서버(130)는 수신된 검색 요청 이미지를 분석하여 특징 정보를 추출하고, 추출된 검색 요청 이미지의 특징 정보와 기 저장된 객체 이미지의 특징 정보를 비교하여 유사도를 판단함으로써 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검색할 수 있다. 이때, 이미지 검색 서버(130)는 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 등을 이용하여 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검색할 수 있다.
도 2는 도 1의 단말(110)의 상세 구성도이다.
도 2를 참조하여, 본 발명의 일 실시 예에 따른 단말(110)을 상세하게 설명하면, 단말(110)은 객체 아이디 수집부(210), 검색 요청부(230), 검색 결과 수신부(250) 및 표시부(270)를 포함할 수 있다.
객체 아이디 수집부(210)는 객체 아이디 수집 명령에 따라 근거리 통신을 통하여 단말(110)의 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 예를 들어, 객체 아이디 수집부(210)는 NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 등 다양한 근거리 통신 기술을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 그러나, 상술한 근거리 통신 기술에 한정되는 것이 아니다.
이때, 객체 아이디 수집부(210)은 각 객체에 부착된 태그로부터 각 객체의 아이디 정보를 수신하거나 특정 물체에 부착된 태그로부터 복수 개체의 아이디 정보를 수신함으로써 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다.
검색 요청부(230)는 객체 아이디 수집부(210)로부터 단말(110) 주변 객체의 아이디 정보를 수신 받아, 검색 요청 이미지와 함께 이미지 검색 요청 신호에 포함시켜 이미지 검색 서버(130)로 송신할 수 있다.
검색 결과 수신부(250)는 이미지 검색 요청 신호에 대응한 이미지 검색 결과를 이미지 검색 서버(130)로부터 수신할 수 있다.
표시부(270)는 이미지 검색 서버(130)로부터 수신한 이미지 검색 결과를 출력할 수 있다.
이때, 표시부(270)는 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 표시부(270)은 이미지 검색 결과에 포함된 각 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 이미지 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라, 숫자를 표시하는 방법, 합성 색상의 진하기 정도를 달리하는 방법, 합성하는 라벨(label)의 크기를 달리하는 방법 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다. 또한, 표시부(270)는 이미지 검색 결과, 동종 객체들이 검색된 경우, 동종 객체들을 한꺼번에 묶어서 증강현실로 출력할 수도 있으며, 동종 객체들을 대표하는 하나의 객체를 선정하여 증강현실로 출력할 수도 있다.
한편, 검색 요청 이미지는 사용자로부터 입력받을 수도 있고, 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 직접 생성할 수도 있다. 단말(110)이 검색 요청 이미지를 직접 생성하는 경우, 단말(110)은 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 생성하는 검색 요청 이미지 생성부(220)를 더 포함할 수 있다.
또한, 객체 아이디 수집 명령 및 이미지 캡쳐 명령은 사용자로부터 입력 받을 수도 있고, 미리 설정된 조건을 만족하는지 여부를 판단하여 단말(110)이 직접 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수도 있다. 단말(110)이 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 직접 생성하는 경우, 단말(110)은 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)를 더 포함할 수 있다.
객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 단말(110)이 미리 설정된 조건을 만족하는 지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보는 경우, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 이때, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 사용자가 바라보는 이미지의 변화량을 특정 시간 동안 측정하여, 분석함으로써, 한 곳을 응시하는지, 움직이고 있는지 또는 다른 곳을 둘러보고 있는지 판단할 수 있다. 이 경우, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 3축 가속도 센서, 자이로 센서, 방향(orientation) 센서 등을 이용하거나 특정 이미지 프레임의 색상 히스토그램(histogram) 값을 비교하는 방법 등 다양한 방법을 이용하여 한 곳을 응시하는지 여부를 판단할 수 있다.
도 3은 도 1의 이미지 검색 서버(130)의 상세 구성도이고, 도 4는 도 3의 유사 이미지 검색부(350)의 상세 구성도이다.
도 3 및 도 4를 참조하여, 본 발명의 일 실시 예에 따른 이미지 검색 서버(130)를 상세하게 설명하면, 이미지 검색 서버(130)는 검색 요청 수신부(310), 검색 범위 결정부(330), 유사 이미지 검색부(350) 및 검색 결과 송신부(370) 및 데이터베이스부(390)를 포함할 수 있다.
검색 요청 수신부(310)는 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 단말(110)로부터 수신할 수 있다.
검색 범위 결정부(330)는 수신된 단말 주변 객체의 아이디 정보를 기반으로 데이터베이스부(390)에 저장된 객체 이미지에서 검색 범위를 결정할 수 있다. 예를 들어, 검색 범위 결정부(330)는 데이터베이스부(390)에 저장된 객체 이미지 중에서 수신된 단말 주변 객체 아이디 정보에 대응되는 객체 이미지만을 검색 대상으로 결정할 수 있다.
유사 이미지 검색부(350)는 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 이미지를 검색할 수 있다.
도 4를 참조하여, 유사 이미지 검색부(350)를 상세히 설명하면, 유사 이미지 검색부(350)는 특징 추출부(410), 유사도 판단부(430) 및 유사 이미지 검출부(450)를 포함할 수 있다.
특징 추출부(410)는 검색 요청 이미지를 분석하여, 검색 요청 이미지의 특징 정보를 추출할 수 있다. 이때, 특징 정보는 검색 요청 이미지에 대한 형태 정보, 색상 정보(예를 들어, 색상 구성, 명도, 채도, 색상 분포, 색상 분포를 나타낸 히스토그램 등) 등을 포함할 수 있고, 특징 정보를 추출하기 위하여, SURF(Speeded Up Robust Features) 알고리즘, SIFT(Scalar Invariant Feature Transform) 알고리즘 등 다양한 방법을 이용할 수 있다.
유사도 판단부(430)는 검색 범위 내에서 검색 요청 이미지의 특징 정보를 데이터베이스부(390)에 저장된 객체 이미지의 특징 정보와 비교하여 양 이미지의 유사도를 판단할 수 있다. 예를 들어, 유사도 판단부(430)는 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량(gradient)을 비교하는 방법, SURF(Speeded Up Robust Features) 알고리즘에 의해 추출된 특징 정보를 이용하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘에 의해 추출된 특징을 이용하는 방법 등을 이용하여 양 이미지의 유사도를 판단할 수 있으나, 이에 한정되는 것은 아니며, 다양한 이미지 유사도 판단 방법을 이용할 수 있다.
유사 이미지 검출부(450)는 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검출할 수 있다. 이때, 유사 이미지 검출부(450)는 검색 요청 이미지에 다수의 객체가 포함된 경우, 각 객체에 대하여 가장 유사한 이미지를 검출할 수 있다.
검색 결과 송신부(370)는 유사 이미지 검색부(350)에서의 검색 결과를 단말(110)로 송신할 수 있다.
데이터베이스부(390)는 객체 이미지와 관련된 정보를 저장할 수 있다.
여기서, 객체 이미지와 관련된 정보는 객체 이미지, 각 객체 이미지의 특징 정보 및 각 객체 이미지에 대응되는 객체에 대한 정보 등을 포함할 수 있다.
여기서, 각 객체 이미지의 특징 정보는 각 객체 이미지에 대한 형태 정보, 색상 정보(예를 들어, 색상 구성, 명도, 채도, 색상 분포, 색상 분포를 나타낸 히스토그램 등) 등을 포함할 수 있다.
또한, 각 객체 이미지에 대응되는 객체에 대한 정보는, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 각 객체 이미지에 대응되는 객체의 아이디, 명칭, 객체 특성(예를 들어, 크기, 성분, 용도, 객체가 음식인 경우 칼로리 정보 등), 객체에 대한 소비자의 평가, 판매량, 소비자의 선호도, 행사 제품 여부 등에 관한 정보를 포함할 수 있다.
지금까지 데이터베이스부(390)는 이미지 검색 서버(130)의 내부에 구현되는 것으로 설명하였으나, 필수적으로 이미지 검색 서버(130)의 내부에 구현되어야만 하는 것은 아니며, 이미지 검색 서버(130)의 외부에 구현되는 것도 가능하다.
한편, 추가적 실시 예에 따르면, 이미지 검색 서버(130)는 우선 순위 설정부(360)를 더 포함할 수 있다.
우선 순위 설정부(360)는 검색 요청 이미지에 다수의 객체가 포함되어 다수의 유사 이미지가 검출된 경우, 미리 설정된 기준에 따라 검색 결과에 우선 순위를 설정할 수 있다. 예를 들어, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 우선 순위 설정부(360)는 단말(110) 사용자의 구매 성향, 소비자의 선호도(객체의 매출액, 판매량 등), 가격, 상점의 성향(행사, 이벤트, 가격 할인 등) 등 다양한 기준을 적용하여 우선 순위를 설정할 수 있다.
이 경우, 검색 결과 송신부(370)는 유사 이미지 검색부(350)의 검색 결과에 우선 순위 정보를 함께 포함하여 단말(110)로 송신할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법은, 먼저, 단말(110)이 미리 설정된 조건을 만족하는지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성한다(505). 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보는지 여부를 판단하여, 특정(threshold) 시간 동안 일정 물체를 바라보는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 이때, 단말(110)은 사용자가 바라보는 이미지의 변화량을 특정 시간 동안 측정하여, 분석함으로써, 한 곳을 응시하는지, 움직이고 있는지 또는 다른 곳을 둘러보고 있는지 판단할 수 있다.
그 후, 단말(110)은 객체 아이디 수집 명령에 따라 단말(110) 주변에 있는 객체의 아이디 정보를 근거리 통신을 이용하여 수집하고(510), 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 생성한다(515).
그 후, 단말(110)은 이미지 검색 요청 신호에 수집된 단말 주변 객체 아이디 정보 및 검색 요청 이미지를 포함시켜 이미지 검색 서버(130)에 송신한다(520).
단말 주변 객체 아이디 정보 및 검색 요청 이미지가 포함된 이미지 검색 요청 신호를 수신한 이미지 검색 서버(130)는 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지 중에서 검색 범위를 결정하고(525), 수신된 검색 요청 이미지를 분석하여 검색 요청 이미지의 특징 정보를 추출하고(530), 검색 범위 내에서 검색 요청 이미지의 특징 정보와 기 저장된 객체 이미지의 특징 정보를 비교하여 양 이미지의 유사도를 판단한다(535).
그 후, 이미지 검색 서버(130)는 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검출한다(540).
그 후, 검색 요청 이미지에 다수의 객체가 포함되어 있어, 다수의 유사 이미지가 검출된 경우, 미리 설정된 기준에 따라 유사 이미지 검색 결과에 우선 순위를 설정한다(545). 예를 들어, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 단말(110) 사용자의 구매 성향, 소비자의 선호도(객체의 매출액, 판매량 등), 가격, 상점의 성향(행사, 이벤트, 가격 할인 등) 등 다양한 기준을 적용하여 우선 순위를 설정할 수 있다.
그 후, 이미지 검색 서버(130)는 이미지 검색 결과를 단말(110)로 송신하고(550), 이를 수신한 단말(110)은 검색 결과를 출력한다(555). 이때, 단말(110)은 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 단말(110)은 검색된 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 이미지 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라, 숫자를 표시하는 방법, 합성 색상의 진하기 정도를 달리하는 방법, 합성하는 라벨(label)의 크기를 달리하는 방법 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다. 또한, 단말(110)은 이미지 검색 결과, 동종 객체들이 검색된 경우, 동종 객체들을 한꺼번에 묶어서 증강현실로 출력할 수도 있으며, 동종 객체들을 대표하는 하나의 객체를 선정하여 증강현실로 출력할 수도 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 이미지 검색 서비스 제공 시스템,
110: 단말, 130: 이미지 검색 서버,
205: 객체 아이디 수집/이미지 캡쳐 명령 생성부,
210: 객체 아이디 수집부, 220: 검색 요청 이미지 생성부,
230: 검색 요청부, 250: 검색 결과 수신부,
270: 표시부, 310: 검색 요청 수신부,
330: 검색 범위 결정부, 350: 유사 이미지 검색부,
360: 우선 순위 설정부, 370: 검색 결과 송신부,
390: 데이터베이스부.

Claims (16)

  1. 단말로부터 검색 요청 이미지와, 상기 단말의 주변에 있는 복수의 객체에 대한 복수의 아이디 정보를 수신하는 검색 요청 수신부;
    기 저장된 복수의 객체 이미지 중에서 상기 수신된 복수의 아이디 정보에 대응하는 복수의 객체 이미지를 검색 범위로 결정하는 검색 범위 결정부;
    상기 검색 범위로 결정된 복수의 객체 이미지 중에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하는 유사 이미지 검색부; 및
    상기 검색 결과를 상기 단말로 송신하는 검색 결과 송신부; 를 포함하는 이미지 검색 서버.
  2. 제 1항에 있어서,
    상기 유사 이미지 검색부는,
    상기 검색 요청 이미지의 특징 정보를 추출하는 특징 추출부;
    상기 추출된 검색 요청 이미지의 특징 정보를 상기 검색 범위로 결정된 복수의 객체 이미지 각각의 특징 정보와 비교하여 유사도를 판단하는 유사도 판단부; 및
    상기 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지 검출하는 유사 이미지 검출부; 를 포함하는 이미지 검색 서버.
  3. 제 1항에 있어서,
    상기 유사 이미지 검색부는, 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 중 하나를 이용하여 검색 요청 이미지와 유사한 객체 이미지를 검색하는 이미지 검색 서버.
  4. 제 1항에 있어서,
    미리 설정된 기준에 따라 상기 검색 결과에 우선 순위를 설정하는 우선 순위 설정부; 를 더 포함하는 이미지 검색 서버.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 이미지 검색 서버의 이미지 검색 서비스 제공 방법에 있어서,
    단말로부터 검색 요청 이미지와, 상기 단말의 주변에 있는 복수의 객체에 대한 복수의 아이디 정보를 수신하는 단계;
    기 저장된 복수의 객체 이미지 중에서 상기 수신된 복수의 아이디 정보에 대응하는 복수의 객체 이미지를 검색 범위로 결정하는 단계;
    상기 검색 범위로 결정된 복수의 객체 이미지 중에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하는 단계; 및
    상기 검색 결과를 상기 단말로 송신하는 단계; 를 포함하는 이미지 검색 서비스 제공 방법.
  11. 제 10항에 있어서,
    상기 유사한 객체 이미지를 검색하는 단계는,
    상기 검색 요청 이미지의 특징 정보를 추출하는 단계;
    상기 추출된 검색 요청 이미지의 특징 정보를 상기 검색 범위로 결정된 복수의 객체 이미지 각각의 특징 정보와 비교하여 유사도를 판단하는 단계; 및
    상기 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지를 검출하는 단계; 를 포함하는 이미지 검색 서비스 제공 방법.
  12. 제 10항에 있어서,
    상기 유사한 객체 이미지를 검색하는 단계는, 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 중 하나를 이용하여 검색 요청 이미지와 유사한 객체 이미지를 검색하는 이미지 검색 서비스 제공 방법.
  13. 제 10항에 있어서,
    미리 설정된 기준에 따라 상기 검색 결과에 우선 순위를 설정하는 단계; 를 더 포함하는 이미지 검색 서비스 제공 방법.
  14. 근거리 통신을 이용하여 단말의 주변에 있는 복수의 객체에 대한 복수의 아이디 정보를 수집하고, 검색 요청 이미지와 상기 수집된 복수의 아이디 정보를 이미지 검색 서버로 송신하고, 상기 검색 요청 이미지에 대한 이미지 검색 결과를 상기 이미지 검색 서버로부터 수신하는 단말; 및
    상기 단말로부터 상기 복수의 아이디 정보 및 상기 검색 요청 이미지를 수신하여, 기 저장된 복수의 객체 이미지 중에서 상기 수신된 복수의 아이디 정보에 대응하는 복수의 객체 이미지를 검색 범위로 결정하고, 상기 검색 범위로 결정된 복수의 객체 이미지 중에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하며, 상기 검색 결과를 상기 단말로 송신하는 이미지 검색 서버; 를 포함하는 이미지 검색 서비스 제공 시스템.
  15. 제 14항에 있어서,
    상기 단말은, NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 중 하나를 이용하여 주변 객체의 아이디 정보를 수집하는 이미지 검색 서비스 제공 시스템.
  16. 제 14항에 있어서,
    상기 단말은, 상기 수신된 이미지 검색 결과를 증강 현실(Augmented Reality, AR)로 출력하는 이미지 검색 서비스 제공 시스템.














KR1020130001258A 2013-01-04 2013-01-04 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법 KR102115286B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130001258A KR102115286B1 (ko) 2013-01-04 2013-01-04 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001258A KR102115286B1 (ko) 2013-01-04 2013-01-04 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140089675A KR20140089675A (ko) 2014-07-16
KR102115286B1 true KR102115286B1 (ko) 2020-06-08

Family

ID=51737627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001258A KR102115286B1 (ko) 2013-01-04 2013-01-04 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102115286B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653505B1 (ko) 2015-10-13 2016-09-01 한국 한의학 연구원 이미지를 기반으로 건강상태에 대한 진단을 보조하는 컴퓨팅 장치 및 방법
KR101681625B1 (ko) 2015-10-13 2016-12-01 주식회사 버즈니 검색 대상 인식 기반 데이터 검색 방법, 이를 수행하는 데이터 검색 시스템, 및 이를 저장하는 기록매체
US20200026869A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for identification of a marker in a graphical object
KR20200102838A (ko) * 2019-02-22 2020-09-01 삼성전자주식회사 이미지를 이용하여 콘텐트를 검색하기 위한 장치 및 그 제어 방법
KR102263633B1 (ko) * 2019-11-28 2021-06-10 울산과학기술원 우선 순위에 기초하여 저지연 증강현실 정보를 제공하는 방법, 장치, 및 시스템
KR102596157B1 (ko) * 2021-05-18 2023-10-31 한성대학교 산학협력단 사진 관리 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029160B1 (ko) * 2011-02-07 2011-04-13 (주)올라웍스 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090101143A (ko) * 2009-08-17 2009-09-24 주식회사 비즈모델라인 알에프아이디 정보에 대응하는 이미지 정보 제공 시스템
KR20110035760A (ko) * 2009-09-30 2011-04-06 비씨카드(주) 태그 매칭 정보 제공 방법 및 태그 매칭 정보 제공을 위한 중계서버
KR20110125866A (ko) * 2010-05-14 2011-11-22 퍼펙트데이타시스템 주식회사 증강현실을 통한 정보제공 방법 및 장치
KR101966925B1 (ko) * 2012-12-07 2019-04-08 주식회사 케이티 컨텐츠를 식별하는 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029160B1 (ko) * 2011-02-07 2011-04-13 (주)올라웍스 이미지 데이터베이스에 신규 이미지 및 이에 대한 정보를 추가하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20140089675A (ko) 2014-07-16

Similar Documents

Publication Publication Date Title
KR102115286B1 (ko) 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법
RU2731362C1 (ru) Способ предоставления информации о покупках в видео прямой трансляции
US10672052B2 (en) Method, apparatus, system, and computer program for offering and displaying product information
US10747826B2 (en) Interactive clothes searching in online stores
CN106776619B (zh) 用于确定目标对象的属性信息的方法和装置
EP3591544A1 (en) Image searching device and image searching method
US10282616B2 (en) Visual data mining
US8891907B2 (en) System and method of identifying visual objects
US20130179436A1 (en) Display apparatus, remote control apparatus, and searching methods thereof
KR101611388B1 (ko) 태그를 활용한 검색 서비스 제공 방법 및 시스템
KR20120026402A (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR20120129982A (ko) 증강 현실 서비스를 위한 마커 검색 시스템
US9854208B2 (en) System and method for detecting an object of interest
CN104272338A (zh) 用于帮助找出储存位置中的期望物品的位置的方法
KR20120001285A (ko) 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
US9355338B2 (en) Image recognition device, image recognition method, and recording medium
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP2011150425A (ja) リサーチ装置およびリサーチ方法
KR20150101846A (ko) 스케치를 기반으로 하는 영상 분류 서비스 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
Yang et al. Indoor query system for the visually impaired
Li et al. Correlation based identity filter: An efficient framework for person search
KR101910825B1 (ko) 이미지 검색 모델을 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램
KR101550358B1 (ko) 태그 저작 방법 및 태그 저작 시스템
CN116775938B (zh) 解说视频检索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant