KR20140089675A - Server, terminal, system and method for searching images - Google Patents

Server, terminal, system and method for searching images Download PDF

Info

Publication number
KR20140089675A
KR20140089675A KR1020130001258A KR20130001258A KR20140089675A KR 20140089675 A KR20140089675 A KR 20140089675A KR 1020130001258 A KR1020130001258 A KR 1020130001258A KR 20130001258 A KR20130001258 A KR 20130001258A KR 20140089675 A KR20140089675 A KR 20140089675A
Authority
KR
South Korea
Prior art keywords
image
search
terminal
search request
information
Prior art date
Application number
KR1020130001258A
Other languages
Korean (ko)
Other versions
KR102115286B1 (en
Inventor
유승우
우경구
박형민
이종하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130001258A priority Critical patent/KR102115286B1/en
Publication of KR20140089675A publication Critical patent/KR20140089675A/en
Application granted granted Critical
Publication of KR102115286B1 publication Critical patent/KR102115286B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H04B5/70—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes
    • H04B5/72—Near-field transmission systems, e.g. inductive or capacitive transmission systems specially adapted for specific purposes for local intradevice communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

An image search server, an image search service providing terminal, a system, and a method are disclosed. The image search server of the present invention comprises: a search request reception unit for receiving an image search request signal including identity information of neighboring objects and a search request image from the terminal; a search range determination unit for determining a search range in an object image stored based on the received terminal neighboring object identity information; a similar image searching unit for searching a similar object image with the search request image within the determined search range; and a search result transmission unit for transmitting a search result to the terminal.

Description

이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법{Server, terminal, system and method for searching images}Technical Field [0001] The present invention relates to an image search server, an image search server, an image search service providing terminal, a system,

이미지 검색 기술에 관한 것으로, 특히, 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법에 관한 것이다.And more particularly, to an image search server, an image search service providing terminal, a system and a method.

인터넷 또는 통신 기술에 발달로 인하여 세계 곳곳에 흩어져 있는 다양한 이미지 자료들에 대한 접근이 가능하게 됨으로써 찾고자 하는 이미지를 이미지 데이터베이스 또는 인터넷상에서 효율적이고 정확하게 검색해 낼 수 있는 이미지 검색 시스템에 대한 필요성이 증대되고 있다.The development of the Internet or communication technology makes it possible to access various image data scattered around the world, thereby increasing the need for an image search system capable of efficiently and accurately searching an image to be searched in an image database or the Internet .

한편, 이미지 데이터베이스에 저장된 모든 이미지를 검색 범위로 하는 이미지 검색 서비스는 일반적으로 잘 알려지거나 유명한 이미지를 검색하는 경우는 빠르고 정확한 결과를 보여줄 수 있으나, 잘 알려지지 않은 이미지를 검색하는 경우는 검색해야 하는 범위가 너무 많아서 빠르고 정확한 결과를 보여주기 어렵다. 또한, 사용자가 직접 검색 범위를 설정하는 이미지 검색 서비스는 빠르고 정확한 결과를 보여줄 수는 있으나 사용자가 직접 카테고리 등을 선택하여 검색 범위를 설정해야 하기 때문에 불편을 초래한다.On the other hand, an image search service which searches all the images stored in the image database can generally display fast and accurate results when a well-known or famous image is searched. However, when searching an unknown image, Is too much to show fast and accurate results. In addition, the image search service that sets the search range directly by the user can display fast and accurate results, but it inconveniences that the user must set the search range by selecting the category directly.

근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 이를 기반으로 검색 범위를 결정함으로써, 빠르고 정확하게 유사 이미지를 검색하여 사용자에게 제공할 수 있는 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법이 제공된다.An image search server, an image search service providing terminal, a system, and a method for searching for similar images quickly and accurately by collecting ID information of an object around a terminal using short range communication and determining a search range based on the ID information / RTI >

본 발명의 일 양상에 따른 이미지 검색 서버는, 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 검색 요청 수신부와 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 검색 범위 결정부와 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하는 유사 이미지 검색부와 검색 결과를 단말로 송신하는 검색 결과 송신부를 포함할 수 있다.An image search server according to an aspect of the present invention includes a search request receiving unit for receiving an image search request signal including ID information of a terminal peripheral object and a search request image from a terminal, A search range determining unit for determining a search range in the object image, a similar image search unit for searching an object image similar to the search request image within the determined search range, and a search result transmitting unit for transmitting the search result to the terminal.

또한, 본 발명의 다른 양상에 따른 이미지 검색 서비스 제공 단말은, 근거리 통신을 이용하여 주변 객체의 아이디 정보를 수집하는 객체 아이디 수집부와 수집된 객체 아이디 정보 및 검색 요청 이미지가 포함된 이미지 검색 요청 신호를 송신하는 검색 요청부와 이미지 검색 요청에 대한 이미지 검색 결과를 수신하는 검색 결과 수신부를 포함할 수 있다.According to another aspect of the present invention, there is provided an image search service providing terminal including an object ID collecting unit for collecting ID information of neighboring objects using near field communication, an image search request signal including the collected object ID information, And a search result receiving unit for receiving an image search result for the image search request.

또한, 본 발명의 또 다른 양상에 따른 이미지 검색 서비스 제공 방법은, 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 단계와 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 단계와 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하는 단계와 검색 결과를 단말로 송신하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of providing an image search service, the method comprising: receiving an image search request signal including ID information of a terminal peripheral object and a search request image from the terminal; Determining a search range in the pre-stored object image, searching an object image similar to the search request image within the determined search range, and transmitting the search result to the terminal.

또한, 본 발명의 또 다른 양상에 따른 이미지 검색 서비스 제공 시스템은, 근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 검색 요청 이미지와 단말 주변 객체 아이디 정보가 포함된 이미지 검색 요청 신호를 이미지 검색 서버로 송신하고, 이미지 검색 요청 신호에 대응한 이미지 검색 결과를 이미지 검색 서버로부터 수신하는 단말과 단말로부터 단말 주변 객체 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하여, 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하고, 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 객체 이미지를 검색하며, 검색 결과를 단말로 송신하는 이미지 검색 서버를 포함할 수 있다.According to still another aspect of the present invention, there is provided an image search service providing system, which collects the ID information of a terminal peripheral object by using a short distance communication and transmits an image search request signal including the search request image and the terminal peripheral object ID information, Receiving the image search request signal including the terminal surrounding object ID information and the search request image from the terminal and the terminal receiving the image search result corresponding to the image search request signal from the image search server, And an image search server for determining a search range in the pre-stored object image based on the neighboring object ID information, searching for an object image similar to the search request image within the determined search range, and transmitting the search result to the terminal.

근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 이를 기반으로 검색 범위를 결정함으로써, 빠르고 정확하게 유사 이미지를 검색하여 사용자에게 제공할 수 있다.It is possible to quickly and accurately search for a similar image and provide it to a user by collecting the ID information of the terminal peripheral object using the short distance communication and determining the search range based on the ID information.

도 1은 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템의 개략적인 구성도이다.
도 2는 도 1의 단말(110)의 상세 구성도이다.
도 3은 도 1의 이미지 검색 서버(130)의 상세 구성도이다.
도 4는 도 3의 유사 이미지 검색부(350)의 상세 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법을 도시한 흐름도이다.1 is a schematic configuration diagram of an image search service providing system according to an embodiment of the present invention.
2 is a detailed configuration diagram of the terminal 110 of FIG.
3 is a detailed configuration diagram of the image search server 130 of FIG.
4 is a detailed configuration diagram of the similar image search unit 350 of FIG.
5 is a flowchart illustrating an image search service providing method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.

한편, 본 명세서에서 설명되는 단말은 휴대폰, 스마트 폰(smart phone), 태블릿 PC, 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션, 웨어러블 디바이스(Wearable Device) 등의 다양한 디바이스가 포함될 수 있으나, 이하, 본 발명의 일 실시 예를 설명함에 있어, 웨어러블 디바이스(Wearable Device)를 기준으로 설명하기로 한다.Meanwhile, the terminal described in the present specification can be applied to various devices such as a mobile phone, a smart phone, a tablet PC, a laptop computer, a digital broadcasting terminal, a PDA (Personal Digital Assistant), a PMP (Wearable Device) may be included. In the following description, a wearable device will be described with reference to an embodiment of the present invention.

도 1은 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of an image search service providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 시스템(100)은 단말(110) 및 이미지 검색 서버(130)를 포함할 수 있다.Referring to FIG. 1, an image search service providing system 100 according to an exemplary embodiment of the present invention may include a terminal 110 and an image search server 130.

단말(110)은 객체 아이디 수집 명령에 따라 근거리 통신을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 예를 들면, 단말(110)은 NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 등 다양한 근거리 통신 기술을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 이때, 단말(110)은 각 객체에 부착된 태그로부터 각 객체의 아이디 정보를 수신하거나 특정 물체에 부착된 태그로부터 복수 개체의 아이디 정보를 수신함으로써 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다.The terminal 110 may collect the ID information of the object in the vicinity of the terminal 110 using the short distance communication according to the object ID collection command. For example, the terminal 110 may be connected to a variety of local communication technologies such as Near Field Communication (NFC), Radio Frequency Identification (RFID), Bluetooth, Infrared Data Association (IrDA), Ultra Wideband (UWB) The ID information of the object in the vicinity of the terminal 110 can be collected. At this time, the terminal 110 receives the ID information of each object from the tag attached to each object or receives the ID information of the plurality of objects from the tag attached to the specific object, thereby collecting the ID information of the object around the terminal 110 can do.

단말(110)은 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함한 이미지 검색 요청 신호를 이미지 검색 서버(130)로 송신하고, 이미지 검색 서버(130)로부터 이미지 검색 요청 신호에 대한 이미지 검색 결과를 수신할 수 있다. 이때, 단말(110)은 사용자로부터 검색 요청 이미지를 입력 받을 수도 있고, 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 직접 생성할 수도 있다.The terminal 110 transmits an image search request signal including the ID information of the terminal peripheral object and the search request image to the image search server 130 and receives the image search result of the image search request signal from the image search server 130 can do. At this time, the terminal 110 may receive the search request image from the user, or may capture the image according to the image capture command to directly generate the search request image.

한편, 단말(110)은 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 사용자로부터 입력 받을 수도 있으나, 미리 설정된 조건을 만족하는지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성하는 것도 가능하다. 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보면, 안경형 웨어러블 디바이스는 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성하고, 그에 따른 기능을 수행할 수 있다.Meanwhile, the terminal 110 may receive the object ID collection command and the image capture command from the user. However, if the predetermined condition is satisfied, the terminal 110 determines whether the object ID collection command and the image capture command are satisfied It is also possible to generate. For example, assuming that the terminal 110 is a wearable wearable device, the wearable wearable device wears a wearable wearable spectacle type device and looks at a certain object for a predetermined time period, the wearable wearable device generates an object ID collecting command and an image capture command And can perform the function corresponding thereto.

단말(110)은 수신된 이미지 검색 결과를 출력할 수 있다. 이때, 단말(110)은 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강 현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 단말(110)은 이미지 검색 결과에 포함된 각 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라 숫자를 표시하거나 합성 색상의 진하기 정도를 달리하는 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다.The terminal 110 may output the received image search result. At this time, the terminal 110 may synthesize the received image search result on the display screen and output it as an augmented reality (AR). For example, when there are a plurality of objects on the display screen, the terminal 110 may synthesize and output information about each object included in the image search result. If there is a priority in the search result, It is also possible to display and output the priority by various methods such as displaying a number or changing the degree of enhancement of the synthetic color.

이미지 검색 서버(130)는 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 단말(110)로부터 수신하여, 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지(이하, 객체 이미지)에서 검색 범위를 결정할 수 있다. 예를 들어, 이미지 검색 서버(130)는 기 저장된 객체 이미지 중에서 수신된 단말 주변 객체 아이디 정보에 대응되는 객체 이미지만을 검색 후보로 결정할 수 있다.The image search server 130 receives an image search request signal including the ID information of the terminal peripheral object and the search request image from the terminal 110 and displays the previously stored object image Object image) can determine the search range. For example, the image search server 130 can determine only the object image corresponding to the terminal peripheral object ID information received from among the previously stored object images as search candidates.

이미지 검색 서버(130)는 결정된 검색 범위 내에서 수신된 검색 요청 이미지와 유사한 객체 이미지(이하, 유사 이미지)를 검색하여, 검색 결과를 단말(110)로 송신할 수 있다. 예를 들어, 이미지 검색 서버(130)는 수신된 검색 요청 이미지를 분석하여 특징 정보를 추출하고, 추출된 검색 요청 이미지의 특징 정보와 기 저장된 객체 이미지의 특징 정보를 비교하여 유사도를 판단함으로써 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검색할 수 있다. 이때, 이미지 검색 서버(130)는 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 등을 이용하여 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검색할 수 있다.The image search server 130 may search for an object image (hereinafter referred to as similar image) similar to the search request image received within the determined search range, and transmit the search result to the terminal 110. [ For example, the image search server 130 extracts the feature information by analyzing the received search request image, compares the feature information of the extracted search request image with the feature information of the pre-stored object image, An object image (similar image) similar to the image can be searched. At this time, the image search server 130 performs a method of comparing the color histograms of the two images, a method of comparing the amount of color change of the two images, a method using a Scalar Invariant Feature Transform (SIFT) algorithm and a SURF (Speeded Up Robust Features) (Similar image) similar to the search request image can be searched by using a method of using the search request.

도 2는 도 1의 단말(110)의 상세 구성도이다.2 is a detailed configuration diagram of the terminal 110 of FIG.

도 2를 참조하여, 본 발명의 일 실시 예에 따른 단말(110)을 상세하게 설명하면, 단말(110)은 객체 아이디 수집부(210), 검색 요청부(230), 검색 결과 수신부(250) 및 표시부(270)를 포함할 수 있다.2, the terminal 110 includes an object ID collecting unit 210, a search request unit 230, a search result receiving unit 250, And a display unit 270.

객체 아이디 수집부(210)는 객체 아이디 수집 명령에 따라 근거리 통신을 통하여 단말(110)의 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 예를 들어, 객체 아이디 수집부(210)는 NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 등 다양한 근거리 통신 기술을 이용하여 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다. 그러나, 상술한 근거리 통신 기술에 한정되는 것이 아니다.The object ID collecting unit 210 may collect ID information of an object in the vicinity of the terminal 110 through short-range communication according to the object ID collecting command. For example, the object ID collecting unit 210 may acquire the object IDs of a variety of objects such as NFC (Near Field Communication), RFID (Radio Frequency Identification), Bluetooth, Infrared Data Association (IrDA), Ultra Wide Band (UWB) The ID information of an object in the vicinity of the terminal 110 can be collected using the local area communication technology. However, the present invention is not limited to the above-described short distance communication technology.

이때, 객체 아이디 수집부(210)은 각 객체에 부착된 태그로부터 각 객체의 아이디 정보를 수신하거나 특정 물체에 부착된 태그로부터 복수 개체의 아이디 정보를 수신함으로써 단말(110) 주변에 있는 객체의 아이디 정보를 수집할 수 있다.At this time, the object ID collecting unit 210 receives the ID information of each object from the tag attached to each object or receives the ID information of a plurality of objects from the tag attached to the specific object, Information can be collected.

검색 요청부(230)는 객체 아이디 수집부(210)로부터 단말(110) 주변 객체의 아이디 정보를 수신 받아, 검색 요청 이미지와 함께 이미지 검색 요청 신호에 포함시켜 이미지 검색 서버(130)로 송신할 수 있다.The search request unit 230 receives the ID information of the object around the terminal 110 from the object ID collecting unit 210 and transmits the ID information together with the search request image to the image search server 130 have.

검색 결과 수신부(250)는 이미지 검색 요청 신호에 대응한 이미지 검색 결과를 이미지 검색 서버(130)로부터 수신할 수 있다.The search result receiving unit 250 may receive the image search result corresponding to the image search request signal from the image search server 130. [

표시부(270)는 이미지 검색 서버(130)로부터 수신한 이미지 검색 결과를 출력할 수 있다.The display unit 270 may output an image search result received from the image search server 130.

이때, 표시부(270)는 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 표시부(270)은 이미지 검색 결과에 포함된 각 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 이미지 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라, 숫자를 표시하는 방법, 합성 색상의 진하기 정도를 달리하는 방법, 합성하는 라벨(label)의 크기를 달리하는 방법 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다. 또한, 표시부(270)는 이미지 검색 결과, 동종 객체들이 검색된 경우, 동종 객체들을 한꺼번에 묶어서 증강현실로 출력할 수도 있으며, 동종 객체들을 대표하는 하나의 객체를 선정하여 증강현실로 출력할 수도 있다.At this time, the display unit 270 can synthesize the received image search result on the display screen and output it as an augmented reality (AR). For example, when there are a plurality of objects on the display screen, the display unit 270 may combine and output information on each object included in the image search result. If there is a priority in the image search result, It is also possible to display and output priorities by various methods such as a method of displaying a number, a method of varying the degree of enhancement of a synthetic color, and a method of varying the size of a label to be synthesized depending on the ranking. Also, when the same kind of objects are searched for as a result of the image search, the display unit 270 can output the same kind of objects to the augmented reality by grouping them at once, and may also select one object representing the same kind of objects and output it to the augmented reality.

한편, 검색 요청 이미지는 사용자로부터 입력받을 수도 있고, 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 직접 생성할 수도 있다. 단말(110)이 검색 요청 이미지를 직접 생성하는 경우, 단말(110)은 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 생성하는 검색 요청 이미지 생성부(220)를 더 포함할 수 있다.Meanwhile, the search request image may be input from a user, or may be directly generated by capturing an image according to an image capture command. When the terminal 110 directly generates a search request image, the terminal 110 may further include a search request image generating unit 220 that captures an image according to an image capture command and generates a search request image.

또한, 객체 아이디 수집 명령 및 이미지 캡쳐 명령은 사용자로부터 입력 받을 수도 있고, 미리 설정된 조건을 만족하는지 여부를 판단하여 단말(110)이 직접 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수도 있다. 단말(110)이 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 직접 생성하는 경우, 단말(110)은 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)를 더 포함할 수 있다.In addition, the object ID collection command and the image capture command may be input from a user, or may be determined whether a predetermined condition is satisfied, and the terminal 110 may directly generate an object ID collection command and an image capture command. The terminal 110 may further include an object ID collection / image capture command generation unit 205 when the terminal 110 directly generates the object ID collection command and the image capture command.

객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 단말(110)이 미리 설정된 조건을 만족하는 지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보는 경우, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 이때, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 사용자가 바라보는 이미지의 변화량을 특정 시간 동안 측정하여, 분석함으로써, 한 곳을 응시하는지, 움직이고 있는지 또는 다른 곳을 둘러보고 있는지 판단할 수 있다. 이 경우, 객체 아이디 수집/이미지 캡쳐 명령 생성부(205)는 3축 가속도 센서, 자이로 센서, 방향(orientation) 센서 등을 이용하거나 특정 이미지 프레임의 색상 히스토그램(histogram) 값을 비교하는 방법 등 다양한 방법을 이용하여 한 곳을 응시하는지 여부를 판단할 수 있다.The object ID collection / image capture command generation unit 205 may determine whether the terminal 110 satisfies a preset condition, and generate an object ID collection command and an image capture command when a predetermined condition is satisfied . For example, assuming that the terminal 110 is a wearable wearable device, when the wearer wearing a spectacles wearable device looks at a certain object for a predetermined time, the object ID collection / image capture command generation unit 205 An object ID collection command and an image capture command can be generated. At this time, the object ID collecting / image capturing command generating unit 205 can determine whether a person is looking at one place, moving, or looking around by measuring and analyzing a change amount of an image viewed by a user for a specific time have. In this case, the object ID collecting / image capturing command generating unit 205 may use various methods such as a method of using a three-axis acceleration sensor, a gyro sensor, an orientation sensor, or a method of comparing color histogram values of specific image frames It is possible to judge whether or not to gaze at one place.

도 3은 도 1의 이미지 검색 서버(130)의 상세 구성도이고, 도 4는 도 3의 유사 이미지 검색부(350)의 상세 구성도이다.FIG. 3 is a detailed configuration diagram of the image search server 130 of FIG. 1, and FIG. 4 is a detailed configuration diagram of the similar image search unit 350 of FIG.

도 3 및 도 4를 참조하여, 본 발명의 일 실시 예에 따른 이미지 검색 서버(130)를 상세하게 설명하면, 이미지 검색 서버(130)는 검색 요청 수신부(310), 검색 범위 결정부(330), 유사 이미지 검색부(350) 및 검색 결과 송신부(370) 및 데이터베이스부(390)를 포함할 수 있다.3 and 4, the image search server 130 includes a search request receiving unit 310, a search range determination unit 330, A similar image retrieving unit 350, a retrieval result transmitting unit 370, and a database unit 390.

검색 요청 수신부(310)는 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 단말(110)로부터 수신할 수 있다.The search request receiving unit 310 may receive an image search request signal including the ID information of the terminal peripheral object and the search request image from the terminal 110. [

검색 범위 결정부(330)는 수신된 단말 주변 객체의 아이디 정보를 기반으로 데이터베이스부(390)에 저장된 객체 이미지에서 검색 범위를 결정할 수 있다. 예를 들어, 검색 범위 결정부(330)는 데이터베이스부(390)에 저장된 객체 이미지 중에서 수신된 단말 주변 객체 아이디 정보에 대응되는 객체 이미지만을 검색 대상으로 결정할 수 있다.The search range determining unit 330 can determine the search range in the object image stored in the database unit 390 based on the received ID information of the terminal peripheral object. For example, the search range determination unit 330 can determine only the object image corresponding to the terminal peripheral object ID information received from among the object images stored in the database unit 390 as a search object.

유사 이미지 검색부(350)는 결정된 검색 범위 내에서 검색 요청 이미지와 유사한 이미지를 검색할 수 있다.The similar image searching unit 350 can search for an image similar to the search request image within the determined search range.

도 4를 참조하여, 유사 이미지 검색부(350)를 상세히 설명하면, 유사 이미지 검색부(350)는 특징 추출부(410), 유사도 판단부(430) 및 유사 이미지 검출부(450)를 포함할 수 있다.Referring to FIG. 4, the similar image searching unit 350 may include a feature extracting unit 410, a similarity determining unit 430, and a similar image detecting unit 450. have.

특징 추출부(410)는 검색 요청 이미지를 분석하여, 검색 요청 이미지의 특징 정보를 추출할 수 있다. 이때, 특징 정보는 검색 요청 이미지에 대한 형태 정보, 색상 정보(예를 들어, 색상 구성, 명도, 채도, 색상 분포, 색상 분포를 나타낸 히스토그램 등) 등을 포함할 수 있고, 특징 정보를 추출하기 위하여, SURF(Speeded Up Robust Features) 알고리즘, SIFT(Scalar Invariant Feature Transform) 알고리즘 등 다양한 방법을 이용할 수 있다.The feature extraction unit 410 may extract the feature information of the search request image by analyzing the search request image. At this time, the feature information may include shape information, color information (e.g., color composition, brightness, saturation, color distribution, histogram indicating a color distribution, etc.) of the search request image, , A Speeded Up Robust Features (SURF) algorithm, and a Scalar Invariant Feature Transform (SIFT) algorithm.

유사도 판단부(430)는 검색 범위 내에서 검색 요청 이미지의 특징 정보를 데이터베이스부(390)에 저장된 객체 이미지의 특징 정보와 비교하여 양 이미지의 유사도를 판단할 수 있다. 예를 들어, 유사도 판단부(430)는 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량(gradient)을 비교하는 방법, SURF(Speeded Up Robust Features) 알고리즘에 의해 추출된 특징 정보를 이용하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘에 의해 추출된 특징을 이용하는 방법 등을 이용하여 양 이미지의 유사도를 판단할 수 있으나, 이에 한정되는 것은 아니며, 다양한 이미지 유사도 판단 방법을 이용할 수 있다.The similarity determination unit 430 may compare the feature information of the search request image with the feature information of the object image stored in the database unit 390 within the search range to determine the similarity between the two images. For example, the similarity determination unit 430 may be configured to compare the color histograms of the two images, to compare the gradient of the colors of the two images, or to use the feature information extracted by the SURF (Speeded Up Robust Features) Method, a method using a feature extracted by a Scalar Invariant Feature Transform (SIFT) algorithm, and the like. However, the present invention is not limited thereto and various image similarity determination methods can be used.

유사 이미지 검출부(450)는 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검출할 수 있다. 이때, 유사 이미지 검출부(450)는 검색 요청 이미지에 다수의 객체가 포함된 경우, 각 객체에 대하여 가장 유사한 이미지를 검출할 수 있다.The similar image detection unit 450 can detect an object image (similar image) similar to the search request image according to the determination result of the similarity degree. At this time, the similar image detecting unit 450 can detect the most similar image for each object when a plurality of objects are included in the search request image.

검색 결과 송신부(370)는 유사 이미지 검색부(350)에서의 검색 결과를 단말(110)로 송신할 수 있다.The search result transmission unit 370 can transmit the search result in the similar image search unit 350 to the terminal 110. [

데이터베이스부(390)는 객체 이미지와 관련된 정보를 저장할 수 있다.The database unit 390 may store information related to the object image.

여기서, 객체 이미지와 관련된 정보는 객체 이미지, 각 객체 이미지의 특징 정보 및 각 객체 이미지에 대응되는 객체에 대한 정보 등을 포함할 수 있다.Here, the information related to the object image may include an object image, feature information of each object image, and information about an object corresponding to each object image.

여기서, 각 객체 이미지의 특징 정보는 각 객체 이미지에 대한 형태 정보, 색상 정보(예를 들어, 색상 구성, 명도, 채도, 색상 분포, 색상 분포를 나타낸 히스토그램 등) 등을 포함할 수 있다.Here, the feature information of each object image may include shape information, color information (e.g., color composition, brightness, saturation, color distribution, histogram indicating a color distribution, etc.) for each object image.

또한, 각 객체 이미지에 대응되는 객체에 대한 정보는, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 각 객체 이미지에 대응되는 객체의 아이디, 명칭, 객체 특성(예를 들어, 크기, 성분, 용도, 객체가 음식인 경우 칼로리 정보 등), 객체에 대한 소비자의 평가, 판매량, 소비자의 선호도, 행사 제품 여부 등에 관한 정보를 포함할 수 있다.Further, the information about the object corresponding to each object image is stored in the store, assuming that the image search server 130 is used in the store, the ID, name, object characteristic (e.g., size, , Usage information, calorie information when the object is food, etc.), a consumer's evaluation of the object, sales volume, consumer's preference, whether the product is an event product, and the like.

지금까지 데이터베이스부(390)는 이미지 검색 서버(130)의 내부에 구현되는 것으로 설명하였으나, 필수적으로 이미지 검색 서버(130)의 내부에 구현되어야만 하는 것은 아니며, 이미지 검색 서버(130)의 외부에 구현되는 것도 가능하다.Although the database unit 390 has been described as being implemented in the image search server 130, it is not necessarily implemented in the image search server 130 but may be implemented outside the image search server 130 .

한편, 추가적 실시 예에 따르면, 이미지 검색 서버(130)는 우선 순위 설정부(360)를 더 포함할 수 있다.Meanwhile, according to a further embodiment, the image search server 130 may further include a priority setting unit 360. [

우선 순위 설정부(360)는 검색 요청 이미지에 다수의 객체가 포함되어 다수의 유사 이미지가 검출된 경우, 미리 설정된 기준에 따라 검색 결과에 우선 순위를 설정할 수 있다. 예를 들어, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 우선 순위 설정부(360)는 단말(110) 사용자의 구매 성향, 소비자의 선호도(객체의 매출액, 판매량 등), 가격, 상점의 성향(행사, 이벤트, 가격 할인 등) 등 다양한 기준을 적용하여 우선 순위를 설정할 수 있다.The priority setting unit 360 may set a priority to a search result according to a preset reference when a plurality of similar images are included in the search request image. For example, assuming that the image search server 130 is used in a store, the priority setting unit 360 sets the priority order of the terminal 110, such as the purchasing propensity of the terminal 110 user, the preference of the consumer (the sales amount of the object, (Event, event, price discount, etc.), and so on.

이 경우, 검색 결과 송신부(370)는 유사 이미지 검색부(350)의 검색 결과에 우선 순위 정보를 함께 포함하여 단말(110)로 송신할 수 있다.In this case, the search result transmission unit 370 may transmit the search result of the similar image search unit 350 to the terminal 110 together with the priority information.

도 5는 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법을 도시한 흐름도이다.5 is a flowchart illustrating an image search service providing method according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 이미지 검색 서비스 제공 방법은, 먼저, 단말(110)이 미리 설정된 조건을 만족하는지 여부를 판단하여, 미리 설정된 조건을 만족하는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성한다(505). 예를 들어, 단말(110)이 안경형 웨어러블 디바이스라고 가정하면, 사용자가 안경형 웨어러블 디바이스를 착용하고 특정(threshold) 시간 동안 일정 물체를 바라보는지 여부를 판단하여, 특정(threshold) 시간 동안 일정 물체를 바라보는 경우 객체 아이디 수집 명령 및 이미지 캡쳐 명령을 생성할 수 있다. 이때, 단말(110)은 사용자가 바라보는 이미지의 변화량을 특정 시간 동안 측정하여, 분석함으로써, 한 곳을 응시하는지, 움직이고 있는지 또는 다른 곳을 둘러보고 있는지 판단할 수 있다.Referring to FIG. 5, the method for providing an image search service according to an exemplary embodiment of the present invention may include determining whether the terminal 110 satisfies a preset condition, And an image capture command (505). For example, assuming that the terminal 110 is a wearable wearable device, it is determined whether the user wears a wearable wearable spectacle type device and looks at a certain object for a threshold time, It is possible to generate an object ID collection command and an image capture command. At this time, the terminal 110 can determine whether the user is looking at one place, moving, or looking around by measuring and analyzing the change amount of the image that the user sees for a specific time.

그 후, 단말(110)은 객체 아이디 수집 명령에 따라 단말(110) 주변에 있는 객체의 아이디 정보를 근거리 통신을 이용하여 수집하고(510), 이미지 캡쳐 명령에 따라 이미지를 캡쳐하여 검색 요청 이미지를 생성한다(515).Then, the terminal 110 collects the ID information of the object around the terminal 110 according to the object ID collection command using the short distance communication (510), captures the image according to the image capture command, (515).

그 후, 단말(110)은 이미지 검색 요청 신호에 수집된 단말 주변 객체 아이디 정보 및 검색 요청 이미지를 포함시켜 이미지 검색 서버(130)에 송신한다(520).Thereafter, the terminal 110 transmits the image search request signal including the terminal surrounding object ID information and the search request image to the image search server 130 (520).

단말 주변 객체 아이디 정보 및 검색 요청 이미지가 포함된 이미지 검색 요청 신호를 수신한 이미지 검색 서버(130)는 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지 중에서 검색 범위를 결정하고(525), 수신된 검색 요청 이미지를 분석하여 검색 요청 이미지의 특징 정보를 추출하고(530), 검색 범위 내에서 검색 요청 이미지의 특징 정보와 기 저장된 객체 이미지의 특징 정보를 비교하여 양 이미지의 유사도를 판단한다(535).The image search server 130 receiving the image search request signal including the terminal object ID information and the search request image determines the search range of the pre-stored object images based on the terminal neighbor object ID information (525) The feature information of the search request image is extracted 530, the feature information of the search request image is compared with the feature information of the pre-stored object image within the search range to determine the similarity of the two images 535, .

그 후, 이미지 검색 서버(130)는 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지(유사 이미지)를 검출한다(540).Thereafter, the image search server 130 detects an object image (similar image) similar to the search request image according to the similarity determination result (540).

그 후, 검색 요청 이미지에 다수의 객체가 포함되어 있어, 다수의 유사 이미지가 검출된 경우, 미리 설정된 기준에 따라 유사 이미지 검색 결과에 우선 순위를 설정한다(545). 예를 들어, 이미지 검색 서버(130)가 상점에 사용된다고 가정하면, 단말(110) 사용자의 구매 성향, 소비자의 선호도(객체의 매출액, 판매량 등), 가격, 상점의 성향(행사, 이벤트, 가격 할인 등) 등 다양한 기준을 적용하여 우선 순위를 설정할 수 있다.Thereafter, when a plurality of objects are included in the search request image and a plurality of similar images are detected, a priority is set to the similar image search results according to a preset criteria (545). For example, if the image search server 130 is assumed to be used in a store, the purchase tendency of the user of the terminal 110, the preference of the consumer (the sales amount of the object, the sales amount, etc.), the price, Discount, etc.), and so on.

그 후, 이미지 검색 서버(130)는 이미지 검색 결과를 단말(110)로 송신하고(550), 이를 수신한 단말(110)은 검색 결과를 출력한다(555). 이때, 단말(110)은 수신된 이미지 검색 결과를 표시 화면에 합성하여 증강현실(Augmented Reality, AR)로 출력할 수 있다. 예를 들어, 표시 화면에 여러 가지 객체가 있는 경우, 단말(110)은 검색된 객체에 대한 정보를 합성하여 출력하는 것도 가능하고, 이미지 검색 결과에 우선 순위가 있는 경우는 우선 순위에 따라, 숫자를 표시하는 방법, 합성 색상의 진하기 정도를 달리하는 방법, 합성하는 라벨(label)의 크기를 달리하는 방법 등 다양한 방법으로 우선 순위를 표시하여 출력하는 것도 가능하다. 또한, 단말(110)은 이미지 검색 결과, 동종 객체들이 검색된 경우, 동종 객체들을 한꺼번에 묶어서 증강현실로 출력할 수도 있으며, 동종 객체들을 대표하는 하나의 객체를 선정하여 증강현실로 출력할 수도 있다.Thereafter, the image search server 130 transmits the image search result to the terminal 110 (550), and the terminal 110 that has received the image search result outputs the search result (555). At this time, the terminal 110 may synthesize the received image search result on the display screen and output it as an augmented reality (AR). For example, when there are a plurality of objects on the display screen, the terminal 110 may synthesize and output information about the searched object. If there is a priority in the image search result, It is also possible to display and output the priority by various methods such as a method of displaying, a method of varying the degree of enhancement of synthetic colors, and a method of varying the size of labels to be synthesized. In addition, when the homogeneous objects are searched for as a result of the image search, the terminal 110 may output all the homogeneous objects bundled together to the augmented reality, or may select one object representing the same kind of objects and output the same to the augmented reality.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims.

100: 이미지 검색 서비스 제공 시스템,
110: 단말, 130: 이미지 검색 서버,
205: 객체 아이디 수집/이미지 캡쳐 명령 생성부,
210: 객체 아이디 수집부, 220: 검색 요청 이미지 생성부,
230: 검색 요청부, 250: 검색 결과 수신부,
270: 표시부, 310: 검색 요청 수신부,
330: 검색 범위 결정부, 350: 유사 이미지 검색부,
360: 우선 순위 설정부, 370: 검색 결과 송신부,
390: 데이터베이스부.100: Image search service providing system,
110: terminal, 130: image search server,
205: object ID collection / image capture command generation unit,
210: object ID collection unit, 220: search request image generation unit,
230: search request unit, 250: search result receiving unit,
270: display unit, 310: search request receiving unit,
330: search range determination unit, 350: similar image search unit,
360: priority setting unit, 370: search result transmitting unit,
390: Database portion.

Claims (16)

단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 검색 요청 수신부;
상기 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 검색 범위 결정부;
상기 결정된 검색 범위 내에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하는 유사 이미지 검색부; 및
상기 검색 결과를 상기 단말로 송신하는 검색 결과 송신부; 를 포함하는 이미지 검색 서버.A search request receiver for receiving an image search request signal including ID information of a terminal peripheral object and a search request image from the terminal;
A search range determining unit for determining a search range in the pre-stored object image based on the received terminal surrounding object ID information;
A similar image retrieval unit for retrieving an object image similar to the retrieval request image within the determined retrieval range; And
A search result transmission unit for transmitting the search result to the terminal; An image search server. 제 1항에 있어서,
상기 유사 이미지 검색부는,
상기 검색 요청 이미지의 특징 정보를 추출하는 특징 추출부;
상기 검색 범위 내에서 상기 추출된 검색 요청 이미지의 특징 정보를 기 저장된 객체 이미지의 특징 정보와 비교하여 유사도를 판단하는 유사도 판단부; 및
상기 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지 검출하는 유사 이미지 검출부; 를 포함하는 이미지 검색 서버.The method according to claim 1,
The similar-
A feature extraction unit for extracting feature information of the search request image;
A similarity degree determining unit for comparing the extracted feature information of the retrieval request image with the feature information of the previously stored object image to determine similarity; And
A similar image detecting unit for detecting an object image similar to the search request image according to the result of the similarity determination; An image search server. 제 1항에 있어서,
상기 유사 이미지 검색부는, 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 중 하나를 이용하여 검색 요청 이미지와 유사한 객체 이미지를 검색하는 이미지 검색 서버.The method according to claim 1,
The similar image retrieval unit may include a method of comparing color histograms of both images, a method of comparing color variation amounts of both images, a method using a Scalar Invariant Feature Transform (SIFT) algorithm, and a method using a SURF (Speeded Up Robust Features) An image retrieval server for retrieving an object image similar to the retrieval request image using one. 제 1항에 있어서,
미리 설정된 기준에 따라 상기 검색 결과에 우선 순위를 설정하는 우선 순위 설정부; 를 더 포함하는 이미지 검색 서버.The method according to claim 1,
A priority setting unit configured to set a priority to the search result according to a preset reference; Further comprising: 근거리 통신을 이용하여 주변 객체의 아이디 정보를 수집하는 객체 아이디 수집부;
상기 수집된 객체 아이디 정보 및 검색 요청 이미지가 포함된 이미지 검색 요청 신호를 송신하는 검색 요청부; 및
이미지 검색 요청에 대한 이미지 검색 결과를 수신하는 검색 결과 수신부; 를 포함하는 이미지 검색 서비스 제공 단말.An object ID collecting unit for collecting ID information of neighboring objects using near-field communication;
A search request unit for transmitting an image search request signal including the collected object ID information and the search request image; And
A search result receiving unit for receiving an image search result for an image search request; The image search service providing terminal. 제 5항에 있어서,
이미지를 캡쳐하여 검색 요청 이미지를 생성하는 검색 요청 이미지 생성부; 를 더 포함하는 이미지 검색 서비스 제공 단말.6. The method of claim 5,
A search request image generation unit for generating a search request image by capturing an image; And an image search service providing terminal. 제 5항에 있어서,
상기 객체 아이디 수집부는, NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 중 하나를 이용하여 주변 객체의 아이디 정보를 수집하는 이미지 검색 서비스 제공 단말.6. The method of claim 5,
The object ID collecting unit collects object IDs of neighboring objects using one of Near Field Communication (NFC), Radio Frequency Identification (RFID), Bluetooth, Infrared Data Association (IrDA), Ultra Wide Band (UWB) An image search service providing terminal for collecting ID information. 제 5항에 있어서,
상기 수신된 이미지 검색 결과를 증강 현실(Augmented Reality, AR)로 출력하는 표시부; 를 더 포함하는 이미지 검색 서비스 제공 단말.6. The method of claim 5,
A display unit for outputting the received image search result to an augmented reality (AR); And an image search service providing terminal. 제 8항에 있어서,
상기 표시부는, 우선 순위가 설정된 이미지 검색 결과를 수신한 경우, 숫자를 표시하는 방법, 합성 색상의 진하기 정도를 달리하는 방법, 합성하는 라벨(label)의 크기를 달리하는 방법 중 하나의 방법으로 우선 순위를 표시하여 출력하는 이미지 검색 서비스 제공 단말.9. The method of claim 8,
When the image search result having the priority is set is received, the display unit displays the image in a manner of displaying a number, a method of varying the degree of enhancement of the synthesized color, or a method of varying the size of a label to be synthesized An image search service providing terminal for displaying the priority and outputting the priority. 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하는 단계;
상기 수신된 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하는 단계;
상기 결정된 검색 범위 내에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하는 단계; 및
상기 검색 결과를 상기 단말로 송신하는 단계; 를 포함하는 이미지 검색 서비스 제공 방법.Receiving an image search request signal including ID information of a terminal peripheral object and a search request image from the terminal;
Determining a search range in a pre-stored object image based on the received terminal neighbor object ID information;
Retrieving an object image similar to the search request image within the determined search range; And
Transmitting the search result to the terminal; The image search service providing method comprising: 제 10항에 있어서,
상기 유사 이미지를 검색하는 단계는,
상기 검색 요청 이미지의 특징 정보를 추출하는 단계;
상기 결정된 검색 범위 내에서 상기 추출된 검색 요청 이미지의 특징 정보를 기 저장된 객체 이미지의 특징 정보와 비교하여 유사도를 판단하는 단계; 및
상기 유사도 판단 결과에 따라 검색 요청 이미지와 유사한 객체 이미지를 검출하는 단계; 를 포함하는 이미지 검색 서비스 제공 방법.11. The method of claim 10,
Wherein the retrieving of the similar image comprises:
Extracting feature information of the search request image;
Comparing the feature information of the extracted retrieval request image with feature information of a previously stored object image within the determined retrieval range to determine similarity; And
Detecting an object image similar to a search request image according to a result of the similarity determination; The image search service providing method comprising: 제 10항에 있어서,
상기 유사 이미지를 검색하는 단계는, 양 이미지의 색상 히스토그램을 비교하는 방법, 양 이미지의 색상 변화량을 비교하는 방법, SIFT(Scalar Invariant Feature Transform) 알고리즘을 이용하는 방법 및 SURF(Speeded Up Robust Features) 알고리즘을 이용하는 방법 중 하나를 이용하여 검색 요청 이미지와 유사한 객체 이미지를 검색하는 이미지 검색 서비스 제공 방법.11. The method of claim 10,
The step of retrieving the similar images may include a method of comparing the color histograms of the two images, a method of comparing the amount of color change of the two images, a method using a Scalar Invariant Feature Transform (SIFT) algorithm and a SURF (Speeded Up Robust Features) And retrieving an object image similar to the search request image by using one of the using methods. 제 10항에 있어서,
미리 설정된 기준에 따라 상기 검색 결과에 우선 순위를 설정하는 단계; 를 더 포함하는 이미지 검색 서비스 제공 방법.11. The method of claim 10,
Setting a priority to the search result according to a preset reference; The method comprising the steps of: 근거리 통신을 이용하여 단말 주변 객체의 아이디 정보를 수집하고, 검색 요청 이미지와 상기 단말 주변 객체 아이디 정보가 포함된 이미지 검색 요청 신호를 이미지 검색 서버로 송신하고, 상기 이미지 검색 요청 신호에 대응한 이미지 검색 결과를 상기 이미지 검색 서버로부터 수신하는 단말; 및
상기 단말로부터 단말 주변 객체의 아이디 정보 및 검색 요청 이미지를 포함하는 이미지 검색 요청 신호를 수신하여, 상기 단말 주변 객체 아이디 정보를 기반으로 기 저장된 객체 이미지에서 검색 범위를 결정하고, 상기 결정된 검색 범위 내에서 상기 검색 요청 이미지와 유사한 객체 이미지를 검색하며, 상기 검색 결과를 상기 단말로 송신하는 이미지 검색 서버; 를 포함하는 이미지 검색 서비스 제공 시스템.And transmits the image search request signal including the search request image and the terminal neighbor object ID information to the image search server, and transmits the image search request signal corresponding to the image search request signal A terminal for receiving a result from the image search server; And
Receiving an image search request signal including ID information of a terminal peripheral object and a search request image from the terminal to determine a search range in a previously stored object image based on the terminal peripheral object ID information, An image search server for searching an object image similar to the search request image and transmitting the search result to the terminal; And an image retrieval service providing system. 제 14항에 있어서,
상기 단말은, NFC(Near Field Communication), RFID(Radio Frequency Identification), 블루투스(Bluetooth), 적외선 통신(Infrared Data Association, IrDA), UWB(Ultra Wideband), ZigBee 중 하나를 이용하여 주변 객체의 아이디 정보를 수집하는 이미지 검색 서비스 제공 시스템.15. The method of claim 14,
The UE can acquire the ID information of neighboring objects by using one of NFC (Near Field Communication), RFID (Radio Frequency Identification), Bluetooth, Infrared Data Association (IrDA), UWB (Ultra Wideband) The system comprising: 제 14항에 있어서,
상기 단말은, 상기 수신된 이미지 검색 결과를 증강 현실(Augmented Reality, AR)로 출력하는 이미지 검색 서비스 제공 시스템.














15. The method of claim 14,
Wherein the terminal outputs the received image search result to an Augmented Reality (AR).














KR1020130001258A 2013-01-04 2013-01-04 Server, terminal, system and method for searching images KR102115286B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130001258A KR102115286B1 (en) 2013-01-04 2013-01-04 Server, terminal, system and method for searching images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001258A KR102115286B1 (en) 2013-01-04 2013-01-04 Server, terminal, system and method for searching images

Publications (2)

Publication Number Publication Date
KR20140089675A true KR20140089675A (en) 2014-07-16
KR102115286B1 KR102115286B1 (en) 2020-06-08

Family

ID=51737627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001258A KR102115286B1 (en) 2013-01-04 2013-01-04 Server, terminal, system and method for searching images

Country Status (1)

Country Link
KR (1) KR102115286B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653505B1 (en) 2015-10-13 2016-09-01 한국 한의학 연구원 Computing apparatus and method for diagnosing status of health based on image
KR101681625B1 (en) 2015-10-13 2016-12-01 주식회사 버즈니 Method for searching data based on content awareness, data search system performing the same, and storage medium storing the same
WO2020018384A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for identification of a marker in a graphical object
WO2020171549A1 (en) * 2019-02-22 2020-08-27 Samsung Electronics Co., Ltd. Apparatus for searching for content using image and method of controlling same
KR20210066391A (en) * 2019-11-28 2021-06-07 울산과학기술원 Method, apparatus, and system for providing low delay augmented reality information based on priority
KR20220156376A (en) * 2021-05-18 2022-11-25 한성대학교 산학협력단 Photo management device and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090101143A (en) * 2009-08-17 2009-09-24 주식회사 비즈모델라인 System for providing image information corresponded to rfid information
KR20110035760A (en) * 2009-09-30 2011-04-06 비씨카드(주) A method and an intermediate server that provide tag matching information
KR101029160B1 (en) * 2011-02-07 2011-04-13 (주)올라웍스 Method, system and computer-readable recording medium for writing new image and its information onto image database
KR20110125866A (en) * 2010-05-14 2011-11-22 퍼펙트데이타시스템 주식회사 Method and apparatus for providing information through augmented reality
KR20140073834A (en) * 2012-12-07 2014-06-17 주식회사 케이티 Apparatus for recognizing contents and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090101143A (en) * 2009-08-17 2009-09-24 주식회사 비즈모델라인 System for providing image information corresponded to rfid information
KR20110035760A (en) * 2009-09-30 2011-04-06 비씨카드(주) A method and an intermediate server that provide tag matching information
KR20110125866A (en) * 2010-05-14 2011-11-22 퍼펙트데이타시스템 주식회사 Method and apparatus for providing information through augmented reality
KR101029160B1 (en) * 2011-02-07 2011-04-13 (주)올라웍스 Method, system and computer-readable recording medium for writing new image and its information onto image database
KR20140073834A (en) * 2012-12-07 2014-06-17 주식회사 케이티 Apparatus for recognizing contents and method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653505B1 (en) 2015-10-13 2016-09-01 한국 한의학 연구원 Computing apparatus and method for diagnosing status of health based on image
KR101681625B1 (en) 2015-10-13 2016-12-01 주식회사 버즈니 Method for searching data based on content awareness, data search system performing the same, and storage medium storing the same
WO2020018384A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for identification of a marker in a graphical object
WO2020171549A1 (en) * 2019-02-22 2020-08-27 Samsung Electronics Co., Ltd. Apparatus for searching for content using image and method of controlling same
KR20210066391A (en) * 2019-11-28 2021-06-07 울산과학기술원 Method, apparatus, and system for providing low delay augmented reality information based on priority
KR20220156376A (en) * 2021-05-18 2022-11-25 한성대학교 산학협력단 Photo management device and method thereof

Also Published As

Publication number Publication date
KR102115286B1 (en) 2020-06-08

Similar Documents

Publication Publication Date Title
CN111652678B (en) Method, device, terminal, server and readable storage medium for displaying article information
US10747826B2 (en) Interactive clothes searching in online stores
US11886489B2 (en) System and method of identifying visual objects
US11086924B2 (en) Image search device and image search method
CN106776619B (en) Method and device for determining attribute information of target object
RU2731362C1 (en) Method of providing information on purchases in live video
KR102115286B1 (en) Server, terminal, system and method for searching images
KR101794332B1 (en) method for estimating genuine article
US20140279613A1 (en) Detecting counterfeit items
JP6800820B2 (en) People flow analysis method, people flow analyzer, and people flow analysis system
JP4282091B1 (en) Terminal device, information processing method, and program
US10891674B2 (en) Search apparatus, search system and search method
KR101835333B1 (en) Method for providing face recognition service in order to find out aging point
US9854208B2 (en) System and method for detecting an object of interest
KR20120001285A (en) Method for searching product classification and providing shopping data based on object recognition, server and system thereof
CN104272338A (en) Method for assisting in locating a desired item in a storage location
KR20150007403A (en) Apparatus and method for operating information searching data of persons and person recognizes method using the same
US11836185B2 (en) Media overlay selection system
CN110647688A (en) Information presentation method and device, electronic equipment and computer readable medium
CN113706227A (en) Goods shelf commodity recommendation method and device
KR20190115930A (en) Method, apparatus and computer program for searching image
JP6129600B2 (en) Information processing method and information processing system
KR102137957B1 (en) Apparatus for object contact information processing based on human body communication
US20210019525A1 (en) Information display method
US20140172580A1 (en) System and method for providing information on advertised goods

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant