KR20200026387A

KR20200026387A - Method of image searching and service device thereof

Info

Publication number: KR20200026387A
Application number: KR1020180102906A
Authority: KR
Inventors: 김기현; 김하윤
Original assignee: 십일번가 주식회사
Priority date: 2018-08-30
Filing date: 2018-08-30
Publication date: 2020-03-11

Abstract

According to the present invention, disclosed are an image search method and a service apparatus supporting the same. The service apparatus includes a server communication circuit and a server processor. The server processor can be set to form a communication channel with a user terminal based on the server communication circuit, receive at least one query image from the user terminal, extract feature vectors of the at least one query image, construct a composite phase object having a plurality of phase planes based on the feature vectors, detect product information based on at least a part of the composite phase object, and construct a search result based on the detected product information to be transmitted to the user terminal.

Description

Method of image searching and service device supporting the same

본 발명은 이미지 검색과 관련하여, 복수의 이미지들을 기반으로 검색할 객체에 관한 복수의 위상을 마련하고, 복수의 위상을 기반으로 이미지 검색을 수행할 수 있는 이미지 검색 방법 및 이를 지원하는 서비스 장치에 관한 것이다.The present invention relates to an image retrieval method for providing an image retrieval based on a plurality of images and to perform an image retrieval based on the plurality of phases in relation to image retrieval. It is about.

인터넷 사용이 보편화되면서 사용자들은 인터넷 검색을 통하여 다양한 정보를 획득할 수 있게 되었다. 즉, 사용자들은 인터넷에의 접속이 가능한 개인용 컴퓨터 등의 단말 장치를 통해 인터넷 검색 사이트에 접속한 후, 뉴스, 지식, 게임, 커뮤니티 등과 관련된 각종 컨텐츠를 검색할 수 있게 되었다. As the use of the Internet has become more common, users can obtain various information through Internet searches. That is, after accessing an Internet search site through a terminal device such as a personal computer capable of accessing the Internet, users can search for various contents related to news, knowledge, games, communities, and the like.

한편, 통신 기술의 발달 및 저장 장치의 대용량화에 따라, 인터넷 상에는 텍스트 형식의 문서뿐만 아니라, 사진, 동영상 등과 같은 이미지를 포함하는 문서들의 검색 비율이 급격히 증가하게 되었는데, 근래에 급격히 확산되고 있는 개인 블로그 문화의 영향으로 이미지 이용의 증가 속도가 더욱 심화되고 있다. 이에 따라, 인터넷 상에 다양한 형태로 저장된 이미지에 대한 검색 수요가 급증하고 있다. On the other hand, with the development of communication technology and the increase in the capacity of storage devices, the search rate of documents including images such as photographs and videos as well as text-type documents on the Internet has been rapidly increased. Due to the influence of culture, the increase in the use of image is intensifying. Accordingly, the search demand for images stored in various forms on the Internet is rapidly increasing.

한편, 종래 이미지 검색의 경우, 사용자가 제공한 쿼리 이미지에서 검색용 객체를 추출하고, 추출된 검색용 객체에 매핑되는 이미지를 검색하여 제공하였기 때문에, 쿼리 이미지에서 검출하는 객체의 형태에 따라 검색 결과가 다른 경우가 발생할 수 있다. 이에 따라, 종래 이미지 검색의 경우 사용자가 검색하고자 하는 검색 결과와는 동떨어진 결과를 제공하는 경우가 많아 검색 결과의 신뢰성이 낮은 문제가 있었다. Meanwhile, in the conventional image search, a search object is extracted from a query image provided by a user, and an image mapped to the extracted search object is searched and provided. Therefore, the search result is determined according to the type of the object detected in the query image. Different cases may occur. Accordingly, in the case of the conventional image search, there are many cases in which a result different from the search result that the user wants to search is provided, and thus the reliability of the search result is low.

미국 등록 특허 9400809호 (명칭: Visual restrictions for image searches)U.S. Patent No. 9400809 (Name: Visual restrictions for image searches)

본 발명은 이미지 검색과 관련하여, 검색하고자 하는 검색용 객체의 위상(topology)을 복수개로 구성하고, 복수의 위상을 기준으로 관련 이미지를 검색함으로써, 검색 결과의 신뢰도를 높일 수 있는 이미지 검색 방법 및 이를 지원하는 서비스 장치를 제공하고자 한다.The present invention relates to an image retrieval method, comprising a plurality of topologies of a search object to be searched for and searching related images based on the plurality of topologies, thereby increasing the reliability of the search results. It is intended to provide a service device supporting this.

본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서를 포함하고, 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 적어도 하나의 쿼리 이미지들을 수신하고, 상기 적어도 하나의 쿼리 이미지의 특징 벡터들을 추출하고, 상기 특징 벡터들을 기반으로 복수의 위상면을 가지는 복합 위상 객체를 구성하고, 상기 복합 위상 객체의 적어도 일부를 기반으로 상품 정보를 검출하고, 상기 검출된 상품 정보를 기반으로 검색 결과를 구성하여 상기 사용자 단말에 전송하도록 설정될 수 있다.The service apparatus according to an embodiment of the present invention includes a server communication circuit and a server processor operatively connected to the server communication circuit, wherein the server processor forms a communication channel with a user terminal based on the server communication circuit, Receive at least one query image from a user terminal, extract feature vectors of the at least one query image, construct a complex topology object having a plurality of phase planes based on the feature vectors, and at least The product information may be detected based on a part, and a search result may be configured based on the detected product information and transmitted to the user terminal.

여기서, 상기 서버 프로세서는 복수의 쿼리 이미지들이 수신되면, 각 쿼리 이미지들의 특징 벡터들을 각각 추출하고, 상기 각 특징 벡터들을 기반으로 각 쿼리 이미지들에 대응하는 위상면들을 구성하고, 상기 위상면들을 합성하여 상기 복합 위상 객체를 구성하도록 설정될 수 있다.Here, when a plurality of query images are received, the server processor extracts feature vectors of each query image, constructs phase planes corresponding to the query images based on the feature vectors, and synthesizes the phase planes. To configure the complex topological object.

특히, 상기 서버 프로세서는 상기 위상면들 각각의 경계 영역을 확인하고, 상기 위상면들의 경계 영역을 이어 붙여 상기 복합 위상 객체를 구성하도록 설정될 수 있다.In particular, the server processor may be configured to identify a boundary area of each of the phase planes and connect the boundary areas of the phase planes to form the complex topology object.

또는, 상기 서버 프로세서는 상기 복수의 쿼리 이미지들의 경계 영역들을 확인하고, 중복된 이미지를 포함하는 경계 영역들을 가지는 위상면들의 경계 영역을 이어 붙여 상기 복합 위상 객체를 구성하도록 설정될 수 있다.Alternatively, the server processor may be configured to identify the boundary regions of the plurality of query images and connect the boundary regions of the phase planes having the boundary regions including the overlapping image to form the complex topology object.

한편, 상기 서버 프로세서는 상기 적어도 하나의 쿼리 이미지에서 배경과 검색용 객체를 분리하고, 상기 검색용 객체로부터 추출된 특징 벡터들을 이용하여 상기 복수의 위상면들을 가지는 복합 위상 객체를 구성하도록 설정될 수 있다.The server processor may be configured to separate a background and a search object from the at least one query image, and configure a complex topology object having the plurality of phase planes by using feature vectors extracted from the search object. have.

또는, 상기 서버 프로세서는 상기 적어도 하나의 쿼리 이미지에서 배경과 검색용 객체를 분리하고, 상기 검색용 객체로부터 특징 벡터들을 추출하고, 상기 추출된 특징 벡터들의 방향성을 기반으로 상기 검색용 객체의 적어도 하나의 다른 위상면을 추정하고, 상기 추정된 적어도 하나의 위상면들과 상기 특징 벡터들을 기반으로 구성된 위상면을 합성하여 상기 복합 위상 객체를 구성하도록 설정될 수 있다.Alternatively, the server processor separates a background and a search object from the at least one query image, extracts feature vectors from the search object, and at least one of the search object based on a direction of the extracted feature vectors. And estimating another phase plane of the P-S, and combining the estimated at least one phase plane and a phase plane constructed based on the feature vectors to form the complex phase object.

다른 예로서, 상기 서버 프로세서 상기 복합 위상 객체에 대하여 지정된 축을 기준으로 적어도 하나의 다른 방향에 대한 위상면들에 해당하는 검색용 객체의 적어도 하나의 이미지를 검출하고, 상기 검출된 적어도 하나의 이미지와 각각 지정된 크기 이상의 유사도를 가진 이미지들을 포함한 상품 정보를 상기 검색 결과로 획득하도록 설정될 수 있다.As another example, the server processor detects at least one image of the search object corresponding to the phase planes in at least one other direction with respect to the axis specified for the complex topology object, and detects the at least one image and Product information including images each having a similarity or more than a specified size may be set to be acquired as the search result.

또는, 상기 서버 프로세서는 상기 복합 위상 객체를 사용자 단말에 전송하고, 상기 사용자 단말에 의해 선택된 복합 위상 객체의 특정 위상면을 수신하고, 상기 특정 위상면에 해당하는 검색용 객체의 이미지와 지정된 크기 이상의 유사도를 가진 이미지를 포함하는 상품 정보를 상기 검색 결과로 획득하도록 설정될 수 있다.Alternatively, the server processor transmits the complex topology object to a user terminal, receives a specific topology plane of the complex topology object selected by the user terminal, and displays an image of a search object corresponding to the particular topology plane and a specified size or more. Product information including an image having similarity may be set to be acquired as the search result.

특히, 상기 서버 프로세서는 상기 사용자 단말로부터 복합 위상 객체 변경을 요청하는 입력 신호를 수신하고, 상기 입력 신호에 대응하여 상기 복합 위상 객체의 위상면을 변경하고, 상기 변경된 위상면이 표시되는 복합 위상 객체를 상기 사용자 단말에 전송하도록 설정될 수 있다.In particular, the server processor receives an input signal for requesting a change of a complex phase object from the user terminal, changes the phase plane of the complex phase object in response to the input signal, and displays the changed phase plane. It may be set to transmit to the user terminal.

본 발명의 실시 예에 따른 이미지 검색 방법은, 서비스 장치가, 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말로부터 적어도 하나의 쿼리 이미지들을 수신하는 단계, 상기 적어도 하나의 쿼리 이미지의 특징 벡터들을 추출하는 단계, 상기 특징 벡터들을 기반으로 복수의 위상면을 가지는 복합 위상 객체를 구성하는 단계, 상기 복합 위상 객체의 적어도 일부를 기반으로 상품 정보를 검출하는 단계, 상기 검출된 상품 정보를 기반으로 검색 결과를 구성하여 상기 사용자 단말에 전송하는 단계를 포함할 수 있다.In the image retrieval method according to an embodiment of the present invention, the method comprising the steps of the service device, the communication channel is formed with the user terminal based on the server communication circuit, receiving at least one query image from the user terminal, the at least one Extracting feature vectors of a query image, constructing a complex topology object having a plurality of phase planes based on the feature vectors, detecting product information based on at least a portion of the complex topology object, the detected Comprising a search result based on the product information may include the step of transmitting to the user terminal.

본 발명은 이미지 검색과 관련하여, 복수의 이미지들로부터 획득된 특징 벡터들을 이용하여 검색용 객체에 관한 복수의 위상을 구성하고, 복수의 위상을 기준으로 관련 이미지를 검색함으로써, 사용자가 검색하고자 하는 검색용 객체와의 관련성이 높은 검색 결과를 제공하여, 이미지 검색에 관한 신뢰도를 개선할 수 있다. The present invention relates to an image search, by using a feature vector obtained from a plurality of images to configure a plurality of phases for the search object, by searching for a related image based on the plurality of phases, the user wants to search By providing a search result highly relevant to the search object, it is possible to improve the reliability of the image search.

기타, 본 발명의 다른 효과들은 후술하는 다양한 실시 예들에 의해 제공될 수 있다.In addition, other effects of the present invention may be provided by various embodiments described below.

도 1은 본 발명의 실시 예에 따른 이미지 검색 시스템이 적용된 환경의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치 구성의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 서비스 장치의 서버 프로세서 구성의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 위상 합성 및 검색과 관련한 서비스 장치 운용 방법의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 복합 위상 검색을 지원하는 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 선택된 검색용 객체의 위상을 기반으로 검색을 수행하는 서비스 장치 운용 방법의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of an environment to which an image search system according to an exemplary embodiment of the present invention is applied.
2 is a diagram illustrating an example of a user terminal configuration according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a configuration of a service device according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of a server processor configuration of a service apparatus according to an exemplary embodiment of the present invention.
5 is a diagram illustrating an example of a method of operating a service device associated with phase synthesis and search according to an embodiment of the present invention.
6 is a diagram illustrating an example of an operating method of a service device that supports complex phase search according to an embodiment of the present invention.
7 is a diagram illustrating an example of a service device operating method of performing a search based on a topology of a selected search object according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It is to be understood, however, that the intention is not to limit the invention to particular embodiments, but to cover various modifications, equivalents, and / or alternatives to the embodiments of the invention. In connection with the description of the drawings, similar reference numerals may be used for similar components.

도 1은 본 발명의 실시 예에 따른 이미지 검색 시스템이 적용된 환경의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of an environment to which an image search system according to an exemplary embodiment of the present invention is applied.

도 1을 참조하면, 본 발명의 실시 예에 따른 서비스 시스템(10)은 적어도 하나의 단말을 포함하는 사용자 단말(100), 서비스 장치(200) 및 네트워크(50)를 포함할 수 있다. Referring to FIG. 1, the service system 10 according to an exemplary embodiment of the present invention may include a user terminal 100 including at least one terminal, a service device 200, and a network 50.

상기 본 발명이 적용되는 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 이미지 검색 기능 제공 시스템은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 사용자 단말(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 사용자 단말(100)가 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 상기 사용자 단말(100)과 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.The network 50 to which the present invention is applied includes not only an IP-based wired communication network such as the Internet network, but also a long term evolution (LTE) network, a mobile communication network such as a WCDMA network, and various types of wireless networks such as a Wi-Fi network. , And combinations thereof. That is, the image search function providing system according to the present invention can be applied to both wired and wireless communication networks without distinction. In more detail, the network 50 may establish a communication channel between the service device 200 and the user terminal 100. For example, the network 50 may support at least one of 3G, 4G, and 5G wireless mobile communication methods that the service device 200 or the user terminal 100 may operate. Alternatively, the network 50 may be a wire-based form a communication channel between the user terminal 100 and the service device (200). Such a network 50 should be interpreted as a concept including various wired networks, wireless networks, and combination networks thereof that are currently developed and commercialized, or may be developed and commercialized in the future.

상기 사용자 단말(100)은 네트워크(50)를 통하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 예를 들어, 상기 사용자 단말(100)은 이미지 검색 기능(또는 상품 검색 기능)과 관련하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 또는 이미지 검색 기능을 제공할 수 있는 웹 브라우저를 저장 및 설치할 수 있다. 사용자 단말(100)은 서비스 장치(200)로부터 이미지 검색 기능과 관련한 데이터 예컨대, 이미지 검색 관련 가상 페이지 또는 웹 페이지를 서비스 장치(200)로부터 수신하고, 출력할 수 있다. 또는, 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 실행 화면을 출력할 수 있다. 사용자 단말(100)은 이미지 검색과 관련한 적어도 하나의 쿼리 이미지(예: 카메라를 이용하여 촬영한 이미지 또는 메모리에 기 저장된 이미지 등)를 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 검색 결과를 수신하여 저장 및 표시할 수 있다. 상기 적어도 하나의 쿼리 이미지는 특정 상품에 관한 다양한 각도에서 촬영한 복수의 이미지들을 포함할 수 있다. 적어도 하나의 쿼리 이미지 또는 복수의 이미지들은 검색용 객체에 대한 복합 위상 객체(예: 입체 형태의 검색용 객체의 다양한 방향에서의 면 이미지를 포함하는 객체)를 구성하는데 이용될 수 있다. 상술한 사용자 단말(100)은 이미지 검색이 가능한 전자 장치로서, 스마트폰이나 태블릿 PC, 데스크탑 PC, 통신 회로가 장착된 카메라 등 다양한 장치들이 될 수 있다. The user terminal 100 may establish a communication channel with the service apparatus 200 through the network 50. For example, the user terminal 100 may establish a communication channel with the service device 200 in relation to an image search function (or a product search function). In this regard, the user terminal 100 may store and install a web browser capable of providing an application or an image search function related to an image search function. The user terminal 100 may receive and output data related to an image search function from the service apparatus 200, for example, an image search related virtual page or a web page, from the service apparatus 200. Alternatively, the user terminal 100 may output an application execution screen related to the image search function. The user terminal 100 transmits at least one query image (eg, an image photographed using a camera or an image previously stored in a memory) related to the image search to the service apparatus 200, and searches from the service apparatus 200. Results can be received, stored and displayed. The at least one query image may include a plurality of images photographed from various angles regarding a specific product. At least one query image or a plurality of images may be used to construct a complex topological object (eg, an object including a plane image in various directions of a three-dimensional search object) for the search object. The user terminal 100 is an electronic device capable of searching for an image and may be various devices such as a smartphone, a tablet PC, a desktop PC, and a camera equipped with a communication circuit.

상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)의 이미지 검색 기능을 지원할 수 있다. 예를 들어, 서비스 장치(200)는 연결된 사용자 단말(100)에 이미지 검색 관련 가상 페이지를 제공하고, 사용자 단말(100)로부터 적어도 하나의 쿼리 이미지를 수신할 수 있다. 상기 서비스 장치(200)는 수신된 쿼리 이미지를 기반으로 복수의 위상(또는, 축 또는 방향)을 가지는 검색용 객체를 구성하고, 상기 복수의 위상을 가지는 검색용 객체의 적어도 일부를 기반으로 이미지 검색을 수행한 후, 검색 결과를 사용자 단말(100)에 제공할 수 있다. 특히, 상기 서비스 장치(200)는 수신된 쿼리 이미지들에 대응하여 다양한 형태의 검색용 객체를 구성할 수 있다. 예컨대, 상기 서비스 장치(200)는 사용자 단말(100)로부터 복수의 쿼리 이미지를 수신한 경우, 복수의 쿼리 이미지들의 특징 벡터들을 추출하고, 추출된 특징 벡터들을 기반으로 N 차원(N-dimension) 위상들을 구성할 수 있다. 예컨대, 서비스 장치(200)는 복수의 쿼리 이미지에 포함된 특정 검색용 객체를 결정하고, 결정된 검색용 객체에 대응하여 특징 벡터들을 추출한 후, 각 특징 벡터들을 기반으로 검색용 객체에 대한 N 차원 위상들을 구성할 수 있다. 이러한 동작을 위하여, 상기 서비스 장치(200)는 복수의 쿼리 이미지들에 대한 연관성을 확인하여, 하나의 동일 검색용 객체에 관한 쿼리 이미지들인지 확인할 수 있다. 예컨대, 상기 서비스 장치(200)는 복수의 쿼리 이미지들의 배경 및 객체들을 비교 분석하여 단일 객체에 대한 복수의 이미지들인지 확인할 수 있다. 단일 객체에 대한 복수의 이미지들인 경우, 서비스 장치(200)는 복수의 이미지들 중 제1 이미지의 검색용 객체에 관한 특징 벡터들을 추출하되, 제1 이미지 내에서 검색용 객체에 대한 경계 영역을 산출하고, 제2 이미지의 검색용 객체의 경계 영역과 이어 붙여 하나의 객체를 구성할 수 있다. 서비스 장치(200)는 상술한 동작을 복수의 이미지들 모두에 적용하여, 검색용 객체에 대한 복수의 위상면들을 구성할 수 있다. 예를 들어, 서비스 장치(200)는 검색용 객체에 대하여 X축, Y축 및 Z축 기준으로 복수의 위상면들을 구성할 수 있다. The service device 200 may establish a communication channel with the user terminal 100 through the network 50, and support an image search function of the user terminal 100. For example, the service device 200 may provide an image search related virtual page to the connected user terminal 100 and receive at least one query image from the user terminal 100. The service device 200 configures a search object having a plurality of phases (or axes or directions) based on the received query image, and searches for an image based on at least a portion of the search object having the plurality of phases. After performing the search result, the search result may be provided to the user terminal 100. In particular, the service device 200 may configure various types of search objects in response to the received query images. For example, when the service device 200 receives a plurality of query images from the user terminal 100, the service device 200 extracts feature vectors of the plurality of query images, and based on the extracted feature vectors, an N-dimension phase. Can be configured. For example, the service apparatus 200 determines a specific search object included in the plurality of query images, extracts feature vectors corresponding to the determined search object, and then N-dimensional phase of the search object based on each feature vector. Can be configured. For this operation, the service apparatus 200 may check associations of a plurality of query images and determine whether they are query images regarding one same search object. For example, the service device 200 may compare the background and the objects of the plurality of query images and determine whether the images are a plurality of images for a single object. In the case of a plurality of images of a single object, the service apparatus 200 extracts feature vectors of a search object of the first image from among the plurality of images, and calculates a boundary area of the search object in the first image. Then, the object may be connected to the boundary area of the search object of the second image. The service device 200 may apply the above-described operation to all of the plurality of images to configure a plurality of phase planes for the search object. For example, the service device 200 may configure a plurality of phase planes on the X-axis, Y-axis, and Z-axis basis for the search object.

상기 서비스 장치(200)는 복수의 위상면을 가지는 검색용 객체를 기반으로 대응되는 이미지 검색 또는 상품 정보 검색을 수행할 수 있다. 상기 서비스 장치(200)는 검색된 상품 정보 검색 결과(또는 이미지 검색 결과)를 사용자 단말(100)에 전송할 수 있다. 상술한 동작과 관련하여, 상기 서비스 장치(200)는 복수의 위상면을 가지는 검색용 객체를 사용자에게 제공하고, 사용자가 검색용 객체의 특정 위상을 선택한 경우, 선택된 위상에 대응하는 검색용 객체의 일면을 기준으로 이미지 검색을 수행할 수 있다. 상기 서비스 장치(200)에 포함된 상품 관련 이미지 DB(231)는 상술한 복수의 위상면을 가지는 검색용 객체를 기반으로 상품 정보 검색을 수행할 수 있도록, 특정 상품 객체에 대하여 복수의 위상면에 대한 이미지들을 사전 저장할 수 있다. The service device 200 may perform a corresponding image search or product information search based on a search object having a plurality of phase planes. The service device 200 may transmit the found product information search result (or image search result) to the user terminal 100. In relation to the above-described operation, the service apparatus 200 provides a search object having a plurality of phase planes to the user, and when the user selects a specific phase of the search object, the service object 200 The image search may be performed based on one surface. The product-related image DB 231 included in the service device 200 may search product information on a plurality of phase planes for a specific product object so as to perform product information search based on the search object having the plurality of phase planes described above. Can pre-store images.

상술한 바와 같이, 본 발명의 실시 예에 따른 이미지 검색을 지원하는 시스템은 검색용 객체를 복수의 위상면을 가지도록 구성하고, 이를 기반으로 이미지 검색을 수행함으로써, 사용자가 검색하고자 하는 검색용 객체를 보다 명확히 하고, 그에 따라 보다 신뢰할 수 있는 검색 결과를 획득하여 제공할 수 있도록 지원할 수 있다. As described above, the system for supporting image search according to an embodiment of the present invention configures a search object to have a plurality of topological planes, and performs an image search based on the search object, thereby searching for a user to search for. It can help to clarify and to obtain and provide more reliable search results accordingly.

이하, 상술한 사용자 단말(100) 및 서비스 장치(200)의 세부 구성과 운용에 대하여 다양한 예를 설명하기로 한다.Hereinafter, various examples of the detailed configuration and operation of the user terminal 100 and the service device 200 described above will be described.

도 2는 본 발명의 실시 예에 따른 사용자 단말 구성의 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of a user terminal configuration according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 통신 회로(110), 입력 장치(120), 메모리(130), 디스플레이(140), 카메라(190) 및 프로세서(150)를 포함할 수 있다. Referring to FIG. 2, the user terminal 100 according to an exemplary embodiment of the present invention may include a communication circuit 110, an input device 120, a memory 130, a display 140, a camera 190, and a processor 150. It may include.

상기 통신 회로(110)는 네트워크(50)와 통신 채널을 형성하고, 네트워크(50)를 기반으로 이미지 검색 기능과 관련한 데이터를 서비스 장치(200)와 송수신할 수 있다. 예컨대, 통신 회로(110)는 이미지 검색 기능과 관련한 가상 페이지를 서비스 장치(200)로부터 수신하고, 획득된 적어도 하나의 쿼리 이미지를 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 검색 결과를 수신할 수 있는 통신 기능을 지원할 수 있다. 상기 통신 회로(110)는 3G, 4G, 5G 등의 원거리 무선 통신 네트워크 기반의 통신 채널을 형성하거나, 와이파이 등의 근거리 통신 네트워크 기반의 통신 채널을 형성할 수 있다. The communication circuit 110 may establish a communication channel with the network 50, and transmit / receive data related to an image search function with the service device 200 based on the network 50. For example, the communication circuit 110 receives a virtual page related to an image search function from the service device 200, transmits the obtained at least one query image to the service device 200, and retrieves a search result from the service device 200. It can support a communication function that can receive. The communication circuit 110 may form a communication channel based on a long distance wireless communication network such as 3G, 4G, 5G, or may form a communication channel based on a short range communication network such as Wi-Fi.

상기 입력 장치(120)는 사용자 단말(100) 조작과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력 장치(120)는 서비스 장치(200) 접속을 위해 필요한 텍스트 입력(예: 주소 정보) 또는 어플리케이션 실행 아이콘 등을 선택할 수 있는 버튼 키 또는 가상 버튼 키를 포함하거나, 음성 기반의 입력 기능 등을 지원할 수 있다. 상기 입력 장치(120)는 쿼리 이미지 선택과 관련한 사용자 입력, 쿼리 이미지 전송을 위한 사용자 입력 등을 수신하여, 프로세서(150)에 전달할 수 있다. 또는, 상기 입력 장치(120)는 복합 위상 검색을 요청하는 사용자 입력을 수신하여, 프로세서(150)에 전달할 수 있다. 터치 기능의 디스플레이(140)는 입력 장치(120)로서 기능할 수 있다. The input device 120 may receive a user input related to the operation of the user terminal 100. For example, the input device 120 may include a button key or a virtual button key for selecting a text input (eg, address information) or an application execution icon required for accessing the service device 200, or may be based on voice. Input function, etc. can be supported. The input device 120 may receive a user input related to query image selection, a user input for transmitting a query image, and transmit the same to the processor 150. Alternatively, the input device 120 may receive a user input for requesting a complex phase search and transmit it to the processor 150. The touch function display 140 may function as the input device 120.

상기 메모리(130)는 사용자 단말(100) 운용과 관련한 데이터 또는 응용 프로그램 등을 저장할 수 있다. 예를 들면, 상기 메모리(130)는 이미지 검색 프로그램(또는 어플리케이션) 또는 이미지 검색 기능을 지원하는 웹 브라우저를 저장할 수 있다. 메모리(130)는 카메라(190)가 획득하고 서비스 장치(200)에 전송할 적어도 하나의 쿼리 이미지를 저장할 수 있다. 또는, 메모리(130)는 외부 전자 장치 예컨대, 특정 이미지 검색이 가능한 웹 서버 장치로부터 다운로드하여 검색을 위해 서비스 장치(200)에 제공될 수 있는 쿼리 이미지를 저장할 수 있다. 또는, 메모리(130)는 서비스 장치(200)로부터 수신된 검색 결과를 저장(예: 임시 또는 반영구 저장)할 수 있다. 상기 메모리(130)에 저장된 쿼리 이미지들은 예컨대, 하나의 객체와 관련된 복수개의 이미지 그룹들을 포함할 수 있다. 예컨대, 상기 메모리(130)는 복수개의 객체와 관련한 이미지 그룹들이 저장될 수 있으며, 각 이미지 그룹은 하나의 객체와 관련된 이미지들을 포함할 수 있다. The memory 130 may store data or application programs related to the operation of the user terminal 100. For example, the memory 130 may store an image search program (or application) or a web browser supporting an image search function. The memory 130 may store at least one query image acquired by the camera 190 and transmitted to the service device 200. Alternatively, the memory 130 may store a query image that may be downloaded from an external electronic device, for example, a web server device capable of searching for a specific image, and provided to the service device 200 for searching. Alternatively, the memory 130 may store a search result received from the service device 200 (eg, temporary or semi-permanent storage). The query images stored in the memory 130 may include, for example, a plurality of image groups associated with one object. For example, the memory 130 may store image groups associated with a plurality of objects, and each image group may include images associated with one object.

상기 디스플레이(140)는 사용자 단말(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(140)는 이미지 검색 기능 실행에 따른 실행 화면, 서비스 장치(200) 접속 화면(예: 가상 페이지 표시 화면), 적어도 하나의 쿼리 이미지 선택 화면, 검색 결과 수신 화면 등을 출력할 수 있다. 특히, 상기 디스플레이(140)는 단일 객체와 관련한 복수개의 이미지들을 선택하는 선택 화면 또는 단일 객체와 관련한 복수개의 이미지들을 포함하는 이미지 그룹(예: 폴더)를 선택하는 화면을 출력할 수 있다. 이와 관련하여, 프로세서(150)는 각 이미지 그룹의 제목과, 각 이미지 그룹에 포함된 복수의 이미지들 중 대표 이미지를 썸네일 형태로 구성하고, 복수의 이미지 그룹 중 어느 하나를 상기 썸네일들로 선택할 수 있는 선택 화면을 상기 디스플레이(140)를 통해 출력할 수 있다. 상기 프로세서(150)는 상기 디스플레이(140)에 출력된 특정 썸네일을 사용자가 선택한 경우 해당 썸네일과 관련한 복수의 이미지들을 복합 위상 검색을 위해 서비스 장치(200)에 전송할 수 있다. 이 동작에서, 사용자는 단순히 썸네일을 선택하는 한번의 동작만으로도 복합 위상 검색을 위한 복수의 이미지들을 서비스 장치(200)에 전송할 수 있다. The display 140 may output at least one screen related to the operation of the user terminal 100. For example, the display 140 outputs an execution screen according to the execution of an image search function, a service screen 200 connection screen (eg, a virtual page display screen), at least one query image selection screen, and a search result receiving screen. can do. In particular, the display 140 may output a selection screen for selecting a plurality of images related to a single object or a screen for selecting an image group (eg, a folder) including a plurality of images related to a single object. In this regard, the processor 150 may configure a title of each image group, a representative image among a plurality of images included in each image group in the form of a thumbnail, and select any one of the plurality of image groups as the thumbnails. The selected screen may be output through the display 140. When the user selects a particular thumbnail output on the display 140, the processor 150 may transmit a plurality of images related to the thumbnail to the service device 200 for a complex phase search. In this operation, the user may transmit a plurality of images for the complex phase search to the service apparatus 200 with only one operation of selecting a thumbnail.

상기 카메라(190)는 사용자 단말(100)의 이미지 캡쳐 기능을 지원할 수 있다. 예를 들어, 상기 카메라(190)는 쿼리 이미지 생성 시 적어도 하나의 이미지를 획득하는 역할을 수행할 수 있다. 상기 카메라(190)가 활성화되어 이미지들을 캡쳐하는 동안 상기 프로세서(150)는 획득된 이미지들에 포함된 객체의 특성에 따라 복수의 이미지들을 자동 분류할 수 있다. 예를 들어, 상기 프로세서(150)는 이미지 검색과 관련한 가상 페이지가 디스플레이(140)에 표시된 상태에서, 쿼리 이미지 획득을 위하여 카메라(190)가 활성화되고, 연속적으로(또는 동일 위치이면서 일정 시간 간격을 가지고) 이미지가 획득되면, 프로세서(150)는 획득된 이미지들을 하나의 이미지 그룹으로 자동 그룹핑할 수 있다. 이후, 프로세서(150)는 사용자 입력(예: 복합 위상 검색 요청 항목 선택을 위한 입력)을 수신하면, 상기 그룹핑된 복수의 이미지들을 서비스 장치(200)에 전송할 수 있다. 추가적으로, 상기 프로세서(150)는 가상 페이지 출력과 관련 없이, 이미지 그룹핑을 수행할 수도 있다. 예를 들어, 상기 프로세서(150)는 카메라(190)를 이용하여 이미지를 획득하는 과정에서, 위치 변동이 지정된 범위 내이고, 지정된 인터벌 내에서 연속하여 이미지들이 획득되면, 획득된 이미지들을 자동 그룹핑할 수 있다. 상기 프로세서(150)는 자동 그룹핑된 복수의 이미지들에 대하여 자동으로 제목을 입력(예: 날짜 정보 또는 장소 정보를 제목으로 자동 입력)하고, 복수의 이미지들 중 특정 이미지(예: 최초 획득 이미지 또는 마지막 획득 이미지, 또는 배경을 뺀 객체가 가장 큰 이미지)를 대표 이미지로 결정할 수 있다. 상기 프로세서(150)는 대표 이미지가 획득되면, 획득된 대표 이미지를 기반으로 썸네일을 자동 생성하고 그룹핑된 이미지와 함께 저장할 수 있다. 또는, 프로세서(150)는 생성된 썸네일 이미지를 해당 폴더의 나타내는 이미지로 대체할 수 있다. The camera 190 may support an image capture function of the user terminal 100. For example, the camera 190 may acquire at least one image when generating a query image. While the camera 190 is activated to capture images, the processor 150 may automatically classify the plurality of images according to the characteristics of the object included in the acquired images. For example, the processor 150 may activate the camera 190 to acquire a query image while the virtual page related to image search is displayed on the display 140, and may be continuously (or at the same position and have a predetermined time interval). Once the image is acquired, the processor 150 may automatically group the acquired images into one image group. Thereafter, when the processor 150 receives a user input (eg, an input for selecting a complex phase search request item), the processor 150 may transmit the plurality of grouped images to the service apparatus 200. In addition, the processor 150 may perform image grouping regardless of the virtual page output. For example, in the process of acquiring an image using the camera 190, the processor 150 may automatically group the acquired images if the position variation is within a specified range and the images are continuously acquired within a specified interval. Can be. The processor 150 automatically inputs a title (for example, date information or place information automatically as a title) for the plurality of automatically grouped images, and selects a specific image (for example, an initially acquired image or a plurality of images). The last acquired image, or the image having the largest image without the background) may be determined as the representative image. When the representative image is obtained, the processor 150 may automatically generate a thumbnail based on the obtained representative image and store the thumbnail along with the grouped image. Alternatively, the processor 150 may replace the generated thumbnail image with an image representing the corresponding folder.

상기 프로세서(150)는 사용자 단말(100) 운용과 관련한 데이터의 처리 또는 전달을 수행할 수 있다. 예를 들어, 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 이미지 검색 프로그램(예: 또는 특정 상품 검색 어플리케이션 또는 웹 브라우저)을 실행할 수 있다. 이와 관련하여, 프로세서(150)는 상기 통신 회로(110)를 이용하여 서비스 장치(200)와 통신 채널을 형성하고, 상기 서비스 장치(200)로부터 이미지 검색 관련 가상 페이지를 수신할 수 있다. The processor 150 may process or transmit data related to the operation of the user terminal 100. For example, the processor 150 may execute an image search program (eg, a specific product search application or a web browser) in response to a user input input through the input device 120. In this regard, the processor 150 may establish a communication channel with the service device 200 using the communication circuit 110 and receive an image search related virtual page from the service device 200.

상기 프로세서(150)는 사용자 입력에 의해 선택된 적어도 하나의 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. 예를 들어, 사용자 단말(100)이 카메라(190)를 포함하는 경우, 상기 프로세서(150)는 사용자 입력에 대응하여 카메라(190)를 활성하고, 지정된 객체를 포함하는 쿼리 이미지 획득을 수행할 수 있다. 또는, 프로세서(150)는 메모리(130)에 저장된 복수의 이미지들 중 쿼리 이미지로 사용할 적어도 하나의 이미지를 선택하는 선택 화면을 제공할 수 있다. 이 동작에서 프로세서(150)는 복수개의 이미지들을 선택하거나 또는 복수개의 이미지들이 포함된 적어도 하나의 폴더를 선택할 수 있는 화면을 제공할 수 있다. 상기 폴더는 포함된 이미지들을 대표하는 제목 또는 대표 이미지에 대응하는 썸네일 이미지를 표시할 수 있다. 이에 따라, 사용자는 폴더를 보는 것만으로 어떠한 객체에 대응하는 이미지들이 해당 폴더에 저장되어 있는지 손쉽게 확인할 수 있다. 상기 프로세서(150)는 쿼리 이미지 선택을 위한 사용자 입력이 발생하면, 선택된 적어도 하나의 쿼리 이미지를 통신 회로(110)를 기반으로 서비스 장치(200)에 전송할 수 있다. 상기 쿼리 이미지는 다양한 정보를 포함할 수 있다. 예컨대, 쿼리 이미지는 스포츠 관련 컨텐츠, 음식 만들기를 촬영한 컨텐츠, 장소 관련 컨텐츠, 뮤직 비디오 컨텐츠, 영화 컨텐츠, UCC 등 다양한 동영상 컨텐츠를 포함할 수 있다. The processor 150 may transmit at least one query image selected by the user input to the service device 200. For example, when the user terminal 100 includes a camera 190, the processor 150 may activate the camera 190 in response to a user input and perform a query image acquisition including a specified object. have. Alternatively, the processor 150 may provide a selection screen for selecting at least one image to be used as a query image among a plurality of images stored in the memory 130. In this operation, the processor 150 may provide a screen for selecting a plurality of images or selecting at least one folder including the plurality of images. The folder may display a title representing representative images or a thumbnail image corresponding to the representative image. Accordingly, the user can easily check whether the images corresponding to which objects are stored in the corresponding folder simply by viewing the folder. When a user input for query image selection occurs, the processor 150 may transmit the selected at least one query image to the service device 200 based on the communication circuit 110. The query image may include various information. For example, the query image may include various video contents such as sports-related content, content photographing food making, place-related content, music video content, movie content, and UCC.

상기 프로세서(150)는 상기 이미지 검색과 관련하여 상기 적어도 하나의 쿼리 이미지를 서비스 장치(200)에 전송하고, 상기 적어도 하나의 쿼리 이미지에 대응하는 검색 결과를 서비스 장치(200)로부터 수신할 수 있다. The processor 150 may transmit the at least one query image to the service apparatus 200 in connection with the image search, and receive a search result corresponding to the at least one query image from the service apparatus 200. .

도 3은 본 발명의 실시 예에 따른 서비스 장치 구성의 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of a configuration of a service device according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 장치(200)(또는 서버 장치)는 서버 통신 회로(210), 서버 메모리(230) 및 서버 프로세서(250)를 포함할 수 있다. 상기 서버 메모리(230)는 상기 서비스 장치(200)와 독립된 구성으로 마련될 수 있다. 이 경우, 서버 프로세서(250)는 별도로 구성된 서버 메모리(230) 장치 또는 서버와 통신 채널을 형성하고, 검색 동작을 수행하도록 제어할 수도 있다.Referring to FIG. 3, the service device 200 (or server device) according to an embodiment of the present invention may include a server communication circuit 210, a server memory 230, and a server processor 250. The server memory 230 may be provided in an independent configuration from the service device 200. In this case, the server processor 250 may establish a communication channel with a server memory 230 device or a server configured separately, and perform a search operation.

상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 기능을 담당할 수 있다. 즉, 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 사용자 단말(100)과 통신 채널을 형성할 수 있다. 예를 들어, 서버 통신 회로(210)는 서버 프로세서(250) 제어에 대응하여 이미지 검색과 관련한 가상 페이지를 사용자 단말(100)에 전송하거나, 사용자 단말(100)로부터 적어도 하나의 쿼리 이미지를 수신하거나, 쿼리 이미지 기반으로 검색된 검색 결과 페이지를 사용자 단말(100)에 전송할 수 있다. The server communication circuit 210 may be in charge of a communication function of the service device 200. That is, the server communication circuit 210 may form a communication channel with at least one user terminal 100 through the network 50. For example, the server communication circuit 210 may transmit a virtual page related to image search to the user terminal 100 or receive at least one query image from the user terminal 100 in response to the control of the server processor 250. The search result page searched based on the query image may be transmitted to the user terminal 100.

상기 서버 메모리(230)는 서비스 장치(200) 운용과 관련한 데이터 또는 프로그램을 저장할 수 있다. 예컨대, 상기 서버 메모리(230)는 이미지 검색과 관련한 정보 제공과 관련하여, 상품 관련 이미지 DB(231)(또는 이미지 DB)를 포함할 수 있다.The server memory 230 may store data or a program related to the operation of the service device 200. For example, the server memory 230 may include a product related image DB 231 (or image DB) in connection with providing information related to image search.

상품 관련 이미지 DB(231)는 복수의 상품 객체들과 관련한 상품 정보들을 저장할 수 있다. 상기 상품 정보는 예컨대, 특정 상품 객체와 관련한 다양한 위상면들의 이미지들을 포함할 수 있다. 예컨대, 상기 상품 정보는 특정 상품 객체의 전면 위상, 측면 위상, 정면 위상, 배면 위상 등의 각 이미지들을 포함할 수 있다. 또한, 상기 상품 정보는 각 상품 객체들을 설명하는 설명 정보를 포함할 수 있다. 상기 상품 설명 정보는 예컨대, 상품 객체의 적어도 일부를 설명하는 텍스트, 상품 객체의 제원, 상품 객체의 가격, 상품 객체의 수량 등의 정보를 포함할 수 있다. 또는, 상기 상품 정보는 예컨대, 특정 상품 객체의 3D 이미지를 포함할 수도 있다.The product related image DB 231 may store product information related to a plurality of product objects. The product information may include, for example, images of various phase planes associated with a particular product object. For example, the product information may include images of a front phase, a side phase, a front phase, a back phase, and the like of a specific product object. In addition, the product information may include descriptive information describing each product object. The product description information may include, for example, text describing at least a part of the product object, specifications of the product object, a price of the product object, and a quantity of the product object. Alternatively, the product information may include, for example, a 3D image of a specific product object.

상기 서버 프로세서(250)는 서비스 장치(200)의 운용과 관련한 데이터의 처리 또는 프로그램 운용을 수행할 수 있다. 예를 들어, 서버 프로세서(250)는 사용자 단말(100)의 접속을 지원하고, 사용자 단말(100)로부터 적어도 하나의 쿼리 이미지를 수신하고, 수신된 적어도 하나의 쿼리 이미지를 기반으로 적어도 하나의 상품 정보를 포함하는 검색 결과를 수집하여 사용자 단말(100)에 제공할 수 있다. 특히, 상기 서버 프로세서(250)는 수신된 적어도 하나의 쿼리 이미지를 기반으로 복수의 위상면을 포함하는 검색용 객체를 구성하고, 복수의 위상면을 가지는 검색용 객체의 적어도 일부를 기반으로 상품 정보 검색을 수행할 수 있다. 이에 따라, 서버 프로세서(250)는 복수의 위상면들에 대응하는 상품 정보를 검색함으로써, 사용자가 검색을 희망하는 객체에 보다 부합하는 상품 정보를 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 도 4에 도시된 바와 같은 구성을 포함할 수 있다.The server processor 250 may perform data processing or program operation related to the operation of the service device 200. For example, the server processor 250 supports the connection of the user terminal 100, receives at least one query image from the user terminal 100, and based on the received at least one query image, at least one product. The search result including the information may be collected and provided to the user terminal 100. In particular, the server processor 250 configures a search object including a plurality of topological planes based on the received at least one query image, and product information based on at least a portion of the search object having the plurality of topological planes. You can perform a search. Accordingly, the server processor 250 may search for product information corresponding to the plurality of topological planes, thereby providing product information corresponding to an object that the user wants to search. In this regard, the server processor 250 may include a configuration as shown in FIG. 4.

도 4는 본 발명의 실시 예에 따른 서비스 장치의 서버 프로세서 구성의 일 예를 나타낸 도면이다.4 is a diagram illustrating an example of a server processor configuration of a service apparatus according to an exemplary embodiment of the present invention.

도 4를 참조하면, 상기 서버 프로세서(250)는 특징 벡터 추출부(251), 위상 합성부(253), 검출부(255) 및 검색 지원부(257)를 포함할 수 있다. 상술한 서버 프로세서(250)의 구성들은 적어도 하나의 하드웨어 프로세서에 의해 구현되거나 또는 하나의 프로세서가 상술한 각 구성들을 포함하는 소프트웨어 모듈의 운용을 지원할 수 있다.Referring to FIG. 4, the server processor 250 may include a feature vector extractor 251, a phase synthesizer 253, a detector 255, and a search support 257. The above-described components of the server processor 250 may be implemented by at least one hardware processor or one processor may support the operation of a software module including the above-described components.

상기 특징 벡터 추출부(251)는 사용자 단말(100)로부터 수신된 적어도 하나의 쿼리 이미지를 수신하면, 수신된 적어도 하나의 쿼리 이미지들에 대하여 특징 벡터를 추출할 수 있다. 또는, 특징 벡터 추출부(251)는 쿼리 이미지를 배경과 검색용 객체로 분리하고, 분리된 검색용 객체에 대한 특징 벡터들을 추출할 수 있다. 상기 특징 벡터 추출부(251)는 추출된 특징 벡터들을 기반으로 검색용 객체의 제1 위상면을 구성할 수 있다. 상기 특징 벡터 추출부(251)는 복수의 쿼리 이미지들을 수신한 경우, 각각의 쿼리 이미지들로부터 각각 특징 벡터들을 추출하고, 추출된 각 특징 벡터들을 기반으로 각각의 위상면을 구성할 수 있다. 상기 특징 벡터 추출부(251)는 추출된 특징 벡터들을 기반으로 구성된 검색용 객체의 위상면들을 위상 합성부(253)에 전달할 수 있다. When the feature vector extractor 251 receives at least one query image received from the user terminal 100, the feature vector extractor 251 may extract a feature vector with respect to the received at least one query image. Alternatively, the feature vector extractor 251 may separate the query image into a background and a search object, and extract feature vectors of the separated search object. The feature vector extractor 251 may configure a first phase plane of the search object based on the extracted feature vectors. When the feature vector extractor 251 receives a plurality of query images, the feature vector extractor 251 may extract feature vectors from the respective query images, and configure a phase plane based on the extracted feature vectors. The feature vector extractor 251 may transfer the phase planes of the search object configured based on the extracted feature vectors to the phase synthesizer 253.

상기 위상 합성부(253)는 상기 특징 벡터 추출부(251)로부터 검색용 객체에 대한 적어도 하나의 위상면을 수신하면, 수신된 위상면을 기반으로 검색용 객체의 복합 위상을 구성할 수 있다. 예를 들어, 상기 위상 합성부(253)는 상기 특징 벡터 추출부(251)로부터 검색용 객체에 관한 복수개의 위상들을 수신하면, 상기 복수개의 위상들을 이어 붙여 복합 위상면을 가지는 검색용 객체를 구성할 수 있다. 이 동작에서, 상기 위상 합성부(253)는 각 위상면들의 경계 영역을 확인하고, 서로 다른 위상면들의 경계 영역을 이어붙여 복합 위상면들을 구성할 수 있다. 상기 위상 합성부(253)는 위상 합성에 있어서, 복수의 쿼리 이미지들을 분석하고, 분석된 쿼리 이미지 내의 검색용 객체의 경계선을 찾고, 검출된 경계선들의 중복 특성을 기반으로 서로 다른 쿼리 이미지들에서의 검색용 객체를 이어 붙일 수 있다. 상기 위상 합성부(253)는 위상면의 중복 특성이 없는 영역들은 지정된 방식에 따른 추정 알고리즘에 따라 해당 위상면을 추정하고, 추정된 위상면을 생성할 수 있다. 예를 들어, 전후좌우 4개의 위상을 가지는 검색용 객체와 관련하여 전후좌 3개의 위상면만을 포함하는 쿼리 이미이지들을 수신한 경우, 상기 위상 합성부(253)는 나머지 우측 위상면을 임의로 생성하여, 검색용 객체의 복합 위상면들을 구성할 수 있다. 상기 위상 합성부(253)는 추정 위상면 생성은 하나의 쿼리 이미지로부터 추출된 검색용 객체라 하더라도 수행될 수 있다. 예를 들어, 상기 위상 합성부(253)는 특정 쿼리 이미지에 내에서 2차원 형태의 축구공이 검색용 객체로 검출되면, 나머지 위상면(예: 다른 축 상의 위상면)들 역시 구 형태로 위상면을 구성할 수 있다. 이 동작에서, 상기 위상 합성부(253)는 검색용 객체의 경계 영역에서의 특징 벡터들의 방향성을 확장하여 추정 위상면을 구현할 수 있으며, 또는, 서버 메모리(230)에 사전 저장된 텍스처를 기반으로 검출된 검색용 객체에 대응하는 추정 위상면을 구성할 수도 있다. When the phase synthesizer 253 receives at least one phase plane of the search object from the feature vector extractor 251, the phase synthesizer 253 may configure a complex phase of the search object based on the received phase plane. For example, when the phase synthesis unit 253 receives a plurality of phases related to a search object from the feature vector extractor 251, the phase synthesis unit 253 connects the plurality of phases to form a search object having a complex phase plane. can do. In this operation, the phase combining unit 253 may check the boundary regions of the respective phase planes and connect the boundary regions of the different phase planes to form the composite phase planes. In the phase synthesis, the phase combining unit 253 analyzes a plurality of query images, finds a boundary of a search object in the analyzed query image, and based on overlapping characteristics of the detected boundary lines. You can concatenate search objects. The phase combining unit 253 may estimate the corresponding phase planes and generate the estimated phase planes in regions having no overlapping characteristics of the phase planes according to an estimation algorithm according to a specified method. For example, when receiving query images including only three phase planes of the front, rear, left, and right sides with respect to the search object having four phases, the phase synthesizer 253 arbitrarily generates the remaining right phase planes. In addition, complex topologies of search objects can be constructed. The phase synthesizer 253 may perform the estimation phase plane generation even if the search object is extracted from one query image. For example, when the two-dimensional soccer ball is detected as a search object in a specific query image, the phase synthesis unit 253 also has a phase plane in the form of a sphere. Can be configured. In this operation, the phase synthesis unit 253 may implement the estimated phase plane by extending the direction of feature vectors in the boundary region of the search object, or detect based on a texture previously stored in the server memory 230. It is also possible to construct an estimated phase plane corresponding to the searched object.

상기 검출부(255)는 상기 위상 합성부(253)로부터 복합 위상면을 가지는 검색용 객체를 수신할 수 있다. 상기 검출부(255)는 상기 복합 위상면을 가지는 검색용 객체의 적어도 일부 위상면을 기반으로 상품 정보 검색을 수행할 수 있다. 이 동작에서, 상기 검출부(255)는 복합 위상면을 가지는 검색용 객체의 각 위상면들에 대응하는 이미지들을 포함하는 상품 정보를 검색할 수도 있다. 또는, 상기 검출부(255)는 복합 위상면 중 적어도 하나의 위상면을 샘플링(예: 복합 위상면을 N(N은 자연수)개의 축 방향면으로 샘플링)하여 검출하고, 검출된 위상면들을 이용하여 상품 정보를 검색할 수 있다. 또는, 상기 검출부(255)는 상기 특징 벡터 추출부(251)로부터 복수의 쿼리 이미지들에 각각 대응하는 위상면들을 수신하고, 수신된 위상면들에 대응하는 이미지를 가지는 상품 정보를 검색할 수 있다. 상기 검출부(255)는 복합 위상면을 가지는 검색용 객체를 사용자 단말(100)에 전송하고, 사용자 단말(100)의 의해 선택된 검색용 객체의 위상면을 수신하고, 수신된 검색용 객체의 위상면에 대응하는 이미지를 포함한 상품 정보를 검색할 수도 있다. 예를 들어, 상기 검출부(255)는 상품 검색 시, 복합 위상면 중 사전 지정된 축방향 예컨대, x, y, z축 방향의 위상면들의 스타일, 색깔, 모양에 부합하는 이미지들을 가지는 상품 정보를 검색할 수 있다. 또는, 상기 검출부(255)는 x, y, z축 방향 중 사용자 단말(100)이 특정한 특정 방향의 위상면에 대응하는 상품 정보를 검색할 수도 있다. 상기 검출부(255)는 검색용 객체의 적어도 하나의 위상면에 대응하는 상품 정보를 수집하고, 이를 검색 지원부(257)에 전달할 수 있다. 상술한 바와 같이, 상기 검출부(255)는 복수개의 쿼리 이미지들이 수신되면, 그에 대응하여 복수개의 쿼리 이미지들의 각 검색용 객체들의 특징을 아우르는 상품 정보를 검색할 수 있다. The detector 255 may receive a search object having a complex phase plane from the phase synthesizer 253. The detector 255 may perform product information retrieval based on at least a part of the phase plane of the search object having the complex phase plane. In this operation, the detector 255 may search for product information including images corresponding to the respective phase planes of the search object having the complex phase plane. Alternatively, the detector 255 detects at least one phase plane among the composite phase planes (for example, by sampling the composite phase plane into N (N is a natural number) axial planes) and uses the detected phase planes. Product information can be retrieved. Alternatively, the detector 255 may receive phase planes corresponding to a plurality of query images from the feature vector extractor 251 and retrieve product information having an image corresponding to the received phase planes. . The detector 255 transmits a search object having a complex phase plane to the user terminal 100, receives a phase plane of the search object selected by the user terminal 100, and receives the phase plane of the received search object. Product information including an image corresponding to may be searched for. For example, when detecting a product, the detection unit 255 searches for product information having images corresponding to the style, color, and shape of phase planes in a predetermined axial direction, for example, the x, y, and z axis directions, among the composite phase planes. can do. Alternatively, the detector 255 may search for product information corresponding to a phase plane of a specific direction in which the user terminal 100 is specified in the x, y, and z axis directions. The detector 255 may collect product information corresponding to at least one phase plane of the object for search and transmit the product information to the search support unit 257. As described above, when a plurality of query images are received, the detector 255 may search for commodity information including characteristics of each search object of the plurality of query images.

상기 검색 지원부(257)는 상기 사용자 단말(100)의 접속을 지원할 수 있다. 예컨대, 상기 검색 지원부(257)는 상기 사용자 단말(100)로부터 접속 요청을 수신하면, 상기 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)에 이미지 검색과 관련한 가상 페이지를 제공할 수 있다. 상기 검색 지원부(257)는 사용자 단말(100)이 적어도 하나의 쿼리 이미지를 제공할 수 있도록 가이드 정보를 상기 가상 페이지를 통해 사용자 단말(100)에 제공할 수 있다. 상기 검색 지원부(257)는 사용자 단말(100)로부터 적어도 하나의 쿼리 이미지를 수신하면, 수신된 적어도 하나의 쿼리 이미지를 특징 벡터 추출부(251), 위상 합성부(253) 및 검출부(255) 중 적어도 하나에 전달할 수 있다. 예컨대, 검색 지원부(257)는 하나의 쿼리 이미지와 함께 일반 검색 요청을 수신한 경우, 검출부(255)에 쿼리 이미지를 전달하고, 이를 기반으로 검색 결과를 수집하도록 요청할 수 있다. 이 경우, 상기 검색 지원부(257)는 검출부(255)로부터 하나의 쿼리 이미지로부터 추출된 검색용 객체에 대응하는 상품 정보를 수신할 수 있다. The search support unit 257 may support access of the user terminal 100. For example, when the search support unit 257 receives an access request from the user terminal 100, the search support unit 257 forms a communication channel with the user terminal 100, and provides a virtual page related to image search to the user terminal 100. Can be. The search support unit 257 may provide guide information to the user terminal 100 through the virtual page so that the user terminal 100 may provide at least one query image. When the search support unit 257 receives at least one query image from the user terminal 100, the search support unit 257 displays the received at least one query image among the feature vector extractor 251, the phase synthesizer 253, and the detector 255. Can be delivered to at least one. For example, when the search support unit 257 receives a general search request together with one query image, the search support unit 257 may transmit the query image to the detection unit 255 and request to collect the search result based on the search image. In this case, the search support unit 257 may receive product information corresponding to the search object extracted from one query image from the detection unit 255.

상기 검색 지원부(257)는 상기 검출부(255)로부터 복합 위상면을 포함하는 검색용 객체에 대응하는 상품 정보를 수신하면, 이를 기반으로 검색 결과 페이지를 구성할 수 있다. 예컨대, 검색 지원부(257)는 상품 정보 검색에 이용된 각 위상면들에 대한 이미지 정보, 각 위상면들에 대응하여 검색된 상품 정보의 적어도 일부를 매핑한 검색 결과 페이지를 구성할 수 있다. 또한, 상기 검색 지원부(257)는 상기 검색 결과 페이지에 상기 검색용 객체의 복합 위상면의 적어도 일부 위상을 변경할 수 있는 변경 객체를 포함하여 사용자 단말(100)에 제공할 수 있다. 상기 검색 지원부(257)는 사용자 단말(100)로부터 위상 변경을 요청하는 입력을 수신하면, 이를 위상 합성부(253)에 전달하고, 위상 합성부(253)는 사용자 요청에 대응하여 위상면을 변경할 수 있다. 사용자 입력에 따라 검색용 객체의 위상면이 변경되면, 검출부(255)는 변경된 위상면에 대응하는 이미지를 가지는 상품 정보를 검출할 수 있다. When the search support unit 257 receives product information corresponding to the search object including the complex phase plane from the detection unit 255, the search support unit 257 may configure a search result page based on the product information. For example, the search support unit 257 may configure a search result page that maps at least a part of the image information of each phase plane used for the product information search and the searched product information corresponding to each phase plane. In addition, the search support unit 257 may provide the user terminal 100 with a change object capable of changing at least a part of the phase of the complex phase plane of the search object on the search result page. When the search support unit 257 receives an input for requesting a phase change from the user terminal 100, the search support unit 257 transmits the input to the phase synthesis unit 253, and the phase synthesis unit 253 changes the phase plane in response to the user request. Can be. When the phase plane of the search object is changed according to a user input, the detector 255 may detect product information having an image corresponding to the changed phase plane.

도 5는 본 발명의 실시 예에 따른 위상 합성 및 검색과 관련한 서비스 장치 운용 방법의 일 예를 나타낸 도면이다.5 is a diagram illustrating an example of a method of operating a service device associated with phase synthesis and search according to an embodiment of the present invention.

도 5를 참조하면, 서비스 장치의 운용 방법에 있어서, 501 단계에서, 상기 서비스 장치(200)의 서버 프로세서(250)는 사용자 단말(100)이 연결되는지 확인할 수 있다. 사용자 단말 연결이 없는 경우, 상기 서버 프로세서(250)는 503 단계로 분기하여 지정된 기능 수행을 처리할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 사용자 단말(100)이 연결될 수 있도록 통신 대기 상태를 유지할 수 있다. 또는, 상기 서버 프로세서(250)는 외부 서버 장치에 접속하여 상품 관련 이미지를 수집하고, 이를 기반으로 상품 관련 이미지 DB(231)를 갱신할 수 있다. Referring to FIG. 5, in a method of operating a service device, in step 501, the server processor 250 of the service device 200 may determine whether the user terminal 100 is connected. If there is no user terminal connection, the server processor 250 branches to step 503 to process the execution of the designated function. For example, the server processor 250 may maintain a communication standby state so that the user terminal 100 may be connected. Alternatively, the server processor 250 may access an external server device to collect a product related image, and update the product related image DB 231 based on this.

사용자 단말(100)이 연결되는 경우, 상기 서버 프로세서(250)는 505 단계에서, 쿼리 이미지들이 수신되는지 확인할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 연결된 사용자 단말(100)에 이미지 검색이 가능한 가상 페이지를 제공할 수 있다. 사용자 단말(100)은 메모리(130)에 저장된 적어도 하나의 쿼리 이미지를 선택하고, 서비스 장치(200)에 상기 적어도 하나의 쿼리 이미지를 전송하면서 이미지 검색을 요청할 수 있다. When the user terminal 100 is connected, the server processor 250 may determine whether the query images are received in step 505. In this regard, the server processor 250 may provide a virtual page capable of searching an image to the connected user terminal 100. The user terminal 100 may select at least one query image stored in the memory 130 and request an image search while transmitting the at least one query image to the service device 200.

쿼리 이미지들이 수신되면, 507 단계예서, 서버 프로세서(250)는 수신된 쿼리 이미지들에서 특징 벡터들을 추출할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 쿼리 이미지의 배경과 검색용 객체를 분리하고, 검색용 객체에 대한 특징 벡터들을 추출할 수 있다. 상기 서버 프로세서(250)는 수신된 복수의 쿼리 이미지들 각각에 대하여 검색용 객체를 추출하고, 추출된 검색용 객체의 특징 벡터들을 각각 추출할 수 있다. Once the query images are received, in step 507, the server processor 250 may extract feature vectors from the received query images. In this operation, the server processor 250 may separate the background of the query image and the search object and extract feature vectors for the search object. The server processor 250 may extract a search object for each of the plurality of received query images, and extract feature vectors of the extracted search object.

509 단계에서, 서버 프로세서(250)는 추출한 특징 벡터들을 기반으로 검색용 객체에 대한 위상 합성을 수행할 수 있다. 예컨대, 서버 프로세서(250)는 각 쿼리 이미지별로 추출한 특징 벡터들을 기반으로 검색용 객체에 대한 위상면들을 구성할 수 있다. 상기 서버 프로세서(250)는 복수의 위상면들을 합성하여 복합 위상면을 가지는 검색용 객체를 구성할 수 있다. 이 동작과 관련하여, 상기 서버 프로세서(250)는 각 검색용 객체의 위상면들의 경계 영역을 이어 붙여 복합 위상면을 가지는 검색용 객체를 구성할 수 있다. 상기 서버 프로세서(250)는 위상면들의 경계 영역을 붙이기 위하여, 검색용 객체들의 순서를 결정할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 복수의 쿼리 이미지들의 순서를 검색용 객체들의 붙임 순서로 결정할 수 있다. 또는, 상기 서버 프로세서(250)는 특정 쿼리 이미지에 포함된 검색용 객체의 경계 영역과 중복된 정보를 포함하고 있는 다른 쿼리 이미지들을 검출하는 방식으로 쿼리 이미지들의 이어 붙이는 순서를 결정할 수 있다. In operation 509, the server processor 250 may perform phase synthesis on the search object based on the extracted feature vectors. For example, the server processor 250 may configure the phase planes for the search object based on the feature vectors extracted for each query image. The server processor 250 may construct a search object having a complex topological plane by synthesizing a plurality of topological planes. In connection with this operation, the server processor 250 may construct a search object having a complex topological plane by concatenating boundary regions of the topological planes of each search object. The server processor 250 may determine the order of search objects in order to attach a boundary area of the phase planes. For example, the server processor 250 may determine the order of the plurality of query images as the attaching order of the search objects. Alternatively, the server processor 250 may determine the joining order of the query images by detecting other query images including information overlapping the boundary region of the search object included in the specific query image.

511 단계에서, 서버 프로세서(250)는 합성된 위상을 기반으로 검색을 수행할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 검색용 객체의 합성된 위상의 특정 면들을 기반으로 관련된 상품 정보를 검색할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 지정된 조건에 따른 검색용 객체를 기준 객체로 선정하고, 해당 검색용 객체의 위상면을 기준으로 지정된 방향(예: 전면 기준으로 시계 방향 또는 전면 기준으로 반 시계 방향, 상부면, 배면 등의 방향)에 해당하는 위상면을 결정할 수 있다. 상기 서버 프로세서(250)는 결정된 복수개의 위상면에 해당하는 검색용 객체의 이미지에 획득하고, 획득된 검색용 객체의 이미지들과 동일 또는 지정된 크기 이상의 유사도를 가지는 이미지를 가지는 상품 정보를 수집할 수 있다. In operation 511, the server processor 250 may perform a search based on the synthesized phase. For example, the server processor 250 may search for related product information based on specific surfaces of the synthesized topology of the search object. In this regard, the server processor 250 selects a search object according to a specified condition as a reference object, and selects a search object based on a phase plane of the search object (for example, clockwise or front half based on the front side). A phase plane corresponding to a clockwise direction, an upper surface, a back surface, or the like) can be determined. The server processor 250 may acquire product information having images of the search object corresponding to the determined plurality of phase planes and having an image having a similarity with the same or a specified size or more with the images of the search object. have.

515 단계에서, 상기 서버 프로세서(250)는 검색된 결과를 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 획득된 상품 정보들을 기반으로 검색 결과 페이지를 구성하고, 상기 사용자 단말(100)에 상기 검색 결과 페이지를 제공할 수 있다. 상기 검색 결과 페이지는 예컨대, 상기 복합 위상면을 가지는 검색용 객체의 이미지와 검색된 상품 정보에 포함된 상품 객체 이미지를 포함할 수 있다. 여기서, 상기 검색 결과 페이지에 포함된 검색용 객체의 이미지는 복합 위상면들에 대응하여 복수개가 될 수 있으며, 또한, 상기 검색 결과 페이지에 포함된 상품 객체 이미지 역시 각 방향면들에 대응하는 복수의 이미지들을 포함할 수 있다.In operation 515, the server processor 250 may provide the search result to the user terminal 100. In this regard, the server processor 250 may construct a search result page based on the obtained product information and provide the search result page to the user terminal 100. The search result page may include, for example, an image of a search object having the complex topological surface and a product object image included in searched product information. Here, the image of the search object included in the search result page may be a plurality of images corresponding to the complex topological planes, and the commodity object images included in the search result page may also have a plurality of images corresponding to the respective direction planes. It may include images.

한편, 505 단계에서, 하나의 쿼리 이미지가 수신되면, 서버 프로세서(250)는 513 단계에서, 하나의 쿼리 이미지에서 검색용 객체를 추출하고, 추출된 검색용 객체에 대응하는 상품 객체에 대응하는 상품 정보들을 검색하는 일반 검색을 수행할 수 있다. 이후, 서버 프로세서(250)는 일반 검색을 통해 획득된 검색 결과를 사용자 단말(100)에 제공할 수 있다. 예컨대, 상기 서버 프로세서(250)는 쿼리 이미지로부터 추출된 검색용 객체와 지정된 크기 이상의 유사도를 가지는 이미지를 포함하는 상품 정보를 검색 결과로 수집할 수 있다.In operation 505, when one query image is received, the server processor 250 extracts a search object from one query image and in step 513, a product corresponding to a product object corresponding to the extracted search object. You can perform a general search to retrieve information. Thereafter, the server processor 250 may provide the user terminal 100 with the search result obtained through the general search. For example, the server processor 250 may collect, as a search result, commodity information including an image having a similarity or more than a predetermined size with a search object extracted from the query image.

다음으로, 517 단계에서, 서버 프로세서(250)는 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 예를 들면, 상기 서버 프로세서(250)는 사용자 단말(100)로부터 이미지 검색 종료를 요청하는 메시지를 수신하는 경우 기능 종료 관련 이벤트 발생으로 판단할 수 있다. 또는, 서버 프로세서(250)는 사용자 단말(100)로부터 유의미한 입력 신호 수신이 지정된 시간 동안 발생하지 않는 경우 기능 종료와 관련한 이벤트 발생으로 판단할 수 있다. 기능 종료와 관련한 이벤트 발생이 없으면, 상기 서버 프로세서(250)는 501 단계 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료와 관련한 이벤트가 발생하면, 상기 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제하고, 다른 사용자 단말 또는 상기 사용자 단말이 접속할 수 있도록 통신 대기 상태로 진입할 수 있다.Next, in step 517, the server processor 250 may check whether there is an event related to the termination of the function. For example, the server processor 250 may determine that a function termination related event occurs when receiving a message for requesting termination of an image search from the user terminal 100. Alternatively, the server processor 250 may determine that an event related to function termination occurs when a meaningful input signal reception from the user terminal 100 does not occur for a specified time. If there is no event related to the termination of the function, the server processor 250 may branch to step 501 to perform the following process again. When an event related to termination of a function occurs, the server processor 250 may release a communication channel with the user terminal 100 and enter a communication standby state so that another user terminal or the user terminal can access the same.

상술한 바와 같이, 본 발명의 실시 예에 따른 서비스 장치 운용 방법은 복수개의 쿼리 이미지에 포함된 단일 객체에 대한 검색용 객체의 다양한 위상면들과 지정된 크기 이상의 유사도를 가지는 상품 정보를 검출함에 따라, 사용자가 제공한 쿼리 이미지의 검색용 객체에 보다 부합하는 상품 정보를 정확하게 검색할 수 있도록 지원할 수 있다. As described above, the method for operating a service apparatus according to an embodiment of the present invention detects product information having a similarity or more than a predetermined size with various phase planes of a search object for a single object included in a plurality of query images. It is possible to accurately search for product information that more closely matches the search object of the query image provided by the user.

도 6은 본 발명의 실시 예에 따른 복합 위상 검색을 지원하는 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.6 is a diagram illustrating an example of an operating method of a service device that supports complex phase search according to an exemplary embodiment of the present invention.

도 6을 참조하면, 서비스 장치의 운용 방법에 있어서, 601 단계에서, 상기 서비스 장치(200)의 서버 프로세서(250)는 사용자 단말(100)이 연결되는지 확인할 수 있다. 사용자 단말 연결이 없는 경우, 상기 서버 프로세서(250)는 603 단계로 분기하여 지정된 기능 수행을 처리할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 지정된 스케줄에 따라 상품 관련 이미지 DB(231)를 갱신하는 작업을 수행할 수 있다. Referring to FIG. 6, in a method of operating a service device, in step 601, the server processor 250 of the service device 200 may determine whether the user terminal 100 is connected. If there is no user terminal connection, the server processor 250 branches to step 603 to process the execution of the designated function. For example, the server processor 250 may perform an operation of updating the product related image DB 231 according to a designated schedule.

사용자 단말(100)이 연결되는 경우, 상기 서버 프로세서(250)는 605 단계에서, 쿼리 이미지가 수신되는지 확인할 수 있다. 별도의 쿼리 이미지 수신이 없으면, 서버 프로세서(250)는 603 단계에서 지정된 기능 수행을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 연결된 사용자 단말(100)에 이미지 검색과 관련한 가상 페이지를 전송하고, 가상 페이지 이용에 따라 정보를 사용자 단말(100)에 제공할 수 있다. When the user terminal 100 is connected, the server processor 250 may determine whether a query image is received in step 605. If there is no separate query image reception, the server processor 250 may process the performance of the function specified in operation 603. For example, the server processor 250 may transmit a virtual page related to image search to the connected user terminal 100 and provide information to the user terminal 100 according to the use of the virtual page.

쿼리 이미지가 수신되면, 상기 서버 프로세서(250)는 복합 위상 검색이 요청된 상태인지 확인할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 사용자 단말(100)에 이미지 검색과 관련한 가상 페이지를 제공하는 과정에서, 복합 위상 검색을 선택할 수 있는 메뉴 항목 또는 가상 키 버튼을 가상 페이지에 포함시켜 사용자 단말(100)에 제공할 수 있다. 사용자 단말(100)은 쿼리 이미지를 선택하고, 쿼리 이미지를 서비스 장치(200)에 전송하는 과정에서, 복합 위상 검색을 요청하는 항목을 선택한 후 쿼리 이미지를 전송할 수 있다. 이 과정에서, 사용자 단말(100)은 쿼리 이미지 및 복합 위상 검색 요청을 포함하는 메시지를 서비스 장치(200)에 전송할 수 있다. When the query image is received, the server processor 250 may check whether the complex phase search is requested. In this regard, in the process of providing a virtual page related to image search to the user terminal 100, the server processor 250 includes a menu item or a virtual key button for selecting a complex phase search in the virtual page. 100 may be provided. The user terminal 100 may select a query image and transmit a query image after selecting an item for requesting a complex phase search in the process of transmitting the query image to the service device 200. In this process, the user terminal 100 may transmit a message including the query image and the complex phase search request to the service device 200.

복합 위상 검색이 요청된 경우, 609 단계에서, 상기 서버 프로세서(250)는 위상 추정을 수행할 수 있다. 예컨대, 상기 서버 프로세서(250)는 적어도 하나의 쿼리 이미지에서 추출한 검색용 객체의 경계 영역에 대한 특징 벡터들의 방향성을 연장하여, 쿼리 이미지에서 추출하지 못한 검색용 객체의 다른 위상의 면을 추정할 수 있다. 상기 서버 프로세서(250)는 추정된 위상면을 상기 검색용 객체의 위상면에 이어 붙여 복합 위상면을 포함하는 검색용 객체를 구성할 수 있다. If a complex phase search is requested, in step 609, the server processor 250 may perform phase estimation. For example, the server processor 250 may extend the directionality of feature vectors of the boundary region of the search object extracted from at least one query image, and estimate a plane of another phase of the search object not extracted from the query image. have. The server processor 250 may construct the search object including the complex top plane by attaching the estimated top plane to the top plane of the search object.

여기서, 상기 서버 프로세서(250)는 위상 추정된 검색용 객체와 관한 이미지를 사용자 단말(100)에 제공하고, 사용자 단말(100)의 검색 확인을 수신할 수 있다. 즉, 상기 서버 프로세서(250)는 추정된 위상면을 포함하는 검색용 객체의 복합 위상에 대해 사용자 확인을 받을 수 있다. 사용자는 검색용 객체의 복합 위상이 자신이 의도하는 형태와 다른 경우, 이전 쿼리 이미지와 동일한 검색용 객체를 가지되 다른 위상을 포함하는 쿼리 이미지를 서비스 장치(200)에 제공할 수 있다. 이 경우, 상기 서버 프로세서(250)는 사용자 단말(100)로부터 추가 쿼리 이미지를 수신하는 경우, 위상 추정을 재수행하여 복수의 쿼리 이미지들을 기반으로 하는 복합 위상을 가지는 검색용 객체를 구성할 수 있다. Here, the server processor 250 may provide the user terminal 100 with an image related to the phase-estimated search object and receive a search confirmation of the user terminal 100. That is, the server processor 250 may receive a user confirmation about the complex phase of the search object including the estimated phase plane. When the complex topology of the search object is different from the shape intended by the user, the user may provide a query image having the same search object as the previous query image but including a different topology to the service apparatus 200. In this case, when the server processor 250 receives the additional query image from the user terminal 100, the server processor 250 may reconstruct the phase estimation to configure a search object having a complex phase based on the plurality of query images.

611 단계에서, 서버 프로세서(250)는 추정된 위상을 가지는 검색용 객체를 기반으로 상품 정보 검색을 수행할 수 있다. 이 동작과 관련하여, 상기 서버 프로세서(250)는 복합 위상을 가지는 검색용 객체에 대해 지정된 축을 기준으로 복수의 방향에 대한 복수의 위상면을 추출할 수 있다. 상기 서버 프로세서(250)는 검색용 객체의 복수의 위상면들 각각에 대하여 지정된 크기 이상의 유사도를 가지는 이미지를 포함하는 상품 정보를 상품 관련 이미지 DB(231)에서 검출할 수 있다. In operation 611, the server processor 250 may search for product information based on the search object having the estimated phase. In relation to this operation, the server processor 250 may extract a plurality of phase planes for a plurality of directions based on an axis designated for a search object having a complex phase. The server processor 250 may detect, in the product related image DB 231, product information including an image having an image having a similarity or more than a predetermined size with respect to each of the plurality of phase planes of the search object.

613 단계에서, 서버 프로세서(250)는 추정된 위상을 가지는 검색용 객체를 기반으로 검색된 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 검색 결과를 기반으로, 검색 결과 페이지(또는 웹 페이지)를 구성하고, 이를 사용자 단말(100)에 제공할 수 있다.In operation 613, the server processor 250 may provide the user terminal 100 with the search result searched based on the search object having the estimated phase. In this operation, the server processor 250 may construct a search result page (or web page) based on the search result and provide it to the user terminal 100.

한편, 607 단계에서, 복합 위상 검색 요청이 없는 경우, 서버 프로세서(250)는 615 단계에서 일반 검색을 수행할 수 있다. 또는, 서버 프로세서(250)는 일반 검색을 요청하는 사용자 입력이 발생하면, 해당 입력에 대응하여 일반 검색을 수행할 수 있다. 일반 검색은 예컨대, 쿼리 이미지로부터 검색용 객체를 추출하고, 추출된 검색용 객체에 대응되는 이미지를 가지는 상품 정보를 상품 관련 이미지 DB(231)에서 검색 결과로서 획득할 수 있다. 이후, 613 단계에서, 서버 프로세서(250)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 검색 결과를 제공하기 위하여, 서버 프로세서(250)는 수집된 정보들을 기반으로 검색 결과 페이지를 구성할 수 있다. In operation 607, if there is no complex phase search request, the server processor 250 may perform a general search in step 615. Alternatively, when a user input for requesting a general search occurs, the server processor 250 may perform a general search in response to the input. For example, the general search may extract a search object from the query image, and obtain product information having an image corresponding to the extracted search object as a search result in the product related image DB 231. In operation 613, the server processor 250 may provide a search result to the user terminal 100. In order to provide a search result, the server processor 250 may construct a search result page based on the collected information.

검색 결과 페이지 구성과 관련하여, 상기 서버 프로세서(250)는 추정된 위상면들을 나열하고, 각 추정 위상면들에 대응하는 상품 객체들을 배열하여 검색 결과 페이지를 구성할 수 있다. 추가로, 상기 서버 프로세서(250)는 상품 객체들에 대응하는 상품 설명 정보들을 각각 검색 결과 페이지에 포함시켜 사용자 단말(100)에 제공할 수 있다.In relation to the construction of the search result page, the server processor 250 may construct the search result page by arranging the estimated phase planes and arranging commodity objects corresponding to the estimated phase planes. In addition, the server processor 250 may include product description information corresponding to product objects in a search result page and provide the same to the user terminal 100.

다음으로, 617 단계에서, 서버 프로세서(250)는 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 기능 종료와 관련한 이벤트 발생이 없으면, 상기 서버 프로세서(250)는 601 단계 이전으로 분기하여 이하 과정을 재수행할 수 있다. 기능 종료와 관련한 이벤트가 발생하면, 상기 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제하고, 다른 사용자 단말 또는 상기 사용자 단말이 접속할 수 있도록 통신 대기 상태로 진입할 수 있다.Next, in operation 617, the server processor 250 may check whether there is an event related to the termination of the function. If there is no event related to the termination of the function, the server processor 250 may branch to step 601 and perform the following process again. When an event related to termination of a function occurs, the server processor 250 may release a communication channel with the user terminal 100 and enter a communication standby state so that another user terminal or the user terminal can access the same.

도 7은 본 발명의 실시 예에 따른 선택된 검색용 객체의 위상을 기반으로 검색을 수행하는 서비스 장치 운용 방법의 일 예를 나타낸 도면이다.7 is a diagram illustrating an example of a service device operating method of performing a search based on a topology of a selected search object according to an embodiment of the present invention.

도 7을 참조하면, 서비스 장치 운용 방법과 관련하여, 서비스 장치(200)의 서버 프로세서(250)는 701 단계에서 사용자 단말(100)의 연결 여부를 확인하고, 사용자 단말(100)이 연결되지 않는 경우 703 단계에서 지정된 기능 예컨대, 사용자 단말(100) 연결을 위한 통신 대기 상태 수행을 처리할 수 있다. 서버 프로세서(250)는 사용자 단말(100)이 연결된 경우 705 단계에서 쿼리 이미지 수신이 있는지 확인하고, 쿼리 이미지 수신이 없는 경우 703 단계로 분기하여 이미지 검색과 관련한 가상 페이지를 사용자 단말(100)에 제공하는 상태를 유지할 수 있다. Referring to FIG. 7, in relation to a service device operating method, the server processor 250 of the service device 200 checks whether the user terminal 100 is connected in step 701, and the user terminal 100 is not connected. In the case of step 703, for example, the communication waiting state for the user terminal 100 may be processed. When the user terminal 100 is connected, the server processor 250 checks whether a query image is received in step 705, and if there is no query image, the server processor 250 branches to step 703 to provide the user terminal 100 with a virtual page related to image search. It can keep the state.

쿼리 이미지를 수신하면, 서버 프로세서(250)는 707 단계에서, 복합 위상 객체를 구성할 수 있다. 이를 위하여, 상기 서버 프로세서(250)는 수신된 적어도 하나의 쿼리 이미지로부터 추출된 검색용 객체에 대하여 특징 벡터들을 추출하고, 추출된 특징 벡터들을 기반으로 검색용 객체의 특정 위상면을 구성할 수 있다. 상기 서버 프로세서(250)는 복수의 쿼리 이미지들에 대하여 각각 위상면을 구성하고, 복수의 위상면들을 이어 붙여 복합 위상 객체를 구성할 수 있다. 또는, 상기 서버 프로세서(250)는 하나의 쿼리 이미지에서 추출된 검색용 객체에 대한 특징 벡터들의 방향성을 기반으로 검색용 객체의 다른 위상면을 추정한 후, 추정 위상면들을 이용하여 복합 위상면들을 이어 붙인 복합 위상 객체를 구성할 수 있다. 또는, 상기 서버 프로세서(250)는 복수의 쿼리 이미지에서 추출된 검색용 객체의 위상면들을 이어 붙이되, 연속되지 않은 경계면들에서 위상 추정을 수행하여 추정 위상면을 생성하고, 이를 기반으로 복합 위상 객체를 생성할 수도 있다. 상기 서버 프로세서(250)는 구성된 복합 위상 객체를 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 복합 위상 객체를 포함하는 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 상기 가상 페이지에 포함된 복합 위상 객체는 사용자 입력에 대응하여 검색용 객체의 다른 위상면을 나타낼 수 있도록 구성될 수 있다. 즉, 상기 복합 위상 객체는 사용자가 검색용 객체의 특정 위상면을 선택할 수 있도록 구성될 수 있다. 사용자는 입력 장치(120)를 이용하여 복합 위상 객체의 위상면 변경을 요청하는 입력 신호를 서비스 장치(200)에 전송하고, 서비스 장치(200)는 사용자 입력에 따라 위상면이 변경된 복합 위상 객체를 사용자 단말(100)에 제공할 수 있다. Upon receiving the query image, the server processor 250 may construct a complex topology object in step 707. To this end, the server processor 250 may extract feature vectors with respect to the search object extracted from the received at least one query image, and configure a specific phase plane of the search object based on the extracted feature vectors. . The server processor 250 may configure a phase plane for each of the plurality of query images, and connect the plurality of phase planes to form a complex topology object. Alternatively, the server processor 250 estimates another phase plane of the search object based on the direction of feature vectors for the search object extracted from one query image, and then uses the estimated phase planes to generate complex phase planes. You can then construct a composite topological object. Alternatively, the server processor 250 combines the phase planes of the search object extracted from the plurality of query images, generates an estimated phase plane by performing phase estimation on non-contiguous boundary planes, and based on the composite phases You can also create an object. The server processor 250 may provide the configured composite topology object to the user terminal 100. In this regard, the server processor 250 may provide a virtual page including the complex topology object to the user terminal 100. The complex topology object included in the virtual page may be configured to represent another topology plane of the search object in response to a user input. That is, the complex topological object may be configured to allow a user to select a specific topological plane of the search object. The user transmits an input signal for requesting the phase change of the complex phase object to the service device 200 by using the input device 120, and the service device 200 transmits the complex phase object whose phase plane is changed according to the user input. It may be provided to the user terminal 100.

709 단계에서, 상기 서버 프로세서(250)는 위상 선택과 관련한 사용자 입력이 수신되는지 확인할 수 있다. 위상 선택과 관련한 사용자 입력이 수신되면, 711 단계에서, 서버 프로세서(250)는 선택 위상에 따른 상품 검색을 수행할 수 있다. 예컨대, 상기 서버 프로세서(250)는 검색용 객체의 선택된 위상면에 해당하는 이미지와 지정된 크기 이상의 유사도를 가지는 이미지를 포함하는 상품 정보를 검출할 수 있다. In operation 709, the server processor 250 may determine whether a user input related to phase selection is received. When the user input related to the phase selection is received, in operation 711, the server processor 250 may perform a product search according to the selection phase. For example, the server processor 250 may detect commodity information including an image corresponding to the selected topological plane of the search object and an image having a similarity or more than a predetermined size.

위상 선택과 관련한 사용자 입력이 없거나, 위상 선택 없이 상품 검색을 요청하는 사용자 입력이 수신되면, 713 단계에서, 서버 프로세서(250)는 복합 위상에 따른 검색을 수행할 수 있다. 예컨대, 상기 서버 프로세서(250)는 복합 위상 객체로부터 복수의 위상면들의 이미지들을 획득하고, 획득된 이미지들과 각각 지정된 값 이상의 유사도를 가지는 이미지를 포함하는 상품 정보를 검색할 수 있다. If there is no user input related to phase selection or a user input requesting a product search without phase selection is received, in operation 713, the server processor 250 may perform a search according to the complex phase. For example, the server processor 250 may obtain images of a plurality of phase planes from a complex topological object, and search for product information including images having images having similarity or higher than a specified value.

715 단계에서, 서버 프로세서(250)는 검색 수행에 따른 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 이전 수행 동작에 따라 다른 검색 결과를 제공할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 이전 동작이 사용자 선택에 따른 선택 위상면을 기반으로 상품 검색인 경우, 해당 선택 위상면에 대응하는 적어도 하나의 상품 정보들을 수집하고, 수집된 상품 정보들을 기반으로 검색 결과 페이지(또는 가상 페이지)를 구성할 수 있다. 또는, 상기 서버 프로세서(250)는 이전 동작이 복합 위상에 따른 검색인 경우, 복수의 위상면에 대응하는 적어도 하나의 상품 정보들을 수집하고, 수집된 상품 정보들을 기반으로 검색 결과 페이지(또는 가상 페이지)를 구성할 수 있다. 상기 서버 프로세서(250)는 구성된 검색 결과 페이지를 사용자 단말(100)에 제공할 수 있다. In operation 715, the server processor 250 may provide a search result according to a search to the user terminal 100. In this operation, the server processor 250 may provide different search results according to a previous performing operation. For example, when the previous operation is a product search based on a selection phase plane according to a user selection, the server processor 250 collects at least one product information corresponding to the selection phase plane, and collects the collected product information. You can configure a search result page (or virtual page) based on that. Alternatively, when the previous operation is a search according to a complex phase, the server processor 250 collects at least one product information corresponding to a plurality of phase planes, and based on the collected product information, a search result page (or a virtual page). ) Can be configured. The server processor 250 may provide the configured search result page to the user terminal 100.

다음으로 717 단계에서, 서버 프로세서(250)는 기능 종료 이벤트 발생을 확인할 수 있다. 기능 종료 이벤트 발생 시, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다. 기능 종료 이벤트 발생이 없는 경우, 예컨대, 701 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다. Next, in operation 717, the server processor 250 may identify occurrence of a function termination event. When a function termination event occurs, the server processor 250 may release a communication channel with the user terminal 100. If there is no function termination event, for example, the operation may be branched to step 701 and the following operation may be performed again.

상술한 바와 같이, 상기 서비스 장치(200)는 사용자 선택에 따라 검색용 객체의 특정 위상면이 선택되면, 선택된 위상면에 대응하는 이미지만을 기반으로 보다 빠른 이미지 검색 또는 상품 검색을 수행할 수 있도록 지원할 수 있다. 또한, 상기 서비스 장치(200)는 사용자 선택에 따라 복합 위상을 기반으로 상품 정보를 검색함으로써, 보다 정확한 상품 정보 검색을 지원할 수도 있다.As described above, when a specific phase plane of the search object is selected according to a user selection, the service device 200 may support a faster image search or a product search based on only an image corresponding to the selected phase plane. Can be. In addition, the service device 200 may support more accurate product information retrieval by retrieving product information based on a complex topology according to a user selection.

본 발명은 이미지 검색에 적용되는 것으로서, 특히, 검색용 객체의 특징 벡터를 기반으로 계산된 위상면들을 기반으로 보다 정확한 이미지를 검색할 수 있는 기술과 관련된다.The present invention is applied to image retrieval, and more particularly relates to a technique for retrieving a more accurate image based on phase planes calculated based on a feature vector of a retrieval object.

이러한, 본 발명은 검색용 객체의 다양한 위상을 기반으로 검색용 객체와 보다 관련성이 높은 이미지 검색 결과를 획득하여 제공함으로써, 사용자의 검색 시간을 단축시키고, 검색 결과의 신뢰도를 높임으로써, 보다 쉽고 빠른 이미지 검색 서비스를 제공할 수 있도록 지원할 수 있다.The present invention obtains and provides an image search result more relevant to the search object based on various phases of the search object, thereby shortening the user's search time and increasing the reliability of the search result. It can support to provide image search service.

10: 서비스 시스템
50: 네트워크
100: 사용자 단말
110: 통신 회로
120: 입력 장치
130: 메모리
140: 디스플레이
150: 프로세서
190: 카메라
200: 서비스 장치
210: 서버 통신 회로
230: 서버 메모리
250: 서버 프로세서
251: 특징 벡터 추출부
253: 위상 합성부
255: 검출부
257: 검색지원부10: service system
50: network
100: user terminal
110: communication circuit
120: input device
130: memory
140: display
150: processor
190: camera
200: service device
210: server communication circuit
230: server memory
250: server processor
251: feature vector extraction unit
253: phase synthesizer
255: detection unit
257: Search Support Department

Claims

Server communication circuitry;
A server processor operatively connected to the server communication circuitry;
The server processor
Establish a communication channel with a user terminal based on the server communication circuit,
Receiving at least one query image from the user terminal,
Extract feature vectors of the at least one query image,
Construct a complex phase object having a plurality of phase planes based on the feature vectors,
Detect product information based on at least a portion of the complex topology object,
And configuring a search result based on the detected product information and transmitting the search result to the user terminal.

The method of claim 1,
The server processor
If multiple query images are received,
Extract feature vectors of each query image,
Construct phase planes corresponding to the respective query images based on the feature vectors;
And configure the composite topological object by synthesizing the topological planes.

The method of claim 2,
The server processor
Identify a boundary area of each of the phase planes, and connect the boundary areas of the phase planes to form the complex topology object.

The method of claim 2,
The server processor
Identifying boundary regions of the plurality of query images,
And a boundary area of the phase planes having boundary areas including the overlapping image, to form the complex topology object.

The method of claim 1,
The server processor
Separating a background and a search object from the at least one query image,
And configuring the complex topological object having the plurality of topological planes by using feature vectors extracted from the search object.

The method of claim 1,
The server processor
Separating a background and a search object from the at least one query image,
Extract feature vectors from the search object,
Estimate at least one other phase plane of the search object based on the directionality of the extracted feature vectors,
And a phase plane constructed based on the estimated at least one phase plane and the feature vectors to form the complex topology object.

The method of claim 1,
The server processor
Detecting at least one image of the search object corresponding to the phase planes in at least one different direction with respect to the complex phase object with respect to the complex phase object; And service information including product images is acquired as the search result.

The method of claim 1,
The server processor
Transmit the complex topology object to a user terminal,
Receiving a specific topological plane of the complex topological object selected by the user terminal,
And product information including an image of a search object corresponding to the specific phase plane and an image having a similarity or more than a predetermined size as the search result.

The method of claim 8,
The server processor
Receiving an input signal for requesting a change of a composite topology object from the user terminal,
Change a phase plane of the complex phase object in response to the input signal,
And transmitting the complex topology object displaying the changed phase plane to the user terminal.

Service unit,
Establishing a communication channel with the user terminal based on the server communication circuit;
Receiving at least one query image from the user terminal;
Extracting feature vectors of the at least one query image;
Constructing a complex topological object having a plurality of phase planes based on the feature vectors;
Detecting product information based on at least a portion of the complex topology object;
And constructing a search result based on the detected product information and transmitting the search result to the user terminal.