KR20200001887A

KR20200001887A - Supporting Method for Image Searching and service device thereof

Info

Publication number: KR20200001887A
Application number: KR1020180074977A
Authority: KR
Inventors: 김기현; 김하윤
Original assignee: 십일번가 주식회사
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2020-01-07

Abstract

Disclosed in the present invention is a supporting method for image searching and a service device supporting the same. According to the present invention, the service device may comprise a service communication circuit and a server processor functionally connected to the server communication circuit. The server processor forms a communication channel with a user terminal based on the server communication circuit, receives a query image for image searching from the user terminal, transmits to the user terminal a converted query image capable of adjusting at least some attributes of the query image, retrieves a relevant image based on the attribute-adjusted query image when receiving the attribute-adjusted query image from the user terminal, and transmits a result of the retrieval to the user terminal.

Description

Supporting method for image searching and service device

본 발명은 이미지 검색에 관한 것으로서, 더욱 상세하게는 이미지 검색에 있어서 사용자가 희망하는 쿼리 이미지를 보다 정확하고 용이하게 생성할 수 있도록 지원하는 이미지 검색 지원 방법 및 이를 위한 서비스 장치에 관한 것이다.The present invention relates to an image retrieval, and more particularly, to an image retrieval support method and a service apparatus for supporting a user to generate a desired query image more accurately and easily in image retrieval.

인터넷 사용이 보편화되면서 사용자들은 인터넷 검색을 통하여 다양한 정보를 획득할 수 있게 되었다. 즉, 사용자들은 인터넷에의 접속이 가능한 개인용 컴퓨터 등의 단말 장치를 통해 인터넷 검색 사이트에 접속한 후, 뉴스, 지식, 게임, 커뮤니티 등과 관련된 각종 컨텐츠를 검색할 수 있게 되었다. As the use of the Internet has become more common, users can obtain various information through Internet searches. That is, after accessing an Internet search site through a terminal device such as a personal computer that can access the Internet, users can search for various contents related to news, knowledge, games, communities, and the like.

한편, 통신 기술의 발달 및 저장 장치의 대용량화에 따라, 인터넷 상에는 텍스트 형식의 문서뿐만 아니라, 사진, 동영상 등과 같은 이미지 데이터를 포함하는 문서들의 비율이 급격히 증가하게 되었는데, 근래에 급격히 확산되고 있는 개인 블로그 문화의 영향으로 이미지 데이터의 증가 속도가 더욱 심화되고 있다. 이에 따라, 인터넷 상에 다양한 형태로 저장된 이미지 데이터에 대한 검색 수요가 급증하고 있다. Meanwhile, with the development of communication technology and the increase in the capacity of storage devices, the proportion of documents including image data such as photographs and videos, as well as documents in the form of text, has rapidly increased on the Internet. Due to the influence of culture, the speed of increase of image data is getting worse. Accordingly, the search demand for image data stored in various forms on the Internet is rapidly increasing.

그러나, 종래 이미지 검색 방식은 단순히, 사용자가 입력한 이미지와 기 저장된 이미지와의 매칭을 수행하고, 매칭율이 높은 이미지 몇 개 만을 제공하고 있어서, 상황에 따라, 사용자가 만족하지 못하는 이미지 검색 결과가 제공되는 문제가 빈번하게 있었다.However, the conventional image retrieval method simply performs a matching between an image input by a user and a pre-stored image, and provides only a few images having a high matching rate. There were frequently problems offered.

미국 등록 특허 7684651호 (명칭: Image-based face search)U.S. Patent No. 7684651 (Name: Image-based face search)

본 발명은 사용자가 제공한 쿼리 이미지의 적어도 일부를 조절할 수 있는 변환된 쿼리 이미지를 제공하여 사용자가 검색을 희망하는 쿼리 이미지를 사용자 마음에 맞게 구현할 수 있는 이미지 검색 지원 방법 및 이를 위한 서비스 장치를 제공하고자 한다.The present invention provides an image search support method and a service apparatus for providing a converted query image that can adjust at least a portion of the query image provided by the user to implement the query image that the user wishes to search according to the user's mind I would like to.

본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 서버 프로세서를 포함할 수 있다. 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하고, 상기 쿼리 이미지의 적어도 일부 속성을 조정할 수 있는 변환된 쿼리 이미지를 상기 사용자 단말에 전송하고, 상기 사용자 단말로부터 적어도 하나의 속성이 조정된 쿼리 이미지를 수신하면, 상기 속성이 조정된 쿼리 이미지를 기반으로 관련 이미지를 검색하고, 검색 결과를 상기 사용자 단말에 전송하는 것을 특징으로 한다.The service apparatus according to the embodiment of the present invention may include a server communication circuit and a server processor. The server processor forms a communication channel with a user terminal based on the server communication circuit, receives a query image for image search from the user terminal, and converts the converted query image to adjust at least some attributes of the query image. Transmitting to the user terminal and searching for a related image based on the query image with at least one attribute adjusted from the user terminal, and transmitting a search result to the user terminal. It features.

이때, 상기 서버 프로세서는 상기 사용자 단말로부터 수신한 쿼리 이미지로부터 조정 가능한 복수의 속성을 추출하고, 상기 추출한 복수의 속성에 대한 정보를 포함하는 가상 페이지를 상기 사용자 단말로 전송할 수 있다.In this case, the server processor may extract a plurality of adjustable attributes from the query image received from the user terminal and transmit a virtual page including information on the extracted plurality of attributes to the user terminal.

여기서, 상기 서버 프로세서는 상기 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 상기 추출된 객체들 중 지정된 조건의 객체를 선택한 후, 선택된 객체의 속성을 추출할 수 있다.Here, the server processor may extract at least one object included in the query image, select an object having a specified condition among the extracted objects, and then extract an attribute of the selected object.

또는, 상기 서버 프로세서는 상기 쿼리 이미지에 포함된 객체들 중 지정된 크기 이상의 객체를 선택할 수 있다.Alternatively, the server processor may select an object of a specified size or more among objects included in the query image.

또는, 상기 서버 프로세서는 상기 쿼리 이미지에 포함된 객체들 중 지정된 위치에 배치된 객체를 선택할 수 있다.Alternatively, the server processor may select an object disposed at a specified position among objects included in the query image.

또는, 상기 서버 프로세서는 상기 쿼리 이미지로부터 추출된 복수의 객체 정보를 상기 사용자 단말에 제공하고, 사용자 입력에 의해 지정된 객체를 선택할 수 있다.Alternatively, the server processor may provide a plurality of object information extracted from the query image to the user terminal and select an object designated by a user input.

상기 서버 프로세서는 상기 사용자 단말로부터 쿼리 이미지의 적어도 일부를 변환할 수 있도록 설정되는 적어도 하나의 속성 후보 정보를 수신하고, 상기 속성 후보 정보에 대응하는 속성을 조정할 수 있도록 상기 변환된 쿼리 이미지를 생성하여 상기 사용자 단말에 전송하도록 설정될 수 있다.The server processor receives at least one attribute candidate information set to convert at least a portion of the query image from the user terminal, and generates the converted query image to adjust an attribute corresponding to the attribute candidate information. It may be set to transmit to the user terminal.

한편, 상기 서버 프로세서는 상기 쿼리 이미지에 포함된 적어도 하나의 객체의 색상 변경과 관련한 색상 속성, 상기 객체의 재질 변경과 관련한 재질 속성, 상기 객체의 적어도 일부 크기를 변경과 관련한 크기 속성 중 적어도 하나를 포함하는 가상 페이지를 상기 사용자 단말에 제공하도록 설정될 수 있다.The server processor may further include at least one of a color property related to color change of at least one object included in the query image, a material property related to material change of the object, and a size property related to changing at least some size of the object. It may be set to provide a virtual page including the user terminal.

본 발명의 실시 예에 따른 이미지 검색 지원 방법은 서비스 장치가 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지의 적어도 일부 속성을 조정할 수 있는 변환된 쿼리 이미지를 상기 사용자 단말에 전송하는 단계, 상기 사용자 단말로부터 적어도 하나의 속성이 조정된 쿼리 이미지를 수신하는 단계, 상기 속성이 조정된 쿼리 이미지를 기반으로 관련 이미지를 검색하는 단계, 검색 결과를 상기 사용자 단말에 전송하는 단계를 포함할 수 있다.According to an exemplary embodiment of the present disclosure, a method for supporting an image search may include establishing a communication channel with a user terminal, receiving a query image for image search from the user terminal, and adjusting at least some attributes of the query image. Transmitting the converted query image to the user terminal, receiving a query image with at least one property adjusted from the user terminal, searching for a related image based on the query image with adjusted properties, and searching And transmitting a result to the user terminal.

상기 전송하는 단계는, 상기 사용자 단말로부터 수신한 쿼리 이미지로부터 조정 가능한 복수의 속성을 추출하고, 상기 추출한 복수의 속성에 대한 정보를 포함하는 가상 페이지를 상기 사용자 단말로 전송할 수 있다.The transmitting may include extracting a plurality of adjustable attributes from the query image received from the user terminal, and transmitting a virtual page including information on the extracted plurality of attributes to the user terminal.

본 발명은 이미지 검색에 있어서, 사용자가 검색을 희망하는 쿼리 이미지를 보다 정확하고 손쉽게 생성할 수 있도록 지원하고, 이를 사용자가 원하는 바와 가장 근접한 이미지를 기반으로 이미지 검색을 수행함으로써, 사용자의 요구 혹은 희망사항에 가장 부합하는 검색 결과를 제공할 수 있으며, 그 결과 검색 결과에 대한 사용자의 신뢰도를 높일 수 있는 우수한 효과가 있다.According to the present invention, in the image search, the user can more accurately and easily generate the query image that the user wants to search, and perform the image search based on the image that is closest to the user's desire. It can provide a search result that best fits the matter, and as a result has an excellent effect of increasing the user's confidence in the search results.

기타, 본 발명의 다른 효과들은 후술하는 다양한 실시 예들에 의해 제공될 수 있다.In addition, other effects of the present invention may be provided by various embodiments described below.

도 1은 본 발명의 실시 예에 따른 이미지 검색을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자 단말의 운용 방법의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 사용자 단말을 기반으로 제공되는 UI(User Interface)의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of a service system supporting image retrieval according to an embodiment of the present invention.
2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.
5 is a view showing an example of a method of operating a user terminal according to an embodiment of the present invention.
6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.
7 is a diagram illustrating an example of a user interface (UI) provided based on a user terminal according to an exemplary embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It is to be understood, however, that the intention is not to limit the invention to specific embodiments, but to cover various modifications, equivalents, and / or alternatives to the embodiments of the invention. In connection with the description of the drawings, similar reference numerals may be used for similar components.

참고로, 본 발명에 따른 이미지 검색 기능은, 쿼리 이미지에 대응하는 정보 검색, 온라인 쇼핑몰에서의 동일 또는 유사 상품 검색 등 다양한 분야에 이용될 수 있다. 이하의 실시 예에서는, 설명의 편의를 위하여 상품 검색의 경우를 예로 들어 설명한다. For reference, the image search function according to the present invention may be used in various fields such as information search corresponding to a query image, the same or similar product search in an online shopping mall. In the following embodiment, for convenience of description, the case of product search will be described as an example.

도 1은 본 발명의 실시 예에 따른 이미지 검색 기능을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of a service system supporting an image search function according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 서비스 시스템(10)은 사용자 단말(100), 서비스 장치(200) 및 네트워크(50)를 포함할 수 있다.Referring to FIG. 1, the service system 10 according to an exemplary embodiment of the present invention may include a user terminal 100, a service device 200, and a network 50.

상기 본 발명이 적용되는 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 이미지 검색 기능 제공 시스템은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 사용자 단말(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 사용자 단말(100)이 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 상기 사용자 단말(100)과 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.The network 50 to which the present invention is applied is not only an IP-based wired communication network such as the Internet network, but also a long term evolution (LTE) network, a mobile communication network such as a WCDMA network, and various types of wireless networks such as a Wi-Fi network. , And combinations thereof. That is, the image search function providing system according to the present invention can be applied to both wired and wireless communication networks without distinction. In more detail, the network 50 may establish a communication channel between the service device 200 and the user terminal 100. For example, the network 50 may support at least one of 3G, 4G, and 5G wireless mobile communication methods that the service device 200 or the user terminal 100 may operate. Alternatively, the network 50 may form a communication channel between the user terminal 100 and the service device 200 on a wired basis. Such a network 50 should be interpreted as a concept including various wired networks, wireless networks, and combination networks thereof that are currently developed and commercialized, or may be developed and commercialized in the future.

상기 사용자 단말(100)은 네트워크(50)를 통하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 상기 사용자 단말(100)은 이미지 검색 기능과 관련하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 또는 이미지 검색 기능을 제공할 수 있는 웹 브라우저를 저장 및 설치할 수 있다. 사용자 단말(100)은 서비스 장치(200)로부터 이미지 검색 기능과 관련한 데이터 예컨대, 이미지 검색 관련 가상 페이지 또는 웹 페이지를 수신하고, 출력할 수 있다. 또는, 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 실행 화면을 출력할 수 있다. 사용자 단말(100)은 이미지 검색과 관련한 쿼리 이미지(예: 카메라를 이용하여 촬영한 이미지 또는 메모리에 기 저장된 이미지 등)를 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 변환된 쿼리 이미지를 수신하여 저장 및 표시할 수 있다. 상기 변환된 쿼리 이미지는 속성 조정이 가능한 쿼리 이미지(예: 쿼리 이미지에 포함된 상품 관련 객체의 적어도 일부를 조정할 수 있는 쿼리 이미지)를 포함할 수 있다. 상기 사용자 단말(100)은 사용자 입력에 따라 속성의 적어도 일부가 조정된 쿼리 이미지를 생성하고, 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. 상술한 동작을 기반으로, 상기 사용자 단말(100)은 사용자가 생성하고자 하는 검색용 쿼리 이미지를 사용자의 요구에 맞게 제공할 수 있다. 이에 따라, 상기 서비스 시스템(10)은 사용자가 희망하는 검색용 쿼리 이미지의 생성을 보다 용이하고 신속하게 생성할 수 있도록 함으로써, 검색 결과의 신뢰성을 높이고 검색 시간을 단축시킬 수 있다. The user terminal 100 may establish a communication channel with the service apparatus 200 through the network 50. The user terminal 100 may establish a communication channel with the service device 200 in relation to the image search function. In this regard, the user terminal 100 may store and install a web browser capable of providing an application or an image search function related to an image search function. The user terminal 100 may receive and output data related to an image search function, for example, an image search related virtual page or a web page, from the service apparatus 200. Alternatively, the user terminal 100 may output an application execution screen related to the image search function. The user terminal 100 transmits a query image (eg, an image photographed using a camera or an image previously stored in a memory) related to the image search to the service apparatus 200, and the query image converted from the service apparatus 200. Can be received, stored and displayed. The converted query image may include a query image capable of adjusting an attribute (eg, a query image capable of adjusting at least a part of a product related object included in the query image). The user terminal 100 may generate a query image in which at least a part of the attribute is adjusted according to a user input, and transmit the attribute adjusted query image to the service apparatus 200. Based on the above-described operation, the user terminal 100 may provide a search query image that the user intends to generate according to the user's request. Accordingly, the service system 10 can easily and quickly generate a search query image desired by the user, thereby increasing the reliability of the search results and shortening the search time.

상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)의 이미지 검색 기능을 지원할 수 있다. 예를 들어, 서비스 장치(200)는 연결된 사용자 단말(100)에 이미지 검색 관련 가상 페이지를 제공하고, 사용자 단말(100)로부터 속성 조정이 필요한 쿼리 이미지를 수신할 수 있다. 또는, 서비스 장치(200)는 사용자 단말(100)로부터 속성 조정이 필요한 쿼리 이미지 및 속성 조정 요청을 수신하면, 그에 대응하는 가상 페이지를 사용자 단말(100)에 제공할 수도 있다. The service device 200 may establish a communication channel with the user terminal 100 through the network 50 and support an image search function of the user terminal 100. For example, the service device 200 may provide an image search-related virtual page to the connected user terminal 100 and receive a query image that requires attribute adjustment from the user terminal 100. Alternatively, when the service apparatus 200 receives a query image and attribute adjustment request requiring attribute adjustment from the user terminal 100, the service device 200 may provide a virtual page corresponding thereto to the user terminal 100.

서비스 장치(200)는 사용자 단말(100)이 제공한 쿼리 이미지의 적어도 하나의 속성을 검출하고, 속성 조정이 가능한 변환된 쿼리 이미지를 생성할 수 있다. 서비스 장치(200)는 상기 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수 있다. 상기 서비스 장치(200)는 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신하면, 이를 기반으로 이미지 검색을 수행하고, 이미지 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상술한 서비스 지원을 통해, 상기 서비스 장치(200)는 사용자의 요구에 가장 근접한 검색용 쿼리 이미지를 기반으로 검색 결과를 제공함으로써, 보다 빠른 정확한 검색 결과를 제공함으로써 검색 결과의 신뢰성을 높일 수 있다. The service device 200 may detect at least one property of the query image provided by the user terminal 100 and generate a converted query image that can be adjusted. The service device 200 may provide the converted query image to the user terminal 100. When the service apparatus 200 receives the attribute-adjusted query image from the user terminal 100, the service apparatus 200 may perform an image search based on this, and provide an image search result to the user terminal 100. Through the above service support, the service device 200 may provide a search result based on a query image for search that is closest to a user's request, thereby providing a faster and more accurate search result, thereby increasing the reliability of the search result.

이하, 상술한 사용자 단말(100) 및 서비스 장치(200)의 세부 구성과 운용에 대하여 다양한 예를 설명하기로 한다.Hereinafter, various examples of the detailed configuration and operation of the user terminal 100 and the service device 200 described above will be described.

도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 통신 회로(110), 입력 장치(120), 디스플레이(130), 메모리(140), 카메라(190) 및 프로세서(150)를 포함할 수 있다.2, a user terminal 100 according to an exemplary embodiment of the present invention may include a communication circuit 110, an input device 120, a display 130, a memory 140, a camera 190, and a processor 150. It may include.

상기 통신 회로(110)는 네트워크(50)와 통신 채널을 형성하고, 네트워크(50)를 기반으로 서비스 장치(200)와 이미지 검색 기능과 관련한 데이터를 송수신할 수 있다. 예컨대, 통신 회로(110)는 이미지 검색 기능과 관련한 가상 페이지, 쿼리 이미지, 변환된 쿼리 이미지, 속성 조정된 쿼리 이미지 및 검색 결과를 서비스 장치(200)와 송수신할 수 있는 통신 기능을 지원할 수 있다. 예컨대, 상기 통신 회로(110)는 3G, 4G, 5G 등의 원거리 무선 통신 네트워크 기반의 통신 채널을 형성하거나, 와이파이 등의 근거리 통신 네트워크 기반의 통신 채널을 형성할 수 있다. The communication circuit 110 may establish a communication channel with the network 50, and transmit and receive data related to an image search function with the service device 200 based on the network 50. For example, the communication circuit 110 may support a communication function capable of transmitting and receiving a virtual page, a query image, a converted query image, an attribute-adjusted query image, and a search result related to the image search function with the service device 200. For example, the communication circuit 110 may form a communication channel based on a long distance wireless communication network such as 3G, 4G, 5G, or a communication channel based on a short range communication network such as Wi-Fi.

상기 입력 장치(120)는 사용자 단말(100) 조작과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력 장치(120)는 서비스 장치(200)로의 접속을 위해 필요한 텍스트 입력(예: 주소 정보) 또는 어플리케이션 실행 아이콘 등을 선택할 수 있는 버튼 키 또는 가상 버튼 키, 음성 입력 기능 등을 지원할 수 있다. 상기 입력 장치(120)는 쿼리 이미지 선택과 관련한 사용자 입력, 변환된 쿼리 이미지에서 적어도 하나의 속성을 조정하기 위한 사용자 입력 등을 수신하여, 프로세서(150)에 전달할 수 있다. 또는, 상기 입력 장치(120)는 적어도 하나의 속성의 가중치를 조정하는 사용자 입력을 수신하고, 수신된 사용자 입력을 프로세서(150)에 전달할 수 있다. 터치 기능의 디스플레이(130)는 입력 장치(120)로서 기능할 수 있다. 또는 입력 장치(120)는 음성 입력 기능과 관련하여 적어도 하나의 마이크를 포함하고, 키워드에 대응하는 사용자 음성을 획득하여, 프로세서(150)에 전달할 수 있다.The input device 120 may receive a user input related to the operation of the user terminal 100. For example, the input device 120 may include a button key or a virtual button key for selecting a text input (eg, address information) or an application execution icon required for access to the service device 200, a voice input function, and the like. Can support The input device 120 may receive a user input related to query image selection, a user input for adjusting at least one attribute in the converted query image, and transmit the same to the processor 150. Alternatively, the input device 120 may receive a user input for adjusting the weight of at least one attribute and transmit the received user input to the processor 150. The display 130 having a touch function may function as the input device 120. Alternatively, the input device 120 may include at least one microphone in connection with a voice input function, obtain a user voice corresponding to a keyword, and transmit the user voice to the processor 150.

상기 디스플레이(130)는 사용자 단말(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(130)는 이미지 검색 기능 실행에 따른 실행 화면, 서비스 장치(200) 접속 화면(예: 가상 페이지 표시 화면), 쿼리 이미지 선택 화면, 쿼리 이미지 전송 화면, 변환된 쿼리 이미지 수신 화면, 사용자 입력에 따라 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하는 화면, 검색 결과 수신 화면 등을 출력할 수 있다. 또는, 디스플레이(130)는 속성의 가중치를 조정하는 화면을 출력할 수 있다. The display 130 may output at least one screen related to the operation of the user terminal 100. For example, the display 130 may include an execution screen according to the execution of an image search function, a service device 200 connection screen (for example, a virtual page display screen), a query image selection screen, a query image transmission screen, and a converted query image reception. The screen, a screen for transmitting the attribute-adjusted query image to the service apparatus 200 according to a user input, a search result receiving screen, and the like may be output. Alternatively, the display 130 may output a screen for adjusting the weight of the attribute.

상기 메모리(140)는 사용자 단말(100) 운용과 관련한 데이터 또는 응용 프로그램 등을 저장할 수 있다. 예를 들면, 상기 메모리(140)는 이미지 검색 프로그램(또는 어플리케이션) 또는 이미지 검색 기능을 지원하는 웹 브라우저를 저장할 수 있다. 메모리(140)는 카메라(190)가 획득하고 서비스 장치(200)에 전송할 적어도 하나의 쿼리 이미지를 저장할 수 있다. 또는, 메모리(140)는 외부 전자 장치 예컨대, 특정 이미지 검색이 가능한 웹 서버 장치로부터 다운로드하여 검색을 위해 서비스 장치(200)에 제공될 수 있는 쿼리 이미지를 저장할 수 있다. 또는, 메모리(140)는 변환된 쿼리 이미지, 속성 조정된 쿼리 이미지 등을 저장할 수 있다. 상기 메모리(140)는 서비스 장치(200)가 제공하는 검색 결과를 임시 또는 반 영구적으로 저장할 수 있다.The memory 140 may store data or application programs related to the operation of the user terminal 100. For example, the memory 140 may store an image search program (or application) or a web browser supporting an image search function. The memory 140 may store at least one query image acquired by the camera 190 and transmitted to the service device 200. Alternatively, the memory 140 may store a query image that may be downloaded from an external electronic device such as a web server device capable of searching for a specific image and provided to the service device 200 for searching. Alternatively, the memory 140 may store the converted query image, the property adjusted query image, and the like. The memory 140 may temporarily or semi-permanently store a search result provided by the service device 200.

상기 카메라(190)는 사용자 조작에 따른 피사체를 촬영할 수 있다. 예를 들어, 이미지 검색 기능과 관련하여, 쿼리 이미지로서, 상품과 관련한 이미지를 촬영할 수 있다. 상기 카메라(190)는 쿼리 이미지 획득과 관련하여, 사용자 조작에 따라, 적어도 하나의 상품을 포함하는 이미지를 획득하고, 이를 프로세서(150)에 전달할 수 있다. The camera 190 may photograph a subject according to a user's manipulation. For example, in relation to an image search function, an image relating to a product may be photographed as a query image. The camera 190 may obtain an image including at least one product and transmit the image to the processor 150 according to a user manipulation in connection with obtaining the query image.

상기 프로세서(150)는 사용자 단말(100) 운용과 관련한 데이터의 처리 또는 전달을 수행할 수 있다. 예를 들어, 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 이미지 검색 프로그램(예: 이미지 검색 어플리케이션 또는 웹 브라우저)을 실행할 수 있다. 이 동작에서, 프로세서(150)는 상기 통신 회로(110)를 이용하여 서비스 장치(200)와 통신 채널을 형성하고, 상기 서비스 장치(200)로부터 이미지 검색 관련 가상 페이지를 수신할 수 있다. 이 과정에서, 상기 프로세서(150)는 서비스 장치(200) 요청에 대응하여 사용자 정보 확인(예: 로그인 정보 및 패스워드 입력) 과정을 처리할 수 있다. The processor 150 may process or transmit data related to the operation of the user terminal 100. For example, the processor 150 may execute an image search program (eg, an image search application or a web browser) in response to a user input input through the input device 120. In this operation, the processor 150 may establish a communication channel with the service device 200 using the communication circuit 110, and receive an image search related virtual page from the service device 200. In this process, the processor 150 may process a user information check (eg, login information and password input) in response to a request of the service device 200.

상기 프로세서(150)는 사용자 입력에 대응하여 쿼리 이미지를 획득할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 대응하여 카메라(190)를 활성화하고, 지정된 피사체에 관한 이미지 촬영을 제어할 수 있다. 프로세서(150)는 촬영된 이미지를 메모리(140)에 임시 또는 반영구적으로 저장할 수 있다. 또는, 프로세서(150)는 사용자 입력에 대응하여 외부 전자 장치 접속을 수행하고, 외부 전자 장치로부터 적어도 하나의 이미지를 수신하여 저장할 수 있다. 상기 프로세서(150)는 사용자 입력에 대응하여 메모리(140)에 기 저장된 이미지 또는 카메라(190)를 통해 획득된 이미지 중 적어도 하나를 쿼리 이미지로 선택할 수 있는 선택 화면을 디스플레이(130)에 출력할 수 있다. 이 동작에서 프로세서(150)는 복수의 쿼리 이미지들을 썸네일 형태로 출력할 수 있다. 상기 프로세서(150)는 특정 썸네일을 선택하는 사용자 입력이 발생하는 경우, 선택된 썸네일을 전체 화면을 출력하면서, 쿼리 이미지 선택 완료 여부를 확인할 수 있다. 상기 프로세서(150)는 쿼리 이미지 선택을 위한 사용자 입력이 발생하면, 선택된 쿼리 이미지를 통신 회로(110)를 통해 서비스 장치(200)에 전송할 수 있다.The processor 150 may obtain a query image in response to a user input. For example, the processor 150 may activate the camera 190 in response to a user input and control image capturing of a specified subject. The processor 150 may temporarily or semi-permanently store the captured image in the memory 140. Alternatively, the processor 150 may access an external electronic device in response to a user input, and receive and store at least one image from the external electronic device. The processor 150 may output to the display 130 a selection screen for selecting at least one of an image previously stored in the memory 140 or an image acquired through the camera 190 as a query image in response to a user input. have. In this operation, the processor 150 may output a plurality of query images in thumbnail form. When a user input for selecting a particular thumbnail is generated, the processor 150 may check whether the query image selection is completed while outputting the selected thumbnail in full screen. When a user input for selecting a query image occurs, the processor 150 may transmit the selected query image to the service device 200 through the communication circuit 110.

상기 프로세서(150)는 서비스 장치(200)에 전송한 쿼리 이미지에 대응하여, 변환된 쿼리 이미지를 서비스 장치(200)로부터 수신할 수 있다. 상기 변환된 쿼리 이미지는 쿼리 이미지와 관련한 속성의 적어도 일부를 조정할 수 있는 이미지를 포함할 수 있다. 예를 들면, 상기, 속성 조정이 가능한 변환된 쿼리 이미지는 쿼리 이미지에 포함된 상품 관련 객체의 적어도 일부를 조정할 수 있는 이미지를 포함할 수 있다. The processor 150 may receive the converted query image from the service device 200 in response to the query image transmitted to the service device 200. The converted query image may include an image for adjusting at least a part of an attribute related to the query image. For example, the transformed query image capable of adjusting attributes may include an image capable of adjusting at least a part of a product related object included in the query image.

상기 쿼리 이미지는 복수의 상품 관련 객체를 포함할 수 있다. 이에 대응하여, 상기 변환된 쿼리 이미지 역시, 복수의 상품 관련 객체들 각각의 적어도 일부를 조정할 수 있는 이미지를 포함할 수 있다. 또는, 상기 변환된 쿼리 이미지는 ROI(region of interest) 객체의 속성을 조정할 수 있다. 상기 ROI 객체는 예컨대, 쿼리 이미지의 중심부에 위치한 객체를 포함할 수 있다. 또는, 상기 ROI 객체는 쿼리 이미지에 포함된 복수의 객체들 중 일정 이상의 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 가장 큰 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 촬영 이미지에서 포커싱된 객체를 포함할 수 있다. 또는, ROI 객체는 검출된 복수의 객체들 중 사용자 입력에 의해 선택된 적어도 하나의 객체를 포함할 수 있다. The query image may include a plurality of product related objects. Correspondingly, the converted query image may also include an image for adjusting at least a part of each of the plurality of product-related objects. Alternatively, the converted query image may adjust a property of a region of interest (ROI) object. The ROI object may include, for example, an object located at the center of the query image. Alternatively, the ROI object may include an object having a predetermined size or more among a plurality of objects included in the query image. Alternatively, the ROI object may include the object having the largest size. Alternatively, the ROI object may include an object focused in the captured image. Alternatively, the ROI object may include at least one object selected by user input among the plurality of detected objects.

상기 프로세서(150)는 변환된 쿼리 이미지를 수신하면, 디스플레이(130)에 출력할 수 있다. 디스플레이(130)에 출력되는 변환된 쿼리 이미지는 변경 가능한 적어도 하나의 속성 정보들을 포함할 수 있다. 사용자 입력이 발생하면, 상기 프로세서(150)는 상기 적어도 하나의 속성 정보를 변경하고, 변경된 속성 정보에 대응하여 이미지의 형태나 색상, 위치, 크기 등을 변경할 수 있다. 속성 조정이 완료되면, 상기 프로세서(150)는 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. The processor 150 may output the converted query image to the display 130. The converted query image output to the display 130 may include at least one attribute information that may be changed. When a user input occurs, the processor 150 may change the at least one attribute information, and change the shape, color, position, size, etc. of the image in response to the changed attribute information. When the attribute adjustment is completed, the processor 150 may transmit the attribute adjusted query image to the service device 200.

상기 프로세서(150)는 서비스 장치(200)로부터 속성 조정된 쿼리 이미지를 기반으로 검색된 검색 결과를 수신할 수 있다. 상기 프로세서(150)는 상기 서비스 장치(200)로부터 수신된 검색 결과를 디스플레이(130)에 출력할 수 있다. 이 동작에서, 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지와 상기 검색 결과를 하나의 화면에 출력할 수 있다. 이와 관련하여, 상기 프로세서(150)는 화면을 분할하고, 분할된 제1 영역에 속성 조정된 쿼리 이미지를 출력하고, 분할된 제2 영역에 상기 검색 결과를 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 검색 결과를 디스플레이(130) 전체 화면에 출력하고, 상기 속성 조정된 쿼리 이미지에 대응하는 썸네일을 상기 검색 결과 전체 화면에 오버레이 방식으로 출력할 수 있다. The processor 150 may receive a search result searched based on the attribute-adjusted query image from the service device 200. The processor 150 may output a search result received from the service device 200 to the display 130. In this operation, the processor 150 may output the attribute adjusted query image and the search result on one screen. In this regard, the processor 150 may split the screen, output a query image adjusted with attributes in the divided first region, and output the search result in the divided second region. Alternatively, the processor 150 may output the search result on the entire screen of the display 130, and output a thumbnail corresponding to the attribute-adjusted query image on the full screen of the search result in an overlay manner.

상기 프로세서(150)는 상기 검색 결과가 복수개인 경우, 복수개의 검색 결과 중 일부 검색 결과를 서비스 장치(200)로부터 수신하고, 일부 검색 결과를 디스플레이(130)에 출력할 수 있다. 이후, 프로세서(150)는 사용자 입력에 따라, 나머지 검색 결과를 서비스 장치(200)에 요청하고, 수신된 나머지 검색 결과를 디스플레이(130)에 새롭게 출력할 수 있다. When there are a plurality of search results, the processor 150 may receive some search results from the plurality of search results from the service device 200 and output some search results to the display 130. Thereafter, the processor 150 may request the remaining search results from the service device 200 according to a user input and newly output the received remaining search results to the display 130.

상기 프로세서(150)는 상기 속성의 가중치 조정 기능을 제공할 수 있다. 예를 들어, 앞서 언급한 바와 같이, 특정 객체의 속성이 복수개인 경우, 프로세서(150)는 속성들의 가중치 설정 화면을 디스플레이(130)에 출력할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 따라 상품의 색상 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라 상품의 외관 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라, 상품의 재질 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라 복수개의 속성들 중 복수개의 일부 속성들의 가중치를 상대적으로 더 높게 설정할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 따라 6개의 속성들 중 2개의 속성들의 가중치를 50%(예: 각각 25% 가중치)로 설정하고, 나머지 4개의 가중치를 각각 12.5%로 설정할 수 있다. The processor 150 may provide a weight adjustment function of the attribute. For example, as mentioned above, when there are a plurality of attributes of a specific object, the processor 150 may output a weight setting screen of the attributes to the display 130. For example, the processor 150 may set the weight of the color attribute of the product to the highest value according to a user input. Alternatively, the processor 150 may set the weight of the appearance attribute of the product to the highest value according to the user input. Alternatively, the processor 150 may set the weight of the material attribute of the product to the highest value according to a user input. Alternatively, the processor 150 may set the weight of the plurality of attributes among the plurality of attributes relatively higher according to the user input. For example, the processor 150 may set the weights of the two attributes among the six attributes to 50% (for example, each 25% weight) according to the user input, and set the remaining four weights to 12.5%, respectively. have.

다양한 예시로서, 상기 프로세서(150)는 사용자가 선택한 쿼리 이미지와 관련하여, 사용자 입력에 대응하는 속성 후보 정보를 생성하고, 상기 쿼리 이미지 전송 시 상기 속성 후보 정보를 함께 서비스 장치(200)에 전송할 수 있다. 이와 관련하여, 상기 프로세서(150)는 사용자 입력에 대응하여 쿼리 이미지가 획득되면, 획득된 쿼리 이미지의 속성 후보 정보 선택과 관련한 화면을 디스플레이(130)에 출력할 수 있다. 상기 속성 후보 정보는 예컨대, “색상”, “재질”, “크기”, “가격”, “판매량”, “특정 모양” 등을 포함할 수 있다. “크기”에 해당하는 속성 후보 정보는 쿼리 이미지에 포함된 객체의 부분 선택 정보를 포함할 수 있다. 상기 “색상” 이나 “재질”에 해당하는 속성 후보 정보 역시, 쿼리 이미지에 포함된 객체의 부분 선택 정보를 포함할 수 있다. 부분 선택 정보는 예컨대, 일정 크기 단위로 분할된 객체들의 분할 영역들 중 사용자 입력에 의해 선택된 위치 정보를 포함할 수 있다. 또는, 부분 선택 정보는 객체에 포함된 적어도 하나의 경계선(예: 신발의 경우, 신발의 밑창과, 신발목, 신발등 사이에 마련된 경계선)를 기준으로 구분된 부분 영역들 중 터치 입력에 의해 선택된 적어도 하나의 영역 선택 정보를 포함할 수 있다. 사용자는 입력 장치(120) 등을 이용하여 디스플레이(130)에 표시된 쿼리 이미지를 확인하면서 적어도 하나의 속성 후보 정보를 입력할 수 있다. As various examples, the processor 150 may generate attribute candidate information corresponding to a user input with respect to a query image selected by a user, and transmit the attribute candidate information to the service apparatus 200 when the query image is transmitted. have. In this regard, when the query image is obtained in response to a user input, the processor 150 may output a screen related to the selection of attribute candidate information of the acquired query image to the display 130. The attribute candidate information may include, for example, "color", "material", "size", "price", "sale amount", "specific shape", and the like. The attribute candidate information corresponding to “size” may include partial selection information of an object included in the query image. Attribute candidate information corresponding to the “color” or “material” may also include partial selection information of an object included in the query image. The partial selection information may include, for example, location information selected by a user input among division areas of the objects divided by a predetermined size unit. Alternatively, the partial selection information may be selected by a touch input among partial regions divided based on at least one boundary line included in the object (for example, in the case of a shoe, a boundary between the sole of the shoe and a shoe, a shoe, etc.). At least one area selection information may be included. The user may input at least one attribute candidate information while checking the query image displayed on the display 130 using the input device 120 or the like.

도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 장치(200)(또는 서버 장치)는 서버 통신 회로(210), 데이터베이스(240) 및 서버 프로세서(250)를 포함할 수 있다. 상기 데이터베이스(240)는 상기 서비스 장치(200)와 독립된 구성으로 마련될 수 있다. 이 경우, 서버 프로세서(250)는 별도로 구성된 데이터베이스(240) 장치 또는 서버와 통신 채널을 형성하고, 검색 동작을 수행하도록 제어할 수도 있다.Referring to FIG. 3, a service device 200 (or a server device) according to an embodiment of the present invention may include a server communication circuit 210, a database 240, and a server processor 250. The database 240 may be provided in an independent configuration from the service device 200. In this case, the server processor 250 may establish a communication channel with a separately configured database 240 device or a server and perform a search operation.

상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 기능을 담당할 수 있다. 예를 들어, 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 사용자 단말(100)과 통신 채널을 형성할 수 있다. 예를 들어, 서버 통신 회로(210)는 서버 프로세서(250) 제어에 대응하여 쿼리 이미지의 수신, 속성 추출, 쿼리 이미지 변환 및 변환된 쿼리 이미지 전송, 속성 조정된 쿼리 이미지 기반의 이미지 검색, 검색 결과 전송 등을 수행할 수 있다. The server communication circuit 210 may be in charge of a communication function of the service device 200. For example, the server communication circuit 210 may form a communication channel with at least one user terminal 100 through the network 50. For example, the server communication circuit 210 may receive a query image, extract an attribute, convert a query image, and transmit a converted query image, search for an image based on a property-adjusted query image, and search results in response to the control of the server processor 250. Transfer and the like.

상기 데이터베이스(240)는 서비스 장치(200) 운용과 관련한 데이터 또는 프로그램을 저장할 수 있다. 상기 데이터베이스(240)는 이미지 검색 기능 운용과 관련하여, 변환된 쿼리 이미지 및 검색 대상이 되는 적어도 하나의 상품 관련 이미지들을 저장할 수 있다. The database 240 may store data or programs related to the operation of the service device 200. The database 240 may store the converted query image and at least one product related image to be searched in relation to the operation of the image search function.

상기 변환된 쿼리 이미지는 사용자 단말(100)로부터 제공된 쿼리 이미지를 기반으로 생성된 이미지를 포함할 수 있다. 예컨대, 상기 변환된 쿼리 이미지는 이미지에 포함된 적어도 하나의 객체의 속성을 조정할 수 있도록 마련될 수 있다. 상기 변환된 쿼리 이미지는 사용자 단말(100)에 검색 결과를 제공한 이후, 데이터베이스(240)에서 삭제될 수 도 있다. The converted query image may include an image generated based on the query image provided from the user terminal 100. For example, the converted query image may be provided to adjust attributes of at least one object included in the image. The converted query image may be deleted from the database 240 after providing the search result to the user terminal 100.

상기 적어도 하나의 상품 관련 이미지는 사용자 단말(100)이 제공한 속성 조정된 쿼리 이미지를 기반으로 검색될 수 있는 이미지들을 포함할 수 있다. 예를 들어, 상품 관련 이미지들은 구두, 가방, 옷, 모자, 전자 기기, 액세서리 등 다양한 상품들의 이미지들을 포함할 수 있다. 상기 데이터베이스(240)는 상품 관련 이미지들에 포함된 객체들의 특징점들을 저장 관리할 수 있다. 이에 따라, 속성 조정된 쿼리 이미지가 사용자 단말(100)로부터 제공되면, 상기 데이터베이스(240)에 저장된 다양한 상품 관련 이미지들 중 상기 속성 조정된 쿼리 이미지에 포함된 객체의 특징점에 대응되는 객체를 포함한 상품 관련 이미지가 서버 프로세서(250)에 제공될 수 있다.The at least one product related image may include images that may be searched based on the attribute-adjusted query image provided by the user terminal 100. For example, product-related images may include images of various goods, such as shoes, bags, clothes, hats, electronic devices, and accessories. The database 240 may store and manage feature points of objects included in product-related images. Accordingly, when the property adjusted query image is provided from the user terminal 100, a product including an object corresponding to a feature point of an object included in the property adjusted query image among various product related images stored in the database 240. The relevant image may be provided to the server processor 250.

상기 서버 프로세서(250)는 상기 서버 통신 회로(210)를 통하여 적어도 하나의 사용자 단말(100)과의 통신 채널 형성을 제어할 수 있다. 상기 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라 이미지 검색 기능과 관련한 화면(예: 가상 페이지 또는 웹 페이지)을 사용자 단말(100)에 제공할 수 있다. 서버 프로세서(250)는 사용자 단말(100)에 따라 쿼리 이미지의 속성을 조정할 수 있는 변환된 쿼리 이미지를 제공하고, 속성 조정된 쿼리 이미지 수신에 따른 검색 결과를 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 속성 추출부(251), 쿼리 이미지 변환부(253), 검색부(255)를 포함할 수 있다. 상기 속성 추출부(251), 쿼리 이미지 변환부(253), 검색부(255) 중 적어도 하나는 적어도 하나의 프로세서에 의해 구현되거나, 하나의 프로세서가 각 기능을 지원하도록 마련될 수 있다.The server processor 250 may control communication channel establishment with at least one user terminal 100 through the server communication circuit 210. The server processor 250 may provide a screen (eg, a virtual page or a web page) related to an image search function to the user terminal 100 at the request of the user terminal 100. The server processor 250 may provide the converted query image that may adjust the attributes of the query image according to the user terminal 100, and provide a search result according to the reception of the attribute-adjusted query image. In this regard, the server processor 250 may include an attribute extractor 251, a query image converter 253, and a searcher 255. At least one of the property extractor 251, the query image converter 253, and the searcher 255 may be implemented by at least one processor, or one processor may be provided to support each function.

상기 속성 추출부(251)는 사용자 단말(100)의 서비스 장치(200) 접속을 지원할 수 있다. 예컨대, 상기 속성 추출부(251)는 사용자 단말(100)이 서비스 장치(200)에 접속하면, 사용자 단말(100)에 이미지 검색 관련 기능과 관련한 가상 페이지를 제공할 수 있다. 상기 속성 추출부(251)는 사용자 단말(100)로부터 쿼리 이미지 및 쿼리 이미지의 적어도 일부 속성 조정 요청을 수신할 수 있다. 상기 속성 추출부(251)는 속성 조정 요청에 따라, 수신된 쿼리 이미지를 분석할 수 있다. 예를 들어, 상기 속성 추출부(251)는 쿼리 이미지에 포함된 적어도 하나의 객체를 추출할 수 있다. 상기 속성 추출부(251)는 추출된 적어도 하나의 객체의 속성(예: 크기, 색상, 재질, 위치, 경계 부분들)을 추출할 수 있다. 상기 속성 추출부(251)는 추출된 속성 값을 쿼리 이미지 변환부(253)에 전달할 수 있다.The attribute extractor 251 may support access of the service device 200 of the user terminal 100. For example, when the user terminal 100 accesses the service apparatus 200, the property extractor 251 may provide a virtual page related to an image search related function to the user terminal 100. The attribute extractor 251 may receive a query image and a request for adjusting at least some attributes of the query image from the user terminal 100. The attribute extractor 251 may analyze the received query image according to the attribute adjustment request. For example, the property extractor 251 may extract at least one object included in the query image. The attribute extractor 251 may extract attributes (eg, size, color, material, position, boundary parts) of at least one extracted object. The attribute extractor 251 may transfer the extracted attribute value to the query image converter 253.

다른 예로서, 상기 속성 추출부(251)는 사용자 단말(100)로부터 쿼리 이미지 및 속성 후보 정보를 수신할 수 있다. 상기 속성 후보 정보는 예컨대, 사용자 입력에 따라 쿼리 이미지에 포함된 적어도 하나의 객체 관련 조정을 원하는 속성 값들을 포함할 수 있다. 상기 속성 추출부(251)는 상기 속성 후보 정보에 포함된 속성 값들을 상기 쿼리 이미지 변환부(253)에 전달할 수 있다. 추가적으로 또는 대체적으로 상기 속성 추출부(251)는 상기 쿼리 이미지에 포함된 적어도 하나의 객체를 검출하고, 검출된 객체의 속성 값들 중 상기 속성 후보 정보에 포함되지 않은 속성 값을 추가로 검출하여 상기 쿼리 이미지 변환부(253)에 전달할 수도 있다.As another example, the attribute extractor 251 may receive the query image and attribute candidate information from the user terminal 100. The attribute candidate information may include, for example, attribute values for which at least one object related adjustment is included in the query image according to a user input. The attribute extractor 251 may transfer attribute values included in the attribute candidate information to the query image converter 253. Additionally or alternatively, the attribute extractor 251 detects at least one object included in the query image, and additionally detects an attribute value not included in the attribute candidate information among the attribute values of the detected object to perform the query. The image converting unit 253 may be transferred.

상기 쿼리 이미지 변환부(253)는 상기 속성 추출부(251)로부터 쿼리 이미지 및 속성 값들을 수신하고, 수신된 속성 값들을 기반으로 속성 조정이 가능한 변환된 쿼리 이미지를 생성할 수 있다. 이 동작에서, 상기 쿼리 이미지 변환부(253)는 쿼리 이미지에서 추출된 속성 값들을 기준으로 쿼리 이미지의 속성(예: 색상, 재질, 크기, 경계 부분 등)을 변경할 수 있도록 이미지를 구성할 수 있다. 또는, 쿼리 이미지 변환부(253)는 추출된 속성들을 조정할 수 있는 조정 값의 범위들을 설정하고, 설정된 조정 값 범위들에 대하여 쿼리 이미지의 적어도 일부가 변형되도록 변환된 쿼리 이미지를 설정할 수 있다. 상기 쿼리 이미지 변환부(253)는 변환된 쿼리 이미지가 생성되면, 상기 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수 있다. The query image converter 253 may receive the query image and the property values from the property extractor 251 and generate a converted query image in which the property can be adjusted based on the received property values. In this operation, the query image converter 253 may configure an image to change the attributes (eg, color, material, size, boundary, etc.) of the query image based on the attribute values extracted from the query image. . Alternatively, the query image converter 253 may set ranges of adjustment values for adjusting the extracted attributes, and set the converted query image so that at least a part of the query image is transformed with respect to the set adjustment value ranges. When the converted query image is generated, the query image converter 253 may provide the converted query image to the user terminal 100.

상기 쿼리 이미지 변환부(253)는 사용자 단말(100)로부터 속성 후보 정보를 수신한 경우, 속성 후보 정보에 대응하는 속성 값들만을 조정할 수 있는 변환된 쿼리 이미지를 생성하여 사용자 단말(100)에 제공할 수도 있다. 또는, 상기 쿼리 이미지 변환부(253)는 속성 후보 정보에 포함된 속성 값들을 기본으로 제공하고, 추가적으로 검출한 속성 값들은 사용자 선택에 따라 변환된 쿼리 이미지에서 속성 조정할 수 있도록 이미지를 구성할 수도 있다.When the query image converter 253 receives the attribute candidate information from the user terminal 100, the query image converter 253 generates and provides the converted query image that can adjust only the attribute values corresponding to the attribute candidate information to the user terminal 100. You may. Alternatively, the query image converter 253 may basically provide property values included in the property candidate information, and may additionally configure an image so that the detected property values can be adjusted in the converted query image according to a user's selection. .

다른 예시로, 상기 쿼리 이미지 변환부(253)는 속성 조정된 쿼리 이미지 제공 시, 속성의 가중치 값 조정이 가능한 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수도 있다. 이와 관련하여, 상기 쿼리 이미지 변환부(253)는 속성 값들이 추출되면, 추출된 속성 값들의 각 가중치를 설정할 수 있는 설정 항목을 상기 변환된 쿼리 이미지에 포함시켜 사용자 단말(100)에 제공할 수 있다.As another example, the query image converter 253 may provide the user terminal 100 with the converted query image capable of adjusting the weight value of the property when providing the property adjusted query image. In this regard, when the attribute values are extracted, the query image converter 253 may provide the user terminal 100 with a setting item for setting each weight of the extracted attribute values in the converted query image. have.

상기 검색부(255)는 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신하면, 수신된 속성 조정된 쿼리 이미지에서 검색용 객체를 추출할 수 있다. 상기 검색부(255)는 추출된 검색용 객체의 특징점들을 추출하고, 추출된 특징점들과 동일 또는 일정 비율 이상 유사한 특징점들을 가지고 있는 이미지를 상품 관련 이미지들에서 검색할 수 있다. 상기 검색부(255)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 검색부(255)는 검색이 실패한 경우, 검색 실패를 안내하는 안내 메시지를 사용자 단말(100)에 제공할 수 있다. When the searcher 255 receives the property adjusted query image from the user terminal 100, the searcher 255 may extract a search object from the received property adjusted query image. The search unit 255 may extract feature points of the extracted search object and search for images related to the product having feature points that are the same as or similar to the extracted feature points by a predetermined ratio or more. The search unit 255 may provide a search result to the user terminal 100. In this operation, when the search fails, the search unit 255 may provide the user terminal 100 with a guide message for guiding the search failure.

한편, 상기 검색부(255)는 속성 조정된 쿼리 이미지 수신 시, 속성 가중치 설정 값을 사용자 단말(100)로부터 함께 수신할 수 있다. 이 경우, 상기 검색부(255)는 속성 가중치 설정 값에 따라 검색 방식을 다르게 할 수 있다. 예를 들어, 상기 검색부(255)는 “색상”과 관련한 속성 가중치 값이 가장 높게 설정된 경우, 속성 조정된 쿼리 이미지를 기반으로 검색을 수행하되 검색 우선 순위로, “색상”을 우선하여 상품 관련 이미지를 검색할 수 있다. 이와 관련하여, 검색부(255)는 속성 조정된 쿼리 이미지와 상품 관련 이미지들의 매칭 과정에서, 색상이 동일한 경우 다른 속성 값에 비하여 매칭 기준율을 상대적으로 낮게 설정하고, 다른 속성(예: 재질이나 크기 등)의 매칭 기준율은 상대적으로 높게 설정함으로써, 색상이 비슷한 상품 관련 이미지들이 보다 많이 검색될 수 있도록 설정할 수 있다. Meanwhile, the search unit 255 may receive an attribute weight setting value from the user terminal 100 when receiving the attribute adjusted query image. In this case, the search unit 255 may change the search method according to the attribute weight setting value. For example, when the attribute weight value related to "color" is set to the highest value, the search unit 255 performs a search based on the attribute-adjusted query image, but prioritizes "color" as the search priority and relates to the product. You can search for images. In this regard, the searcher 255 sets the matching criterion ratio to be relatively low compared to other attribute values in the matching process of the attribute-adjusted query image and the product-related images, and the other attributes (for example, material or size). Etc.) by setting a relatively high matching criterion ratio, it is possible to set so that more product-related images similar in color can be searched.

또는, 상기 검색부(255)는 각 속성 값들의 가중치 값들을 확인하고, 속성 조정된 쿼리 이미지와 상품 관련 이미지들의 매칭 기준율(또는 유사 기준율) 설정 과정에서, 상기 상품 관련 이미지들과 매칭할 속성 조정된 쿼리 이미지의 매칭 기준율을 속성별로 다르게 설정할 수 있다. 예를 들어, 상기 검색부(255)는 색상 속성이 다른 속성에 비하여 가중치가 높게 설정된 경우, 이미지 검색 시, 색상 매칭 기준율을 다른 속성 매칭 기준율에 비하여 낮게 설정하여, 동일 또는 유사한 색상들의 상품을 많이 검색하고, 재질이나 크기 등의 매칭 기준율을 높게 설정할 수 있다. 상기 매칭 기준율을 검색된 상품 관련 이미지를 검색 결과로서 포함시킬 것인지 버릴 것인지를 결정하는 기준 값이 될 수 있다. 상술한 기능을 통해, 검색부(255)는 상대적으로 가중치가 높은 속성들이 상대적으로 낮은 매칭 기준율을 가지도록 설정함으로써, 사용자가 집중하고자 하는 속성을 가지는 상품 관련 이미지들을 보다 많이 그리고 보다 정확하게 검색할 수 있도록 지원할 수 있다.Alternatively, the searcher 255 checks the weight values of the respective property values, and in the process of setting a matching reference rate (or similar reference rate) of the property adjusted query image and product related images, adjusts an attribute to match the product related images. Matching criteria of the query image can be set differently for each property. For example, when the color attribute is set to have a higher weight than other attributes, the search unit 255 sets the color matching criterion ratio lower than other attribute matching criterion ratios when searching for an image, so that a plurality of products having the same or similar colors are used. It is possible to search and set high matching criteria such as material and size. The matching reference rate may be a reference value for determining whether to include a found product-related image as a search result or discard it. Through the above-described function, the searcher 255 may search for more and more accurate images related to products having attributes that the user wants to concentrate by setting relatively high weight attributes to have relatively low matching criteria. I can support them.

다른 예시로서, 상기 검색부(255)는 속성 가중치 설정 값에 따라 검색 결과의 필터링을 다르게 할 수 있다. 예컨대, 검색부(255)는 속성 조정된 쿼리 이미지에서 객체를 검출하고, 상기 검출된 객체와 일정 비율 유사한 상품 관련 이미지들을 검색할 수 있다. 상기 검색부(255)는 검색된 상품 관련 이미지들에 대하여 상기 속성 값들을 확인하고, 매칭율이 높은 상품 관련 이미지들 중 상대적으로 높은 가중치 속성과 관련한 상품 관련 이미지들을 신뢰도가 높은 이미지(예: 사용자 검색 요구에 보다 가까운 이미지)로 결정할 수 있다. 또는, 상대적으로 높은 가중치 속성과 관련한 상품 관련 이미지들 중 매칭율이 높은 상품 관련 이미지들을 검색 결과로서 사용자 단말(100)에 우선 제공하고, 사용자 요청에 따라 나머지 검색 결과를 제공할 수도 있다. 예를 들어, 사용자 단말(100) 요청에 따라 “색상” 가중치가 가장 높게 설정된 경우, 상기 검색부(255)는 검출된 상품 관련 이미지들 중 속성 조정된 쿼리 이미지의 객체의 색상과 동일한 색상(또는 일정 비율 이상 유사한 색상)을 가지는 상품 관련 이미지들을 신뢰도가 높은 이미지(사용자 요구에 보다 적합한 이미지)로 결정하고, 다른 검색 결과보다 우선하여 사용자 단말(100)에 제공할 수 있다. As another example, the search unit 255 may filter the search result according to the attribute weight setting value. For example, the searcher 255 may detect an object in the attribute-adjusted query image and search for product-related images that are similar in proportion to the detected object. The searcher 255 checks the attribute values with respect to the searched product-related images, and has a highly reliable image (eg, a user search) for the product-related images related to a relatively high weighted attribute among the product-related images with a high matching rate. Image closer to your needs). Alternatively, product-related images having a high matching rate among product-related images related to a relatively high weight attribute may be first provided to the user terminal 100 as a search result, and the remaining search results may be provided according to a user request. For example, when the “color” weight is set to the highest value according to the request of the user terminal 100, the search unit 255 may have the same color as the color of the object of the attribute-adjusted query image among the detected product-related images. Product-related images having a similar color or more than a certain ratio may be determined as a highly reliable image (an image more suited to a user's demand), and provided to the user terminal 100 in preference to other search results.

도 4는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.4 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.

도 4를 참조하면, 본 발명의 서비스 시스템(10) 간 신호 흐름과 관련하여, 401 단계에서 사용자 단말(100) 및 서비스 장치(200)는 통신 채널을 형성할 수 있다. 예를 들어, 서비스 장치(200)는 서버 통신 회로(210)를 기반으로 네트워크(50)와 통신 채널을 형성하고, 사용자 단말(100)이 접속할 수 있는 접속 환경을 제공할 수 있다. 이에 따라, 특정 사용자 단말(100)은 통신 회로(110)를 기반으로 네트워크(50)를 통해 서비스 장치(200)에 접속을 수행할 수 있다. 이 단계에서, 서비스 장치(200)는 이미지 검색 관련 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 예를 들어, 서비스 장치(200)의 서버 프로세서(250)는 사용자 단말(100)로부터 이미지 검색 기능 실행과 관련한 데이터 전송 요청을 수신하면, 이미지 검색 기능과 관련한 가상 페이지를 사용자 단말(100)에 전송할 수 있다. Referring to FIG. 4, in relation to the signal flow between the service system 10 of the present disclosure, the user terminal 100 and the service device 200 may form a communication channel in step 401. For example, the service device 200 may establish a communication channel with the network 50 based on the server communication circuit 210, and provide a connection environment to which the user terminal 100 may access. Accordingly, the specific user terminal 100 may access the service device 200 through the network 50 based on the communication circuit 110. In this step, the service device 200 may provide an image search related virtual page to the user terminal 100. For example, when the server processor 250 of the service device 200 receives a data transmission request for executing an image search function from the user terminal 100, the server processor 250 transmits a virtual page related to the image search function to the user terminal 100. Can be.

403 단계에서, 사용자 단말(100)은 쿼리 이미지를 획득할 수 있다. 이와 관련하여, 사용자 단말(100)은 카메라(190)를 활성화하고, 사용자 입력(예: 셔터 입력)에 대응하여 특정 피사체에 대응하는 촬영 이미지를 쿼리 이미지로서 획득할 수 있다. 또는, 사용자 단말(100)은 메모리(140)에 저장된 적어도 하나의 이미지를 쿼리 이미지로서 선택할 수 있는 선택 화면을 제공하고, 사용자 입력에 의해 선택된 이미지를 쿼리 이미지로서 획득할 수 있다. 또는, 사용자 단말(100)은 지정된 웹 서버 또는 사용자 입력에 의해 지시된 웹 서버와 통신 채널을 형성하고, 상기 웹 서버가 제공하는 적어도 하나의 이미지를 쿼리 이미지로서 획득할 수 있다.In operation 403, the user terminal 100 may obtain a query image. In this regard, the user terminal 100 may activate the camera 190 and acquire a captured image corresponding to a specific subject as a query image in response to a user input (for example, a shutter input). Alternatively, the user terminal 100 may provide a selection screen for selecting at least one image stored in the memory 140 as a query image, and obtain the image selected by the user input as the query image. Alternatively, the user terminal 100 may establish a communication channel with a designated web server or a web server indicated by a user input, and obtain at least one image provided by the web server as a query image.

405 단계에서, 사용자 단말(100)은 쿼리 이미지를 서비스 장치(200)에 제공할 수 있다. 예를 들어, 상기 사용자 단말(100)은 무선 이동통신 채널 또는 무선 통신 채널을 기반으로 상기 쿼리 이미지를 상기 서비스 장치(200)에 전송할 수 있다. 이 동작에서, 상기 사용자 단말(100)은 상기 쿼리 이미지를 압축한 후 전송할 수 있다. 또는, 상기 사용자 단말(100)은 상기 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 추출된 객체 정보만을 상기 서비스 장치(200)에 전송할 수 있다. 또는, 상기 사용자 단말(100)은 쿼리 이미지에서 복수개의 객체들이 검출되는 경우, 적어도 하나의 객체를 선택할 수 있는 화면을 제공하고, 사용자 입력에 대응하여 선택된 객체 정보를 서비스 장치(200)에 전송할 수도 있다. In operation 405, the user terminal 100 may provide a query image to the service apparatus 200. For example, the user terminal 100 may transmit the query image to the service device 200 based on a wireless mobile communication channel or a wireless communication channel. In this operation, the user terminal 100 may compress and transmit the query image. Alternatively, the user terminal 100 may extract at least one object included in the query image, and transmit only the extracted object information to the service device 200. Alternatively, when a plurality of objects are detected in the query image, the user terminal 100 may provide a screen for selecting at least one object and transmit the object information selected in response to a user input to the service device 200. have.

407 단계에서, 서비스 장치(200)는 속성 추출 작업을 수행할 수 있다. 예를 들어, 상기 서비스 장치(200)는 수신된 쿼리 이미지를 분석하여 특정 상품과 관련한 적어도 하나의 객체를 추출할 수 있다. 적어도 하나의 객체가 추출되면, 서비스 장치(200)는 추출된 객체의 속성 정보를 추출할 수 있다. 예컨대, 상기 서비스 장치(200)는 상기 객체의 크기(예: 전체 크기 또는 부분 크기), 색상, 재질 등을 속성 정보로서 추출할 수 있다. 상기 서비스 장치(200)는 추출된 속성 정보를 기반으로 변환된 쿼리 이미지를 생성할 수 있다. 상기 변환된 쿼리 이미지는 상기 속성 정보를 사용자 입력에 대응하여 조정할 수 있는 이미지를 포함할 수 있다. 예컨대, 부분 크기 속성 정보는 객체의 일정 부분들의 크기나 길이 등을 사용자 입력에 따라 조정할 수 있는 항목이 될 수 있다.In operation 407, the service device 200 may perform an attribute extraction task. For example, the service device 200 may extract at least one object related to a specific product by analyzing the received query image. When at least one object is extracted, the service device 200 may extract attribute information of the extracted object. For example, the service device 200 may extract the size (eg, full size or partial size), color, material, etc. of the object as attribute information. The service device 200 may generate a converted query image based on the extracted attribute information. The converted query image may include an image for adjusting the attribute information in response to a user input. For example, the partial size attribute information may be an item that can adjust the size or length of certain portions of the object according to a user input.

409 단계에서, 상기 서비스 장치(200)는 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 서비스 장치(200)는 변환된 쿼리 이미지를 압축하여 사용자 단말(100)에 제공할 수 있다. 또는, 상기 서비스 장치(200)는 쿼리 이미지와, 속성 정보(또는 속성의 종류 정보) 및 상기 속성 정보의 적어도 일부를 변경하도록 설정되는 설정 값들을 사용자 단말(100)에 제공할 수 있다. 변환된 쿼리 이미지는 사용자 단말(100)이 디스플레이(130)를 통해 출력될 수 있다. In operation 409, the service device 200 may provide the converted query image to the user terminal 100. In this operation, the service device 200 may compress the converted query image and provide the converted query image to the user terminal 100. Alternatively, the service apparatus 200 may provide the user terminal 100 with a query image, attribute information (or attribute type information) and setting values set to change at least a portion of the attribute information. The converted query image may be output by the user terminal 100 through the display 130.

411 단계에서, 상기 사용자 단말(100)은 속성 조정을 수행할 수 있다. 예컨대, 변환된 쿼리 이미지가 디스플레이(130)에 출력된 후, 속성 조정과 관련한 사용자 입력이 수신되면, 사용자 단말(100)은 상기 사용자 입력에 대응하여 속성 조정을 수행할 수 있다. 예를 들어, 사용자 단말(100)은 조정 요청에 따라 상품의 적어도 일부 색상을 변경하거나, 상품의 적어도 일부 재질을 변경하거나, 상품의 적어도 일부 크기 또는 길이를 변경할 수 있다. In operation 411, the user terminal 100 may perform attribute adjustment. For example, after the converted query image is output to the display 130, when a user input related to attribute adjustment is received, the user terminal 100 may perform attribute adjustment in response to the user input. For example, the user terminal 100 may change at least some color of the goods, at least some materials of the goods, or at least some sizes or lengths of the goods according to the adjustment request.

413 단계에서, 사용자 단말(100)은 속성 조정된 쿼리 이미지를 서비스 장치(200)에 제공할 수 있다. 또는, 상기 사용자 단말(100)은 사용자 입력에 따른 속성 조정 값을 획득하고, 상기 속성 조정 값 및 변환된 쿼리 이미지의 식별 정보를 서비스 장치(200)에 전달할 수 있다. 서비스 장치(200)는 사용자 단말(100)로부터 변환된 쿼리 이미지 식별 정보에 대응하는 변환된 쿼리 이미지를 획득하고, 속성 조정 값을 상기 변환된 쿼리 이미지에 적용하여 속성 조정된 쿼리 이미지를 생성할 수 있다. 이와 관련하여, 상기 서비스 장치(200)는 변환된 쿼리 이미지를 사용자 단말(100)에 제공한 이후 데이터베이스(240)에 변환된 쿼리 이미지에 대응하는 식별 정보와 함께 저장 관리할 수 있다. 상술한 동작을 통하여 상기 서비스 장치(200)는 사용자 단말(100) 간에 송수신되는 데이터 양을 줄일 수 있다. In operation 413, the user terminal 100 may provide the service apparatus 200 with the attribute adjusted query image. Alternatively, the user terminal 100 may obtain an attribute adjustment value according to a user input and transmit the attribute adjustment value and identification information of the converted query image to the service apparatus 200. The service apparatus 200 may obtain the converted query image corresponding to the converted query image identification information from the user terminal 100, and generate an attribute adjusted query image by applying an attribute adjustment value to the converted query image. have. In this regard, the service device 200 may provide the converted query image to the user terminal 100 and then store and manage the identification image corresponding to the converted query image in the database 240. Through the above-described operation, the service device 200 may reduce the amount of data transmitted and received between the user terminal 100.

415 단계에서, 서비스 장치(200)는 속성 조정된 쿼리 이미지를 기반으로 검색(예: 이미지 검색)을 수행할 수 있다. 이 동작에서, 서비스 장치(200)는 속성 조정된 쿼리 이미지 내에 포함된 적어도 하나의 상품의 특징점들을 추출할 수 있다. 서비스 장치(200)는 추출된 상품의 특징점들과 매칭되는 상품 관련 이미지를 검출할 수 있다.In operation 415, the service device 200 may perform a search (eg, an image search) based on the property adjusted query image. In this operation, the service device 200 may extract feature points of at least one product included in the attribute-adjusted query image. The service device 200 may detect a product related image that matches the feature points of the extracted product.

417 단계에서, 서비스 장치(200)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상기 서비스 장치(200)는 복수의 검색 결과가 획득되면, 복수의 검색 결과 중 일부 검색 결과를 사용자 단말(100)에 제공하고, 사용자 단말(100)의 요청에 대응하여 나머지 검색 결과를 사용자 단말(100)에 제공할 수 있다. 또는, 상기 서비스 장치(200)는 검색 결과에 대응하는 리스트 정보를 생성하여 사용자 단말(100)에 제공하고, 사용자 단말(100)로부터 선택된 상품 아이템과 관련한 정보가 수신되면, 대응된 검색 결과를 사용자 단말(100)에 제공할 수도 있다.In operation 417, the service device 200 may provide a search result to the user terminal 100. When a plurality of search results are obtained, the service device 200 provides some search results of the plurality of search results to the user terminal 100, and provides the remaining search results to the user terminal in response to a request of the user terminal 100. 100). Alternatively, the service device 200 generates list information corresponding to a search result and provides the list information to the user terminal 100. When the information related to the selected product item is received from the user terminal 100, the service device 200 provides the corresponding search result to the user. It may be provided to the terminal 100.

419 단계에서, 사용자 단말(100)은 서비스 장치(200)가 제공한 검색 결과를 출력할 수 있다. 상기 사용자 단말(100)은 디스플레이(130)에 특정 검색 결과를 전체 화면으로 출력할 수 있다. 또는, 상기 사용자 단말(100)은 디스플레이(130)에 검색 결과에 대응하는 리스트 정보를 출력하거나 또는 검색 결과에 대응하는 멀티 썸네일 화면을 출력하고, 사용자 입력에 대응하여 선택된 검색 결과를 전체 화면으로 출력할 수 있다. In operation 419, the user terminal 100 may output a search result provided by the service device 200. The user terminal 100 may output a specific search result in full screen on the display 130. Alternatively, the user terminal 100 outputs list information corresponding to a search result or a multi thumbnail screen corresponding to a search result on the display 130, and outputs a search result selected in response to a user input on a full screen. can do.

도 5는 본 발명의 실시 예에 따른 사용자 단말의 운용 방법의 일 예를 나타낸 도면이다.5 is a view showing an example of a method of operating a user terminal according to an embodiment of the present invention.

도 5를 참조하면, 일 실시 예에 따른 사용자 단말의 운용과 관련하여, 501 단계에서, 사용자 단말(100)의 프로세서(150)는 사용자 입력에 따라 또는 기 설정된 스케줄링에 따라 이미지 검색 기능 예컨대, 이미지 검색 기능을 실행할 수 있다. 예를 들어, 프로세서(150)는 사용자 단말(100)이 지원하는 적어도 하나의 사용자 기능 실행과 관련한 아이콘들 또는 메뉴 항목들을 디스플레이(130)에 출력할 수 있다. 프로세서(150)는 이미지 검색 기능과 관련한 아이콘을 선택하는 사용자 입력 수신 시, 해당 프로그램을 실행할 수 있다. 이미지 검색 기능 실행 시, 프로세서(150)는 통신 회로(110)를 통하여 서비스 장치(200)에 접속하고, 서비스 장치(200)로부터 이미지 검색과 관련한 가상 페이지를 수신하여 출력할 수 있다. 상기 가상 페이지는 예컨대, 이미지 검색과 관련하여 쿼리 이미지 획득을 요청하는 화면을 포함할 수 있다. Referring to FIG. 5, in relation to operation of a user terminal according to an exemplary embodiment, in operation 501, the processor 150 of the user terminal 100 may perform an image search function such as an image according to a user input or a preset scheduling. You can run the search function. For example, the processor 150 may output icons or menu items related to at least one user function execution supported by the user terminal 100 to the display 130. The processor 150 may execute a corresponding program when a user input for selecting an icon related to an image search function is received. When the image search function is executed, the processor 150 may access the service device 200 through the communication circuit 110, and receive and output a virtual page related to the image search from the service device 200. The virtual page may include, for example, a screen for requesting a query image acquisition in relation to an image search.

이 동작에서, 상기 사용자 단말(100)은 쿼리 이미지 획득과 관련하여 자동으로 카메라(190)를 활성화할 수도 있다. 상기 사용자 단말(100)은 카메라(190) 활성화에 대응하여 프리뷰 화면을 디스플레이(130)에 출력할 수 있다. 이에 따라, 이미지 검색 기능 실행을 요청하는 아이콘 선택 또는 런처 실행 시, 사용자 단말(100)은 자동으로 카메라(190)를 활성화하여 특정 피사체의 이미지를 획득할 수 있는 상태를 제공할 수 있다. 또는, 사용자 단말(100)은 메모리(140)에 저장된 적어도 하나의 이미지를 선택할 수 있도록, 이미지들이 저장된 적어도 하나의 폴더 또는 지정된 폴더, 이미지 검색 기능과 관련하여 직전에 선택된 이미지가 저장된 폴더 등을 디스플레이(130)에 출력할 수 있다. 또는, 사용자 단말(100)은 이미지 검색 관련 기능이 실행되면, 쿼리 이미지를 선택할 수 있는 지정된 외부 전자 장치(또는 웹 서버)와 통신 채널을 형성하고, 해당 서버 장치가 제공하는 쿼리 이미지 검색 화면을 디스플레이(130)에 출력할 수도 있다. In this operation, the user terminal 100 may automatically activate the camera 190 in connection with the query image acquisition. The user terminal 100 may output a preview screen to the display 130 in response to activation of the camera 190. Accordingly, when the user selects the icon or requests the launcher to execute the image search function, the user terminal 100 may automatically activate the camera 190 to provide a state in which an image of a specific subject may be acquired. Alternatively, the user terminal 100 displays at least one folder in which the images are stored or a designated folder, a folder in which the image immediately selected in relation to the image search function is stored, and the like so as to select at least one image stored in the memory 140. And output to 130. Alternatively, when the image search related function is executed, the user terminal 100 forms a communication channel with a designated external electronic device (or web server) capable of selecting a query image, and displays a query image search screen provided by the server device. It may output to 130.

503 단계에서, 프로세서(150)는 쿼리 이미지들을 획득할 수 있다. 예를 들어, 프로세서(150)는 사용자 단말(100)의 입력 장치(120)를 통하여 특정 쿼리 이미지를 선택하는 사용자 입력을 수신할 수 있다. 또는, 사용자 단말(100)은 카메라(190)를 통한 영상 촬영, 메모리(140)에 저장된 이미지 선택, 외부 전자 장치가 제공하는 이미지 선택 등을 통해 쿼리 이미지를 획득할 수 있다. In operation 503, the processor 150 may obtain query images. For example, the processor 150 may receive a user input for selecting a specific query image through the input device 120 of the user terminal 100. Alternatively, the user terminal 100 may obtain a query image by capturing an image through the camera 190, selecting an image stored in the memory 140, and selecting an image provided by an external electronic device.

505 단계에서, 프로세서(150)는 선택된 쿼리 이미지를 서비스 장치(200)에 전송할지 여부를 확인할 수 있다. 예컨대, 프로세서(150)는 쿼리 이미지 전송을 요청할 수 있는 가상 키 버튼을 디스플레이(130)에 출력하고, 해당 가상 키 버튼 선택을 위한 사용자 입력이 발생하는지 확인할 수 있다. 또는, 프로세서(150)는 마이크 입력을 통해 쿼리 이미지 전송을 요청하는 사용자 음성이 수집되면, 이에 대응하여 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. 상기 프로세서(150)는 상기 쿼리 이미지 전송에 대응하여 상기 서비스 장치(200)로부터 쿼리 이미지의 정상 수신에 대응하는 응답 메시지를 수신할 수 있다. In operation 505, the processor 150 may determine whether to transmit the selected query image to the service device 200. For example, the processor 150 may output a virtual key button for requesting the transmission of a query image to the display 130 and check whether a user input for selecting the corresponding virtual key button occurs. Alternatively, when the user's voice requesting the transmission of the query image is collected through the microphone input, the processor 150 may transmit the query image to the service apparatus 200 in response thereto. The processor 150 may receive a response message corresponding to the normal reception of the query image from the service device 200 in response to the query image transmission.

507 단계에서, 프로세서(150)는 변환된 쿼리 이미지를 서비스 장치(200)로부터 수신하고, 이를 출력할 수 있다. 상기 변환된 쿼리 이미지는 적어도 일부 영역의 색상, 재질, 크기, 모양 등의 속성을 변경할 수 있는 이미지를 포함할 수 있다. 상기 프로세서(150)는 변환된 쿼리 이미지를 디스플레이(130)에 출력하면서, 사용자 입력에 대응하여 쿼리 이미지의 적어도 일부 속성을 변경할 수 있음을 안내하는 안내 정보를 상기 디스플레이(130) 또는 음성 등으로 출력할 수 있다. 적어도 일부 영역의 조정과 관련한 속성 정보는 변환된 쿼리 이미지 내 지정된 위치에 배치될 수 있다. In operation 507, the processor 150 may receive the converted query image from the service device 200 and output the converted query image. The converted query image may include an image capable of changing attributes such as color, material, size, and shape of at least some areas. The processor 150 outputs the converted query image to the display 130 and outputs, to the display 130 or the voice, guide information guiding that at least some attributes of the query image can be changed in response to a user input. can do. Attribute information relating to adjustment of at least some regions may be placed at a specified position in the converted query image.

509 단계에서, 프로세서(150)는 변환된 쿼리 이미지의 속성의 조정을 완료하는지 여부를 확인할 수 있다. 예컨대, 프로세서(150)는 변환된 쿼리 이미지 내의 속성 조정을 위한 사용자 입력이 수신되는지 확인할 수 있다. 사용자는 터치스크린 등을 이용하여 변환된 쿼리 이미지 내 속성 정보 중 적어도 일부를 조정하는 터치 입력을 수행할 수 있다. 상기 속성의 조정 완료와 관련하여, 프로세서(150)는 속성 조정 완료를 입력할 수 있는 가상 키 버튼을 상기 변환된 쿼리 이미지가 표시된 디스플레이(130)에 함께 출력할 수 있다. In operation 509, the processor 150 may determine whether the adjustment of the attributes of the converted query image is completed. For example, the processor 150 may check whether a user input for adjusting attributes in the converted query image is received. The user may perform a touch input for adjusting at least some of the attribute information in the converted query image by using a touch screen or the like. In relation to the completion of the adjustment of the attribute, the processor 150 may output a virtual key button for inputting the completion of the adjustment of the attribute to the display 130 on which the converted query image is displayed.

변환된 쿼리 이미지의 속성 조정 완료를 위한 사용자 입력이 수신되면, 511 단계에서, 프로세서(150)는 속성 조정된 쿼리 이미지 전송을 수행할 수 있다. 상기 속성 조정된 쿼리 이미지는 이미지 검색 관련 기능을 제공하는 서버에 제공될 수 있다. When a user input for completing attribute adjustment of the converted query image is received, the processor 150 may perform attribute adjusted query image transmission in operation 511. The attribute-adjusted query image may be provided to a server that provides an image search related function.

추가적으로, 상기 프로세서(150)는 속성 가중치 조정을 위한 사용자 입력이 수신되는지 확인할 수 있다. 이와 관련하여, 상기 프로세서(150)는 속성 가중치 조정이 가능한 화면을 디스플레이(130)에 출력하고, 사용자 입력에 대응하여 속성 가중치가 조정되면 그에 대응하는 설정 값을 획득할 수 있다. 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하는 동안에 상기 속성 가중치 설정 값을 함께 서비스 장치(200)에 제공할 수도 있다. 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하면서 지정된 이미지 검색 결과를 요청하는 요청 메시지를 함께 전송할 수 있다.In addition, the processor 150 may check whether a user input for adjusting the attribute weight is received. In relation to this, the processor 150 may output a screen on which the attribute weight can be adjusted to the display 130, and acquire a setting value corresponding to the attribute weight when the attribute weight is adjusted in response to a user input. The processor 150 may provide the attribute weight setting value to the service apparatus 200 while transmitting the attribute adjusted query image to the service apparatus 200. The processor 150 may transmit a request message for requesting a designated image search result while transmitting the attribute-adjusted query image to the service device 200.

513 단계에서, 프로세서(150)는 서비스 장치(200)로부터 검색 결과를 수신할 수 있다. 상기 프로세서(150)는 네트워크 상태에 따라 상기 서비스 장치(200)로부터 검색 결과 전체를 한번에 수신하거나 또는 일부 검색 결과만을 수신할 수 있다. 예컨대, 프로세서(150)는 네트워크 상태가 원활한 경우, 상기 서비스 장치(200)로부터 검색 결과 전체를 수신하고, 네트워크 상태가 지정된 기준 값 이하인 경우 일부 검색 결과만을 수신할 수 있다. 또는, 상기 프로세서(150)는 네트워크 상태가 기준 값 이하인 경우 서비스 장치(200)로부터 검색 결과에 대응하는 리스트 정보를 수신하고, 사용자 입력에 의해 선택된 검색 결과를 서비스 장치(200)에 요청할 수도 있다. In operation 513, the processor 150 may receive a search result from the service device 200. The processor 150 may receive all of the search results from the service apparatus 200 at once or only some of the search results according to the network condition. For example, the processor 150 may receive the entire search result from the service device 200 when the network state is smooth, and receive only a partial search result when the network state is less than or equal to a specified reference value. Alternatively, when the network state is less than or equal to the reference value, the processor 150 may receive list information corresponding to the search result from the service device 200 and request the service device 200 for the search result selected by the user input.

515 단계에서, 프로세서(150)는 수신된 검색 결과를 출력할 수 있다. 상기 프로세서(150)는 수신된 검색 결과를 디스플레이(130) 전체 화면을 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 수신된 검색 결과와 속성 조정된 쿼리 이미지를 한 화면에 출력할 수 있다. In operation 515, the processor 150 may output the received search result. The processor 150 may output the entire screen of the display 130 on the received search result. Alternatively, the processor 150 may output the received search result and the property adjusted query image on one screen.

517 단계에서, 프로세서(150)는 이미지 검색 관련 기능의 종료를 위한 이벤트가 발생하는지 확인할 수 있다. 이미지 검색 관련 기능을 종료시키기 위한 이벤트 발생이 없는 경우, 이전 동작에 대응하여 503 단계 또는, 507 단계 또는 515 단계 이전으로 분기할 수 있다. 예컨대, 프로세서(150)는 검색 결과를 출력한 이후 종료 여부를 확인하고, 별도 종료 이벤트가 발생하지 않으면, 검색 결과 출력 상태를 유지할 수 있다. 또는, 프로세서(150)는 509 단계에서 속성 조정 완료가 아닌 경우, 이미지 검색 기능 종료 여부에 따라, 507 이전 단계로 분기하여 변환된 쿼리 이미지 출력 상태를 유지할 수 있다. 또는, 프로세서(150)는 505 단계에서 쿼리 이미지 전송을 지시하는 입력 신호가 발생하지 않으면, 이미지 검색 기능 종료 여부에 따라, 503 단계에서 쿼리 이미지 획득 상태를 유지할 수 있다. In operation 517, the processor 150 may determine whether an event for terminating the image search related function occurs. If there is no event for ending the image search related function, the process may branch to step 503 or step 507 or 515 in response to the previous operation. For example, the processor 150 may check whether the terminal is terminated after outputting the search result and may maintain the search result output state unless a separate end event occurs. Alternatively, when the attribute adjustment is not completed in step 509, the processor 150 may branch to the previous step 507 to maintain the converted query image output state according to whether the image search function is terminated. Alternatively, if the input signal indicating the query image transmission does not occur in step 505, the processor 150 may maintain the query image acquisition state in step 503 according to whether the image search function is terminated.

도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다. 6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시 예에 따른 서비스 장치의 운용 방법은, 601 단계에서, 서비스 장치(200)는 이미지 검색 기능 예컨대, 이미지 검색 기능 실행 요청을 수신할 수 있다. 이와 관련하여, 서비스 장치(200)는 네트워크(50)을 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)로부터 이미지 검색 기능 실행과 관련한 기능 지원 요청을 수신할 수 있다. 상기 서비스 장치(200)는 사용자 단말(100)로부터 이미지 검색 기능 실행 요청을 수신하면, 이미지 검색 관련 가상 페이지를 사용자 단말(100)에 제공할 수 있다. Referring to FIG. 6, in operation 601, the service apparatus 200 may receive an image search function, for example, an image search function execution request. In this regard, the service device 200 may establish a communication channel with the user terminal 100 through the network 50, and receive a function support request for executing an image search function from the user terminal 100. When the service apparatus 200 receives an image search function execution request from the user terminal 100, the service device 200 may provide an image search related virtual page to the user terminal 100.

603 단계에서, 서비스 장치(200)의 서버 프로세서(250)는 쿼리 이미지 수신 여부를 확인할 수 있다. 상기 쿼리 이미지는 적어도 하나의 상품과 관련한 객체가 포함된 이미지일 수 있다. 상기 쿼리 이미지는 사용자 단말(100)의 카메라에 의해 획득되어 제공된 이미지를 포함할 수 있다. 또는, 상기 쿼리 이미지는 상기 서비스 장치(200)가 제공하는 다양한 이미지 중 사용자 입력에 대응하여 선택된 이미지를 포함할 수 있다. 또는, 상기 쿼리 이미지는 상기 사용자 단말(100)이 다른 외부 전자 장치 또는 서버 장치로부터 수신한 이미지를 포함할 수 있다. In operation 603, the server processor 250 of the service apparatus 200 may determine whether a query image is received. The query image may be an image including an object related to at least one product. The query image may include an image obtained and provided by a camera of the user terminal 100. Alternatively, the query image may include an image selected in response to a user input among various images provided by the service device 200. Alternatively, the query image may include an image received by the user terminal 100 from another external electronic device or server device.

603 단계에서, 서버 프로세서(250)는 별도의 쿼리 이미지 수신이 없는 경우, 605 단계에서 지정된 스케줄링에 따라 해당 기능 수행을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 이미지 검색 관련 이미지들을 수집하고, 특징점들을 기준으로 분류 및 저장을 처리할 수 있다. 서버 프로세서(250)는 쿼리 이미지 수신이 지정된 시간 동안 수행되지 않는 경우, 자동으로 이미지 검색 관련 기능을 종료시킬 수도 있다. 이 경우, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다.In operation 603, when there is no separate query image reception, the server processor 250 may process a corresponding function according to the scheduling specified in operation 605. For example, the server processor 250 may collect image search-related images and process classification and storage based on feature points. The server processor 250 may automatically terminate the image search related function when the query image reception is not performed for a specified time. In this case, the server processor 250 may release the communication channel with the user terminal 100.

쿼리 이미지가 수신되면, 607 단계에서, 서버 프로세서(250)는 속성 추출을 수행할 수 있다. 이와 관련하여, 서버 프로세서(250)는 쿼리 이미지에 포함된 객체를 검출하고, 상기 객체가 어떠한 종류인지 확인할 수 있다. 예컨대, 상기 서버 프로세서(250)는 상기 객체가 옷이나, 신발, 모자, 가방, 액세서리, 악기, 전자 기기, 취미 생활 동구 등인지 확인할 수 있다. 상기 서버 프로세서(250)는 객체의 카테고리에 따라 추출한 속성의 종류를 다르게 할 수 있다. 예컨대, 서버 프로세서(250)는 신발의 경우, 색 속성, 재질 속성, 굽 높이 속성, 발목 길이 속성 등을 추출할 수 있다. 상기 서버 프로세서(250)는 가방의 경우, 색 속성, 재질 속성, 모양 특성 등을 추출할 수 있다. 상기 서버 프로세서(250)는 액세서리인 경우, 색 속성 및 재질 속성 등을 추출할 수 있다. 이와 관련하여, 상기 서비스 장치(200)는 각 상품의 카테고리별로 추출한 속성의 종류를 정의한 속성 정리 테이블을 메모리에 저장 관리할 수 있다. 상기 서버 프로세서(250)는 추출된 속성 정보들을 기반으로 상기 쿼리 이미지를 변환된 쿼리 이미지로 변경할 수 있다. 상기 변환된 쿼리 이미지는 상기 추출된 속성의 적어도 일부를 변경할 수 있도록 마련된 이미지를 포함할 수 있다.When the query image is received, the server processor 250 may perform attribute extraction in step 607. In this regard, the server processor 250 may detect an object included in the query image, and determine what kind of object the object is. For example, the server processor 250 may determine whether the object is clothes, shoes, a hat, a bag, an accessory, an instrument, an electronic device, a hobby, or the like. The server processor 250 may change the type of the extracted attribute according to the category of the object. For example, in the case of shoes, the server processor 250 may extract color attributes, material attributes, heel height attributes, ankle length attributes, and the like. In the case of a bag, the server processor 250 may extract color attributes, material attributes, shape attributes, and the like. In the case of an accessory, the server processor 250 may extract color attributes and material attributes. In relation to this, the service device 200 may store and manage an attribute cleanup table that defines types of attributes extracted for each product category in a memory. The server processor 250 may change the query image into the converted query image based on the extracted attribute information. The converted query image may include an image provided to change at least a part of the extracted attribute.

609 단계에서, 서버 프로세서(250)는 변환된 쿼리 이미지를 사용자 단말(100)에 전송할 수 있다. 상기 서버 프로세서(250)는 변환된 쿼리 이미지를 사용자 단말(100)에 제공한 이후, 사용자 단말(100)로부터 추가 속성 정보를 수신할 수 있다. 예컨대, 색 속성 및 재질 속성 조정이 가능한 변환된 쿼리 이미지를 사용자 단말(100)에 제공한 이후, 사용자 단말(100)로부터 “크기” 속성 추가 요청을 수신하면, 서버 프로세서(250)는 사용자 요청에 따라 크기 조정 속성을 적용한 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 사용자가 객체의 특정 부위를 지정하고 “크기” 속성 추가를 요청하는 경우, 서버 프로세서(250)는 색 속성 및 재질 속성과 함께, 사용자가 선택된 객체의 특정 부위의 크기를 변경할 수 있는 변환된 쿼리 이미지를 사용자 단말(100)에 제공할 수 있다. In operation 609, the server processor 250 may transmit the converted query image to the user terminal 100. The server processor 250 may receive additional attribute information from the user terminal 100 after providing the converted query image to the user terminal 100. For example, after providing the user terminal 100 with the converted query image capable of adjusting color and material properties, and receiving a request for adding a “size” attribute from the user terminal 100, the server processor 250 may request a user request. Accordingly, the converted query image to which the scaling attribute is applied may be provided to the user terminal 100. In this operation, when a user specifies a specific portion of an object and requests the addition of a “size” attribute, the server processor 250 may change the size of the specific portion of the selected object, along with color and material attributes. The converted query image may be provided to the user terminal 100.

611 단계에서, 서버 프로세서(250)는 속성 조정된 쿼리 이미지 수신 여부를 확인할 수 있다. 예컨대, 사용자 단말(100)은 속성 조정이 완료되면, 속성 조정 완료를 위한 사용자 입력을 수신할 수 있다. 이 경우, 상기 서버 프로세서(250)는 속성 조정 완료에 대응하여 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신할 수 있다. 다른 예시로, 상기 서버 프로세서(250)는 사용자 단말(100)로부터 속성 조정 값 및 변환된 쿼리 이미지(또는 변환된 쿼리 이미지를 지시하는 식별 정보)를 수신할 수 있다. In operation 611, the server processor 250 may determine whether a property adjusted query image is received. For example, when the attribute adjustment is completed, the user terminal 100 may receive a user input for completing the attribute adjustment. In this case, the server processor 250 may receive an attribute adjusted query image from the user terminal 100 in response to completion of the attribute adjustment. As another example, the server processor 250 may receive an attribute adjustment value and a converted query image (or identification information indicating the converted query image) from the user terminal 100.

사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신하는 경우, 613 단계에서, 서버 프로세서(250)는 검색 및 결과를 제공할 수 있다. 예컨대, 상기 서버 프로세서(250)는 데이터베이스(240)에 저장된 상품 관련 이미지들과 상기 속성 조정된 쿼리 이미지와의 매칭율이 일정 비율 이상인 상품 관련 이미지들을 검색 결과로서 획득할 수 있다. 추가적으로, 속성별 가중치가 설정된 경우, 상기 서버 프로세서(250)는 가중치가 상대적으로 높은 속성과 관련한 검색 결과들을 우선적으로 사용자 단말(100)에 제공하고, 사용자 단말(100)의 요청에 따라 나머지 검색 결과를 제공할 수 있다. 또는, 서버 프로세서(250)는 속성 리스트를 사용자 단말(100)에 제공하고, 사용자가 선택한 속성별로, 해당 속성과 관련한 검색 결과들을 사용자 단말(100)에 제공할 수도 있다.When receiving the attribute-adjusted query image from the user terminal 100, in operation 613, the server processor 250 may provide a search and a result. For example, the server processor 250 may obtain, as a search result, product-related images having a matching ratio of a product-related image stored in the database 240 and the attribute adjusted query image more than a certain ratio. In addition, when the weight for each attribute is set, the server processor 250 preferentially provides the search results related to the attribute having a relatively high weight to the user terminal 100, and the rest of the search results at the request of the user terminal 100. Can be provided. Alternatively, the server processor 250 may provide the attribute list to the user terminal 100, and provide the user terminal 100 with search results related to the attribute for each attribute selected by the user.

615 단계에서, 서버 프로세서(250)는 이미지 검색 기능의 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 기능 종료와 관련한 이벤트가 발생하면, 서버 프로세서(250)는 이미지 검색 기능을 종료할 수 있다. 이와 관련하여, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다. 기능 종료와 관련한 이벤트 발생이 없는 경우, 서버 프로세서(250)는 직전 수행된 상태에 따라 603 단계 이전, 613 단계 이전 등으로 분기할 수 있다. 예컨대, 서버 프로세서(250)는 쿼리 이미지 수신이 없는 상태에서 해당 기능을 수행하다가, 615 단계에서의 기능 종료 발생이 없는 경우 603 이전으로 분기하여 쿼리 이미지 수신이 발생하는지 지속적으로 모니터링을 수행할 수 있다. 또는, 검색 결과 제공 이후 기능 종료 이벤트 발생이 없고, 사용자 단말(100)로부터 검색 및 결과를 재요청받는 경우, 613 단계에서 검색 및 결과 제공을 수행할 수 있다. In operation 615, the server processor 250 may check whether an event relating to the termination of the image search function occurs. When an event related to the termination of the function occurs, the server processor 250 may terminate the image search function. In this regard, the server processor 250 may release a communication channel with the user terminal 100. If there is no event related to the termination of the function, the server processor 250 may branch to step 603, before step 613, and the like according to the state immediately performed. For example, the server processor 250 may perform a corresponding function in a state where there is no query image reception, and if there is no function termination in step 615, the server processor 250 branches to 603 to continuously monitor whether query image reception occurs. . Or, if there is no function termination event after providing the search result, and if the search and the result is re-requested from the user terminal 100, the search and the result providing may be performed in step 613.

도 7은 본 발명의 실시 예에 따른 사용자 단말을 기반으로 제공되는 UI(User Interface)의 일 예를 나타낸 도면이다.7 is a diagram illustrating an example of a user interface (UI) provided based on a user terminal according to an exemplary embodiment of the present invention.

도 7을 참조하면, 사용자 단말(100)은 이미지 검색 기능 실행과 관련하여, 이미지 검색과 관련한 제1 가상 페이지(710)를 디스플레이에 출력할 수 있다. 상기 제1 가상 페이지(710)를 쿼리 이미지(701)의 적어도 일부를 표시할 수 있다. 예컨대, 제1 가상 페이지(710)는 쿼리 이미지(701)를 일정 크기로 디스플레이(130)에 출력하거나 또는 쿼리 이미지(701)에 포함된 상품 관련 객체를 디스플레이(130)에 출력할 수 있다. 상기 쿼리 이미지(701)는 사용자 단말(100)의 카메라(190)를 통해 획득될 수 있다. 도시된 도면의 상황을 고려하면, 사용자는 사용자 단말(100)을 이용하여 신발을 촬영하고, 촬영된 신발 이미지를 쿼리 이미지(701)로 적용할 수 있다. 도시된 도면에서는 “신발”을 촬영한 상황을 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 쿼리 이미지(701)는 모자, 옷, 가방, 지갑, 전자 기기, 악기, 식기, 액세서리 등 다양한 상품을 포함하는 이미지가 될 수 있다. Referring to FIG. 7, in response to executing an image search function, the user terminal 100 may output a first virtual page 710 related to image search to a display. The first virtual page 710 may display at least a portion of the query image 701. For example, the first virtual page 710 may output the query image 701 to the display 130 at a predetermined size or may output a product related object included in the query image 701 to the display 130. The query image 701 may be obtained through the camera 190 of the user terminal 100. In consideration of the situation of the illustrated figure, the user may photograph shoes using the user terminal 100 and apply the photographed shoe image as the query image 701. Although the illustrated figure illustrates a situation in which “shoes” are photographed, the present invention is not limited thereto. For example, the query image 701 may be an image including various goods such as a hat, clothes, a bag, a wallet, an electronic device, an instrument, a tableware, and an accessory.

상기 이미지 검색 관련 제1 가상 페이지(710)는 예컨대, 일반 검색 항목(711) 및 속성 검색 항목(712)을 출력할 수 있다. 일반 검색 항목(711)을 선택하는 경우, 사용자 단말(100)은 상기 쿼리 이미지(701)를 서비스 장치(200)에 전송하면서, 쿼리 이미지(701)에 대응하는 상품 관련 이미지를 제공하도록 요청할 수 있다. 상기 속성 검색 항목(712)이 선택되면, 상기 사용자 단말(100)은 쿼리 이미지(701) 및 쿼리 이미지(701)의 속성 조정을 요청하는 메시지를 서비스 장치(200)에 전송할 수 있다. The image search related first virtual page 710 may output, for example, a general search item 711 and an attribute search item 712. When the general search item 711 is selected, the user terminal 100 may request to provide a product related image corresponding to the query image 701 while transmitting the query image 701 to the service device 200. . When the property search item 712 is selected, the user terminal 100 may transmit a message requesting property adjustment of the query image 701 and the query image 701 to the service device 200.

속성 검색 항목(712) 선택에 대응하여, 사용자 단말(100)은 서비스 장치(200)로부터 속성 조정이 가능한 변환된 쿼리 이미지를 수신할 수 있다. 상기 사용자 단말(100)은 변환된 쿼리 이미지 수신 시, 상기 변환된 쿼리 이미지(702)를 포함하는 제2 가상 페이지(720)를 디스플레이(130)에 출력할 수 있다. 또한, 상기 제2 가상 페이지(720)는 속성 조정 객체들(721, 722, 723)을 출력할 수 있다. 상기 속성 조정 객체들(721, 722, 723)은 예컨대, 신발의 색상 조정과 관련한 색상 속성 조정 객체(722), 신발의 굽 크기 조정과 관련한 크기 속성 조정 객체(721), 신발의 재질 조정과 관련한 재질 속성 조정 객체(723)를 포함할 수 있다. In response to the selection of the attribute search item 712, the user terminal 100 may receive a converted query image that is capable of adjusting attributes from the service device 200. When the converted query image is received, the user terminal 100 may output a second virtual page 720 including the converted query image 702 to the display 130. In addition, the second virtual page 720 may output attribute adjustment objects 721, 722, and 723. The attribute adjustment objects 721, 722, 723 are, for example, a color attribute adjustment object 722 related to shoe color adjustment, a size attribute adjustment object 721 related to shoe heel size adjustment, and a material adjustment of shoe material. The material property adjustment object 723 may be included.

상기 색상 속성 조정 객체(722)의 속성 값 변경과 관련한 입력(예: 터치 입력)이 발생하면, 사용자 단말(100)은 상기 변환된 쿼리 이미지(702)의 색상을 변경할 수 있다. 이와 관련하여, 색상 속성 조정 객체(722)는 다양한 색상을 선택할 수 있는 선택창을 포함할 수 있다. 또는, 색상 속성 조정 객체(722)는 특정 색상을 입력할 수 있는 입력창을 포함할 수 있다. When an input (eg, a touch input) related to the attribute value change of the color attribute adjustment object 722 occurs, the user terminal 100 may change the color of the converted query image 702. In this regard, the color attribute adjustment object 722 may include a selection window for selecting various colors. Alternatively, the color attribute adjustment object 722 may include an input window for inputting a specific color.

다른 예로서, 색상 속성 조정 객체(722)가 선택되면, 변환된 쿼리 이미지(702)의 적어도 일부(예컨대, 신발 객체의 적어도 일부)를 선택할 수 있는 선택 창이 출력될 수 있다. 이에 따라, 사용자는 신발의 부분 색상을 변경할 수 있다. 예를 들어, 사용자 단말(100)은 색상 속성 조정 객체(722)를 통한 속성 값 변경에 대응하여, 신발의 굽과 신발의 목 부분 색상을 서로 다르게 설정할 수 있다. 또는, 사용자 단말(100)은 색상 속성 조정 객체(722)를 통한 속성 값 변경에 대응하여, 신발의 밑바닥 색상과, 신발 안쪽 바닥의 색상, 신발 끈 등의 색상을 특정 색상으로 변경할 수 있다. 이러한 과정을 통하여, 사용자는 색상 속성 조정 객체(722)를 이용하여 동일 디자인의 다른 색상을 가지는 신발의 쿼리 이미지를 검색 전에 확인함으로써, 자신이 검색하고자 하는 쿼리 이미지에 보다 부합하는 이미지를 생성할 수 있다. As another example, when the color attribute adjustment object 722 is selected, a selection window for selecting at least a portion (eg, at least a portion of the shoe object) of the converted query image 702 may be output. Accordingly, the user can change the partial color of the shoe. For example, the user terminal 100 may differently set the color of the heel of the shoe and the neck of the shoe in response to the change of the attribute value through the color attribute adjustment object 722. Alternatively, the user terminal 100 may change the color of the bottom of the shoe, the color of the bottom of the shoe, the shoe laces, etc. to a specific color in response to the change of the property value through the color attribute adjusting object 722. Through this process, the user can check the query image of shoes having different colors of the same design using the color property adjustment object 722 before searching, thereby generating an image that more closely matches the query image that the user wants to search. have.

상술한 동작에서, 속성 값이 변경되면, 속성 값 변경에 대응하여, 사용자 단말(100)은 신발의 색상을 자체적으로 변경하여 출력할 수 있다. 또는, 사용자 단말(100)은 변경된 속성 값을 서비스 장치(200)에 전송하고, 변경된 속성 갓이 적용된 새 변환된 쿼리 이미지를 수신하여 출력할 수 있다. In the above-described operation, when the attribute value is changed, in response to the attribute value change, the user terminal 100 may change the shoe color by itself and output the same. Alternatively, the user terminal 100 may transmit the changed attribute value to the service device 200 and receive and output a new converted query image to which the changed attribute value is applied.

가중치 설정과 관련하여, 상기 제2 가상 페이지(720)는 속성별 가중치 설정을 위한 가중치 설정 객체들(731, 732, 733)을 출력할 수 있다. 예컨대, 가중치 설정 객체들(731, 732, 733)은 굽 속성의 가중치 설정과 관련한 제1 가중치 객체(731), 색상 속성의 가중치 설정과 관련한 제2 가중치 객체(732), 재질 속성의 가중치 설정과 관련한 제3 가중치 객체(733)를 포함할 수 있다. 상기 가중치 설정 객체들(731, 732, 733)은 사용자 입력에 대응하여 값이 변경될 수 있다. 사용자 단말(100)은 조정 완료와 관련한 가상 키 버튼(713)이 선택되면, 가중치 설정 객체들(731, 732, 733)이 지시하는 가중치 설정 값을 서비스 장치(200)에 전송할 수 있다.In relation to the weight setting, the second virtual page 720 may output weight setting objects 731, 732, and 733 for weight setting for each property. For example, the weight setting objects 731, 732, and 733 may include a first weight object 731 related to the weight setting of the heel property, a second weight object 732 related to the weight setting of the color property, and a weight setting of the material property. It may include an associated third weight object 733. Values of the weight setting objects 731, 732, and 733 may be changed in response to a user input. When the virtual key button 713 related to the adjustment completion is selected, the user terminal 100 may transmit a weight setting value indicated by the weight setting objects 731, 732, and 733 to the service device 200.

상기 제2 가상 페이지(720)는 속성 조정 완료와 관련한 가상 키 버튼 또는 속성 조정된 쿼리 이미지를 기반으로 이미지 검색을 요청하는 검색 요청과 관련한 가상 키 버튼(713)을 포함할 수 있다. 상기 가상 키 버튼(713) 선택과 관련한 입력이 발생하면, 사용자 단말(100)은 현재 디스플레이(130)에 출력되고 있는 변환된 쿼리 이미지(또는 변환된 쿼리 이미지의 식별 정보) 및 변경된 속성 값을 포함하는 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. The second virtual page 720 may include a virtual key button 713 associated with a search request for requesting an image search based on a property key adjusted for a virtual key button or completion of attribute adjustment. When an input relating to selection of the virtual key button 713 occurs, the user terminal 100 includes a converted query image (or identification information of the converted query image) and a changed attribute value currently being output on the display 130. The attribute-adjusted query image may be transmitted to the service device 200.

사용자 단말(100)은 서비스 장치(200)로부터 검색 결과를 수신하는 경우, 수신된 검색 결과를 상기 제2 가상 페이지(720)와 함께 출력할 수 있다. 예컨대, 사용자 단말(100)은 화면을 분할하고, 분할된 제1 화면에 변환된 쿼리 이미지를 포함하는 제2 가상 페이지(720)를 출력하고, 분할된 제2 화면에 검색 결과를 출력할 수 있다. 사용자 단말(100)은 제1 화면에 출력된 제2 가상 페이지(720)에서 속성 값 변경 또는 가중치 설정 값 변경과 관련한 사용자 입력 및 조정 완료와 관련한 가상 키 버튼(713) 선택을 위한 사용자 입력이 발생하면, 새로 변경된 속성 값들 및 변경된 가중치 설정 값들을 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 새로운 검색 결과를 수신하여 출력할 수 있다. 이에 따라, 사용자 단말(100)은 속성 값 변경을 통하여 사용자가 희망하는 검색용 이미지를 실시간으로 조정할 수 있도록 지원할 수 있으며, 가중치 설정 값 변경을 통하여 검색 결과의 우선 순위를 실시간으로 조정할 수 있다. 또는, 가중치 설정 값 변경을 통하여, 사용자 단말(100)은 검색하고자 하는 검색 결과 중 사용자가 중점으로 두는 부분을 포함하는 검색 결과들을 제공할 수 있다. 상술한 바와 같이, 본 발명의 이미지 검색 지원 방법 및 이를 지원하는 서비스 장치는 쿼리 이미지의 속성 값 변경 및 가중치 설정 값 변경을 통하여 이미지 검색용 쿼리 이미지 생성 또는 보정을 손쉽게 할 수 있도록 지원하며, 이로 인하여, 이미지 검색 시간을 효율적으로 단축시킬 수 있다.When the user terminal 100 receives a search result from the service device 200, the user terminal 100 may output the received search result together with the second virtual page 720. For example, the user terminal 100 may split a screen, output a second virtual page 720 including the converted query image on the split first screen, and output a search result on the split second screen. . In the second virtual page 720 displayed on the first screen, the user terminal 100 generates a user input for changing an attribute value or a weight setting value and a user input for selecting a virtual key button 713 for completing adjustment. Then, the newly changed attribute values and the changed weight setting values may be transmitted to the service apparatus 200, and received and outputted a new search result from the service apparatus 200. Accordingly, the user terminal 100 may support to adjust the search image desired by the user in real time by changing the attribute value, and adjust the priority of the search result in real time by changing the weight setting value. Alternatively, by changing the weight setting value, the user terminal 100 may provide search results including a portion of the search results to be searched by the user. As described above, the image search support method and the service apparatus supporting the same support the generation or correction of the query image for the image search easily by changing the attribute value and the weight setting value of the query image. Therefore, the image retrieval time can be shortened efficiently.

본 발명은 이미지 검색 분야에 적용되는 것으로서, 특히, 상품 이미지 검색에 관련된다.The present invention applies to the field of image retrieval and, in particular, relates to product image retrieval.

본 발명은 상품 이미지 검색에 있어서 사용자가 희망하는 검색용 상품 쿼리 이미지의 조정을 손쉽고 신속하게 할 수 있도록 지원함으로써, 보다 정확한 이미지 검색을 수행할 수 있도록 지원할 수 있다.The present invention can support the user to easily and quickly adjust the desired product query image for search in the product image search, it is possible to support a more accurate image search.

10: 서비스 시스템
50: 네트워크
100: 사용자 단말
110: 통신 회로
120: 입력 장치
130: 디스플레이
140: 메모리
150: 프로세서
190: 카메라
200: 서비스 장치
210: 서버 통신 회로
240: 데이터베이스
250: 서버 프로세서10: service system
50: network
100: user terminal
110: communication circuit
120: input device
130: display
140: memory
150: processor
190: camera
200: service device
210: server communication circuit
240: database
250: server processor

Claims

Server communication circuitry;
A server processor operatively connected to the server communication circuitry;
The server processor
Establish a communication channel with a user terminal based on the server communication circuit,
Receive a query image for image search from the user terminal,
Transmitting the converted query image to the user terminal to adjust at least some attributes of the query image,
When receiving the query image is adjusted at least one attribute from the user terminal,
Search for a related image based on the query image with the at least one attribute adjusted;
And the search result is transmitted to the user terminal.

The method of claim 1,
And the server processor extracts a plurality of adjustable attributes from the query image received from the user terminal, and transmits a virtual page including information on the extracted plurality of attributes to the user terminal.

The method of claim 2,
The server processor
Extracting at least one object included in the query image, selecting an object that satisfies a specified condition among the extracted objects, and extracting an attribute of the selected object;

The method of claim 3,
The server processor
And a service device configured to select an object of a specified size or more among objects included in the query image.

The method of claim 3,
The server processor
And selecting an object disposed at a specified position in the image among the objects included in the query image.

The method of claim 3,
The server processor
And provide a plurality of object information extracted from the query image to the user terminal, and select an object designated by a user input as an attribute extraction related object.

The method of claim 1,
The server processor
Receiving at least one attribute candidate information specified by a user input to convert at least a portion of a query image from the user terminal,
And generating a converted query image for adjusting an attribute corresponding to the attribute candidate information and transmitting the generated query image to the user terminal.

The method of claim 2,
The server processor
A virtual page including at least one of a color property related to a color change of at least one object included in the query image, a material property related to a material change of the object, and a size property related to changing at least a part of the size of the object; A service device, characterized in that configured to provide to the user terminal.

Establishing, by the service apparatus, a communication channel with the user terminal;
Receiving a query image for product related image search from the user terminal;
Transmitting the converted query image to the user terminal to adjust at least some attributes of the query image;
Receiving an attribute adjusted query image from the user terminal;
Searching for a product related image based on the attribute-adjusted query image;
And transmitting the search results to the user terminal.

The method of claim 9,
The transmitting step
Extracting, by the service apparatus, a plurality of adjustable attributes from the query image;
And transmitting a virtual page including information about the plurality of attributes to the user terminal.