KR20200024534A - Supporting Method for Searching of Goods and service device, and terminal device thereof - Google Patents

Supporting Method for Searching of Goods and service device, and terminal device thereof Download PDF

Info

Publication number
KR20200024534A
KR20200024534A KR1020180101341A KR20180101341A KR20200024534A KR 20200024534 A KR20200024534 A KR 20200024534A KR 1020180101341 A KR1020180101341 A KR 1020180101341A KR 20180101341 A KR20180101341 A KR 20180101341A KR 20200024534 A KR20200024534 A KR 20200024534A
Authority
KR
South Korea
Prior art keywords
attribute
query image
user terminal
image
search
Prior art date
Application number
KR1020180101341A
Other languages
Korean (ko)
Inventor
김기현
김하윤
Original Assignee
십일번가 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 십일번가 주식회사 filed Critical 십일번가 주식회사
Priority to KR1020180101341A priority Critical patent/KR20200024534A/en
Publication of KR20200024534A publication Critical patent/KR20200024534A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a product search method and a service device for supporting the same. The service device comprises: a server communication circuit; and a server processor functionally connected to the server communication circuit. The server processor can be set to form a communication channel with a user terminal based on the server communication circuit, receive an attribute-adjusted query image including at least one attribute-adjusted object from the user terminal, search for a product-related image based on the attribute-adjusted query image, and transmit a search result to the user terminal.

Description

상품 검색 방법 및 이를 위한 서비스 장치와 사용자 단말{Supporting Method for Searching of Goods and service device, and terminal device thereof}TECHNICAL FIELD The product search method, and a service device and a user terminal for the same.

본 발명은 상품 검색에 있어서 쿼리 이미지의 속성을 사용자 입력에 따라 조절하여 보다 정확한 검색용 쿼리 이미지를 생성할 수 있도록 하는 상품 검색 방법 및 이를 위한 서비스 장치와 사용자 단말에 관한 것이다.The present invention relates to a product retrieval method for generating a more accurate search query image by adjusting the attributes of the query image according to the user input in the product search, and a service device and a user terminal therefor.

인터넷 사용이 보편화되면서 사용자들은 인터넷 검색을 통하여 다양한 정보를 획득할 수 있게 되었다. 즉, 사용자들은 인터넷에의 접속이 가능한 개인용 컴퓨터 등의 단말 장치를 통해 인터넷 검색 사이트에 접속한 후, 뉴스, 지식, 게임, 커뮤니티 등과 관련된 각종 컨텐츠를 검색할 수 있게 되었다. As the use of the Internet has become more common, users can obtain various information through Internet searches. That is, after accessing an Internet search site through a terminal device such as a personal computer capable of accessing the Internet, users can search for various contents related to news, knowledge, games, communities, and the like.

한편, 통신 기술의 발달 및 저장 장치의 대용량화에 따라, 인터넷 상에는 텍스트 형식의 문서뿐만 아니라, 사진, 동영상 등과 같은 이미지 데이터를 포함하는 문서들의 비율이 급격히 증가하게 되었는데, 근래에 급격히 확산되고 있는 개인 블로그 문화의 영향으로 이미지 데이터의 증가 속도가 더욱 심화되고 있다. 이에 따라, 인터넷 상에 다양한 형태로 저장된 이미지 데이터에 대한 검색 수요가 급증하고 있다. On the other hand, with the development of communication technology and the increase in the capacity of storage devices, the proportion of documents including image data such as photographs and videos as well as documents in the form of texts on the Internet has been rapidly increased. Due to the influence of culture, the speed of increase of image data is getting worse. Accordingly, the search demand for image data stored in various forms on the Internet is rapidly increasing.

그러나, 종래 이미지 데이터 검색 방식은 단순히, 사용자가 입력한 이미지 데이터와 기 저장된 이미지 데이터와의 매칭을 수행하고, 매칭율이 높은 이미지 몇 개 만을 제공하고 있어서, 상황에 따라, 사용자가 만족하지 못하는 이미지 검색 결과가 제공되는 문제가 빈번하게 있었다. However, the conventional image data retrieval method simply performs matching between the image data input by the user and previously stored image data, and provides only a few images having a high matching rate. There have been frequent problems with search results.

미국 등록 특허 7684651호 (명칭: Image-based face search)US Patent No. 7684651 (Name: Image-based face search)

본 발명은 쿼리 이미지의 적어도 일부 속성을 사용자 입력에 따라 조절하여 검색을 희망하는 쿼리 이미지의 적어도 일부를 사용자 의도에 맞게 변형할 수 있는 상품 검색 방법 및 이를 위한 서비스 장치와 사용자 단말을 제공하고자 한다.An object of the present invention is to provide a product search method capable of modifying at least a part of a query image according to a user input to modify at least a part of a query image desired to be searched according to a user's intention, and a service device and a user terminal therefor.

본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서를 포함할 수 있다. 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 적어도 하나의 속성이 조정된 객체를 포함하는 속성 조정된 쿼리 이미지를 수신하고, 상기 속성 조정된 쿼리 이미지를 기반으로 상품 관련 이미지를 검색하고, 상기 검색 결과를 상기 사용자 단말에 전송하도록 설정될 수 있다.The service apparatus according to an exemplary embodiment of the present invention may include a server communication circuit and a server processor operatively connected to the server communication circuit. The server processor forms a communication channel with a user terminal based on the server communication circuit, receives an attribute adjusted query image including an object whose at least one attribute is adjusted from the user terminal, and the attribute adjusted query image. The image related to the product may be searched for, and the search result may be transmitted to the user terminal.

여기서, 상기 서버 프로세서는 상기 속성 조정된 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 상기 추출된 객체의 특징점을 기반으로 유사 상품 이미지를 검색하도록 설정될 수 있다.Here, the server processor may be configured to extract at least one object included in the attribute-adjusted query image and search for a similar product image based on the feature points of the extracted object.

또는 상기 서버 프로세서는 상기 속성 조정된 쿼리 이미지로부터 원본 객체 및 속성 조정 값을 추출하고, 추출된 상기 원본 객체 및 상기 속성 조정 값을 기반으로 상기 상품 관련 이미지를 검색하도록 설정될 수 있다.Alternatively, the server processor may be configured to extract an original object and an attribute adjustment value from the attribute-adjusted query image and retrieve the product related image based on the extracted original object and the attribute adjustment value.

특히, 상기 서버 프로세서는 상기 원본 객체의 특징점과 유사한 상품 관련 이미지들을 추출하고, 상기 속성 조정 값들을 기반으로 상기 상품 관련 이미지들을 필터링하여 상기 검색 결과를 획득하도록 설정될 수 있다.In particular, the server processor may be configured to extract product related images similar to feature points of the original object, and to filter the product related images based on the attribute adjustment values to obtain the search result.

한편, 상기 서버 프로세서는 상기 객체의 속성들의 가중치 정보를 상기 사용자 단말로부터 수신하고, 상기 가중치 정보와 상기 속성 조정된 쿼리 이미지를 기반으로 상기 상품 관련 이미지를 검색하도록 설정될 수 있다.The server processor may be configured to receive weight information of attributes of the object from the user terminal and search for the product related image based on the weight information and the attribute adjusted query image.

여기서, 상기 서버 프로세서는 상대적으로 가중치가 높은 속성을 고정하고, 나머지 속성들이 변경된 상품 관련 이미지를 검색하도록 설정될 수 있다.In this case, the server processor may be configured to fix an attribute having a relatively high weight and to search for a product related image in which the remaining attributes are changed.

또는, 상기 서버 프로세서는 상대적으로 가중치가 높게 설정된 속성이 변경된 상품 관련 이미지를 검색하도록 설정될 수 있다.Alternatively, the server processor may be configured to search for a product related image in which a property having a relatively high weight is changed.

본 발명의 실시 예에 따른 사용자 단말은 통신 회로 및 상기 통신 회로와 기능적으로 연결되는 프로세서를 포함할 수 있다. 상기 프로세서는 상품 관련 객체를 포함하는 쿼리 이미지를 획득하고, 상기 상품 관련 객체의 적어도 하나의 속성 값을 추출하고, 상기 적어도 하나의 속성 값 조정이 가능한 쿼리 이미지를 표시하고, 사용자 입력에 따라 상기 적어도 하나의 속성 값을 조정하고, 속성 조정된 쿼리 이미지를 서비스 장치에 전송하고, 상기 서비스 장치로부터 상기 속성 조정된 쿼리 이미지에 대응하는 상품 관련 이미지를 수신하여 출력하도록 설정될 수 있다.A user terminal according to an embodiment of the present invention may include a communication circuit and a processor operatively connected to the communication circuit. The processor acquires a query image including a product related object, extracts at least one attribute value of the product related object, displays a query image in which the at least one attribute value is adjustable, and displays the at least one according to a user input. One attribute value may be adjusted, the attribute adjusted query image may be transmitted to the service apparatus, and a product related image corresponding to the attribute adjusted query image may be received from the service apparatus and output.

상기 사용자 단말은 상기 쿼리 이미지를 촬영하는 카메라 및 상기 쿼리 이미지를 저장하는 메모리를 더 포함할 수 있다.The user terminal may further include a camera for photographing the query image and a memory for storing the query image.

여기서, 상기 메모리는 상기 객체의 종류별로 추출한 적어도 하나의 속성을 정의한 속성 테이블을 포함할 수 있다.The memory may include an attribute table defining at least one attribute extracted for each type of object.

한편, 상기 프로세서는 사용자 입력에 대응하여 상기 적어도 하나의 속성 값들의 가중치를 조정할 수 있다.The processor may adjust weights of the at least one attribute value in response to a user input.

상기 프로세서는 상기 속성 조정된 쿼리 이미지와 상기 검색 결과를 한 화면에 출력하도록 설정될 수 있다.The processor may be configured to output the attribute adjusted query image and the search result on one screen.

본 발명의 실시 예에 따른 상품 검색 방법은 서비스 장치가 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말로부터 적어도 하나의 속성이 조정된 객체를 포함하는 속성 조정된 쿼리 이미지를 수신하는 단계, 상기 속성 조정된 쿼리 이미지를 기반으로 상품 관련 이미지를 검색하는 단계, 상기 검색 결과를 상기 사용자 단말에 전송하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a product search method comprises the steps of a service device forming a communication channel with a user terminal based on a server communication circuit, and a property adjusted query image including an object whose at least one property is adjusted from the user terminal. And receiving a product related image based on the attribute-adjusted query image, and transmitting the search result to the user terminal.

상기 검색하는 단계는 상기 속성 조정된 쿼리 이미지로부터 속성 조정된 객체를 추출하고, 추출된 객체의 특징점을 기반으로 상품 관련 이미지를 검색하는 단계 또는 상기 속성 조정된 쿼리 이미지로부터 원본 객체와 속성 조정 값을 추출하고, 상기 원본 객체의 특징점을 기반으로 상품 관련 이미지를 검색한 후 상기 속성 조정 값에 따라 필터링하는 단계를 포함할 수 있다.The retrieving may include extracting an attribute-adjusted object from the attribute-adjusted query image, retrieving a product related image based on the feature points of the extracted object, or extracting an original object and attribute adjustment values from the attribute-adjusted query image. Extracting, searching for a product related image based on the feature point of the original object, and filtering the image according to the attribute adjustment value.

본 발명은 상품과 관련한 이미지 검색에 있어서, 사용자가 검색을 희망하는 쿼리 이미지의 속성을 용이하게 변경하여 사용자가 희망하는 쿼리 이미지를 보다 정확하고 손쉽게 생성할 수 있도록 지원한다.According to the present invention, in the image search related to a product, it is possible to easily change the attributes of a query image that the user wants to search for, so that the user can more accurately and easily generate the desired query image.

기타, 본 발명의 다른 효과들은 후술하는 다양한 실시 예들에 의해 제공될 수 있다.In addition, other effects of the present invention may be provided by various embodiments described below.

도 1은 본 발명의 실시 예에 따른 상품 검색을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자 단말의 운용 방법의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 사용자 단말을 기반으로 제공되는 UI(User Interface)의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of a service system supporting a product search according to an embodiment of the present invention.
2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.
5 is a diagram illustrating an example of a method of operating a user terminal according to an exemplary embodiment of the present invention.
6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.
7 is a diagram illustrating an example of a user interface (UI) provided based on a user terminal according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It is to be understood, however, that the intention is not to limit the invention to particular embodiments, but to cover various modifications, equivalents, and / or alternatives to the embodiments of the invention. In connection with the description of the drawings, similar reference numerals may be used for similar components.

도 1은 본 발명의 실시 예에 따른 상품 검색 기능을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of a service system supporting a product search function according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 서비스 시스템(10)은 사용자 단말(100), 서비스 장치(200) 및 네트워크(50)를 포함할 수 있다.Referring to FIG. 1, the service system 10 according to an exemplary embodiment of the present invention may include a user terminal 100, a service device 200, and a network 50.

상기 본 발명이 적용되는 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 상품 검색 기능 제공 시스템은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 사용자 단말(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 사용자 단말(100)이 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 상기 사용자 단말(100)과 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.The network 50 to which the present invention is applied includes not only an IP-based wired communication network such as the Internet network, but also a long term evolution (LTE) network, a mobile communication network such as a WCDMA network, and various types of wireless networks such as a Wi-Fi network. , And combinations thereof. That is, the product search function providing system according to the present invention can be applied to both wired and wireless communication networks without distinction. In more detail, the network 50 may establish a communication channel between the service device 200 and the user terminal 100. For example, the network 50 may support at least one of 3G, 4G, and 5G wireless mobile communication methods that the service device 200 or the user terminal 100 may operate. Alternatively, the network 50 may establish a communication channel between the user terminal 100 and the service device 200 on a wired basis. Such a network 50 should be interpreted as a concept including various wired networks, wireless networks, and combination networks thereof that are currently developed and commercialized, or may be developed and commercialized in the future.

상기 사용자 단말(100)은 네트워크(50)를 통하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 상기 사용자 단말(100)은 상품 검색 기능과 관련하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 상품 검색 기능과 관련한 어플리케이션 또는 상품 검색 기능을 제공할 수 있는 웹 브라우저를 저장 및 설치할 수 있다. 사용자 단말(100)은 서비스 장치(200)로부터 상품 검색 기능과 관련한 데이터 예컨대, 상품 검색 관련 가상 페이지 또는 웹 페이지를 수신하고, 출력할 수 있다. 또는, 사용자 단말(100)은 상품 검색 기능과 관련한 어플리케이션 실행 화면을 출력할 수 있다. The user terminal 100 may establish a communication channel with the service apparatus 200 through the network 50. The user terminal 100 may establish a communication channel with the service apparatus 200 in relation to a product search function. In this regard, the user terminal 100 may store and install a web browser capable of providing an application or a product search function related to a product search function. The user terminal 100 may receive and output data related to a product search function, for example, a product search related virtual page or a web page, from the service device 200. Alternatively, the user terminal 100 may output an application execution screen related to a product search function.

사용자 단말(100)은 상품 검색과 관련한 쿼리 이미지(예: 카메라를 이용하여 촬영한 이미지 또는 메모리에 기 저장된 이미지 등)를 디스플레이에 출력하고, 사용자 입력에 따라 쿼리 이미지의 적어도 일부 속성을 조절할 수 있다. 상기 사용자 단말(100)은 사용자 입력에 따라 속성의 적어도 일부가 조정된 쿼리 이미지를 생성하고, 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. 상기 속성 조정된 쿼리 이미지는 적어도 하나의 속성이 조정된 객체를 포함한 쿼리 이미지 또는, 쿼리 이미지 원본 및 쿼리 이미지에 포함된 객체의 속성 정보를 포함할 수 있다.The user terminal 100 may output a query image (eg, an image photographed using a camera or an image previously stored in a memory) related to a product search on a display, and adjust at least some attributes of the query image according to a user input. . The user terminal 100 may generate a query image in which at least a part of an attribute is adjusted according to a user input, and transmit the attribute adjusted query image to the service apparatus 200. The attribute-adjusted query image may include a query image including an object whose at least one attribute is adjusted, or attribute information of an object included in the original query image and the query image.

상술한 동작을 기반으로, 상기 사용자 단말(100)은 사용자가 생성하고자 하는 검색용 쿼리 이미지를 사용자의 의도에 맞게 변형하거나, 사용자가 검색을 희망하는 특정 부위들 위주로 검색할 수 있도록 지원할 수 있다. 이에 따라, 상기 서비스 시스템(10)은 사용자가 희망하는 검색용 쿼리 이미지의 생성을 보다 용이하고 신속하게 생성할 수 있도록 함으로써, 검색 결과의 신뢰성을 높이고 검색 시간을 단축시킬 수 있다. Based on the above-described operation, the user terminal 100 may modify the search query image that the user wants to create in accordance with the user's intention, or support the user to search for specific areas that the user wants to search. Accordingly, the service system 10 can easily and quickly generate a search query image desired by the user, thereby increasing the reliability of the search results and shortening the search time.

상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)의 상품 검색 기능을 지원할 수 있다. 예를 들어, 서비스 장치(200)는 연결된 사용자 단말(100)에 상품 검색 관련 가상 페이지를 제공하고, 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신할 수 있다. 서비스 장치(200)는 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신하면, 이를 기반으로 상품 검색을 수행하고, 상품 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상술한 서비스 지원을 통해, 상기 서비스 장치(200)는 사용자의 요구에 최적화된 검색용 쿼리 이미지를 기반으로 검색 결과를 제공함으로써, 보다 빠른 정확한 검색 결과를 제공함으로써 검색 결과의 신뢰성을 높일 수 있다. The service device 200 may establish a communication channel with the user terminal 100 through the network 50, and support a product search function of the user terminal 100. For example, the service device 200 may provide a virtual page related to product search to the connected user terminal 100 and receive a query image whose attributes are adjusted from the user terminal 100. When the service apparatus 200 receives the attribute-adjusted query image from the user terminal 100, the service apparatus 200 may perform a product search and provide the product search result to the user terminal 100. Through the above service support, the service device 200 may provide a search result based on a query image for search optimized to a user's request, thereby providing a faster and more accurate search result, thereby increasing the reliability of the search result.

이하, 상술한 사용자 단말(100) 및 서비스 장치(200)의 세부 구성과 운용에 대하여 다양한 예를 설명하기로 한다.Hereinafter, various examples of the detailed configuration and operation of the user terminal 100 and the service device 200 described above will be described.

도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 통신 회로(110), 입력 장치(120), 디스플레이(130), 메모리(140), 카메라(190) 및 프로세서(150)를 포함할 수 있다.Referring to FIG. 2, the user terminal 100 according to an exemplary embodiment of the present invention may include a communication circuit 110, an input device 120, a display 130, a memory 140, a camera 190, and a processor 150. It may include.

상기 통신 회로(110)는 네트워크(50)와 통신 채널을 형성하고, 네트워크(50)를 기반으로 서비스 장치(200)와 상품 검색 기능과 관련한 데이터를 송수신할 수 있다. 예컨대, 통신 회로(110)는 상품 검색 기능과 관련한 가상 페이지, 속성 조정된 쿼리 이미지, 및 검색 결과를 서비스 장치(200)와 송수신할 수 있는 통신 기능을 지원할 수 있다. 예컨대, 상기 통신 회로(110)는 3G, 4G, 5G 등의 원거리 무선 통신 네트워크 기반의 통신 채널을 형성하거나, 와이파이 등의 근거리 통신 네트워크 기반의 통신 채널을 형성할 수 있다. The communication circuit 110 may establish a communication channel with the network 50, and transmit and receive data related to a product search function with the service device 200 based on the network 50. For example, the communication circuit 110 may support a communication function capable of transmitting and receiving a virtual page related to a product search function, an attribute adjusted query image, and a search result with the service device 200. For example, the communication circuit 110 may form a communication channel based on a long distance wireless communication network such as 3G, 4G, 5G, or may form a communication channel based on a short range communication network such as Wi-Fi.

상기 입력 장치(120)는 사용자 단말(100) 조작과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력 장치(120)는 서비스 장치(200) 접속을 위해 필요한 텍스트 입력(예: 주소 정보) 또는 어플리케이션 실행 아이콘 등을 선택할 수 있는 버튼 키 또는 가상 버튼 키, 음성 입력 기능 등을 지원할 수 있다. 상기 입력 장치(120)는 획득된 쿼리 이미지의 적어도 하나의 속성을 조정하기 위한 사용자 입력 등을 수신하여, 프로세서(150)에 전달할 수 있다. 또는, 상기 입력 장치(120)는 적어도 하나의 속성의 가중치를 조정하는 사용자 입력을 수신하고, 수신된 사용자 입력을 프로세서(150)에 전달할 수 있다. 터치 기능의 디스플레이(130)는 입력 장치(120)로서 기능할 수 있다. 또는 입력 장치(120)는 음성 입력 기능과 관련하여 적어도 하나의 마이크를 포함하고, 키워드에 대응하는 사용자 음성을 획득하여, 프로세서(150)에 전달할 수 있다.The input device 120 may receive a user input related to the operation of the user terminal 100. For example, the input device 120 may support a button key or a virtual button key or a voice input function for selecting text input (eg, address information) or an application execution icon required to access the service device 200. Can be. The input device 120 may receive a user input for adjusting at least one property of the obtained query image and transmit the same to the processor 150. Alternatively, the input device 120 may receive a user input for adjusting the weight of at least one attribute and transmit the received user input to the processor 150. The display 130 having a touch function may function as the input device 120. Alternatively, the input device 120 may include at least one microphone in connection with a voice input function, obtain a user voice corresponding to a keyword, and transmit the user voice to the processor 150.

상기 디스플레이(130)는 사용자 단말(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(130)는 상품 검색 기능 실행에 따른 실행 화면, 서비스 장치(200) 접속 화면(예: 가상 페이지 표시 화면), 쿼리 이미지 획득 화면, 쿼리 이미지의 속성 조정 화면, 사용자 조작에 따라 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하는 화면, 검색 결과 수신 화면 등을 출력할 수 있다. 또는, 디스플레이(130)는 속성의 가중치를 조정하는 화면을 출력할 수 있다. The display 130 may output at least one screen related to the operation of the user terminal 100. For example, the display 130 may include an execution screen according to a product search function execution, a service device 200 connection screen (for example, a virtual page display screen), a query image acquisition screen, a property adjustment screen of a query image, and a user operation. Accordingly, a screen for transmitting the attribute-adjusted query image to the service apparatus 200, a search result receiving screen, and the like may be output. Alternatively, the display 130 may output a screen for adjusting the weight of the attribute.

상기 메모리(140)는 사용자 단말(100) 운용과 관련한 데이터 또는 응용 프로그램 등을 저장할 수 있다. 예를 들면, 상기 메모리(140)는 상품 검색 프로그램(또는 어플리케이션) 또는 상품 검색 기능을 지원하는 웹 브라우저를 저장할 수 있다. 메모리(140)는 카메라(190)가 획득하고 사용자 입력에 의해 적어도 하나의 속성 또는 속성 가중치가 조정된 쿼리 이미지를 저장할 수 있다. 또는, 메모리(140)는 외부 전자 장치 예컨대, 특정 상품 검색이 가능한 웹 서버 장치로부터 다운로드하여 검색을 위해 서비스 장치(200)에 제공될 수 있는 속성 조정된 쿼리 이미지를 저장할 수 있다. 또는, 메모리(140)는 쿼리 이미지 원본 및 조정된 속성 값 또는 속성 가중치 값 등을 저장할 수 있다. 상기 메모리(140)는 서비스 장치(200)가 제공하는 검색 결과를 임시 또는 반 영구적으로 저장할 수 있다.The memory 140 may store data or application programs related to the operation of the user terminal 100. For example, the memory 140 may store a product search program (or application) or a web browser supporting a product search function. The memory 140 may store the query image acquired by the camera 190 and adjusted with at least one attribute or attribute weight according to a user input. Alternatively, the memory 140 may store an attribute-adjusted query image that may be downloaded from an external electronic device such as a web server device capable of searching for a specific product and provided to the service device 200 for searching. Alternatively, the memory 140 may store the original query image and the adjusted attribute value or attribute weight value. The memory 140 may temporarily or semi-permanently store a search result provided by the service device 200.

상기 카메라(190)는 사용자 조작에 따른 피사체를 촬영할 수 있다. 예를 들어, 상품 검색 기능과 관련하여, 쿼리 이미지로서, 상품(예: 신발 피사체, 가방 피사체, 전자 제품 피사체 등)과 관련한 이미지를 촬영할 수 있다. 상기 카메라(190)는 쿼리 이미지 획득과 관련하여, 사용자 조작에 따라, 적어도 하나의 상품 피사체를 포함하는 이미지를 획득하고, 이를 프로세서(150)에 전달할 수 있다. The camera 190 may photograph a subject according to a user's manipulation. For example, in relation to a product search function, an image related to a product (eg, a shoe subject, a bag subject, an electronic product subject, etc.) may be taken as a query image. In relation to query image acquisition, the camera 190 may acquire an image including at least one product subject and transmit the image to the processor 150 according to a user manipulation.

상기 프로세서(150)는 사용자 단말(100) 운용과 관련한 데이터의 처리 또는 전달을 수행할 수 있다. 예를 들어, 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 상품 검색 프로그램(예: 상품 검색 어플리케이션 또는 웹 브라우저)을 실행할 수 있다. 이 동작에서, 프로세서(150)는 상기 통신 회로(110)를 이용하여 서비스 장치(200)와 통신 채널을 형성하고, 상기 서비스 장치(200)로부터 상품 검색 관련 가상 페이지를 수신할 수 있다. 이 과정에서, 상기 프로세서(150)는 서비스 장치(200) 요청에 대응하여 사용자 정보 확인(예: 로그인 정보 및 패스워드 입력) 과정을 처리할 수 있다. The processor 150 may process or transmit data related to the operation of the user terminal 100. For example, the processor 150 may execute a product search program (for example, a product search application or a web browser) in response to a user input input through the input device 120. In this operation, the processor 150 may establish a communication channel with the service device 200 using the communication circuit 110 and receive a product search related virtual page from the service device 200. In this process, the processor 150 may process a user information check (eg, login information and password input) in response to a request of the service device 200.

상기 프로세서(150)는 사용자 입력에 대응하여 쿼리 이미지를 획득할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 대응하여 카메라(190)를 활성화하고, 지정된 피사체(예: 상품 관련 피사체로서, 인터넷 마켓에서 판매하는 다양한 상품과 동종의 피사체)에 관한 이미지 촬영을 제어할 수 있다. 프로세서(150)는 촬영된 이미지를 메모리(140)에 임시 또는 반영구적으로 저장할 수 있다. 또는, 프로세서(150)는 사용자 입력에 대응하여 외부 전자 장치 접속을 수행하고, 외부 전자 장치로부터 적어도 하나의 이미지를 수신하여 저장할 수 있다. 상기 프로세서(150)는 사용자 입력에 대응하여 메모리(140)에 기 저장된 이미지 또는 카메라(190)를 통해 획득된 이미지 중 적어도 하나를 쿼리 이미지로 선택할 수 있는 선택 화면을 디스플레이(130)에 출력할 수 있다. 이 동작에서 프로세서(150)는 복수의 쿼리 이미지들을 썸네일 형태로 출력할 수 있다. 상기 프로세서(150)는 특정 썸네일을 선택하는 사용자 입력이 발생하는 경우, 선택된 썸네일을 전체 화면으로 출력하면서, 쿼리 이미지 선택 완료 여부를 확인할 수 있다. 상기 프로세서(150)는 쿼리 이미지 선택을 위한 사용자 입력이 발생하면, 선택된 쿼리 이미지를 디스플레이(130)에 출력할 수 있다.The processor 150 may obtain a query image in response to a user input. For example, the processor 150 activates the camera 190 in response to a user input, and captures an image of a specified subject (for example, a subject related to a product, a subject of the same kind as a variety of products sold on the Internet market). Can be controlled. The processor 150 may temporarily or semi-permanently store the captured image in the memory 140. Alternatively, the processor 150 may access an external electronic device in response to a user input, and receive and store at least one image from the external electronic device. The processor 150 may output a selection screen on the display 130 to select at least one of an image previously stored in the memory 140 or an image acquired through the camera 190 as a query image in response to a user input. have. In this operation, the processor 150 may output a plurality of query images in thumbnail form. When a user input for selecting a particular thumbnail occurs, the processor 150 may output the selected thumbnail on a full screen and check whether the query image selection is completed. When a user input for selecting a query image occurs, the processor 150 may output the selected query image to the display 130.

상기 프로세서(150)는 카메라(190)를 통해 획득된 또는 사용자 입력에 의해 선택된 쿼리 이미지를 디스플레이(130)에 출력하면서, 상기 쿼리 이미지와 관련한 적어도 하나의 속성을 조정할 수 있는 화면을 제공할 수 있다. 이와 관련하여 프로세서(150)는 쿼리 이미지에 포함된 객체(예: 상품과 관련한 객체)를 추출하고, 상기 객체의 적어도 하나의 속성을 추출하고, 추출된 적어도 하나의 속성을 객체의 특정 부위 또는 객체가 표시된 영역에 인접된 일정 영역에 표시할 수 있다. 이와 관련하여, 상기 쿼리 이미지는 적어도 하나의 상품 관련 객체를 포함할 수 있다. 쿼리 이미지에서 객체를 출력하는 과정에서, 프로세서(150)는 ROI(region of interest) 객체를 추출할 수 있다. 상기 ROI 객체는 예컨대, 쿼리 이미지의 중심부에 위치한 객체를 포함할 수 있다. 또는, 상기 ROI 객체는 쿼리 이미지에 포함된 복수의 객체들 중 일정 이상의 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 가장 큰 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 촬영 이미지에서 포커싱된 객체를 포함할 수 있다. 또는, ROI 객체는 검출된 복수의 객체들 중 사용자 입력에 의해 선택된 적어도 하나의 객체를 포함할 수 있다. The processor 150 may provide a screen for adjusting at least one property related to the query image while outputting the query image acquired through the camera 190 or selected by a user input to the display 130. . In this regard, the processor 150 extracts an object (eg, an object related to a product) included in the query image, extracts at least one attribute of the object, and extracts the extracted at least one attribute from a specific part or object of the object. May be displayed in a predetermined area adjacent to the displayed area. In this regard, the query image may include at least one product related object. In the process of outputting the object from the query image, the processor 150 may extract a region of interest (ROI) object. The ROI object may include, for example, an object located at the center of the query image. Alternatively, the ROI object may include an object having a predetermined size or more among a plurality of objects included in the query image. Alternatively, the ROI object may include the object having the largest size. Alternatively, the ROI object may include an object focused in the captured image. Alternatively, the ROI object may include at least one object selected by user input among the plurality of detected objects.

디스플레이(130)에 출력되는 쿼리 이미지는 변경 가능한 적어도 하나의 속성 정보들을 포함할 수 있다. 사용자 입력이 발생하면, 상기 프로세서(150)는 상기 적어도 하나의 속성 예컨대, 이미지의 형태나 색상, 위치, 크기 등을 사용자 입력에 따라 조정할 수 있다. 속성 조정이 완료되면, 상기 프로세서(150)는 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다. The query image output to the display 130 may include at least one attribute information which may be changed. When a user input occurs, the processor 150 may adjust the at least one attribute, for example, the shape, color, position, size, etc. of the image according to the user input. When the attribute adjustment is completed, the processor 150 may transmit the attribute adjusted query image to the service device 200.

상기 프로세서(150)는 서비스 장치(200)로부터 속성 조정된 쿼리 이미지를 기반으로 검색된 검색 결과를 수신할 수 있다. 상기 프로세서(150)는 상기 서비스 장치(200)로부터 수신된 검색 결과를 디스플레이(130)에 출력할 수 있다. 이 동작에서, 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지와 상기 검색 결과를 하나의 화면에 출력할 수 있다. 이와 관련하여, 상기 프로세서(150)는 화면을 분할하고, 분할된 제1 영역에 속성 조정된 쿼리 이미지를 출력하고, 분할된 제2 영역에 상기 검색 결과를 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 검색 결과를 디스플레이(130) 전체 화면에 출력하고, 상기 속성 조정된 쿼리 이미지에 대응하는 썸네일을 상기 검색 결과 전체 화면에 오버레이 방식으로 출력할 수 있다. The processor 150 may receive a search result searched based on the attribute-adjusted query image from the service device 200. The processor 150 may output a search result received from the service device 200 to the display 130. In this operation, the processor 150 may output the attribute adjusted query image and the search result on one screen. In this regard, the processor 150 may divide the screen, output a query image adjusted with attributes in the divided first region, and output the search result in the divided second region. Alternatively, the processor 150 may output the search result on the entire screen of the display 130, and output a thumbnail corresponding to the attribute-adjusted query image on the full screen of the search result in an overlay manner.

상기 프로세서(150)는 상기 검색 결과가 복수개인 경우, 복수개의 검색 결과 중 일부 검색 결과를 서비스 장치(200)로부터 수신하고, 일부 검색 결과를 디스플레이(130)에 출력할 수 있다. 이후, 프로세서(150)는 사용자 입력에 따라, 나머지 검색 결과를 서비스 장치(200)에 요청하고, 수신된 나머지 검색 결과를 디스플레이(130)에 새롭게 출력할 수 있다. When there are a plurality of search results, the processor 150 may receive some search results from the plurality of search results from the service device 200 and output some search results to the display 130. Thereafter, the processor 150 may request the remaining search results from the service apparatus 200 according to a user input and newly output the received remaining search results to the display 130.

상기 프로세서(150)는 상기 속성의 가중치 조정 기능을 제공할 수 있다. 앞서 언급한 바와 같이, 특정 쿼리 이미지에 포함된 객체의 속성이 복수개인 경우, 프로세서(150)는 속성들의 가중치 설정 화면을 디스플레이(130)에 출력할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 따라 쿼리 이미지에 포함된 객체의 색상 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라 객체의 외관 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라, 객체의 재질 속성의 가중치를 가장 높게 설정할 수 있다. 또는, 상기 프로세서(150)는 사용자 입력에 따라 복수개의 속성들 중 복수개의 일부 속성들의 가중치를 상대적으로 더 높게 설정할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 따라 6개의 속성들 중 2개의 속성들의 가중치를 50%(예: 각각 25% 가중치)로 설정하고, 나머지 4개의 가중치를 각각 12.5%로 설정할 수 있다. The processor 150 may provide a weight adjustment function of the attribute. As mentioned above, when there are a plurality of attributes of an object included in a specific query image, the processor 150 may output a weight setting screen of the attributes to the display 130. For example, the processor 150 may set the highest weight of the color attribute of the object included in the query image according to a user input. Alternatively, the processor 150 may set the weight of the appearance property of the object to the highest value according to the user input. Alternatively, the processor 150 may set the weight of the material property of the object to be the highest according to a user input. Alternatively, the processor 150 may set a higher weight of some of the plurality of attributes among the plurality of attributes according to a user input. For example, the processor 150 may set the weights of the two attributes among the six attributes to 50% (for example, each 25% weight) and set the remaining four weights to 12.5% according to the user input. have.

다양한 예시로서, 상기 프로세서(150)는 사용자가 선택한 쿼리 이미지와 관련한 속성 정보들을 추출하고, 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하면서, 쿼리 이미지 원본과 조정된 속성 값들, 또는 속성 가중치 값을 함께 서비스 장치(200)에 전송할 수 있다. 이와 관련하여, 상기 프로세서(150)는 사용자 입력에 대응하여 쿼리 이미지가 획득되면, 획득된 쿼리 이미지의 객체의 속성 정보 선택과 관련한 화면을 디스플레이(130)에 출력할 수 있다. 상기 속성 정보는 예컨대, 객체의 “색상”, “재질”, “크기”, “가격”, “특정 모양” 등을 포함할 수 있다. “크기”에 해당하는 속성 정보는 쿼리 이미지에 포함된 객체의 부분 선택 정보를 포함할 수 있다. 상기 “색상” 이나 “재질”에 해당하는 속성 정보 역시, 쿼리 이미지에 포함된 객체의 부분 정보들을 포함할 수 있다. 부분 정보는 예컨대, 일정 크기 단위로 분할된 객체들의 분할 영역들 중 사용자 입력에 의해 선택된 부분의 위치 정보를 포함할 수 있다. 또는, 부분 정보는 객체에 포함된 적어도 하나의 경계선(예: 가방의 경우, 가방의 손잡이, 가방의 본체, 가방의 액세서리 등을 구분하는 경계선)을 기준으로 구분된 부분 영역들 중 터치 입력에 의해 선택된 적어도 하나의 영역 선택 정보를 포함할 수 있다. 사용자는 입력 장치(120) 등을 이용하여 디스플레이(130)에 표시된 쿼리 이미지를 확인하면서 적어도 하나의 속성 정보를 조정할 수 있다.  As various examples, the processor 150 extracts attribute information related to the query image selected by the user, and transmits the attribute adjusted query image to the service apparatus 200, while the original query image and the adjusted attribute values, or attribute weights. The value may be transmitted together with the service device 200. In this regard, when the query image is acquired in response to a user input, the processor 150 may output a screen related to the selection of attribute information of the object of the acquired query image to the display 130. The attribute information may include, for example, "color", "material", "size", "price", "specific shape", and the like of the object. Attribute information corresponding to “size” may include partial selection information of an object included in the query image. Attribute information corresponding to the “color” or “material” may also include partial information of an object included in the query image. The partial information may include, for example, location information of a part selected by a user input among division areas of the objects divided by a predetermined size unit. Alternatively, the partial information may be determined by a touch input among partial regions divided based on at least one boundary line included in the object (for example, a boundary line for dividing a handle of a bag, a main body of a bag, and an accessory of a bag). It may include at least one area selection information selected. The user may adjust at least one attribute information while checking the query image displayed on the display 130 using the input device 120 or the like.

앞서 언급한 바와 같이, 상기 프로세서(150)는 쿼리 이미지에 포함된 객체의 속성 값들을 추출하고, 추출된 속성 값들을 기반으로 속성 조정이 가능한 쿼리 이미지를 생성할 수 있다. 이 동작에서, 프로세서(150)는 쿼리 이미지에서 추출된 객체의 속성 값들을 기준으로 쿼리 이미지의 객체 속성(예: 색상, 재질, 크기, 경계 부분 등)을 변경할 수 있도록 이미지를 재구성할 수 있다. 또는, 프로세서(150)는 추출된 객체 속성들을 조정할 수 있는 조정 값의 범위들을 설정하고, 객체의 적어도 일부 속성들의 범위를 조정하도록 지원할 수 있다. 상기 프로세서(150)는 속성 조정된 쿼리 이미지 생성이 완료되고, 서비스 장치 전송을 요청하는 사용자 입력이 발생하면, 상기 속성 조정된 쿼리 이미지를 서비스 장치(200)에 제공할 수 있다. As mentioned above, the processor 150 may extract attribute values of an object included in the query image and generate a query image in which attributes can be adjusted based on the extracted attribute values. In this operation, the processor 150 may reconstruct the image to change the object property (eg, color, material, size, boundary, etc.) of the query image based on the property values of the object extracted from the query image. Alternatively, the processor 150 may set ranges of adjustment values that may adjust the extracted object attributes, and support adjusting the range of at least some attributes of the object. The processor 150 may provide the attribute-adjusted query image to the service apparatus 200 when the generation of the attribute-adjusted query image is completed and a user input for requesting the transmission of the service apparatus is generated.

도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 장치(200)(또는 서버 장치)는 서버 통신 회로(210), 데이터베이스(240) 및 서버 프로세서(250)를 포함할 수 있다. 상기 데이터베이스(240)는 상기 서비스 장치(200)와 독립된 구성으로 마련될 수 있다. 이 경우, 서버 프로세서(250)는 별도로 구성된 데이터베이스(240) 장치 또는 서버와 통신 채널을 형성하고, 검색 동작을 수행하도록 제어할 수도 있다.Referring to FIG. 3, a service device 200 (or a server device) according to an embodiment of the present invention may include a server communication circuit 210, a database 240, and a server processor 250. The database 240 may be provided in an independent configuration from the service device 200. In this case, the server processor 250 may establish a communication channel with a separately configured database 240 device or a server and perform a search operation.

상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 기능을 담당할 수 있다. 예를 들어, 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 사용자 단말(100)과 통신 채널을 형성할 수 있다. 예를 들어, 서버 통신 회로(210)는 서버 프로세서(250) 제어에 대응하여 속성 조정된 쿼리 이미지의 수신, 확인된 속성 정보(예: 쿼리 이미지에 포함된 적어도 하나의 객체의 속성들 및 속성의 가중치 값들)에 따른 이미지 검색 결과 전송 등을 수행할 수 있다. The server communication circuit 210 may be in charge of a communication function of the service device 200. For example, the server communication circuit 210 may form a communication channel with at least one user terminal 100 through the network 50. For example, the server communication circuit 210 may be configured to receive a property-adjusted query image in response to the control of the server processor 250, and to verify the identified property information (eg, properties and properties of at least one object included in the query image). Image search results according to the weight values).

상기 데이터베이스(240)는 서비스 장치(200) 운용과 관련한 데이터 또는 프로그램을 저장할 수 있다. 상기 데이터베이스(240)는 상품 검색 기능 운용과 관련하여, 사용자 단말(100)로부터 수신된 속성 조정된 쿼리 이미지 및 적어도 하나의 상품 관련 이미지들을 저장할 수 있다. The database 240 may store data or programs related to the operation of the service device 200. The database 240 may store attribute-adjusted query images and at least one product related image received from the user terminal 100 in relation to the product search function operation.

상기 적어도 하나의 상품 관련 이미지는 사용자 단말(100)이 제공한 속성 조정된 쿼리 이미지를 기반으로 검색할 수 있는 이미지들을 포함할 수 있다. 예를 들어, 상품 관련 이미지들은 구두, 가방, 옷, 모자, 전자 기기, 액세서리 등 다양한 상품들의 이미지들을 포함할 수 있다. 상기 데이터베이스(240)는 상품 관련 이미지들에 포함된 객체들의 특징점들을 저장 관리할 수 있다. 이에 따라, 속성 조정된 쿼리 이미지가 사용자 단말(100)로부터 수신되면, 상기 데이터베이스(240)에 저장된 다양한 상품 관련 이미지들 중 상기 속성 조정된 쿼리 이미지에 포함된 객체의 특징점에 대응되는 객체를 포함한 상품 관련 이미지가 검색될 수 있다.The at least one product related image may include images that can be searched based on the attribute-adjusted query image provided by the user terminal 100. For example, product-related images may include images of various goods, such as shoes, bags, clothes, hats, electronic devices, and accessories. The database 240 stores and manages feature points of objects included in product-related images. Accordingly, when an attribute-adjusted query image is received from the user terminal 100, a product including an object corresponding to a feature point of an object included in the attribute-adjusted query image among various product-related images stored in the database 240. Related images can be retrieved.

상기 서버 프로세서(250)는 상기 서버 통신 회로(210)를 통하여 적어도 하나의 사용자 단말(100)과의 통신 채널 형성을 제어할 수 있다. 상기 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라 상품 검색 기능과 관련한 화면(예: 가상 페이지 또는 웹 페이지)을 사용자 단말(100)에 제공할 수 있다. 서버 프로세서(250)는 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 수신하고, 속성 조정된 쿼리 이미지 수신에 따른 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 객체 추출부(251) 및 검색부(253)를 포함할 수 있다. 상기 객체 추출부(251) 및 검색부(253) 중 적어도 하나는 적어도 하나의 프로세서에 의해 구현되거나, 하나의 프로세서가 각 기능을 지원하도록 마련될 수 있다.The server processor 250 may control the formation of a communication channel with at least one user terminal 100 through the server communication circuit 210. The server processor 250 may provide a screen (eg, a virtual page or a web page) related to a product search function to the user terminal 100 at the request of the user terminal 100. The server processor 250 may receive the attribute-adjusted query image from the user terminal 100 and provide a search result according to the attribute-adjusted query image to the user terminal 100. In this regard, the server processor 250 may include an object extractor 251 and a searcher 253. At least one of the object extractor 251 and the searcher 253 may be implemented by at least one processor, or one processor may be provided to support each function.

상기 객체 추출부(251)는 사용자 단말(100)의 서비스 장치(200) 접속을 지원할 수 있다. 예컨대, 상기 객체 추출부(251)는 사용자 단말(100)이 서비스 장치(200)에 접속하면, 사용자 단말(100)에 상품 검색 관련 기능과 관련한 가상 페이지를 제공할 수 있다. 상기 객체 추출부(251)는 속성 조정된 쿼리 이미지에 포함된 적어도 하나의 객체를 추출할 수 있다. 상기 객체 추출부(251)는 추출된 적어도 하나의 객체에 할당된 속성(예: 크기, 색상, 재질, 위치, 경계 부분들)을 추출할 수 있다. 이와 관련하여, 상기 서비스 장치(200)는 적어도 하나의 객체에 할당된 속성의 종류들을 정의한 속성 테이블을 저장 관리할 수 있다. 이러한 속성 테이블은 사용자 단말(100)에 저장된 속성 테이블과 동기화될 수 있다. 상기 객체 추출부(251)는 추출된 속성 값 및 검출된 객체를 검색부(253)에 전달할 수 있다. 또는, 객체 추출부(251)는 속성 조정된 쿼리 이미지에서 쿼리 원본 이미지로부터 지정된 객체(예: 상품 관련 객체)를 추출하고, 추출된 원본 객체를 속성 값과 함께 검색부(253)에 전달할 수 있다.The object extractor 251 may support access to the service device 200 of the user terminal 100. For example, when the user terminal 100 accesses the service apparatus 200, the object extractor 251 may provide a virtual page related to a product search related function to the user terminal 100. The object extractor 251 may extract at least one object included in the property-adjusted query image. The object extractor 251 may extract a property (eg, size, color, material, position, boundary parts) assigned to the extracted at least one object. In this regard, the service device 200 may store and manage an attribute table defining types of attributes assigned to at least one object. This attribute table may be synchronized with the attribute table stored in the user terminal 100. The object extractor 251 may transfer the extracted attribute value and the detected object to the searcher 253. Alternatively, the object extractor 251 may extract a specified object (eg, a product related object) from the query original image in the attribute-adjusted query image, and deliver the extracted original object to the search unit 253 along with the attribute value. .

상기 검색부(253)는 객체 추출부(251)로부터 객체 및 객체의 조정된 속성 값을 수신하면, 상기 객체 및 조정된 속성 값 중 적어도 하나를 기반으로 상품 검색을 수행할 수 있다. 예컨대, 상기 검색부(253)는 속성 조정된 쿼리 이미지에서 검출된 객체의 특징점들을 추출하고, 추출된 특징점들과 동일 또는 일정 비율 이상 유사한 특징점들을 가지고 있는 이미지를 상품 관련 이미지들에서 검색할 수 있다. 또는, 상기 검색부(253)는 원본 객체의 특징점들을 추출하고, 추출된 특징점들과 동일 또는 일정 비율 이상 유사한 특징점들을 가지는 상품 관련 이미지들을 1차적으로 검색하고, 검색된 상품 관련 이미지들을 상기 원본 객체의 조정된 속성 값을 기준으로 필터링을 수행하여, 속성 값에 부합하는 상품 관련 이미지들을 추출할 수 있다. 상기 검색부(253)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상기 검색부(253)는 검색이 실패한 경우, 검색 실패를 안내하는 안내 메시지를 사용자 단말(100)에 제공할 수 있다. When the searcher 253 receives the object and the adjusted attribute value of the object from the object extractor 251, the searcher 253 may perform a product search based on at least one of the object and the adjusted attribute value. For example, the searcher 253 may extract feature points of the object detected from the attribute-adjusted query image, and search for images related to the feature points that are the same or similar to the extracted feature points in the product-related images. . Alternatively, the searcher 253 may extract feature points of the original object, and primarily search for product-related images having feature points that are the same as or similar to the extracted feature points by a predetermined ratio or more, and search the retrieved product-related images of the original object. Filtering may be performed based on the adjusted attribute value to extract product-related images corresponding to the attribute value. The search unit 253 may provide a search result to the user terminal 100. When the search fails, the search unit 253 may provide the user terminal 100 with a guide message for guiding the search failure.

속성 값 기반 검색 방식과 관련하여, 예를 들어, 상기 검색부(253)는 속성 값 확인을 통하여, “색상”과 관련한 속성 가중치 값이 가장 높게 설정된 경우, 속성 조정된 쿼리 이미지를 기반으로 검색을 수행하되 검색 우선 순위로, “색상”을 우선하여 상품 관련 이미지를 검색할 수 있다. 이와 관련하여, 검색부(253)는 속성 조정된 쿼리 이미지로부터 추출된 객체와 상품 관련 이미지들의 매칭 과정에서, 동일 색상의 상품들의 매칭 기준율을 상대적으로 낮게 설정하고, 다른 속성(예: 재질이나 크기 등)의 매칭 기준율은 상대적으로 높게 설정함으로써, 색상이 비슷한 상품 관련 이미지들이 보다 많이 검색될 수 있도록 설정할 수 있다. 상기 매칭 기준율은 검색 객체와 검색 대상의 이미지가 유사한 것으로 판단하는 기준율이 될 수 있다. 매칭 기준율이 낮을수록 개괄적으로 유사한 이미지도 검색 결과에 포함되며, 매칭 기준율이 높을수록 상세한 부분까지 유사한 이미지가 검색 결과에 포함될 수 있다. 다른 예시로서, 상기 검색부(253)는 상대적으로 가중치가 높은 속성들이 상대적으로 높은 매칭 기준율을 가지도록 설정함으로써, 사용자가 검색하고자 하는 속성을 정확히 가지고 있는 상품 관련 이미지들을 정확하게 검색할 수 있도록 지원한다.In relation to an attribute value-based search method, for example, when the attribute weight value related to “color” is set to the highest through the attribute value check, the search unit 253 searches based on the attribute adjusted query image. The image related to the merchandise can be searched by performing the search priority as the search priority. In this regard, the searcher 253 sets a relatively low matching criterion for products of the same color in the process of matching the object-related image extracted from the property-adjusted query image with other attributes (eg, material or size). Etc.) can be set so that more images related to similar colors can be searched. The matching reference rate may be a reference rate for determining that the search object and the image of the search target are similar. As the matching criterion is lower, similar images are generally included in the search results, and as the matching criterion is higher, similar images may be included in the search results in more detail. As another example, the searcher 253 sets the relatively high weighting attributes to have a relatively high matching criterion rate, thereby enabling the user to accurately search for product-related images having exactly the attributes to be searched. .

다른 예시로서, 상기 검색부(253)는 속성 가중치 설정 값에 따라 검색 결과의 필터링을 다르게 할 수 있다. 예컨대, 상기 검색부(253)는 검색된 상품 관련 이미지들에 대하여 쿼리 이미지에서 추출한 객체와 관련한 속성 값들을 확인하고, 매칭율이 높은 상품 관련 이미지들 중 상대적으로 높은 가중치 속성과 관련한 상품 관련 이미지들을 신뢰도가 높은 이미지(예: 사용자 검색 요구에 보다 가까운 이미지)로 결정할 수 있다. 또는, 상대적으로 높은 가중치 속성과 관련한 상품 관련 이미지들 중 매칭율이 높은 상품 관련 이미지들을 검색 결과로서 사용자 단말(100)에 우선 제공하고, 사용자 요청에 따라 나머지 검색 결과를 제공할 수도 있다. 예를 들어, 객체의 “색상” 가중치가 가장 높게 설정된 경우, 상기 검색부(253)는 검출된 상품 관련 이미지들 중 속성 조정된 쿼리 이미지의 객체의 색상과 동일한 색상(또는 일정 비율 이상 유사한 색상)을 가지는 상품 관련 이미지들을 신뢰도가 높은 이미지(사용자 요구에 보다 적합한 이미지)로 결정하고, 다른 검색 결과보다 우선하여 사용자 단말(100)에 제공할 수 있다. As another example, the search unit 253 may filter the search result according to the attribute weight setting value. For example, the searcher 253 checks the attribute values related to the object extracted from the query image with respect to the searched product related images, and trusts the product related images related to the relatively high weighted attributes among the product related images having a high matching rate. Can be determined to be a high image (e.g., an image closer to the user search request). Alternatively, product-related images having a high matching rate among product-related images related to a relatively high weight attribute may be first provided to the user terminal 100 as a search result, and the remaining search results may be provided according to a user request. For example, when the "color" weight of the object is set to be the highest, the search unit 253 is the same color (or a similar color or more than a certain ratio) of the object of the attribute-adjusted query image among the detected product-related images. Product-related images having a high reliability (images more suited to the user's needs) can be determined and provided to the user terminal 100 in preference to other search results.

도 4는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.4 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.

도 4를 참조하면, 본 발명의 서비스 시스템(10) 간 신호 흐름과 관련하여, 401 단계에서 사용자 단말(100) 및 서비스 장치(200)는 통신 채널을 형성할 수 있다. 예를 들어, 서비스 장치(200)는 서버 통신 회로(210)를 기반으로 네트워크(50)와 통신 채널을 형성하고, 사용자 단말(100)이 접속할 수 있는 접속 환경을 제공할 수 있다. 이에 따라, 특정 사용자 단말(100)은 통신 회로(110)를 기반으로 네트워크(50)를 통해 서비스 장치(200)에 접속을 수행할 수 있다. 이 단계에서, 서비스 장치(200)는 상품 검색 관련 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 예를 들어, 서비스 장치(200)의 서버 프로세서(250)는 사용자 단말(100)로부터 상품 검색 기능 실행과 관련한 데이터 전송 요청을 수신하면, 상품 검색 기능과 관련한 가상 페이지를 사용자 단말(100)에 전송할 수 있다. Referring to FIG. 4, in relation to the signal flow between the service system 10 of the present invention, the user terminal 100 and the service device 200 may form a communication channel in step 401. For example, the service device 200 may establish a communication channel with the network 50 based on the server communication circuit 210, and provide a connection environment to which the user terminal 100 may access. Accordingly, the specific user terminal 100 may access the service device 200 through the network 50 based on the communication circuit 110. In this step, the service device 200 may provide a product search related virtual page to the user terminal 100. For example, when the server processor 250 of the service device 200 receives a data transmission request for executing a product search function from the user terminal 100, the server processor 250 transmits a virtual page related to the product search function to the user terminal 100. Can be.

403 단계에서, 사용자 단말(100)은 쿼리 이미지를 획득할 수 있다. 이와 관련하여, 사용자 단말(100)은 카메라(190)를 활성화하고, 사용자 입력(예: 셔터 입력)에 대응하여 특정 피사체에 대응하는 촬영 이미지를 쿼리 이미지로서 획득할 수 있다. 또는, 사용자 단말(100)은 메모리(140)에 저장된 적어도 하나의 이미지를 쿼리 이미지로서 선택할 수 있는 선택 화면을 제공하고, 사용자 입력에 의해 선택된 이미지를 쿼리 이미지로서 획득할 수 있다. 또는, 사용자 단말(100)은 지정된 웹 서버 또는 사용자 입력에 의해 지시된 웹 서버와 통신 채널을 형성하고, 상기 웹 서버가 제공하는 적어도 하나의 이미지를 쿼리 이미지로서 획득할 수 있다. 획득된 쿼리 이미지는 사용자 단말(100)의 디스플레이(130)에 표시될 수 있다.In operation 403, the user terminal 100 may obtain a query image. In this regard, the user terminal 100 may activate the camera 190 and acquire a captured image corresponding to a specific subject as a query image in response to a user input (for example, a shutter input). Alternatively, the user terminal 100 may provide a selection screen for selecting at least one image stored in the memory 140 as a query image, and obtain the image selected by the user input as the query image. Alternatively, the user terminal 100 may establish a communication channel with a designated web server or a web server indicated by a user input, and obtain at least one image provided by the web server as a query image. The obtained query image may be displayed on the display 130 of the user terminal 100.

405 단계에서, 사용자 단말(100)은 쿼리 이미지에서 속성 추출 및 조정 작업을 수행할 수 있다. 예를 들어, 상기 사용자 단말(100)은 획득된 쿼리 이미지를 분석하여 쿼리 이미지에 포함된 적어도 하나의 객체를 추출할 수 있다. 적어도 하나의 객체가 추출되면, 사용자 단말(100)은 추출된 객체의 속성 정보를 구분할 수 있다. 예컨대, 상기 사용자 단말(100)은 상기 객체의 크기(예: 전체 크기 또는 부분 크기), 색상, 재질 등을 속성 정보로서 구분할 수 있다. 또는, 상기 사용자 단말(100)은 객체의 각 부위들을 일정 속성 정보로서 구분할 수 있다. 상기 사용자 단말(100)은 속성 정보가 추출되면, 적어도 하나의 속성을 조절할 수 있는 쿼리 이미지를 디스플레이(130)에 출력할 수 있다. 사용자 단말(100)은 사용자 입력에 따라 쿼리 이미지와 관련한 속성들을 조정할 수 있다. 예를 들어, 사용자 단말(100)은 사용자 입력에 따라 객체의 적어도 일부 색상을 변경하거나, 객체의 적어도 일부 재질을 변경하거나, 객체의 적어도 일부 크기 또는 길이를 변경할 수 있다. In operation 405, the user terminal 100 may perform attribute extraction and adjustment on the query image. For example, the user terminal 100 may extract at least one object included in the query image by analyzing the obtained query image. When at least one object is extracted, the user terminal 100 may distinguish attribute information of the extracted object. For example, the user terminal 100 may classify the size (eg, full size or partial size), color, material, etc. of the object as attribute information. Alternatively, the user terminal 100 may divide each part of the object as certain attribute information. When the attribute information is extracted, the user terminal 100 may output a query image for adjusting at least one attribute to the display 130. The user terminal 100 may adjust attributes related to the query image according to a user input. For example, the user terminal 100 may change at least some color of the object, at least some material of the object, or at least some size or length of the object according to a user input.

속성 조정이 완료되면, 407 단계에서, 상기 사용자 단말(100)은 속성 조정된 쿼리 이미지를 서비스 장치(200)에 제공할 수 있다. 이 동작에서, 상기 사용자 단말(100)은 쿼리 이미지의 원본 이미지와 조정된 속성 값을 서비스 장치(200)에 전송할 수 있다. When the attribute adjustment is completed, in step 407, the user terminal 100 may provide the attribute adjusted query image to the service apparatus 200. In this operation, the user terminal 100 may transmit the original image of the query image and the adjusted attribute value to the service device 200.

409 단계에서, 서비스 장치(200)는 사용자 단말(100)로부터 속성 조정된 쿼리 이미지를 획득하고, 속성 조정된 쿼리 이미지를 기반으로 검색(예: 상품 검색)을 수행할 수 있다. 이 동작에서, 서비스 장치(200)는 속성 조정된 쿼리 이미지 내에 포함된 적어도 하나의 상품의 특징점들을 추출할 수 있다. 서비스 장치(200)는 추출된 상품의 특징점들과 매칭되는 상품 관련 이미지를 검출할 수 있다. 또한, 상기 서비스 장치(200)는 조정된 속성별로 상품 검색을 수행할 수 있다. 예를 들어, 서비스 장치(200)는 객체의 부위별로 구분되는 속성값이 추출되면, 객체의 특정 부위는 고정하고, 고정된 특정 부위를 가지는 상품들을 검색할 수 있다. 또는, 서비스 장치(200)는 객체의 색상과 관련한 속성값이 추출되면, 추출된 색상을 가지며 쿼리 이미지와 일정 비율 이상 유사성을 나타내는 상품들을 검색할 수 있다.In operation 409, the service device 200 may acquire a property adjusted query image from the user terminal 100 and perform a search (eg, a product search) based on the property adjusted query image. In this operation, the service device 200 may extract feature points of at least one product included in the attribute-adjusted query image. The service device 200 may detect a product related image that matches the feature points of the extracted product. In addition, the service device 200 may perform a product search for each adjusted attribute. For example, if an attribute value divided for each part of the object is extracted, the service device 200 may fix a specific part of the object and search for products having the fixed specific part. Alternatively, when the attribute value related to the color of the object is extracted, the service device 200 may search for the products having the extracted color and showing similarity with the query image by a certain ratio or more.

411 단계에서, 서비스 장치(200)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상기 서비스 장치(200)는 복수의 검색 결과가 획득되면, 복수의 검색 결과 중 일부 검색 결과를 사용자 단말(100)에 제공하고, 사용자 단말(100)의 요청에 대응하여 나머지 검색 결과를 사용자 단말(100)에 제공할 수 있다. 또는, 상기 서비스 장치(200)는 검색 결과에 대응하는 리스트 정보를 생성하여 사용자 단말(100)에 제공하고, 사용자 단말(100)로부터 선택된 상품 아이템과 관련한 정보가 수신되면, 대응된 검색 결과를 사용자 단말(100)에 제공할 수도 있다.In operation 411, the service device 200 may provide a search result to the user terminal 100. When a plurality of search results are obtained, the service device 200 provides some of the search results to the user terminal 100 and provides the remaining search results to the user terminal in response to a request of the user terminal 100. 100). Alternatively, the service apparatus 200 generates list information corresponding to a search result and provides the list information to the user terminal 100, and when information related to the selected product item is received from the user terminal 100, the service apparatus 200 provides the corresponding search result to the user. It may be provided to the terminal 100.

413 단계에서, 사용자 단말(100)은 서비스 장치(200)가 제공한 검색 결과를 출력할 수 있다. 상기 사용자 단말(100)은 디스플레이(130)에 특정 검색 결과를 전체 화면으로 출력할 수 있다. 또는, 상기 사용자 단말(100)은 디스플레이(130)에 검색 결과에 대응하는 리스트 정보를 출력하거나 또는 검색 결과에 대응하는 멀티 썸네일 화면을 출력하고, 사용자 입력에 대응하여 선택된 검색 결과를 전체 화면으로 출력할 수 있다. 또는, 사용자 단말(100)은 속성 조정된 쿼리 이미지와 검색 결과를 함께 출력할 수 있다.In operation 413, the user terminal 100 may output a search result provided by the service device 200. The user terminal 100 may output a specific search result on the display 130 in full screen. Alternatively, the user terminal 100 outputs list information corresponding to the search result or a multi thumbnail screen corresponding to the search result on the display 130, and outputs the search result selected in response to the user input in full screen. can do. Alternatively, the user terminal 100 may output a query image and a search result whose attributes are adjusted.

도 5는 본 발명의 실시 예에 따른 사용자 단말의 운용 방법의 일 예를 나타낸 도면이다.5 is a diagram illustrating an example of a method of operating a user terminal according to an exemplary embodiment of the present invention.

도 5를 참조하면, 일 실시 예에 따른 사용자 단말의 운용과 관련하여, 501 단계에서, 사용자 단말(100)의 프로세서(150)는 사용자 입력에 따라 또는 기 설정된 스케줄링에 따라 이미지 검색 기능 예컨대, 상품 검색 기능을 실행할 수 있다. 이와 관련하여, 프로세서(150)는 사용자 단말(100)이 지원하는 적어도 하나의 사용자 기능 실행과 관련한 아이콘들 또는 메뉴 항목들을 디스플레이(130)에 출력할 수 있다. 프로세서(150)는 상품 검색 기능과 관련한 아이콘을 선택하는 사용자 입력 수신 시, 해당 프로그램을 실행할 수 있다. 상품 검색 기능 실행 시, 프로세서(150)는 통신 회로(110)를 통하여 서비스 장치(200)에 접속하고, 서비스 장치(200)로부터 상품 검색과 관련한 가상 페이지를 수신하여 출력할 수 있다. 상기 가상 페이지는 예컨대, 상품 검색과 관련하여 쿼리 이미지 획득을 요청하는 화면을 포함할 수 있다. Referring to FIG. 5, in relation to operation of a user terminal according to an exemplary embodiment, in operation 501, the processor 150 of the user terminal 100 may perform an image search function, for example, a product according to a user input or a preset scheduling. You can run the search function. In this regard, the processor 150 may output icons or menu items related to at least one user function execution supported by the user terminal 100 to the display 130. The processor 150 may execute a corresponding program upon receiving a user input for selecting an icon related to a product search function. When the product search function is executed, the processor 150 may access the service device 200 through the communication circuit 110 and receive and output a virtual page related to the product search from the service device 200. The virtual page may include, for example, a screen for requesting acquisition of a query image in relation to a product search.

상기 사용자 단말(100)은 쿼리 이미지 획득과 관련하여 자동으로 카메라(190)를 활성화할 수도 있다. 상기 사용자 단말(100)은 카메라(190) 활성화에 대응하여 프리뷰 화면을 디스플레이(130)에 출력할 수 있다. 이에 따라, 상품 검색 기능 실행을 요청하는 아이콘 선택 또는 런처 실행 시, 사용자 단말(100)은 자동으로 카메라(190)를 활성화하여 특정 피사체의 이미지를 획득할 수 있는 상태를 제공할 수 있다. 또는, 사용자 단말(100)은 메모리(140)에 저장된 적어도 하나의 이미지를 선택할 수 있도록, 이미지들이 저장된 적어도 하나의 폴더 또는 지정된 폴더, 상품 검색 기능과 관련하여 직전에 선택된 이미지가 저장된 폴더 등을 디스플레이(130)에 출력할 수 있다. 또는, 사용자 단말(100)은 상품 검색 관련 기능이 실행되면, 쿼리 이미지를 선택할 수 있는 지정된 외부 전자 장치(또는 웹 서버)와 통신 채널을 형성하고, 해당 서버 장치가 제공하는 쿼리 이미지 검색 화면을 디스플레이(130)에 출력할 수도 있다. The user terminal 100 may automatically activate the camera 190 in connection with query image acquisition. The user terminal 100 may output a preview screen to the display 130 in response to activation of the camera 190. Accordingly, when the user selects an icon requesting the product search function or executes the launcher, the user terminal 100 may automatically activate the camera 190 to provide a state in which an image of a specific subject may be obtained. Alternatively, the user terminal 100 may display at least one folder in which the images are stored or a designated folder, a folder in which the image immediately selected in relation to the product search function is stored, and the like so as to select at least one image stored in the memory 140. And output to 130. Alternatively, when the product search related function is executed, the user terminal 100 forms a communication channel with a designated external electronic device (or a web server) capable of selecting a query image, and displays a query image search screen provided by the server device. It may output to 130.

503 단계에서, 프로세서(150)는 쿼리 이미지들을 획득할 수 있다. 예를 들어, 프로세서(150)는 사용자 단말(100)의 입력 장치(120)를 통하여 특정 쿼리 이미지를 선택하는 사용자 입력을 수신할 수 있다. 또는, 사용자 단말(100)은 카메라(190)를 통한 영상 촬영, 메모리(140)에 저장된 이미지 선택, 외부 전자 장치가 제공하는 이미지 선택 등을 통해 쿼리 이미지를 획득할 수 있다. In operation 503, the processor 150 may acquire query images. For example, the processor 150 may receive a user input for selecting a specific query image through the input device 120 of the user terminal 100. Alternatively, the user terminal 100 may obtain a query image by capturing an image through the camera 190, selecting an image stored in the memory 140, and selecting an image provided by an external electronic device.

505 단계에서, 프로세서(150)는 획득된 쿼리 이미지와 관련하여 속성을 추출하고, 속성 정보를 표시할 수 있다. 이와 관련하여, 프로세서(150)는 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 객체에서 조정 가능한 속성들을 추출할 수 있다. 예를 들어, 프로세서(150)는 객체의 전체 크기, 객체의 부분별 크기, 객체의 부위들, 객체의 색상, 객체의 재질, 객체의 모양 등의 속성을 추출하고, 추출된 각 속성들을 조정할 수 있는 속성 정보를 디스플레이(130)에 출력할 수 있다.In operation 505, the processor 150 may extract an attribute in relation to the obtained query image and display the attribute information. In this regard, the processor 150 may extract at least one object included in the query image, and extract adjustable properties from the object. For example, the processor 150 may extract properties such as the overall size of the object, the size of each part of the object, the parts of the object, the color of the object, the material of the object, the shape of the object, and adjust the extracted properties. The attribute information may be output to the display 130.

여기서, 프로세서(150)는 쿼리 이미지에 포함된 객체를 검출하고, 상기 객체가 어떠한 종류인지 확인할 수 있다. 예컨대, 상기 프로세서(150)는 상기 객체가 옷, 신발, 모자, 가방, 액세서리, 악기, 전자 기기, 취미 생활 동구 등인지 확인할 수 있다. 상기 프로세서(150)는 객체의 카테고리에 따라 추출한 속성의 종류를 다르게 구분할 수 있다. 예컨대, 프로세서(150)는 객체가 신발인 경우, 색 속성, 재질 속성, 굽 높이 속성, 발목 길이 속성 등을 추출할 수 있다. 상기 프로세서(150)는 객체가 가방인 경우, 색 속성, 재질 속성, 모양 특성 등을 추출할 수 있다. 상기 프로세서(150)는 객체가 액세서리인 경우, 색 속성 및 재질 속성 등을 추출할 수 있다. 상술한 속성 추출은 기 저장된 다양한 조건들 또는 데이터들을 기준으로 수행될 수 있다. 이와 관련하여, 사용자 단말(100)은 각 객체의 종류별로 추출할 속성의 종류를 정의한 테이블을 저장 관리할 수 있다. Here, the processor 150 may detect an object included in the query image and determine what kind of object the object is. For example, the processor 150 may check whether the object is clothes, shoes, a hat, a bag, an accessory, a musical instrument, an electronic device, a hobby, or the like. The processor 150 may classify the type of the extracted attribute differently according to the category of the object. For example, when the object is a shoe, the processor 150 may extract color attributes, material attributes, heel height attributes, ankle length attributes, and the like. When the object is a bag, the processor 150 may extract color properties, material properties, shape properties, and the like. When the object is an accessory, the processor 150 may extract color attributes and material attributes. The aforementioned attribute extraction may be performed based on various stored conditions or data. In this regard, the user terminal 100 may store and manage a table that defines the types of attributes to be extracted for each object type.

507 단계에서, 프로세서(150)는 쿼리 이미지의 속성의 조정을 완료되는지 여부를 확인할 수 있다. 예컨대, 프로세서(150)는 속성 조정 완료를 지시하는 사용자 입력이 수신되는지 확인할 수 있다. 사용자는 터치스크린 등을 이용하여 속성 조정을 위한 터치 입력을 수행할 수 있으며, 속성 완료 시, 속성 조정 완료에 해당하는 메뉴를 선택할 수 있다. 이와 관련하여, 프로세서(150)는 속성 조정 완료를 입력할 수 있는 가상 키 버튼을 상기 쿼리 이미지가 표시된 디스플레이(130)에 함께 출력할 수 있다. In operation 507, the processor 150 may determine whether the adjustment of the attribute of the query image is completed. For example, the processor 150 may check whether a user input indicating completion of attribute adjustment is received. The user may perform a touch input for adjusting the property by using a touch screen or the like. When the property is completed, the user may select a menu corresponding to the property adjustment completion. In this regard, the processor 150 may also output a virtual key button for inputting the completion of the attribute adjustment to the display 130 on which the query image is displayed.

쿼리 이미지의 속성 조정 완료를 위한 사용자 입력이 수신되면, 509 단계에서, 프로세서(150)는 속성 조정된 쿼리 이미지를 기반으로 검색 요청이 발생하는지 확인할 수 있다. 이와 관련하여, 프로세서(150)는 검색 요청과 관련한 메뉴 또는 가상 키 버튼을 디스플레이(130)에 출력하고, 해당 메뉴 또는 가상 키 버튼이 선택되는지 확인할 수 있다. When a user input for completing attribute adjustment of the query image is received, in operation 509, the processor 150 may determine whether a search request is generated based on the attribute adjusted query image. In this regard, the processor 150 may output a menu or virtual key button related to the search request to the display 130 and check whether the corresponding menu or virtual key button is selected.

검색 요청과 관련한 사용자 입력이 발생하면, 511 단계에서, 프로세서(150)는 상기 속성 조정된 쿼리 이미지를 상품 검색 관련 기능을 제공하는 서비스 장치(200)에 전송할 수 있다. 추가적으로, 상기 프로세서(150)는 속성 가중치 조정을 위한 사용자 입력이 수신되는지 확인할 수 있다. 이와 관련하여, 상기 프로세서(150)는 속성 가중치 조정이 가능한 화면을 디스플레이(130)에 출력하고, 사용자 입력에 대응하여 속성 가중치가 조정되면 그에 대응하는 설정 값을 획득할 수 있다. 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하는 동안에 상기 속성 가중치 설정 값을 함께 서비스 장치(200)에 제공할 수도 있다. 상기 프로세서(150)는 상기 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송하면서 지정된 상품 검색 결과를 요청하는 요청 메시지를 함께 전송할 수 있다.When a user input related to a search request occurs, in step 511, the processor 150 may transmit the attribute adjusted query image to the service device 200 that provides a product search related function. In addition, the processor 150 may check whether a user input for adjusting attribute weights is received. In this regard, the processor 150 may output a screen on which the attribute weight can be adjusted to the display 130, and acquire a setting value corresponding to the attribute weight when the attribute weight is adjusted in response to a user input. The processor 150 may also provide the attribute weight setting value to the service apparatus 200 while transmitting the attribute adjusted query image to the service apparatus 200. The processor 150 may transmit a request message for requesting a specified product search result while transmitting the attribute adjusted query image to the service device 200.

513 단계에서, 프로세서(150)는 서비스 장치(200)로부터 검색 결과가 수신되는지 확인할 수 있다. 검색 결과가 수신되면, 515 단계에서 프로세서(150)는 수신된 검색 결과를 디스플레이(130)에 출력할 수 있다. 상기 프로세서(150)는 네트워크 상태에 따라 상기 서비스 장치(200)로부터 검색 결과 전체를 한번에 수신하거나 또는 일부 검색 결과만을 수신할 수 있다. 예컨대, 프로세서(150)는 네트워크 상태가 원활한 경우, 상기 서비스 장치(200)로부터 검색 결과 전체를 수신하고, 네트워크 상태가 지정된 기준 값 이하인 경우 일부 검색 결과만을 수신할 수 있다. 또는, 상기 프로세서(150)는 네트워크 상태가 기준 값 이하인 경우 서비스 장치(200)로부터 검색 결과에 대응하는 리스트 정보를 수신하고, 사용자 입력에 의해 선택된 검색 결과를 서비스 장치(200)에 요청할 수도 있다. 검색 결과 출력 시, 상기 프로세서(150)는 수신된 검색 결과를 디스플레이(130) 전체 화면을 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 수신된 검색 결과와 속성 조정된 쿼리 이미지를 한 화면에 출력할 수 있다. In operation 513, the processor 150 may determine whether a search result is received from the service device 200. When the search result is received, the processor 150 may output the received search result to the display 130 in step 515. The processor 150 may receive all of the search results at one time or only some of the search results from the service device 200 according to the network condition. For example, when the network state is smooth, the processor 150 may receive the entire search result from the service device 200, and may receive only some search results when the network state is less than or equal to a specified reference value. Alternatively, when the network state is less than or equal to the reference value, the processor 150 may receive list information corresponding to the search result from the service device 200 and request the service device 200 for the search result selected by the user input. When outputting a search result, the processor 150 may output the entire screen of the display 130 on the received search result. Alternatively, the processor 150 may output the received search result and the property adjusted query image on one screen.

517 단계에서, 프로세서(150)는 상품 검색 관련 기능의 종료를 위한 이벤트가 발생하는지 확인할 수 있다. 상품 검색 관련 기능을 종료시키기 위한 이벤트 발생이 없는 경우, 이전 동작에 대응하여 505 단계 또는 515 단계 이전으로 분기할 수 있다. 예컨대, 프로세서(150)는 검색 결과를 출력한 이후 종료 여부를 확인하고, 별도 종료 이벤트가 발생하지 않으면, 검색 결과 출력 상태를 유지할 수 있다. 또는, 프로세서(150)는 507 단계에서 속성 조정 완료가 아닌 경우, 505 단계로 분기하여 속성 정보 표시 화면의 표시 상태를 유지할 수 있다. 또한, 프로세서(150)는 509 단계에서, 검색 요청이 발생하지 않으면서, 종료 이벤트 발생이 없으면 속성 정보 표시 화면의 표시 상태를 유지할 수 있다. In operation 517, the processor 150 may determine whether an event for terminating the product search related function occurs. If there is no event for ending the product search related function, the process may branch to step 505 or 515 in response to the previous operation. For example, the processor 150 may check whether the terminal is terminated after outputting the search result and may maintain the search result output state unless a separate end event occurs. Alternatively, if the attribute adjustment is not completed in step 507, the processor 150 may proceed to step 505 to maintain the display state of the attribute information display screen. In operation 509, the processor 150 may maintain a display state of the attribute information display screen when a search request does not occur and there is no end event.

도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다. 6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시 예에 따른 서비스 장치의 운용 방법은, 601 단계에서, 서비스 장치(200)는 이미지 검색 기능 예컨대, 상품 검색 기능 실행 요청을 수신할 수 있다. 이와 관련하여, 서비스 장치(200)는 네트워크(50)을 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)로부터 상품 검색 기능 실행과 관련한 기능 지원 요청을 수신할 수 있다. 상기 서비스 장치(200)는 사용자 단말(100)로부터 상품 검색 기능 실행 요청을 수신하면, 상품 검색 관련 가상 페이지를 사용자 단말(100)에 제공할 수 있다. Referring to FIG. 6, in operation 601, the service apparatus 200 may receive an image search function, for example, a product search function execution request. In this regard, the service device 200 may establish a communication channel with the user terminal 100 through the network 50, and receive a function support request for executing a product search function from the user terminal 100. When the service device 200 receives a product search function execution request from the user terminal 100, the service device 200 may provide a product search related virtual page to the user terminal 100.

603 단계에서, 서비스 장치(200)의 서버 프로세서(250)는 속성 조정된 쿼리 이미지 수신 여부를 확인할 수 있다. 상기 속성 조정된 쿼리 이미지는 적어도 하나의 상품과 관련한 객체가 포함된 이미지일 수 있다. 상기 속성 조정된 쿼리 이미지는 사용자 단말(100)의 카메라에 의해 획득되거나 메모리로부터 획득되거나, 또는 다른 외부 전자 장치 또는 서버 장치로부터 수신되고, 사용자 입력에 따라 적어도 하나의 속성이 조정된 객체를 포함하는 이미지일 수 있다. In operation 603, the server processor 250 of the service device 200 may determine whether a property adjusted query image is received. The attribute-adjusted query image may be an image including an object related to at least one product. The attribute adjusted query image is obtained by a camera of the user terminal 100 or obtained from a memory, or received from another external electronic device or a server device, and includes an object whose at least one attribute is adjusted according to a user input. It may be an image.

603 단계에서, 서버 프로세서(250)는 별도의 속성 조정된 쿼리 이미지 수신이 없는 경우, 605 단계에서 지정된 스케줄링에 따라 해당 기능 수행을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 상품 검색 관련 이미지들을 수집하고, 특징점들을 기준으로 분류 및 저장을 처리할 수 있다. 서버 프로세서(250)는 쿼리 이미지 수신이 지정된 시간 동안 수행되지 않는 경우, 사용자 단말(100)에 대해 자동으로 상품 검색 관련 기능을 종료시킬 수도 있다. 이 경우, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다.In operation 603, when there is no separate attribute adjusted query image reception, the server processor 250 may process the corresponding function according to the scheduling specified in operation 605. For example, the server processor 250 may collect product search related images and process classification and storage based on feature points. The server processor 250 may automatically terminate the product search related function for the user terminal 100 when the query image reception is not performed for a specified time. In this case, the server processor 250 may release the communication channel with the user terminal 100.

속성 조정된 쿼리 이미지가 수신되면, 607 단계에서, 서버 프로세서(250)는 조정된 속성 정보를 기반으로 검색을 수행할 수 있다. 예컨대, 상기 서버 프로세서(250)는 데이터베이스에 저장된 상품 관련 이미지들과 상기 속성 조정된 쿼리 이미지와의 매칭율이 일정 비율 이상인 상품 관련 이미지들을 검색 결과로서 획득할 수 있다. 검색이 완료되면, 609 단계에서, 서버 프로세서(250)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 추가적으로, 속성별 가중치 정보를 사용자 단말(100)로부터 수신한 경우, 상기 서버 프로세서(250)는 가중치가 상대적으로 높은 속성과 관련한 검색 결과들을 우선적으로 사용자 단말(100)에 제공하고, 사용자 단말(100)의 요청에 따라 나머지 검색 결과를 제공할 수 있다. 또는, 서버 프로세서(250)는 가중치 비율에 따라 검색 결과의 양의 비율을 다르게 할 수 있다. 예컨대, 상기 서버 프로세서(250)는 가장 높은 가중치 속성을 기준으로 검색된 데이터가 전체 검색 결과의 제1 비율(예: 70%)을 차지하고, 차순위 가중치 속성을 기준으로 검색된 데이터가 전체 검색 결과의 제2 비율(예: 20%)를 차지하도록 검색을 수행할 수 있다. 또는, 서버 프로세서(250)는 가중치의 비율에 따라 검색 결과에서 차지하는 데이터 양을 조절할 수 있다. When the attribute adjusted query image is received, in operation 607, the server processor 250 may perform a search based on the adjusted attribute information. For example, the server processor 250 may obtain, as a search result, product related images having a matching ratio of a product-related image stored in a database and the attribute-adjusted query image more than a certain ratio. When the search is completed, in operation 609, the server processor 250 may provide the search result to the user terminal 100. In addition, when the weight information for each attribute is received from the user terminal 100, the server processor 250 preferentially provides the search results related to the attribute having a relatively high weight to the user terminal 100, and the user terminal 100. ), You can provide the rest of the search results. Alternatively, the server processor 250 may vary the ratio of the amount of search results according to the weight ratio. For example, the server processor 250 may determine that data searched based on the highest weighted attribute occupies a first ratio (eg, 70%) of the entire search results, and data searched based on the next-order weighted attribute is the second of the entire search results. You can do a search to take up a percentage (for example, 20%). Alternatively, the server processor 250 may adjust the amount of data occupied in the search result according to the ratio of the weights.

611 단계에서, 서버 프로세서(250)는 이미지 검색 기능의 종료와 관련한 이벤트가 발생하는지 확인할 수 있다. 기능 종료와 관련한 이벤트가 발생하면, 서버 프로세서(250)는 이미지 검색 기능을 종료할 수 있다. 이와 관련하여, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다. 기능 종료와 관련한 이벤트 발생이 없는 경우, 서버 프로세서(250)는 직전 수행된 상태에 따라 603 단계 이전, 609 단계 이전 등으로 분기할 수 있다. 예컨대, 서버 프로세서(250)는 쿼리 이미지 수신이 없는 상태에서 해당 기능을 수행하면서, 기능 종료 이벤트 발생이 없는 경우 603 이전으로 분기하여 속성 조정된 쿼리 이미지 수신이 발생하는지 지속적으로 모니터링을 수행할 수 있다. 또는, 검색 결과 제공 이후 기능 종료 이벤트 발생이 없고, 사용자 단말(100)로부터 검색 및 결과를 재요청 받는 경우, 609 단계에서 검색 및 결과 제공을 수행할 수 있다. In operation 611, the server processor 250 may check whether an event relating to the termination of the image search function occurs. When an event related to the termination of the function occurs, the server processor 250 may terminate the image search function. In this regard, the server processor 250 may release a communication channel with the user terminal 100. When there is no event related to the termination of the function, the server processor 250 may branch to step 603, before step 609, and the like according to the state immediately performed. For example, the server processor 250 may perform the corresponding function in the absence of receiving the query image, and if the function termination event does not occur, branch to 603 and continuously monitor whether the property-adjusted query image reception occurs. . Or, if there is no function termination event after providing the search result, and if the search and the result is re-requested from the user terminal 100, the search and the result providing may be performed in step 609.

도 7은 본 발명의 실시 예에 따른 사용자 단말을 기반으로 제공되는 UI(User Interface)의 일 예를 나타낸 도면이다.7 is a diagram illustrating an example of a user interface (UI) provided based on a user terminal according to an embodiment of the present invention.

도 7을 참조하면, 사용자 단말(100)은 상품 검색 기능 실행과 관련하여, 상품 검색과 관련한 제1 가상 페이지(710)를 디스플레이에 출력할 수 있다. 상기 제1 가상 페이지(710)는 쿼리 이미지(701)의 적어도 일부를 표시할 수 있다. 예컨대, 제1 가상 페이지(710)는 쿼리 이미지(701)를 일정 크기로 디스플레이(130)에 출력하거나 또는 쿼리 이미지(701)에 포함된 상품 관련 객체를 디스플레이(130)에 출력할 수 있다. 상기 쿼리 이미지(701)는 사용자 단말(100)의 카메라(190)를 통해 획득될 수 있다. 도시된 도면의 상황을 고려하면, 사용자는 사용자 단말(100)을 이용하여 가방을 촬영하고, 촬영된 가방 이미지를 쿼리 이미지(701)로 획득할 수 있다. 도시된 도면에서는 가방을 촬영한 상황을 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 상기 쿼리 이미지(701)는 모자, 옷, 신발, 지갑, 전자 기기, 악기, 식기, 액세서리 등 다양한 상품을 포함하는 이미지가 될 수 있다. Referring to FIG. 7, in response to execution of a product search function, the user terminal 100 may output a first virtual page 710 related to product search on a display. The first virtual page 710 may display at least a portion of the query image 701. For example, the first virtual page 710 may output the query image 701 to the display 130 at a predetermined size or may output a product related object included in the query image 701 to the display 130. The query image 701 may be obtained through the camera 190 of the user terminal 100. In consideration of the situation of the illustrated figure, the user may photograph the bag using the user terminal 100 and obtain the photographed bag image as the query image 701. Although the illustrated figure illustrates a situation where a bag is photographed, the present invention is not limited thereto. For example, the query image 701 may be an image including various goods such as a hat, clothes, shoes, a purse, an electronic device, an instrument, a tableware, and an accessory.

쿼리 이미지(701)가 획득되면, 사용자 단말(100)은 쿼리 이미지(701)에 포함된 객체(702)의 속성 값들(721, 723, 725)을 추출하고, 추출된 속성 값들(721, 723, 725)을 포함하는 제2 가상 페이지(720)로 출력할 수 있다. 이와 관련하여, 사용자 단말(100)은 쿼리 이미지(701)에 포함된 객체(702) 추출을 수행하고, 해당 객체의 종류를 확인할 수 있다. 객체 종류 확인과 관련하여, 사용자 단말(100)은 외부 서버 장치를 이용하거나 또는 메모리(140)에 기 저장된 객체 확인용 데이터베이스를 이용할 수 있다. 객체의 종류가 확인되면, 사용자 단말(100)은 속성 테이블을 이용하여 객체의 종류에 따른 속성 값들(721, 723, 725)을 추출할 수 있다. 예컨대, 사용자 단말(100)은 손잡이 속성 값(721), 액세서리 속성 값(723), 바디 속성 값(725)을 객체(702)에 할당할 수 있다. 할당된 속성 값들은 디스플레이에 표시될 수 있다. 각각의 속성 값들은 사용자 입력에 따라 조정될 수 있다. 예컨대, 손잡이 속성 값(721)은 사용자 입력에 따라 모양, 색, 크기, 위치, 재질 중 적어도 하나가 변경될 수 있다. 이와 유사하게, 액세서리 속성 값(723)은 사용자 입력에 따라, 모양, 색, 크기 중 적어도 하나가 변경될 수 있다. 또한, 바디 속성 값(725)은 사용자 입력에 따라 모양, 색, 크기, 재질 등이 변경될 수 있다.When the query image 701 is obtained, the user terminal 100 extracts the attribute values 721, 723, 725 of the object 702 included in the query image 701, and extracts the extracted attribute values 721, 723, 725 may be output to the second virtual page 720. In this regard, the user terminal 100 may extract the object 702 included in the query image 701 and check the type of the object. In relation to object type checking, the user terminal 100 may use an external server device or a database for object checking previously stored in the memory 140. When the type of the object is confirmed, the user terminal 100 may extract the attribute values 721, 723, and 725 according to the type of the object using the attribute table. For example, the user terminal 100 may assign the handle attribute value 721, the accessory attribute value 723, and the body attribute value 725 to the object 702. The assigned attribute values can be displayed on the display. Each attribute value can be adjusted according to user input. For example, the handle attribute value 721 may change at least one of shape, color, size, position, and material according to a user input. Similarly, the accessory attribute value 723 may change at least one of shape, color, and size according to a user input. In addition, the body property value 725 may be changed in shape, color, size, material, etc. according to a user input.

상기 상품 검색 관련 제2 가상 페이지(720)는 예컨대, 속성 조정 완료와 관련한 가상 키 버튼 또는, 상품 검색 요청과 관련한 가상 키 버튼을 더 포함할 수 있다. 해당 키 버튼이 선택되면, 사용자 단말(100)은 속성 조정된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다.The second virtual page 720 related to the product search may further include, for example, a virtual key button related to the completion of the attribute adjustment or a virtual key button related to the product search request. When the corresponding key button is selected, the user terminal 100 may transmit the attribute adjusted query image to the service apparatus 200.

상기 서비스 장치(200)는 속성 조정된 쿼리 이미지를 기반으로 상품 관련 검색을 수행할 수 있다. 예컨대, 상기 서비스 장치(200)는 제3 가상 페이지(730)에서와 같이, 객체(702)의 손잡이 속성 값(721) 변경에 따라 다양한 검색 결과들(731, 732, 733)을 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 서비스 장치(200)는 사용자 단말(100)로부터 수신된 속성 값들 중 손잡이 속성 값(721)을 확인하고, 손잡이 속성 값(721)이 조정된 경우, 조정된 손잡이 속성 값(721)에 따라 관련된 상품 이미지 검색을 수행할 수 있다. 상기 서비스 장치(200)는 검색된 상품 이미지 검색 결과들 중에 일부 검색 결과를 우선 사용자 단말(100)에 제공하고, 추가 요청에 따라 나머지 검색 결과를 사용자 단말(100)에 제공할 수 있다.The service device 200 may perform a product related search based on the attribute-adjusted query image. For example, as in the third virtual page 730, the service device 200 may display various search results 731, 732, and 733 according to a change in the handle attribute value 721 of the object 702. ) Can be provided. In this regard, the service device 200 checks the handle attribute value 721 among the attribute values received from the user terminal 100, and when the handle attribute value 721 is adjusted, the adjusted handle attribute value 721. According to the related product image search can be performed. The service device 200 may first provide some search results among the searched product image search results to the user terminal 100, and provide the remaining search results to the user terminal 100 according to an additional request.

다른 예시로서, 제3 가상 페이지(730)는 속성 값들의 가중치 설정에 따른 검색 결과와 관련한 화면 인터페이스로서 운용될 수도 있다. 예컨대, 서비스 장치(200)는 속성 조정된 쿼리 이미지를 수신하고, 가중치 확인에 따라 손잡이 속성 값(721)의 가중치 값이 가장 높을 경우, 나머지 속성 값들은 현재 상태를 유지하고, 손잡이 형태나 색상, 모양, 크기 등이 다른 상품 이미지들을 검색할 수 있다. 서비스 장치(200)는 검색 결과로서, 손잡이 형태나 색상, 모양 크기 등이 다른 검색 결과들(731, 732, 733)을 사용자 단말(100)에 제공할 수 있다..As another example, the third virtual page 730 may be operated as a screen interface related to a search result according to setting weights of attribute values. For example, the service device 200 receives the attribute-adjusted query image, and when the weight value of the knob attribute value 721 is highest according to the weight check, the remaining attribute values remain in the current state, and the handle type or color, You can search for product images with different shapes, sizes, and more. As a search result, the service device 200 may provide the user terminal 100 with search results 731, 732, and 733 having different handle shapes, colors, and shape sizes.

또 다른 예시로서, 제3 가상 페이지(730)는 사용자 단말(100)에서의 속성 값 변경과 관련한 화면 인터페이스로서 운용될 수도 있다. 예컨대, 사용자 단말(100)은 사용자 입력에 따라 손잡이 속성 값(721)을 변경하고, 변경된 손잡이 속성 값(721)들에 대응하는 이미지들을 제3 가상 페이지(730)에서와 같이 표시할 수 있다. 이에 따라, 제31 객체(702)는 손잡이 속성 값(721)이 1차로 변경된 객체가 될 수 있고, 제32 객체(702)는 손잡이 속성 값(721)이 2차로 변경된 객체가 될 수 있고, 제33 객체(702)는 손잡이 속성 값(721)이 3차로 변경된 객체가 될 수 있다. 사용자는 속성 값이 변경된 객체들 중 어느 하나를 선택하여 서비스 장치(200)에 검색 요청을 수행할 수 있다. As another example, the third virtual page 730 may be operated as a screen interface associated with changing an attribute value in the user terminal 100. For example, the user terminal 100 may change a handle attribute value 721 according to a user input, and display images corresponding to the changed handle attribute values 721 as in the third virtual page 730. Accordingly, the thirty-first object 702 may be an object in which the handle attribute value 721 is primarily changed, and the thirty-second object 702 may be an object in which the handle attribute value 721 is changed secondarily. The 33 object 702 may be an object in which the knob attribute value 721 is changed in three orders. The user may select one of the objects whose attribute value has been changed and perform a search request to the service device 200.

상기 손잡이 속성 값(721) 변경과 유사하게, 상기 사용자 단말(100)은 제4 가상 페이지(740)에서와 같이, 객체(702)의 바디 속성 값(725) 변경을 사용자 입력에 따라 수행하고, 변경된 바디 속성 값들(741, 742, 743)을 서비스 장치(200)에 전송할 수 있다. 또는, 사용자 단말(100)은 바디 속성 값(725)이 변경된 객체를 서비스 장치(200)에 전송할 수 있다. 서비스 장치(200)는 바디 속성 값(725)이 변경된 객체를 수신하면, 해당 객체에 대응하는 상품 관련 이미지들을 검색하고, 검색 결과들(741, 742, 743)을 제4 가상 페이지(740)에서와 같이 사용자 단말(100)에 제공할 수 있다.Similar to changing the handle attribute value 721, the user terminal 100 performs a change of the body attribute value 725 of the object 702 according to a user input, as in the fourth virtual page 740. The changed body attribute values 741, 742, and 743 may be transmitted to the service device 200. Alternatively, the user terminal 100 may transmit the object whose body property value 725 is changed to the service device 200. When the service device 200 receives the object whose body property value 725 is changed, the service device 200 searches for product-related images corresponding to the object, and retrieves the search results 741, 742, and 743 in the fourth virtual page 740. It may be provided to the user terminal 100 as shown.

본 발명은 이미지 검색 분야에 적용되는 것으로서, 특히, 상품 이미지 검색에 관련된다.The present invention applies to the field of image retrieval and in particular relates to product image retrieval.

본 발명은 상품 이미지 검색에 있어서 검색용 쿼리 이미지를 사용자가 의도하는 형태로 조정할 수 있도록 함으로써, 보다 정확하고 신속한 이미지 검색을 수행할 수 있도록 지원할 수 있다.The present invention can support a more accurate and faster image retrieval by enabling the user to adjust the search query image in a form intended by the user in the product image retrieval.

10: 서비스 시스템
50: 네트워크
100: 사용자 단말
110: 통신 회로
120: 입력 장치
130: 디스플레이
140: 메모리
150: 프로세서
190: 카메라
200: 서비스 장치
210: 서버 통신 회로
240: 데이터베이스
250: 서버 프로세서
251: 객체 추출부
253: 검색부10: service system
50: network
100: user terminal
110: communication circuit
120: input device
130: display
140: memory
150: processor
190: camera
200: service device
210: server communication circuit
240: database
250: server processor
251: object extraction unit
253: search unit

Claims (14)

서버 통신 회로;
상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서;를 포함하고,
상기 서버 프로세서는
상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고,
상기 사용자 단말로부터 적어도 하나의 속성이 조정된 객체를 포함하는 속성 조정된 쿼리 이미지를 수신하고,
상기 속성 조정된 쿼리 이미지를 기반으로 상품 관련 이미지를 검색하고,
상기 검색 결과를 상기 사용자 단말에 전송하도록 설정된 것을 특징으로 하는 서비스 장치.Server communication circuitry;
A server processor operatively connected to the server communication circuitry;
The server processor
Establish a communication channel with a user terminal based on the server communication circuit,
Receive an attribute-adjusted query image including an object whose at least one attribute is adjusted from the user terminal,
Search for product-related images based on the attribute-adjusted query images,
And the search result is transmitted to the user terminal. 제1항에 있어서,
상기 서버 프로세서는
상기 속성 조정된 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 상기 추출된 객체의 특징점을 기반으로 유사 상품 이미지를 검색하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And extract at least one object included in the attribute-adjusted query image and search for a similar product image based on a feature point of the extracted object. 제1항에 있어서,
상기 서버 프로세서는
상기 속성 조정된 쿼리 이미지로부터 원본 객체 및 속성 조정 값을 추출하고, 추출된 상기 원본 객체 및 상기 속성 조정 값을 기반으로 상기 상품 관련 이미지를 검색하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And extract the original object and the attribute adjustment value from the attribute-adjusted query image and retrieve the product related image based on the extracted original object and the attribute adjustment value. 제3항에 있어서,
상기 서버 프로세서는
상기 원본 객체의 특징점과 유사한 상품 관련 이미지들을 추출하고, 상기 속성 조정 값들을 기반으로 상기 상품 관련 이미지들을 필터링하여 상기 검색 결과를 획득하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 3,
The server processor
And extract product related images similar to feature points of the original object, and filter the product related images based on the attribute adjustment values to obtain the search result. 제1항에 있어서,
상기 서버 프로세서는
상기 객체의 속성들의 가중치 정보를 상기 사용자 단말로부터 수신하고, 상기 가중치 정보와 상기 속성 조정된 쿼리 이미지를 기반으로 상기 상품 관련 이미지를 검색하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And receiving weight information of attributes of the object from the user terminal and searching for the product related image based on the weight information and the attribute adjusted query image. 제5항에 있어서,
상기 서버 프로세서는
상대적으로 가중치가 높은 속성을 고정하고, 나머지 속성들이 변경된 상품 관련 이미지를 검색하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 5,
The server processor
Fixing a relatively high weight attribute, and the service device characterized in that the remaining attributes are set to retrieve a product-related image has changed. 제5항에 있어서,
상기 서버 프로세서는
상대적으로 가중치가 높게 설정된 속성이 변경된 상품 관련 이미지를 검색하도록 설정된 것을 특징으로 하는 서비스 장치.The method of claim 5,
The server processor
The service device, characterized in that for retrieving the image related to the goods in which the attribute set relatively high weight is changed. 통신 회로;
상기 통신 회로와 기능적으로 연결되는 프로세서;를 포함하고,
상기 프로세서는
상품 관련 객체를 포함하는 쿼리 이미지를 획득하고,
상기 상품 관련 객체의 적어도 하나의 속성 값을 추출하고,
상기 적어도 하나의 속성 값 조정이 가능한 쿼리 이미지를 표시하고,
사용자 입력에 따라 상기 적어도 하나의 속성 값을 조정하고,
속성 조정된 쿼리 이미지를 서비스 장치에 전송하고,
상기 서비스 장치로부터 상기 속성 조정된 쿼리 이미지에 대응하는 상품 관련 이미지를 수신하여 출력하도록 설정된 것을 특징으로 하는 사용자 단말.Communication circuits;
A processor operatively connected with the communication circuit;
The processor is
Obtain a query image that includes product-related objects,
Extract at least one attribute value of the merchandise related object,
Displaying a query image capable of adjusting the at least one attribute value,
Adjust the at least one attribute value according to user input,
Send a property-adjusted query image to the service device,
And receiving and outputting a product related image corresponding to the attribute-adjusted query image from the service device. 제8항에 있어서,
상기 쿼리 이미지를 촬영하는 카메라;
상기 쿼리 이미지를 저장하는 메모리;를 더 포함하는 것을 특징으로 하는 사용자 단말.The method of claim 8,
A camera for photographing the query image;
And a memory storing the query image. 제9항에 있어서,
상기 메모리는
상기 객체의 종류별로 추출한 적어도 하나의 속성을 정의한 속성 테이블을 포함하는 것을 특징으로 하는 사용자 단말.The method of claim 9,
The memory is
And a property table defining at least one property extracted for each type of object. 제8항에 있어서,
상기 프로세서는
사용자 입력에 대응하여, 상기 적어도 하나의 속성 값들의 가중치를 조정하는 것을 특징으로 하는 사용자 단말.The method of claim 8,
The processor is
In response to a user input, the user terminal characterized in that for adjusting the weight of the at least one attribute value. 제8항에 있어서,
상기 프로세서는
상기 속성 조정된 쿼리 이미지와 상기 검색 결과를 한 화면에 출력하도록 설정된 것을 특징으로 하는 사용자 단말.The method of claim 8,
The processor is
The user terminal, characterized in that configured to output the attribute-adjusted query image and the search results on one screen. 서비스 장치가
서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계;
상기 사용자 단말로부터 적어도 하나의 속성이 조정된 객체를 포함하는 속성 조정된 쿼리 이미지를 수신하는 단계;
상기 속성 조정된 쿼리 이미지를 기반으로 상품 관련 이미지를 검색하는 단계;
상기 검색 결과를 상기 사용자 단말에 전송하는 단계;를 포함하는 것을 특징으로 하는 상품 검색 방법.Service device
Establishing a communication channel with the user terminal based on the server communication circuit;
Receiving an attribute adjusted query image including an object whose at least one attribute is adjusted from the user terminal;
Searching for a product related image based on the attribute-adjusted query image;
And transmitting the search results to the user terminal. 제13항에 있어서,
상기 검색하는 단계는
상기 속성 조정된 쿼리 이미지로부터 속성 조정된 객체를 추출하고, 추출된 객체의 특징점을 기반으로 상품 관련 이미지를 검색하는 단계; 또는
상기 속성 조정된 쿼리 이미지로부터 원본 객체와 속성 조정 값을 추출하고, 상기 원본 객체의 특징점을 기반으로 상품 관련 이미지를 검색한 후 상기 속성 조정 값에 따라 필터링하는 단계;를 포함하는 것을 특징으로 하는 상품 검색 방법.The method of claim 13,
The searching step
Extracting an attribute-adjusted object from the attribute-adjusted query image and retrieving a product related image based on feature points of the extracted object; or
Extracting an original object and an attribute adjustment value from the attribute-adjusted query image, searching for an image related to the product based on the feature points of the original object, and filtering the attribute object according to the attribute adjustment value; Search method.
KR1020180101341A 2018-08-28 2018-08-28 Supporting Method for Searching of Goods and service device, and terminal device thereof KR20200024534A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180101341A KR20200024534A (en) 2018-08-28 2018-08-28 Supporting Method for Searching of Goods and service device, and terminal device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101341A KR20200024534A (en) 2018-08-28 2018-08-28 Supporting Method for Searching of Goods and service device, and terminal device thereof

Publications (1)

Publication Number Publication Date
KR20200024534A true KR20200024534A (en) 2020-03-09

Family

ID=69802094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101341A KR20200024534A (en) 2018-08-28 2018-08-28 Supporting Method for Searching of Goods and service device, and terminal device thereof

Country Status (1)

Country Link
KR (1) KR20200024534A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122030A (en) * 2020-03-31 2021-10-08 주식회사 세컨핸즈 Method, system and non-transitory computer-readable recording medium for estimating information about objects
KR20220081838A (en) * 2020-12-09 2022-06-16 남부대학교산학협력단 Directionality selecting system of product development using big data and selecting method thereof
US11915296B2 (en) 2021-08-09 2024-02-27 Coupang Corp. Method for providing item information and apparatus for the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미국 등록 특허 7684651호 (명칭: Image-based face search)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210122030A (en) * 2020-03-31 2021-10-08 주식회사 세컨핸즈 Method, system and non-transitory computer-readable recording medium for estimating information about objects
KR20220081838A (en) * 2020-12-09 2022-06-16 남부대학교산학협력단 Directionality selecting system of product development using big data and selecting method thereof
US11915296B2 (en) 2021-08-09 2024-02-27 Coupang Corp. Method for providing item information and apparatus for the same

Similar Documents

Publication Publication Date Title
JP2020504475A (en) Providing related objects during video data playback
US20210314635A1 (en) System and method for providing image-based video service
US20160179881A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
KR20200024534A (en) Supporting Method for Searching of Goods and service device, and terminal device thereof
US20150189384A1 (en) Presenting information based on a video
TWI651673B (en) Seraching method for product photograph and searching system for product photograph
CA2841910A1 (en) Method of providing an adjusted digital image representation of a view, and an apparatus
JP2015141530A (en) information processing apparatus, score calculation method, program, and system
KR101307325B1 (en) System for dual-searching image using region of interest set
CN112052784A (en) Article searching method, device, equipment and computer readable storage medium
KR20200001887A (en) Supporting Method for Image Searching and service device thereof
KR20200021829A (en) Method for Searching of Goods, service device, and user device thereof
KR20200024538A (en) Method of recommending of information related to an image searching and service device thereof
WO2019134501A1 (en) Method and device for simulating fit of garment on user, storage medium, and mobile terminal
KR20200023095A (en) Method of management of goods information and service device thereof
KR20200024536A (en) Method of providing of image searching result and service device thereof
JP2023026630A (en) Information processing system, information processing apparatus, information processing method, and program
TW202004524A (en) Search method, electronic device and non-transitory computer-readable recording medium
KR102536057B1 (en) Providing Method of summary information for an image searching and service device thereof
CN106649296B (en) Method and device for providing photographing prompt information and searching business object
CN116325770A (en) Display device and image recognition result display method
WO2015100070A1 (en) Presenting information based on a video
KR20200023094A (en) Method of simple image searching and service device thereof
KR20200021830A (en) Method of operating for Searching of image and service device thereof
JP2017076282A (en) Information processing device, information processing method, and information processing program

Legal Events

Date Code Title Description
N231 Notification of change of applicant