KR20200002474A - Method for Processing of result of Searching and service device thereof - Google Patents

Method for Processing of result of Searching and service device thereof Download PDF

Info

Publication number
KR20200002474A
KR20200002474A KR1020180075996A KR20180075996A KR20200002474A KR 20200002474 A KR20200002474 A KR 20200002474A KR 1020180075996 A KR1020180075996 A KR 1020180075996A KR 20180075996 A KR20180075996 A KR 20180075996A KR 20200002474 A KR20200002474 A KR 20200002474A
Authority
KR
South Korea
Prior art keywords
user
information
user terminal
search
search result
Prior art date
Application number
KR1020180075996A
Other languages
Korean (ko)
Inventor
김기현
김하윤
Original Assignee
십일번가 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 십일번가 주식회사 filed Critical 십일번가 주식회사
Priority to KR1020180075996A priority Critical patent/KR20200002474A/en
Publication of KR20200002474A publication Critical patent/KR20200002474A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention provides a method for providing image search information and a service device for supporting the same. The service device can include a server communication circuit and a server processor functionally connected with the server communication circuit. The server processor forms a communication channel with a user terminal based on the server communication circuit, receives, from the user terminal, a query image for image search, searches for an image based on the query image, forms a search result screen based on a result of the image search according to a prestored result providing policy and transmits the same to the user terminal, receives user feedback information from the user terminal while the search result is displayed, and updates a result providing policy related to a screen layout providing the search result based on the received user feedback information. Therefore, feedback information related to a response of a user can be obtained in real time or immediately, thereby increasing the reliability of the search result.

Description

이미지 검색 결과 처리 방법 및 이를 위한 서비스 장치{Method for Processing of result of Searching and service device thereof}Method for processing of result of search and service device

본 발명은 이미지 검색 결과 처리에 있어서 쿼리 이미지의 검색 결과에 대한 사용자 피드백 정보를 획득하고, 이를 기반으로 검색 결과의 신뢰도를 향상시킬 수 있는 이미지 검색 결과 처리 방법 및 이를 위한 서비스 장치에 관한 것이다.The present invention relates to an image search result processing method and a service apparatus therefor that can obtain user feedback information on a search result of a query image in processing an image search result and improve reliability of the search result based on the user feedback information.

통신 기술이 발전함에 따라 다양한 종류의 인터넷 쇼핑몰이 생겨나고 있으며, 현재에 이르러 인터넷 쇼핑몰을 통한 상품 거래는 일상 생활이 되어가고 있다. 이러한 인터넷 쇼핑몰에서 상품을 구매하려는 경우, 사용자는 상품의 이름이나 제조 회사 등과 같이 상품과 관련된 텍스트를 입력하여 유사 상품들을 검색하거나, 인터넷 쇼핑몰에서 제공되는 카테고리 정보들 중에서 소정 카테고리 정보를 선택하여, 유사 상품들을 검색한다. With the development of communication technology, various kinds of internet shopping malls are emerging, and nowadays, product trading through internet shopping malls is becoming a daily life. In order to purchase a product in such an internet shopping mall, a user searches for similar products by inputting text related to the product, such as the name of the product or a manufacturing company, or selects predetermined category information from category information provided in the internet shopping mall, Search for products.

이처럼 종래에는 사용자가 입력한 텍스트나 사용자가 선택한 카테고리 정보에 기초하여 상품을 검색하기 때문에 키워드나 카테고리 정보로 분류하기 어려운 상품들을 검색하기에는 한계가 있었다. 예컨대, 텍스트를 이용하여 특정 대상을 검색하기 위해서, 사용자는 특정 대상이 분류되는 속성 정보를 명확하게 알고 있어야 하는 문제가 있었다.As described above, since the product is searched based on the text input by the user or the category information selected by the user, there is a limit in searching for products that are difficult to classify by keyword or category information. For example, in order to search for a specific object using text, there is a problem that a user must clearly know attribute information in which a specific object is classified.

상술한 문제를 해결하기 위해, 최근에는 특정 상품과 관련한 이미지를 쿼리 이미지로 제공하면, 상기 쿼리 이미지를 기반으로 이미지 검색이 수행되고 그 결과를 제공하는 시스템이 제공되고 있다. In order to solve the above-mentioned problem, recently, when an image related to a specific product is provided as a query image, a system for performing an image search based on the query image and providing a result is provided.

그러나, 이미지를 기반으로 검색을 수행하는 경우, 단순히 형상을 기반으로 한 유사도 분석에 근거하여 이루어지기 때문에, 전혀 다른 카테고리의 이미지가 검색되는 경우가 있으며, 또한, 검색 범위가 매우 넓게 설정되어, 사용자가 희망하지 않는 또는 사용자에게 불필요한 검색 결과까지도 제공되어 검색 결과의 신뢰도가 저하되는 문제가 있었다.However, when performing a search based on an image, since a similarity analysis based on a shape is performed simply, an image of a completely different category may be searched, and the search range is set to be very wide. There was a problem that even undesired or unnecessary search results are provided to the user, thereby lowering the reliability of the search results.

한국 공개 특허 2001-110523호 (명칭: 인터넷을 이용한 여행 상품 검색 시스템 및 이를 이용한 여행 상품 추천 방법)Korean Patent Publication No. 2001-110523 (Name: Travel product search system using internet and travel product recommendation method using same)

본 발명은 이미지 검색 결과를 사용자 단말에 제공하고 사용자 단말의 조작 형태 또는 사용자 단말의 입력 상태 등을 기반으로 이미지 검색 결과에 대한 사용자 반응을 추정하여 검색 결과 제공에 대한 사용자 만족도를 즉각적이며 명확히 측정할 수 있어 검색 결과의 신뢰도를 개선할 수 있는 이미지 검색 결과 처리 방법 및 이를 위한 서비스 장치를 제공하고자 한다.The present invention provides an image search result to the user terminal and estimates the user's response to the image search result based on the operation type of the user terminal or the input state of the user terminal to immediately and clearly measure user satisfaction in providing the search result. Accordingly, an object of the present invention is to provide an image search result processing method and a service apparatus therefor that can improve the reliability of the search result.

본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서를 포함할 수 있다. 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하고, 상기 쿼리 이미지를 기반으로 이미지 검색을 수행하고, 기 저장된 결과 제공 정책에 따라 상기 이미지 검색의 검색 결과를 기반으로 검색 결과 화면을 구성하여 상기 사용자 단말에 전송한 후, 상기 사용자 단말로부터 상기 검색 결과가 표시되는 동안 사용자 피드백 정보를 수신하고, 수신된 상기 사용자 피드백 정보를 기반으로 상기 검색 결과를 제공하는 화면 구성과 관련한 결과 제공 정책을 갱신할 수 있다.The service apparatus according to an exemplary embodiment of the present invention may include a server communication circuit and a server processor operatively connected to the server communication circuit. The server processor forms a communication channel with a user terminal based on the server communication circuit, receives a query image for image search from the user terminal, performs an image search based on the query image, and provides a pre-stored result. After forming a search result screen based on a search result of the image search according to the policy and transmitting the search result screen to the user terminal, receiving user feedback information while the search result is displayed from the user terminal, and receives the user feedback information The result provision policy related to the screen configuration providing the search result may be updated based on the.

여기서, 상기 서버 프로세서는 상기 사용자 단말로부터 로그인 정보를 수신하면, 상기 로그인 정보에 대응하는 기 저장된 사용자 관련 정보를 획득하고, 상기 사용자 관련 정보에 대응하는 개인화된 결과 제공 정책에 따라 상기 검색 결과 화면을 구성하도록 설정될 수 있다.Here, when the server processor receives the login information from the user terminal, the server processor acquires pre-stored user related information corresponding to the login information, and displays the search result screen according to a personalized result providing policy corresponding to the user related information. Can be set to configure.

한편, 상기 서버 프로세서는 상기 검색 결과가 상기 사용자 단말에 표시되는 동안 사용자 조작에 따라 상기 사용자 단말의 조작 상태 정보를 상기 사용자 피드백 정보로서 획득하도록 설정될 수 있다.The server processor may be configured to acquire, as the user feedback information, operation state information of the user terminal according to a user operation while the search result is displayed on the user terminal.

또한, 상기 서버 프로세서는 상기 결과 제공 정책에 따라, 사용자에게 제공할 상품의 종류, 상품 객체가 표시될 화면 상에서의 크기, 상품 객체가 표시될 화면 상에서의 위치 중 적어도 하나를 결정하도록 설정될 수 있다.The server processor may be configured to determine at least one of a kind of a product to be provided to a user, a size on a screen on which a product object is displayed, and a location on a screen on which a product object is displayed according to the result providing policy. .

상기 서버 프로세서는 로그인되지 않은 가상 페이지를 통해 상기 쿼리 이미지를 획득한 경우, 디폴트로 제공되는 일반 결과 제공 정책을 상기 사용자 피드백 정보를 기반으로 갱신하도록 설정될 수 있다.When the server processor acquires the query image through a virtual page that is not logged in, the server processor may be configured to update a general result providing policy, which is provided by default, based on the user feedback information.

상기 서버 프로세서는 로그인된 가상 페이지를 통해 상기 쿼리 이미지를 획득한 경우, 상기 사용자 단말과 관련하여 기 저장된 사용자 관련 정보에 대응하는 개인화된 결과 제공 정책을 상기 사용자 피드백 정보를 기반으로 갱신하도록 설정될 수 있다.The server processor may be configured to update a personalized result providing policy corresponding to pre-stored user related information related to the user terminal based on the user feedback information when the query image is obtained through a logged-in virtual page. have.

상기 서버 프로세서는 상기 검색 결과 화면을 통해 상품 구매가 수행된 경우, 구매된 상품의 속성 정보를 수집하고, 수집된 상기 상품 속성 정보를 기반으로 상기 결과 제공 정책을 갱신하도록 설정될 수 있다.When a product purchase is performed through the search result screen, the server processor may be configured to collect attribute information of the purchased product and update the result providing policy based on the collected product attribute information.

상기 서버 프로세서는 상기 검색 결과 화면을 통해 제공된 상품이 가상 장바구니 정보에 등록된 경우, 상기 가상 장바구니 정보에 등록된 상품의 속성 정보를 수집하고, 상기 상품 속성 정보를 사용자 선호 후보 정보로 저장 관리하도록 설정될 수 있다.When the product provided through the search result screen is registered in the virtual shopping cart information, the server processor collects property information of the product registered in the virtual shopping cart information and stores and manages the product property information as user preference candidate information. Can be.

여기서, 상기 서버 프로세서는 상기 사용자 선호 후보 정보가 지정된 조건을 만족하는 경우 상기 사용자 선호 후보 정보를 사용자 선호 정보로 변경하고, 상기 변경된 사용자 선호 정보를 기반으로 상기 결과 제공 정책을 갱신하도록 설정될 수 있다.Here, when the user preference candidate information satisfies a specified condition, the server processor may be configured to change the user preference candidate information to user preference information and update the result providing policy based on the changed user preference information. .

본 발명의 실시 예에 따른 서비스 장치 운용 방법은 서비스 장치가, 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지를 기반으로 이미지 검색을 수행하는 단계, 기 저장된 결과 제공 정책에 따라 상기 이미지 검색의 검색 결과를 기반으로 검색 결과 화면을 구성하여 상기 사용자 단말에 전송하는 단계, 상기 사용자 단말로부터 상기 검색 결과가 표시되는 동안 사용자 입력에 따른 사용자 단말의 조작 상태 정보를 사용자 피드백 정보로 수신하는 단계, 수신된 상기 사용자 피드백 정보를 기반으로 상기 검색 결과를 제공하는 화면 구성과 관련한 결과 제공 정책을 갱신하는 단계를 포함할 수 있다.In a method of operating a service device according to an embodiment of the present invention, the method includes a service device forming a communication channel with a user terminal based on a server communication circuit, receiving a query image for image search from the user terminal, and the query image. Performing an image search based on the search result; constructing a search result screen based on the search result of the image search according to a pre-stored result providing policy and transmitting the search result screen to the user terminal; and displaying the search result from the user terminal And receiving operation status information of the user terminal according to a user input as user feedback information, and updating a result providing policy related to a screen configuration for providing the search result based on the received user feedback information. have.

여기서, 상기 검색 결과 화면을 구성하여 상기 사용자 단말에 전송하는 단계는 상기 결과 제공 정책에서 사용자 선호 정보를 확인하는 단계, 상기 사용자 선호 정보에 대응하는 카테고리의 적어도 하나의 객체가 상기 검색 결과 화면에서 지정된 크기 및 지정된 위치를 가지며 배치되도록 구성하는 단계를 포함할 수 있다.The configuring of the search result screen and transmitting the search result screen to the user terminal may include checking user preference information in the result providing policy, and specifying at least one object of a category corresponding to the user preference information on the search result screen. And may be configured to have a size and a designated location.

본 발명은 이미지 검색 결과의 신뢰도 및 정확도 개선과 관련하여, 검색 결과에 대한 사용자의 반응을 사용자 단말 조작을 통해 획득함으로써, 신뢰도 추정을 위한 파라미터를 일반화할 수 있고, 실시간 또는 즉각적으로 사용자의 반응과 관련한 피드백 정보를 획득할 수 있어, 검색 결과의 신뢰도를 개선할 수 있다. According to the present invention, in relation to improving the reliability and accuracy of an image search result, by obtaining a user's response to the search result through a user terminal operation, it is possible to generalize parameters for estimating the reliability, and in real time or immediately, Relevant feedback information can be obtained, thereby improving the reliability of the search results.

또한, 본 발명은 사용자별 반응을 확인해나가면서 이미지 검색이 반복되는 동안 사용자에게 보다 적합한 검색 결과를 보다 신속하게 제공할 수 있다. In addition, the present invention can provide a more suitable search results more quickly to the user while the image search is repeated while checking the user-specific response.

기타, 본 발명의 다른 효과들은 후술하는 다양한 실시 예들에 의해 제공될 수 있다.In addition, other effects of the present invention may be provided by various embodiments described below.

도 1은 본 발명의 실시 예에 따른 이미지 검색 결과 처리와 관련한 서비스 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 서버 프로세서의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 다른 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 서비스 장치의 검색 결과 갱신 방법의 일 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 서비스 장치의 검색 결과 제공 방법의 일 예를 나타낸 도면이다. 1 is a diagram illustrating an example of a service system related to image search result processing according to an exemplary embodiment of the present invention.
2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of a server processor according to an exemplary embodiment of the present invention.
5 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.
6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.
7 is a view showing another example of a method of operating a service device according to an embodiment of the present invention.
8 is a diagram illustrating an example of a method of updating a search result of a service apparatus according to an exemplary embodiment of the present invention.
9 is a diagram illustrating an example of a method of providing a search result of a service apparatus according to an exemplary embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It is to be understood, however, that the intention is not to limit the invention to specific embodiments, but to cover various modifications, equivalents, and / or alternatives to the embodiments of the invention. In connection with the description of the drawings, similar reference numerals may be used for similar components.

도 1은 본 발명의 실시 예에 따른 이미지 검색 결과 처리와 관련한 서비스 시스템의 일 예를 나타낸 도면이다.1 is a diagram illustrating an example of a service system related to image search result processing according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 서비스 시스템(10)은 사용자 단말(100), 서비스 장치(200) 및 네트워크(50)를 포함할 수 있다. Referring to FIG. 1, the service system 10 according to an exemplary embodiment of the present invention may include a user terminal 100, a service device 200, and a network 50.

상기 본 발명이 적용되는 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 이미지 검색 기능 제공 시스템은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 사용자 단말(100) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200) 또는 사용자 단말(100)이 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 상기 사용자 단말(100)과 상기 서비스 장치(200) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.The network 50 to which the present invention is applied is not only an IP-based wired communication network such as the Internet network, but also a long term evolution (LTE) network, a mobile communication network such as a WCDMA network, and various types of wireless networks such as a Wi-Fi network. , And combinations thereof. That is, the image search function providing system according to the present invention can be applied to both wired and wireless communication networks without distinction. In more detail, the network 50 may establish a communication channel between the service device 200 and the user terminal 100. For example, the network 50 may support at least one of 3G, 4G, and 5G wireless mobile communication methods that the service device 200 or the user terminal 100 may operate. Alternatively, the network 50 may form a communication channel between the user terminal 100 and the service device 200 on a wired basis. Such a network 50 should be interpreted as a concept including various wired networks, wireless networks, and combination networks thereof that are currently developed and commercialized, or may be developed and commercialized in the future.

상기 사용자 단말(100)은 네트워크(50)를 통하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 상기 사용자 단말(100)은 이미지 검색 기능과 관련하여 서비스 장치(200)와 통신 채널을 형성할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 또는 이미지 검색 기능을 제공할 수 있는 웹 브라우저를 저장 및 설치할 수 있다. 사용자 단말(100)은 서비스 장치(200)로부터 이미지 검색 기능과 관련한 데이터 예컨대, 이미지 검색 기능과 관련한 가상 페이지 또는 웹 페이지를 수신하고, 출력할 수 있다. 또는, 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 실행 화면을 출력할 수 있다. 사용자 단말(100)은 이미지 검색(또는 상품 검색)과 관련한 쿼리 이미지(예: 카메라를 이용하여 촬영한 이미지 또는 메모리에 기 저장된 이미지 등)를 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 쿼리 이미지를 기반으로 검색된 검색 결과를 수신하여 출력할 수 있다. 상기 사용자 단말(100)은 검색 결과를 디스플레이(130)에 출력하면서 사용자 조작에 따른 입력 신호를 수신할 수 있다. 상기 사용자 단말(100)은 검색 결과를 디스플레이(130)에 출력하는 동안 사용자 조작에 따른 사용자 단말(100)의 조작 상태 정보(또는 사용자 입력 신호)를 사용자 피드백 정보로서 서비스 장치(200)에 전송할 수 있다. The user terminal 100 may establish a communication channel with the service apparatus 200 through the network 50. The user terminal 100 may establish a communication channel with the service device 200 in relation to the image search function. In this regard, the user terminal 100 may store and install a web browser capable of providing an application or an image search function related to an image search function. The user terminal 100 may receive and output data related to the image search function, for example, a virtual page or a web page related to the image search function, from the service device 200. Alternatively, the user terminal 100 may output an application execution screen related to the image search function. The user terminal 100 transmits a query image (eg, an image photographed using a camera or an image previously stored in a memory) related to an image search (or a product search) to the service apparatus 200, and the service apparatus 200. The search results retrieved based on the query image can be received from and output. The user terminal 100 may receive an input signal according to a user manipulation while outputting a search result to the display 130. The user terminal 100 may transmit the operation state information (or user input signal) of the user terminal 100 according to the user operation as the user feedback information to the service device 200 while outputting the search result on the display 130. have.

상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)의 이미지 검색 기능을 지원할 수 있다. 예를 들어, 서비스 장치(200)는 연결된 사용자 단말(100)에 이미지 검색 기능과 관련한 가상 페이지를 제공하고, 사용자 단말(100)로부터 쿼리 이미지를 수신할 수 있다. 상기 서비스 장치(200)는 상기 쿼리 이미지를 기반으로 이미지 검색을 수행하고, 획득된 검색 결과를 사용자 단말(100)에 제공할 수 있다. 상기 서비스 장치(200)는 사용자 단말(100)로부터 검색 결과를 제공하는 동안 사용자 피드백 정보를 수집할 수 있다. 서비스 장치(200)는 수신된 사용자 피드백 정보를 기반으로 사용자에게 제공한 검색 결과의 신뢰도를 조정할 수 있다. 또한, 서비스 장치(200)는 상기 신뢰도에 따라(또는 사용자 피드백 정보에 따라) 검색 결과 페이지의 형태를 조정할 수 있다. The service device 200 may establish a communication channel with the user terminal 100 through the network 50 and support an image search function of the user terminal 100. For example, the service device 200 may provide a virtual page related to an image search function to the connected user terminal 100 and receive a query image from the user terminal 100. The service device 200 may perform an image search based on the query image and provide the obtained search result to the user terminal 100. The service device 200 may collect user feedback information while providing a search result from the user terminal 100. The service device 200 may adjust the reliability of the search result provided to the user based on the received user feedback information. In addition, the service device 200 may adjust the shape of the search result page according to the reliability (or according to the user feedback information).

이하, 상술한 사용자 단말(100) 및 서비스 장치(200)의 세부 구성과 운용에 대하여 다양한 예를 설명하기로 한다.Hereinafter, various examples of the detailed configuration and operation of the user terminal 100 and the service device 200 described above will be described.

도 2는 본 발명의 실시 예에 따른 사용자 단말의 구성의 일 예를 나타낸 도면이다.2 is a diagram illustrating an example of a configuration of a user terminal according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 단말(100)은 통신 회로(110), 입력 장치(120), 디스플레이(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.Referring to FIG. 2, the user terminal 100 according to an exemplary embodiment of the present invention may include a communication circuit 110, an input device 120, a display 130, a memory 140, and a processor 150. .

상기 통신 회로(110)는 네트워크(50)와 통신 채널을 형성하고, 네트워크(50)를 기반으로 서비스 장치(200)와 이미지 검색 기능과 관련한 데이터를 송수신할 수 있다. 예컨대, 통신 회로(110)는 이미지 검색 기능과 관련한 가상 페이지 수신, 쿼리 이미지의 송신, 검색 결과 수신과 관련한 통신 기능을 지원할 수 있다. 또한, 상기 통신 회로(110)는 검색 결과를 출력하는 동안 수집된 사용자 피드백 정보를 서비스 장치(200)에 전송할 수 있다. 이와 관련하여, 상기 통신 회로(110)는 3G, 4G, 5G 등의 원거리 무선 통신 네트워크 기반의 통신 채널을 형성하거나, 와이파이 등의 근거리 통신 네트워크 기반의 통신 채널을 형성할 수 있다. The communication circuit 110 may establish a communication channel with the network 50, and transmit and receive data related to an image search function with the service device 200 based on the network 50. For example, the communication circuit 110 may support a virtual page reception related to an image search function, a transmission of a query image, and a communication function related to reception of a search result. In addition, the communication circuit 110 may transmit the user feedback information collected while the search result is output to the service device 200. In this regard, the communication circuit 110 may form a communication channel based on a long distance wireless communication network such as 3G, 4G, 5G, or may form a communication channel based on a short range communication network such as Wi-Fi.

상기 입력 장치(120)는 사용자 단말(100) 조작과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력 장치(120)는 이미지 검색 기능과 관련한 어플리케이션 실행 아이콘 등을 선택할 수 있는 버튼 키 또는 가상 버튼 키, 음성 입력 기능 등을 지원할 수 있다. 상기 입력 장치(120)는 쿼리 이미지 획득 또는 쿼리 이미지 선택과 관련한 사용자 입력 등을 프로세서(150)에 전달할 수 있다. 또는, 상기 입력 장치(120)는 검색 결과가 디스플레이(130)에 출력되는 동안 사용자 조작에 따른 터치 입력, 버튼 입력, 음성 입력 등을 수집하고, 수집된 입력을 프로세서(150)에 전달할 수 있다. 한편, 터치 기능의 디스플레이(130)는 입력 장치(120)로서 기능할 수 있다. 또는 입력 장치(120)는 음성 입력 기능과 관련하여 적어도 하나의 마이크를 포함하고, 키워드에 대응하는 사용자 음성을 획득하여, 프로세서(150)에 전달할 수 있다.The input device 120 may receive a user input related to the operation of the user terminal 100. For example, the input device 120 may support a button key or a virtual button key or a voice input function for selecting an application execution icon related to an image search function. The input device 120 may transmit a user input related to query image acquisition or query image selection to the processor 150. Alternatively, the input device 120 may collect a touch input, a button input, a voice input, etc. according to a user's operation while the search result is output on the display 130, and transmit the collected input to the processor 150. On the other hand, the display 130 of the touch function may function as the input device 120. Alternatively, the input device 120 may include at least one microphone in connection with a voice input function, obtain a user voice corresponding to a keyword, and transmit the user voice to the processor 150.

상기 디스플레이(130)는 사용자 단말(100)의 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(130)는 이미지 검색 기능 실행에 따른 실행 화면, 서비스 장치(200) 접속 화면(예: 가상 페이지 표시 화면), 쿼리 이미지 획득 화면, 쿼리 이미지 선택 화면, 쿼리 이미지 전송 화면, 검색 결과 수신 화면 등을 출력할 수 있다. 상기 디스플레이(130)는 터치스크린으로 마련되고 검색 결과 수신 화면이 출력되는 동안 사용자 조작에 따른 터치 이벤트를 프로세서(150)에 전달할 수 있다. The display 130 may output at least one screen related to the operation of the user terminal 100. For example, the display 130 may include an execution screen according to execution of an image search function, a service device 200 connection screen (eg, a virtual page display screen), a query image acquisition screen, a query image selection screen, a query image transmission screen, The search result reception screen may be output. The display 130 may be provided as a touch screen and transmit a touch event according to a user's operation to the processor 150 while the search result reception screen is output.

상기 메모리(140)는 사용자 단말(100)의 운용과 관련한 데이터 또는 응용 프로그램 등을 저장할 수 있다. 예를 들면, 상기 메모리(140)는 이미지 검색 프로그램(또는 어플리케이션) 또는 이미지 검색 기능을 지원하는 웹 브라우저를 저장할 수 있다. 메모리(140)는 적어도 하나의 쿼리 이미지를 저장할 수 있다. 상기 쿼리 이미지는 카메라를 통해 획득되거나 또는 상기 통신 회로(110)를 통해 외부 전자 장치로부터 획득될 수 있다. 쿼리 이미지 획득과 관련하여, 상기 사용자 단말(100)은 카메라(미도시)를 더 포함할 수 있다. 상기 메모리(140)는 서비스 장치(200)가 제공하는 검색 결과를 임시 또는 반 영구적으로 저장할 수 있다.The memory 140 may store data or application programs related to the operation of the user terminal 100. For example, the memory 140 may store an image search program (or application) or a web browser supporting an image search function. The memory 140 may store at least one query image. The query image may be obtained through a camera or from an external electronic device through the communication circuit 110. In relation to query image acquisition, the user terminal 100 may further include a camera (not shown). The memory 140 may temporarily or semi-permanently store a search result provided by the service device 200.

상기 프로세서(150)는 사용자 단말(100)의 운용과 관련한 데이터의 처리 또는 전달을 수행할 수 있다. 예를 들어, 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 이미지 검색 프로그램(예: 이미지 검색 어플리케이션 또는 웹 브라우저)을 실행할 수 있다. 이 동작에서, 프로세서(150)는 상기 통신 회로(110)를 이용하여 서비스 장치(200)에 접속하고, 상기 서비스 장치(200)로부터 이미지 검색 기능과 관련한 가상 페이지를 수신할 수 있다. 상기 프로세서(150)는 서비스 장치(200) 요청에 대응하여 사용자 정보 확인(예: 로그인 정보 및 패스워드 입력) 과정을 처리할 수도 있다. 상기 프로세서(150)는 상기 서비스 장치(200)가 제공한 가상 페이지를 통해 사용자 관련 정보 등록을 수행할 수 있다. 상기 사용자 관련 정보는 예컨대, 상기 사용자 단말(100)과 관련한 장치 고유 식별 정보, 사용자의 신상 정보(예: 사용자 이름, 사용자 나이, 체중, 키, 학력), 사용자 관계 정보(예: 가족 구성원, 친구, 직장 등), 환경 정보(예: 사용자 단말(100)의 현재 위치 정보, 시간 또는 계절 정보, 날씨 정보 등) 중 적어도 일부를 입력할 수 있는 입력 화면을 디스플레이(130)에 출력하고, 사용자 입력에 따라 서비스 장치(200)에 저장된 상기 사용자 관련 정보를 등록 또는 변경할 수 있다.The processor 150 may process or transmit data related to the operation of the user terminal 100. For example, the processor 150 may execute an image search program (eg, an image search application or a web browser) in response to a user input input through the input device 120. In this operation, the processor 150 may access the service device 200 using the communication circuit 110 and receive a virtual page related to an image search function from the service device 200. The processor 150 may process a user information check (eg, login information and password input) in response to a request of the service device 200. The processor 150 may register user related information through a virtual page provided by the service device 200. The user-related information may include, for example, device-specific identification information related to the user terminal 100, personal information of the user (eg, user name, user age, weight, height, educational background), user relationship information (eg, family member, friend). , Workplace, etc.) and environment information (for example, current location information of the user terminal 100, time or season information, weather information, etc.) and an input screen for inputting at least some of the information to the display 130. The user related information stored in the service device 200 may be registered or changed according to the present invention.

상기 프로세서(150)는 사용자 입력에 대응하여 쿼리 이미지를 획득할 수 있다. 예를 들어, 상기 프로세서(150)는 사용자 입력에 대응하여 카메라를 활성화하고, 지정된 피사체에 관한 이미지 촬영을 제어할 수 있다. 프로세서(150)는 촬영된 이미지를 메모리(140)에 임시 또는 반영구적으로 저장할 수 있다. 또는, 프로세서(150)는 사용자 입력에 대응하여 외부 전자 장치 접속을 수행하고, 외부 전자 장치로부터 적어도 하나의 이미지를 수신하여 저장할 수 있다. 상기 프로세서(150)는 사용자 입력에 대응하여 메모리(140)에 기 저장된 이미지 또는 카메라를 통해 획득된 이미지 중 적어도 하나를 쿼리 이미지로 선택할 수 있는 선택 화면을 디스플레이(130)에 출력할 수 있다. 이 동작에서 프로세서(150)는 복수의 쿼리 이미지들을 썸네일 형태로 출력할 수 있다. 상기 프로세서(150)는 특정 썸네일을 선택하는 사용자 입력이 발생하는 경우, 선택된 썸네일을 전체 화면을 출력하면서, 쿼리 이미지 선택 완료 여부를 확인할 수 있다. 상기 프로세서(150)는 쿼리 이미지 선택을 위한 사용자 입력이 발생하면, 선택된 쿼리 이미지를 통신 회로(110)를 통해 서비스 장치(200)에 전송할 수 있다. The processor 150 may obtain a query image in response to a user input. For example, the processor 150 may activate a camera in response to a user input and control image capturing of a specified subject. The processor 150 may temporarily or semi-permanently store the captured image in the memory 140. Alternatively, the processor 150 may access an external electronic device in response to a user input, and receive and store at least one image from the external electronic device. The processor 150 may output to the display 130 a selection screen for selecting at least one of an image previously stored in the memory 140 or an image acquired through a camera as a query image in response to a user input. In this operation, the processor 150 may output a plurality of query images in thumbnail form. When a user input for selecting a particular thumbnail is generated, the processor 150 may check whether the query image selection is completed while outputting the selected thumbnail in full screen. When a user input for selecting a query image occurs, the processor 150 may transmit the selected query image to the service device 200 through the communication circuit 110.

상기 쿼리 이미지는 복수의 상품 관련 객체를 포함할 수 있다. 이에 대응하여, 서비스 장치(200)가 제공하는 검색 결과 역시, 복수의 상품 관련 객체와 관련한 검색 결과를 포함할 수 있다. 또는, 상기 쿼리 이미지에 복수개의 상품 관련 객체가 포함된 경우, 상기 프로세서(150)는 사용자가 선택한 상품 관련 객체 정보를 상기 서비스 장치(200)에 제공할 수 있다. 이와 관련하여, 상기 프로세서(150)는 쿼리 이미지에 복수개의 상품 관련 객체가 검출된 경우, 적어도 하나의 상품 관련 객체를 선택할 수 있는 화면을 디스플레이(130)에 출력할 수 있다. 또는, 프로세서(150)는 쿼리 이미지에 포함된 복수의 객체들 중 일정 이상의 크기를 가지는 객체를 추출하여 서비스 장치(200)에 제공할 수 있다. 또는, 프로세서(150)는 쿼리 이미지 내 가장 큰 크기를 가지는 객체를 추출하여 서비스 장치(200)에 제공할 수 있다. The query image may include a plurality of product related objects. Correspondingly, the search results provided by the service device 200 may also include search results related to the plurality of product-related objects. Alternatively, when a plurality of product-related objects are included in the query image, the processor 150 may provide the service device 200 with product-related object information selected by the user. In this regard, when a plurality of product-related objects are detected in the query image, the processor 150 may output a screen on which the at least one product-related object can be selected to the display 130. Alternatively, the processor 150 may extract an object having a predetermined size or more from among a plurality of objects included in the query image and provide the same to the service device 200. Alternatively, the processor 150 may extract the object having the largest size in the query image and provide the same to the service device 200.

상기 프로세서(150)는 서비스 장치(200)로부터 상기 쿼리 이미지 (또는, 상기 쿼리 이미지와 서비스 장치(200)에 등록된 사용자 이력 정보)를 기반으로 검색된 검색 결과를 수신할 수 있다. 상기 프로세서(150)는 상기 서비스 장치(200)로부터 수신된 검색 결과를 디스플레이(130)에 출력할 수 있다. 이 동작에서, 상기 프로세서(150)는 화면을 분할하고, 분할된 제1 화면 영역에 상기 쿼리 이미지를 출력하고, 분할된 제2 화면 영역에 수신된 검색 결과를 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 검색 결과를 디스플레이(130) 전체 화면에 출력하고, 상기 쿼리 이미지에 대응하는 썸네일을 상기 검색 결과 전체 화면에 오버레이 방식으로 출력할 수 있다. The processor 150 may receive a search result searched based on the query image (or user history information registered in the query image and the service device 200) from the service device 200. The processor 150 may output a search result received from the service device 200 to the display 130. In this operation, the processor 150 may divide the screen, output the query image in the divided first screen area, and output the received search result in the divided second screen area. Alternatively, the processor 150 may output the search result on the entire screen of the display 130, and output a thumbnail corresponding to the query image on the full screen of the search result in an overlay manner.

상기 프로세서(150)는 상기 검색 결과가 복수개인 경우, 복수개의 검색 결과 중 일부 검색 결과를 서비스 장치(200)로부터 수신하고, 일부 검색 결과를 디스플레이(130)에 출력할 수 있다. 이후, 프로세서(150)는 사용자 입력에 따라, 나머지 검색 결과를 서비스 장치(200)에 요청하고, 수신된 나머지 검색 결과를 디스플레이(130)에 새롭게 출력할 수 있다. When there are a plurality of search results, the processor 150 may receive some search results from the plurality of search results from the service device 200 and output some search results to the display 130. Thereafter, the processor 150 may request the remaining search results from the service device 200 according to a user input and newly output the received remaining search results to the display 130.

상기 프로세서(150)는 검색 결과를 디스플레이(130)에 출력하는 동안 발생하는 사용자 단말(100)의 조작 상태 정보를 수집할 수 있다. 예를 들면, 프로세서(150)는 검색 결과 화면(또는 검색 결과 페이지)에서 어떠한 위치에 배치된 컨텐츠를 선택하는지, 검색 결과 화면이 표시되는 시간, 검색 결과 화면 중 메인 상품 객체를 지시하는 시간, 상품 변경 요청을 위한 조작 등을 포함하는 사용자 단말(100) 조작 상태 정보를 수집할 수 있다. 상기 프로세서(150)는 수집된 사용자 단말(100)의 조작 상태 정보를 사용자 피드백 정보로서 서비스 장치(200)에 전달할 수 있다. 이에 따라, 서비스 장치(200)에 전달되는 조작 상태 정보는, 검색 결과 화면과 터치 이벤트가 발생한 위치 정보 또는 하일라이트(객체를 지시하는데 이용되는 표시 효과)가 할당된 객체 정보 등을 포함할 수 있다. The processor 150 may collect operation state information of the user terminal 100 generated while outputting a search result to the display 130. For example, the processor 150 selects the content placed in the search result screen (or search result page), the time when the search result screen is displayed, the time indicating the main product object among the search result screens, and the product. The operation state information of the user terminal 100 including an operation for change request may be collected. The processor 150 may transmit the collected operation state information of the user terminal 100 to the service apparatus 200 as user feedback information. Accordingly, the operation state information transmitted to the service apparatus 200 may include a search result screen and position information where a touch event occurs or object information to which a highlight (display effect used to indicate an object) is assigned. .

상기 프로세서(150)는 상기 사용자 피드백 정보 전송 전에 사용자에게 확인 메시지를 출력하고, 사용자의 확인 또는 승인을 거쳐 상기 사용자 피드백 정보를 서비스 장치(200)에 전송할 수 있다. 또는, 상기 사용자 단말(100)이 상기 서비스 장치(200)에 접속하거나 서비스 장치(200) 이용과 관련한 어플리케이션을 설치하는 과정에서 상기 사용자 피드백 정보의 수집 동의가 요구될 수 있다.The processor 150 may output a confirmation message to the user before transmitting the user feedback information, and transmit the user feedback information to the service device 200 through confirmation or approval of the user. Alternatively, the user terminal 100 may request to collect the user feedback information in the process of accessing the service device 200 or installing an application related to the use of the service device 200.

도 3은 본 발명의 실시 예에 따른 서비스 장치의 일 예를 나타낸 도면이다.3 is a diagram illustrating an example of a service apparatus according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 장치(200)(또는 서버 장치)는 서버 통신 회로(210), 데이터베이스(240) 및 서버 프로세서(250)를 포함할 수 있다. 상기 데이터베이스(240)는 상기 서비스 장치(200)에 포함되는 형태로 도시하였으나, 상기 데이터베이스(240)는 상기 서비스 장치(200)와 독립된 구성으로 마련될 수 있다. 이 경우, 서버 프로세서(250)는 별도로 구성된 데이터베이스(240) 장치 또는 서버와 통신 채널을 형성하고, 검색 동작을 수행하도록 제어할 수도 있다.Referring to FIG. 3, a service device 200 (or a server device) according to an embodiment of the present invention may include a server communication circuit 210, a database 240, and a server processor 250. Although the database 240 is illustrated as being included in the service device 200, the database 240 may be provided in a configuration independent of the service device 200. In this case, the server processor 250 may establish a communication channel with a separately configured database 240 device or a server and perform a search operation.

상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 기능을 담당할 수 있다. 예를 들어, 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 사용자 단말(100)과 통신 채널을 형성할 수 있다. 예를 들어, 서버 통신 회로(210)는 서버 프로세서(250) 제어에 대응하여 쿼리 이미지의 수신, 사용자 관련 정보(또는 사용자 이력 정보) 수신, 또는 사용자 관련 정보 변경을 요청하는 정보 수신, 로그인과 관련한 사용자 정보 수신, 검색 결과 전송 등을 수행할 수 있다. 또한, 상기 서버 통신 회로(210)는 사용자 단말(100)로부터 사용자 피드백 정보를 수신하고 이를 서버 프로세서(250)에 전달할 수 있다.The server communication circuit 210 may be in charge of a communication function of the service device 200. For example, the server communication circuit 210 may form a communication channel with at least one user terminal 100 through the network 50. For example, the server communication circuit 210 may be configured to receive a query image, receive user related information (or user history information), or receive information requesting to change user related information, or log in under the control of the server processor 250. Receive user information, transmit search results, etc. In addition, the server communication circuit 210 may receive user feedback information from the user terminal 100 and transmit it to the server processor 250.

상기 데이터베이스(240)는 서비스 장치(200) 운용과 관련한 데이터 또는 프로그램을 저장할 수 있다. 상기 데이터베이스(240)는 이미지 검색 기능 운용과 관련하여, 적어도 하나의 상품 관련 이미지(241) 및 사용자 관련 정보(243)(또는 사용자 이력 정보)를 저장할 수 있다. 또한, 데이터베이스(240)는 사용자 피드백 정보(245) 및 결과 제공 정책(247)을 저장할 수 있다.The database 240 may store data or programs related to the operation of the service device 200. The database 240 may store at least one product related image 241 and user related information 243 (or user history information) in connection with operating an image search function. In addition, the database 240 may store the user feedback information 245 and the result providing policy 247.

상기 적어도 하나의 상품 관련 이미지(241)는 사용자 단말(100)이 제공한 쿼리 이미지 및 사용자 이력 정보를 기반으로 검색될 수 있는 이미지들을 포함할 수 있다. 예를 들어, 적어도 하나의 상품 관련 이미지(241)는 구두, 가방, 옷, 모자, 전자 기기, 액세서리 등 다양한 상품들의 이미지들을 포함할 수 있다. 상기 데이터베이스(240)는 적어도 하나의 상품 관련 이미지(241)에 포함된 객체들의 특징점들을 저장 관리할 수 있다. 이에 따라, 쿼리 이미지가 사용자 단말(100)로부터 제공되면, 상기 데이터베이스(240)에 저장된 다양한 상품 관련 이미지(241)들 중 상기 쿼리 이미지에 포함된 객체의 특징점에 대응되는 객체를 포함한 상품 관련 이미지가 서버 프로세서(250)에 제공될 수 있다.The at least one product related image 241 may include images that can be searched based on a query image provided by the user terminal 100 and user history information. For example, the at least one product related image 241 may include images of various products such as shoes, bags, clothes, hats, electronic devices, and accessories. The database 240 may store and manage the feature points of the objects included in the at least one product related image 241. Accordingly, when the query image is provided from the user terminal 100, among the various product related images 241 stored in the database 240, a product related image including an object corresponding to a feature point of an object included in the query image is displayed. It may be provided to the server processor 250.

상기 사용자 관련 정보(243)는 상기 서비스 장치(200)에 등록된 적어도 하나의 사용자와 관련한 다양한 정보를 포함할 수 있다. 예를 들면, 상기 사용자 관련 정보(243) 중 적어도 일부는 앞서 언급한 바와 같이, 사용자 단말(100)의 장치 식별 고유 정보, 신상 정보, 관계 정보 및 환경 정보 중 적어도 하나의 카테고리 정보를 포함할 수 있다. 또는, 상기 사용자 관련 정보(243)는 특정 사용자의 로그인 정보를 포함할 수 있다. 또한, 상기 사용자 관련 정보(243)는 특정 사용자가 상기 서비스 장치(200)를 통해 이용한 서비스 이용 이력 정보를 포함할 수 있다. 예를 들어, 상기 사용자 관련 정보(243)는 상기 서비스 장치(200)를 통해 구매 또는 판매한 상품 정보, 상기 서비스 장치(200)를 통해 검색한 상품 정보, 타 사용자에게 선물한 선물 제공 정보, 타 사용자로부터 선물 받은 선물 수신 정보, 가상 장바구니 정보 등의 카테고리 정보를 포함할 수 있다. 상기 사용자 관련 정보(243)는 정보 내에 포함된 각 카테고리 정보들에 대한 가중치 설정 정보를 포함할 수 있다. 상기 가중치 설정 정보는 사용자 입력에 의해 변경될 수 있다.The user related information 243 may include various information related to at least one user registered in the service device 200. For example, at least some of the user related information 243 may include at least one category information of device identification unique information, personal information, relationship information, and environment information of the user terminal 100 as described above. have. Alternatively, the user related information 243 may include login information of a specific user. In addition, the user related information 243 may include service usage history information used by a specific user through the service device 200. For example, the user-related information 243 may include product information purchased or sold through the service device 200, product information retrieved through the service device 200, gift providing information presented to other users, and other information. Category information such as gift reception information and virtual shopping cart information received from a user may be included. The user related information 243 may include weight setting information for each category information included in the information. The weight setting information may be changed by user input.

사용자 피드백 정보(245)는 검색 결과를 제공한 사용자 단말(100)로부터 획득된 사용자 단말의 조작 상태 정보를 포함할 수 있다. 이러한 사용자 피드백 정보는 예컨대, 검색 결과에 포함된 복수개의 객체들과 관련하여 어떠한 객체가 얼마 동안 지시되었는지, 지시 또는 선택된 객체들의 종류와 개수 정보를 포함할 수 있다. 상기 사용자 피드백 정보(245)는 검색 결과 화면(또는 검색 결과 페이지)과 함께 서버 프로세서(250)에 전달될 수 있다. 즉, 상기 조작 상태 정보는, 검색 결과와 관련된 사용자의 조작 정보로 정의될 수 있다.The user feedback information 245 may include operation state information of the user terminal obtained from the user terminal 100 that provided the search result. Such user feedback information may include, for example, information on how long an object is indicated in relation to a plurality of objects included in a search result, and the type and number of objects indicating or selected. The user feedback information 245 may be transmitted to the server processor 250 along with a search result screen (or search result page). That is, the manipulation state information may be defined as manipulation information of the user related to the search result.

결과 제공 정책(247)은 사용자 단말(100)에 제공할 검색 결과를 어떠한 화면 구성으로 제공할 것인지를 결정하는 정책을 포함할 수 있다. 이러한 결과 제공 정책(247)은 서비스 장치(200)에 접속한 사용자 단말들 중 로그인하지 않은 사용자들에게 검색 결과를 제공하는 방식을 정의한 일반 결과 제공 정책을 포함할 수 있다. 또는, 결과 제공 정책(247)은 서비스 장치(200)에 접속한 사용자 단말들 중 로그인한 사용자들에게 검색 결과를 제공하는 방식을 정의한 개인화된 결과 제공 정책을 포함할 수 있다. 상기 결과 제공 정책(247)은 사용자 단말(100)로부터 쿼리 이미지를 수신하고 그에 따른 검색 결과를 제공하는 동안 참조되어, 검색 결과 화면을 구성하는데 이용될 수 있다.The result providing policy 247 may include a policy for determining in which screen configuration the search result to be provided to the user terminal 100 is provided. The result providing policy 247 may include a general result providing policy defining a method of providing a search result to users who are not logged in among user terminals connected to the service device 200. Alternatively, the result providing policy 247 may include a personalized result providing policy defining a manner of providing a search result to logged-in users among user terminals connected to the service device 200. The result provision policy 247 may be referred to while receiving a query image from the user terminal 100 and providing a search result accordingly, and used to construct a search result screen.

상기 서버 프로세서(250)는 상기 서버 통신 회로(210)를 통하여 적어도 하나의 사용자 단말(100)과의 통신 채널 형성을 제어할 수 있다. 상기 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라 이미지 검색 기능과 관련한 화면(예: 가상 페이지 또는 웹 페이지)을 사용자 단말(100)에 제공할 수 있다. 서버 프로세서(250)는 사용자 단말(100)로부터 쿼리 이미지를 수신하고, 수신된 쿼리 이미지 및 사용자 관련 정보(243)를 기반으로 검색 정보를 획득하여 사용자 단말(100)에 검색 결과로서 제공하고 사용자 단말(100)로부터 사용자 피드백 정보를 수신할 수 있다. 상술한 서버 프로세서(250)는 도 4에 도시된 바와 같은 구성을 포함할 수 있다.The server processor 250 may control communication channel establishment with at least one user terminal 100 through the server communication circuit 210. The server processor 250 may provide a screen (eg, a virtual page or a web page) related to an image search function to the user terminal 100 at the request of the user terminal 100. The server processor 250 receives the query image from the user terminal 100, obtains search information based on the received query image and the user related information 243, and provides the search information to the user terminal 100 as a search result. User feedback information may be received from 100. The server processor 250 described above may include a configuration as shown in FIG. 4.

도 4는 본 발명의 실시 예에 따른 서버 프로세서의 일 예를 나타낸 도면이다.4 is a diagram illustrating an example of a server processor according to an exemplary embodiment of the present invention.

상기 도 4를 참조하면, 본 발명의 서버 프로세서(250)는 검색 처리부(251), 정보 수집부(253) 및 정책 처리부(255)를 포함할 수 있다.Referring to FIG. 4, the server processor 250 of the present invention may include a search processor 251, an information collector 253, and a policy processor 255.

상기 검색 처리부(251)는 사용자 단말(100)이 접속하면 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 로그인 수행 없이 이미지 검색 기능 요청(예: 쿼리 이미지 전송 및 검색 요청)을 수신하면, 검색 처리부(251)는 수신된 쿼리 이미지를 기반으로 검색을 수행하고, 검색 결과를 정책 처리부(255)에 전달할 수 있다. 가상 페이지 제공 후, 상기 검색 처리부(251)는 사용자 입력에 따른 로그인 정보를 수신하고, 로그인 처리를 수행할 수 있다. 검색 처리부(251)는 로그인 수행이 정상적으로 완료되면 로그인된 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 사용자 단말(100)로부터 쿼리 이미지를 수신하면, 수신된 쿼리 이미지에 대응하는 검색 결과를 수집하고, 사용자 로그인 정보와 함께 정책 처리부(255)에 전달할 수 있다. The search processor 251 may provide a virtual page to the user terminal 100 when the user terminal 100 is connected. When receiving an image search function request (eg, query image transmission and search request) without performing a login, the search processor 251 may perform a search based on the received query image and transmit the search result to the policy processor 255. have. After providing the virtual page, the search processor 251 may receive login information according to a user input and perform a login process. The search processor 251 may provide the logged-in virtual page to the user terminal 100 when the login is normally performed. When the query image is received from the user terminal 100, a search result corresponding to the received query image may be collected and transmitted to the policy processor 255 along with the user login information.

또는, 상기 검색 처리부(251)는 사용자 로그인 정보에 대응하는 사용자 관련 정보(243)를 획득하고, 상기 쿼리 이미지 및 상기 사용자 관련 정보를 기반으로 검색을 수행하고, 개인화된 검색 결과를 수집할 수 있다. 상기 개인화된 검색 결과는 예컨대, 사용자 관련 정보를 기반으로 사용자가 선호하는 카테고리(또는 상품이나 물건) 분야를 우선적으로 검색한 검색 결과를 포함할 수 있다. 상기 검색 처리부(251)는 개인화된 검색 결과를 정책 처리부(255)에 전달할 수 있다.Alternatively, the search processor 251 may obtain user related information 243 corresponding to user login information, perform a search based on the query image and the user related information, and collect personalized search results. . The personalized search result may include, for example, a search result obtained by preferentially searching a category (or product or object) field preferred by the user based on user related information. The search processor 251 may deliver the personalized search result to the policy processor 255.

상기 정보 수집부(253)는 상기 정책 처리부(255)가 검색 결과 화면을 사용자 단말(100)에 제공하면, 사용자 단말(100)로부터 사용자 피드백 정보를 수집할 수 있다. 이 동작에서, 상기 정보 수집부(253)는 사용자 피드백 정보를 통해 검색 결과에 대한 신뢰도 점수를 산출하고, 산출된 신뢰도 점수를 정책 처리부(255)에 전달할 수 있다. 예를 들어, 상기 정보 수집부(253)는 검색 결과에 포함된 복수개의 카테고리별 객체들에 대하여, 어떠한 객체가 상대적으로 오랫동안 주시되었는지(또는 하일라이트가 유지되었는지, 또는 특정 객체를 선택하는 사용자 터치가 있었는지, 또는 ROI 영역(예: 화면의 중심부 영역 또는 일정 크기 이상으로 표시)에 어떠한 객체가 얼마 동안 유지되었는지 등)를 분석할 수 있다. 상기 정보 수집부(253)는 분석 결과를 정책 처리부(255)에 전달될 수 있다. When the policy processor 255 provides the search result screen to the user terminal 100, the information collection unit 253 may collect user feedback information from the user terminal 100. In this operation, the information collector 253 may calculate a confidence score for the search result through the user feedback information, and transmit the calculated confidence score to the policy processor 255. For example, the information collector 253 may be configured to search for a plurality of categories of objects included in a search result for which objects have been observed for a relatively long time (or whether a highlight is maintained or a user touch for selecting a specific object). Or how long objects have been maintained in the ROI area (e.g., at the center of the screen or over a certain size). The information collecting unit 253 may transmit the analysis result to the policy processing unit 255.

상기 정책 처리부(255)는 상기 검색 처리부(251)로부터 검색 결과를 수신하면, 수신된 검색 결과를 기반으로 사용자 단말(100)에 제공할 검색 결과 화면을 구성할 수 있다. 이 동작에서, 상기 정책 처리부(255)는 검색 처리부(251)가 전달하는 추가 정보(예: 사용자 로그인 정보)의 포함 여부에 따라 다른 검색 결과 화면을 구상할 수 있다. 예를 들어, 상기 정책 처리부(255)는 사용자가 로그인하지 않은 상태에서 이미지 검색을 요청한 상태에서 검색 결과가 획득되면, 디폴트로 설정된 정책에 따라 제1 검색 결과 화면을 구성할 수 있다. 상기 정책 처리부(255)는 로그인된 가상 페이지를 통해 이미지 검색 요청을 수신하고 그에 따른 검색 결과가 획득되면, 사용자 단말(100)과 관련한 결과 제공 정책에 따라 제2 검색 결과 화면을 구성할 수 있다. When the policy processor 255 receives a search result from the search processor 251, the policy processor 255 may configure a search result screen to be provided to the user terminal 100 based on the received search result. In this operation, the policy processor 255 may design another search result screen according to whether additional information (for example, user login information) transmitted by the search processor 251 is included. For example, if a search result is obtained in a state where a user requests an image search without logging in, the policy processor 255 may configure a first search result screen according to a policy set as a default. When the policy processor 255 receives the image search request through the logged-in virtual page and a search result is obtained, the policy processor 255 may configure a second search result screen according to a result providing policy related to the user terminal 100.

상기 제1 검색 결과 화면과 상기 제2 검색 결과 화면은 예컨대, 동일한 검색 결과가 나왔다 하더라도, 배치된 객체들의 위치, 개수, 종류(카테고리) 중 적어도 하나가 다를 수 있다. 상기 제2 검색 결과 화면 구성과 관련하여, 상기 정책 처리부(255)는 사용자 로그인 정보에 대응하는 사용자 관련 정보(243)를 획득하고, 사용자 관련 정보(243)에서 사용자가 선호하는 카테고리를 확인한 후, 검색 결과에 포함된 객체들 중 상기 사용자 선호 카테고리에 대응하는 객체들이 사용자가 주시하기 좋은 위치나 크기(예: 화면의 상단, 화면의 중앙, 화면 50%이상의 크기)를 가지도록 검색 결과 화면을 구성할 수 있다. The first search result screen and the second search result screen may have, for example, at least one of a location, a number, and a type (category) of the arranged objects even though the same search result is displayed. In relation to the second search result screen configuration, the policy processor 255 obtains user related information 243 corresponding to user login information, and checks a user's preferred category in the user related information 243. The search result screen is configured such that the objects corresponding to the user's preference category among the objects included in the search result have a location or size that is easy for the user to watch (eg, the top of the screen, the center of the screen, and the screen size is 50% or more) can do.

또한, 상기 정책 처리부(255)는 상기 정보 수집부(253)로부터 사용자 피드백 정보 분석 결과를 수신할 수 있다. 상기 정책 처리부(255)는 수신된 분석 결과를 기반으로 결과 제공 정책(247)을 갱신할 수 있다. 예를 들면, 상기 정책 처리부(255)는 분석 결과를 기반으로 사용자가 선호하는 카테고리를 변경할 수 있다. 이 과정에서, 상기 정책 처리부(255)는 분석 결과를 점수화하고, 점수에 따라 카테고리별 점수를 할당한 후, 카테고리별 점수가 지정된 값 이상으로 변경되면, 사용자 선호 카테고리를 변경할 수 있다. 상기 정책 처리부(255)는 결과 제공 정책(247) 갱신과 관련하여, 로그인되지 않은 가상 페이지를 통한 사용자 피드백 정보를 수집하는 경우 사용자 단말(100)에 디폴트로 제공되는 일반 결과 제공 정책을 갱신할 수 있다. 상기 정책 처리부(255)는 로그인된 가상 페이지를 통한 사용자 피드백 정보를 수집한 경우, 해당 사용자 관련 정보(243)에 대응하는 개인화된 결과 제공 정책만을 갱신하거나, 사용자 관련 정보(243)에 대응하는 개인화된 결과 제공 정책 및 디폴트로 제공되는 일반 결과 제공 정책을 모두 갱신할 수 있다. In addition, the policy processor 255 may receive a result of analyzing user feedback information from the information collector 253. The policy processor 255 may update the result providing policy 247 based on the received analysis result. For example, the policy processor 255 may change a category preferred by the user based on the analysis result. In this process, the policy processing unit 255 may score the analysis result, allocate a score for each category according to the score, and then change the user preference category if the score for each category is changed to a value higher than or equal to a specified value. The policy processor 255 may update the general result providing policy that is provided by default to the user terminal 100 when collecting user feedback information through a virtual page that is not logged in with respect to updating the result providing policy 247. have. When the policy processing unit 255 collects the user feedback information through the logged-in virtual page, the policy processing unit 255 only updates a personalized result providing policy corresponding to the user related information 243 or personalizes the user related information 243. Both the provisioned results delivery policy and the default results delivery policy provided by default.

도 5는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.5 is a diagram illustrating an example of a signal flow between components of a service system according to an exemplary embodiment of the present invention.

상기 도 5를 참조하면, 501 단계에서, 서비스 장치(200)는 사용자 단말(100)과 통신 채널을 형성할 수 있다. 이와 관련하여, 서비스 장치(200)는 사용자 단말(100)이 접속 가능하도록 네트워크(50)와 연결하고, 통신 대기 상태를 유지할 수 있다. 상기 사용자 단말(100)은 사용자 조작에 따라 서비스 장치(200)의 주소 정보를 입력하고, 해당 주소 정보를 기반으로 네트워크(50)를 통해 상기 서비스 장치(200)에 접속할 수 있다. 상기 사용자 단말(100)이 서비스 장치(200)이 접속하면, 상기 서비스 장치(200)는 기 저장된 가상 페이지를 상기 사용자 단말(100)에 제공할 수 있다. 상기 가상 페이지는 쿼리 이미지를 기반으로 이미지 검색과 관련한 사용자 입력을 처리할 수 있는 사용자 인터페이스가 될 수 있다.Referring to FIG. 5, in operation 501, the service device 200 may establish a communication channel with the user terminal 100. In this regard, the service device 200 may connect with the network 50 to allow the user terminal 100 to be accessible and maintain a communication standby state. The user terminal 100 may input address information of the service device 200 according to a user manipulation, and access the service device 200 through the network 50 based on the corresponding address information. When the service device 200 is connected to the user terminal 100, the service device 200 may provide a pre-stored virtual page to the user terminal 100. The virtual page may be a user interface capable of processing user input related to image search based on a query image.

503 단계에서, 사용자 단말(100)은 서비스 장치(200)에 쿼리 이미지를 전송할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 쿼리 이미지 획득 또는 선택이 가능한 가상 페이지를 디스플레이(130)에 출력하고, 사용자 입력에 따라 메모리(140)에 저장된 쿼리 이미지(또는 카메라를 통해 획득된 이미지)를 수집할 수 있다. 상기 사용자 단말(100)은 쿼리 이미지 선택이 완료되면, 선택된 쿼리 이미지를 서비스 장치(200)에 전송할 수 있다.In operation 503, the user terminal 100 may transmit a query image to the service device 200. In this regard, the user terminal 100 outputs a virtual page capable of obtaining or selecting a query image to the display 130, and the query image stored in the memory 140 according to a user input (or an image obtained through a camera). Can be collected. When the query image selection is completed, the user terminal 100 may transmit the selected query image to the service device 200.

505 단계에서, 서비스 장치(200)는 상기 쿼리 이미지를 기반으로 검색을 수행할 수 있다. 예컨대, 상기 서비스 장치(200)는 데이터베이스(240)에 저장된 상품 관련 이미지(241)들 중 상기 쿼리 이미지와 관련성이 있는 상품 이미지를 검색할 수 있다. 이를 위하여, 상기 서비스 장치(200)는 쿼리 이미지를 분석하여 적어도 하나의 객체의 특징점을 추출하고, 상기 추출된 특징점들과 기 설정된 크기 이상 유사도가 같은 객체를 포함한 상품 이미지를 검색할 수 있다. 상기 쿼리 이미지에 복수개의 객체가 포함되어 있는 경우, 상기 서비스 장치(200)는 각 객체들과 관련성이 있는 상품 이미지를 검색하거나 또는 복수개의 객체들을 동시에 포함하고 있는 상품 이미지를 검색할 수도 있다. In operation 505, the service device 200 may perform a search based on the query image. For example, the service device 200 may search for a product image related to the query image among the product related images 241 stored in the database 240. To this end, the service device 200 may extract a feature point of at least one object by analyzing a query image and search for a product image including an object having a similarity or more than a predetermined size with the extracted feature points. When a plurality of objects are included in the query image, the service device 200 may search for a product image related to each object or search for a product image including a plurality of objects at the same time.

507 단계에서, 서비스 장치(200)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 서비스 장치(200)는 결과 제공 정책(247)을 확인하여 상기 검색 결과를 기반으로 검색 결과 화면을 구성할 수 있다. 상기 결과 제공 정책(247)은 검색된 결과를 화면에 구성하는데 있어서, 결과에 포함된 적어도 하나의 객체들의 위치, 크기, 순서 등을 정의한 정보를 포함할 수 있다. 이에 따라, 서버 프로세서(250)는 상기 결과 제공 정책(247)에 따라, 사용자에게 제공할 상품 객체의 종류, 상품 객체가 표시될 화면 상에서의 크기, 상품 객체가 표시될 화면 상에서의 위치 중 적어도 하나를 결정할 수 있다.In operation 507, the service device 200 may provide a search result to the user terminal 100. In this operation, the service device 200 may check the result providing policy 247 and configure a search result screen based on the search result. The result providing policy 247 may include information defining the position, size, order, etc. of at least one object included in the result in configuring the searched result on the screen. Accordingly, the server processor 250 according to the result providing policy 247, at least one of the type of product object to provide to the user, the size on the screen to display the product object, the location on the screen to display the product object Can be determined.

509 단계에서, 사용자 단말(100)은 수신된 검색 결과를 출력할 수 있다. 또는, 사용자 단말(100)는 검색 결과 화면을 서비스 장치(200)로부터 수신하고, 수신된 검색 결과 화면을 디스플레이(130)에 출력할 수 있다. 다른 예시로서, 상기 사용자 단말(100)은 서비스 장치(200)로부터 검색 결과와 결과 제공 정책을 수신할 수도 있다. 이 경우, 상기 사용자 단말(100)은 수신된 결과 제공 정책에 따라 상기 검색 결과에 대응하는 검색 결과 화면을 구성하고, 이를 디스플레이에 출력할 수도 있다.In operation 509, the user terminal 100 may output the received search result. Alternatively, the user terminal 100 may receive a search result screen from the service device 200 and output the received search result screen to the display 130. As another example, the user terminal 100 may receive a search result and a result providing policy from the service device 200. In this case, the user terminal 100 may configure a search result screen corresponding to the search result according to the received result providing policy, and output the result to the display.

511 단계에서, 사용자 단말(100)은 검색 결과를 출력하는 동안의 사용자 피드백 정보(245)를 서비스 장치(200)에 제공할 수 있다. 예컨대, 사용자 단말(100)은 검색 결과가 출력되는 동안 사용자의 조작에 따른 사용자 단말(100)의 조작 상태 정보를 수집하고, 수집된 조작 상태 정보를 상기 서비스 장치(200)에 제공할 수 있다. 상기 사용자 단말(100)의 조작 상태 정보는 키보드, 키버튼, 터치, 음성 입력 중 적어도 하나를 포함하는 사용자 입력이 어떠한 객체를 얼마 동안 지시하거나 선택하는지 등의 정보를 포함할 수 있다.In operation 511, the user terminal 100 may provide user feedback information 245 to the service device 200 while outputting a search result. For example, while the search result is output, the user terminal 100 may collect operation state information of the user terminal 100 according to the user's operation, and provide the collected operation state information to the service apparatus 200. The operation state information of the user terminal 100 may include information such as how long an object is input or selected by a user input including at least one of a keyboard, a key button, a touch, and a voice input.

513 단계에서, 상기 서비스 장치(200)는 수신된 사용자 피드백 정보를 기반으로 결과 제공 정책(247)을 갱신할 수 있다. 이를 위해, 상기 서비스 장치(200)는 상기 사용자 피드백 정보를 분석하여, 제공된 검색 결과가 일정 시간 이상 디스플레이(130)에 출력되었는지, 제공된 검색 결과를 통해 제품 구매나 가상 장바구니 등록이 되었는지 등을 확인하여, 검색 결과에 대한 신뢰도를 확인할 수 있다. 또는, 상기 서비스 장치(200)는 검색 결과 화면에서 사용자 입력에 의해 지정된 시간 이상 지시되거나 선택된 객체의 카테고리 정보를 획득할 수 있다. 상기 서비스 장치(200)는 획득된 정보를 기반으로 결과 제공 정책(247)에 포함된 정보 중 적어도 일부를 갱신할 수 있다. 예를 들어, 상기 서비스 장치(200)는 결과 제공 정책(247) 중 특정 쿼리 이미지를 기반으로 하는 검색 시 우선 검색 또는 우선 제공되어야 할 객체의 카테고리 정보의 우선 순위를 변경할 수 있다. 우선 순위 변경과 관련하여, 서비스 장치(200)는 복수의 사용자 피드백 정보들을 점수화하고, 지정된 점수 이상 또는 상대적으로 높은 점수를 가지는 카테고리 정보들을 기반으로 결과 제공 정책(247)에서의 카테고리 정보의 우선 순위를 변경할 수 있다.In operation 513, the service device 200 may update the result providing policy 247 based on the received user feedback information. To this end, the service device 200 analyzes the user feedback information, and checks whether the provided search result is output on the display 130 for a predetermined time, whether the product purchase or the virtual shopping cart is registered through the provided search result, and the like. The reliability of the search results can be checked. Alternatively, the service device 200 may acquire category information of an object which is indicated or selected for a time specified by a user input on a search result screen. The service device 200 may update at least some of the information included in the result providing policy 247 based on the obtained information. For example, the service device 200 may change the priority of the category information of the object to be first searched or first provided when searching based on a specific query image in the result providing policy 247. In relation to the priority change, the service device 200 scores a plurality of user feedback information, and the priority of the category information in the result providing policy 247 based on the category information having a score higher than or equal to a designated score. Can be changed.

도 6은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.6 is a diagram illustrating an example of an operating method of a service apparatus according to an exemplary embodiment of the present invention.

상기 도 6을 참조하면, 일 실시 예에 따른 서비스 장치의 운용 방법과 관련하여, 601 단계에서, 서비스 장치(200)의 서버 프로세서(250)는 사용자 단말(100)의 접속 여부를 확인할 수 있다. 601 단계에서, 사용자 단말(100)이 접속하지 않는 경우, 서버 프로세서(250)는 603 단계에서 지정된 기능 수행을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 사용자 단말(100)이 네트워크(50)를 통하여 접속할 수 있는 대기 상태를 유지하면서, 다양한 상품들에 대한 상품 관련 이미지(241)를 수집하고, 이를 데이터베이스에 저장 관리할 수 있다.Referring to FIG. 6, in operation 601, the server processor 250 of the service apparatus 200 may determine whether the user terminal 100 is connected in relation to a method of operating a service apparatus according to an exemplary embodiment. In operation 601, when the user terminal 100 does not access the server processor 250, the server processor 250 may process performance of the function designated in operation 603. For example, the server processor 250 collects product-related images 241 for various products and stores them in a database while maintaining a standby state where the user terminal 100 can access the network 50. Can be.

601 단계에서 사용자 단말(100)이 접속하는 경우, 서버 프로세서(250)는 605 단계에서, 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 상기 가상 페이지는 이미지 검색을 기반으로 상품 검색을 수행할 수 있는 웹 페이지를 포함할 수 있다. 예컨대, 상기 가상 페이지는 사용자 단말(100)을 조작하여 쿼리 이미지를 선택할 수 있는 쿼리 이미지 선택창(또는 카메라를 통한 쿼리 이미지 획득창)을 포함할 수 있다.When the user terminal 100 connects in step 601, the server processor 250 may provide a virtual page to the user terminal 100 in step 605. The virtual page may include a web page for performing a product search based on an image search. For example, the virtual page may include a query image selection window (or query image acquisition window through a camera) for selecting a query image by manipulating the user terminal 100.

607 단계에서, 서버 프로세서(250)는 쿼리 이미지 수신 여부를 확인할 수 있다. 이 동작에서, 별도의 쿼리 이미지 수신이 없는 경우, 서버 프로세서(250)는 605 단계 이전으로 분기하여 가상 페이지 제공 상태를 유지할 수 있다. 또는, 서버 프로세서(250)는 사용자 단말(100)로부터 접속 해제를 요청하는 메시지를 수신하는 경우, 사용자 단말(100)과의 통신 채널을 해제할 수 있다. 또는, 서버 프로세서(250)는 가상 페이지에 포함된 다른 기능들 예컨대, 사용자 가입 기능과 관련하여 사용자 정보를 수신하고 등록할 수 있다. 또는, 서버 프로세서(250)는 가상 페이지에 포함된 특정 콘텐츠 선택에 대응하여, 해당 콘텐츠의 상세 정보를 사용자 단말(100)에 제공할 수 있다.In operation 607, the server processor 250 may determine whether a query image is received. In this operation, if there is no separate query image reception, the server processor 250 branches to step 605 to maintain the virtual page provision state. Alternatively, the server processor 250 may release the communication channel with the user terminal 100 when receiving a message requesting the release of the connection from the user terminal 100. Alternatively, the server processor 250 may receive and register user information in relation to other functions included in the virtual page, for example, a user subscription function. Alternatively, the server processor 250 may provide detailed information of the corresponding content to the user terminal 100 in response to the selection of the specific content included in the virtual page.

사용자 단말(100)로부터 쿼리 이미지를 수신하는 경우, 상기 서버 프로세서(250)는 609 단계에서, 수신된 쿼리 이미지를 기반으로 검색 결과를 수집하고, 수집된 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 서버 프로세서(250)는 쿼리 이미지를 분석하여 적어도 하나의 객체를 추출할 수 있다. 상기 서버 프로세서(250)는 객체 추출에 실패한 경우, 사용자 단말(100)에 새로운 쿼리 이미지를 요청하는 메시지를 전송할 수도 있다. 상기 서버 프로세서(250)는 복수개의 객체가 쿼리 이미지에서 검출된 경우, 적어도 하나의 객체 선택을 위한 선택 창을 사용자 단말(100)에 제공하고, 사용자 단말(100)이 지정한 적어도 하나의 객체를 이미지 검색에 이용할 수 있다. 또는, 상기 서버 프로세서(250)는 복수개의 객체들 중 지정된 조건을 만족하는 적어도 하나의 객체를 기반으로 이미지 검색을 수행할 수 있다. 예를 들어, 상기 서버 프로세서(250)는 일정 크기 이상의 객체, 상대적으로 크기가 큰 객체, 쿼리 이미지 내에서의 객체 위치가 지정된 위치(예: 객체가 기 정의된 화면의 중심 영역 내에 배치된 비율이 지정된 비율 이상)인지 등을 확인하여 이미지 검색에 적용할 특정 객체를 선택할 수 있다. 이미지 검색이 완료되어, 검색 결과가 획득되면, 서버 프로세서(250)는 디폴트로 정의된 일반 결과 제공 정책에 따라 검색 결과 화면을 구성하여 사용자 단말(100)에 제공할 수 있다.When receiving the query image from the user terminal 100, the server processor 250 collects a search result based on the received query image in step 609 and provides the collected search result to the user terminal 100. Can be. In this operation, the server processor 250 may extract at least one object by analyzing the query image. When the object extraction fails, the server processor 250 may transmit a message requesting a new query image to the user terminal 100. When a plurality of objects are detected in the query image, the server processor 250 provides a selection window for selecting at least one object to the user terminal 100 and images at least one object designated by the user terminal 100. Can be used for searching. Alternatively, the server processor 250 may perform an image search based on at least one object satisfying a specified condition among a plurality of objects. For example, the server processor 250 may determine that an object of a predetermined size or more, a relatively large object, a position where an object position is specified in a query image (for example, a ratio of an object disposed in a central area of a predefined screen). You can select a specific object to apply to the image search by checking whether or not). When the image search is completed and the search result is obtained, the server processor 250 may configure the search result screen and provide the search result screen to the user terminal 100 according to the general result providing policy defined by default.

611 단계에서, 서버 프로세서(250)는 사용자 피드백 정보를 수집할 수 있다. 상기 사용자 피드백 정보는 앞서 설명한 바와 같이, 검색 결과가 사용자 단말(100)의 디스플레이에 출력되고 있는 중에 사용자 입력에 따른 사용자 단말(100)의 조작 상태 정보를 포함할 수 있다.In operation 611, the server processor 250 may collect user feedback information. As described above, the user feedback information may include operation state information of the user terminal 100 according to a user input while a search result is being displayed on the display of the user terminal 100.

613 단계에서, 서버 프로세서(250)는 수신된 사용자 피드백 정보를 기반으로 결과 제공 정책(247)을 갱신할 수 있다. 예컨대, 서버 프로세서(250)는 사용자 피드백 정보로부터 지정된 시간 이상 주시된(예: 사용자의 마우스 포인트가 지정된 시간 이상 머문) 객체를 확인할 수 이다. 상기 서버 프로세서(250)는 지정된 시간 이상 주시된 객체를 선호 객체로 판단할 수 있다. 상기 서버 프로세서(250)는 이미지 검색에 이용된 쿼리 이미지의 객체의 카테고리 정보 및 상기 선호 객체의 카테고리 정보를 획득할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 다양한 객체들의 카테고리 정보를 사전 정의할 수 있다. 예를 들어, 상기 다양한 객체들의 카테고리 정보는 신발류, 모자류, 가방류, 상의류, 하의류, 내의류, 필기구류, 시계류 등 제품의 종류의 각 속성 정보(예: 크기, 모양, 색상, 패턴 등)를 포함할 수 있다. 또는, 다양한 객체들의 카테고리 정보는 식품류, 전자 장치류, 생활 기기류, 사무용 기기류, 의류 등의 대분류와, 각 대분류 아래 세부 분류에 의해 구분되는 정보를 기반으로 각 상품들의 속성 정보를 포함할 수도 있다. 상기 서버 프로세서(250)는 선호 객체의 카테고리 정보 및 쿼리 이미지에 포함된 객체의 카테고리 정보를 확인하고, 결과 제공 정책(247)에서 대응되는 검색 카테고리 정보 및 결과 카테고리 정보의 신뢰도 점수를 갱신할 수 있다. In operation 613, the server processor 250 may update the result providing policy 247 based on the received user feedback information. For example, the server processor 250 may identify an object watched for more than a specified time (for example, a user's mouse pointer stays for a specified time or more) from the user feedback information. The server processor 250 may determine an object watched for a predetermined time or more as the preferred object. The server processor 250 may obtain category information of the object of the query image and category information of the preferred object used for the image search. In this regard, the server processor 250 may predefine category information of various objects. For example, the category information of the various objects includes each attribute information (eg, size, shape, color, pattern, etc.) of a product type, such as footwear, hats, bags, tops, bottoms, underwear, writing instruments, and watches. can do. Alternatively, the category information of various objects may include attribute information of each product based on large categories such as foods, electronic devices, household devices, office devices, and clothing, and information classified by sub-categories under each major category. The server processor 250 may check the category information of the preferred object and the category information of the object included in the query image, and update the reliability scores of the corresponding search category information and the result category information in the result providing policy 247. .

도 7은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 다른 예를 나타낸 도면이다. 7 is a view showing another example of a method of operating a service device according to an embodiment of the present invention.

상기 도 7을 참조하면, 서비스 장치 운용 방법과 관련하여, 701 단계에서, 서버 프로세서(250)는 사용자 단말(100)의 로그인 여부를 확인할 수 있다. 로그인이 수행되지 않은 경우, 서버 프로세서(250)는 703 단계에서 해당 기능 수행 예컨대, 도 6에 개시된 바와 같이 사용자 정보와 관계 없이 쿼리 이미지를 기반으로 검색 결과를 제공할 수 있다.Referring to FIG. 7, in relation to a service device operating method, in operation 701, the server processor 250 may check whether the user terminal 100 is logged in. If the login is not performed, the server processor 250 may provide a search result based on the query image regardless of the user information as shown in FIG. 6, for example, as shown in FIG. 6.

로그인이 수행된 경우, 705 단계에서, 서버 프로세서(250)는 로그인된 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 로그인된 가상 페이지는 쿼리 이미지를 입력할 수 있는 입력 창을 포함할 수 있다. 또한, 로그인된 가상 페이지는 사용자가 이전 검색한 쿼리 이미지 목록을 검색할 수 있는 검색창을 포함할 수 있다. When the login is performed, in operation 705, the server processor 250 may provide the logged-in virtual page to the user terminal 100. The logged in virtual page may include an input window for entering a query image. In addition, the logged-in virtual page may include a search box through which a user may search for a list of previously searched query images.

707 단계에서, 서버 프로세서(250)는 사용자 단말(100)로부터 쿼리 이미지가 수신되는지 확인할 수 있다. 쿼리 이미지 수신이 없는 경우, 서버 프로세서(250)는 705 단계 이전으로 분기하여, 로그인된 가상 페이지 제공 상태를 유지할 수 있다. 또는, 서버 프로세서(250)는 사용자 입력에 따라 로그인된 가상 페이지를 기반으로 다양한 정보 제공을 수행할 수도 있다.In operation 707, the server processor 250 may determine whether a query image is received from the user terminal 100. If there is no query image received, the server processor 250 branches to step 705 to maintain a logged-in virtual page provision state. Alternatively, the server processor 250 may provide various information based on a logged in virtual page according to a user input.

쿼리 이미지를 사용자 단말(100)로부터 수신하면, 서버 프로세서(250)는 709 단계에서, 수신된 쿼리 이미지를 기반으로 검색 결과를 수집하고, 수집된 검색 결과를 사용자 단말(100)에 제공할 수 있다. 예컨대, 상기 서버 프로세서(250)는 상기 쿼리 이미지 내에 포함된 적어도 하나의 객체를 추출하고, 적어도 하나의 객체를 기반으로 이미지 검색을 수행할 수 있다. 이 동작에서, 서버 프로세서(250)는 쿼리 이미지에서 복수개의 객체가 검출되는 경우, 사용자 관련 정보(243)를 확인하여 사용자 선호 카테고리 정보를 확인하고, 해당 사용자 선호 카테고리에 대응하는 객체를 선택하여, 검색을 수행할 수 있다. 이와 관련하여, 상기 사용자 관련 정보(243)는 사용자의 신상 정보, 또는 사용자의 기호 정보, 구매 이력, 검색 이력 등을 토대로 산출한 사용자 선호 카테고리 정보를 포함할 수 있다. 검색 결과 제공 시, 서버 프로세서(250)는 사용자 관련 정보(243)에 대응하는 개인화된 결과 제공 정책을 획득하고, 개인화된 결과 제공 정책을 기반으로 검색 결과 화면을 구성할 수 있다. 상기 개인화된 결과 제공 정책은 예컨대, 로그인을 수행한 사용자가 선호하는 카테고리 정보 또는 관심을 가지는 카테고리 정보 등을 결과 화면의 지정된 위치에 표시하도록 설정된 정보를 포함할 수 있다. When the query image is received from the user terminal 100, in operation 709, the server processor 250 may collect a search result based on the received query image and provide the collected search result to the user terminal 100. . For example, the server processor 250 may extract at least one object included in the query image and perform an image search based on the at least one object. In this operation, when a plurality of objects are detected in the query image, the server processor 250 checks user preference information 243 to check user preference category information, and selects an object corresponding to the user preference category. You can perform a search. In this regard, the user related information 243 may include user preference category information calculated based on user's personal information or user's preference information, purchase history, search history, and the like. When providing a search result, the server processor 250 may obtain a personalized result providing policy corresponding to the user related information 243 and configure a search result screen based on the personalized result providing policy. The personalized result providing policy may include, for example, information set to display category information, or category information of interest, that a user who has logged in preferentially in a designated location of the result screen.

711 단계에서, 서버 프로세서(250)는 검색 결과를 제공한 사용자 단말(100)로부터 사용자 피드백 정보를 수집할 수 있다. 713 단계에서, 서버 프로세서(250)는 사용자 관련 정보 및 사용자 피드백 정보를 기반으로 개인화된 결과 제공 정책을 갱신할 수 있다. 예컨대, 서버 프로세서(250)는 개인화된 결과 제공 정책을 갱신할 수 있다. 이를 기반으로, 서버 프로세서(250)는 사용자가 관심을 가지고 있는 카테고리에 대응하는 검색 결과를 우선하여 사용자에게 제공할 수 있도록 지원한다. 예를 들어, 쿼리 이미지에 신발 이미지가 포함되고, 서버 프로세서(250)는 다양한 신발 상품을 검색 결과로서 사용자에게 제공한 상태에서, 일정 조건을 만족하는 사용자 주시 상태의 신발 상품들에 대한 정보를 사용자 피드백 정보로서 획득할 수 있다. 이 경우, 서버 프로세서(250)는 주시된 신발 상품들의 공통 특성 예컨대, 크기, 색상, 패턴 등을 추출하고, 추출된 공통 특성을 신발 쿼리 이미지에 대한 선호 카테고리 정보로서 저장할 수 있다. 이후, 서버 프로세서(250)는 해당 사용자가 다시 신발 상품을 검색 요청하는 경우 추출된 공통 특성에 맞는 검색 결과들을 우선하여 사용자 단말(100)에 제공할 수 있다. In operation 711, the server processor 250 may collect user feedback information from the user terminal 100 that provided the search result. In operation 713, the server processor 250 may update the personalized result providing policy based on the user related information and the user feedback information. For example, the server processor 250 may update the personalized result provisioning policy. Based on this, the server processor 250 supports providing the user with priority of the search result corresponding to the category of interest. For example, the shoe image is included in the query image, and the server processor 250 provides various shoe products as a search result to the user, and provides information about the shoe products in the user's attention state that satisfies a predetermined condition. It can be obtained as feedback information. In this case, the server processor 250 may extract common characteristics of the watched footwear items, for example, size, color, pattern, and the like, and store the extracted common characteristics as preference category information for the shoe query image. Subsequently, when the user requests to search for shoe products again, the server processor 250 may provide the user terminal 100 with the search results that match the extracted common characteristics.

도 8은 본 발명의 실시 예에 따른 서비스 장치의 검색 결과 갱신 방법의 일 예를 나타낸 도면이다.8 is a diagram illustrating an example of a method of updating a search result of a service apparatus according to an exemplary embodiment of the present invention.

상기 도 8을 참조하면, 일 실시 예에 따른 서비스 장치의 검색 결과 갱신 방법과 관련하여, 801 단계에서, 서버 프로세서(250)는 사용자 단말(100)로부터 쿼리 이미지를 수신하는지 확인할 수 있다. 이 단계 이전에, 서비스 장치(200)는 사용자 단말(100)과 통신 채널을 형성하고, 이미지 검색과 관련한 가상 페이지를 사용자 단말(100)에 제공할 수 있다. Referring to FIG. 8, in relation to a method of updating a search result of a service apparatus according to an embodiment, in operation 801, the server processor 250 may determine whether a query image is received from the user terminal 100. Before this step, the service device 200 may establish a communication channel with the user terminal 100 and provide a virtual page related to the image search to the user terminal 100.

쿼리 이미지 수신이 없는 경우, 803 단계에서, 서버 프로세서(250)는 해당 기능 수행 예컨대, 사용자 단말(100)의 로그인 수행을 처리하거나, 사용자 가입을 처리하거나, 지정된 콘텐츠 정보를 제공하는 등의 기능을 수행할 수 있다. 또는, 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라 사용자 단말(100)과의 통신 채널을 해제하고, 사용자 단말(100)에 대한 이미지 검색 기능의 지원을 종료할 수 있다.If there is no query image received, in step 803, the server processor 250 performs a function of performing a corresponding function, for example, performing a login of the user terminal 100, processing a user subscription, or providing specified content information. Can be done. Alternatively, the server processor 250 may release the communication channel with the user terminal 100 at the request of the user terminal 100 and terminate the support of the image search function for the user terminal 100.

쿼리 이미지를 수신하는 경우, 805 단계에서, 서버 프로세서(250)는 이미지 검색 결과 제공에 따른 사용자 피드백 정보를 수집할 수 있다. 상기 사용자 피드백 정보는 예컨대, 검색 결과가 제공된 화면에서 또는 검색 결과를 기초로 상품 구매와 관련한 정보 또는 상품을 가상 장바구니에 등록한 정보를 포함할 수 있다.In the case of receiving the query image, in operation 805, the server processor 250 may collect user feedback information according to providing an image search result. The user feedback information may include, for example, information related to product purchase or information of registering a product in a virtual shopping cart on a screen on which a search result is provided or based on the search result.

807 단계에서, 서버 프로세서(250)는 제공된 검색 결과를 통해 상품 구매가 수행되는지 확인할 수 있다. 또는, 서버 프로세서(250)는 사용자 피드백 정보를 기반으로 상품 구매가 수행되었는지 확인할 수 있다. In operation 807, the server processor 250 may check whether the product purchase is performed through the provided search result. Alternatively, the server processor 250 may check whether a product purchase is performed based on the user feedback information.

제공된 검색 결과를 통해 상품 구매가 수행된 경우, 809 단계에서, 서버 프로세서(250)는 상품 구매에 따른 결과 제공 정책을 갱신할 수 있다. 예컨대, 서버 프로세서(250)는 구매된 상품의 색상, 크기, 종류, 재질, 패턴 등을 포함하는 속성 정보를 추출하고, 추출된 속성 정보를 사용자의 선호 속성 정보로 결정할 수 있다. 이와 함께, 서버 프로세서(250)는 쿼리 이미지의 카테고리 정보에 대한 사용자의 선호 속성 정보를 갱신하거나 추가할 수 있다. 이에 따라, 추후 동일 사용자가 유사 쿼리 이미지로서 이미지 검색을 수행할 경우, 서버 프로세서(250)는 갱신된 결과 제공 정책을 기반으로, 사용자 선호 속성 정보에 대응하는 검색 결과들이 우선 배치된 검색 결과 화면을 사용자에게 제공할 수 있다.If a product purchase is performed through the provided search result, in operation 809, the server processor 250 may update a result providing policy according to the product purchase. For example, the server processor 250 may extract attribute information including the color, size, type, material, pattern, etc. of the purchased product, and determine the extracted attribute information as the user's preferred attribute information. In addition, the server processor 250 may update or add the user's preferred attribute information about the category information of the query image. Accordingly, when the same user later performs an image search as a similar query image, the server processor 250 displays a search result screen in which search results corresponding to user preference attribute information are first placed based on the updated result providing policy. Can be provided to the user.

제공된 검색 결과를 통해 상품 구매가 수행되지 않는 경우, 811 단계에서, 서버 프로세서(250)는 장바구니 정보(또는 가상 장바구니 정보)에 따른 결과 제공 정책을 갱신할 수 있다. 예컨대, 서버 프로세서(250)는 장바구니에 등록된 상품의 속성 정보를 추출하고, 추출된 속성 정보를 사용자 선호 후보 정보로 결정할 수 있다. 서버 프로세서(250)는 사용자 선호 후보 정보들을 누적하여 저장하고, 누적 저장된 사용자 선호 후보 정보들 중 동일 속성이 일정 횟수 이상 누적되면, 해당 후보 정보를 사용자 선호 정보로 갱신할 수 있다. 가상 장바구니에 등록된 상품이 구매로 이어질 경우, 809 단계에서와 같이, 서버 프로세서(250)는 구매된 상품과 관련한 속성 정보를 사용자 선호 속성 정보로 변경하고 그에 따른 결과 제공 정책을 갱신할 수 있다.If a product purchase is not performed through the provided search result, in operation 811, the server processor 250 may update a result providing policy according to shopping cart information (or virtual shopping cart information). For example, the server processor 250 may extract attribute information of a product registered in a shopping cart, and determine the extracted attribute information as user preference candidate information. The server processor 250 may accumulate and store user preference candidate information. When the same attribute is accumulated more than a predetermined number of accumulated user preference candidate information, the server processor 250 may update the candidate information with user preference information. If the product registered in the virtual shopping cart leads to a purchase, as in step 809, the server processor 250 may change attribute information related to the purchased product into user preference attribute information and update the result providing policy accordingly.

또는, 서버 프로세서(250)는 811 단계에서, 이미지 검색에 대한 결과 제공 정책 갱신을 수행할 수도 있다. 예컨대, 서버 프로세서(250)는 지정된 조건을 만족하는 주시 상태의 객체에 대응하는 상품들을 속성 정보를 추출하고, 추출된 속성 정보를 사용자 선호 후보 정보로 저장 관리할 수 있다. Alternatively, in operation 811, the server processor 250 may update a result providing policy for image search. For example, the server processor 250 may extract attribute information of goods corresponding to an object in a gaze state satisfying a specified condition and store and manage the extracted attribute information as user preference candidate information.

도 9는 본 발명의 실시 예에 따른 서비스 장치의 검색 결과 제공 방법의 일 예를 나타낸 도면이다. 9 is a diagram illustrating an example of a method of providing a search result of a service apparatus according to an exemplary embodiment of the present invention.

상기 도 9를 참조하면, 일 실시 예에 따른 서비스 장치의 검색 결과 제공 방법과 관련하여, 서버 프로세서(250)는 901 단계에서, 사용자 단말(100)의 로그인 수행 여부를 확인할 수 있다. 로그인이 수행되지 않는 경우, 서버 프로세서(250)는 903 단계에서 지정된 기능 수행 예컨대, 로그인되지 않은 가상 페이지를 사용자 단말(100)에 제공한 상태를 유지하거나, 사용자 단말(100)로부터 요청된 메시지에 따른 지정된 콘텐츠 제공 기능을 수행할 수 있다.Referring to FIG. 9, in relation to a method of providing a search result of a service apparatus according to an exemplary embodiment, the server processor 250 may determine whether the user terminal 100 performs the login in step 901. If the login is not performed, the server processor 250 may maintain the state of performing the function specified in operation 903, for example, providing the user terminal 100 with the virtual page that is not logged in, or in response to the requested message from the user terminal 100. The designated content providing function can be performed.

로그인이 수행된 경우, 905 단계에서, 서버 프로세서(250)는 로그인된 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 907 단계에서, 서버 프로세서(250)는 로그인된 사용자 단말(100)로부터 쿼리 이미지가 수신되는지 확인할 수 있다. 쿼리 이미지 수신이 없는 경우, 서버 프로세서(250)는 이전 단계에서 로그인된 가상 페이지 제공 상태를 유지할 수 있다. 쿼리 이미지를 수신하는 경우, 909 단계에서, 서버 프로세서(250)는 사용자 관련 정보에 따른 결과 제공 정책을 확인할 수 있다. 상기 결과 제공 정책은 검색 결과 화면을 어떠한 형태로 구성할지를 정의한 정보가 포함될 수 있다. When the login is performed, in operation 905, the server processor 250 may provide the logged-in virtual page to the user terminal 100. In operation 907, the server processor 250 may determine whether a query image is received from the logged-in user terminal 100. If there is no query image reception, the server processor 250 may maintain the virtual page provisioning state logged in in the previous step. When receiving the query image, in operation 909, the server processor 250 may check a result providing policy according to the user related information. The result providing policy may include information defining how the search result screen is configured.

911 단계에서, 서버 프로세서(250)는 결과 제공 정책에 따른 검색 결과 화면을 구성할 수 있다. 예컨대, 서버 프로세서(250)는 결과 제공 정책에서 사용자 선호 정보를 확인하고, 사용자 선호 정보에 대응하는 상품 정보가 지정된 크기와 위치를 가지도록 검색 결과 화면을 구성할 수 있다. In operation 911, the server processor 250 may configure a search result screen according to a result providing policy. For example, the server processor 250 may check the user preference information in the result providing policy, and configure the search result screen such that the product information corresponding to the user preference information has a specified size and location.

913 단계에서, 서버 프로세서(250)는 검색 결과 화면을 제공할 수 있다. 이후, 서버 프로세서(250)는 사용자 피드백 정보를 수집하고, 수집된 사용자 피드백 정보에 따라 사용자 선호 정보를 변경하고 그에 따른 결과 제공 정책을 갱신할 수 있다. 상술한 반복된 동작을 통하여, 서비스 장치(200)는 사용자가 필요로 하거나 선호하는 검색 결과를 우선하여 사용자에게 제공함으로써, 사용자의 검색 시간을 절약하고, 적절한 상품 구매를 유도할 수 있다. 추가적으로, 상기 결과 제공 정책은 사용자 선호 정보와 관련한 우선순위 정보를 포함할 수 있다. 이에 따라, 결과 제공 정책에 따라 구성된 검색 결과 화면은 사용자가 선호하는 정보들에 대응하는 상품들부터 복수개의 상품이 일정 배치 순서를 가지며 구성될 수 있다. 이에 따라, 상기 서비스 장치(200)는 사용자의 기호에 맞지 않거나 사용자에게 필요하지 않을 것으로 예상되는 검색 결과를 제외시킴으로써, 검색 결과의 신뢰도를 개선시킬 수 있다.In operation 913, the server processor 250 may provide a search result screen. Thereafter, the server processor 250 may collect the user feedback information, change the user preference information according to the collected user feedback information, and update the result providing policy accordingly. Through the above-described repeated operation, the service apparatus 200 may provide the user with a search result that the user needs or preferentially preferentially, thereby saving the user's search time and inducing a proper product purchase. In addition, the result providing policy may include priority information related to user preference information. Accordingly, the search result screen configured according to the result providing policy may be configured with a plurality of products having a predetermined arrangement order from products corresponding to information preferred by the user. Accordingly, the service device 200 may improve the reliability of the search results by excluding the search results that do not fit the user's taste or are not expected to be needed by the user.

본 발명은 이미지 검색 분야에 적용되는 것으로서, 특히, 상품 이미지 검색에 관련된다.The present invention applies to the field of image retrieval, and more particularly relates to product image retrieval.

본 발명은 이미지 검색 결과 처리에 있어서 사용자의 피드백 정보를 수집하여 검색 신뢰도를 갱신하고, 이를 기반으로 보다 명확한 검색 결과를 제공함으로써, 사용자의 검색 시간을 절약하고, 적절한 상품 구매를 유도하여 상품 구매의 만족도가 높고 안정적인 상품 구매가 가능한 생태계를 구축할 수 있도록 지원한다.The present invention collects the feedback information of the user in the process of image search results to update the search reliability, and provide a more clear search results based on this, saving the user's search time, inducing the appropriate product purchases We support the creation of an ecosystem that can provide high satisfaction and stable product purchase.

10: 서비스 시스템 50: 네트워크
100: 사용자 단말 110: 통신 회로
120: 입력 장치 130: 디스플레이
140: 메모리 150: 프로세서
200: 서비스 장치 210: 서버 통신 회로
240: 데이터베이스 250: 서버 프로세서10: service system 50: network
100: user terminal 110: communication circuit
120: input device 130: display
140: memory 150: processor
200: service device 210: server communication circuit
240: Database 250: Server Processor

Claims (11)

서버 통신 회로;
상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서;를 포함하고,
상기 서버 프로세서는
상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고,
상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하고,
상기 쿼리 이미지를 기반으로 이미지 검색을 수행하고,
기 저장된 결과 제공 정책에 따라 상기 이미지 검색의 검색 결과를 기반으로 검색 결과 화면을 구성하여 상기 사용자 단말에 전송한 후,
상기 사용자 단말로부터 상기 검색 결과가 표시되는 동안 사용자 피드백 정보를 수신하고,
수신된 상기 사용자 피드백 정보를 기반으로 상기 검색 결과를 제공하는 화면 구성과 관련한 결과 제공 정책을 갱신하는 것을 특징으로 하는 서비스 장치.Server communication circuitry;
A server processor operatively connected to the server communication circuitry;
The server processor
Establish a communication channel with a user terminal based on the server communication circuit,
Receive a query image for image search from the user terminal,
Perform an image search based on the query image,
After configuring a search result screen based on a search result of the image search according to a pre-stored result providing policy and transmitting to the user terminal,
Receive user feedback information while the search result is displayed from the user terminal,
And a result providing policy related to a screen configuration for providing the search result based on the received user feedback information. 제1항에 있어서,
상기 서버 프로세서는
상기 사용자 단말로부터 로그인 정보를 수신하면, 상기 로그인 정보에 대응하는 기 저장된 사용자 관련 정보를 획득하고, 상기 사용자 관련 정보에 대응하는 개인화된 결과 제공 정책에 따라 상기 검색 결과 화면을 구성하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
Receiving login information from the user terminal, acquiring pre-stored user related information corresponding to the login information, and configuring the search result screen according to a personalized result providing policy corresponding to the user related information; Service device. 제1항에 있어서,
상기 서버 프로세서는
상기 검색 결과가 상기 사용자 단말에 표시되는 동안 사용자 조작에 따라 상기 사용자 단말의 조작 상태 정보를 상기 사용자 피드백 정보로서 획득하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And the operation state information of the user terminal is obtained as the user feedback information according to a user operation while the search result is displayed on the user terminal. 제1항에 있어서,
상기 서버 프로세서는
상기 결과 제공 정책에 따라, 사용자에게 제공할 상품의 종류, 상품 객체가 표시될 화면 상에서의 크기, 상품 객체가 표시될 화면 상에서의 위치 중 적어도 하나를 결정하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And at least one of a kind of a product to be provided to the user, a size on a screen on which the product object is displayed, and a location on a screen on which the product object is displayed according to the result providing policy. 제1항에 있어서,
상기 서버 프로세서는
로그인되지 않은 가상 페이지를 통해 상기 쿼리 이미지를 획득한 경우, 디폴트로 제공되는 일반 결과 제공 정책을 상기 사용자 피드백 정보를 기반으로 갱신하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And when the query image is obtained through a virtual page that is not logged in, updating the general result provision policy, which is provided by default, based on the user feedback information. 제1항에 있어서,
상기 서버 프로세서는
로그인된 가상 페이지를 통해 상기 쿼리 이미지를 획득한 경우, 상기 사용자 단말과 관련하여 기 저장된 사용자 관련 정보에 대응하는 개인화된 결과 제공 정책을 상기 사용자 피드백 정보를 기반으로 갱신하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And obtaining the query image through the logged-in virtual page, updating a personalized result providing policy corresponding to pre-stored user related information with respect to the user terminal based on the user feedback information. 제1항에 있어서,
상기 서버 프로세서는
상기 검색 결과 화면을 통해 상품 구매가 수행된 경우, 구매된 상품의 속성 정보를 수집하고, 수집된 상기 상품 속성 정보를 기반으로 상기 결과 제공 정책을 갱신하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
And when the product purchase is performed through the search result screen, collecting the attribute information of the purchased product and updating the result providing policy based on the collected product attribute information. 제1항에 있어서,
상기 서버 프로세서는
상기 검색 결과 화면을 통해 제공된 상품이 가상 장바구니 정보에 등록된 경우, 상기 가상 장바구니 정보에 등록된 상품의 속성 정보를 수집하고, 상기 상품 속성 정보를 사용자 선호 후보 정보로 저장 관리하는 것을 특징으로 하는 서비스 장치.The method of claim 1,
The server processor
When the product provided through the search result screen is registered in the virtual shopping cart information, the service information characterized in that the attribute information of the product registered in the virtual shopping cart information is collected, and stores and manages the product attribute information as user preference candidate information Device. 제8항에 있어서,
상기 서버 프로세서는
상기 사용자 선호 후보 정보가 지정된 조건을 만족하는 경우 상기 사용자 선호 후보 정보를 사용자 선호 정보로 변경하고, 상기 변경된 사용자 선호 정보를 기반으로 상기 결과 제공 정책을 갱신하는 것을 특징으로 하는 서비스 장치.The method of claim 8,
The server processor
And when the user preference candidate information satisfies a specified condition, change the user preference candidate information to user preference information, and update the result providing policy based on the changed user preference information. 서비스 장치가,
서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계;
상기 사용자 단말로부터 이미지 검색을 위한 쿼리 이미지를 수신하는 단계;
상기 쿼리 이미지를 기반으로 이미지 검색을 수행하는 단계;
기 저장된 결과 제공 정책에 따라 상기 이미지 검색의 검색 결과를 기반으로 검색 결과 화면을 구성하여 상기 사용자 단말에 전송하는 단계;
상기 사용자 단말로부터 상기 검색 결과가 표시되는 동안 사용자 입력에 따른 사용자 단말의 조작 상태 정보를 사용자 피드백 정보로 수신하는 단계;
수신된 상기 사용자 피드백 정보를 기반으로 상기 검색 결과를 제공하는 화면 구성과 관련한 결과 제공 정책을 갱신하는 단계;를 포함하는 것을 특징으로 하는 이미지 검색 결과 처리 방법.Service unit,
Establishing a communication channel with the user terminal based on the server communication circuit;
Receiving a query image for image search from the user terminal;
Performing an image search based on the query image;
Constructing a search result screen based on a search result of the image search according to a stored result providing policy and transmitting the search result screen to the user terminal;
Receiving operation status information of the user terminal according to a user input as user feedback information while the search result is displayed from the user terminal;
And updating a result provision policy relating to a screen configuration for providing the search result based on the received user feedback information. 제10항에 있어서,
상기 검색 결과 화면을 구성하여 상기 사용자 단말에 전송하는 단계는
상기 결과 제공 정책에서 사용자 선호 정보를 확인하는 단계;
상기 사용자 선호 정보에 대응하는 카테고리의 적어도 하나의 객체가 상기 검색 결과 화면에서 지정된 크기 및 지정된 위치를 가지며 배치되도록 구성하는 단계;를 포함하는 것을 특징으로 하는 이미지 검색 결과 처리 방법.The method of claim 10,
Comprising the search result screen and transmitting to the user terminal
Confirming user preference information in the result provisioning policy;
And configuring at least one object of a category corresponding to the user preference information to be arranged having a specified size and a specified position on the search result screen.
KR1020180075996A 2018-06-29 2018-06-29 Method for Processing of result of Searching and service device thereof KR20200002474A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075996A KR20200002474A (en) 2018-06-29 2018-06-29 Method for Processing of result of Searching and service device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075996A KR20200002474A (en) 2018-06-29 2018-06-29 Method for Processing of result of Searching and service device thereof

Publications (1)

Publication Number Publication Date
KR20200002474A true KR20200002474A (en) 2020-01-08

Family

ID=69154652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075996A KR20200002474A (en) 2018-06-29 2018-06-29 Method for Processing of result of Searching and service device thereof

Country Status (1)

Country Link
KR (1) KR20200002474A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010110523A (en) 2000-06-07 2001-12-13 권태현 System for searching travel goods using internet and method for recommending travel goods using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010110523A (en) 2000-06-07 2001-12-13 권태현 System for searching travel goods using internet and method for recommending travel goods using the same

Similar Documents

Publication Publication Date Title
JP5328212B2 (en) RECOMMENDATION INFORMATION EVALUATION DEVICE AND RECOMMENDATION INFORMATION EVALUATION METHOD
CN104978267B (en) webpage test method, terminal and server
US20140143096A1 (en) Method and arrangement for enabling evaluation of product items
KR20200003577A (en) Method for Providing of Information of Goods based on image searching and service device supporting the same
US20200211073A1 (en) Method for dynamically recommending catalog and electronic device thereof
JP2014160396A (en) Commodity recommendation device, commodity recommendation method, program, and commodity recommendation system
JP7139236B2 (en) Image processing device, image processing method and image processing program
JP4938737B2 (en) Product search system, product search method, and program
KR20200024534A (en) Supporting Method for Searching of Goods and service device, and terminal device thereof
KR101900711B1 (en) System for recommend the customized information, method thereof, and recordable medium storing the method
JP2012242844A (en) Recommendation information generation device and recommendation information generation method
US20220335101A1 (en) Device for generating user profile and system comprising the device
KR20200002474A (en) Method for Processing of result of Searching and service device thereof
KR20200024538A (en) Method of recommending of information related to an image searching and service device thereof
WO2019134501A1 (en) Method and device for simulating fit of garment on user, storage medium, and mobile terminal
KR20200001887A (en) Supporting Method for Image Searching and service device thereof
KR20200023095A (en) Method of management of goods information and service device thereof
KR20200024536A (en) Method of providing of image searching result and service device thereof
JP2015106351A (en) Content distribution device and free word recommendation method
JP2015138500A (en) information presentation system and information presentation method
KR20200000929A (en) Method for Providing of Image Searching Information and service device thereof
KR20200024539A (en) Providing Method of information related to an image searching and service device thereof
KR20200024540A (en) Providing Method of summary information for an image searching and service device thereof
JP5981623B1 (en) Product size data management method
CN111723279A (en) Food material recommendation method and device

Legal Events

Date Code Title Description
N231 Notification of change of applicant