WO2018062644A2 - 사물 인식을 이용한 대상물 검색 시스템 - Google Patents

사물 인식을 이용한 대상물 검색 시스템 Download PDF

Info

Publication number
WO2018062644A2
WO2018062644A2 PCT/KR2017/001825 KR2017001825W WO2018062644A2 WO 2018062644 A2 WO2018062644 A2 WO 2018062644A2 KR 2017001825 W KR2017001825 W KR 2017001825W WO 2018062644 A2 WO2018062644 A2 WO 2018062644A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
advertisement
search
user
Prior art date
Application number
PCT/KR2017/001825
Other languages
English (en)
French (fr)
Other versions
WO2018062644A3 (ko
Inventor
설영석
Original Assignee
설영석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160153201A external-priority patent/KR101840422B1/ko
Application filed by 설영석 filed Critical 설영석
Publication of WO2018062644A2 publication Critical patent/WO2018062644A2/ko
Publication of WO2018062644A3 publication Critical patent/WO2018062644A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • An embodiment of the present invention relates to an object search system using object recognition.
  • a search site used for easy access to information to be obtained on the Internet web includes a large number of banners irrelevant to the search topic on the web page when searching for information using a search bar rather than through a random category on the main page. Linking advertisements, the search results are just a list of resources.
  • a request for searching for object information using an object image, machine learning information related to a thing registered by another user in a server, and quickly providing information about the object based on the object information accordingly
  • the present invention provides an object search system using object recognition that can search for an object by only recognizing the user.
  • the present embodiment can selectively provide the advertisement content with the object information searched through the corresponding web site to search for the object using the object recognition that can provide a reward for the advertising revenue to the user who registered the object information It is also possible to provide a system.
  • An object search system using object recognition includes an application installed in a user terminal and requesting information search of an object based on an object image; And after receiving various information from the user based on the deep learning technology machine learning about the classification of the object and store the information, if requested to retrieve the information of the object from the application, by searching the information of the object through the image matching algorithm It includes a server provided to the application.
  • the server may further include an information registration unit for registering various information from a user;
  • a machine learning unit which performs machine learning on a classification of a specific object included in the information registered through the information registration unit;
  • a database unit for storing information classified through machine learning of the machine learning unit;
  • a search engine unit for receiving a request for information search of an object from the application and searching for and providing information of the corresponding object from the database unit using a feature matching method.
  • the server may further include an advertisement content register for registering various advertisement contents from an advertiser; And an advertisement content matching unit for matching the advertisement content registered through the advertisement content registration unit with the information registered through the information registration unit and storing the advertisement content in the database unit.
  • the server may further include: a search count determining unit configured to determine a number of searches for the information stored in the database unit through the search engine unit; An advertisement fee information register for receiving advertisement fee information on advertisement content registered through the advertisement content register, and for setting an advertisement fee level in a predetermined amount unit; And an advertisement revenue distribution unit that extracts information of a user who is searched through the search engine unit and registers information of a corresponding object provided to the application, and distributes a part of advertisement revenue to the corresponding user based on the extracted user information.
  • the information and advertisement content matching unit may update the database unit by inserting the advertisement content having the high advertising fee level in the order of the high number of times of information searched through the search frequency determining unit.
  • the application may include: an object photographing unit configured to photograph an object in association with a camera provided in the user terminal; An information retrieval request unit for requesting an object information retrieval from the server based on the object image photographed through the object photographing unit or the object image previously stored in the user terminal; And information and advertisement content providing unit for receiving the information and advertisement content of the corresponding object requested through the information retrieval request unit from the server and outputting the information through the user terminal.
  • the application may further include a search area selector for selecting a search area including an object to be searched from the object image photographed by the object photographing unit.
  • the application when the application receives information of a plurality of corresponding objects from the server according to a request of the information retrieval request unit, the application is selected by a user among the information of the plurality of corresponding objects and output through the information and the advertisement content providing unit.
  • the apparatus may further include a metadata feedback unit configured to extract metadata about the information of the object to be fed back to the server.
  • the server may insert various advertisement contents registered from an advertiser into various types of information registered in the information registration unit and store them in the database, and receive the metadata from the metadata feedback unit to determine the number of feedback for each metadata. And a metadata feedback count determining unit, wherein the information and advertisement content matching unit extracts information corresponding to metadata with a high number of times fed back through the metadata feedback count determining unit and then returns the information.
  • the database unit may be updated by matching advertisement content with a high advertisement fee.
  • the object information search using the object image, machine learning the object-related information registered by the other user in the server and quickly provide information on the object based on the object information. It is possible to search for an object by only recognizing the object, thereby facilitating user convenience.
  • the advertisement content may be selectively provided together with the object information searched through the corresponding web site, thereby providing a reward for the advertisement revenue to the user who registered the object information.
  • FIG. 1 is a view showing the overall configuration of the object search system using the object recognition according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of an object search system using object recognition according to an exemplary embodiment of the present invention.
  • FIG. 3 is a view illustrating a thing recognition process using a user terminal and an application according to an embodiment of the present invention.
  • FIG. 4 is a diagram to help understand a method of designating a search area in a captured image of an application according to an exemplary embodiment of the present invention.
  • 5 to 7 are diagrams for easy understanding of a method of finding an object image based on an image matching method of a server and learned image information according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a method of updating a combination of information matched with a database and advertisement content according to a user's number of information retrieval.
  • FIG. 9 is a diagram illustrating a method of updating a combination of information matched with a database and advertisement content according to a user's selection of a plurality of pieces of information.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • Figure 1 is a view showing the overall configuration of the object search system using the object recognition according to an embodiment of the present invention
  • Figure 2 is a block diagram showing a detailed configuration of the object search system using the object recognition according to an embodiment of the present invention
  • 3 is a diagram illustrating a thing recognition process using a user terminal and an application according to an embodiment of the present invention.
  • an object searching system 1000 using object recognition may include at least one of an application 100 and a server 200.
  • the application 100 is installed in the user terminal 10, photographs the object 1 through the front and rear cameras 11 of the user terminal 10, and searches for information (data) on the recognized object 1.
  • the server 200 may make a request.
  • the user terminal 10 is capable of wired / wireless internet communication, and can be connected to the Internet network to download and install the application 100 (smart phone), tablet PC (tablet PC), slate PC (slate PC) ), A notebook computer, and the like.
  • a web camera is provided and the application 100 can be installed, a desktop PC is also possible.
  • the application 100 may be implemented as a web browser or a specific application instead of the mobile version.
  • the application 100 includes at least one of an object photographing unit 110, a thing recognizing unit 120, an information retrieval requesting unit 130, an advertisement and information content providing unit 140, and a metadata feedback unit 150. can do.
  • the object photographing unit 110 may photograph the object 1 by interlocking with the camera 11 of the user terminal 10 and obtain an object photographed image.
  • the object photographing unit 110 may provide, for example, a user interface for capturing a command, applying a picture directly, storing a picture, retrieving a picture, and a search request function.
  • the photographing command interface may activate a function of the camera 11 for capturing a target object (hereinafter, referred to as an object), and the photograph may be activated using the activated camera 11. You can shoot.
  • the photo direct application interface is an interface for selecting from the user whether to apply directly to data for searching for an object photographed image photographed through the photographing command interface.
  • the photo storage interface may be temporarily stored in the memory of the user terminal 10 allocated by the application 100 when not using the object photographed image generated through the photographing command interface but later using the object.
  • the photo import interface may import a desired image file when using the stored object photographed image as a search word through the photo storage interface.
  • the search request interface may select one of the image files loaded through the photo import interface and request a search for information on the corresponding object.
  • the search region selector 120 may designate a search region for specifying the object 1 represented by the image generated by the object photographing unit 110.
  • FIG. 4 is a diagram to help understand a method of designating a search region in a captured image through a search region selector.
  • the search area selection unit 120 distinguishes the background elements from the subject elements in the photographed image to help the user recognize the subject elements as the object 1 to be searched. do.
  • the search region selection unit 120 may designate one of a plurality of objects as the object 1 to be searched.
  • the method of designating the search region may be performed by designating the search region such that the object 1 is included in a drag method in the captured image output through the screen of the user terminal 10.
  • the server 200 to be described later is a machine learning on the object classification based on the deep learning (Deep Learning) technology, extract feature points for the learned object in the photographed image, and feature matching with the stored image Since objects may be classified and recognized through the use of the search region selection unit 120, the object may be omitted. However, for example, when a user takes a picture to search for information on a bag, a search area is selected to specify an object (1) to be searched when the captured image includes another bag or other undesired objects.
  • the unit 120 may be limitedly used.
  • the information retrieval request unit 130 may include image information photographed by the object photographing unit 110, an object image previously stored in a memory of the user terminal 10, or an object selected by the search region selection unit 120. On the basis of the specified image information for (1), it is possible to access the web site 20 and make an information search request.
  • the information and advertisement content providing unit 140 may receive a search result according to the information search request of the information search requesting unit 130 from the server 200 and output the result of the search through the user terminal 10.
  • the information provided through the advertisement and information content providing unit 140 may include advertisement content together with information such as an image and text about a search object.
  • the advertisement content may be displayed at a position such as an upper end, a side end, a lower end of the object information, or may be provided in a manner of disappearing after being exposed for a predetermined time before viewing the object information.
  • the advertisement content is not necessarily provided together with information desired by the user through the information and advertisement content providing unit 140, and the advertisement content may be omitted depending on various situations such as a contract relationship with the advertiser.
  • the server 200 will be described on the premise of providing the relevant advertisement contents together with the information desired by the user.
  • one search result may be provided according to a search request of the information search requester 130, but a plurality of search results related thereto may also be provided.
  • the advertisement and information content providing unit 140 may provide a list of a plurality of search results in a preview manner and provide them with accuracy, and a user may want to view and view a list of search results. You can select and view the information.
  • the metadata feedback unit 150 may extract metadata of the search result list, that is, information selected and browsed by the user from among a plurality of information about the corresponding object.
  • the metadata feedback unit 150 displays the information of A and D. Metadata for each may be extracted and fed back to the server 200 through the web site 20.
  • the metadata may generally mean data describing an attribute of an information resource as data about data. That is, the metadata is not information (search result information) that is actually stored, but may mean data that is directly or indirectly related to the information and provides information that can be distinguished. Such metadata can confirm whether the desired data is correct and can easily find the desired data.
  • the metadata can provide a function of identifying or identifying the corresponding information by using the metadata. That is, in the present embodiment, the metadata may be used as identification information for distinguishing the above-described information of A and D, and may be combined with specific object information registered in the server 200, for example, a photographed image.
  • the server 200 registers various types of information from a user, stores the machine information on the classification of the object (or object) based on deep learning technology, and stores the information.
  • the server 200 retrieves the information of the object from the application 100.
  • the target object may be searched for through the image matching algorithm and provided to the application 100.
  • the server 200 may include an information register 210, a machine learning unit 220, a database unit 230, and a search engine unit 240.
  • the server 200 includes an advertisement content register 250, an advertisement and information content matcher 260, a search count determiner 270A, a metadata feedback count determiner 270B, an advertisement fee information register 270, and an advertisement.
  • the revenue distribution unit 280 may further include.
  • the server 200 according to the present embodiment may be an artificial intelligence server having a web function, but various types of servers may be applied thereto without limiting the type of the server.
  • the information registration unit 210 may register various information from the user through the web site 20.
  • the user means a person who registers various kinds of useful information on the server 200, and the various kinds of useful information may include image information such as plants, animals, devices, and equipment as information on various kinds of objects.
  • the user may go through a membership registration and login procedure.
  • User information can be registered when registering, and the user information can include a deposit account.
  • the deposit account is intended to provide the user with monetary compensation for information registration, and if the information provided to the application 100 corresponds to the information registered by the user, a portion of the revenue for the advertising content exposed with the information is rewarded. It can be used for the purpose.
  • a portion of the advertising revenue can be distributed through the cash transfer as described above, but can also be provided such as points or cyber money that can be used through the website (20). These points or cyber money can be used like cash when purchasing goods in a shopping mall operated in conjunction with the website 20.
  • the information registration unit 210 may assign metadata to the corresponding information and match the information of the corresponding user.
  • the metadata is data about information registered by a specific user and may be used for identifying or identifying the information.
  • the machine learning unit 220 may perform machine learning on the classification of the object included in the information registered through the information registering unit 210. More specifically, the machine learning unit 220 learns the classification of the object by using the deep learning technology, stores it in the database unit 230, and classifies the object related to the object to be searched in cooperation with the search engine 240. It helps to find the relevant information learned in the database 230.
  • the database unit 230 may classify and store object (or object) information learned through the machine learning unit 220.
  • classifying and storing the learned object information may mean that the object is systematically stored according to various classification criteria such as category, design, structure, and brand of the object.
  • the search engine unit 240 may receive a request for information search of an object from the application 100 and search for and provide information on the corresponding object from the database unit 230 using a feature matching method.
  • the search engine 240 may classify and recognize an object to be searched in the user's photographed image in association with the machine learning unit 220, and search for corresponding information from the database unit 230 using a feature matching method.
  • the feature matching method may use the FERNs algorithm capable of machine learning, and the machine learning may apply, for example, a deep learning solution disclosed by Caffe of Berkeley University.
  • 5 to 7 are diagrams to help understand the method of finding an object image based on the image matching method of the server and the learned image information according to an embodiment of the present invention.
  • the search engine 240 extracts (features extracts) a specific point from the photographed image provided by the user, and based on this, the object image learned through the machine learning unit 220.
  • the feature matching process with a specific point of may be performed to search for and provide an object image having the highest similarity, that is, the specific point extracted the most.
  • a logo or text is added to an object in the photographed image illustrated in FIG. 5, that is, a bag, as compared to the bag.
  • a specific point including a logo or text in a photographed image provided by the user is included.
  • the object is photographed at an angle different from that of the photographed image illustrated in FIG. 6. Even though the photographing angle of the object is different, the feature matching is performed with the learned body image based on a specific point. It shows that information can be retrieved.
  • the larger the size occupied by the image of the object in the photographed image the more specific point analysis can be performed, more accurate results can be obtained.
  • the object in the photographed image Even if the size of the image is small, the object to be searched can be easily specified, thereby reducing the constraints on image capture of the object.
  • the search engine 240 may provide the advertisement content matched through the advertisement and the information content matching unit 230 when providing the information of the object. Accordingly, when confirming a search result through the application 100, the advertisement content may be exposed together with the corresponding object information.
  • the advertisement content registration unit 250 may register various advertisement contents from the advertiser 3 through the web site 20.
  • the advertiser 3 refers to a person who registers various advertisement contents in the server 200, and the advertisement contents may include various types of electronic advertisements such as an advertisement image or a video.
  • the advertisement content registration unit 220 may receive a predetermined advertisement fee in consideration of the kind or specific matter of the advertisement content. For example, suppose you have advertising content A, B, C, D, and E. Content A is 100,000, B is 200,000 won, C is 300,000 won, D is 400,000 won, and E is 500,000 won. Advertisement fees may be set.
  • the advertisement content registerer 250 may set an advertisement fee according to exposure of the advertisement content to be registered when the advertiser 3 wants to register the advertisement content for the first time.
  • the advertising fee may be set to 100 won per time, and assuming that the advertisement content is exposed to other users 10 times with the information registered by the user 2, a total of 1000 won may be paid. Some of the 1000 won paid in this way may be provided to the user (2) who provided each information in cash or a corresponding point or cyber money, respectively.
  • the advertisement and information content matching unit 260 may automatically match the advertisement content registered through the advertisement content registration unit 220 to the information registered through the information registration unit 210 and store it in the database unit 230.
  • the advertisement and information content matching unit 260 may combine the information and the advertisement content by arbitrarily matching when the advertisement content is first inserted into each information. For example, the information may be stored in the database unit 230 by matching the registered information with the advertisement content.
  • the advertisement and information content matching unit 260 may update the database unit 230 by changing the matching between the registration information and the advertisement content so that the advertisement content having a high advertisement fee is inserted into the information frequently searched. A more detailed description thereof will be described later.
  • the search count determining unit 270A may determine the number of searches through the search engine unit 240 for information stored in the database unit 230.
  • the information A, B, C, D, E is stored in the database 21, and according to the search request of the application 100, information A is 10 times in total, information B is 1 time, and information C is A total of 20 searches, information D is 0 times, and information E is 6 times.
  • the number of searches may be reset periodically and may be real-time information from the time of reset to the present.
  • the search count determining unit 250 is a means for determining how much each piece of information is searched for, and the search count information is used as information for changing a match between the information stored in the database unit 230 and the advertisement content. Can be.
  • the metadata feedback count determining unit 270B may receive the metadata from the metadata feedback unit 150 of the application 100 to determine the feedback count for each metadata.
  • Search results provided to the application 100 through the search engine unit 240 may be one or more. For example, if the application 100 makes a search request to the server 200 with a recognition result of A, a single search result of a may be provided, but a plurality of searches similar to each other, such as a1, a2, a3 .. You can also provide a result.
  • the search engine 240 provides one search result, one search count for the corresponding information may be counted, but when the search engine 240 provides a plurality of search results, the search count for each information may be counted.
  • Only the information selected by the user through the application 100 may be counted.
  • the reason is that many search results are provided in the form of a short view of the list, so that the advertising content is not directly exposed. Accordingly, when the user designates and browses a specific item of the list, the corresponding advertisement content is exposed. At this time, the user may recognize that the information is confirmed and count the number of searches for the information.
  • the metadata feedback count determining unit 270B receives the metadata from the metadata feedback unit 150 of the application 100 every time the user finally checks the information, and counts the number of searches for the information. can do. Accordingly, the metadata feedback count determiner 260 may determine the number of metadata for each information. For example, when information such as A, B, C, D, and E is stored in the database 230, Information A can be identified 10 times, information B 2 times, information C 7 times, information D 8 times, information E 15 times, and so on. As described above, when the number of search results is provided to the application 100, the metadata feedback count may be counted only for the corresponding information checked together with the advertisement content.
  • FIG. 8 is a diagram illustrating a method of updating a combination of information matched with a database and advertisement content according to a user's number of information retrieval.
  • the search count determiner 270A may determine how many times the information searched through the search engine 240 is provided to the application 100. For example, if the information A, B, C, D, E is provided to the application 100 as a search result, information A is 10 times in total, information B is 20 times in total, information C is 30 times in total, information D. Is a total of 40 times, information E can be found by counting the number of searches, a total of 50 times. In this case, when the number of searches is determined, one search result is provided to the application 100, and it is assumed that the user has checked the provided single information together with the corresponding advertisement content.
  • the information and advertisement content matching unit 260 may change the matching of each piece of information stored in the database unit 230 and the advertisement content based on the number of searches for each piece of information identified by the search number determining unit 250. . For example, if information A is 10 times, information B is 20 times in total, information C is 30 times in total, information D is 40 times in total, information E is 50 times in total, and information E, D, C is detected.
  • the matching between each piece of information and the advertisement content may be changed so that the advertisement content with the highest advertisement fee in the order of B, A is inserted. For example, information E inserts advertising content priced at $ 500, information D inserts advertising content priced at $ 200, and information C inserts advertising content priced at $ 300.
  • the advertisement B may be inserted into the information B, which is charged at 200,000 won, and the advertisement A, may be inserted into the information A, which is charged at 100,000 won. Accordingly, the matching between the information stored in the database unit 230 and the advertisement content may be updated by changing some or all of the matching information.
  • FIG. 9 is a diagram illustrating a method of updating a combination of information matched with a database and advertisement content according to a user's selection of a plurality of pieces of information.
  • the metadata feedback count determining unit 270B receives the metadata from the metadata feedback unit 150 of the application 100 and receives the metadata from the database unit 230 based on the feedback metadata. It is possible to determine what information has been provided to the user and finally confirmed, and the number of feedbacks of metadata for each information can be determined. For example, if the information A, B, C, D, E is provided to the application 100 as a search result, 10 metadata are fed back for information A, 20 metadata are fed back for B, and C is fed back. As for 30 times of metadata is fed back, 40 times of metadata is fed back to D, and 50 times of metadata is fed back to E, the number of feedbacks of metadata for each information can be determined.
  • the information and content matching unit 260 may change the matching between the information stored in the database unit 230 and the advertisement content based on the number of metadata feedback for each information identified by the metadata feedback number determining unit 270B. have. For example, if the number of times of metadata feedback for information A, B, C, D, and E is 10, 20, 30, 40, and 50, respectively, information E, which has the highest number of feedbacks, starts from information D, C, The matching between each piece of information and the advertisement content can be changed such that the advertisement content with the highest advertising fee in the order of B and A is inserted. For example, information E inserts advertising content priced at $ 500, information D inserts advertising content priced at $ 200, and information C inserts advertising content priced at $ 300.
  • the advertisement B may be inserted into the information B, which is charged at 200,000 won, and the advertisement A, may be inserted into the information A, which is charged at 100,000 won. Accordingly, the matching between the information stored in the database unit 230 and the advertisement content may be updated by changing some or all of the matching information.
  • the advertisement fee information register 280 may receive advertisement fee information on advertisement content registered through the advertisement content register 250 and set an advertisement fee level in a predetermined amount unit.
  • the high and low advertising fee for each advertising content can be judged by simply the amount of money, but for example, if the advertising fee of Content A is 10 million won and the Content B is 100 million won, the difference in the advertising fee for the two contents is not substantial. . For this reason, it is possible to define a level for the advertisement fee and to set an advertisement fee level for each advertisement content in a predetermined amount unit.
  • level of advertising fee is 1-5
  • each level is 200,000 won
  • level 1 is less than 1 million won and more than 800,000 won
  • level 2 is less than 800,000 won and more than 600,000 won
  • level 3 Is defined as a range of less than 600,000 won and more than 400,000 won
  • level 4 of less than 400,000 won and more than 200,000 won
  • level 5 of less than 200,000 won. Therefore, as described above, when the number of times of metadata feedback on information A, B, C, D, and E is 10, 20, 30, 40, and 50 times, information E is the highest level of advertisement fee.
  • Ad content of 1 is inserted, D is inserted with ad content at level 2, with the next highest advertising level, C is inserted with ad content at level 3, with the next highest advertising level, and with B Advertisement content of level 4 with the next highest advertising fee level may be inserted, and A advertisement content of level 5 with the lowest advertising fee level may be inserted. This may be equally applied to the change of matching between information and advertisement content according to the number of searches as well as the number of metadata feedbacks.
  • the advertisement revenue distribution unit 290 is searched through the search engine 240 to extract the information of the user who registered the information on the target object provided to the application 100, the user based on the extracted user information To distribute a portion of the advertising revenue. As such, by paying the user for the information registration, the degree of participation in the information registration using the web site 20 can be increased.
  • the advertisement revenue distribution unit 290 may settle the compensation to be paid to each user for a certain period of time. For example, compensation can be settled on a weekly, monthly or quarterly basis. Rewards may be paid in the form of a transfer through the user's account, but may be paid in points that can be used like cash in cyber shopping malls or the like that can be used in online games. In addition, the compensation for providing information may be processed in various ways such as mobile gift certificates.
  • the advantage of this method is that it is possible to quickly obtain relevant information without knowing any information about the thing.
  • the product search system using object recognition may quickly acquire object related information even in a situation in which the user does not know any information about the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 사물 인식을 이용한 대상물 검색 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 사용자 단말의 카메라를 이용하여 특정 객체에 대한 이미지 검색을 요청하고, 서버에 다른 사용자가 등록한 사물 관련 정보를 기계 학습하고 이를 바탕으로 해당 사물에 대한 정보를 빠르게 제공할 수 있으며, 이에 따라 사물 인식만으로 대상의 검색이 가능하여 사용자의 편의성을 도모하는 데 있다. 일례로, 사용자 단말에 설치되고, 대상물 이미지를 기반으로 대상물의 정보 검색을 요청하는 어플리케이션; 및 사용자로부터 각종 정보를 등록받아 딥러닝 기술을 기반으로 대상물의 분류에 대한 기계 학습을 거친 후 저장하고, 상기 어플리케이션으로부터 대상물의 정보 검색을 요청받으면, 이미지 매칭 알고리즘을 통해 해당 대상물의 정보를 검색하여 상기 어플리케이션으로 제공하는 서버를 포함하는 사물 인식을 이용한 대상물 검색 시스템을 개시한다.

Description

사물 인식을 이용한 대상물 검색 시스템
본 발명의 실시예는 사물 인식을 이용한 대상물 검색 시스템에 관한 것이다.
일반적으로 인터넷 웹 상에서 얻으려는 정보에 쉽게 접근하기 위하여 이용되는 검색 사이트에서는 메인 페이지상의 임의로 구분된 카테고리를 통하지 않고 검색 창을 이용하여 정보를 검색할 경우, 웹 페이지에 검색주제와 상관없는 다수의 배너광고를 링크하고 있으며, 검색된 결과들도 단순한 자료의 나열에 그치고 만다.
또한, 인터넷 웹 상에서 상품을 검색 시 상품의 기본 정보를 토대로 텍스트 및 음성으로 검색해야 하는 불편함이 존재하고, 상품을 인터넷 웹 상에서 검색하려면 상품명이나 최소한의 기본적인 상품정보를 알아야 검색할 수 있다는 한계점이 있다.
본 발명의 실시예는, 대상물 이미지를 이용하여 대상물 정보 검색을 요청하고, 서버에 다른 사용자가 등록한 사물 관련 정보를 기계 학습하고 이를 바탕으로 해당 사물에 대한 정보를 빠르게 제공할 수 있으며, 이에 따라 사물 인식만으로 대상의 검색이 가능하여 사용자의 편의성을 도모할 수 있는 사물 인식을 이용한 대상물 검색 시스템을 제공한다.
또한, 본 실시예는 해당 웹 사이트를 통하여 검색한 사물 정보와 함께 광고 콘텐츠를 선택적으로 제공할 수 있도록 하여 해당 사물 정보를 등록한 사용자에게 광고 수익에 대한 보상을 제공할 수 있는 사물 인식을 이용한 대상물 검색 시스템을 제공할 수도 있다.
본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템은, 사용자 단말에 설치되고, 대상물 이미지를 기반으로 대상물의 정보 검색을 요청하는 어플리케이션; 및 사용자로부터 각종 정보를 등록받아 딥러닝 기술을 기반으로 대상물의 분류에 대한 기계 학습을 거친 후 저장하고, 상기 어플리케이션으로부터 대상물의 정보 검색을 요청받으면, 이미지 매칭 알고리즘을 통해 해당 대상물의 정보를 검색하여 상기 어플리케이션으로 제공하는 서버를 포함한다.
또한, 상기 서버는, 사용자로부터 각종 정보를 등록 받기 위한 정보 등록부;
상기 정보 등록부를 통해 등록된 정보에 포함되어 있는 특정 대상물의 분류에 대한 기계 학습을 수행하는 기계 학습부; 상기 기계 학습부의 기계 학습을 통해 분류된 정보를 저장하는 데이터베이스부; 및 상기 어플리케이션으로부터 대상물의 정보 검색을 요청 받고, 피처 매칭 방식을 이용하여 상기 데이터베이스부로부터 해당 대상물의 정보를 검색하고 제공하기 위한 검색 엔진부를 포함할 수 있다.
또한, 상기 서버는, 광고주로부터 각종 광고 콘텐츠를 등록 받기 위한 광고 콘텐츠 등록부; 및 상기 정보 등록부를 통해 등록된 정보에 상기 광고 콘텐츠 등록부를 통해 등록된 광고 콘텐츠를 매칭하여 상기 데이터베이스부에 저장하기 위한 정보 및 광고 콘텐츠 매칭부를 더 포함할 수 있다.
또한, 상기 서버는, 상기 데이터베이스부에 저장된 정보를 대상으로 상기 검색 엔진부를 통해 검색되는 횟수를 파악하는 검색 횟수 파악부; 상기 광고 콘텐츠 등록부를 통해 등록되는 광고 콘텐츠에 대한 광고료 정보를 등록 받고, 일정 금액 단위로 광고료 레벨을 책정하기 위한 광고료 정보 등록부; 및 상기 검색 엔진부를 통해 검색되어 상기 어플리케이션으로 제공되는 해당 대상물의 정보를 등록한 사용자의 정보를 추출하고, 추출된 사용자의 정보에 기초하여 해당 사용자에게 광고 수익의 일부를 분배하는 광고 수익 분배부를 더 포함하고, 상기 정보 및 광고 콘텐츠 매칭부는, 상기 검색 횟수 파악부를 통해 검색된 횟수가 높은 정보의 순서로 상기 광고료 레벨이 높게 책정된 광고 콘텐츠를 삽입하여 상기 데이터베이스부를 업데이트할 수 있다.
또한, 상기 어플리케이션은, 상기 사용자 단말에 구비된 카메라와 연동하여 대상물을 촬영하기 위한 대상물 촬영부; 상기 대상물 촬영부를 통해 촬영된 대상물 이미지 또는 상기 사용자 단말에 기 저장된 대상물 이미지를 기반으로 대상물 정보 검색을 상기 서버로 요청하기 위한 정보 검색 요청부; 및 상기 정보 검색 요청부를 통해 요청된 해당 대상물의 정보와 광고 콘텐츠를 상기 서버로부터 제공 받아 상기 사용자 단말을 통해 출력하기 위한 정보 및 광고 콘텐츠 제공부를 포함할 수 있다.
또한, 상기 어플리케이션은, 상기 대상물 촬영부를 통해 촬영된 대상물 이미지에서 검색할 대상물을 포함하는 검색 영역을 선택하기 위한 검색 영역 선택부를 더 포함할 수 있다.
또한, 상기 어플리케이션은, 상기 정보 검색 요청부의 요청에 따라 상기 서버로부터 다수의 해당 대상물의 정보를 제공받을 경우, 상기 다수의 해당 대상물의 정보 중 사용자에 의해 선택되어 상기 정보 및 광고 콘텐츠 제공부를 통해 출력되는 대상물의 정보에 대한 메타데이터를 추출하여 상기 서버로 피드백하기 위한 메타데이터 피드백부를 더 포함할 수 있다.
또한, 상기 서버는, 상기 정보 등록부를 등록 받은 각종 정보에 광고주로부터 등록 받은 각종 광고 콘텐츠를 각각 삽입하여 상기 데이터베이스에 저장하되, 상기 메타데이터 피드백부로부터 메타데이터를 피드백 받아 메타데이터 별로 피드백 횟수를 파악하기 위한 메타데이터 피드백 횟수 파악부를 더 포함하고, 상기 정보 및 광고 콘텐츠 매칭부는, 상기 메타데이터 피드백 횟수 파악부를 통해 피드백된 횟수가 높은 메타데이터에 해당하는 정보를 추출하여 피드백된 횟수가 높은 정보의 순서로 높은 광고료가 책정된 광고 콘텐츠를 매칭하여 상기 데이터베이스부를 업데이트할 수 있다.
본 발명의 실시예에 따르면, 대상물 이미지를 이용하여 대상물 정보 검색을 요청하고, 서버에 다른 사용자가 등록한 사물 관련 정보를 기계 학습하고 이를 바탕으로 해당 사물에 대한 정보를 빠르게 제공할 수 있으며, 이에 따라 사물 인식만으로 대상의 검색이 가능하여 사용자의 편의성을 도모할 수 있다.
또한, 해당 웹 사이트를 통하여 검색한 사물 정보와 함께 광고 콘텐츠를 선택적으로 제공할 수 있도록 하여 해당 사물 정보를 등록한 사용자에게 광고 수익에 대한 보상을 제공할 수도 있다.
또한, 사물이 상품인 경우, 해당 상품에 대한 정보가 전혀 없는 상황에서도 이미지 검색을 통해 보다 쉽고 빠르며 정확한 정보를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템의 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템의 상세 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자 단말과 어플리케이션을 이용한 사물 인식 과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 어플리케이션의 촬영 이미지에서 검색 영역을 지정하는 방법에 대한 이해를 돕기 위한 도면이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 서버의 이미지 매칭 방식과 학습된 이미지 정보를 기반으로 대상물 이미지를 찾는 방법에 대한 이해를 돕기 위한 도면이다.
도 8은 사용자의 정보 검색 횟수에 따라 데이터베이스부에 매칭된 정보와 광고 콘텐츠의 조합을 업데이트하는 방법을 설명하기 위해 나타낸 도면이다.
도 9는 다수로 제공되는 정보 중 사용자의 정보 선택에 따라 데이터베이스부에 매칭된 정보와 광고 콘텐츠의 조합을 업데이트하는 방법을 설명하기 위해 나타낸 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템의 전체 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템의 상세 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 사용자 단말과 어플리케이션을 이용한 사물 인식 과정을 설명하기 위해 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 사물 인식을 이용한 대상물 검색 시스템(1000)은 어플리케이션(100)과 서버(200) 중 적어도 하나를 포함할 수 있다.
상기 어플리케이션(100)은 사용자 단말(10)에 설치되고, 사용자 단말(10)의 전후방 카메라(11)를 통해 대상물(1)을 촬영하고, 인식된 대상물(1)에 대한 정보(자료) 검색을 서버(200)로 요청할 수 있다. 여기서 사용자 단말(10)은 유/무선 인터넷 통신이 가능하며, 인터넷 망에 연결되어 어플리케이션(100)을 다운로드 받아 설치할 수 있는 스마트폰(smart phone), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer) 등을 포함할 수 있다. 물론, 웹 카메라가 구비되고 어플리케이션(100)의 설치가 가능하다면 데스크 탑 PC(desktop PC) 또한 가능하다. 사용자 단말(10)이 데스크 탑의 경우 어플리케이션(100)은 모바일 버전이 아닌 웹 브라우저나 특정 응용 프로그램으로도 구현 가능하다.
상기 어플리케이션(100)은 대상물 촬영부(110), 사물 인식부(120), 정보 검색 요청부(130), 광고 및 정보 콘텐츠 제공부(140) 및 메타데이터 피드백부(150) 중 적어도 하나를 포함할 수 있다.
상기 대상물 촬영부(110)는 사용자 단말(10)의 카메라(11)와 연동하여 대상물(1)을 촬영하고 대상물 촬영 이미지를 획득할 수 있다. 이러한 대상물 촬영부(110)는 예를 들어 촬영 명령, 사진 바로 적용, 사진 저장, 사진 불러오기, 검색 요청 기능을 위한 사용자 인터페이스를 제공할 수 있다. 촬영 명령 인터페이스는 사용자가 특정 사물에 대하여 검색하고자 할 경우 대상이 되는 사물(이하 대상물이라고 함)을 촬영하기 위한 카메라(11)의 기능을 활성화시킬 수 있으며, 활성화된 카메라(11)를 이용하여 사진 촬영을 실시할 수 있다. 사진 바로 적용 인터페이스는 촬영 명령 인터페이스를 통하여 촬영된 대상물 촬영 이미지 검색을 위한 데이터로 바로 적용할 것인지를 사용자로부터 선택 받기 위한 인터페이스로, 사용자가 촬영 명령 인터페이스를 이용하여 대상물 촬영 이미지를 생성하면, 생성된 촬영 이미지를 검색어로서 바로 이용할지를 결정할 수 있다. 사진 저장 인터페이스는 촬영 명령 인터페이스를 통해 생성된 대상물 촬영 이미지를 바로 이용하지 않고 추후에 이용하고자 할 경우 어플리케이션(100)에 의해 할당된 사용자 단말(10)의 메모리에 임시 저장할 수 있다. 사진 불러오기 인터페이스는 사진 저장 인터페이스를 통해 저장된 대상물 촬영 이미지를 검색어로서 이용하고자 할 경우 원하는 이미지 파일을 불러올 수 있다. 검색 요청 인터페이스는 사진 불러오기 인터페이스를 통해 로딩된 이미지 파일들을 중 하나를 선택하여 해당 대상물에 대한 정보를 검색하기 위한 요청을 할 수 있다.
상기 검색 영역 선택부(120)는 대상물 촬영부(110)를 통해 생성된 이미지로 표현된 대상물(1)을 특정하기 위한 검색 영역을 지정할 수 있다.
도 4에는 검색 영역 선택부를 통해 촬영 이미지에서 검색 영역을 지정하는 방법에 대한 이해를 돕기 위한 도면이다. 도 4에 도시된 바와 같이 검색 영역 선택부(120)는 촬영 이미지 내에서 배경적인 요소와 주체적인 요소를 구분하여 주체적인 요소를 사용자가 검색하고자 하는 대상물(1)로서 인식할 수 있도록 돕는 역할을 한다. 예를 들어, 촬영 이미지에서 다수의 객체가 포함되어 있는 경우 서버(200)가 해당 촬영 이미지에서 무엇을 검색해야 하는지 특정하기 어렵기 때문에, 서버(200)가 촬영 이미지에서 검색하고자 하는 대상물(1)을 쉽게 찾을 수 있도록 돕기 위하여 검색 영역 선택부(120)를 통해 다수의 객체 중 하나를 검색하고자 하는 대상물(1)로서 지정할 수 있다. 검색 영역을 지정하는 방식은 사용자 단말(10)의 화면을 통해 출력되는 촬영 이미지에서 드래그 방식으로 대상물(1)이 포함되도록 검색 영역을 지정함으로써 수행될 수 있다.
한편, 후술하는 서버(200)는 딥 러닝(Deep Learning) 기술을 바탕으로 객체 분류에 대한 기계 학습이 되어 있으므로, 촬영 이미지 내에서 학습된 객체에 대한 특징점들을 추출하고, 저장된 이미지와의 피처 매칭을 통해 대상물을 분류 및 인식할 수 있으므로, 상황에 따라 검색 영역 선택부(120)의 사용을 생략할 수도 있다. 다만, 가령 사용자가 어떠한 가방에 대한 정보를 검색하기 위해 촬영을 했을 때, 해당 촬영 이미지에 원치 않은 다른 가방이나 기타 다양한 사물들이 포함되어 촬영될 경우 검색할 대상물(1)을 특정하기 위하여 검색 영역 선택부(120)를 제한적으로 사용할 수 있다.
상기 정보 검색 요청부(130)는 대상물 촬영부(110)를 통해 촬영된 이미지 정보나 사용자 단말(10)의 메모리에 기 저장된 대상물 이미지, 또는 이러한 이미지에서 검색 영역 선택부(120)를 통해 선택된 대상물(1)에 대한 특정된 이미지 정보를 바탕으로 웹 사이트(20)에 접속하여 정보 검색 요청을 할 수 있다.
상기 정보 및 광고 콘텐츠 제공부(140)는 정보 검색 요청부(130)의 정보 검색 요청에 따른 검색 결과를 서버(200)로부터 수신하여 사용자 단말(10)을 통해 출력할 수 있다. 광고 및 정보 콘텐츠 제공부(140)를 통해 제공되는 정보는 검색 대상물에 대한 이미지, 텍스트 등의 정보와 함께 광고 콘텐츠를 포함할 수 있다. 광고 콘텐츠는 대상물 정보의 상단, 측단, 하단 등의 위치에 표시되거나, 대상물 정보를 열람하기 전 일정 시간 동안 노출된 후 사라지는 방식으로 제공될 수 있다. 다만, 정보 및 광고 콘텐츠 제공부(140)를 통해 사용자가 원하는 정보와 함께 광고 콘텐츠가 반드시 제공되는 것은 아니며, 광고주와의 계약 관계 등의 여러 상황에 따라 광고 콘텐츠는 생략될 수도 있다. 그러나, 이하의 실시에에서는 서버(200)에서 사용자가 원하는 정보와 함께 관련 광고 콘텐츠를 함께 제공하는 것을 전제로 하여 설명하도록 한다.
한편, 정보 검색 요청부(130)의 검색 요청에 따라 하나의 검색 결과가 제공될 수 있으나, 그와 관련된 다수의 검색 결과도 제공될 수 있다. 이와 같이 다수의 검색 결과가 제공되는 경우 광고 및 정보 콘텐츠 제공부(140)는 다수의 검색 결과를 미리 보기 방식으로 리스트화하여 정확도와 함께 제공할 수 있으며, 사용자는 검색 결과 리스트를 보고 열람하고 싶은 정보를 선택하여 볼 수 있다. 이때, 메타데이터 피드백부(150)는 검색 결과 리스트 즉 해당 대상물에 대한 다수의 정보 중 사용자가 선택하여 열람한 정보의 메타데이터(metadata)를 추출할 수 있다. 예를 들어, 검색 결과 A, B, C, D, E라는 5개의 정보를 제공하는 경우 사용자가 A와 D의 정보만 열람하였다고 가정할 경우, 메타데이터 피드백부(150)는 A와 D의 정보에 대한 메타데이터를 각각 추출하여 웹 사이트(20)를 통해 서버(200)로 피드백할 수 있다.
여기서, 메타데이터는 일반적으로 데이터에 관한 데이터로서 정보자원의 속성을 기술하는 데이터를 의미할 수 있다. 즉, 메타데이터란 실제로 저장하고자 하는 정보(검색 결과 정보) 자체는 아니며, 그 정보와 직접 또는 간접적으로 연관되며 구분할 수 있는 정보를 제공하는 데이터를 의미할 수 있다. 이러한 메타데이터는 원하는 데이터가 맞는지를 확인할 수 있고, 쉽게 빠르게 원하는 데이터를 찾아낼 수 있는데, 역으로 메타데이터를 이용하여 해당 정보를 구분 또는 식별할 수 있는 기능을 제공할 수 있다. 즉, 본 실시예에서 메타데이터는 상술한 A와 D의 정보를 구분할 수 있는 식별정보로서 이용될 수 있으며, 서버(200)에 등록된 특정 사물 정보 예를 들어 촬영 이미지와 결합될 수 있다.
상기 서버(200)는 사용자로부터 각종 정보를 등록 받아 딥러닝 기술을 기반으로 대상물(또는 객체)의 분류에 대한 기계 학습(Machine Learning)을 거친 후 저장하고, 어플리케이션(100)으로부터 대상물의 정보 검색을 요청 받으면, 이미지 매칭 알고리즘을 통해 해당 대상물의 정보를 검색하여 어플리케이션(100)으로 제공할 수 있다. 이를 위해 서버(200)는 정보 등록부(210), 기계 학습부(220), 데이터베이스부(230) 및 검색 엔진부(240)를 포함할 수 있다. 더불어, 서버(200)는 광고 콘텐츠 등록부(250), 광고 및 정보 콘텐츠 매칭부(260), 검색 횟수 파악부(270A), 메타데이터 피드백 횟수 파악부(270B), 광고료 정보 등록부(270) 및 광고 수익 분배부(280)를 더 포함할 수 있다. 본 실시예에 따른 서버(200)는 웹 기능을 구비하는 인공지능 서버일 수 있으나, 이에 서버의 타입을 한정하는 것이 아니라 다양한 형태의 서버가 적용될 수 있다.
상기 정보 등록부(210)는 웹 사이트(20)를 통해 사용자로부터 각종 정보를 등록 받을 수 있다. 여기서 사용자는 서버(200)에 각종 유익한 정보를 등록하는 자를 의미하며, 각종 유익한 정보는 다양한 종류의 사물에 대한 정보로서 예를 들어 식물, 동물, 기기, 장비 등 이미지 정보를 포함할 수 있다. 정보 등록부(210)를 통하여 사용자가 특정 정보를 최초 등록하고자 할 경우 회원가입 및 로그인 절차를 거칠 수 있다. 회원가입 시 사용자 정보가 등록될 수 있으며 사용자 정보에는 입금 계좌를 포함할 수 있다. 입금 계좌는 사용자에게 정보 등록에 대한 금전적 보상을 제공하기 위한 것으로, 어플리케이션(100)으로 제공되는 정보가 해당 사용자가 등록한 정보에 해당되는 경우 해당 정보와 함께 노출되는 광고 콘텐츠에 대한 수익의 일부를 보상하기 위한 용도로 사용될 수 있다. 물론, 이와 같이 현금 이체를 통해 광고 수익의 일부를 분배할 수 있으나, 웹 사이트(20)를 통해 사용할 수 있는 포인트 또는 사이버 머니와 같은 제공할 수도 있다. 이러한 포인트 또는 사이버 머니는 웹 사이트(20)와 연동하여 운영되는 쇼핑몰에서 상품 구매 시 현금처럼 사용할 수 있다.
상기 정보 등록부(210)는 사용자에 의해 특정 정보가 등록되는 경우 해당 정보에 메타데이터를 부여하고, 해당 사용자의 정보와 매칭되도록 할 수 있다. 여기서 메타데이터는 상술한 바와 같이 특정 사용자가 등록한 정보에 대한 데이터로 해당 정보를 구분 또는 식별하기 위한 용도로 사용될 수 있다.
상기 기계 학습부(220)는 정보 등록부(210)를 통해 등록된 정보에 포함되어 있는 대상물의 분류에 대한 기계 학습을 수행할 수 있다. 좀 더 구체적으로, 기계 학습부(220)는 딥러닝 기술을 이용하여 객체의 분류를 학습한 후 데이터베이스부(230)에 저장하고, 검색 엔진부(240)와 연동하여 검색하고자 하는 대상물과 관련된 분류를 데이터베이스(230)에서 학습된 관련 정보를 찾도록 도와주는 역할을 한다.
상기 데이터베이스부(230)는 기계 학습부(220)를 통해 학습된 대상물(또는 객체) 정보를 분류하여 저장할 수 있다. 여기서 학습된 대상물의 정보를 분류하여 저장한다는 것은 대상물의 카테고리, 디자인이나 구조, 브랜드 등 다양한 분류 기준에 따라 체계적으로 저장됨을 의미할 수 있다.
상기 검색 엔진부(240)는 어플리케이션(100)으로부터 대상물의 정보 검색을 요청 받고, 피처 매칭 방식을 이용하여 데이터베이스부(230)로부터 해당 대상물의 정보를 검색하여 제공할 수 있다. 이때, 검색 엔진부(240)는 기계 학습부(220)와 연동하여 사용자의 촬영 이미지에서 검색하고자 하는 대상물을 분류 및 인지하고, 피처 매칭 방식을 이용하여 데이터베이스부(230)로부터 해당 정보를 검색할 수 있다. 여기서, 피처 매칭 방식은 기계 학습이 가능한 FERNs 알고리즘을 이용할 수 있으며, 기계 학습은 예를 들어 버클리대학의 카페(Caffe)에서 공개한 딥 러닝 솔루션을 적용할 수 있다.
도 5 내지 도 7에는 본 발명의 실시예에 따른 서버의 이미지 매칭 방식과 학습된 이미지 정보를 기반으로 대상물 이미지를 찾는 방법에 대한 이해를 돕기 위한 도면이 도시되어 있다.
우선, 도 5에 도시된 바와 같이, 검색 엔진부(240)는 사용자가 제공한 촬영 이미지 내에서 특정점을 추출(특징 추출)하고, 이를 기반으로 기계 학습부(220)를 통해 학습된 객체 이미지의 특정점과의 피처 매칭 과정을 수행하여 유사도가 가장 높은 즉, 특정점이 가장 많이 추출된 객체 이미지를 검색하여 제공할 수 있다.
도 6의 경우, 도 5에 도시된 촬영 이미지 내 객체 즉, 가방과 비교하여 가방에 로고나 텍스트 등이 추가된 경우로, 도 5와 마찬가지로 사용자가 제공한 촬영 이미지 내의 로고나 텍스트 등을 포함하는 특정점을 추가로 추출(특징 추출)하고, 이를 기반으로 기계 학습부(220)를 통해 학습된 객체 이미지의 특정점과의 피처 매칭 과정을 수행하여 유사도가 가장 높은 즉, 특정점이 가장 많이 추출된 이미지를 검색하여 제공할 수 있다.
도 7의 경우, 도 6에 도시된 촬영 이미지와 다른 각도에서 해당 객체를 촬영한 것으로, 대상물에 대한 촬영 각도가 상이하더라도 특정점을 기반으로 학습된 각체 이미지와의 피처 매칭을 수행하여 대상물에 대한 정보를 검색할 수 있음을 도시하고 있다.
한편, 촬영 이미지에서 대상물의 이미지가 차지하는 사이즈가 크면 클수록 더 많은 특정점 분석을 수행할 수 있음에 따라 보다 정확한 결과가 나올 수 있다. 그러나, 본 실시예의 경우 어플리케이션(100)의 검색 영역 선택부(120)를 통한 대상물의 이미지 영역을 지정하거나, 딥 러닝에 기반하여 특정 객체의 이미지에 대한 기계 학습을 수행함에 따라, 촬영 이미지에서 대상물의 이미지 크기가 작더라도 검색하고자 하는 대상물이 쉽게 특정될 수 있으므로, 대상물의 이미지 촬영에 대한 제약적 요소를 줄일 수 있다.
한편, 상기 검색 엔진부(240)는 대상물의 정보를 제공하는 경우 광고 및 정보 콘텐츠 매칭부(230)를 통해 매칭된 광고 콘텐츠를 함께 제공할 수 있다. 이에 따라 어플리케이션(100)을 통해 검색 결과를 확인하는 경우 해당 대상물 정보와 함께 광고 콘텐츠가 함께 노출될 수 있다.
상기 광고 콘텐츠 등록부(250)는 웹 사이트(20)를 통해 광고주(3)로부터 각종 광고 콘텐츠를 등록 받을 수 있다. 여기서 광고주(3)는 서버(200)에 각종 광고 콘텐츠를 등록하는 자를 의미하며, 광고 콘텐츠는 광고 이미지나 동영상 등 다양한 형태의 전자 광고물을 포함할 수 있다. 광고 콘텐츠 등록부(220)는 광고주(3)가 광고 콘텐츠를 최초 등록하고자 할 경우 광고 콘텐츠의 종류나 특정 사항 등을 고려하여 미리 설정된 광고료를 각각 납부 받을 수 있다. 예를 들어, A, B, C, D, E라는 광고 콘텐츠가 있다고 가정하면, 콘텐츠 A는 10만원, B는 20만원, C는 30만원, D는 40만원, E는 50만원과 같이 각기 다른 광고료가 책정될 수 있다.
또한, 광고 콘텐츠 등록부(250)는 광고주(3)가 광고 콘텐츠를 최초 등록하고자 할 경우 등록할 광고 콘텐츠 노출에 따른 광고료를 설정할 수 있다. 예를 들어 광고료는 회당 100원으로 설정될 수 있으며, 해당 광고 콘텐츠가 사용자(2)가 등록한 정보와 함께 다른 사용자들에게 10회 노출되었다고 가정하면, 총 1000원이 결제될 수 있다. 이렇게 결제된 1000원 중 일부는 각 정보를 제공한 사용자(2)에게 현금 또는 그에 상응하는 포인트나 사이버 머니 등으로 각각 제공될 수 있다.
상기 광고 및 정보 콘텐츠 매칭부(260)는 정보 등록부(210)를 통해 등록된 정보에 광고 콘텐츠 등록부(220)를 통해 등록된 광고 콘텐츠를 자동으로 매칭하여 데이터베이스부(230)에 저장할 수 있다. 광고 및 정보 콘텐츠 매칭부(260)는 각 정보에 광고 콘텐츠를 최초로 삽입하는 경우 임의로 매칭하여 정보와 광고 콘텐츠를 결합할 수 있다. 예를 들어 등록되는 정보와 광고 콘텐츠 순으로 서로 매칭하여 데이터베이스부(230)에 저장할 수 있다. 또한, 광고 및 정보 콘텐츠 매칭부(260)는 많이 검색되는 정보에 광고료가 높은 광고 콘텐츠가 삽입되도록 등록 정보와 광고 콘텐츠 간의 매칭을 변경함으로써 데이터베이스부(230)를 업데이트 할 수 있다. 이에 대한 보다 상세한 설명은 후술하도록 한다.
상기 검색 횟수 파악부(270A)는 데이터베이스부(230)에 저장된 정보를 대상으로 검색 엔진부(240)를 통해 검색되는 횟수를 파악할 수 있다. 예를 들어 A, B, C, D, E라는 정보가 데이터베이스(21)에 저장되어 있고, 어플리케이션(100)의 검색 요청에 따라 정보 A는 총 10회, 정보 B는 총 1회, 정보 C는 총 20회, 정보 D는 총 0회, 정보 E는 총 6회라는 검색 횟수를 파악할 수 있다. 검색 횟수는 주기적으로 리셋될 수 있으며 리셋되는 시점으로부터 현재까지의 실시간 정보일 수 있다. 이와 같이 검색 횟수 파악부(250)는 각각의 정보가 얼마나 많이 검색되는지를 파악하기 위한 수단으로, 파악된 검색 횟수 정보는 데이터베이스부(230)에 저장된 정보와 광고 콘텐츠 간의 매칭 변경을 위한 정보로서 활용될 수 있다.
상기 메타데이터 피드백 횟수 파악부(270B)는 어플리케이션(100)의 메타데이터 피드백부(150)로부터 메타데이터를 피드백 받아 메타데이터 별로 피드백 횟수를 파악할 수 있다. 검색 엔진부(240)를 통해 어플리케이션(100)으로 제공되는 검색 결과는 하나 또는 그 이상일 수 있다. 예를 들어, 어플리케이션(100)을 이용하여 A라는 인식 결과로 서버(200)에 검색 요청을 하는 경우 a라는 하나의 검색 결과를 제공할 수 있지만 a1, a2, a3.. 등 상호 유사한 다수의 검색 결과를 제공할 수도 있다. 여기서, 검색 엔진부(240)가 하나의 검색 결과를 제공하는 경우 해당 정보에 대한 검색 횟수 하나를 카운트할 수 있으나, 다수의 검색 결과를 제공하는 경우 각 정보에 대한 검색 횟수를 카운트할 수 있지만, 어플리케이션(100)을 통해 사용자가 선택한 정보에 대해서만 카운트할 수도 있다. 그 이유는, 다수의 검색 결과의 경우 대부분 리스트의 간략 보기 형식으로 제공되므로, 광고 콘텐츠가 직접적으로 노출되지 않는다. 따라서, 사용자가 해당 리스트 중 특정 항목을 지정하여 열람했을 때 해당 광고 콘텐츠가 노출되므로 이때 해당 정보를 사용자가 확인한 것으로 인식하여 해당 정보에 대한 검색 횟수를 카운트를 할 수 있다.
이를 위해, 메타데이터 피드백 횟수 파악부(270B)는 어플리케이션(100)의 메타데이터 피드백부(150)로부터 사용자가 해당 정보를 최종적으로 확인할 때마다 메타데이터를 피드백 받아, 해당 정보에 대한 검색 횟수를 카운트할 수 있다. 이에 따라 메타데이터 피드백 횟수 파악부(260)는 각 정보에 대한 메타데이터의 횟수를 파악할 수 있으며, 예를 들어 데이터베이스부(230)에 A, B, C, D, E라는 정보가 저장되어 있을 경우 정보 A는 10회, 정보 B는 2회, 정보 C는 7회, 정보 D는 8회, 정보 E는 15회라는 식으로 각 정보에 대한 메타데이터 피드백 횟수를 파악할 수 있다. 이러한 메타데이터 피드백 횟수는 상술한 바와 같이, 어플리케이션(100)으로 다수의 검색 결과가 제공되는 경우 그 중 광고 콘텐츠와 함께 확인한 해당 정보에 대해서만 카운트될 수 있다.
이하, 검색 횟수 또는 메타데이터 피드백 횟수를 이용하여 정보 및 광고 콘텐츠 매칭부(260)가 데이터베이스부(230)를 업데이트하는 방법에 대하여 상세히 설명한다.
도 8은 사용자의 정보 검색 횟수에 따라 데이터베이스부에 매칭된 정보와 광고 콘텐츠의 조합을 업데이트하는 방법을 설명하기 위해 나타낸 도면이다.
도 8에 도시된 바와 같이, 검색 횟수 파악부(270A)는 검색 엔진부(240)를 통해 검색된 정보가 몇 번이 검색되어 어플리케이션(100)으로 제공되었는지를 파악할 수 있다. 예를 들어, A, B, C, D, E라는 정보가 어플리케이션(100)으로 검색 결과로서 제공된 경우, 정보 A는 총 10회, 정보 B는 총 20회, 정보 C는 총 30회, 정보 D는 총 40회, 정보 E는 총 50회라는 검색 횟수를 카운트하여 파악할 수 있다. 이와 같이 검색 횟수를 파악하는 경우는 하나의 검색 결과를 어플리케이션(100)으로 제공하는 경우로, 제공된 단일 정보를 사용자가 해당 광고 콘텐츠와 함께 확인하였다고 가정한 경우에 해당한다.
여기서, 정보 및 광고 콘텐츠 매칭부(260)는 검색 횟수 파악부(250)를 통해 파악된 각 정보마다의 검색 횟수를 바탕으로 데이터베이스부(230)에 저장된 각 정보와 광고 콘텐츠의 매칭을 변경할 수 있다. 예를 들어, 정보 A는 총 10회, 정보 B는 총 20회, 정보 C는 총 30회, 정보 D는 총 40회, 정보 E는 총 50회로 검색 횟수가 파악되는 경우 정보 E, D, C, B, A 순으로 높은 광고료가 책정된 광고 콘텐츠가 각각 삽입되도록 각 정보와 광고 콘텐츠와의 매칭을 변경할 수 있다. 예를 들어, 정보 E에는 50만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 D에는 40만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 C에는 30만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 B에는 20만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 A에는 10만원의 광고료가 책정된 광고 콘텐츠가 삽입될 수 있다. 이에 따라 데이터베이스부(230)에 저장된 정보와 광고 콘텐츠 간의 매칭이 일부 또는 전부가 변경됨으로써 업데이트될 수 있다.
도 9는 다수로 제공되는 정보 중 사용자의 정보 선택에 따라 데이터베이스부에 매칭된 정보와 광고 콘텐츠의 조합을 업데이트하는 방법을 설명하기 위해 나타낸 도면이다.
도 9에 도시된 바와 같이, 메타데이터 피드백 횟수 파악부(270B)는 어플리케이션(100)의 메타데이터 피드백부(150)로부터 메타데이터를 피드백 받고, 피드백된 메타데이터에 기초하여 데이터베이스부(230)로부터 어떠한 정보가 사용자에게 제공되서 최종적으로 확인되었는지를 파악할 수 있으며, 각 정보 별로 메타데이터의 피드백 횟수를 파악할 수 있다. 예를 들어, 검색 결과로서 A, B, C, D, E라는 정보가 어플리케이션(100)으로 제공된 경우 정보 A에 대해서는 10회의 메타데이터가 피드백되고, B에 대해서는 20회의 메타데이터가 피드백되고, C에 대해서는 30회의 메타데이터가 피드백되고, D에 대해서는 40회의 메타데이터가 피드백되고, E에 대해서는 50회의 메타데이터가 피드백된 것과 같이 각 정보 별 메타데이터의 피드백 횟수를 파악할 수 있다.
여기서, 정보 및 콘텐츠 매칭부(260)는 메타데이터 피드백 횟수 파악부(270B)를 통해 파악된 각 정보 별 메타데이터 피드백 횟수를 바탕으로 데이터베이스부(230)에 저장된 정보와 광고 콘텐츠 간의 매칭을 변경할 수 있다. 예를 들어, 정보 A, B, C, D, E에 대한 메타데이터 피드백 횟수가 각각 10회, 20회, 30회, 40회, 50회일 경우 피드백 횟수가 가장 높은 정보 E부터 정보 D, C, B, A 순으로 높은 광고료가 책정된 광고 콘텐츠가 각각 삽입되도록 각 정보와 광고 콘텐츠와의 매칭을 변경할 수 있다. 예를 들어, 정보 E에는 50만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 D에는 40만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 C에는 30만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 B에는 20만원의 광고료가 책정된 광고 콘텐츠가 삽입되고, 정보 A에는 10만원의 광고료가 책정된 광고 콘텐츠가 삽입될 수 있다. 이에 따라 데이터베이스부(230)에 저장된 정보와 광고 콘텐츠 간의 매칭이 일부 또는 전부가 변경됨으로써 업데이트될 수 있다.
상기 광고료 정보 등록부(280)는 광고 콘텐츠 등록부(250)를 통해 등록되는 광고 콘텐츠에 대한 광고료 정보를 등록 받고, 일정 금액 단위로 광고료 레벨을 책정할 수 있다. 각 광고 콘텐츠에 대한 광고료가 높고 낮음은 단순히 금액만으로도 판단할 수 있으나, 예를 들어 콘텐츠 A의 광고료가 1000만원이고 콘텐츠 B의 1001만원이라고 할 경우 이 두 콘텐츠에 대한 광고료 차이가 실질적으로 크지는 않다. 이 때문에 광고료에 대한 레벨을 정의하고, 일정 금액 단위로 각 광고 콘텐츠에 대한 광고료 레벨을 책정할 수 있다.
예를 들어, 광고료 레벨이 1 내지 5 단계가 있으며, 각 단계는 20만원 단위라고 할 경우, 레벨 1은 100만원 미만 80만원 초과의 범위, 레벨 2는 80만원 미만 60만원 초과의 범위, 레벨 3은 60만원 미만 40만원 초과의 범위, 레벨 4는 40만원 미만 20만원 초과의 범위, 레벨 5는 20만원 미만의 범위로 정의할 수 있다. 따라서 상술한 바와 같이, 정보 A, B, C, D, E에 대한 메타데이터 피드백 횟수가 각각 10회, 20회, 30회, 40회, 50회일 경우 정보 E에는 광고료 레벨이 가장 높게 책정된 레벨 1의 광고 콘텐츠가 삽입되고, D에는 광고료 레벨이 그 다음으로 높게 책정된 레벨 2의 광고 콘텐츠가 삽입되고, C에는 광고료 레벨이 그 다음으로 높게 책정된 레벨 3의 광고 콘텐츠가 삽입되고, B에는 광고료 레벨이 그 다음으로 높게 책정된 레벨 4의 광고 콘텐츠가 삽입되고, A에는 광고료 레벨이 가장 낮게 책정된 레벨 5의 광고 콘텐츠가 삽입될 수 있다. 이는 메타데이터 피드백 횟수뿐만 아니라 검색 횟수에 따른 정보와 광고 콘텐츠 간의 매칭 변경 시에도 동일하게 적용될 수 있다.
상기 광고 수익 분배부(290)는 검색 엔진부(240)를 통해 검색되어 어플리케이션(100)으로 제공되는 해당 대상물에 대한 정보를 등록한 사용자의 정보를 추출하고, 추출된 사용자의 정보에 기초하여 해당 사용자에게 광고 수익의 일부를 분배할 수 있다. 이와 같이, 정보 등록에 대한 대가를 사용자에게 지불해 줌으로써 웹 사이트(20)를 이용한 정보 등록에 대한 참여도를 높일 수 있다.
또한, 광고 수익 분배부(290)는 일정 기간 별로 각 사용자에게 지급할 보상금을 정산할 수 있다. 예를 들어, 주 단위, 1개월 단위 또는 분기 별로 보상금을 정산하여 줄 수 있다. 보상금은 해당 사용자의 계좌를 통한 이체 방식으로 지급할 수 있으나, 웹 사이트(20)와 연동되는 쇼핑몰 등에서 현금처럼 사용 가능한 포인트 또는 온라인 게임에서 사용 가능한 사이버 머니 등으로 지급할 수 있다. 뿐만 아니라, 모바일 상품권 등 다양한 방법으로 정보 제공에 대한 보상을 처리할 수 있다.
기존에 나와 있는 카메라와 이미지를 이용한 상품 검색은 인터넷에 존재하는 모든 사이트를 대상으로 하기 때문에 자료 검색 시 속도가 느리며 정확도가 떨어지는 단점이 있지만, 본 실시예에 따르면, 본인이 등록하는 모델로서 본인 회사의 사이트에서만 검색이 되므로 속도가 빠르며, 특정 사물군으로만 한정하여 검색이 되므로 보다 정확한 검색이 가능하게 된다. 즉, 사용자의 스마트폰 카메라로 사물을 인식하여 본인 회사의 서버에 저장된 정보와 매치하여 관련 정보를 다시 사용자에게 노출하는 구조를 가진다. 예를 들어, 사용자가 출퇴근길에 마음에 드는 타인의 가방을 봤는데, 어떤 브랜드이고, 가격이 얼마인지 등 해당 가방에 대한 정보 알고자 한다면, 사용자가 소유한 스마트폰에 설치된 본인 회사의 어플리케이션을 이용하여 스마트폰 카메라로 식물을 찍으면 관련 정보를 본인 회사의 서버에서 찾아서 사용자에게 제공할 수 있다.
이러한 방식의 장점은 사물에 관한 어떠한 정보를 모를지라도 신속하게 관련 정보의 습득이 가능하다는 것이다.
상기와 같이 구성된 본 발명의 일 실시예에 따른 사물인식을 이용한 상품 검색 시스템은 사용자가 사물에 관한 어떠한 정보를 모른 상황에서도 신속하게 사물 관련 정보를 습득할 수 있다.
이상에서 설명한 것은 본 발명에 의한 사물 인식을 이용한 대상물 검색 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (8)

  1. 사용자 단말에 설치되고, 대상물 이미지를 기반으로 대상물의 정보 검색을 요청하는 어플리케이션; 및
    사용자로부터 각종 정보를 등록받아 딥러닝 기술을 기반으로 대상물의 분류에 대한 기계 학습을 거친 후 저장하고, 상기 어플리케이션으로부터 대상물의 정보 검색을 요청받으면, 이미지 매칭 알고리즘을 통해 해당 대상물의 정보를 검색하여 상기 어플리케이션으로 제공하는 서버를 포함하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  2. 제1 항에 있어서,
    상기 서버는,
    사용자로부터 각종 정보를 등록 받기 위한 정보 등록부;
    상기 정보 등록부를 통해 등록된 정보에 포함되어 있는 특정 대상물의 분류에 대한 기계 학습을 수행하는 기계 학습부;
    상기 기계 학습부의 기계 학습을 통해 분류된 정보를 저장하는 데이터베이스부; 및
    상기 어플리케이션으로부터 대상물의 정보 검색을 요청 받고, 피처 매칭 방식을 이용하여 상기 데이터베이스부로부터 해당 대상물의 정보를 검색하고 제공하기 위한 검색 엔진부를 포함하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  3. 제2 항에 있어서,
    상기 서버는,
    광고주로부터 각종 광고 콘텐츠를 등록 받기 위한 광고 콘텐츠 등록부; 및
    상기 정보 등록부를 통해 등록된 정보에 상기 광고 콘텐츠 등록부를 통해 등록된 광고 콘텐츠를 매칭하여 상기 데이터베이스부에 저장하기 위한 정보 및 광고 콘텐츠 매칭부를 더 포함하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  4. 제3 항에 있어서,
    상기 서버는,
    상기 데이터베이스부에 저장된 정보를 대상으로 상기 검색 엔진부를 통해 검색되는 횟수를 파악하는 검색 횟수 파악부;
    상기 광고 콘텐츠 등록부를 통해 등록되는 광고 콘텐츠에 대한 광고료 정보를 등록 받고, 일정 금액 단위로 광고료 레벨을 책정하기 위한 광고료 정보 등록부; 및
    상기 검색 엔진부를 통해 검색되어 상기 어플리케이션으로 제공되는 해당 대상물의 정보를 등록한 사용자의 정보를 추출하고, 추출된 사용자의 정보에 기초하여 해당 사용자에게 광고 수익의 일부를 분배하는 광고 수익 분배부를 더 포함하고,
    상기 정보 및 광고 콘텐츠 매칭부는,
    상기 검색 횟수 파악부를 통해 검색된 횟수가 높은 정보의 순서로 상기 광고료 레벨이 높게 책정된 광고 콘텐츠를 삽입하여 상기 데이터베이스부를 업데이트하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  5. 제4 항에 있어서,
    상기 어플리케이션은,
    상기 사용자 단말에 구비된 카메라와 연동하여 대상물을 촬영하기 위한 대상물 촬영부;
    상기 대상물 촬영부를 통해 촬영된 대상물 이미지 또는 상기 사용자 단말에 기 저장된 대상물 이미지를 기반으로 대상물 정보 검색을 상기 서버로 요청하기 위한 정보 검색 요청부; 및
    상기 정보 검색 요청부를 통해 요청된 해당 대상물의 정보와 광고 콘텐츠를 상기 서버로부터 제공 받아 상기 사용자 단말을 통해 출력하기 위한 정보 및 광고 콘텐츠 제공부를 포함하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  6. 제5 항에 있어서,
    상기 어플리케이션은,
    상기 대상물 촬영부를 통해 촬영된 대상물 이미지에서 검색할 대상물을 포함하는 검색 영역을 선택하기 위한 검색 영역 선택부를 더 포함하는 것을 특징을 하는 사물 인식을 이용한 대상물 검색 시스템.
  7. 제5 항에 있어서,
    상기 어플리케이션은,
    상기 정보 검색 요청부의 요청에 따라 상기 서버로부터 다수의 해당 대상물의 정보를 제공받을 경우, 상기 다수의 해당 대상물의 정보 중 사용자에 의해 선택되어 상기 정보 및 광고 콘텐츠 제공부를 통해 출력되는 대상물의 정보에 대한 메타데이터를 추출하여 상기 서버로 피드백하기 위한 메타데이터 피드백부를 더 포함하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
  8. 제7 항에 있어서,
    상기 서버는,
    상기 정보 등록부를 등록 받은 각종 정보에 광고주로부터 등록 받은 각종 광고 콘텐츠를 각각 삽입하여 상기 데이터베이스에 저장하되, 상기 메타데이터 피드백부로부터 메타데이터를 피드백 받아 메타데이터 별로 피드백 횟수를 파악하기 위한 메타데이터 피드백 횟수 파악부를 더 포함하고,
    상기 정보 및 광고 콘텐츠 매칭부는,
    상기 메타데이터 피드백 횟수 파악부를 통해 피드백된 횟수가 높은 메타데이터에 해당하는 정보를 추출하여 피드백된 횟수가 높은 정보의 순서로 높은 광고료가 책정된 광고 콘텐츠를 매칭하여 상기 데이터베이스부를 업데이트하는 것을 특징으로 하는 사물 인식을 이용한 대상물 검색 시스템.
PCT/KR2017/001825 2016-09-30 2017-02-20 사물 인식을 이용한 대상물 검색 시스템 WO2018062644A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0126648 2016-09-30
KR20160126648 2016-09-30
KR1020160153201A KR101840422B1 (ko) 2016-09-30 2016-11-17 사물 인식을 이용한 대상물 검색 시스템
KR10-2016-0153201 2016-11-17

Publications (2)

Publication Number Publication Date
WO2018062644A2 true WO2018062644A2 (ko) 2018-04-05
WO2018062644A3 WO2018062644A3 (ko) 2018-09-07

Family

ID=61763524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/001825 WO2018062644A2 (ko) 2016-09-30 2017-02-20 사물 인식을 이용한 대상물 검색 시스템

Country Status (1)

Country Link
WO (1) WO2018062644A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836356A (zh) * 2021-11-23 2021-12-24 北京亮亮视野科技有限公司 视频检索方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100709013B1 (ko) * 2005-07-29 2007-04-18 에스케이 텔레콤주식회사 이미지 검색을 위한 유저 인터페이스, 이를 이용한 이미지검색 시스템 및 그 방법
KR20130014728A (ko) * 2011-08-01 2013-02-12 엔에이치엔비즈니스플랫폼 주식회사 입력 횟수가 급상승하는 검색어를 이용한 검색 광고 방법, 시스템 및 컴퓨터 판독 가능한 기록매체
KR20150112055A (ko) * 2014-03-26 2015-10-07 에스케이플래닛 주식회사 실시간 광고 경매를 위한 광고 매칭 장치 및 방법
KR101511050B1 (ko) * 2014-07-25 2015-04-13 오드컨셉 주식회사 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
KR20160098706A (ko) * 2015-02-11 2016-08-19 에스케이플래닛 주식회사 사물 인식 기반 리타게팅 광고 상품 추천 단말과 서버, 그를 포함하는 광고 상품 추천 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836356A (zh) * 2021-11-23 2021-12-24 北京亮亮视野科技有限公司 视频检索方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2018062644A3 (ko) 2018-09-07

Similar Documents

Publication Publication Date Title
CN105118048B (zh) 翻拍证件图片的识别方法及装置
KR101852598B1 (ko) 사물 인식을 이용한 상품 검색 시스템
CN100430938C (zh) 图像检索装置和图像检索方法
Wong et al. An unsupervised framework for extracting and normalizing product attributes from multiple web sites
CN102591868A (zh) 用于拍照指南自动生成的系统和方法
US20160321303A1 (en) Information processing system and information processing method
TW200939049A (en) Method and system for managing digital photos
CN105631051A (zh) 基于文字识别的移动增强现实阅读方法及其阅读系统
KR20200087665A (ko) 폐기물 배출 관리 시스템
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
US20210019511A1 (en) Systems and methods for extracting data from an image
TW202030683A (zh) 理賠資訊提取方法和裝置、電子設備
CN109583389A (zh) 绘本识别方法及装置
CN112200844A (zh) 生成图像的方法、装置、电子设备及介质
WO2019066231A1 (ko) 대표 이미지 생성
WO2020141890A1 (en) Method and apparatus for document management
KR101840422B1 (ko) 사물 인식을 이용한 대상물 검색 시스템
WO2018062644A2 (ko) 사물 인식을 이용한 대상물 검색 시스템
JP2011076336A (ja) ユーザによって視認されている表示装置を特定するデジタルサイネージシステム及び方法
WO2017026750A1 (ko) 3d 모델을 이용하는 광고 시스템 및 광고 방법
WO2012118276A2 (ko) 콜렉션 정보를 이용하여 광고를 제공하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
KR101477642B1 (ko) 오프라인 노트를 이용한 전자책 서비스 방법
JP2017188126A5 (ko)
CN112241752A (zh) 模型训练方法、数据处理方法、分类方法、装置、设备
CN105913071A (zh) 信息处理装置、信息处理系统、信息处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17856530

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17856530

Country of ref document: EP

Kind code of ref document: A2