WO2018043990A1 - 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 - Google Patents

영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2018043990A1
WO2018043990A1 PCT/KR2017/009250 KR2017009250W WO2018043990A1 WO 2018043990 A1 WO2018043990 A1 WO 2018043990A1 KR 2017009250 W KR2017009250 W KR 2017009250W WO 2018043990 A1 WO2018043990 A1 WO 2018043990A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
query
information
product
Prior art date
Application number
PCT/KR2017/009250
Other languages
English (en)
French (fr)
Inventor
김정태
구경모
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to JP2019511857A priority Critical patent/JP2019532403A/ja
Priority to US16/329,762 priority patent/US11049163B2/en
Publication of WO2018043990A1 publication Critical patent/WO2018043990A1/ko
Priority to US17/359,034 priority patent/US20210326375A1/en
Priority to US17/358,993 priority patent/US20210326956A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a method, an apparatus, and a computer program for providing image search information in an image reproducing apparatus, and more particularly, to a method of providing a similar product information by recognizing an object in an image without inputting a search word. It is about.
  • sellers have been searching for various promotional methods such as producing video contents tagged with promotional product information in a video frame so that the user can check the product information in the video.
  • the user can check only the limited information provided by the seller (the product information tagged by the seller), and if the product in the video is not a sponsored product, the information about the product is still searched for.
  • Have difficulty when a product exposed to a video is not a price that can be purchased, consumers may want to search for a similar product with a lower price.
  • a product is identified through a video, it is difficult to identify a brand name, which makes it difficult to search for similar products. have.
  • One object of the present invention is to provide a method, an apparatus, and a program for providing image retrieval information capable of searching for a product similar to a product exposed to an image without inputting a separate search word.
  • the present invention can be exposed to the product information when the original video playback without producing a separate content tagged product information to reduce the cost of product promotion and provide image search information that can promote the product more effectively It is another object to provide a method and apparatus.
  • a method for providing image search information by an electronic device includes generating a query using the image when a predetermined query generation event occurs during image playback, and transmitting the query to a server. And receiving a search result corresponding to the query from the server and displaying the search result on the screen, wherein the search result is a search result for one or more objects included in the image.
  • the present invention provides an electronic device for providing image search information, the control unit for generating a query using the image when a predetermined query generation event occurs during image playback, and transmits the query to the server, from the server And a communication unit configured to receive a search result corresponding to the query, and a display unit to display the received search result on a screen, wherein the search result is a search result for any object included in the image.
  • the present invention provides a method for the server to provide the image search information to the client, the step of generating a product database including the image feature information of the product, the label corresponding to the feature information of the product image for any product
  • the present invention provides a server for providing image search information to the client, the database for generating and storing a product database including the image feature information of the product, the label corresponding to the feature information of the product image for any product
  • the communication unit may receive a query generated by using an image from the client, transmit a search result of the query to the client, analyze the received query, and label the object or the object of the object.
  • a control unit for searching for product information corresponding to image feature information in the database unit and providing the search result as the search result.
  • FIG. 1 is a conceptual diagram illustrating an embodiment of an electronic device for providing image search information according to the present invention
  • FIG. 2 is a conceptual diagram illustrating an embodiment of a server that provides image search information to a client according to the present invention
  • FIG. 3 is a flowchart illustrating an embodiment of a method for providing image search information of an electronic device according to the present invention
  • FIG. 4 is a flowchart illustrating an embodiment of a query generation method according to the present invention.
  • FIG. 5 is a flowchart illustrating an embodiment of an object extraction method according to the present invention.
  • FIG. 6 is a flowchart illustrating an embodiment of an object extraction method according to the present invention.
  • FIG. 7 is a flowchart illustrating an embodiment of a method for providing image search information of a server according to the present invention.
  • FIG. 8 is a view for explaining an embodiment of providing image search information of an electronic device according to the present invention.
  • 'object' may be understood to mean an object that can be recognized as a product, or an image of the object, and may be an image of an unspecified object including noise according to object extraction conditions, or may be applied to a predefined label. It may also be an image of a corresponding specific object.
  • 'Object' may correspond to a comprehensive category of products depending on the extraction conditions and the classification depth of the learned label, but it should be understood as a concept that can correspond to detailed product characteristics such as color, pattern, and product name of the product. .
  • Label' described herein is the information defining the characteristics of the goods (or objects) as described above, for example, categorical information such as women's clothing, men's clothing, furniture, household goods, kitchen appliances, bottoms, tops, Subclassification information such as dress, color, pattern, brand, and price may include subclassification information.
  • categorical information such as women's clothing, men's clothing, furniture, household goods, kitchen appliances, bottoms, tops
  • Subclassification information such as dress, color, pattern, brand, and price may include subclassification information.
  • the label according to an embodiment of the present invention may be learned through machine learning, and a label corresponding to image feature information may be stored in advance in a server or a client (electronic device).
  • the 'electronic device' includes all types of electronic devices capable of playing an image and displaying search information such as a desktop, a smart phone, a tablet PC, and having the same meaning as a client and an image search information providing device. It can be understood that.
  • the electronic device also includes a control device that transmits and receives image content to an external display device, such as a set-top box, and plays back an image or displays search information through the display device.
  • the electronic device 100 may include a controller 130, a communication unit 150, and a display unit 170, and may further display an input unit 190 (not shown).
  • the electronic device 100 according to the present invention may include only the controller 130, the communication unit 150, and the input unit 190, and the display unit 170 does not include the image information in the electronic device 100. It can transmit to the display device.
  • the controller 130 generates a query using the image when a preset query generation event occurs during image playback.
  • the controller 130 may determine that a query generation event occurs when a preset time elapses or a search event occurs after a pause event occurs during image playback. For example, if the user pauses the image being played and continues to pause even after a predetermined time (2 seconds) has elapsed, the electronic device 100 determines that the query generation event has occurred and based on the paused image frame. You can create a query with a preset time elapses or a search event occurs after a pause event occurs during image playback. For example, if the user pauses the image being played and continues to pause even after a predetermined time (2 seconds) has elapsed, the electronic device 100 determines that the query generation event has occurred and based on the paused image frame. You can create a query with
  • the controller 130 determines that a query generation event has occurred after a preset time elapses or a search event occurs after the voice control mode activation command is received during image playback. can do. For example, if the control unit 130 is a set-top box, the control unit 130 may be input when an activation command of a preset voice recognition application such as “hello ***” or “hello ***” is input through a microphone. The device 100 may activate the voice control mode to control the electronic device 100 and its components according to a voice command received thereafter. In this case, the controller 130 according to an embodiment of the present invention may switch to the voice control mode and the controller 130 may capture an image of the screen.
  • a preset voice recognition application such as “hello ***” or “hello ***”
  • the voice control mode In the voice control mode, if a user command including a search request keyword such as "find” or "find” is input through a microphone (a search event occurs), a screen or image frame that is determined to be generated by a query generation event is determined. And generate and transmit a query including at least one of an image of one region included in the captured screen, a plurality of image frames satisfying a preset condition based on the captured screen, or object information extracted from one frame of the image. have.
  • the voice control mode may be understood to mean a mode in which the electronic device activates voice dictation to analyze the received voice and execute the analyzed voice command.
  • the search event refers to an event that the electronic device 100 can recognize as searching for a product. For example, a user clicks or touches a search button displayed after a pause, and designates an area of an image frame. And clicking or touching one region or a button recognized as an object in the image frame.
  • the controller 130 displays the remaining time until the generation of the query on the screen, and if there is no user input until the remaining time reaches 0, the query generation event occurs. It can be judged that.
  • the query generated by the controller 130 when a query generation event occurs is a plurality of image frames satisfying a preset condition based on a paused image frame, an image of one region included in the image frame, or a paused screen, or It may include at least one of object information extracted from one image frame included in the image.
  • the object information may include at least one of image feature information extracted from an image, image feature information extracted from an arbitrary object region, image feature information or label information learned to correspond to a specific object.
  • the search event may be a user command including a search request keyword and an input thereof as described in the above embodiment.
  • the communicator 150 includes a communication module capable of receiving a user command input through an external input device such as a Bluetooth receiver or an infrared receiver, a user search received through a remote control or a terminal application.
  • the command may be a search event. This is because when the search command is received through the input device, the electronic device 100 may recognize that the product is searched.
  • the image feature information refers to information extracted locally (local) or globally (global) from an image, an image frame, or an image of one region included in the image.
  • the image feature information can be used for machine learning for label generation.
  • any image feature information may correspond to a specific label or a specific object.
  • the image feature information may include vector information (descriptor) of a predetermined range of images (image fragments or patches) located around the entire image or an object area or a feature point in the image, and the vector information may include brightness variation, color, and pattern ( Frequency, vertical edge, horizontal edge distribution), the tilt of the image fragments, and may include information about the change in brightness over a predetermined threshold.
  • the image feature information may not only have a unique range of values for each object, but may also have a unique range of values for each label according to a learning model.
  • An image of one region included in the image frame may be designated as a polygon (B) as shown in FIG. 8.
  • the controller 130 may provide a guide including a region recognized as an object for the user's convenience, by adjusting the size or shape of the polygon provided as the guide. Finally, you can select the area to be included in the query.
  • controller 130 may set a preset condition based on the paused image frame when the paused image frame is blurred, when it is difficult to detect an object, or when the object extraction accuracy is increased in the server.
  • One or more satisfying image frames may be included in the query.
  • the preset condition for selecting one or more image frames included in the query may be set by using time, the number of frames, whether a caption is present, and / or the sharpness.
  • the controller 130 may generate, as a query, image frames within 1 second before and after the paused image frame based on a preset condition.
  • the controller 130 may add three front and rear image frames one by one based on the paused image frame and generate three image frames as one query.
  • the controller 130 may search for the high-definition image frame among the before / after image frame and include it in the query.
  • the controller 130 may include only the image frame from which the caption is removed in the query.
  • controller 130 may include an object extractor 135 that extracts an object from an image frame, and a query generator 137 that generates a query including the object.
  • the object extractor 135 extracts a region including image feature information learned to correspond to a specific object as an object by using a previously stored learning model, and attaches a label corresponding to the image feature information to the object.
  • the object in the present embodiment means an object that can be defined as a specific thing, and can be variously defined according to its label or category.
  • the image feature information learned to correspond to a specific object using a previously stored learning model may be a global descriptor or a local descriptor according to its setting. That is, the object extractor 135 may extract an object including image feature information learned to correspond to a car from an image frame, or may extract an object including image feature information learned to correspond to a garment. Not only what the object is, but also its characteristics (product type, brand of product, color, material, form, pattern, differences in some designs, and feelings that can be defined by people-cute, chic, vintage, etc.) You may. Therefore, using global and local descriptors to suit the purpose, it is possible to label more specific product names, product features.
  • the object extractor 135 extracts image feature information from an image frame, partitions one region in the image frame according to a preset condition using the extracted feature information, and uses the divided region as a search object.
  • the object extracted by the electronic device according to the present invention may be determined as an arbitrary 'object' regardless of the type of the object, and thus may include noise, but may be extracted at a high speed.
  • the division of the region may be made by using image feature information in an image frame such as a brightness change point, an overall color distribution, edge information, and sharpness information, and an object may be set using coordinate information on the image frame.
  • a plurality of objects may be included in the image frame, in which case the plurality of objects will be extracted.
  • the controller 130 preferentially displays a search result for an object including a label that is the same as or similar to the object previously searched by the user using the search log of the user. Can be controlled. This is to increase the probability that image search leads to product purchase and increase user satisfaction by first exposing the search results belonging to the user's interest field on the screen.
  • the controller 130 may increase the accuracy of the search by controlling the display unit 170 to display the search results on the screen in the order of similarity with the image feature information of the object included in the query.
  • the communicator 150 transmits a query to the server 200 and receives a search result corresponding to the query from the server 200.
  • the communication unit 150 may include a wired / wireless communication module for communicating with the server 200, for example, a mobile communication module supporting GSM, CDMA, WCDMA, HSDPA, and LTE schemes.
  • the communication unit 190 may include a wireless communication module such as WLAN, WiFi Direct, DLNA, Wibro, Wimax, and a communication module for short range communication, for example, Bluetooth, RFID, infrared communication, and UWB. It may include a communication module supporting ZigBee, NFC, Wi-Fi, Wi-Fi Direct.
  • the communication unit 150 of the present invention is not limited by the method as long as it is a communication module supporting data transmission and reception with the server 200.
  • the display unit 170 displays the received search result on the screen, where the search result refers to a search result for any object included in the image.
  • the search result may include product information or advertisement information searched using a query.
  • the display unit displays (outputs) information processed by the electronic device 100, and displays execution screen information of an application program driven by the electronic device 100, or a UI (User Interface) or GUI (Graphic User) according to the execution screen information. Interface) information can be displayed.
  • UI User Interface
  • GUI Graphic User
  • the display unit 170 may include a display module, and the display module may include a touch screen that forms a layer structure or is integrally formed with the touch sensor.
  • the touch screen may function as an input unit 190 (not shown) that provides an input interface between the electronic device 100 and the user, and may provide an interface for displaying information between the electronic device 100 and the user.
  • the display module may be a stereoscopic display module for displaying a stereoscopic image.
  • a three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glasses type method), a projection method (holographic method), or the like may be applied.
  • the display unit 170 of the present invention is not limited by the type of the display module, and can display a moving image by any type of image reproducing program capable of reproducing an image and display a search result for a query. It includes everything.
  • the display unit 170 does not mean only being hardware-coupled to the electronic device 100, but may be a separate display module connected to the controller 130 through wired / wireless to transmit and receive images and control signals.
  • FIG. 2 is a conceptual diagram illustrating an embodiment of a server that provides image search information to a client according to the present invention.
  • the server 200 may include a controller 230, a communication unit 250, and a database unit 270.
  • the controller 230 analyzes the query received from the client 100, searches for the product information corresponding to the label of the object included in the query or the image feature information of the object in the database unit 270, and provides the search result as a search result. .
  • the controller 230 may exclude the corresponding query or object from the search target.
  • the controller 230 may extract image feature information from the image frame, the image, or the first object. Can be extracted.
  • the first object may be an object without a label, and may be an object recognized by the electronic device as an object regardless of the type of product, and the image may be an image of one region captured or cropped by the electronic device.
  • the controller 230 includes the image feature information in the image frame, the image, or the first object when the image feature information previously learned as a specific object exists in the image frame, the image, or the first object.
  • One area to be set as a search object and a label corresponding to the image characteristic information may be attached to the search object.
  • the controller 230 searches for a product having the same / similar label or the same / similar image feature information in the database unit 270 using the label or the image feature information of the search object.
  • the controller 230 may store product information corresponding to a label attached to the search target object or image feature information of the search target object. Search in section 270.
  • the communication unit 250 controls the transmission of the search result to the client.
  • the control unit 230 uses the identification information and the search log received from the client product information corresponding to the label included in the search log May be provided to the user through the communication unit 250. More specifically, the controller 230 may assign higher importance so that product information corresponding to a label included in the search log is exposed in the client more preferentially.
  • the communication unit 250 receives a query generated using the image from the client, and transmits a search result for the query to the client 100.
  • the communication unit 250 may receive both the user's identification information and the user's search log from the client.
  • An example of a communication module included in the communication unit 250 is the same as the communication module included in the communication unit 150 described above, and thus will be omitted.
  • the database unit 170 generates and stores a product database including image feature information of a product and a label corresponding to the feature information of the product image for any product.
  • the electronic device when a predetermined query generation event occurs during image playback (S100), the electronic device generates a query using the image (S200).
  • the query generated in step S200 includes a plurality of conditions that satisfy a predetermined condition based on an image frame displayed on the screen (an image frame being played or a paused image frame, an area image included in the image frame, or a screen being played or paused). May include at least one of object information extracted from an image frame or an image frame included in an image, and the object information includes image feature information extracted from an image, image feature information extracted from an arbitrary object region, and a specific object. It may include at least one of the image feature information or the label information learned to correspond.
  • the electronic device of the invention displays the screen on the screen. Of query If there is no user input until the remaining time reaches zero and the remaining time reaches zero, Query It may be determined that the generation event has occurred (S100).
  • the generation event may vary depending on the setting. If the electronic device includes an input module such as a microphone, the electronic device is activated through a voice command or the voice control of the electronic device is performed during video playback. Mode Once activated The electronic device automatically To capture Can be activated and Preset This time Or When a search event such as a search command is received, the electronic device may determine that a query generation event has occurred (S100).
  • the voice control mode may be understood to mean a mode in which the electronic device activates voice dictation to analyze the received voice and execute the analyzed voice command.
  • the electronic device receives the search result corresponding to the query from the server (S400), and displays the received search result on the screen (S500) to provide image search information.
  • the electronic device preferentially displays a search result for an object including a label that is the same as or similar to the object previously searched by the user using the search log of the user. Can be. This is because the electronic device preferentially exposes the search results belonging to the user's field of interest on the screen to increase the probability of image search leading to product purchase and to increase user satisfaction.
  • the electronic device may display the search results on the screen in order of high similarity to the image feature information of the object included in the query, thereby increasing the accuracy of the search.
  • the query generation step S200 using the above-described image may be performed by extracting an object from an image frame (S230) and generating a query including the object (S250) as shown in FIG. 4.
  • the electronic device extracts image feature information from an image frame (S232), and partitions a region within an image frame according to a preset condition using the extracted image feature information (S232).
  • the partitioned area may be set as a search target object in operation S236.
  • the division of the region in step S234 may be performed using feature information in an image frame such as brightness change point, overall color distribution, edge information, and sharpness information.
  • the setting of the search object in step S236 may include coordinate information on the image frame. It can be made using.
  • a plurality of objects may be included in the image frame, in which case the plurality of objects will be extracted.
  • the object extraction (S230) may search for a region including image feature information learned as corresponding to a specific object by using a previously stored learning model as illustrated in FIG. 6. Extraction may be performed (S233), and a label corresponding to the image feature information may be attached to the search object (S237).
  • FIG. 7 is a flowchart illustrating an embodiment of a method for providing image search information of a server according to the present invention.
  • the server of the present invention generates a product database including image feature information of a product and a label corresponding to the feature information of the product image.
  • the server When the server receives the query generated using the image from the client (S1000), it analyzes the query (S2000), determines whether the query includes image feature information learned with noise (S2500), and if the query is included Can be excluded from search.
  • the server may include an image frame,
  • the image characteristic information previously learned from the image or the first object to the specific object is searched for (S3000).
  • an area including the image feature information is extracted from the image frame, the image, or the first object as the search target object in operation S3500.
  • the server attaches a label corresponding to the image feature information to the search object (S3700).
  • the product having the same / similar label or the same / similar image feature information is searched in the product database using the label or the image feature information of the search object (S4000).
  • the server displays product information corresponding to a label attached to the searched object or image feature information of the searched object. Search in (S4000). The search result is transmitted to the client (S5000).
  • the server may receive the user's identification information and the user's search log from the client.
  • the server may provide the user with product information corresponding to a label included in the search log by using the identification information received from the client and the search log.
  • the server may assign higher importance to the product information and expose it to the client and transmit it to the client.
  • FIG. 8 is a view for explaining an embodiment of a method for providing image search information of an electronic device according to the present invention.
  • a user plays an image using the electronic device 100.
  • the woman is wearing a t-shirt A. If the user pauses the image in order to search for product information on the t-shirt A, it is an embodiment of the present invention.
  • a query generation event occurs by a preset algorithm.
  • the electronic device 100 generates a query using the paused image frame according to the occurrence of the query generation event.
  • the electronic device 100 may transmit the image frame itself to the server, or may transmit an image of one region included in the image frame to the server.
  • an object may be extracted from one image frame included in the image, and the extracted object information may be transmitted to the server.
  • a rectangular guide B is displayed so that a user can specify an area when a pause event occurs.
  • the user may select the T-shirt A by adjusting the size and shape of the guide B, or move the position of the guide B, so that the electronic device 100 does not recognize it as an object, but the table C is of interest to the user. ) Can also be specified as an object.
  • the server 200 (not shown) performs a search using the guide area image B.
  • the server 200 receives a query including an image without an additional label from the electronic device 100, the server 200 searches whether the image includes image feature information previously learned as a specific object. If the image has image feature information learned with noise, the server 200 may stop searching for the image, but since the image includes the T-shirt A, the image 200 also includes the image feature information learned with the T-shirt.
  • the server 200 finds the image feature information (descriptor corresponding to the T-shirt) learned by the T-shirt, the server 200 sets a region including the corresponding image feature information as the search object.
  • the search object set as described above has a form closest to the T-shirt A, and may be a region in which an area (background), which is not related to a product, is excluded from the image B initially received.
  • the server 200 may attach labels such as women's clothing (large classification), tops (medium classification), blue, and t-shirts (small classification) to the search object.
  • a product corresponding to a blue T-shirt among women's tops may be searched in the product database, and a product including similar image feature information may be searched for in the product database using the extracted image feature information (image search).
  • image search image search
  • the electronic device 100 receives a search result from the server 200 and displays the search result on the screen.
  • the electronic device 100 may display product information on an area 10 of the screen, Product information can also be displayed in the area
  • the product information may be displayed in the descending or ascending order according to the similarity or interest, price, popularity, etc. according to the search log of the user. For example, 10A with the highest similarity may be displayed at the top in order of most similarity, and then 10B and 10C with the highest similarity.
  • the electronic device may search for a product name 20A, a manufacturer, a price 20C, a popularity, a category (label), a place of purchase (website, contact information, location information), a related review, and the like as a search result. It can be displayed together, or you can set to run other applications by clicking or touching the information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 전자 장치가 영상 검색 정보를 제공하는 방법에 있어서, 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면 상기 영상을 이용하여 쿼리를 생성하는 단계, 상기 쿼리를 서버로 전송하는 단계, 상기 서버로부터 상기 쿼리에 대응되는 검색 결과를 수신하여 화면에 표시하는 단계를 포함하며, 상기 검색 결과는 상기 영상에 포함된 하나 이상의 오브젝트에 대한 검색 결과인 것을 일 특징으로 한다. 본 발명에 의하면, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품을 검색할 수 있는 영상 검색 정보 제공 방법, 장치 및 프로그램을 제공하는 것을 일 목적으로 한다.

Description

영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
본 발명은 영상 재생장치에서 영상 검색 정보를 제공하는 방법, 장치 및 컴퓨터프로그램에 관한 것으로, 보다 구체적으로 별도의 검색어 입력 없이 영상에서 오브젝트를 인식하여 이와 유사한 상품 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이 때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명과 판매처 등을 검색해야 하고, 이름을 알지 못하면 쉽게 검색할 수 없는 불편도 발생한다.
한편 판매자들 역시 제품 홍보를 위해 드라마, 영화와 같은 동영상 콘텐츠에 제품을 협찬하는 경우가 많은데, 홍보 비용 지출에도 불구하고 간접광고 이슈로 인해 상품명을 직접 노출하지 못하는 경우가 대부분이다.
따라서 최근 판매자들은 사용자가 영상을 재생할 때 영상에 나오는 상품 정보를 확인할 수 있도록 영상 프레임에 홍보용 상품 정보를 태깅한 동영상 컨텐츠를 제작하기도 하는 등 다양한 홍보 방법을 모색하고 있다. 그러나 이러한 방식에 의하면 사용자는 판매자가 제공하는 한정된 정보(판매자가 콘텐츠에 태깅한 상품 정보)만을 확인할 수 있으므로, 영상에 나오는 상품 중에 마음에 드는 상품이 협찬 상품이 아니라면 여전히 그 상품에 대한 정보를 검색하는데 어려움을 겪는다. 또한, 영상에 노출되는 상품이 구매 가능한 가격대가 아닌 경우 소비자들은 좀 더 저렴한 가격의 유사 상품을 검색하고자 할 수 있는데, 영상으로 상품을 확인한 경우에는 상품명을 특정하기가 쉽지 않아 유사 상품 검색에 어려움이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품을 검색할 수 있는 영상 검색 정보 제공 방법, 장치 및 프로그램을 제공하는 것을 일 목적으로 한다.
또한, 본 발명은 상품 정보가 태깅된 별도의 콘텐츠를 제작하지 않고도 원 영상 재생 시 상품 정보가 노출될 수 있도록 함으로써 상품 홍보에 소요되는 비용을 절감하고 보다 효과적으로 상품을 홍보할 수 있는 영상 검색 정보 제공 방법 및 장치를 제공하는 것을 다른 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 전자 장치가 영상 검색 정보를 제공하는 방법에 있어서, 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면 상기 영상을 이용하여 쿼리를 생성하는 단계, 상기 쿼리를 서버로 전송하는 단계, 상기 서버로부터 상기 쿼리에 대응되는 검색 결과를 수신하여 화면에 표시하는 단계를 포함하며, 상기 검색 결과는 상기 영상에 포함된 하나 이상의 오브젝트에 대한 검색 결과인 것을 일 특징으로 한다.
또한, 본 발명은 영상 검색 정보를 제공하는 전자 장치에 있어서, 영상 재생 중 기 설정한 쿼리 생성 이벤트가 발생하면 상기 영상을 이용하여 쿼리를 생성하는 제어부, 상기 쿼리를 서버로 전송하고, 상기 서버로부터 상기 쿼리에 대응되는 검색 결과를 수신하는 통신부, 상기 수신한 검색 결과를 화면에 표시하는 표시부를 포함하며, 상기 검색 결과는 상기 영상에 포함된 임의의 오브젝트에 대한 검색 결과인 것을 일 특징으로 한다.
또한, 본 발명은 서버가 클라이언트에 영상 검색 정보를 제공하는 방법에 있어서, 임의의 상품에 대하여 상기 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성하는 단계, 상기 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하는 단계, 상기 쿼리를 분석하는 단계, 상기 쿼리 분석 결과 상기 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면, 상기 검색대상 오브젝트에 부착된 레이블 또는 상기 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상기 상품 데이터베이스에서 검색하는 단계, 상기 검색 결과를 상기 클라이언트에 전송하는 단계를 포함하는 것을 다른 특징으로 한다.
또한, 본 발명은 클라이언트에 영상 검색 정보를 제공하는 서버에 있어서, 임의의 상품에 대하여 상기 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성 및 저장하는 데이터베이스부, 상기 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하고, 상기 쿼리에 대한 검색 결과를 상기 클라이언트에 전송하는 통신부, 상기 수신한 쿼리를 분석하고, 상기 쿼리에 포함된 오브젝트의 레이블 또는 상기 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상기 데이터베이스부에서 검색하여 상기 검색 결과로 제공하는 제어부를 포함하는 것을 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품을 검색할 수 있다.
또한, 본 발명에 의하면 상품 정보가 태깅된 별도의 콘텐츠를 제작하지 않고도, 영상 재생 시 상품 정보가 노출될 수 있도록 함으로써 상품 홍보에 소요되는 비용을 절감하고 보다 효과적으로 상품을 홍보할 수 있다.
도 1은 본 발명에 의한 영상 검색 정보를 제공하는 전자 장치의 일 실시 예를 설명하기 위한 개념도,
도 2는 본 발명에 의한 클라이언트에 영상 검색 정보를 제공하는 서버의 일 실시 예를 설명하기 위한 개념도,
도 3은 본 발명에 의한 전자 장치의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도,
도 4는 본 발명에 의한 쿼리 생성 방법의 일 실시 예를 설명하기 위한 순서도,
도 5는 본 발명에 의한 오브젝트 추출 방법의 일 실시 예를 설명하기 위한 순서도,
도 6은 본 발명에 의한 오브젝트 추출 방법의 일 실시 예를 설명하기 위한 순서도,
도 7은 본 발명에 의한 서버의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도,
도 8은 본 발명에 의한 전자 장치의 영상 검색 정보 제공의 일 실시 예를 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 '오브젝트'는 상품으로 인식할 수 있는 물건, 또는 물건의 이미지를 의미하는 것으로 이해될 수 있으며, 오브젝트 추출 조건에 따라 노이즈를 포함하는 불특정 사물의 이미지일 수도 있고, 미리 정의된 레이블에 대응되는 특정 사물의 이미지일 수도 있다. '오브젝트'는 추출 조건, 학습된 레이블의 분류 깊이에 따라 포괄적인 범주의 상품에 대응될 수도 있지만, 상품의 색상, 패턴, 상품명과 같은 세부적인 상품의 특징에 대응될 수 있는 개념으로 이해되어야 한다.
본 명세서에 기재된 '레이블'은 상술한 바와 같이 상품(또는 오브젝트)의 특징을 정의하는 정보로, 예를 들어 여성의류, 남성의류, 가구, 생활용품, 주방용품과 같은 대분류 정보, 하의, 상의, 원피스와 같은 중분류 정보, 색상, 무늬, 브랜드, 가격과 같은 소분류 정보를 포함할 수 있다. 이는 일 예시에 불과하며, 레이블은 사용자 설정에 따라 다양하게 분류 또는 정의될 수 있다. 본 발명의 일 실시 예에 따른 레이블은 기계 학습(machine learning)을 통하여 학습된 것일 수 있으며, 서버 또는 클라이언트(전자 장치)에는 이미지 특징 정보에 대응되는 레이블이 미리 저장될 수 있다.
본 명세서에서 ‘전자 장치’는 데스크탑, 스마트폰, 태블릿 PC 등 영상을 재생할 수 있고, 검색 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하며, 클라이언트, 영상 검색 정보 제공 장치와 동일한 의미를 갖는 것으로 이해될 수 있다. 또한 전자 장치는 셋탑박스와 같이 영상 컨텐츠를 송수신하여 외부 디스플레이 장치로 전송하고, 디스플레이 장치를 통해 영상을 재생하거나 검색 정보를 표시할 수 있는 제어 장치도 포함된다.
도 1은 본 발명에 의한 영상 검색 정보를 제공하는 전자 장치의 일 실시 예를 설명하기 위한 개념도이다. 도 1을 참조하면 본 발명에 의한 전자 장치(100)는 제어부(130), 통신부(150), 표시부(170)를 포함할 수 있으며, 입력부(190, 미도시)를 더 표시할 수 있다. 또한, 본 발명에 의한 전자 장치(100)는 제어부(130), 통신부(150), 입력부(190)만을 포함할 수 있으며, 표시부(170)는 전자 장치(100)에 구비하지 않고 영상 정보를 외부 디스플레이 장치에 전송할 수 있다.
제어부(130)는 영상 재생 중 기 설정한 쿼리 생성 이벤트가 발생하면 영상을 이용하여 쿼리를 생성한다.
제어부(130)는 영상 재생 중 일시 정지 이벤트가 발생한 후에, 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다. 예를 들어, 사용자가 재생되는 영상을 일시 정지하고 일정 시간(2초)가 경과된 후에도 계속 일시 정지 상태라면, 전자 장치(100)는 쿼리 생성 이벤트가 발생한 것으로 판단하여 일시 정지된 영상 프레임을 기초로 쿼리를 생성할 수 있다.
전자 장치(100)가 음성 명령으로 제어 가능한 경우라면, 제어부(130)는 영상 재생 중 음성 제어 모드 활성화 명령이 수신된 후에, 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다. 예를 들어, 제어부(130)가 셋탑박스인 경우, 제어부(130)는 "안녕 ***", "헬로 ***"와 같이 기 설정된 음성 인식 애플리케이션의 활성화 명령이 마이크를 통해 입력되면, 전자 장치(100)는 음성 제어 모드를 활성화하여 이후에 수신되는 음성 명령에 따라 전자 장치(100)와 그 구성요소들을 제어할 수 있다. 이 경우, 본 발명의 일 실시 예에 따른 제어부(130)는 음성 제어 모드로의 전환과 함께 제어부(130)는 화면의 영상을 캡처할 수 있다. 그리고 음성 제어 모드에서 마이크를 통해 "검색해줘", "찾아줘"와 같이 검색 요청 키워드를 포함하는 사용자 명령이 입력되면(검색 이벤트 발생), 쿼리 생성 이벤트가 발생한 것으로 판단하여 캡처된 화면 또는 영상 프레임, 캡처된 화면에 포함된 일 영역의 이미지, 캡처된 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 영상의 일 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함하는 쿼리를 생성하여 전송할 수 있다. 이 예시에서 음성 제어 모드란, 전자 장치가 음성 받아쓰기를 활성화하여 수신되는 음성을 분석하고, 분석된 음성 명령을 실행하는 모드를 의미하는 것으로 이해될 수 있다.
검색 이벤트는 전자 장치(100)가 상품을 검색하는 것으로 인식할 수 있는 이벤트를 의미하는데, 예를 들어, 사용자가 일시 정지 후에 표시되는 검색 버튼을 클릭하거나 터치하는 동작, 영상 프레임의 일 영역을 지정하는 동작, 영상 프레임에서 오브젝트로 인식되는 일 영역 또는 버튼을 클릭 또는 터치하는 동작을 포함할 수 있다.
또한, 제어부(130)는 영상 재생 중 일시 정지 이벤트가 발생하면, 상기 화면에 상기 쿼리의 생성까지 남은 시간을 표시하고, 남은 시간이 0에 도달할 때까지 사용자 입력이 없으면, 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다.
쿼리 생성 이벤트 발생 시에 제어부(130)가 생성하는 쿼리는 일시 정지된 영상 프레임, 영상 프레임에 포함된 일 영역의 이미지, 일시 정지된 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 영상에 포함된 일 영상 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함할 수 있다. 그리고 오브젝트 정보는 영상에서 추출한 이미지 특징 정보, 임의의오브젝트 영역으로부터 추출된 이미지 특징 정보, 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보 또는 레이블 정보 중 적어도 하나를 포함할 수 있다.
입력부(190)가 마이크와 같이 음성 명령을 수신할 수 있는 모듈을 포함하는 경우, 검색 이벤트는 위 실시 예에서 설명한 바와 같이 검색 요청 키워드를 포함하는 사용자 명령 및 그 입력일 수 있다.
뿐만 아니라, 통신부(150)가 블루투스 수신 장치, 적외선 수신 장치와 같이 외부의 입력 장치를 통해 입력되는 사용자 명령을 수신할 수 있는 통신 모듈을 포함하는 경우에는 리모트 컨트롤, 단말 애플리케이션을 통해 수신되는 사용자 검색 명령이 검색 이벤트일 수 있다. 위 입력 장치를 통해 검색 명령이 수신되면, 전자 장치(100)는 상품을 검색하는 것으로 인식할 수 있기 때문이다.
여기서, 이미지 특징 정보는 영상, 영상 프레임 또는 영상에 포함된 일 영역의 이미지로부터 지역적(로컬) 또는 전역적(글로벌)으로 추출한 정보를 의미한다. 이미지 특징 정보들은 레이블 생성을 위한 기계 학습에 사용될 수 있다. 또한, 미리 학습된 레이블이 존재하는 경우, 임의의 이미지 특징 정보는 특정 레이블 또는 특정 오브젝트에 대응될 수 있다. 이미지 특징 정보는 이미지 전체 또는 오브젝트 영역 또는 이미지 내 특징점 주변에 위치하는 기 설정된 범위의 이미지(이미지 조각 또는 패치)의 벡터 정보(디스크립터)를 포함할 수 있으며, 벡터 정보는 밝기 변화, 색상, 패턴(주파수, 세로 엣지, 가로 엣지의 분포), 이미지 조각의 기울기, 기 설정된 임계치 이상의 밝기 변화 등에 대한 정보를 포함할 수 있다. 또한, 이미지 특징 정보는 오브젝트 별로 고유한 범위의 값을 가질 뿐 아니라, 학습 모델에 따라서 레이블 별로 고유한 범위의 값을 가질 수 있다.
영상 프레임에 포함된 일 영역의 이미지는 도 8에 도시된 바와 같은 다각형으로 지정된 것(B)일 수 있다. 제어부(130)는 일시 정지 이벤트가 발생하면, 사용자 편의를 위해 오브젝트로 인식되는 A를 포함하는 일 영역을 가이드로 제공할 수 있는데, 이 때 사용자는 가이드로 제공되는 다각형의 크기 또는 형태를 조절함으로써, 최종적으로 쿼리에 포함되는 영역을 선택할 수 있다.
또한, 제어부(130)는 일시 정지된 영상 프레임이 흐리거나(blurred frame), 오브젝트 검출이 어려운 경우, 또는 서버에서의 오브젝트 추출 정확도를 높이기 위한 경우에 일시 정지된 영상 프레임을 기준으로 기 설정된 조건을 만족하는 하나 이상의 영상 프레임을 쿼리에 포함시킬 수 있다.
쿼리에 포함되는 하나 이상의 영상 프레임을 선정하기 위해 미리 설정되는 조건은 시간, 프레임 개수, 자막 여부 및/또는 선명도를 이용하여 설정된 것일 수 있다. 예를 들어, 제어부(130)는 기 설정된 조건에 따라 일시 정지된 영상 프레임을 기준으로 전/후 1 초 이내의 영상 프레임들을 하나의 쿼리로 생성할 수 있다. 또한, 제어부(130)는 일시 정지된 영상 프레임을 기준으로 전/후 영상 프레임을 하나씩 추가하여 3개의 영상 프레임을 하나의 쿼리로 생성할 수 있다. 다른 실시 예로, 일시 정지된 영상 프레임의 선명도가 떨어지는 경우, 제어부(130)는 전/후 영상 프레임 중에서 선명도가 높은 영상 프레임을 검색하여 쿼리에 포함시킬 수 있다. 또 다른 예로, 일시 정지된 영상에 자막이 포함된 경우, 제어부(130)는 자막이 제거된 영상 프레임만을 쿼리에 포함시킬 수 있다.
또한, 제어부(130)는 영상 프레임에서 오브젝트를 추출하는 오브젝트 추출부(135), 오브젝트를 포함하는 쿼리를 생성하는 쿼리 생성부(137)를 포함할 수 있다.
오브젝트 추출부(135)는 기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 일 영역을 오브젝트로 추출하고, 해당 오브젝트에 상기 이미지 특징 정보에 대응되는 레이블을 부착할 수 있다. 본 실시 예에서의 오브젝트는 특정 사물로 정의할 수 있는 오브젝트를 의미하며, 그 레이블 또는 범주에 따라 다양하게 정의될 수 있다.
기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보는 그 설정에 따라 글로벌 디스크립터 또는 로컬 디스크립터일 수 있다. 즉, 오브젝트 추출부(135)는 영상 프레임에서 자동차에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 오브젝트를 추출할 수도 있고, 의류에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 오브젝트를 추출할 수도 있으며 해당 오브젝트가 어떤 사물인지 뿐 아니라, 사물의 특징(상품 종류, 상품 브랜드, 색상, 재질, 형태, 패턴, 일부 디자인의 차이 및 사람에 의해 정의 가능한 느낌 - 큐트, 시크, 빈티지 등 -)까지도 분류할 수도 있다. 따라서 목적에 맞게 글로벌 및 로컬 디스크립터를 이용하면 보다 구체적인 상품명, 상품의 특징을 레이블링 하는 것이 가능하다.
다른 실시 예로, 오브젝트 추출부(135)는 영상 프레임에서 이미지 특징 정보를 추출하고, 추출된 특징 정보를 이용해 기 설정된 조건에 따라 영상 프레임 내 일 영역을 구획하고, 구획된 일 영역을 검색대상 오브젝트로 설정할 수 있다. 여기서, 본 발명에 따른 전자 장치가 추출하는 오브젝트는 그 오브젝트의 종류와는 상관없이 임의의 ‘객체’로 판단되는 것일 수 있으며, 따라서 노이즈가 포함될 수 있으나 빠른 속도로 추출 가능하다. 영역의 구획은 밝기 변화 지점, 전반적인 색상 분포, 엣지 정보, 선명도 정보 등의 영상 프레임 내의 이미지 특징 정보를 이용하여 이루어질 수 있으며, 오브젝트의 설정은 영상 프레임 상의 좌표 정보를 이용하여 이루어질 수 있다. 영상 프레임 내에는 복수개의 오브젝트가 포함될 수 있으며, 이 경우 복수의 오브젝트가 추출될 것이다.
제어부(130)는 표시부(170)가 검색 결과를 표시할 때, 사용자의 검색 로그를 이용하여 사용자가 기 검색한 오브젝트와 동일 또는 유사한 레이블을 포함하는 오브젝트에 대한 검색 결과를 우선적으로 화면에 표시하도록 제어할 수 있다. 이는 사용자의 관심 분야에 속하는 검색 결과를 우선적으로 화면에 노출시킴으로써 영상 검색이 상품 구매로 이어질 확률을 높이고, 사용자 만족도를 높이기 위함이다. 또한, 제어부(130)는 표시부(170)가 쿼리에 포함된 오브젝트의 이미지 특징 정보와 유사도가 높은 순서에 따라 검색 결과를 화면에 표시하도록 제어함으로써, 검색의 정확도를 높일 수 있다.
통신부(150)는 쿼리를 서버(200)로 전송하고, 서버(200)로부터 쿼리에 대응되는 검색 결과를 수신한다. 통신부(150)는 서버(200)와의 통신을 위한 유무선 통신 모듈, 예를 들어, GSM, CDMA, WCDMA, HSDPA, LTE 방식을 지원하는 이동 통신 모듈을 포함할 수 있다. 또한 통신부(190)는 WLAN, WiFi Direct, DLNA, Wibro, Wimax와 같은 무선 통신 모듈을 포함할 수 있으며, 근거리 통신(Short range communication)을 위한 통신 모듈, 예를 들면 블루투스, RFID, 적외선 통신, UWB, ZigBee, NFC, Wi-Fi, Wi-Fi Direct 등을 지원하는 통신 모듈을 포함할 수 있다. 참고로 본 발명의 통신부(150)는 서버(200)와의 데이터 송수신을 지원하는 통신 모듈이라면 그 방식에 의해 제한되지 않는다.
표시부(170)는 수신한 검색 결과를 화면에 표시하는데, 여기서 검색 결과는 영상에 포함된 임의의 오브젝트에 대한 검색 결과를 의미한다. 검색 결과는 쿼리를 이용해 검색된 상품 정보 또는 광고 정보를 포함할 수 있다. 표시부는 전자 장치(100)에서 처리되는 정보를 표시(출력)하며, 전자 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
표시부(170)는 디스플레이 모듈을 포함할 수 있으며, 디스플레이 모듈은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성되는 터치 스크린을 포함할 수 있다. 이러한 터치 스크린은 전자 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 입력부(190, 미도시)로 기능함과 동시에, 전자 장치(100)와 사용자 사이에 정보를 표시하는 인터페이스를 제공할 수 있다. 또한, 디스플레이 모듈은 입체영상을 표시하는 입체 디스플레이 모듈일 수 있다. 이러한 입체 디스플레이로는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 본 발명의 표시부(170)는 디스플레이 모듈의 종류에 의해 제한되지 않으며, 영상을 재생할 수 있는 모든 종류의 영상 재생 프로그램에 의한 동화상의 표시가 가능하고 쿼리에 대한 검색 결과를 표시할 수 있는 디스플레이 모듈을 모두 포함한다.
나아가 표시부(170)는 전자 장치(100)에 하드웨어적으로 결합된 것만을 의미하지 않으며, 유무선으로 제어부(130)와 연결되어 영상 및 제어신호를 송수신하는 별도의 디스플레이 모듈일 수 있다.
도 2는 본 발명에 의한 클라이언트에 영상 검색 정보를 제공하는 서버의 일 실시 예를 설명하기 위한 개념도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 서버(200)는 제어부(230), 통신부(250), 데이터베이스부(270)를 포함할 수 있다.
제어부(230)는 클라이언트(100)로부터 수신한 쿼리를 분석하고, 쿼리에 포함된 오브젝트의 레이블 또는 상기 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 데이터베이스부(270)에서 검색하여 검색 결과로 제공한다.
제어부(230)는 쿼리에 노이즈로 분류된 이미지 특징 정보 또는 노이즈로 학습된 레이블 정보가 포함되어 있으면 해당 쿼리 또는 오브젝트를 검색 대상에서 제외할 수 있다.
또한, 제어부(230)는 쿼리 분석 결과, 영상 프레임, 영상 프레임에 포함된 일 영역의 이미지 또는 레이블이 부착되지 않은 제 1 오브젝트가 포함되어 있으면, 영상 프레임, 이미지 또는 제 1 오브젝트에서 이미지 특징 정보를 추출할 수 있다. 여기서 제 1 오브젝트는 레이블이 부착되지 않은 오브젝트로, 상품의 종류와 상관없이 전자 장치가 물건으로 인식한 오브젝트일 수 있으며, 이미지는 전자 장치에서 캡쳐 또는 크롭된 일 영역의 이미지일 수 있다.
제어부(230)는 이미지 특징 정보의 탐색 결과, 영상 프레임, 이미지 또는 제 1 오브젝트에 특정 오브젝트로 기 학습된 이미지 특징 정보가 존재하면, 영상 프레임, 이미지 또는 상기 제 1 오브젝트에서 상기 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 설정하고, 이미지 특징 정보에 대응되는 레이블을 검색대상 오브젝트에 부착할 수 있다.
제어부(230)는 검색대상 오브젝트의 레이블 또는 이미지 특징 정보를 이용하여 데이터베이스부(270)에서 동일/유사 레이블 또는 동일/유사 이미지 특징 정보를 갖는 상품을 검색한다.
제어부(230)의 쿼리 분석 결과, 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면, 제어부(230)는 검색대상 오브젝트에 부착된 레이블 또는 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 데이터베이스부(270)에서 검색한다. 그리고 통신부(250)가 검색 결과를 클라이언트에 전송하도록 제어한다.
통신부(250)가 클라이언트로부터 사용자의 식별 정보 및 상기 사용자의 검색 로그를 수신한 경우, 제어부(230)는 클라이언트로부터 수신한 식별 정보 및 검색 로그를 이용하여 검색 로그에 포함된 레이블에 대응되는 상품 정보를 통신부(250)를 통하여 사용자에게 제공할 수 있다. 보다 구체적으로, 제어부(230)는 상기 검색 로그에 포함된 레이블에 대응되는 상품 정보가 클라이언트에서 더 우선적으로 노출되도록 더 높은 중요도를 부여할 수 있다.
통신부(250)는 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하고, 상기 쿼리에 대한 검색 결과를 클라이언트(100)에 전송한다. 또한 통신부(250)는 클라이언트로부터 사용자의 식별 정보 및 사용자의 검색 로그를 함께 수신할 수 있다. 통신부(250)가 포함하는 통신 모듈의 예시는 상술한 통신부(150)에 포함되는 통신 모듈과 동일하므로 생략한다.
데이터베이스부(170)는 임의의 상품에 대하여 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성 및 저장한다.
이하에서는 도 3 내지 도 6을 참조하여, 본 발명에 의한 영상 검색 정보 제공 방법의 일 실시 예를 설명한다.
먼저 도 3을 참조하면, 본 발명에 의한 영상 검색 정보 제공 방법에 의하면, 전자 장치는 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면(S100), 영상을 이용하여 쿼리를 생성하고(S200), 쿼리를 서버로 전송한다(S300). 단계 S200에서 생성되는 쿼리는 화면에 표시된 영상 프레임(재생 중인 영상 프레임 또는 일시 정지된 영상 프레임, 영상 프레임에 포함된 일 영역 이미지, 재생 중이거나 일시 정지된 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 영상에 포함된 일 영상 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함할 수 있다. 그리고 오브젝트 정보는 영상에서 추출한 이미지 특징 정보, 임의의 오브젝트 영역으로부터 추출된 이미지 특징 정보, 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보 또는 레이블 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 전자 장치는 영상 재생 중 일시 정지 이벤트가 발생한 후에, 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 쿼리 생성 이벤트가 발생(S100)한 것으로 판단할 수 있다.
또한 본 발명의 전자 장치는 영상 재생 중 일시 정지 이벤트가 발생하면, 상기 화면에 상기 쿼리의 생성까지 남은 시간을 표시하고, 남은 시간이 0에 도달할 때까지 사용자 입력이 없으면, 쿼리 생성 이벤트가 발생(S100)한 것으로 판단할 수 있다.
쿼리 생성 이벤트는 설정에 따라 달라질 수 있는데, 전자 장치가 마이크와 같은 입력 모듈을 포함하고 있는 경우, 영상 재생 중 음성 명령을 통해 전자 장치가 활성화되거나 전자 장치의 음성 제어 모드가 활성화 되면 전자 장치는 자동으로 화면에 표시된 영상 프레임을 캡쳐할 수 있으며, 활성화된 상태에서 기 설정된 시간이 경과하거나 검색 명령이 수신되는 등의 검색 이벤트가 발생하면 전자 장치는 쿼리 생성 이벤트가 발생(S100)한 것으로 판단할 수 있다. 이 예시에서 음성 제어 모드란, 전자 장치가 음성 받아쓰기를 활성화하여 수신되는 음성을 분석하고, 분석된 음성 명령을 실행하는 모드를 의미하는 것으로 이해될 수 있다.
다음으로, 전자 장치는 쿼리에 대응되는 검색 결과를 서버로부터 수신하고(S400), 수신한 검색 결과를 화면에 표시(S500)함으로써 영상 검색 정보를 제공한다. 수신한 검색 결과를 화면에 표시하는 단계(S500)에서 전자 장치는 사용자의 검색 로그를 이용하여 사용자가 기 검색한 오브젝트와 동일 또는 유사한 레이블을 포함하는 오브젝트에 대한 검색 결과를 우선적으로 화면에 표시할 수 있다. 이는 전자 장치가 사용자의 관심 분야에 속하는 검색 결과를 우선적으로 화면에 노출시킴으로써 영상 검색이 상품 구매로 이어질 확률을 높이고, 사용자 만족도를 높이기 위함이다. 또한, 전자 장치는 단계 S500에서, 쿼리에 포함된 오브젝트의 이미지 특징 정보와 유사도가 높은 순서에 따라 검색 결과를 화면에 표시하여, 검색의 정확도를 높일 수 있다.
전술한 영상을 이용한 쿼리 생성 단계(S200)는 도 4에 도시된 바와 같이 영상 프레임에서 오브젝트를 추출하고(S230), 오브젝트를 포함하는 쿼리를 생성(S250)하는 과정을 통해 실행될 수 있다.
도 5를 참조하면, 오브젝트 추출 단계(S230)에서 전자 장치는 영상 프레임에서 이미지 특징 정보를 추출하고(S232), 추출된 이미지 특징 정보를 이용해 기 설정된 조건에 따라 영상 프레임 내 일 영역을 구획하고(S234), 구획된 일 영역을 검색대상 오브젝트로 설정(S236)할 수 있다.
단계 S234에서의 영역의 구획은 밝기 변화 지점, 전반적인 색상 분포, 엣지 정보, 선명도 정보 등의 영상 프레임 내의 특징 정보를 이용하여 이루어질 수 있으며, 단계 S236에서의 검색대상 오브젝트의 설정은 영상 프레임 상의 좌표 정보를 이용하여 이루어질 수 있다. 영상 프레임 내에는 복수개의 오브젝트가 포함될 수 있으며, 이 경우 복수의 오브젝트가 추출될 것이다.
오브젝트 추출(S230)의 다른 실시 예로, 오브젝트 추출(S230)은 도 6에 도시된 바와 같이 기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하고(S233), 검색대상 오브젝트에 상기 이미지 특징 정보에 대응되는 레이블을 부착(S237)하여 실행될 수 있다.
도 7은 본 발명에 의한 서버의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도이다. 도 7을 참조하면, 본 발명의 서버는 임의의 상품에 대하여 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성한다.
서버는 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하면(S1000), 쿼리를 분석하고(S2000), 쿼리에 노이즈로 학습된 이미지 특징 정보가 포함되어 있는지 판단하여(S2500), 포함되어 있으면 해당 쿼리를 검색 대상에서 제외할 수 있다.
쿼리 분석(S2000) 결과, 쿼리에 영상 프레임(Case1), 영상 프레임에 포함된 일 영역의 이미지(미도시) 또는 레이블이 부착되지 않은 제 1 오브젝트(Case2)가 포함되어 있으면, 서버는 영상 프레임, 이미지 또는 제 1 오브젝트에서 특정 오브젝트로 기 학습된 이미지 특징 정보를 탐색 한다(S3000). 단계 S3000의 탐색 결과, 영상 프레임, 이미지 또는 제 1 오브젝트에서 상기 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출한다(S3500). 다음으로, 서버는 이미지 특징 정보에 대응되는 레이블을 검색대상 오브젝트에 부착한다(S3700). 그리고 검색대상 오브젝트의 레이블 또는 이미지 특징 정보를 이용하여 상품 데이터베이스에서 동일/유사 레이블 또는 동일/유사 이미지 특징 정보를 갖는 상품을 검색한다(S4000).
쿼리 분석(S2000) 결과, 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면(Case 3), 서버는 검색대상 오브젝트에 부착된 레이블 또는 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상품 데이터베이스에서 검색한다(S4000). 그리고 검색 결과를 클라이언트에 전송한다(S5000).
도면에 도시되지는 않았으나, 서버는 클라이언트로부터 사용자의 식별 정보 및 상기 사용자의 검색 로그를 수신할 수 있다. 이 경우, 검색 결과 전송 단계(S5000)에서 서버는 클라이언트로부터 수신한 식별 정보 및 검색 로그를 이용하여 검색 로그에 포함된 레이블에 대응되는 상품 정보를 사용자에게 제공할 수 있다. 서버는 상기 상품 정보가 클라이언트에서 더 우선적으로 노출되도록 더 높은 중요도를 부여하여 클라이언트에 전송할 수 있다.
도 8은 본 발명에 의한 전자 장치의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 도면이다. 도 8에서 사용자는 전자 장치(100)를 이용하여 영상을 재생하고 있다. 영상에서 여성은 티셔츠(A)를 입고 있는데, 만약 사용자가 이 티셔츠(A)에 대한 상품 정보를 검색하고자 하여 영상을 일시 정지한 경우의 실시 예이다. 일시 정지 이벤트가 발생하고, 2초 간 사용자 입력이 없는 경우, 미리 설정된 알고리즘에 의해 쿼리 생성 이벤트가 발생한다.
전자 장치(100)는 쿼리 생성 이벤트의 발생에 따라, 일시 정지된 영상 프레임을 이용하여 쿼리를 생성한다. 전자 장치(100)는 영상 프레임 자체를 서버에 전송할 수도 있고, 영상 프레임에 포함된 일 영역의 이미지를 서버에 전송할 수도 있다. 또한, 영상에 포함된 일 영상 프레임에서 오브젝트를 추출하여, 추출한 오브젝트 정보를 서버에 전송할 수도 있다.
일시 정지 이벤트가 발생하면 사용자가 영역을 지정할 수 있도록 사각형의 가이드(B)가 나타나도록 설정된 경우를 가정하자. 사용자는 가이드(B)의 크기와 형태를 조정하여 티셔츠(A)를 선택할 수도 있고, 가이드(B)의 위치를 이동시켜 전자 장치(100)가 오브젝트로 인식하지는 못했지만, 사용자가 관심 있는 테이블(C)을 오브젝트로 지정할 수도 있다.
전자 장치(100)가 사용자의 가이드 영역(B) 클릭 또는 터치 동작을 쿼리 생성 이벤트로 인식하는 실시 예에서, 서버(200, 미도시)는 가이드 영역 이미지(B)를 이용하여 검색을 실시한다. 서버(200)는 전자 장치(100)로부터 별도의 레이블이 부착되지 않은 이미지를 포함하는 쿼리를 수신한 바, 이미지에 특정 오브젝트로 기 학습된 이미지 특징 정보가 포함되어 있는지 여부를 탐색한다. 만약 이미지에 노이즈로 학습된 이미지 특징 정보가 있다면, 서버(200)는 해당 이미지에 대한 검색을 중단할 것이나, 이미지에는 티셔츠(A)가 포함되어 있으므로, 티셔츠로 학습된 이미지 특징 정보도 포함한다.
서버(200)는 티셔츠로 학습된 이미지 특징 정보(티셔츠에 대응되는 디스크립터)를 발견하면, 해당 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 설정한다. 이렇게 설정된 검색대상 오브젝트는 티셔츠(A)와 가장 근접한 형태를 가지며, 처음에 수신한 이미지(B)에서 상품과 관계없는 영역(배경)이 제외된 일 영역일 수 있다.
다음으로, 서버(200)는 검색대상 오브젝트에 여자 의류(대분류), 상의(중분류), 파란색, 티셔츠(소분류)와 같은 레이블을 부착할 수 있다. 그리고 상품 데이터베이스에서 여자 상의 중 파란색 티셔츠에 해당하는 상품을 검색할 수 있으며, 추출한 이미지 특징 정보를 이용하여 상품 데이터베이스에서 유사한 이미지 특징 정보를 포함하는 상품을 검색(이미지 검색)할 수도 있다. 이렇게 검색한 결과, 동일 및/또는 유사 상품(20A, 10A, 10B, 10C, 10D)가 검색되면, 서버(200)는 검색된 동일 및/또는 유사 상품 정보를 전자 장치(100)로 전송한다.
전자 장치(100)는 서버(200)로부터 검색 결과를 수신하여 이를 화면에 표시하는데, 이를 화면에 표시할 때, 화면의 일 영역(10)에 상품 정보를 표시할 수도 있고, 영상 프레임에서 사용자가 지정했던 영역(B) 또는 오브젝트(A) 근처(20)에 상품 정보를 표시할 수도 있다. 상품 정보는 일 영역(10)에 유사도 또는 사용자의 검색 로그에 따른 관심도, 가격, 인기도 등에 따라 내림차순 또는 오름차순으로 표시될 수 있다. 예를 들어 가장 유사한 순으로 유사도가 가장 높은 10A를 맨 위에 표시하고 다음으로 유사도가 높은 10B, 10C 순으로 표시할 수 있다.
또한 전자 장치는 검색 결과로 상품명(20B), 상품의 제조사, 가격(20C), 인기도, 카테고리(레이블), 구입처 정보(웹사이트, 연락처, 위치 정보), 관련 리뷰 등을 상품 이미지(20A)와 함께 표시할 수 있으며, 해당 정보를 클릭 또는 터치하면 다른 응용 프로그램을 실행하도록 설정할 수도 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (19)

  1. 전자 장치가 영상 검색 정보를 제공하는 방법에 있어서,
    영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면 상기 영상을 이용하여 쿼리를 생성하는 단계;
    상기 쿼리를 서버로 전송하는 단계;
    상기 서버로부터 상기 쿼리에 대응되는 검색 결과를 수신하여 화면에 표시하는 단계를 포함하며,
    상기 검색 결과는 상기 영상에 포함된 하나 이상의 오브젝트에 대한 상품 정보 또는 광고 정보를 포함하는 검색 결과인 영상 검색 정보 제공 방법.
  2. 제1항에 있어서,
    상기 쿼리는 화면에 표시된 영상 프레임, 상기 영상 프레임에 포함된 일 영역의 이미지, 상기 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 상기 영상의 일 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함하는 영상 검색 정보 제공 방법.
  3. 제2항에 있어서,
    상기 오브젝트 정보는 상기 영상에서 추출한 이미지 특징 정보 또는 특정 오브젝트에 대응되는 것으로 학습된 레이블 정보 중 적어도 하나를 포함하는 영상 검색 정보 제공 방법.
  4. 제1항에 있어서,
    상기 쿼리 생성 단계는
    상기 영상 재생 중 일시 정지 이벤트가 발생하고 기 설정된 시간이 경과하거나, 검색 이벤트가 발생하면, 상기 쿼리 생성 이벤트가 발생한 것으로 판단하는 단계를 포함하는
    영상 검색 정보 제공 방법.
  5. 제1항에 있어서,
    상기 쿼리 생성 단계는
    상기 영상 재생 중 검색 이벤트가 발생하면 상기 쿼리 생성 이벤트가 발생한 것으로 판단하는 단계를 포함하는 영상 검색 정보 제공 방법.
  6. 제1항에 있어서,
    상기 쿼리 생성 단계는
    상기 영상 재생 중 음성 제어 모드 활성화 명령이 수신되면 상기 영상을 캡처하는 단계;
    상기 음성 제어 모드에서 검색 이벤트가 발생하면, 상기 캡처된 영상을 이용하여 쿼리를 생성하는 단계를 포함하는 영상 검색 정보 제공 방법.
  7. 제1항에 있어서,
    상기 쿼리 생성 단계는
    상기 영상 재생 중 일시 정지 이벤트가 발생하면, 상기 화면에 상기 쿼리의 생성까지 남은 시간을 표시하는 단계;
    상기 남은 시간이 0에 도달할 때까지 사용자 입력이 없으면, 상기 쿼리 생성 이벤트가 발생한 것으로 판단하는 단계를 포함하는
    영상 검색 정보 제공 방법.
  8. 제1항에 있어서,
    상기 쿼리 생성 단계는
    일시 정지된 화면에 표시된 영상 프레임으로부터 상기 하나 이상의 오브젝트를 추출하는 단계;
    상기 하나 이상의 오브젝트를 포함하는 쿼리를 생성하는 단계를 포함하는 영상 검색 정보 제공 방법.
  9. 제8항에 있어서,
    상기 오브젝트 추출단계는
    기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하는 단계를 포함하고,
    상기 검색대상 오브젝트에 상기 이미지 특징 정보에 대응되는 레이블을 부착하는 단계를 포함하는 영상 검색 정보 제공 방법.
  10. 제8항에 있어서,
    상기 오브젝트 추출 단계는
    상기 영상 프레임으로부터 이미지 특징 정보를 추출하는 단계;
    상기 추출된 이미지 특징 정보를 이용하여 기 설정된 기준에 따라 상기 영상 프레임 내 일 영역을 구획하는 단계;
    상기 구획된 일 영역을 검색대상 오브젝트로 설정하는 단계를 포함하는 영상 검색 정보 제공 방법.
  11. 제1항에 있어서,
    상기 검색 결과를 화면에 표시하는 단계는,
    사용자의 검색 로그를 이용하여 사용자가 기 검색한 오브젝트와 동일 또는 유사한 레이블을 포함하는 오브젝트에 대한 검색 결과를 우선적으로 화면에 표시하는 단계를 더 포함하는 영상 검색 정보 제공 방법.
  12. 영상 검색 정보를 제공하는 전자 장치에 있어서,
    영상 재생 중 기 설정한 쿼리 생성 이벤트가 발생하면 상기 영상을 이용하여 쿼리를 생성하는 제어부;
    상기 쿼리를 서버로 전송하고, 상기 서버로부터 상기 쿼리에 대응되는 검색 결과를 수신하는 통신부;
    상기 수신한 검색 결과를 화면에 표시하는 표시부를 포함하며,
    상기 검색 결과는 상기 영상에 포함된 임의의 오브젝트에 대한 검색 결과인 영상 검색 정보 제공 장치.
  13. 제12항에 있어서,
    상기 제어부는
    상기 영상 재생 중 음성 제어 모드 활성화 명령이 수신되면 상기 영상을 캡처하고,상기 음성 제어 모드에서 검색 이벤트가 발생하면 상기 캡처된 영상을 이용하여 쿼리를 생성하는 영상 검색 정보 제공 장치.
  14. 서버가 클라이언트에 영상 검색 정보를 제공하는 방법에 있어서,
    임의의 상품에 대하여 상기 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성하는 단계;
    상기 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하는 단계;
    상기 쿼리를 분석하는 단계;
    상기 쿼리 분석 결과 상기 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면,
    상기 검색대상 오브젝트에 부착된 레이블 또는 상기 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상기 상품 데이터베이스에서 검색하는 단계;
    상기 검색 결과를 상기 클라이언트에 전송하는 단계를 포함하는 영상 검색 정보 제공 방법.
  15. 제14항에 있어서,
    상기 쿼리 분석 결과 상기 쿼리에 영상 프레임, 영상 프레임에 포함된 일 영역의 이미지, 또는 레이블이 부착되지 않은 제 1 오브젝트 중 어느 하나가 포함되어 있으면,
    상기 영상 프레임, 상기 이미지 또는 상기 제 1 오브젝트 중 어느 하나에서 특정 오브젝트로 기 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하고, 상기 이미지 특징 정보에 대응되는 레이블을 상기 검색대상 오브젝트에 부착하는 단계를 더 포함하는 영상 검색 정보 제공 방법.
  16. 제14항에 있어서,
    상기 클라이언트로부터 사용자의 식별 정보 및 상기 사용자의 검색 로그를 수신하는 단계;
    상기 검색 결과 전송 단계는,
    상기 식별 정보 및 상기 검색 로그를 이용하여 상기 검색 로그에 포함된 레이블에 대응되는 상품 정보를 상기 사용자에게 제공하는 단계를 포함하는 영상 검색 정보 제공 방법.
  17. 제14항에 있어서,
    상기 쿼리 분석 결과, 상기 쿼리에 노이즈로 학습된 이미지 특징 정보가 포함되어 있으면 상기 쿼리를 검색 대상에서 제외하는 단계를 더 포함하는 영상 검색 정보 제공 방법.
  18. 클라이언트에 영상 검색 정보를 제공하는 서버에 있어서,
    임의의 상품에 대하여 상기 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성 및 저장하는 데이터베이스부;
    상기 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하고, 상기 쿼리에 대한 검색 결과를 상기 클라이언트에 전송하는 통신부;
    상기 수신한 쿼리를 분석하고, 상기 쿼리에 포함된 오브젝트의 레이블 또는 상기 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상기 데이터베이스부에서 검색하여 상기 검색 결과로 제공하는 제어부를 포함하는 영상 검색 정보 제공 서버.
  19. 제 1 항 내지 제 11 항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 영상 검색 정보 제공 프로그램.
PCT/KR2017/009250 2016-08-29 2017-08-24 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 WO2018043990A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019511857A JP2019532403A (ja) 2016-08-29 2017-08-24 映像検索情報提供方法、装置およびコンピュータプログラム
US16/329,762 US11049163B2 (en) 2016-08-29 2017-08-24 Method, device and computer program for providing image search information
US17/359,034 US20210326375A1 (en) 2016-08-29 2021-06-25 Method, device, and computer program for providing image search information
US17/358,993 US20210326956A1 (en) 2016-08-29 2021-06-25 Method, device, and computer program for providing image search information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0109941 2016-08-29
KR1020160109941A KR20180024200A (ko) 2016-08-29 2016-08-29 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US16/329,762 A-371-Of-International US11049163B2 (en) 2016-08-29 2017-08-24 Method, device and computer program for providing image search information
US17/359,034 Continuation-In-Part US20210326375A1 (en) 2016-08-29 2021-06-25 Method, device, and computer program for providing image search information
US17/358,993 Division US20210326956A1 (en) 2016-08-29 2021-06-25 Method, device, and computer program for providing image search information

Publications (1)

Publication Number Publication Date
WO2018043990A1 true WO2018043990A1 (ko) 2018-03-08

Family

ID=61301383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009250 WO2018043990A1 (ko) 2016-08-29 2017-08-24 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Country Status (4)

Country Link
US (2) US11049163B2 (ko)
JP (2) JP2019532403A (ko)
KR (1) KR20180024200A (ko)
WO (1) WO2018043990A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344291A (zh) * 2018-09-03 2019-02-15 腾讯科技（武汉）有限公司 一种视频生成方法及装置
EP3557441A1 (en) * 2018-04-20 2019-10-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
WO2020112725A1 (en) * 2018-11-30 2020-06-04 Rovi Guides, Inc. Voice query refinement to embed context in a voice query

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230232B (zh) * 2016-12-21 2021-02-09 腾讯科技（深圳）有限公司 一种图像处理的方法以及相关装置
KR20200013164A (ko) * 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치, 및 전자 장치의 제어 방법
KR102638377B1 (ko) * 2018-08-14 2024-02-20 주식회사 케이티 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
US10887633B1 (en) * 2020-02-19 2021-01-05 Evercast, LLC Real time remote video collaboration
KR102476736B1 (ko) * 2021-01-21 2022-12-14 주식회사 포크홀딩스 크리에이터와 브랜드를 대상으로 분석 정보를 제공하는 동영상을 이용한 상품 정보 제공 시스템
US20230036394A1 (en) * 2021-07-14 2023-02-02 Rakuten Group, Inc. Reducing sample selection bias in a machine learning-based recommender system
CN114245206B (zh) * 2022-02-23 2022-07-15 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置
US12086857B2 (en) * 2022-12-19 2024-09-10 Google Llc Search with machine-learned model-generated queries

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443271B1 (ko) * 2001-01-10 2004-08-04 엘지전자 주식회사 디브이디를 이용한 웹 서핑장치 및 방법
KR20120128511A (ko) * 2011-05-17 2012-11-27 박인준 노출 상품 정보 제공 시스템 및 방법
KR101289085B1 (ko) * 2012-12-12 2013-07-30 오드컨셉 주식회사 객체 기반 영상 검색시스템 및 검색방법
WO2014119959A1 (ko) * 2013-01-31 2014-08-07 Nam Hui Ok 페이지 검색 시스템 및 그 제공방법
KR20160017817A (ko) * 2014-08-06 2016-02-17 오드컨셉 주식회사 얼굴의 시각적 정보를 이용한 관계망 연결 시스템 및 연결방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2756073B2 (ja) * 1993-04-06 1998-05-25 株式会社富士通ソーシアルサイエンスラボラトリ データ検索方法
JP2009135573A (ja) * 2007-11-28 2009-06-18 Toshiba Corp 情報提供システム、情報提供サーバおよび情報提供方法
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
JP5322550B2 (ja) * 2008-09-18 2013-10-23 三菱電機株式会社 番組推奨装置
US8560517B2 (en) * 2011-07-05 2013-10-15 Microsoft Corporation Object retrieval using visual query context
JP5593352B2 (ja) * 2012-07-10 2014-09-24 ヤフー株式会社 情報提供装置、情報提供方法および情報提供プログラム
US20140255003A1 (en) * 2013-03-05 2014-09-11 Google Inc. Surfacing information about items mentioned or presented in a film in association with viewing the film
KR20150050016A (ko) * 2013-10-31 2015-05-08 삼성전자주식회사 전자 장치 및 전자 장치에서의 검색 방법
WO2015104083A1 (en) * 2014-01-07 2015-07-16 Alcatel Lucent Providing information about an object in a digital video sequence
KR20170011359A (ko) * 2015-07-22 2017-02-02 삼성전자주식회사 방송 콘텐트와 관련된 정보를 제공하는 전자 장치 및 그 방법
WO2018117619A1 (en) * 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443271B1 (ko) * 2001-01-10 2004-08-04 엘지전자 주식회사 디브이디를 이용한 웹 서핑장치 및 방법
KR20120128511A (ko) * 2011-05-17 2012-11-27 박인준 노출 상품 정보 제공 시스템 및 방법
KR101289085B1 (ko) * 2012-12-12 2013-07-30 오드컨셉 주식회사 객체 기반 영상 검색시스템 및 검색방법
WO2014119959A1 (ko) * 2013-01-31 2014-08-07 Nam Hui Ok 페이지 검색 시스템 및 그 제공방법
KR20160017817A (ko) * 2014-08-06 2016-02-17 오드컨셉 주식회사 얼굴의 시각적 정보를 이용한 관계망 연결 시스템 및 연결방법

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3557441A1 (en) * 2018-04-20 2019-10-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
CN110390034A (zh) * 2018-04-20 2019-10-29 三星电子株式会社 电子设备和用于控制该电子设备的方法
KR20190122377A (ko) * 2018-04-20 2019-10-30 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
EP4050497A1 (en) * 2018-04-20 2022-08-31 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
KR102551550B1 (ko) * 2018-04-20 2023-07-06 삼성전자주식회사 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법
US11954150B2 (en) 2018-04-20 2024-04-09 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof
CN109344291A (zh) * 2018-09-03 2019-02-15 腾讯科技（武汉）有限公司 一种视频生成方法及装置
CN109344291B (zh) * 2018-09-03 2020-08-25 腾讯科技（武汉）有限公司 一种视频生成方法及装置
WO2020112725A1 (en) * 2018-11-30 2020-06-04 Rovi Guides, Inc. Voice query refinement to embed context in a voice query
US11468071B2 (en) 2018-11-30 2022-10-11 Rovi Guides, Inc. Voice query refinement to embed context in a voice query
US11663222B2 (en) 2018-11-30 2023-05-30 Rovi Guides, Inc. Voice query refinement to embed context in a voice query
US12093267B2 (en) 2018-11-30 2024-09-17 Rovi Guides, Inc. Voice query refinement to embed context in a voice query

Also Published As

Publication number Publication date
JP2021108162A (ja) 2021-07-29
US20210326956A1 (en) 2021-10-21
KR20180024200A (ko) 2018-03-08
JP2019532403A (ja) 2019-11-07
US11049163B2 (en) 2021-06-29
US20190244270A1 (en) 2019-08-08
JP6950912B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
WO2018043990A1 (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
WO2016013914A1 (ko) 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102024818B1 (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US12061642B2 (en) Methods to present search keywords for image-based queries
WO2017114388A1 (zh) 一种视频搜索方法及装置
US10699315B2 (en) Method and computer program for displaying search information
US20190163437A1 (en) Information processing device, information processing method, and program
EP3188034A1 (en) Display terminal-based data processing method
US10255243B2 (en) Data processing method and data processing system
US10650814B2 (en) Interactive question-answering apparatus and method thereof
JP4809201B2 (ja) 情報提供装置、情報提供方法、及びコンピュータプログラム
KR20170013369A (ko) 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
WO2017111287A1 (ko) 커머셜 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
EP3413219A1 (en) Search method and device
KR102122918B1 (ko) 대화형 질의응답 장치 및 그 방법
WO2015107424A1 (en) System and method for product placement
TWI695275B (zh) 搜索方法、電子裝置及電腦可讀記錄媒體
US11790041B2 (en) Method and system for reducing false positives in object detection neural networks caused by novel objects
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP5013840B2 (ja) 情報提供装置、情報提供方法、及びコンピュータプログラム
CN111428060B (zh) 一种媒体内容推荐的方法以及相关装置
KR101701952B1 (ko) 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
US20210326375A1 (en) Method, device, and computer program for providing image search information
JP5063098B2 (ja) 情報提供装置、情報提供方法、及びコンピュータプログラム
KR20200023094A (ko) 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846915

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019511857

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846915

Country of ref document: EP

Kind code of ref document: A1