WO2017078383A1 - 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법 - Google Patents

다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법 Download PDF

Info

Publication number
WO2017078383A1
WO2017078383A1 PCT/KR2016/012493 KR2016012493W WO2017078383A1 WO 2017078383 A1 WO2017078383 A1 WO 2017078383A1 KR 2016012493 W KR2016012493 W KR 2016012493W WO 2017078383 A1 WO2017078383 A1 WO 2017078383A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
tracking
coordinates
user terminal
module
Prior art date
Application number
PCT/KR2016/012493
Other languages
English (en)
French (fr)
Inventor
진성민
Original Assignee
주식회사 핑거플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핑거플러스 filed Critical 주식회사 핑거플러스
Priority to US15/772,093 priority Critical patent/US10531162B2/en
Publication of WO2017078383A1 publication Critical patent/WO2017078383A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Definitions

  • the present invention relates to tracking product coordinates in video content, and more particularly, to an apparatus and method for real-time integrated data mapping of product coordinate tracking data in video content of multiple users.
  • PPL product placement
  • PPL advertising is an advertisement method that exposes a product to video content such as a movie or drama, and in fact, often leads to an increase in product sales.
  • PPL advertising products are often exposed naturally in video content, so it may not be possible to distinguish whether or not they are PPL advertising products.
  • An object of the present invention is to provide a real-time integrated data mapping device for product coordinate tracking data in the multi-user image content.
  • Another object of the present invention is to provide a real-time integrated data mapping method for product coordinate tracking data in multi-user video content.
  • the real-time integrated data mapping apparatus for the product coordinate tracking data in the video content of the multi-user according to the object of the present invention, a web interface providing module for providing a web interface for tracking the goods in the video content to the user terminal ;
  • a product coordinate tracking request receiving module for receiving a product coordinate tracking request from the user terminal for a product designated by the user among products appearing in the image content played and reproduced on the web interface provided by the web interface providing module;
  • An automatic product coordinate tracking module configured to perform automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module to provide automatic tracking coordinates to the user terminal in real time; Receiving correction coordinates corrected by a user's touch input with respect to the automatic tracking coordinates from the user terminal on a web interface of the user terminal, and generating final product coordinates by applying the received correction coordinates to the automatic tracking coordinates; It may be configured to include a final product coordinate generation module.
  • it may be configured to further include a product coordinate storage module for storing the final product coordinates in association with the image content and the product.
  • a product information storage module for receiving and storing product information on the product from the user terminal.
  • the product coordinates to retrieve the final product coordinates for the product appearing in the image content to be reproduced in the product coordinate storage module in real time to the other user terminal It may be configured to further include a providing module.
  • the requested product information is retrieved from the product information storage module. It may be configured to further include a product information providing module for providing in real time to another user terminal.
  • the automatic product coordinate tracking module detects and designates an object model through an object detection algorithm on the product touched by the user on the user terminal 10, extracts the specified feature points, and traces the feature points. And track tracking features using the pyramid LK algorithm, which is a sparst optical flow.
  • the automatic product coordinate tracking module may be configured to correct the tracking by combining a histogram-based CamShift algorithm when the shape of the object model changes.
  • the product coordinate automatic tracking module estimates the motion of the object model by applying a lansak algorithm based on the tracking feature points, and updates the object model through a similarity transformation algorithm through the estimation. It can be configured to.
  • the automatic product coordinate tracking module may be configured to perform object detection by estimating the movement of the object model by applying a Kalman filter when the updated object model is partially hidden when the object model is completely reappeared. .
  • a method for real-time integrated data mapping of product coordinate tracking data in video content of multiple users provides a web interface for tracking product in video content to a user terminal Doing;
  • the product coordinate tracking request receiving module requests product coordinate tracking from the user terminal for a product designated by the user among the products appearing in the reproduced image content.
  • An automatic product coordinate tracking module performing automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module to provide automatic tracking coordinates to the user terminal in real time;
  • a final product coordinate generation module receiving correction coordinates corrected by a user's touch input with respect to the automatic tracking coordinates from the user terminal on a web interface of the user terminal;
  • the final product coordinate generation module may be configured to apply the received correction coordinates to the automatic tracking coordinates to generate final product coordinates.
  • the product coordinate storage module may be configured to further include storing the final product coordinates in association with the image content and the product.
  • the product information storage module may further include receiving and storing product information about the product from the user terminal.
  • the product coordinate providing module searches for the final product coordinates for the product appearing in the played video content in the product coordinate storage module to the other user terminal. It may be configured to further include providing in real time.
  • the product information providing module uses the requested product information as the product information. Searching in the storage module may be configured to further include providing in real time to the other user terminal.
  • the step of automatically tracking the product coordinate tracking requested by the product coordinate tracking request receiving module by the automatic product coordinate tracking module to provide automatic tracking coordinates to the user terminal in real time, on the user terminal 10 The object model is detected and specified by the object detection algorithm for the product touched by the user, and the specified feature points are extracted and registered as the tracking feature points. Can be configured to track tracking features.
  • the automatic product coordinate tracking module performing automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module to provide automatic tracking coordinates to the user terminal in real time may include changing the shape of the object model.
  • the histogram-based CamShift algorithm can be combined to correct tracking.
  • the automatic product coordinate tracking module performing automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module to provide automatic tracking coordinates to the user terminal in real time, based on the tracking feature points. Apply an algorithm to estimate the motion of the object model and update the object model through a similarity transformation algorithm through the estimation.
  • the automatic tracking of the product coordinates module may automatically perform tracking of the product coordinates requested by the product coordinates tracking request receiving module to provide automatic tracking coordinates to the user terminal in real time.
  • the object model When the object model is completely lost, it may be configured to apply a Kalman filter to estimate the movement of the object model to perform object detection.
  • the product coordinate tracking data in the multi-user video content when the user sees the video content and his advertisement product appears, request the product coordinate tracking in real time and the corresponding product information. It is configured to upload in real time, even if you do not place an order directly advertising has the effect that you can advertise through the video content and sell the product.
  • the advertiser can directly upload the product information and modify the product coordinate tracking information, thereby providing and using the advertisement product more easily and conveniently. It can be effective.
  • FIG. 1 is a schematic diagram of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • 3 is a user interface screen of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an operation of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method for mapping real-time integrated data to product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • 6 to 9 are detailed flowcharts of a real-time integrated data mapping method for product coordinate tracking data in video content of multiple users according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a schematic diagram of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • a real-time integrated data mapping apparatus (hereinafter, referred to as a "real-time integrated data mapping apparatus") 100 for product coordinate tracking data in a multi-user image content according to an embodiment of the present invention is a conventional method. Otherwise, the user uploads product information about his or her product or manufactured product while viewing the video content to increase the convenience of product advertisement.
  • the user may request automatic coordinate tracking for a specific product while watching a video on the web interface provided by the present invention, and the real-time integrated data mapping apparatus 100 performs automatic coordinate tracking on the corresponding product to watch the video content. It is configured to provide product coordinates to other users. The user also uploads the product information on the product in real time, and the real-time integrated data mapping apparatus 100 is configured to provide the product information to other users.
  • users can directly designate indirect products on the video contents while watching the product information, and upload the product information so that the product coordinates and product information can be easily and conveniently collected at any time.
  • FIG. 2 is a block diagram of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • the web interface providing module 110 may be configured to provide a web interface for tracking a product in the image content to the user terminal 10.
  • FIG. 3 illustrates a web interface in accordance with the present invention.
  • video content provided by an OTT service provider or the like may be played on a web interface, and product coordinates may be automatically tracked and displayed for products appearing on the video content. And when the product is selected by the user can be configured to look up the product information for the product on the right side.
  • Such a web interface may be configured to interoperate with the real-time integrated data mapping apparatus 100.
  • the image content is played on the web interface provided by the web interface providing module 110, and the product coordinate tracking request receiving module 120 receives the product coordinate tracking request from the user terminal 10 for the product specified by the user among the products appearing in the reproduced image content. It may be configured to be requested to track product coordinates.
  • the user may designate a product through a touch input on the web interface of the user terminal 10.
  • the product coordinate automatic tracking module 130 may be configured to perform automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module 120 to provide the automatic tracking coordinates to the user terminal 10 in real time.
  • the user terminal 10 receives the automatic tracking coordinates and displays them in real time on a web interface. If there is an error in the automatic tracking, the user inputs correction coordinates for modifying the coordinates through a direct touch input and the like, and generates the final product coordinates. And to transmit in real time to 140.
  • the final product coordinate generation module 140 may be configured to receive correction coordinates corrected by the user's touch input with respect to the automatic tracking coordinates on the web interface of the user terminal 10 from the user terminal 10.
  • the final product coordinate generation module 140 may be configured to generate the final product coordinates by applying the correction coordinates received from the user terminal 10 before the automatic tracking coordinates.
  • the product coordinate storage module 150 may be configured to store the final product coordinates in association with the image content and the product. These final product coordinates can be reused at any time for the video content.
  • the product information storage module 160 may be configured to receive and store product information about a product from the user terminal 10.
  • product information may be information such as a merchandise seller or a merchandise sales site, a price, a quantity, a kind, and the like.
  • the product coordinate providing module 170 searches the product coordinate storage module 150 for the final product coordinates for the product appearing in the played video content. It may be configured to provide in real time to the other user terminal (20). The other user terminal 20 may be configured to receive the final product coordinates and display them in combination on the video content.
  • the product information providing module 180 is provided with the final product coordinates from the product coordinate providing module 170 and is requested by the other user terminal 20 for product information corresponding to the final product coordinates
  • the requested product The information may be retrieved by the product information storage module 160 and provided to the other user terminal 20 in real time.
  • the other user terminal 20 may be configured to search for the product information on the web interface and connect to the purchase site to purchase.
  • FIG. 4 is a block diagram illustrating an operation of a real-time integrated data mapping apparatus for product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • FIG. 4A illustrates a configuration for automatically recognizing a screen change scene.
  • the image analysis is performed to extract the point at which the screen is switched.
  • the screen transition scene area is divided according to the scene change scene points.
  • 4B illustrates an automatic tracking function of product coordinates. If a point is set in a still image, the product coordinates are automatically tracked according to the change amount of the corresponding image in the video section of the scene.
  • drag and drop coordinate correction is illustrated. It automatically tracks product coordinates and then fine-tunes the coordinates in a drag-and-drop fashion to calibrate them in detail.
  • FIG. 5 is a flowchart illustrating a method for mapping real-time integrated data to product coordinate tracking data in multi-user video content according to an embodiment of the present invention.
  • a web interface providing module 110 first provides a web interface for tracking a product in an image content to a user terminal 10 (S101).
  • the product coordinate tracking request receiving module 120 is a user terminal for a product specified by the user among the products appearing in the played video content
  • the product coordinate tracking is requested from (10) (S102).
  • the product coordinate automatic tracking module 130 performs automatic tracking on the product coordinate tracking requested by the product coordinate tracking request receiving module 120 to provide the automatic tracking coordinates to the user terminal 10 in real time (S103). .
  • the final product coordinate generation module 140 receives the corrected coordinates corrected by the user's touch input for the automatic tracking coordinates on the web interface of the user terminal 10 from the user terminal 10 (S104).
  • the final product coordinate generation module 140 generates the final product coordinates by applying the correction coordinates received to the automatic tracking coordinates (S105).
  • the trademark coordinate storage module 150 stores the final product coordinates in association with the image content and the product (S106).
  • the product information storage module 160 receives and stores the product information about the product from the user terminal 10 (S107).
  • the product coordinate storage module 150 displays the final product coordinates for the product appearing in the reproduced image content Search and provide in real time to the other user terminal 20 (S108).
  • the product information providing module 180 requests The received product information is retrieved from the product information storage module 160 and provided to the other user terminal 20 in real time (S109).
  • 6 to 9 are detailed flowcharts of a real-time integrated data mapping method for product coordinate tracking data in video content of multiple users according to an embodiment of the present invention.
  • a user may register a product at any time while viewing video content, and select a scene to register, determine whether there is product information in the scene, and perform each of them according to necessity of automatic coordinate tracking or correction.
  • the user specifies the product by specifying points for the product.
  • the object model is detected and specified through an object detection algorithm centering on a user's designated point for the product.
  • the feature points of the object model area are extracted and registered.
  • Tracking feature points are tracked using a pyramid LK algorithm, which is a sparse optical flow.
  • the rare optical flow may not have good performance when the shape changes, such as a human, to correct the result by combining a histogram-based CamShift algorithm.
  • the motion of the object is estimated using a lansac algorithm based on the feature points.
  • the motion of the object may include rotation, translation, size change, and the like.
  • the object model is then updated through a similarity transformation algorithm based on the motion-estimated data.
  • the feature points of the updated object model are extracted and registered as tracking feature points.
  • the Kalman filter is applied using the four vertices of the extracted window, and the obtained data is used as the correction information of the model obtained through the similarity transformation (similarity transformation) every frame.
  • Kalman filter data can be used to estimate the movement of the object model. At this time, the surrounding area is inspected based on the estimated data, and when the object reappears and the tracking feature points are detected, the above procedure is brightened again to continue tracking the feature points.
  • the object disappears completely from the screen, it is detected through a trained detection algorithm, and if the object reappears within a certain time, the detection is successful. Otherwise, the model is updated by a similarity transformation algorithm to perform tracking. do. If the object is not detected for a certain time, tracking ends.
  • FIG. 8 illustrates a case where another user requests the product information while viewing the video content and stops playing the video.
  • the other user terminal 20 transmits the corresponding image information and the current timeline information to the real time integrated data mapping apparatus 100.
  • the real-time integrated data mapping apparatus 100 transmits the product coordinates and the product information to the other user terminal 20, and the other user terminal 20 displays this.
  • each user's data consists of frames, coordinates, product codes, and other information. These are uploaded to the real-time integrated data mapping apparatus 100 and each gag is merged and stored with coordinates, product information, and other information, and a frame at a specific time point is configured to be easily searched by an index. And in the service state is stored in the memory DB in order to quickly provide data to the other user terminal 20. Thereafter, this information is provided whenever there is a request from another user terminal 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법이 개시된다. 사용자 단말로 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 제공하는 웹 인터페이스 제공 모듈; 상기 웹 인터페이스 제공 모듈에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되고 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 상기 사용자 단말로부터 상품 좌표 추적을 요청받는 상품 좌표 추적 요청 수신 모듈; 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 상품 좌표 자동 추적 모듈; 상기 사용자 단말의 웹 인터페이스상에서 상기 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 상기 사용자 단말로부터 수신하고, 상기 자동 추적 좌표에 상기 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하는 최종 상품 좌표 생성 모듈을 구성한다.

Description

다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법
본 발명은 영상 콘텐츠 내에서 상품의 좌표를 추적하는 것에 관한 것으로서, 좀 더 구체적으로는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법에 관한 것이다.
최근에는 드라마(drama)나 영화 등을 통해 상품을 광고하는 PPL(product placement) 광고 방식이 하나의 주요 광고 방식으로 이용되고 있다.
PPL 광고는 영화나 드라마 등의 동영상 컨텐츠에 상품을 노출시키는 광고 방식으로서, 실제로 상품 매출의 증대로 이어지는 경우가 많이 있다.
그러나, PPL 광고 상품은 동영상 컨텐츠에서 자연스럽게 노출되는 경우가 많아서 실제로 PPL 광고 상품인지 아닌지 분별할 수 없는 경우가 있다. 많은 광고료를 지불하는 광고 업자의 입장에서는 PPL 광고 상품이 광고 상품임을 시청자에게 직간접적으로 인식시켜 광고 효과를 높일 필요가 있다.
그런데, 동영상 컨텐츠에서 PPL 광고 상품을 표식한다 하더라도, 매 프레임(frame)마다 그 위치가 변화하는 PPL 광고 상품에 대한 표식은 쉽지 않다는 문제점이 있다. 매 프레임(frame)마다 움직이는 PPL 광고 상품을 프레임별로 표식하는 것은 엄청난 수작업이 요구된다는 문제점이 있다.
한편, 기존에는 이러한 PPL 광고 상품 정보를 사업자측에서 하나하나 수집하여 업로드하도록 구성되어 있으므로, PPL 광고 상품 정보의 수집이나 데이터 처리에 있어서 상당한 어려움이 작업량이 요구되는 문제점이 있다.
본 발명의 목적은 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치를 제공하는 데 있다.
본 발명의 다른 목적은 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치는, 사용자 단말로 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 제공하는 웹 인터페이스 제공 모듈; 상기 웹 인터페이스 제공 모듈에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되고 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 상기 사용자 단말로부터 상품 좌표 추적을 요청받는 상품 좌표 추적 요청 수신 모듈; 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 상품 좌표 자동 추적 모듈; 상기 사용자 단말의 웹 인터페이스상에서 상기 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 상기 사용자 단말로부터 수신하고, 상기 자동 추적 좌표에 상기 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하는 최종 상품 좌표 생성 모듈을 포함하도록 구성될 수 있다.
이때, 상기 최종 상품 좌표를 상기 영상 콘텐츠 및 상기 상품과 연계하여 저장하는 상품 좌표 저장 모듈을 더 포함하도록 구성될 수 있다.
그리고 상기 사용자 단말로부터 상기 상품에 대한 상품 정보를 수신하여 저장하는 상품 정보 저장 모듈을 더 포함하도록 구성될 수 있다.
한편, 다른 사용자 단말의 웹 인터페이스상에서 상기 영상 콘텐츠가 재생되는 경우, 상기 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상기 상품 좌표 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 상품 좌표 제공 모듈을 더 포함하도록 구성될 수 있다.
그리고 상기 상품 좌표 제공 모듈에서 최종 상품 좌표가 제공되고 상기 다른 사용자 단말에 의해 상기 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 요청받은 상품 정보를 상기 상품 정보 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 상품 정보 제공 모듈을 더 포함하도록 구성될 수 있다.
한편, 상기 상품 좌표 자동 추적 모듈은, 상기 사용자 단말(10)상에서 사용자에 의해 터치 입력된 상품에 대해 객체 탐지(object detection) 알고리즘을 통해 객체 모델을 탐지하여 지정하고, 지정된 특징점들을 추출하여 추적 특징점으로 등록하며, 희소 옵티컬 플로우(sparst optical flow)인 피라미드 LK 알고리즘을 이용하여 추적 특징점들을 추적하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈은, 상기 객체 모델의 형태가 변하는 경우 히스토그램 기반인 캠시프트(CamShift) 알고리즘을 조합하여 추적을 보정하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈은, 상기 추적 특징점들을 토대로 란삭(ransan) 알고리즘을 적용하여 상기 객체 모델의 모션(motion)을 추정하고 추정을 통해 유사 변환(similarity transformation) 알고리즘을 통해 상기 객체 모델을 업데이트하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈은, 상기 업데이트된 객체 모델이 일부 가려지는 경우 상기 객체 모델이 다시 완전히 나타났을 때에 칼만 필터를 적용하여 상기 객체 모델의 움직임을 추정하여 객체 탐지를 수행하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법은, 인터페이스 제공 모듈이 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 사용자 단말로 제공하는 단계; 상기 웹 인터페이스 제공 모듈에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되는 경우, 상품 좌표 추적 요청 수신 모듈이 상기 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 상기 사용자 단말로부터 상품 좌표 추적을 요청받는 단계; 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계; 최종 상품 좌표 생성 모듈이 상기 사용자 단말의 웹 인터페이스상에서 상기 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 상기 사용자 단말로부터 수신하는 단계; 상기 최종 상품 좌표 생성 모듈이 상기 자동 추적 좌표에 상기 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하는 단계를 포함하도록 구성될 수 있다.
이때, 상품 좌표 저장 모듈이 상기 최종 상품 좌표를 상기 영상 콘텐츠 및 상기 상품과 연계하여 저장하는 단계를 더 포함하도록 구성될 수 있다.
그리고 상품 정보 저장 모듈이 상기 사용자 단말로부터 상기 상품에 대한 상품 정보를 수신하여 저장하는 단계를 더 포함하도록 구성될 수 있다.
한편, 다른 사용자 단말의 웹 인터페이스상에서 상기 영상 콘텐츠가 재생되는 경우, 상품 좌표 제공 모듈이 상기 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상기 상품 좌표 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 단계를 더 포함하도록 구성될 수 있다.
그리고 상기 상품 좌표 제공 모듈에서 최종 상품 좌표가 제공되고 상기 다른 사용자 단말에 의해 상기 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 상품 정보 제공 모듈이 상기 요청받은 상품 정보를 상기 상품 정보 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 단계를 더 포함하도록 구성될 수 있다.
여기서, 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는, 상기 사용자 단말(10)상에서 사용자에 의해 터치 입력된 상품에 대해 객체 탐지(object detection) 알고리즘을 통해 객체 모델을 탐지하여 지정하고, 지정된 특징점들을 추출하여 추적 특징점으로 등록하며, 희소 옵티컬 플로우(sparst optical flow)인 피라미드 LK 알고리즘을 이용하여 추적 특징점들을 추적하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는, 상기 객체 모델의 형태가 변하는 경우 히스토그램 기반인 캠시프트(CamShift) 알고리즘을 조합하여 추적을 보정하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는, 상기 추적 특징점들을 토대로 란삭(ransan) 알고리즘을 적용하여 상기 객체 모델의 모션(motion)을 추정하고 추정을 통해 유사 변환(similarity transformation) 알고리즘을 통해 상기 객체 모델을 업데이트하도록 구성될 수 있다.
그리고 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는, 상기 업데이트된 객체 모델이 일부 가려지는 경우 상기 객체 모델이 다시 완전히 나타났을 때에 칼만 필터를 적용하여 상기 객체 모델의 움직임을 추정하여 객체 탐지를 수행하도록 구성될 수 있다.
상술한 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법에 의하면, 한편, 사용자가 영상 콘텐츠를 보다가 자신의 광고 상품이 등장하면 상품 좌표 추적을 실시간 요청하고 해당 상품 정보를 실시간 업로드하도록 구성됨으로써, 직접 광고 발주를 하지 않았더라도 언제든지 그 영상 콘텐츠를 통해 광고를 하고 상품을 판매할 수 있도록 하는 효과가 있다.
기존에는 상품에 대한 광고 정보와 상품 정보를 모두 수집하여 업로드하였으나, 본 발명에서는 광고주가 직접 상품 정보를 업로드하고 그 상품 좌표 추적 정보까지 수정할 수 있도록 구성됨으로써, 광고 상품을 보다 쉽고 편리하게 제공하고 이용할 수 있는 효과가 있다.
기존의 경우, 상품을 등록하는 시간과 비용이 매우 많이 소비된다는 단점이 있고, 그로 인해 컨텐츠 확보가 매우 어려운 상황이다.
이러한 문제점을 해결하기 위하여 다양한 인터페이스를 제공하며, 다중 사용자 상품 등록을 지원하여 동시다발적으로(cloud) 처리됨으로서 영상에 있어 상품을 등록하는 시간을 훨씬 감소시킨다. 이는 단기간내에 하나, 또는 다수의 영상에 대하여 상품등록을 빠르게 처리할 수 있음을 의미하며, 많은 컨텐츠들을 단기간에 빠르게 모아 빠르게 시장을 형성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 모식도이다.
도 2는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 유저 인터페이스 화면이다.
도 4는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 동작 구성도이다.
도 5는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법의 흐름도이다.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법의 세부 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 모식도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치(이하, '실시간 통합 데이터 매핑 장치'라 함)(100)는 기존과 달리 사용자들이 직접 영상 콘텐츠 시청중에 자신의 판매 상품 이나 제조 상품에 대해 상품 정보를 업로드하여 상품 광고의 편의성을 증대시키도록 구성된다.
사용자는 본 발명에서 제공되는 웹 인터페이스상에서 동영상을 시청중에 특정 상품에 대해 자동 좌표 추적을 요청할 수 있으며, 실시간 통합 데이터 매핑 장치(100)는 해당 상품에 대해 자동 좌표 추적을 하여 그 영상 콘텐츠를 시청하는 다른 사용자들에게도 상품 좌표를 제공하도록 구성된다. 사용자는 그 상품에 대한 상품 정보도 실시간으로 업로드하며 실시간 통합 데이터 매핑 장치(100)는 그 상품 정보를 다른 사용자들에게 제공하도록 구성된다.
기존과 달리 사용자들이 직접 영상 콘텐츠상의 간접 상품을 시청중에 지정할 수 있고 그 상품 정보도 각자 업로드하여 언제든지 그 상품 좌표와 상품 정보가 쉽고 편리하게 수집될 수 있도록 구성된다.
도 2는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 블록 구성도이다.
도 2를 참조하여 세부적인 구성에 대하여 설명한다.
웹 인터페이스 제공 모듈(110)은 사용자 단말(10)로 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 제공하도록 구성될 수 있다.
도 3은 본 발명에 따른 웹 인터페이스를 예시하고 있다. 도 3에서 보듯이 웹 인터페이스상에서는 OTT 사업자 등이 제공하는 영상 콘텐츠를 재생할 수 있으며, 그 영상 콘텐츠상에 등장하는 상품에 대해서는 상품 좌표가 자동 추적되어 표식될 수 있다. 그리고 그 상품이 사용자에 의해 선택되면 그 상품에 대한 상품 정보를 우측면에서 조회할 수 있도록 구성될 수 있다.
이러한 웹 인터페이스는 실시간 통합 데이터 매핑 장치(100)와 연동하도록 구성될 수 있다.
웹 인터페이스 제공 모듈(110)에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되며, 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해서 상품 좌표 추적 요청 수신 모듈(120)이 사용자 단말(10)로부터 상품 좌표 추적을 요청받도록 구성될 수 있다. 사용자는 사용자 단말(10)의 웹 인터페이스상에서 터치 입력을 통해 상품을 지정할 수 있다.
상품 좌표 자동 추적 모듈(130)은 상품 좌표 추적 요청 수신 모듈(120)에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 사용자 단말(10)로 실시간 제공하도록 구성될 수 있다.
사용자 단말(10)은 자동 추적 좌표를 수신하여 웹 인터페이스상에서 실시간 표시하며, 자동 추적에 오류가 있는 경우에는 사용자가 직접 터치 입력 등을 통해 좌표를 수정하는 보정 좌표를 입력하고 이를 최종 상품 좌표 생성 모듈(140)로 실시간 송신하도록 구성될 수 있다.
최종 상품 좌표 생성 모듈(140)은 사용자 단말(10)의 웹 인터페이스상에서 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 사용자 단말(10)로부터 수신하도록 구성될 수 있다.
최종 상품 좌표 생성 모듈(140)은 자동 추적 좌표에 앞서 사용자 단말(10)로부터 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하도록 구성될 수 있다.
상품 좌표 저장 모듈(150)은 최종 상품 좌표를 영상 콘텐츠 및 상품과 연계하여 저장하도록 구성될 수 있다. 이러한 최종 상품 좌표는 해당 영상 콘텐츠에 대해서는 언제든지 다시 재사용될 수 있다.
상품 정보 저장 모듈(160)은 사용자 단말(10)로부터 상품에 대한 상품 정보를 수신하여 저장하도록 구성될 수 있다. 이러한 상품 정보는 상품 판매처 또는 상품 판매 사이트, 가격, 수량, 종류 등의 정보가 될 수 있다.
상품 좌표 제공 모듈(170)은 다른 사용자 단말(20)의 웹 인터페이스상에서 그 영상 콘텐츠가 재생되는 경우, 그 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상품 좌표 저장 모듈(150)에서 검색하여 다른 사용자 단말(20)로 실시간 제공하도록 구성될 수 있다. 다른 사용자 단말(20)은 최종 상품 좌표를 수신하여 그 영상 콘텐츠상에 결합하여 표시하도록 구성될 수 있다.
상품 정보 제공 모듈(180)은 상품 좌표 제공 모듈(170)에서 최종 상품 좌표가 제공되고 다른 사용자 단말(20)에 의해 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 그 요청받은 상품 정보를 상품 정보 저장 모듈(160)에서 검색하여 다른 사용자 단말(20)로 실시간 제공하도록 구성될 수 있다. 다른 사용자 단말(20)은 웹 인터페이스상에서 그 상품 정보를 조회하고 구매 사이트로 연결하여 구매하도록 구성될 수 있다.
도 4는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치의 동작 구성도이다.
도 4의 (A)는 화면 전환 장면을 자동 인식하는 구성을 나타낸다. 먼저 영상 분석을 수행하여 화면이 전환되는 포인트를 추출한다. 그리고 화면 전환 장면 포인트에 따라 화면 전환 장면 영역을 분리해 내는 구성을 나타낸다.
도 4의 (B)는 상품 좌표의 자동 추적 기능을 나타낸다 정지 화면 내에서 포인트를 설정하면 자동으로 해당 장면의 영상 구간에서는 해당 이미지의 변화량에 따라 상품 좌표를 자동으로 추적한다.
도 4의 (C)에서는 드래그앤드랍(drag and drop) 방식의 좌표 보정을 나타낸다. 상품 좌표를 자동으로 추적한 후 상세하게 좌표를 보정하기 위해 드래그앤드랍 방식으로 좌표의 세밀한 보정을 하도록 구성된다.
도 5는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법의 흐름도이다.
도 5를 참조하면, 먼저 웹 인터페이스 제공 모듈(110)이 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 사용자 단말(10)로 제공한다(S101).
다음으로, 웹 인터페이스 제공 모듈(110)에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되는 경우, 상품 좌표 추적 요청 수신 모듈(120)이 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 사용자 단말(10)로부터 상품 좌표 추적을 요청받는다(S102).
다음으로, 상품 좌표 자동 추적 모듈(130)이 상품 좌표 추적 요청 수신 모듈(120)에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 사용자 단말(10)로 실시간 제공한다(S103).
다음으로, 최종 상품 좌표 생성 모듈(140)이 사용자 단말(10)의 웹 인터페이스상에서 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 사용자 단말(10)로부터 수신한다(S104).
다음으로, 최종 상품 좌표 생성 모듈(140)이 자동 추적 좌표에 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성한다(S105).
다음으로, 상표 좌표 저장 모듈(150)이 최종 상품 좌표를 영상 콘텐츠 및 상품과 연계하여 저장한다(S106).
다음으로, 상품 정보 저장 모듈(160)이 사용자 단말(10)로부터 상품에 대한 상품 정보를 수신하여 저장한다(S107).
다음으로, 다른 사용자 단말(20)의 웹 인터페이스상에서 영상 콘텐츠가 재생되는 경우, 상품 좌표 제공 모듈(170)이 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상품 좌표 저장 모듈(150)에서 검색하여 다른 사용자 단말(20)로 실시간 제공한다(S108).
다음으로, 상품 좌표 제공 모듈(180)에서 최종 상품 좌표가 제공되고 다른 사용자 단말(20)에 의해 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 상품 정보 제공 모듈(180)이 요청받은 상품 정보를 상품 정보 저장 모듈(160)에서 검색하여 다른 사용자 단말(20)로 실시간 제공한다(S109).
도 6 내지 도 9는 본 발명의 일 실시예에 따른 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법의 세부 흐름도이다.
도 6은 다중 사용자의 상품 등록 과정에 대해 도시하고 있다.
도 6에서는 영상 콘텐츠 시청중에 언제든지 사용자가 상품을 등록할 수 있으며, 등록할 장면을 선택하고 그 장면에서 상품 정보가 있는지 판단하며 자동 좌표 추적이나 보정의 필요성에 따라 이를 각각 수행하도록 구성된다. 사용자는 상품에 대해 포인트를 지정하여 상품을 특정한다.
도 7에서는 상품의 자동 좌표 추적에 대해 개시되어 있다.
상품에 대한 사용자의 지정 포인트를 중심으로 객체 탐지(object detection) 알고리즘을 통해 객체 모델이 검출되고 지정된다. 그리고 그 객체 모델 영역의 특징점들을 추출하여 등록한다.
희소 옵티컬 플로우(sparse optical flow)인 피라미드 LK 알고리즘을 사용하여 추적 특징점들을 추적한다. 이때 희소 옵티컬 플로우는 사람과 같이 형태가 변하는 경우, 좋은 성능을 내지 못할 수 있으므로 이를 보완하기 위해 히스토그램 기반 캠시프트(CamShift) 알고리즘을 조합하여 결과물을 보정한다.
한편, 특징점들을 토대로 란삭(ransac) 알고리즘을 사용하여 객체의 모션을 추정한다. 객체의 모션에는 회전, 평행이동, 크기 변화 등이 있을 수 있다.
그리고 모션이 추정된 데이터를 바탕으로 유사 변환(similarity transformation) 알고리즘을 통해 객체모델을 업데이트한다. 그리고 그 업데이트된 객체모델의 특징점을 추출하고 추적 특징점으로 등록한다.
여기서, 추적하고자 하는 객체가 무언가에 의해 일정 부분이상 가려질 경우에는 추적에 오류가 발생할 수 있다. 그리고 후에 객체가 완전히 다시 나타났을 때에도 탐지에 어려움이 생길 수 있다. 이에, 그 추출된 윈도우의 네 꼭지점을 활용하여 칼만 필터를 적용하며, 이로 인해 얻어진 데이터를 매 프레임마다 유사 변환(similarity transformation)을 통해서 얻은 모델의 보정 정보로 활용한다.
추적이 더 이상 어렵다고 판단되면, 칼만 필터 데이터로 객체모델의 움직임을 추정할 수 있따. 이때 추정된 데이터를 토대로 주변 영역을 검사하며, 객체가 다시 나타나 추적 특징점들이 검출되면 다시 위의 수순을 밝아 추적 특징점의 추적을 이어간다.
한편, 물체가 화면에서 완전히 사라졌을 경우, 학습된 검출 알고리즘을 통해 검출하고, 일정시간 안에 객체가 다시 나타나면 검출에 성공하고, 그렇지 않으면 유사 변환(similarity transformation) 알고리즘을 통해 모델을 업데이트하여 추적을 수행한다. 만약, 일정 시간 동안 객체가 검출되지 않으면 추적을 종료한다.
도 8은 다른 사용자가 영상 콘텐츠를 시청하다가 영상의 재생을 멈추구 상품 정보를 요청하는 경우를 나타낸다. 다른 사용자 단말(20)은 해당 영상 정보와 현재 타임 라인 정보를 실시간 통합 데이터 매핑 장치(100)로 전송한다. 그리고 실시간 통합 데이터 매핑 장치(100)는 그 상품 좌표와 상품 정보를 다른 사용자 단말(20)로 전송하고 다른 사용자 단말(20)은 이를 표시한다.
도 9는 추적 데이터에 대해 개시하고 있다.
먼저 각 사용자의 데이터는 프레임, 좌표, 상품 코드 그리고 그 외 기타 정보들로 구성된다. 이들은 실시간 통합 데이터 매핑 장치(100)에 업로드되어 각가그이 좌표, 상품 정보, 기타 정보와 병합되어 저장되며, 특정 시점의 프레임은 인덱스에 의해 쉽게 검색될 수 있도록 구성된다. 그리고 서비스 상태에서는 다른 사용자 단말(20)로 빠르게 데이터를 제공하기 위해 메모리 DB에 저장된다. 그 이후에는 다른 사용자 단말(20)의 요청이 있을 때마다 이러한 정보들이 제공된다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

  1. 사용자 단말로 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 제공하는 웹 인터페이스 제공 모듈;
    상기 웹 인터페이스 제공 모듈에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되고 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 상기 사용자 단말로부터 상품 좌표 추적을 요청받는 상품 좌표 추적 요청 수신 모듈;
    상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 상품 좌표 자동 추적 모듈;
    상기 사용자 단말의 웹 인터페이스상에서 상기 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 상기 사용자 단말로부터 수신하고, 상기 자동 추적 좌표에 상기 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하는 최종 상품 좌표 생성 모듈을 포함하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  2. 제1항에 있어서,
    상기 최종 상품 좌표를 상기 영상 콘텐츠 및 상기 상품과 연계하여 저장하는 상품 좌표 저장 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  3. 제1항에 있어서,
    상기 사용자 단말로부터 상기 상품에 대한 상품 정보를 수신하여 저장하는 상품 정보 저장 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  4. 제1항에 있어서,
    다른 사용자 단말의 웹 인터페이스상에서 상기 영상 콘텐츠가 재생되는 경우, 상기 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상기 상품 좌표 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 상품 좌표 제공 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  5. 제4항에 있어서,
    상기 상품 좌표 제공 모듈에서 최종 상품 좌표가 제공되고 상기 다른 사용자 단말에 의해 상기 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 요청받은 상품 정보를 상기 상품 정보 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 상품 정보 제공 모듈을 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  6. 제1항에 있어서, 상기 상품 좌표 자동 추적 모듈은,
    상기 사용자 단말(10)상에서 사용자에 의해 터치 입력된 상품에 대해 객체 탐지(object detection) 알고리즘을 통해 객체 모델을 탐지하여 지정하고, 지정된 특징점들을 추출하여 추적 특징점으로 등록하며, 희소 옵티컬 플로우(sparst optical flow)인 피라미드 LK 알고리즘을 이용하여 추적 특징점들을 추적하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  7. 제6항에 있어서, 상기 상품 좌표 자동 추적 모듈은,
    상기 객체 모델의 형태가 변하는 경우 히스토그램 기반인 캠시프트(CamShift) 알고리즘을 조합하여 추적을 보정하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  8. 제7항에 있어서, 상기 상품 좌표 자동 추적 모듈은,
    상기 추적 특징점들을 토대로 란삭(ransan) 알고리즘을 적용하여 상기 객체 모델의 모션(motion)을 추정하고 추정을 통해 유사 변환(similarity transformation) 알고리즘을 통해 상기 객체 모델을 업데이트하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  9. 제8항에 있어서, 상기 상품 좌표 자동 추적 모듈은,
    상기 업데이트된 객체 모델이 일부 가려지는 경우 상기 객체 모델이 다시 완전히 나타났을 때에 칼만 필터를 적용하여 상기 객체 모델의 움직임을 추정하여 객체 탐지를 수행하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치.
  10. 웹 인터페이스 제공 모듈이 영상 콘텐츠 내 상품 추적을 위한 웹 인터페이스(web interface)를 사용자 단말로 제공하는 단계;
    상기 웹 인터페이스 제공 모듈에서 제공된 웹 인터페이스상에서 영상 콘텐츠가 재생되는 경우, 상품 좌표 추적 요청 수신 모듈이 상기 재생되는 영상 콘텐츠에 등장하는 상품중에서 사용자에 의해 지정된 상품에 대해 상기 사용자 단말로부터 상품 좌표 추적을 요청받는 단계;
    상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계;
    최종 상품 좌표 생성 모듈이 상기 사용자 단말의 웹 인터페이스상에서 상기 자동 추적 좌표에 대하여 사용자의 터치 입력에 의해 보정된 보정 좌표를 상기 사용자 단말로부터 수신하는 단계;
    상기 최종 상품 좌표 생성 모듈이 상기 자동 추적 좌표에 상기 수신된 보정 좌표를 적용하여 최종 상품 좌표를 생성하는 단계를 포함하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  11. 제10항에 있어서,
    상표 좌표 저장 모듈이 상기 최종 상품 좌표를 상기 영상 콘텐츠 및 상기 상품과 연계하여 저장하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  12. 제10항에 있어서,
    상품 정보 저장 모듈이 상기 사용자 단말로부터 상기 상품에 대한 상품 정보를 수신하여 저장하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  13. 제10항에 있어서,
    다른 사용자 단말의 웹 인터페이스상에서 상기 영상 콘텐츠가 재생되는 경우, 상품 좌표 제공 모듈이 상기 재생되는 영상 콘텐츠에 등장하는 상품에 대한 최종 상품 좌표를 상기 상품 좌표 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  14. 제13항에 있어서,
    상기 상품 좌표 제공 모듈에서 최종 상품 좌표가 제공되고 상기 다른 사용자 단말에 의해 상기 최종 상품 좌표에 대응되는 상품에 대한 상품 정보를 요청받는 경우, 상품 정보 제공 모듈이 상기 요청받은 상품 정보를 상기 상품 정보 저장 모듈에서 검색하여 상기 다른 사용자 단말로 실시간 제공하는 단계를 더 포함하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  15. 제10항에 있어서, 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는,
    상기 사용자 단말(10)상에서 사용자에 의해 터치 입력된 상품에 대해 객체 탐지(object detection) 알고리즘을 통해 객체 모델을 탐지하여 지정하고, 지정된 특징점들을 추출하여 추적 특징점으로 등록하며, 희소 옵티컬 플로우(sparst optical flow)인 피라미드 LK 알고리즘을 이용하여 추적 특징점들을 추적하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  16. 제15항에 있어서, 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는,
    상기 객체 모델의 형태가 변하는 경우 히스토그램 기반인 캠시프트(CamShift) 알고리즘을 조합하여 추적을 보정하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  17. 제16항에 있어서, 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는,
    상기 추적 특징점들을 토대로 란삭(ransan) 알고리즘을 적용하여 상기 객체 모델의 모션(motion)을 추정하고 추정을 통해 유사 변환(similarity transformation) 알고리즘을 통해 상기 객체 모델을 업데이트하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
  18. 제17항에 있어서, 상기 상품 좌표 자동 추적 모듈이 상기 상품 좌표 추적 요청 수신 모듈에서 요청받은 상품 좌표 추적에 대하여 자동 추적을 수행하여 자동 추적 좌표를 상기 사용자 단말로 실시간 제공하는 단계는,
    상기 업데이트된 객체 모델이 일부 가려지는 경우 상기 객체 모델이 다시 완전히 나타났을 때에 칼만 필터를 적용하여 상기 객체 모델의 움직임을 추정하여 객체 탐지를 수행하도록 구성되는 것을 특징으로 하는 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 방법.
PCT/KR2016/012493 2015-11-04 2016-11-02 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법 WO2017078383A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/772,093 US10531162B2 (en) 2015-11-04 2016-11-02 Real-time integrated data mapping device and method for product coordinates tracking data in image content of multi-users

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150154798 2015-11-04
KR10-2015-0154798 2015-11-04

Publications (1)

Publication Number Publication Date
WO2017078383A1 true WO2017078383A1 (ko) 2017-05-11

Family

ID=58662962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012493 WO2017078383A1 (ko) 2015-11-04 2016-11-02 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법

Country Status (2)

Country Link
US (1) US10531162B2 (ko)
WO (1) WO2017078383A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899680B2 (en) * 2022-03-09 2024-02-13 Oracle International Corporation Techniques for metadata value-based mapping during data load in data integration job

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272732A (ja) * 2006-03-31 2007-10-18 Sony Corp 画像処理装置および方法、並びにプログラム
KR20100047591A (ko) * 2008-10-29 2010-05-10 주식회사 코리아퍼스텍 인터넷 연동형 객체정보 서비스 방법 및 시스템
KR20120052569A (ko) * 2010-11-16 2012-05-24 에스케이플래닛 주식회사 사용자 정보 기반 영상 검색 관리 방법과 이를 이용한 장치 및 시스템
JP2015506516A (ja) * 2012-01-06 2015-03-02 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ オブジェクトの追跡及び処理
KR101517359B1 (ko) * 2013-12-27 2015-06-05 전남대학교산학협력단 객체 추적 방법 및 이를 이용한 객체 추적 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US9277157B2 (en) * 2004-09-01 2016-03-01 Gravidi, Inc. Interactive marketing system
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US8091103B2 (en) * 2007-07-22 2012-01-03 Overlay.Tv Inc. Server providing content directories of video signals and linkage to content information sources
US20130074139A1 (en) * 2007-07-22 2013-03-21 Overlay.Tv Inc. Distributed system for linking content of video signals to information sources
EP2652638B1 (en) * 2011-01-18 2020-07-29 Hsni, Llc System and method for recognition of items in media data and delivery of information related thereto
US20140245529A1 (en) * 2013-03-03 2014-09-04 Christopher V. Beckman Exotect
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US20150379606A1 (en) * 2014-06-26 2015-12-31 Anand Vaidyanathan System and method to purchase products seen in multimedia content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272732A (ja) * 2006-03-31 2007-10-18 Sony Corp 画像処理装置および方法、並びにプログラム
KR20100047591A (ko) * 2008-10-29 2010-05-10 주식회사 코리아퍼스텍 인터넷 연동형 객체정보 서비스 방법 및 시스템
KR20120052569A (ko) * 2010-11-16 2012-05-24 에스케이플래닛 주식회사 사용자 정보 기반 영상 검색 관리 방법과 이를 이용한 장치 및 시스템
JP2015506516A (ja) * 2012-01-06 2015-03-02 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ オブジェクトの追跡及び処理
KR101517359B1 (ko) * 2013-12-27 2015-06-05 전남대학교산학협력단 객체 추적 방법 및 이를 이용한 객체 추적 장치

Also Published As

Publication number Publication date
US20180316983A1 (en) 2018-11-01
US10531162B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
US9218124B2 (en) Information processing apparatus, information processing method, and program
WO2016013914A1 (ko) 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
WO2018174637A1 (ko) 방송에서의 영상인식을 통한 실시간 쇼핑방법 및 이를 구현하는 애플리케이션이 설치된 스마트 기기
WO2018043990A1 (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
WO2013105760A1 (en) Contents providing system and operating method thereof
JP6756338B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2016013915A1 (ko) 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
WO2015108232A1 (en) Portable device and method for controlling the same
WO2018151507A1 (ko) 디스플레이 장치와 방법 및 광고 서버
EP3039476A1 (en) Head mounted display device and method for controlling the same
JP2016218821A (ja) 販売情報利用装置、販売情報利用方法、およびプログラム
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2020111637A1 (ko) 몰입도 운용 방법 및 이를 지원하는 전자 장치
WO2011021862A2 (en) Apparatus and method for detecting pattern of buyers using electronic shelf label
WO2012118259A1 (ko) 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법
CN104978392A (zh) 输出内容的内容输出装置
WO2017078383A1 (ko) 다중 사용자의 영상 콘텐츠 내 상품 좌표 추적 데이터에 대한 실시간 통합 데이터 매핑 장치 및 방법
WO2012070766A2 (ko) 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템
WO2013019018A2 (ko) 동영상 파일의 재생 및 동영상 정보 서비스 제공시스템
WO2019004754A1 (en) ADVERTISEMENTS WITH INCREASED REALITY ON OBJECTS
WO2021137507A1 (en) Display apparatus and controlling method thereof
EP3895116A1 (en) Display system for sensing defect on large-size display
WO2017222226A1 (ko) 영상 컨텐츠에 광고상품을 등록하는 방법 및 이를 실행하는 서버
WO2018124476A1 (ko) 투명 디스플레이 기반의 지능화 상품 전시 시스템 및 그 방법
WO2023033220A1 (ko) 아이템 그룹의 정보를 제공하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16862399

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15772093

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16862399

Country of ref document: EP

Kind code of ref document: A1