WO2021194090A1 - 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법 - Google Patents

인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법 Download PDF

Info

Publication number
WO2021194090A1
WO2021194090A1 PCT/KR2021/001927 KR2021001927W WO2021194090A1 WO 2021194090 A1 WO2021194090 A1 WO 2021194090A1 KR 2021001927 W KR2021001927 W KR 2021001927W WO 2021194090 A1 WO2021194090 A1 WO 2021194090A1
Authority
WO
WIPO (PCT)
Prior art keywords
advertisement
area
image
sports
ground
Prior art date
Application number
PCT/KR2021/001927
Other languages
English (en)
French (fr)
Inventor
천세욱
김종헌
Original Assignee
주식회사 라온버드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라온버드 filed Critical 주식회사 라온버드
Priority to US17/914,756 priority Critical patent/US11962873B2/en
Publication of WO2021194090A1 publication Critical patent/WO2021194090A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Definitions

  • An embodiment according to the concept of the present invention relates to a real-time advertisement analysis technology in a sports game relay video, and more specifically, an advertisement area is generated according to the viewpoint of a camera in a sports video relayed using artificial intelligence, and the generated It relates to a technology for detecting an image appearing in an advertisement area and displaying an advertisement analysis result on a sports game relay video in real time only when the detected image corresponds to an official advertisement.
  • Sports games are said to be dramas without a script. Players pour out their efforts on the pitch, and fans can't take their eyes off the game until the end of the game with the tension of not knowing who will win. Fans watch the game with their hearts behind the players who are running directly, and those who support the same team or player form a consensus and rapidly unite and become closer. As such, sports have the power to move people's hearts.
  • sports events are very closely related to the development of media, and consumers watch sports events, such as advertisements displayed on A boards, stands banners, 3D banners, etc. placed here and there, corporate logos engraved on players' uniforms, etc. Unconsciously exposed to numerous advertisements. For a long time, companies have been using the positive effects of these sports and broadcasting sports events through the media for marketing.
  • the technical problem to be solved by the present invention is to automatically generate an advertisement area according to the camera's viewpoint in a sports relay video, detect an image appearing in the generated advertisement area in real time, and when the detected image corresponds to an official advertisement It is to provide an advertisement analysis system in sports video using artificial intelligence that displays the advertisement analysis result in real time on the sports game relay video.
  • Another technical problem to be solved by the present invention is to automatically generate an advertisement area according to the camera's viewpoint in a sports relay video, detect an image appearing in the generated advertisement area in real time, and determine that the detected image corresponds to an official advertisement. It is to provide a method for analyzing advertisements in sports videos using artificial intelligence that displays the results of advertisement analysis in real time on a sports game relay video only in this case.
  • An advertisement analysis system in a sports video using artificial intelligence estimates the area ratio occupied by the ground area in a sports video being relayed, calculates the height of the object detected in the sports video, and the scene of the sports video Creates an advertisement area according to the scene determination module and the determined scene, classifies an advertisement image detected in the generated advertisement area according to the advertisement type of the advertisement area, and whether the classified advertisement image corresponds to an official advertisement Calculates the cumulative exposure time, the cumulative number of exposures, and the effect amount for the advertisement image determined to be an official advertisement from the advertisement determination module that determines in real time and the advertisement determination module as an analysis result, and displays the analysis result in the sports video in real time and a display advertisement effect analysis module.
  • the scene determination module includes a ground estimator for estimating the area ratio occupied by the ground area to the ground area in the sports image, an object detection unit for detecting the object in the sports image and calculating the height of the detected object, and the and a zoom determiner configured to determine the scene according to the area ratio occupied by the ground area estimated by the ground area estimator and the height of the object calculated by the object detection unit.
  • the ground estimator extracts a ground candidate area from the sports image according to the extraction reference range of the HSV model, and uses a convex hull approximated by a plurality of polygons to the contour of the extracted ground candidate area as the ground area. and estimating a ratio of the estimated area of the ground area to the area of the sports image as the area ratio.
  • the object detection unit detects a bounding box for each of the objects present in the sports image, a bounding box for a specific part of each of the objects, and a mask area for each of the objects by using an object recognition API. and calculating the average height of the bounding box of each of the detected objects as the height of the detected object.
  • the zoom determining unit determines the scene as a zoom-out screen when the height of the object calculated by the object detection unit is less than the minimum height reference value, and the height of the object calculated by the object detection unit is the maximum height reference value. If it exceeds, the scene is determined as a zoom-in screen, the height of the object calculated by the object detection unit has a value between the minimum height reference value and the maximum height reference value, and the area ratio estimated by the ground estimator is a predetermined area When it is equal to or greater than the reference value, the scene is determined as a zoom-normal screen.
  • the advertisement determination module includes an advertisement area generating unit that generates an advertisement area in the sports image according to the determined scene, an advertisement image detection unit that detects figures and texts existing in the generated advertisement area as the advertisement image, and the detection Comparing the classified advertisement image with the official advertisement stored in the data set and an advertisement classification unit for classifying the advertisement image according to the location of the generated advertisement area, determining whether the classified advertisement image matches the official advertisement It may include an advertisement conformity determination unit.
  • the advertisement area generating unit is a center audience advertising area, a left audience seat advertising area, a left ground advertising area, and a right audience seat based on the ground area estimated by the scene determination module when the determined scene is a zoom-normal screen. At least one of an area and a right ground advertisement area is created as the advertisement area, and when the determined scene is a zoom-in screen, an area excluding the face bounding box from the mask area of the object detected by the scene determination module is the advertisement It is characterized by creating a region.
  • the advertisement image detection unit detects the figure by extracting feature points from within the advertisement area using a local feature detection method, and uses a text detection method based on area scores and related scores to detect individual texts and and detecting the text by detecting the word text.
  • the advertisement classification unit classifies the detected advertisement image by grouping it according to a distance from a boundary line of the estimated ground area, and the determined scene is zoom- In the case of an in-screen advertisement image, the detected advertisement image is classified as an apparel advertisement.
  • the advertisement conformity determining unit compares the characteristic points of the advertisement image classified by the advertisement classification unit with the characteristic points of the reference image of the official advertisement stored in the data set using the K-NN classification algorithm, and determines the proximity characteristic points greater than or equal to a predetermined reference value. is selected, and predetermined scoring is performed on the feature point of the advertisement image, the feature point of the reference image, and the proximity feature point, and when the scoring value is greater than or equal to a predetermined reference value, the advertisement image classified by the advertisement classification unit matches the official advertisement It is characterized in that it is determined that
  • the advertisement effect analysis module includes an effect analysis unit for calculating the cumulative exposure time, the cumulative number of exposures, and the effect amount of the advertisement image determined as the official advertisement from the advertisement determination module as an analysis result, and the analysis result calculated from the effect analysis unit may include a display unit for displaying in real time on the sports image.
  • a method for analyzing advertisements in a sports video using artificial intelligence includes the steps of: a ground estimator estimating a ground area in a sports video and an area ratio occupied by the ground area; and an object detector detecting one or more objects in the sports video Detecting, calculating the average height of the bounding box for the detected objects as the object height, and the zoom determining unit selecting the scene of the sports image according to the area ratio estimated by the ground area estimator and the object height calculated by the object detecting unit determining whether an advertisement area can be included in the object detected by the object detection unit, and an advertisement area generating unit is included in the sports image according to whether the determined scene and the detected object can include the advertisement area.
  • the advertisement conformance determination unit determining the feature points of the provided advertisement image and the reference image
  • the effect analysis unit calculating the cumulative exposure time, the cumulative number of exposures, and the effect amount of the advertisement image matching the official advertisement as an analysis result, and displaying and displaying the analysis result calculated by the effect analysis unit on the sports image in real time.
  • the advertisement analysis system and analysis method in a sports video using artificial intelligence automatically creates an advertisement area according to the viewpoint of a camera in a broadcast sports video, and appears in the generated advertisement area. Images are detected in real time, and only when the detected image corresponds to an official advertisement, the advertisement analysis result can be displayed in real-time on a sports game broadcast video. It works.
  • FIG. 1 is a block diagram showing the configuration of an advertisement analysis system in a sports video using artificial intelligence according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram illustrating an extraction reference range of a color channel in the HSV color table.
  • FIG 3 is an exemplary diagram in which a ground estimator extracts a ground candidate area according to an HSV model.
  • FIG. 4 is an exemplary diagram in which a ground estimator estimates a ground area.
  • the object detection unit detects an object in a sports image.
  • FIG. 6 is an exemplary diagram in which the advertisement area generator generates an advertisement area on a zoom-normal screen.
  • FIG. 7 is an exemplary diagram in which an advertisement image detection unit detects a figure in an advertisement area on a zoom-in screen.
  • FIG. 8 is an exemplary diagram in which an advertisement image detection unit detects text in an advertisement area on a zoom-normal screen.
  • FIG. 9 is an exemplary diagram in which the display unit displays the analysis result calculated by the effect analysis unit in real time on a sports image.
  • FIG. 10 is a flowchart illustrating a method for analyzing advertisements in sports videos using artificial intelligence according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an advertisement analysis system in a sports video using artificial intelligence (hereinafter referred to as an 'advertisement analysis system') according to an embodiment of the present invention.
  • the analysis system 10 includes a scene determination module 100 , an advertisement determination module 300 , and an advertisement effect analysis module 500 .
  • the analysis system 10 classifies the broadcast sports video according to the viewpoint of the camera, determines in real time whether the detected text or image corresponds to an advertisement according to the divided viewpoint, and determines that it is an advertisement
  • the advertisement effect can be analyzed by classifying the displayed text or image as displayed in a predetermined advertisement area in the sports video.
  • the scene determination module 100 includes a ground estimator 150, an object detection unit 180, and a zoom determination unit 200, and displays a sports video relayed according to the viewpoint of the camera as a zoom-in screen; It can be divided into scenes such as a zoom-normal screen and a zoom-out screen.
  • the zoom-in screen can be viewed as a screen that captures a field player or a referee closer or a screen that captures a bench with coaching staff and candidate players
  • the zoom-normal screen is a general screen in which play is in progress. It can be seen as a relay screen, and the zoom-out screen can be said to be a screen that captures the ground in which the play is being performed from a very far distance.
  • the scene determination module 100 zooms the sports image using the size of a person (eg, a field player, a referee, or a coaching staff, etc.) appearing in the sports image and the area occupied by the ground area in the sports image- It can be divided into any one of an in-screen, a zoom-normal screen, and a zoom-out screen.
  • a person eg, a field player, a referee, or a coaching staff, etc.
  • the ground estimator 150 estimates a ground area (G_area) and a ratio (G_ratio) occupied by the ground area in the sports image.
  • a process by which the ground estimator 150 estimates the ground area G_area and the ratio G_ratio occupied by the ground area in the sports image is as follows.
  • the ground estimator 150 extracts a ground candidate region from a sports image by using the HSV model.
  • the HSV model means a Hue-Saturation-Value model, which is one of the color models. extract the area.
  • FIG. 2 is an exemplary diagram illustrating an extraction reference range of a color channel in the HSV color table.
  • the ground of a typical soccer field is a color included in the green category (about 60 to 180 degrees) in the color channel, and the ground estimator 150 more accurately determines the ground candidate area in the sports image.
  • an extraction reference range in the color channel may be further narrowed from 80 degrees to 120 degrees.
  • the ground estimator 150 extracts a ground candidate area from the sports image according to the set extraction reference range.
  • the ground may be a ground in various sports such as basketball or baseball.
  • the extraction reference range may also be set in various ways according to the corresponding event, and, for example, in the case of basketball, the extraction reference range may be set to 30 to 60 degrees.
  • FIG 3 illustrates an example in which the ground estimator 150 extracts a ground candidate area according to the HSV model.
  • FIG. 3A shows an example of the sports image
  • FIG. 3B shows an example in which the ground candidate area is extracted by applying an extraction reference range to the sports image.
  • the ground estimator 150 finally estimates the ground area G_area through image post-processing of the extracted ground candidate area.
  • the ground estimator 150 approximates the contour of the extracted ground candidate area with a plurality of polygons, and then uses the convex hull of the approximated polygons as the ground area G_area. final estimate.
  • FIG 4 illustrates an example in which the ground estimator 150 estimates the ground area G_area.
  • FIG. 4(a) shows an example in which the ground area G_area is finally estimated in the sports image through image post-processing
  • FIG. 4(b) is the estimated ground area G_area for the sports image. ) is shown as a line.
  • the ground estimator 150 may estimate the line extending in the horizontal direction as a touch line and estimating the line extending in the vertical direction as a goal line to estimate the ground area.
  • the ground estimator 150 calculates a ratio G_ratio to the total area of the image from the estimated area of the ground area G_area.
  • the object detection unit 180 detects a person, such as a field player, a coaching staff, a referee, as an object in the sports image, and measures the height (ob_size) of the detected object.
  • the object detection unit 180 may use a well-known open source API such as a TensorFlow Object Detection API as an API for object recognition (Classification), and a bounding box for an object and a specific part of the object.
  • a Mask-RCNN model that can utilize not only the box) but also object segmentation information such as the mask area (Mask Contour) can be used.
  • FIG 5 is a diagram illustrating an example in which the object detection unit 180 detects an object in a sports image.
  • Fig. 5 (a) shows an example of detecting an object and representing it as a bounding box
  • Fig. 5 (b) is a bounding box for the object, the bounding box for the face of the object, and the mask area of the object (Mask Contour) is an example showing
  • the boxes on the red line in FIGS. 5A and 5B indicate the bounding box of the detected person, and the box on the black line in FIG. 5B indicates the bounding box for the human face.
  • the yellow line means a mask area (ie, a contour line) of a person, and the object detector 180 may detect not only the bounding box of the object but also the mask area.
  • the object detection unit 180 calculates an average height ob_size of the detected objects based on the bounding boxes of each.
  • the object detection unit 180 does not detect all objects in the sports image and calculate the average height of the bounding box for all objects, but only detects objects with a very high probability that the object is a person and assigns them to them. It is also possible to shorten the overall calculation time by calculating the average height of the
  • the zoom determiner 200 determines the scene (ob_size) of the sports image according to the area ratio (G_ratio) of the ground area estimated by the ground area estimator 150 and the average height (ob_size) of the object calculated by the object detector 180 .
  • Scene is determined as one of the zoom-in screen, zoom-normal screen, and zoom-out screen.
  • the zoom determination unit 200 determines the zoom-out screen when the average height ob_size of the bounding box calculated from the object detection unit 180 is less than or equal to a predetermined minimum height reference value (eg, 15 pixels), If it is greater than a predetermined maximum height reference value (eg, 125 pixels), it is determined as a zoom-in screen.
  • a predetermined minimum height reference value eg, 15 pixels
  • a predetermined maximum height reference value eg, 125 pixels
  • the zoom determiner 200 determines that the calculated average height ob_size of the bound box is between the minimum height reference value and the maximum height reference value (eg, 15 pixels to 125 pixels), and the estimated ground area is When the proportion (G_ratio) occupied in the image is greater than or equal to a predetermined area reference value (eg, 20%), the zoom-normal screen is determined.
  • the minimum height reference value and the maximum height reference value eg, 15 pixels to 125 pixels
  • the screen when the estimated proportion (G_ratio) of the ground area does not satisfy 20%, the screen may be classified as another screen.
  • the estimated ground area G_area is vertically formed around a horizontal touch line as a goal line. It can be estimated as any one of a center view, a left goalpost view, and a right goalpost view depending on whether .
  • the advertisement determination module 300 includes an advertisement area generation unit 330 , an advertisement image detection unit 350 , an advertisement classification unit 380 , and an advertisement matching determination unit 400 , and a zoom determination unit
  • An advertisement area A_region is generated according to the sports image scene (eg, any one of a zoom-in screen, a zoom-normal screen, and a zoom-out screen) determined from 200 , and text is located in the vicinity of the advertisement area A_region.
  • an image is detected and classified according to an advertisement position, and it is determined whether the detected text or image is an advertisement suitable for the classified advertisement position.
  • the advertisement area generating unit 330 determines according to the ground area G_area estimated by the ground estimator 150 .
  • a plurality of advertisement regions (A_region) in which advertisements are posted are created.
  • the advertisement area generator 300 when the sports image scene determined by the zoom determiner 200 is a zoom-normal screen, the advertisement area generator 300 generates a line (G_area) of the ground area G_area estimated by the ground estimator 150 . Based on the touch line or goal line), a corresponding advertisement area A_region is generated among the center audience advertisement area, the left side advertisement area, the left ground advertisement area, the right side advertisement area, and the right ground advertisement area.
  • FIG. 6 illustrates an example in which the advertisement area generator shown in FIG. 1 generates an advertisement area on a zoom-normal screen.
  • the advertisement area creation unit 300 determines an advertisement area in which an advertisement is posted according to the object detected by the object detection unit 180 . (A_region) is created.
  • the advertisement area generator 300 sets the face bounding box in the mask area of the object detected by the object detector 180 .
  • a region except for is created as an advertisement region (A_region).
  • a region ie, a uniform of a field player
  • a face bounding box may be generated as the advertisement region A_region.
  • the advertisement region generating unit 300 may determine whether the detected object is a target that may include the advertisement region A_region before generating the advertisement region A_region.
  • the object detected by the object detection unit 180 may be various objects such as a field player, a goalkeeper, a coaching staff, a candidate player, a referee, and a general audience. Only goalkeepers, coaching staff, and candidate players can be determined as targets to create an advertisement area (A_region).
  • the advertisement area generating unit 300 may use the above HSV model, extract a Hue value of an area excluding the face bounding box from the mask area of the detected object, and use this as a predetermined advertisement target object color value. compare with
  • ad target object Hue range A team field player 340 degrees to 30 degrees Team A goalkeeper 40 degrees to 80 degrees Team A coaching staff 260 to 300 degrees A team candidate 260 to 300 degrees referee 230 degrees to 250 degrees Team B field player 170 degrees to 190 degrees
  • the advertisement area generating unit 300 extracts a Hue value of an area excluding the face bounding box from the mask area of the detected object as shown in FIG. 4B, and the extracted color value is between 340 and 30 degrees.
  • the detected object is determined as a team A field player and determined as a target for generating an advertisement region A_region.
  • the advertisement region generating unit 300 includes the object detecting unit 180 detecting the detection.
  • a plurality of advertisement areas A_region in which advertisements are posted may be additionally generated according to the ground area G_area estimated by the ground estimator 150 .
  • the advertisement area ( For example, an area corresponding to the central audience seat advertisement area or the right ground advertisement area) may be additionally created.
  • the advertisement image detection unit 350 receives an advertisement image, for example, a corporate logo (CI) or a brand logo (BI), a figure (img) such as a trade name, a trademark, or text from the advertisement region (A_region) generated by the advertisement region generation unit 330 . (txt) is detected.
  • an advertisement image for example, a corporate logo (CI) or a brand logo (BI), a figure (img) such as a trade name, a trademark, or text from the advertisement region (A_region) generated by the advertisement region generation unit 330 .
  • CI corporate logo
  • BI brand logo
  • a figure (img) such as a trade name, a trademark, or text from the advertisement region (A_region) generated by the advertisement region generation unit 330 .
  • txt is detected.
  • the advertisement image detection unit 350 uses a known local feature detection method such as SIFT, SURF, BRISK, and FREAK to detect an advertisement image in the advertisement region A_region within the advertisement region A_region.
  • the advertisement image may be detected by extracting the feature point LF_1.
  • FIG. 7 shows an example in which the advertisement image detection unit 350 detects a figure img in the advertisement region A_region in the zoom-in screen.
  • the advertisement region A_region is a region (eg, a purple line) excluding the face bounding box in the mask region of the object, and the advertisement image detection unit 350 detects the advertisement region A_region. ) in the light blue box was detected as a figure (img).
  • the advertisement image detection unit 350 uses a region score and a related score (Affinity score) to determine whether the advertisement image detected in the advertisement region A_region is text (txt), a Neural Network ) based text detection model.
  • the area score means the probability that the corresponding pixel is the center of a character
  • the related score means the probability that the corresponding pixel is the center of two adjacent texts. can be grouped by .
  • the advertisement image detection unit 350 detects individual texts by determining the probability that individual pixels of the advertisement image detected in the generated advertisement region A_region are texts, and examines the connectivity between the detected individual texts to form a word unit. Detect text.
  • the advertisement image detection unit 350 detects these words The text of the unit is merged and detected as the final text (txt).
  • FIG 8 shows an example in which the advertisement image detection unit 350 detects text txt in the advertisement region A_region in the zoom-normal screen.
  • the advertisement image detection unit 350 detects the text (txt) in the first-floor audience floor and the board A of the central audience seat advertisement region (red box region) among the previously created advertisement regions A_region, and the right-side audience seat
  • the text (txt) was detected on the A board in the advertisement area (blue box area) and the 2nd floor audience floor, and the text (txt) was detected on the 3D board in the right ground advertisement area (yellow box area).
  • the advertisement image detection unit 350 may provide the extracted feature point LF_1 to the advertisement conformity determination unit 400, and extract the feature point LF_2 for the original image of the advertisement to be posted in the actual stadium. It may be provided to the advertisement conformance determination unit 400 .
  • the content in which the advertisement image detection unit 350 provides these feature points LF_1 and LF_2 to the advertisement conformity determination unit 400 will be described in detail later in the description of the advertisement conformity determination unit 400 .
  • the advertisement classification unit 380 calculates and groups the distance from the boundary line (eg, touch line or goal line) of the ground estimated by the ground estimator 150 to each text (txt) or figure (img). By doing so, each advertisement image such as text (txt) or figure (img) is classified according to advertisement type.
  • the boundary line eg, touch line or goal line
  • a group closest to the touch line is classified as an A board advertisement among the advertisement types, and is sequentially classified into a first floor audience floor advertisement and a second floor audience floor advertisement.
  • the group closest to the goal line is classified as a 3D board advertisement among the advertisement types, and sequentially classified into an A board advertisement, a first floor audience floor advertisement, and a second floor audience floor advertisement.
  • the advertisement classification unit 380 classifies these groups as apparel advertisements among the advertisement types. .
  • the advertisement classification unit 380 transmits the advertisements C_ad classified by group to the advertisement conformity determination unit 400 .
  • the advertisement conformance determination unit 400 determines whether the advertisement C_ad classified by the advertisement classification unit 380 matches the advertisement officially ordered in the stadium.
  • sponsors to post advertisements in sports events are predetermined, and advertisements to be posted by the sponsors are also predetermined.
  • the advertisement conformity determination unit 400 classifies advertisement information on the advertisements officially ordered as described above according to a predetermined advertisement type and stores the classified advertisement information in a data-set.
  • the advertisement information includes not only the name of the advertisement to be posted and the unit price of the advertisement, but also the original image of the advertisement and a local feature extracted from a variation image for the original image (eg, an image made by stretching, tilting, blurring, etc.) can do.
  • a variation image for the original image eg, an image made by stretching, tilting, blurring, etc.
  • the original image of the advertisement and a variation image for the original image are defined as reference images.
  • the predetermined advertisement type refers to a location where advertisements will be posted, and may be, for example, an A board, a first floor audience floor, a second floor audience floor, or a 3D board.
  • an advertisement to be posted on a specific type (eg, board A) among the advertisement types may be a single advertisement only from a specific sponsor, and an advertisement to be posted on another type (eg, 3D board) may include a plurality of advertisements. It could be an advertisement from sponsors.
  • the advertisement conformance determination unit 400 stores the feature points for the reference image of a specific sponsor for the A board in a data set (Data-Set), and for the 3D board, data points for the reference image of each of the various sponsors are data It can be stored in a Data-Set.
  • the advertisement conformity determination unit 400 determines the feature point LF_1 of the advertisement classified by the advertisement classification unit 380 (eg, an advertisement detected and classified in an actual sports image) and the corresponding advertisement type of the data set (Data-Set). By comparing the feature point LF_2 for , it is determined whether the advertisement C_ad classified by the advertisement classification unit 380 corresponds to the officially ordered advertisement.
  • the advertisement conformity determination unit 400 sets the feature points and data set ( The advertisement (C_ad) classified by the advertisement classification unit 380 in preparation for advertisement information (ie, feature points of reference images) stored in the corresponding advertisement type (ie, board A) of (Data-Set) corresponds to the officially ordered advertisement. decide whether
  • the feature points LF_1 of the text txt or img of the advertisement C_ad classified by the advertisement classification unit 380 and the feature points LF_2 of the corresponding advertisement type of the data-set are It can be extracted from the advertisement image detection unit 350 as described above.
  • the advertisement conformity determination unit 400 determines whether the advertisement C_ad classified by the advertisement classification unit 380 in comparison with the feature points LF_1 and LF_2 corresponds to the officially ordered advertisement as follows. .
  • the advertisement conformity determination unit 400 compares the first feature point LF_1 for the text (txt) or figure (img) of the classified advertisement (C_ad) with the second feature point (LF_2) for the corresponding reference image. Feature points showing similarity greater than or equal to a certain reference value are selected as the third feature point LF_3.
  • the advertisement conformity determination unit 400 searches for the proximity feature points to the first feature point (LF_1) and the second feature point (LF_2) using a known classification algorithm such as k-NN ((k-Nearest Neighbor), and , when the searched adjacent feature point shows a similarity greater than or equal to a predetermined reference value, it is selected as the third feature point LF_3.
  • k-NN (k-Nearest Neighbor)
  • the advertisement conformance determination unit 400 performs scoring for advertisement conformance determination as shown in Equation 1 below.
  • the advertisement conformity determination unit 400 divides the number of the third feature points LF_3 by the number of subtracting the number of the third feature points LF_3 from the sum of the number of the first feature points LF_1 and the second feature points LF_2.
  • the score is calculated as a value.
  • the advertisement conformity determination unit 400 determines that the advertisement C_ad classified by the advertisement classification unit 380 corresponds to the officially ordered advertisement when the score calculated as shown in the above equation satisfies a predetermined reference value or more. It is determined as a suitable advertisement (Au_ad).
  • the score may have a range from 1.0 to 0.0, and the predetermined reference value may be set to 0.5.
  • the advertisement effect analysis module 500 includes an effect analysis unit 530 and a display unit 580 , and the advertisement determined to correspond to the advertisement officially ordered by the advertisement conformity determination unit 400 ( Au_ad) are analyzed, and the analysis result is displayed on the sports image in real time.
  • the effect analysis unit 530 displays the exposure time of the officially ordered advertisement stored in the data set (Data-Set) corresponding to the advertisements (Au_ad) determined to correspond to the officially ordered advertisement from the advertisement conformance determination unit 400 . , the number of impressions is accumulated and the effect amount for the advertisement is estimated.
  • the effective amount for the corresponding advertisement may be estimated as an amount in which the exposure time is reflected in the reference unit price of the corresponding advertisement.
  • the effect analysis unit 530 may calculate an analysis result (AD_res) for the name of the corresponding advertisement, the advertisement type (eg, location), exposure time, number of exposures, and effect amount during real-time broadcasting of the sports game.
  • the display unit 580 may display the analysis result AD_res calculated from the effect analysis unit 530, that is, the corresponding advertisement name, advertisement type, advertisement exposure time, number of advertisement exposures, effect amount, and the like, on the sports video in real time.
  • FIG. 9 shows an example in which the display unit 580 displays the analysis result AD_res of the corresponding advertisement analyzed by the effect analysis unit 530 on the sports image in real time.
  • FIG. 9 shows an example in which the analysis results of the A board advertisement, the first floor audience floor advertisement and the 3D board advertisement detected at the first time point (eg, 5 minutes and 21 seconds in the first half) are displayed in a yellow box
  • 9 shows an example in which the analysis result for the apparel advertisement detected at the second time point (eg, 5 minutes and 33 seconds in the first half) after the first time point is displayed in a yellow box.
  • the advertisement analysis system 10 classifies the broadcast sports video according to the viewpoint, and determines whether the detected text or image corresponds to the official advertisement according to the divided viewpoint, When it is determined that it is an advertisement, there is an effect that the analysis result can be displayed in real time in the sports video.
  • FIG. 10 is a flowchart for explaining a method for analyzing advertisements in a sports video using artificial intelligence (hereinafter, referred to as 'advertising analysis method') according to an embodiment of the present invention.
  • the ground estimator 150 extracts a ground candidate area from the sports image according to the extraction reference range of the HSV model (S30).
  • the ground estimator 150 estimates the ground area G_area through image post-processing (using a convex shell of a polygon after approximating the ground contour with a small number of polygons) for the contour of the extracted ground candidate area ( S50).
  • the ground estimator 150 estimates that a line extending in a horizontal direction among the estimated ground area G_area is a touch line, and a line extending in a vertical direction is estimated as a goal line, and thus a ground area can be divided into a central view, a left goal view, and a right goal goal view.
  • the ground estimator 150 calculates a ratio G_ratio to the total area of the sports image from the estimated area of the ground area G_area (S80).
  • the object detection unit 180 detects one or more objects (field players, coaching staff, referees, etc.) in the sports image (S130), and calculates an average height (ob_size) of a bounding box for the detected objects (S150) .
  • the object detection unit 180 may detect not only an object and a bounding box for a specific part (eg, face) of the object, but also a contour line of an object such as a mask area (Mask Contour) (S130) .
  • a mask area Mask Contour
  • the object detection unit 180 may detect all objects in the sports image and calculate the average height (ob_size) of the bounding box for all objects, but according to an embodiment, only an object with a very high probability that the object is a person is detected.
  • the overall calculation time may be shortened by calculating the average height (ob_size) for them.
  • the zoom determiner 200 determines a scene of the sports image according to the ground area area ratio G_ratio estimated by the ground area estimator 150 and the average height of the bounding box ob_size calculated by the object detector 180 . ) is determined as any one of a zoom-in screen, a zoom-normal screen, and a zoom-out screen (S200).
  • the zoom determiner 200 determines the zoom-out screen when the average height (ob_size) of the bounding box calculated by the object detection unit 180 is less than or equal to a predetermined minimum reference value, and determines the zoom-in screen when it is greater than or equal to the predetermined maximum reference value. to decide
  • the advertisement region generating unit 330 generates an advertisement region A_region according to the sports image scene determined by the zoom determining unit 200 ( S230 ).
  • the advertisement area generator 330 advertises in the ground area estimated by the ground estimator 150 (eg, the center view, the left goalpost view, the right goalpost view). Creates an advertisement area to be posted.
  • the advertisement area generating unit 300 may generate a central grandstand advertisement area, a left sidestand advertisement area, a left ground advertisement area, a right sidestand advertisement area, and a right ground advertisement area based on the ground area G_area estimated by the ground estimator 150 .
  • a corresponding advertisement area (A_region) is created among the areas.
  • the advertisement region generating unit 330 sets the region excluding the face bounding box from the mask region of the object detected by the object detection unit 180 as the advertisement region A_region. create
  • the advertisement region generation unit 300 may determine whether the object detected by the object detection unit 180 is a target that may include the advertisement region A_region using the HSV model ( S210 ).
  • the advertisement area generating unit 300 not only the object detected by the object detecting unit 180 but also the ground area estimated by the ground estimating unit 150 .
  • G_area By reflecting (G_area), a plurality of advertisement regions A_region in which advertisements are posted may be additionally generated.
  • the zoom determiner 200 determines whether the sports image scene determined by the zoom determiner 200 is a zoom-in screen, but the outline line (touch line or goal line) of the ground area G_area as well as the field player is captured, the zoom-normal The advertisement region A_region described on the screen may be additionally created.
  • the advertisement image detection unit 350 detects an advertisement image, that is, a figure img or text txt, from the advertisement region A_region generated by the advertisement region generation unit 330 (S250).
  • the advertisement image detection unit 350 extracts the feature point LF_1 from within the advertisement region A_region using a known local feature detection method for detecting the advertisement image within the advertisement region A_region. An advertisement image of (A_region) can be detected.
  • the advertisement image detection unit 350 detects and detects individual texts and word texts by using a neural network-based text detection model using a region score and a related score for an advertisement image detected in the advertisement region A_region.
  • the final text txt may be detected according to the distance between adjacent edges of the texts in units of words and whether a predetermined IoU is satisfied.
  • the advertisement image detection unit 350 provides the feature point LF_1 extracted from the advertisement region A_region to the advertisement conformance determination unit 400 (S270), and the data set of the advertisement conformity determination unit 400 (Data) -Set) extracts the feature point (LF_2) for the reference image of the official advertisements stored in the store and provides it to the advertisement conformity determination unit 400 (S280).
  • the advertisement classification unit 380 groups and classifies the figures (img) or texts (txt) detected by the advertisement image detection unit 350 ( S300 ).
  • the advertisement classification unit 380 calculates the distance from the boundary line (eg, touch line or goal line) of the ground area G_area estimated by the ground estimator 150 to the detected figure or text, and classifies it by grouping it.
  • the detected text or figure is detected in an area other than the face bounding box in the mask area of the object, they are classified as an apparel advertisement (S300).
  • the advertisement classification unit 380 transmits the advertisements C_ad classified by group to the advertisement conformance determination unit 400 ( S330 ).
  • the advertisement conformity determination unit 400 determines the characteristic point LF_1 of the advertisement classified by the advertisement classification unit 380 (eg, an advertisement detected and classified in an actual sports video) and the corresponding advertisement position of the data set (Data-Set). By comparing the feature point LF_2, it is determined whether the advertisement classified by the advertisement classification unit 380 corresponds to an officially ordered advertisement (S400).
  • the advertisement conformity determination unit 400 determines the proximity feature point to the first feature point (LF_1) for the text or figure of the advertisement classified using the k-NN algorithm and the second feature point (LF_2) for the corresponding reference image.
  • the search is performed, and when the searched adjacent feature point shows a similarity greater than or equal to a predetermined reference value, it is selected as the third feature point LF_3 ( S330 ).
  • the advertisement conformity determination unit 400 performs scoring for advertisement conformance determination as shown in Equation 1 above, and determines that the advertisement is an officially ordered advertisement when the calculated score satisfies a predetermined reference value or more (S400) .
  • the effect amount may be estimated as an amount in which the exposure time is reflected in the standard unit price of the corresponding advertisement.
  • the effect analysis unit 530 sequentially transmits the analysis result (AD_res) for the name of the official advertisement on the data set, the advertisement type, the exposure time, the number of exposures, and the effect amount to the display unit (S450).
  • the display unit 580 displays the name, advertisement type, exposure time, number of exposures, effect amount, etc. of the corresponding advertisement as the analysis result (AD_res) transmitted from the effect analysis unit 530 in real time on the sports image (S500) .
  • the present invention generates an advertisement area according to the camera's viewpoint in a sports video relayed using artificial intelligence, detects an image appearing in the generated advertisement area, and results of advertisement analysis only when the detected image corresponds to an official advertisement It is about an advertisement analysis system and analysis method in a sports video using artificial intelligence that displays in real-time on a sports game relay video, and has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템이 개시된다. 상기 광고 분석 시스템은 중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬(Scene)을 결정하는 씬 결정 모듈과 상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한 광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈 및 상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈을 포함한다.

Description

인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법
본 발명의 개념에 따른 실시 예는 스포츠 경기 중계 영상에서의 실시간 광고 분석 기술에 대한 것으로, 보다 상세하게는 인공지능을 이용하여 중계되는 스포츠 영상에서 카메라의 시점에 따라 광고 영역을 생성하고, 생성한 광고 영역에 등장하는 이미지를 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 기술에 관한 것이다.
스포츠 경기는 각본없는 드라마라고 한다. 선수는 경기장에서 그동안의 노력을 쏟아내고 팬들은 경기가 끝날 때까지 누가 이길지 모르는 긴장감으로 경기에서 눈을 떼지 못한다. 팬들은 직접 뛰는 선수들 뒤에서 마음으로 함께 뛰며 경기를 관전하며, 같은 팀이나 선수를 응원하는 사람들은 공감대를 형성하며 급속하게 단결하고 친밀해진다. 이렇듯 스포츠는 사람의 마음을 움직이는 힘을 가지고 있다. 또한, 스포츠 경기는 미디어의 발달과 매우 밀접한 관련이 있으며, 소비자들은 스포츠 경기를 보면서 경기장 이곳 저곳에 배치되는 A보드, 관중석 배너, 3D배너 등에 표시되는 광고나 선수들의 유니폼에 새겨져 있는 기업 로고 등 무의식 중에 수많은 광고에 노출된다. 오래전부터 기업에서는 이러한 스포츠의 긍정적인 효과 및 미디어를 통한 스포츠 경기 중계를 마케팅에 이용해 왔다. 기업이 스포츠 스폰서에 참여하는 가장 큰 이유 중 하나는 독점적으로 제공되는 마케팅 권리와 TV 중계 또는 뉴스 등을 통해 노출되는 경기장의 보드 광고라 할 수 있다. 경기장 시설을 활용한 보드 광고는 단편적인 메시지 전달이나 브랜드 자체의 단순 노출이라는 한계도 존재하지만, 상대적으로 스폰서 기업의 브랜드 이미지 형성 및 강화에 보다 용이한 수단으로 평가받고 있어 오늘날 전통적인 기업 광고를 대신할 수 있는 새로운 방편으로 인식되고 있다. 그러나, 선수들의 움직임에 따라 중계 카메라의 시점이 역동적으로 변화하는 스포츠 경기의 특성상 이들 광고가 포착되는 시간이나 빈도 역시 확인하기 어려워 광고의 노출 효과를 구체적으로 가늠할 수는 없었다. 이에 스포츠 중계 영상 내의 광고 효과를 분석하기 위한 기술들이 제시되었으나, 종래의 기술들은 스포츠 중계 영상 내의 광고 효과를 분석하기 위해 스포츠 중계 영상을 녹화하고, 중계가 종료된 이후에나 녹화된 자료로부터 영상 및 이미지 파일을 추출하여 광고 효과를 분석할 뿐이었다.
본 발명이 해결하고자 하는 기술적인 과제는 스포츠 중계 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적인 과제는 스포츠 중계 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템은 중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬을 결정하는 씬 결정 모듈과 상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한 광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈 및 상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈을 포함한다.
이때, 상기 씬 결정 모듈은 상기 스포츠 영상에서 상기 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 그라운드 추정부와 상기 스포츠 영상에서 상기 객체를 검출하고 상기 검출한 객체의 높이를 산출하는 객체 검출부 및 상기 그라운드 영역 추정부가 추정한 그라운드 영역이 차지하는 면적비와 상기 객체 검출부가 산출한 객체의 높이에 따라 상기 씬을 결정하는 줌 결정부를 포함할 수 있다.
실시 예에 따라, 상기 그라운드 추정부는 HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하고, 상기 추출한 그라운드 후보 영역의 윤곽에 대해 복수의 폴리곤들로 근사한 볼록 껍질을 상기 그라운드 영역으로 추정하며, 상기 스포츠 영상의 면적에서 상기 추정한 그라운드 영역의 면적이 차지하는 비율을 상기 면적비로 추정하는 것을 특징으로 한다.
실시 예에 따라, 상기 객체 검출부는 객체 인식 API를 이용하여 상기 스포츠 영상에 존재하는 객체들 각각에 대한 바운딩 박스와 상기 객체들 각각의 특정 부분에 대한 바운딩 박스 및 상기 객체들 각각의 마스크 영역을 검출하고, 상기 검출한 객체들 각각의 바운딩 박스의 평균 높이를 상기 검출한 객체의 높이로 산출하는 것을 특징으로 한다.
실시 예에 따라, 상기 줌 결정부는 상기 객체 검출부로부터 산출된 객체의 높이가 최소 높이 기준치 미만인 경우에 상기 씬을 줌-아웃 화면으로 결정하고, 상기 객체 검출부로부터 산출된 객체의 높이가 최대 높이 기준치를 초과하는 경우에 상기 씬을 줌-인 화면으로 결정하며, 상기 객체 검출부로부터 산출된 객체의 높이가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이의 값을 갖고, 상기 그라운드 추정부가 추정한 면적비가 소정 면적 기준치 이상인 경우에 상기 씬을 줌-노멀 화면으로 결정하는 것을 특징으로 한다.
또한, 상기 광고 판정 모듈은 상기 결정된 씬에 따라 상기 스포츠 영상 내에 광고 영역을 생성하는 광고 영역 생성부와 상기 생성된 광고 영역에 존재하는 도형 및 텍스트를 상기 광고 이미지로서 검출하는 광고 이미지 검출부와 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 위치에 따라 분류하는 광고 분류부 및 상기 분류된 광고 이미지와 데이터 세트에 저장된 공식 광고를 대비하여 상기 분류된 광고 이미지가 상기 공식 광고에 부합하는지 여부를 판정하는 광고 부합 판정부를 포함할 수 있다.
실시 예에 따라, 상기 광고 영역 생성부는 상기 결정된 씬이 줌-노멀 화면인 경우에 상기 씬 결정 모듈이 추정한 그라운드 영역을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 영역 및 우측 그라운드 광고 영역 중 적어도 어느 하나를 상기 광고 영역으로 생성하고, 상기 결정된 씬이 줌-인 화면인 경우에 상기 씬 결정 모듈이 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역을 상기 광고 영역으로 생성하는 것을 특징으로 한다.
실시 예에 따라, 상기 광고 이미지 검출부는 로컬 피쳐 디텍트 방법을 이용해 상기 광고 영역 내에서 특징점을 추출함으로써 상기 도형을 검출하고, 영역 점수 및 관련 점수 기반의 텍스트 검출 방법을 이용해 상기 도형으로부터 개별 텍스트 및 단어 텍스트를 검출함으로써 상기 텍스트를 검출하는 것을 특징으로 한다.
실시 예에 따라, 상기 광고 분류부는 상기 결정된 씬이 줌-노멀 화면인 경우에 상기 검출된 광고 이미지를 상기 추정한 그라운드 영역의 경계 라인으로부터의 거리에 따라 그룹화함으로써 분류하고, 상기 결정된 씬이 줌-인 화면인 경우에 상기 검출된 광고 이미지를 어패럴 광고로 분류하는 것을 특징으로 한다.
실시 예에 따라, 상기 광고 부합 판정부는 K-NN 분류 알고리즘을 이용해 상기 광고 분류부로부터 분류된 광고 이미지의 특징점과 상기 데이터 세트에 저장된 공식 광고의 레퍼런스 이미지의 특징점을 대비하여 소정 기준치 이상의 근접 특징점을 선정하고, 상기 광고 이미지의 특징점과 상기 레퍼런스 이미지의 특징점 및 상기 근접 특징점에 대한 소정의 스코어링을 수행하며, 상기 스코어링 값이 소정 기준치 이상인 경우에 상기 광고 분류부가 분류한 광고 이미지를 상기 공식 광고에 부합하는 것으로 판정하는 것을 특징으로 한다.
또한, 상기 광고 효과 분석 모듈은 상기 광고 판정 모듈로부터 공식 광고로 판정된 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 효과 분석부 및 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 디스플레이부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법은 그라운드 추정부가 스포츠 영상에서 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 단계와 객체 검출부가 상기 스포츠 영상에서 하나 이상의 객체들을 검출하고, 검출한 객체들에 대한 바운딩 박스의 평균 높이를 객체 높이로 산출하는 단계와 줌 결정부가 상기 그라운드 영역 추정부가 추정한 면적비와 상기 객체 검출부가 산출한 객체 높이에 따라 상기 스포츠 영상의 씬을 결정하는 단계와 광고 영역 생성부가 상기 객체 검출부가 검출한 객체에 광고 영역이 포함될 수 있는지 여부를 결정하고, 상기 결정된 씬 및 상기 검출된 객체에 광고 영역이 포함될 수 있는지 여부에 따라 상기 스포츠 영상에 상기 광고 영역을 생성하는 단계와 광고 이미지 검출부가 상기 생성된 광고 영역에 존재하는 광고 이미지를 검출하고, 상기 검출된 광고 이미지의 특징점 및 데이터 세트에 저장된 레퍼런스 이미지의 특징점을 광고 부합 판정부로 제공하는 단계와 광고 분류부가 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하여 상기 광고 부합 판정부로 전송하는 단계와 상기 광고 부합 판정부가 상기 제공된 광고 이미지의 특징점 및 상기 레퍼런스 이미지의 특징점을 대비하여 상기 분류된 광고 이미지가 공식 광고에 부합하는지 여부를 판정하는 단계와 효과 분석부가 상기 공식 광고에 부합하는 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 단계 및 디스플레이부가 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 단계를 포함한다.
상기와 같이 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법은 중계되는 스포츠 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이할 수 있어, 스포츠 영상의 녹화없이도 경기장 내 광고 노출 효과를 실시간으로 용이하게 확인할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템의 구성을 나타내는 블럭도이다.
도 2는 HSV 색상표 중 색상 채널의 추출 기준 범위를 나타낸 예시도이다.
도 3은 그라운드 추정부가 HSV 모델에 따라 그라운드 후보 영역을 추출한 예시도이다.
도 4는 그라운드 추정부가 그라운드 영역을 추정한 예시도이다.
도 5는 객체 검출부가 스포츠 영상 내에서 객체를 검출한 예시도이다.
도 6은 광고 영역 생성부가 줌-노멀 화면에서 광고 영역을 생성한 예시도이다.
도 7은 광고 이미지 검출부가 줌-인 화면에서 광고 영역 내의 도형을 검출한 예시도이다.
도 8은 광고 이미지 검출부가 줌-노말 화면에서 광고 영역 내의 텍스트를 검출한 예시도이다.
도 9는 디스플레이부가 효과 분석부로부터 산출된 분석 결과를 스포츠 영상에 실시간 디스플레이한 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법을 설명하기 위한 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템(이하, '광고 분석 시스템'이라 함)의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 분석 시스템(10)은 씬(Scene) 결정 모듈(100), 광고 판정 모듈(300)및 광고 효과 분석 모듈(500)을 포함한다.
본 발명의 일 실시 예에 따른 분석 시스템(10)은 중계되는 스포츠 영상을 카메라의 시점에 따라 구분하고, 구분된 시점에 따라 검출된 텍스트나 이미지가 광고 에 해당하는지 실시간으로 판단하며, 광고라 판단된 텍스트나 이미지를 스포츠 영상 내 소정의 광고 영역에 표시된 것으로 분류함으로써 광고 효과를 분석할 수 있다.
이하 분석 시스템(10)의 각 구성요소(100, 300 및 500)에 대해서 상세히 설명한다.
씬 결정 모듈(100)은 그라운드 추정부(150), 객체 검출부(180) 및 줌 결정부(200)를 포함하며, 중계되는 스포츠 영상을 카메라의 시점에 따라 줌-인(Zoom-In) 화면, 줌-노멀(Zoom-Normal) 화면, 줌-아웃(Zoom-Out) 화면 등의 씬(Scene)으로 구분할 수 있다.
예컨대, 상기 줌-인 화면은 필드 플레이어나 심판을 보다 가까이에서 포착한 화면 또는 코칭 스태프 및 후보 선수들이 있는 벤치를 포착한 화면 등으로 볼 수 있고, 상기 줌-노멀 화면은 플레이가 진행되고 있는 일반적인 중계 화면이라 볼 수 있으며, 상기 줌-아웃 화면은 플레이가 진행되는 그라운드를 아주 멀리서 포착한 화면이라 할 수 있다.
즉, 씬 결정 모듈(100)은 상기 스포츠 영상 내에 등장하는 사람(예컨대, 필드 플레이어, 심판 또는 코칭 스태프 등)의 사이즈 및 상기 스포츠 영상 내에서 그라운드 영역이 차지하는 면적을 이용하여 상기 스포츠 영상을 줌-인 화면, 줌-노멀 화면 및 줌-아웃 화면 중 어느 하나의 씬(Scene)으로 구분할 수 있다.
우선, 그라운드 추정부(150)는 상기 스포츠 영상에서 그라운드 영역(G_area) 및 그라운드 영역이 차지하는 비율(G_ratio)을 추정한다.
그라운드 추정부(150)가 상기 스포츠 영상에서 그라운드 영역(G_area) 및 그라운드 영역이 차지하는 비율(G_ratio)을 추정하는 과정은 다음과 같다.
첫 번째로, 그라운드 추정부(150)는 HSV 모델을 이용하여 스포츠 영상에서 그라운드 후보 영역을 추출한다.
상기 HSV 모델은 색 모델의 하나인 색상(Hue)-채도(Saturation)-명도(Value) 모델을 의미하며, 그라운드 추정부(150)는 HSV 모델 중 특히 색상(Hue) 채널을 이용하여 상기 그라운드 후보 영역을 추출한다.
도 2는 HSV 색상표 중 색상 채널의 추출 기준 범위를 나타낸 예시도이다.
도 2를 참조해 보면 일반적인 축구장의 그라운드는 상기 색상 채널에서 녹색 범주(약 60도 내지 180도)에 포함되는 색상이며, 그라운드 추정부(150)는 상기 스포츠 영상 내에서 상기 그라운드 후보 영역을 보다 정확히 추출하기 위해 상기 색상 채널에서의 추출 기준 범위를 80도 내지 120도로 더 좁혀서 설정할 수 있다.
그라운드 추정부(150)는 상기 설정한 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하게 된다.
본 명세서에서는 설명의 편의를 위하여 축구장을 예로 들어 설명한 것일 뿐, 상기 그라운드는 농구나 야구 등 다양한 종목에서의 그라운드일 수 있다.
따라서, 상기 추출 기준 범위 역시 해당 종목에 따라 다양하게 설정될 수 있음은 물론이며, 예컨대 농구인 경우에 상기 추출 기준 범위는 30도 내지 60도로 설정될 수 있다.
도 3은 그라운드 추정부(150)가 HSV 모델에 따라 그라운드 후보 영역을 추출한 예를 나타낸다.
이때, 도 3의 (a)는 상기 스포츠 영상의 예를 나타내고, 도 3의 (b)는 상기 스포츠 영상에 대해 추출 기준 범위를 적용하여 상기 그라운드 후보 영역을 추출한 예를 나타낸다.
두 번째로, 그라운드 추정부(150)는 추출된 그라운드 후보 영역에 대한 이미지 후처리를 통해 그라운드 영역(G_area)을 최종 추정한다.
즉, 그라운드 추정부(150)는 상기 추출된 그라운드 후보 영역의 윤곽(Contour)을 복수의 폴리곤(Polygon)들로 근사한 후, 상기 근사한 폴리곤들의 볼록 껍질(Convex Hull)을 상기 그라운드 영역(G_area)으로 최종 추정한다.
도 4는 그라운드 추정부(150)가 그라운드 영역(G_area)을 추정한 예를 나타낸다.
이때, 도 4의 (a)는 이미지 후처리를 통해 상기 스포츠 영상에서 그라운드 영역(G_area)을 최종 추정한 예를 나타내고, 도 4의 (b)는 상기 스포츠 영상에 대해 상기 추정된 그라운드 영역(G_area)을 라인으로 표시한 예를 나타낸다.
이에 따라 그라운드 추정부(150)는 가로 방향으로 이어진 라인은 터치 라인(Touch Line)으로 추정하고, 세로 방향으로 이어진 라인은 골 라인(Goal Line)으로 추정하여 그라운드 영역을 추정할 수 있다.
세 번째로, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area)에 대한 면적으로부터 영상의 총 면적에 대한 비율(G_ratio)을 계산한다.
한편, 객체 검출부(180)는 상기 스포츠 영상에서 객체(object)로서 필드 플레이어, 코칭 스태프, 심판 등 사람을 검출하고 검출된 객체의 높이(ob_size)를 측정한다.
객체 검출부(180)는 객체 인식(Classification)을 위한 API로 텐서플로우 개체 인식 API(TensorFlow Object Detection API)와 같은 공지의 오픈소스 API를 이용할 수 있으며, 객체 및 객체의 특정 부분에 대한 바운딩 박스(Bounding Box) 뿐만 아니라 마스크 영역((Mask Contour)과 같은 객체 분할(Object Segmentation) 정보까지 활용할 수 있는 Mask-RCNN 모델을 이용할 수 있다.
도 5는 객체 검출부(180)가 스포츠 영상 내에서 객체를 검출한 예를 나타내는 도이다.
이때, 도 5의 (a)는 객체를 검출하여 바운딩 박스로 나타낸 예를 나타내고, 도 5의 (b)는 객체에 대한 바운딩 박스와 객체의 얼굴에 대한 바운딩 박스 및 객체의 마스크 영역(Mask Contour)을 나타낸 예이다.
즉, 도 5의 (a) 및 (b)의 빨간색 라인의 박스는 검출된 사람의 바운딩 박스를 나타내고, 도 5의 (b)에서의 검은색 라인의 박스는 사람의 얼굴에 대한 바운딩 박스를 나타내며, 노락색 라인은 사람의 마스크 영역(즉, 윤곽 라인)을 의미하고, 객체 검출부(180)는 해당 객체의 바운딩 박스 뿐만 아니라 마스크 영역까지 검출할 수 있다.
이후 객체 검출부(180)는 검출한 객체들 각각의 바운딩 박스들을 기준으로 이들의 평균 높이(ob_size)를 계산한다.
실시 예에 따라, 객체 검출부(180)는 상기 스포츠 영상 내의 모든 객체를 검출하여 모든 객체들에 대한 바운딩 박스의 평균 높이를 계산하는 것이 아니라, 객체가 사람일 확률이 매우 높은 대상 만을 검출하여 이들에 대한 평균 높이를 계산함으로써 전체 계산 시간을 단축시킬 수도 있다.
한편, 줌 결정부(200)는 그라운드 영역 추정부(150)가 추정한 그라운드 영역의 면적비(G_ratio)와 객체 검출부(180)가 산출한 객체의 평균 높이(ob_size)에 따라 상기 스포츠 영상의 씬(Scene)을 상기 줌-인 화면, 줌-노멀 화면, 줌-아웃 화면 중 어느 하나로 결정한다.
예컨대, 줌 결정부(200)는 객체 검출부(180)로부터 계산된 바운딩 박스의 평균 높이(ob_size)가 소정의 최소 높이 기준치(예를 들어, 15 픽셀) 이하인 경우에는 줌-아웃 화면으로 결정하고, 소정의 최대 높이 기준치(예를 들어, 125 픽셀) 이상인 경우 줌-인 화면으로 결정한다.
또한, 줌 결정부(200)는 계산된 바운드 박스의 평균 높이(ob_size)가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이(예를 들어, 15 픽셀 ~ 125 픽셀)이고, 상기 추정된 그라운드 영역이 전체 영상에서 차지하는 비중(G_ratio)이 소정의 면적 기준치(예컨대, 20%) 이상인 경우에는 줌-노멀 화면으로 결정한다.
이때, 상기 추정된 그라운드 영역의 비중(G_ratio)이 20%를 만족하지 못하는 경우 기타 화면으로 분류할 수 있다.
실시 예에 따라, 줌 결정부(200)는 상기 스포츠 영상을 줌-노멀 화면으로 결정한 경우에, 추정된 그라운드 영역(G_area)을 가로로 이루어진 터치 라인을 중심으로 세로로 이루어지는 골 라인(Goal line)이 존재하는지, 존재한다면 터치 라인 좌측 또는 우측에 존재하는지에 따라 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰 중 어느 하나로 추정할 수 있다.
다시 도 1을 참조하면, 광고 판정 모듈(300)은 광고 영역 생성부(330), 광고 이미지 검출부(350), 광고 분류부(380) 및 광고 부합 판정부(400)를 포함하며, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(예컨대, 줌-인 화면, 줌-노멀 화면 및 줌-아웃 화면 중 어느 하나)에 따라 광고 영역(A_region)을 생성하고, 상기 광고 영역(A_region) 부근에서 텍스트 또는 이미지를 검출하여 광고 위치에 따라 분류하며, 검출된 텍스트 또는 이미지가 분류된 광고 위치에 적합한 광고인지 여부를 판정한다.
우선, 광고 영역 생성부(330)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면인 경우에, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)에 따라 광고가 게시될 복수의 광고 영역(A_region)을 생성한다.
예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면인 경우, 광고 영역 생성부(300)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)의 라인(터치 라인 또는 골 라인)을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 광고 영역 및 우측 그라운드 광고 영역들 중 해당하는 광고 영역(A_region)을 생성한다.
도 6은 도 1에 도시된 광고 영역 생성부가 줌-노멀 화면에서 광고 영역을 생성한 예를 나타낸다.
도 1 내지 도 6을 참조하면, 광고 영역 생성부(300)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면(보다 상세히는, 우측 골대 뷰)인 경우에, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 중심으로 중앙 관중석 광고 영역(예컨대, 붉은색 박스)과 우측 관중석 광고 영역(예컨대, 파란색 박스) 및 우측 관중석과 인접한 우측 그라운드 광고 영역(예컨대, 노란색 박스)을 생성한다.
한편, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면인 경우, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체에 따라 광고가 게시될 광고 영역(A_region)을 생성한다.
즉, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면인 경우, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역을 광고 영역(A_region)으로 생성한다.
예를 들어, 도 4의 (b)에서 검출된 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역(즉, 필드 플레이어의 유니폼)을 광고 영역(A_region)으로 생성할 수 있다.
실시 예에 따라, 광고 영역 생성부(300)는 상기 광고 영역(A_region)을 생성하기 이전에 상기 검출된 객체가 광고 영역(A_region)을 포함할 수 있는 대상인지 여부를 선행적으로 결정할 수도 있다.
예컨대, 객체 검출부(180)가 검출한 객체는 필드 플레이어, 골키퍼, 코칭 스태프, 후보 선수, 심판진, 일반 관중 등 여러 객체가 될 수 있는데, 광고 영역 생성부(300)는 이러한 객체들 중 필드 플레이어, 골키퍼, 코칭 스태프, 후보 선수 만을 광고 영역(A_region)을 생성할 대상으로 결정할 수 있다.
이를 위해서, 광고 영역 생성부(300)는 상기의 HSV 모델을 이용할 수 있으며, 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역의 색상(Hue)값을 추출하고 이를 소정의 광고 대상 객체 색상 값과 비교한다.
예를 들어, 하기 표 1과 같이 광고 대상 객체 색상 값이 설정되어 있는 경우에,
광고 대상 객체 Hue 범위
A팀 필드 플레이어 340도 ~ 30도
A팀 골키퍼 40도 ~ 80도
A팀 코칭 스태프 260 ~ 300도
A팀 후보선수 260 ~ 300도
심판진 230도 ~ 250도
B팀 필드 플레이어 170도 ~ 190도
광고 영역 생성부(300)는 도 4의 (b)와 같이 검출된 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역의 색상(Hue) 값을 추출하고, 추출한 색상 값이 340도 내지 30도 사이에 해당하면 상기 검출된 객체를 A팀 필드 플레이어로 판단하여 광고 영역(A_region)을 생성할 대상으로 결정하게 된다.다른 실시예에 따라, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체 뿐만 아니라 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)에 따라 광고가 게시될 복수의 광고 영역(A_region)을 추가로 생성할 수 있다.
예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면이지만 필드 플레이어 뿐만 아니라 그라운드 영역(G_area)의 윤곽 라인이 포착된 경우에는 상기 줌-노말 화면에서 설명한 광고 영역(예컨대, 중앙 관중석 광고 영역 또는 우측 그라운드 광고 영역 등에서 해당하는 영역)을 추가적으로 생성할 수 있다.
광고 이미지 검출부(350)는 광고 영역 생성부(330)로부터 생성된 광고 영역(A_region)으로부터 광고 이미지, 예컨대 기업 로고(CI)나 브랜드 로고(BI), 상호, 상표와 같은 도형(img) 또는 텍스트(txt)를 검출한다.
우선, 광고 이미지 검출부(350)는 광고 영역(A_region) 내의 광고 이미지 검출을 위해, SIFT, SURF, BRISK, FREAK과 같은 공지된 로컬 피쳐(Local Feature) 디텍트 방법을 이용해 광고 영역(A_region) 내에서 특징점(LF_1)을 추출함으로써 광고 이미지를 검출할 수 있다.
도 7은 광고 이미지 검출부(350)가 줌-인 화면에서 광고 영역(A_region) 내의 도형(img)을 검출한 예를 나타낸다.
도 7을 참조하면, 상기 줌-인 화면에서 광고 영역(A_region)은 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역(예컨대, 보라색 라인)이며, 광고 이미지 검출부(350)는 상기 광고 영역(A_region) 내에서 하늘색 박스 부분을 도형(img)으로 검출하였다.
또한, 광고 이미지 검출부(350)는 광고 영역(A_region) 내에서 검출된 광고 이미지가 텍스트(txt)인지 확인하기 위해, 영역 점수(Region score) 및 관련 점수(Affinity score)를 이용하는 뉴럴 네트워크(Neural Network) 기반의 텍스트 검출 모델을 이용할 수 있다.
일반적으로 텍스트 검출 모델에서 상기의 영역 점수는 해당 픽셀이 문자의 중심일 확률을 의미하고, 관련 점수는 해당 픽셀이 인접한 두 텍스트의 중심일 확률을 의미하며, 이러한 스코어를 통해 개별 텍스트가 하나의 단어로 그룹화 될 수 있는지 결정할 수 있다.
즉, 광고 이미지 검출부(350)는 생성된 광고 영역(A_region)에서 검출된 광고 이미지의 개별 픽셀이 텍스트일 확률을 판단함으로써 개별 텍스트를 검출하고, 검출된 개별 텍스트 상호 간의 연결성을 검토하여 단어 단위의 텍스트를 검출한다.
이후 단어 단위의 텍스트들이 가로 방향으로는 서로의 인접 에지(Edge)가 소정 거리 범위에 존재하고 세로 방향으로는 소정의 IoU(Intersection over Union)를 만족했을 때, 광고 이미지 검출부(350)는 이들 단어 단위의 텍스트들을 결합(merge)하여 최종 텍스트(txt)로서 검출한다.
도 8은 광고 이미지 검출부(350)가 줌-노말 화면에서 광고 영역(A_region) 내의 텍스트(txt)를 검출한 예를 나타낸다.
도 8을 참조하면, 광고 이미지 검출부(350)는 앞서 생성된 광고 영역(A_region) 중 중앙 관중석 광고 영역(빨간색 박스 영역)의 A 보드와 1층 관중석 플로어에서 텍스트(txt)를 검출하였고, 우측 관중석 광고 영역(파란색 박스 영역)의 A 보드와 2층 관중석플로어에서 텍스트(txt)를 검출하였으며, 우측 그라운드 광고영역(노란색 박스 영역)의 3D 보드에서 텍스트(txt)를 검출하였다.
실시 예에 따라, 광고 이미지 검출부(350)는 상기 추출한 특징점(LF_1)을 광고 부합 판정부(400)로 제공할 수 있으며, 실제 경기장에서 게시될 광고의 원본 이미지 등에 대한 특징점(LF_2)을 추출하여 광고 부합 판정부(400)로 제공할 수 있다.
광고 이미지 검출부(350)가 이러한 특징점(LF_1 및 LF_2)들을 광고 부합 판정부(400)로 제공하는 내용은 이후 광고 부합 판정부(400)에 대한 설명에서 다시 상세히 설명한다.
한편, 광고 분류부(380)는 앞서 그라운드 추정부(150)가 추정한 그라운드의 경계 라인(예컨대, 터치 라인 또는 골 라인)으로부터 각 텍스트(txt) 또는 도형(img)까지의 거리를 계산하고 그룹화함으로써 각 텍스트(txt) 또는 도형(img)과 같은 광고 이미지를 광고 유형에 따라 분류한다.
예컨대, 상기 터치 라인으로부터 가장 가까운 거리의 그룹은 상기 광고 유형 중 A 보드 광고로 분류하고 순차적으로 1층 관중석 플로어 광고, 2층 관중석 플로어 광고로 분류한다.
또한, 상기 골 라인으로부터 가장 가까운 그룹은 상기 광고 유형 중 3D 보드 광고로 분류하고 순차적으로 A 보드 광고, 1층 관중석 플로어 광고, 2층 관중석 플로어 광고로 분류한다.
나아가, 광고 분류부(380)는 검출된 텍스트(txt) 또는 도형(img)이 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역에서 검출된 경우, 이들 그룹은 상기 광고 유형 중 어패럴 광고로 분류한다.
이후, 광고 분류부(380)는 그룹별로 분류된 광고(C_ad)를 광고 부합 판정부(400)로 전송한다.
한편, 광고 부합 판정부(400)는 광고 분류부(380)에 의해 분류된 광고(C_ad)가 해당 경기장 내에 공식 발주된 광고에 부합하는지 여부를 판정한다.
일반적으로 스포츠 경기에 광고를 게시할 스폰서들은 사전에 정해지며, 상기 스폰서들이 게시할 광고들 역시 미리 정해져 있다.
광고 부합 판정부(400)는 상기와 같이 공식 발주된 광고들에 대한 광고 정보를 소정의 광고 유형에 따라 분류하여 데이터 세트(Data-Set)에 저장한다.
상기 광고 정보는 게시될 광고의 명칭, 광고 단가 뿐만 아니라 광고의 원본 이미지 및 상기 원본 이미지에 대한 베리에이션 이미지(예컨대, 늘이기, 기울이기, 흐리기 등이 이루어진 이미지)에서 추출된 특징점(Local Feature)을 포함할 수 있다.
본 명세서에서는 상기 광고의 원본 이미지 및 상기 원본 이미지에 대한 베리에이션 이미지를 레퍼런스 이미지라고 정의한다.
또한, 상기 소정의 광고 유형이란 앞서 설명한 바와 같이 광고가 게시될 위치를 의미하며, 예컨대 A 보드, 1층 관중석 플로어, 2층 관중석 플로어, 3D 보드 등이 될 수 있다.
한편, 실시 예에 따라서는 상기 광고 유형들 중 특정 유형(예컨대, A 보드)에 게시될 광고는 특정 스폰서만의 단독 광고일 수 있으며, 다른 유형(예컨대, 3D 보드)에 게시될 광고는 복수의 스폰서들의 광고일 수도 있다.
즉, 광고 부합 판정부(400)는 A 보드에 대해서 특정 스폰서의 레퍼런스 이미지에 대한 특징점을 데이터 세트(Data-Set)에 저장하며, 3D 보드에 대해서는 여러 스폰서들 각각의 레퍼런스 이미지에 대한 특징점을 데이터 세트(Data-Set)에 저장할 수 있다.
이후, 광고 부합 판정부(400)는 광고 분류부(380)가 분류한 광고(예컨대, 실제 스포츠 영상에서 검출되어 분류된 광고)의 특징점(LF_1)과 데이터 세트(Data-Set)의 해당 광고 유형에 대한 특징점(LF_2)을 대비함으로써 광고 분류부(380)가 분류한 광고(C_ad)가 공식 발주된 광고에 해당하는지 판정한다.
예를 들어, 광고 분류부(380)가 분류한 광고(C_ad)가 A 보드 광고인 경우에, 광고 부합 판정부(400)는 상기 분류한 광고(C_ad)의 텍스트 또는 도형의 특징점과 데이터 세트((Data-Set)의 해당 광고 유형(즉, A 보드)에 저장된 광고 정보(즉, 레퍼런스 이미지들의 특징점)를 대비하여 광고 분류부(380)가 분류한 광고(C_ad)가 공식 발주된 광고에 해당하는지 판정한다.
이때, 광고 분류부(380)가 분류한 광고(C_ad)의 텍스트(txt) 또는 도형(img)의 특징점들(LF_1)과 데이터 세트(Data-Set)의 해당 광고 유형에 대한 특징점(LF_2)들은 광고 이미지 검출부(350)로부터 추출될 수 있음은 앞서 설명한 바와 같다.
그리고 광고 부합 판정부(400)가 상기의 특징점들(LF_1 및 LF_2)을 대비하여 광고 분류부(380)에 의해 분류된 광고(C_ad)가 공식 발주된 광고에 해당하는지를 판정하는 방법은 다음과 같다.
우선, 광고 부합 판정부(400)는 분류된 광고(C_ad)의 텍스트(txt) 또는 도형(img)에 대한 제1특징점(LF_1)과 해당하는 레퍼런스 이미지에 대한 제2특징점(LF_2)을 비교하여 일정 기준치 이상의 유사도를 보이는 특징점들을 제3특징점(LF_3)으로 선정한다.
이때, 상기 광고 부합 판정부(400)는 k-NN((k-Nearest Neighbor)과 같은 공지의 분류 알고리즘을 이용하여 제1특징점(LF_1)과 제2특징점(LF_2)에 대한 근접 특징점을 탐색하고, 탐색된 근접 특징점이 소정 기준치 이상의 유사도를 보일 때, 이를 제3특징점(LF_3)으로 선정한다.
이후, 광고 부합 판정부(400)는 하기의 수학식 1과 같이 광고 부합 판정을 위한 스코어링을 수행한다.
Figure PCTKR2021001927-appb-M000001
즉, 광고 부합 판정부(400)는 제3특징점(LF_3)의 개수를 제1특징점(LF_1)과 제2특징점(LF_2)의 개수의 합에서 제3특징점(LF_3)의 개수를 뺀 개수만큼 나눈 값으로 상기 스코어를 산정한다.
그리고, 광고 부합 판정부(400)는 상기의 수학식과 같이 계산된 스코어가 소정의 기준치 이상을 만족하는 경우에 광고 분류부(380)에 의해 분류된 광고(C_ad)가 공식 발주된 광고에 해당하는 적합한 광고(Au_ad)로 판정한다.
이때, 상기 스코어는 1.0에서 0.0 까지의 범위를 가질 수 있고, 상기 소정의 기준치는 0.5로 설정될 수 있다.
다시 도 1을 참조하면, 광고 효과 분석 모듈(500)은 효과 분석부(530) 및 디스플레이부(580)를 포함하며, 광고 부합 판정부(400)로부터 공식 발주된 광고에 해당한다고 판정된 광고(Au_ad)들을 분석하고, 분석한 결과를 상기 스포츠 영상에 실시간으로 디스플레이한다.
우선, 효과 분석부(530)는 광고 부합 판정부(400)로부터 공식 발주된 광고에 해당한다고 판정된 광고(Au_ad)들과 대응하는 데이터 세트(Data-Set)에 저장된 공식 발주된 광고의 노출 시간, 노출 횟수를 누적 산출하고 해당 광고에 대한 효과 금액을 추정한다.
이때, 상기 해당 광고에 대한 효과 금액은 해당 광고의 기준 단가에 상기 노출 시간을 반영한 금액으로 추정될 수 있다.
결국, 효과 분석부(530)는 상기 스포츠 경기의 실시간 중계 중 해당 광고의 명칭, 광고 유형(예컨대, 위치), 노출 시간, 노출 횟수, 효과 금액에 대한 분석 결과(AD_res)를 산출할 수 있다.
디스플레이부(580)는 효과 분석부(530)로부터 산출된 분석 결과(AD_res), 즉 해당 광고명, 광고 유형, 광고 노출시간, 광고 노출횟수, 효과 금액 등을 스포츠 영상에 실시간 디스플레이할 수 있다.
도 9는 디스플레이부(580)가 효과 분석부(530)로부터 분석된 해당 광고의 분석 결과(AD_res)를 상기 스포츠 영상에 실시간 디스플레이한 예를 나타낸다.
이때, 도 9의 (a)는 제1시점(예컨대, 전반 5분 21초)에서 검출된 A 보드 광고, 1층 관중석 플로어 광고 및 3D 보드 광고의 분석 결과가 노란색 박스안에 디스플레이 된 예시를 나타내고, 도 9의 (b)는 상기 제1시점 이후의 제2시점(예컨대, 전반 5분 33초)에서 검출된 어패럴 광고에 대한 분석 결과가 노란색 박스안에 디스플레이 된 예시를 나타낸다.
상기와 같이, 본 발명의 일 실시 예에 따른 광고 분석 시스템(10)은 중계되는 스포츠 영상을 시점에 따라 구분하고, 구분된 시점에 따라 검출된 텍스트나 이미지가 공식 광고에 해당하는지를 판단하며, 공식 광고라 판단되는 경우에 이에 대한 분석 결과를 스포츠 영상 내에 실시간 디스플레이할 수 있는 효과가 있다.
도 10은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법(이하, '광고 분석 방법'이라 함)을 설명하기 위한 순서도이다.
도 1 내지 도 10을 참조하면, 그라운드 추정부(150)는 HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출한다(S30).
순차적으로 그라운드 추정부(150)는 추출된 그라운드 후보 영역의 윤곽에 대한 이미지 후처리(그라운드 윤곽에 대해 적은 수의 폴리곤으로 근사한 후 폴리곤의 볼록껍질 이용)를 통해 그라운드 영역(G_area)을 추정한다(S50).
이때, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area) 중 가로 방향으로 이어진 라인은 터치 라인(Touch Line)으로 추정하고, 세로 방향으로 이어진 라인은 골 라인(Goal Line)으로 추정하여 그라운드 영역을 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰로 나눌 수 있다.
이후, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area)에 대한 면적으로부터 상기 스포츠 영상의 총 면적에 대한 비율(G_ratio)을 계산한다(S80).
객체 검출부(180)는 상기 스포츠 영상에서 하나 이상의 객체들(필드 플레이어, 코칭 스태프, 심판 등)을 검출하고(S130), 검출된 객체에 대한 바운딩 박스의 평균 높이(ob_size)를 계산한다(S150).
이때, 객체 검출부(180)는 객체 및 객체의 특정 부분(예컨대, 얼굴)에 대한 바운딩 박스(Bounding Box) 뿐만 아니라 마스크 영역((Mask Contour)과 같은 객체의 윤곽 라인까지 검출할 수 있다(S130).
객체 검출부(180)는 상기 스포츠 영상 내의 모든 객체를 검출하여 모든 객체들에 대한 바운딩 박스의 평균 높이(ob_size)를 계산할 수 있으나, 실시 예에 따라서는 객체가 사람일 확률이 매우 높은 대상 만을 검출하여 이들에 대한 평균 높이(ob_size)를 계산함으로써 전체 계산 시간을 단축시킬 수도 있다.
줌 결정부(200)는 그라운드 영역 추정부(150)가 추정한 그라운드 영역 면적비(G_ratio)와 객체 검출부(180)가 산출한 객체의 바운딩 박스 평균 높이(ob_size)에 따라 상기 스포츠 영상의 씬(Scene)을 줌-인 화면, 줌-노멀 화면, 줌-아웃 화면 중 어느 하나로 결정한다(S200).
예컨대, 줌 결정부(200)는 객체 검출부(180)로부터 계산된 바운딩 박스의 평균 높이(ob_size가 소정의 최소 기준치 이하인 경우에는 줌-아웃 화면으로 결정하고, 소정의 최대 기준치 이상인 경우 줌-인 화면으로 결정한다.
또한, 상기 계산된 바운드 박스의 평균 높이(ob_size)가 상기 소정 최소 기준치와 상기 소정의 최대 기준치 사이이고, 상기 추정된 그라운드 영역(G_area)이 전체 영상에서 차지하는 비중(G_ratio)이 소정 비율 이상인 경우에는 줌-노멀 화면으로 결정한다.
광고 영역 생성부(330)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)에 따라 광고 영역(A_region)을 생성한다(S230).
만일 결정된 씬(Scene)이 줌-노멀 화면인 경우에, 광고 영역 생성부(330)는 그라운드 추정부(150)가 추정한 그라운드 영역(예컨대, 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰)에 광고가 게시될 광고 영역을 생성한다.
예컨대, 광고 영역 생성부(300)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 광고 영역 및 우측 그라운드 광고 영역들 중 해당하는 광고 영역(A_region)을 생성한다.
만일 결정된 씬(Scene)이 줌-인 화면인 경우에, 광고 영역 생성부(330)는 객체 검출부(180)가 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역을 광고 영역(A_region)으로 생성한다.
이때, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체가 광고 영역(A_region)을 포함할 수 있는 대상인지 여부를 상기 HSV 모델을 이용하여 선행적으로 결정할 수 있다(S210).
실시 예에 따라, 결정된 씬(Scene)이 줌-인 화면인 경우라도, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체 뿐만 아니라, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 반영하여 광고가 게시될 복수의 광고 영역(A_region)을 추가로 생성할 수도 있다.
예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면이지만 필드 플레이어 뿐만 아니라 그라운드 영역(G_area)의 윤곽 라인(터치라인이나 골라인)이 포착된 경우에는 상기 줌-노말 화면에서 설명한 광고 영역(A_region)을 추가적으로 생성할 수 있다.
광고 이미지 검출부(350)는 광고 영역 생성부(330)로부터 생성된 광고 영역(A_region) 으로부터 광고 이미지, 즉, 도형(img) 또는 텍스트(txt)를 검출한다(S250).
이때, 광고 이미지 검출부(350)는 광고 영역(A_region) 내의 광고 이미지 검출을 위해 공지된 로컬 피쳐(Local Feature) 디텍트 방법을 이용하여 광고 영역(A_region) 내에서 특징점(LF_1)을 추출함으로써 영역 내(A_region)의 광고 이미지를 검출할 수 있다.
또한, 광고 이미지 검출부(350)는 광고 영역(A_region) 내에서 검출된 광고 이미지에 대하여 영역 점수 및 관련 점수를 사용하는 뉴럴 네트워크 기반의 텍스트 검출 모델을 활용하여 개별 텍스트와 단어 텍스트를 검출하고, 검출된 단어 단위의 텍스트들의 인접 에지의 거리 및 소정의 IoU 만족 여부에 따라 최종 텍스트(txt)를 검출할 수 있다.
순차적으로, 광고 이미지 검출부(350)는 상기 광고 영역(A_region) 내에서 추출한 특징점(LF_1)을 광고 부합 판정부(400)로 제공하고(S270), 광고 부합 판정부(400)의 데이터 세트(Data-Set)에 저장된 공식 광고들의 레퍼런스 이미지에 대한 특징점(LF_2)을 추출하여 광고 부합 판정부(400)로 제공한다(S280).
한편, 광고 분류부(380)는 광고 이미지 검출부(350)가 검출한 도형(img) 또는 텍스트(txt)를 그룹화하여 분류한다(S300).
이때, 광고 분류부(380)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)의 경계 라인(예컨대, 터치 라인 또는 골 라인)으로부터 검출된 도형 또는 텍스트까지의 거리를 계산하고 그룹화하여 분류하거나, 검출된 텍스트 또는 도형이 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역에서 검출된 경우에는 이들을 어패럴 광고로 분류한다(S300).
순차적으로, 광고 분류부(380)는 그룹별로 분류된 광고(C_ad)를 광고 부합 판정부(400)로 전송한다(S330).
광고 부합 판정부(400)는 광고 분류부(380)가 분류한 광고(예컨대, 실제 스포츠 영상에서 검출되어 분류된 광고)의 특징점(LF_1)과 데이터 세트(Data-Set)의 해당 광고 위치에 대한 특징점(LF_2)을 대비함으로써 광고 분류부(380)가 분류한 광고가 공식 발주된 광고에 해당하는지 판정한다(S400).
이를 위해, 광고 부합 판정부(400)는 k-NN 알고리즘을 이용해 분류된 광고의 텍스트 또는 도형에 대한 제1특징점(LF_1)과 해당하는 레퍼런스 이미지에 대한 제2특징점(LF_2)에 대한 근접 특징점을 탐색하고, 탐색된 근접 특징점이 소정 기준치 이상의 유사도를 보이는 경우에 이를 제3특징점(LF_3)으로 선정한다(S330).
순차적으로, 광고 부합 판정부(400)는 상기 수학식 1과 같이 광고 부합 판정을 위한 스코어링을 수행하고, 산정된 스코어가 소정의 기준치 이상을 만족하는 경우에 공식 발주된 광고라 판정한다(S400).
한편, 효과 분석부(530)는 광고 부합 판정부(400)로부터 공식 광고에 해당한다고 판정된 광고(Au_ad)들에 대해서, 이들과 대응하는 테이터 세트(Data-Set) 상의 공식 광고의 노출 시간, 노출 횟수 및 효과 금액을 산출한다(S430).
이때, 상기 효과 금액은 해당 광고의 기준 단가에 상기 노출 시간을 반영한 금액으로 추정될 수 있다.
순차적으로 효과 분석부(530)는 상기 데이터 세트 상의 공식 광고의 명칭, 광고 유형, 노출 시간, 노출 횟수, 효과 금액에 대한 분석 결과(AD_res)를 디스플레이부로 전송한다(S450).
디스플레이부(580)는 효과 분석부(530)로부터 전송된 분석 결과(AD_res)인 해당 광고의 명칭, 광고 유형, 노출 시간, 노출 횟수, 효과 금액 등을 상기 스포츠 영상에 실시간으로 디스플레이한다(S500).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 인공지능을 이용하여 중계되는 스포츠 영상에서 카메라의 시점에 따라 광고 영역을 생성하고, 생성한 광고 영역에 등장하는 이미지를 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법에 대한 것으로 산업상 이용가능성이 있다.

Claims (12)

  1. 중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬(Scene)을 결정하는 씬 결정 모듈;
    상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈; 및
    상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈;을 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  2. 제1항에 있어서, 상기 씬 결정 모듈은,
    상기 스포츠 영상에서 상기 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 그라운드 추정부;
    상기 스포츠 영상에서 상기 객체를 검출하고 상기 검출한 객체의 높이를 산출하는 객체 검출부; 및
    상기 그라운드 영역 추정부가 추정한 그라운드 영역이 차지하는 면적비와 상기 객체 검출부가 산출한 객체의 높이에 따라 상기 씬을 결정하는 줌 결정부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  3. 제2항에 있어서, 상기 그라운드 추정부는,
    HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하고,
    상기 추출한 그라운드 후보 영역의 윤곽에 대해 복수의 폴리곤들로 근사한 볼록 껍질을 상기 그라운드 영역으로 추정하며,
    상기 스포츠 영상의 면적에서 상기 추정한 그라운드 영역의 면적이 차지하는 비율을 상기 면적비로 추정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  4. 제2항에 있어서, 상기 객체 검출부는,
    객체 인식 API를 이용하여 상기 스포츠 영상에 존재하는 객체들 각각에 대한 바운딩 박스와 상기 객체들 각각의 특정 부분에 대한 바운딩 박스 및 상기 객체들 각각의 마스크 영역을 검출하고,
    상기 검출한 객체들 각각의 바운딩 박스의 평균 높이를 상기 검출한 객체의 높이로 산출하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  5. 제2항에 있어서, 상기 줌 결정부는,
    상기 객체 검출부로부터 산출된 객체의 높이가 최소 높이 기준치 미만인 경우에 상기 씬을 줌-아웃 화면으로 결정하고,
    상기 객체 검출부로부터 산출된 객체의 높이가 최대 높이 기준치를 초과하는 경우에 상기 씬을 줌-인 화면으로 결정하며,
    상기 객체 검출부로부터 산출된 객체의 높이가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이의 값을 갖고, 상기 그라운드 추정부가 추정한 면적비가 소정 면적 기준치 이상인 경우에 상기 씬을 줌-노멀 화면으로 결정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  6. 제1항에 있어서, 상기 광고 판정 모듈은,
    상기 결정된 씬에 따라 상기 스포츠 영상 내에 광고 영역을 생성하는 광고 영역 생성부;
    상기 생성된 광고 영역에 존재하는 도형 및 텍스트를 상기 광고 이미지로서 검출하는 광고 이미지 검출부;
    상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하는 광고 분류부; 및
    상기 분류된 광고 이미지와 데이터 세트에 저장된 공식 광고를 대비하여 상기 분류된 광고 이미지가 상기 공식 광고에 부합하는지 여부를 판정하는 광고 부합 판정부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  7. 제6항에 있어서, 상기 광고 영역 생성부는,
    상기 결정된 씬이 줌-노멀 화면인 경우에 상기 씬 결정 모듈이 추정한 그라운드 영역을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 영역 및 우측 그라운드 광고 영역 중 적어도 어느 하나를 상기 광고 영역으로 생성하고,
    상기 결정된 씬이 줌-인 화면인 경우에 상기 씬 결정 모듈이 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역을 상기 광고 영역으로 생성하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  8. 제6항에 있어서, 상기 광고 이미지 검출부는,
    로컬 피쳐 디텍트 방법을 이용해 상기 광고 영역 내에서 특징점을 추출함으로써 상기 도형을 검출하고,
    영역 점수 및 관련 점수 기반의 텍스트 검출 방법을 이용해 상기 도형으로부터 개별 텍스트 및 단어 텍스트를 검출함으로써 상기 텍스트를 검출하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  9. 제6항에 있어서, 상기 광고 분류부는,
    상기 결정된 씬이 줌-노멀 화면인 경우에 상기 검출된 광고 이미지를 상기 추정한 그라운드 영역의 경계 라인으로부터의 거리에 따라 그룹화함으로써 분류하고,
    상기 결정된 씬이 줌-인 화면인 경우에 상기 검출된 광고 이미지를 어패럴 광고로 분류하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  10. 제6항에 있어서, 상기 광고 부합 판정부는,
    K-NN 분류 알고리즘을 이용해 상기 광고 분류부로부터 분류된 광고 이미지의 특징점과 상기 데이터 세트에 저장된 공식 광고의 레퍼런스 이미지의 특징점을 대비하여 소정 기준치 이상의 근접 특징점을 선정하고,
    상기 광고 이미지의 특징점과 상기 레퍼런스 이미지의 특징점 및 상기 근접 특징점에 대한 소정의 스코어링을 수행하며,
    상기 스코어링 값이 소정 기준치 이상인 경우에 상기 광고 분류부가 분류한 광고 이미지를 상기 공식 광고에 부합하는 것으로 판정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  11. 제 1항에 있어서, 상기 광고 효과 분석 모듈은,
    상기 광고 판정 모듈로부터 공식 광고로 판정된 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 효과 분석부; 및
    상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 디스플레이부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
  12. 그라운드 추정부가 스포츠 영상에서 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 단계;
    객체 검출부가 상기 스포츠 영상에서 하나 이상의 객체들을 검출하고, 검출한 객체들에 대한 바운딩 박스의 평균 높이를 객체 높이로 산출하는 단계;
    줌 결정부가 상기 그라운드 영역 추정부가 추정한 면적비와 상기 객체 검출부가 산출한 객체 높이에 따라 상기 스포츠 영상의 씬을 결정하는 단계;
    광고 영역 생성부가 상기 객체 검출부가 검출한 객체에 광고 영역이 포함될 수 있는지 여부를 결정하고, 상기 결정된 씬 및 상기 검출된 객체에 광고 영역이 포함될 수 있는지 여부에 따라 상기 스포츠 영상에 상기 광고 영역을 생성하는 단계;
    광고 이미지 검출부가 상기 생성된 광고 영역에 존재하는 광고 이미지를 검출하고, 상기 검출된 광고 이미지의 특징점 및 데이터 세트에 저장된 레퍼런스 이미지의 특징점을 광고 부합 판정부로 제공하는 단계;
    광고 분류부가 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하여 상기 광고 부합 판정부로 전송하는 단계;
    상기 광고 부합 판정부가 상기 제공된 광고 이미지의 특징점 및 상기 레퍼런스 이미지의 특징점을 대비하여 상기 분류된 광고 이미지가 공식 광고에 부합하는지 여부를 판정하는 단계;
    효과 분석부가 상기 공식 광고에 부합하는 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 단계; 및
    디스플레이부가 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 단계;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법.
PCT/KR2021/001927 2020-03-27 2021-02-15 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법 WO2021194090A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/914,756 US11962873B2 (en) 2020-03-27 2021-02-15 Advertisement analysis system and method for sports broadcasting video using artificial intelligence

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200037211A KR102333438B1 (ko) 2020-03-27 2020-03-27 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법
KR10-2020-0037211 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021194090A1 true WO2021194090A1 (ko) 2021-09-30

Family

ID=77892324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001927 WO2021194090A1 (ko) 2020-03-27 2021-02-15 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법

Country Status (3)

Country Link
US (1) US11962873B2 (ko)
KR (1) KR102333438B1 (ko)
WO (1) WO2021194090A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481991B1 (ko) * 2022-03-14 2022-12-29 장미래 운동모임 매칭 플랫폼 서비스 제공 장치, 시스템, 방법 및 프로그램
KR20230137664A (ko) * 2022-03-22 2023-10-05 주식회사 오스리움 메타버스 광고 오픈 마켓플레이스 제공 서버, 사용자 단말, 크리에이터 단말 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
KR20090115788A (ko) * 2009-10-23 2009-11-06 류충희 온라인 광고 시스템
KR20100126930A (ko) * 2009-05-25 2010-12-03 송인걸 중계 방송 시스템의 광고 삽입 방법 및 그 장치
KR20150087486A (ko) * 2014-01-21 2015-07-30 에스케이플래닛 주식회사 가상간접 광고 광고비 산정 방법 및 이를 위한 장치
KR20180098031A (ko) * 2017-02-24 2018-09-03 (주)스포츠인텔리전스 스포츠 이벤트 경기장의 광고 영역 배정 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054328A (ko) * 2000-06-01 2000-09-05 이성환 방송 중계 영상 화면의 광고교체방법
KR20020022209A (ko) * 2000-09-19 2002-03-27 유석호 인터넷광고 서비스시스템
US8712831B2 (en) * 2004-11-19 2014-04-29 Repucom America, Llc Method and system for quantifying viewer awareness of advertising images in a video source
ITRM20050192A1 (it) * 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
US9239958B2 (en) * 2007-11-09 2016-01-19 The Nielsen Company (Us), Llc Methods and apparatus to measure brand exposure in media streams
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
KR20130007339A (ko) 2011-07-01 2013-01-18 (주)에스엠에스리서치앤컨설팅 브랜드 노출효과 분석 시스템 및 방법
CN105308636A (zh) 2014-01-21 2016-02-03 Sk普兰尼特有限公司 用于提供虚拟广告的设备和方法
KR101564313B1 (ko) * 2014-01-24 2015-10-29 에스케이플래닛 주식회사 가상간접 광고 삽입을 위한 삽입 영역 가이드 정보 제공 장치 및 방법
US10430662B2 (en) * 2016-09-21 2019-10-01 GumGum, Inc. Training machine learning models to detect objects in video data
KR20190097961A (ko) * 2018-02-13 2019-08-21 한국전자통신연구원 광고 서비스 장치 및 방법
JP7472548B2 (ja) * 2020-03-03 2024-04-23 株式会社Ｊｖｃケンウッド サーバ、試合表示システム、広告設定方法及び広告設定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
KR20100126930A (ko) * 2009-05-25 2010-12-03 송인걸 중계 방송 시스템의 광고 삽입 방법 및 그 장치
KR20090115788A (ko) * 2009-10-23 2009-11-06 류충희 온라인 광고 시스템
KR20150087486A (ko) * 2014-01-21 2015-07-30 에스케이플래닛 주식회사 가상간접 광고 광고비 산정 방법 및 이를 위한 장치
KR20180098031A (ko) * 2017-02-24 2018-09-03 (주)스포츠인텔리전스 스포츠 이벤트 경기장의 광고 영역 배정 장치 및 방법

Also Published As

Publication number Publication date
US20230353839A1 (en) 2023-11-02
KR102333438B1 (ko) 2021-12-02
US11962873B2 (en) 2024-04-16
KR20210120469A (ko) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2021194090A1 (ko) 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법
US11019283B2 (en) Augmenting detected regions in image or video data
WO2020040391A1 (ko) 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
WO2017010695A1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
WO2012128574A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO1997003517A1 (en) Methods and apparatus for producing composite video images
WO2010119996A1 (ko) 동영상 관련 광고를 제공하는 방법 및 그 장치
KR20020062429A (ko) 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
WO2016200208A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2012131653A2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US8538233B2 (en) Automatic camera identification from a multi-camera video stream
WO2021162313A1 (ko) 골프공에 대한 크랙 판별장치 및 방법
WO2021012508A1 (zh) Ai影像识别方法、装置、设备及存储介质
WO2015020256A1 (ko) 직접 반응 광고 검출 및 분류 시스템 및 방법
JP2000105583A (ja) インタラクティブ表示装置
EP2787741A1 (en) Video processing system and method
CN113888588A (zh) 目标跟踪方法、装置、设备及存储介质
CN116308530A (zh) 一种广告植入方法、装置、设备和可读存储介质
WO2021162305A1 (ko) 스포츠 동영상 기반 플랫폼 서비스를 제공하는 서버의 동작 방법
WO2024091084A1 (ko) 동영상 자동 생성을 위한 참조 장면 추천 방법 및 참조 장면 추천 장치
JP2007164641A (ja) 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
EP0850536A2 (en) Method and apparatus for implanting images into a video sequence
Tahan et al. A computer vision driven squash players tracking system
Yu et al. A player-possession acquisition system for broadcast soccer video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774760

Country of ref document: EP

Kind code of ref document: A1