WO2023101345A1 - 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법 - Google Patents

행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법 Download PDF

Info

Publication number
WO2023101345A1
WO2023101345A1 PCT/KR2022/018962 KR2022018962W WO2023101345A1 WO 2023101345 A1 WO2023101345 A1 WO 2023101345A1 KR 2022018962 W KR2022018962 W KR 2022018962W WO 2023101345 A1 WO2023101345 A1 WO 2023101345A1
Authority
WO
WIPO (PCT)
Prior art keywords
mission
broadcaster
broadcasting
information
viewer
Prior art date
Application number
PCT/KR2022/018962
Other languages
English (en)
French (fr)
Inventor
박정훈
Original Assignee
박정훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박정훈 filed Critical 박정훈
Publication of WO2023101345A1 publication Critical patent/WO2023101345A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4784—Supplemental services, e.g. displaying phone caller identification, shopping application receiving rewards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Definitions

  • the present invention relates to a real-time broadcasting sponsor server and an operation method thereof. More specifically, the present invention relates to a real-time broadcasting sponsor server and an operation method thereof, in which a viewer of real-time broadcasting assigns a mission, and when the broadcaster performs the mission, donations are paid to the broadcaster.
  • Internet broadcasters conduct real-time personal broadcasting using domestic and foreign broadcasting platforms such as YouTube, Afreeca TV, Twitch, and Kakao TV.
  • Viewers can access the platform to watch broadcasts or participate in chatting, and can support broadcasters through sponsorship (eg, star balloons or donations, etc.). For example, a viewer may purchase a sponsored item (or cyber money, etc.) corresponding to a certain amount of money through a real-time broadcasting platform (or a real-time sponsoring platform) and sponsor a broadcaster using the purchased sponsored item. A sponsored broadcaster may pay an amount corresponding to the remaining sponsored items after paying a portion of the fee to the platform.
  • sponsorship eg, star balloons or donations, etc.
  • a viewer may purchase a sponsored item (or cyber money, etc.) corresponding to a certain amount of money through a real-time broadcasting platform (or a real-time sponsoring platform) and sponsor a broadcaster using the purchased sponsored item.
  • a sponsored broadcaster may pay an amount corresponding to the remaining sponsored items after paying a portion of the fee to the platform.
  • a viewer selects and uploads an article, image, or video to be shared with sponsorship, and the broadcaster confirms the sponsorship and shares the content with the viewer, thereby enabling interactive communication or allowing the viewer to share the content with the broadcaster. It was carried out in such a way that the desired mission was given to the broadcaster, and when the broadcaster performed the mission, the viewer confirmed it and sponsored it. Looking at broadcasting platforms such as Afreeca TV or Twitch, broadcasters get financial benefits through such events, and viewers get a sense of accomplishment by seeing texts, images, videos, or broadcasters' movements displayed on the broadcast window.
  • the conventional sponsoring method for viewer participation type real-time broadcasting has limitations in creating more interesting and creative content because the broadcaster's mission performance and the viewer's support are not automatically linked.
  • the present invention has been derived from the above background, and a real-time broadcasting sponsor server and its operating method in which a real-time broadcasting sponsor assigns a desired mission to a broadcaster and automatically recognizes it when the broadcaster performs the mission so that sponsorship is made. is intended to provide
  • An object of the present invention is to provide a real-time broadcasting sponsoring server and its operating method that automatically provide donations or sponsored items to Internet broadcasters.
  • the real-time broadcasting sponsor server based on automatic behavior recognition collects information on missions requested by Internet broadcasters to Internet broadcasters and donation deposit information, When the mission is completed, a sponsor management unit for processing the payment of the sponsor money; a behavior recognition unit configured to recognize a behavior of the broadcaster based on at least one of video and audio of the broadcaster and generate a behavior recognition result; and a mission performance determining unit that compares the action recognition result with information about the mission to determine whether or not the mission has been completed.
  • the real-time broadcasting sponsor server may further include an IoT control unit for controlling a broadcasting auxiliary IoT device when the mission is completed.
  • the information on the mission may be the name of at least one of a motion, facial expression, and posture requested from the broadcaster by the viewer of the Internet broadcasting.
  • the information on the mission may be at least one of a video and an image related to an action requested by the viewer of the Internet broadcasting to the broadcaster.
  • a real-time broadcasting sponsor system based on automatic behavior recognition includes an IoT device for behavior recognition that collects at least one of video and audio of an Internet broadcaster; And collects information on missions and donation deposit information requested by viewers of Internet broadcasting to the broadcaster, recognizes the broadcaster's behavior based on at least one of the broadcaster's video and audio information, and generates a behavior recognition result; , A server that compares the action recognition result with the information on the mission to determine whether or not the mission has been completed, and processes the payment of the donation when the mission has been completed.
  • the IoT device for action recognition may obtain depth information for each part of the broadcaster's body.
  • the server may control a broadcasting auxiliary IoT device when the mission is completed.
  • a real-time broadcasting system includes a broadcasting platform system; a broadcaster terminal that generates broadcasting content appeared by an Internet broadcaster and transmits it to the broadcasting platform system; and a viewer terminal for receiving the broadcast content from the broadcasting platform system and providing the broadcast content to a viewer.
  • the broadcasting platform system collects information on a mission requested by the viewer to the broadcaster and donation deposit information in the viewer terminal, and when it is determined that the mission is completed based on the broadcast content, the donation is paid. to process
  • the real-time broadcasting sponsor server based on automatic behavior recognition collects information about missions presented by any one of Internet broadcasters and Internet broadcasting viewers and information about compensation for missions, , When the performance of the mission is completed, a sponsor management unit for processing the payment of the reward; an action recognition unit for calculating a similarity in behavior between the broadcaster and the viewer based on the broadcaster's video and the viewer's video; and a mission performance determining unit that determines whether the mission has been completed based on whether the behavioral similarity falls within a predetermined range.
  • the reward-related information is at least one of prize money and channel points, subject to completion of the mission.
  • the real-time broadcasting sponsor server collects information on a mission requested by Internet broadcasters to an Internet broadcaster and donation deposit information, and when the mission is completed, the donation is paid.
  • Sponsorship management department that handles; a recognizing unit recognizing at least one of an object and a character appearing in the video of the broadcaster and generating a recognition result; and a mission performance determining unit that determines whether or not the mission has been completed based on whether the recognition result matches the information on the mission.
  • a method of operating a real-time broadcasting sponsor server includes a mission request information receiving step of receiving mission request information from a viewer terminal; a video/audio collection step of collecting at least one of video and audio of the Internet broadcaster; a behavior recognition step of generating a behavior recognition result of the broadcaster based on at least one of video and audio of the broadcaster; and an action-mission matching determination step of determining whether the action recognition result matches the mission request information.
  • a donation deposit step of receiving donation deposit information from the viewer terminal and matching it with the mission request information may further include, and after the action-mission match determination step, the action When the recognition result matches the mission request information, a donation payment step of processing the donation to be paid to the broadcaster in any one of full payment and partial payment; may be further included.
  • an auxiliary IoT control step of operating a broadcasting auxiliary IoT device may be further included.
  • the broadcaster's action may be recognized through a neural network learned through a deep learning technique.
  • an arbitrary IoT device when an internet broadcaster performs a mission assigned by a viewer, an arbitrary IoT device can be automatically operated in conjunction with this to provide viewers with novel and interesting content, and from a broadcaster's point of view, more It has the effect of inducing support.
  • FIG. 1 is a block diagram showing the configuration of a real-time broadcasting system according to a first embodiment of the present invention
  • FIG. 2 is a reference diagram showing a real-time personal broadcasting screen
  • FIG. 3 is a block diagram showing the configuration of a real-time broadcast sponsoring server according to a first embodiment of the present invention
  • FIG. 4 is a block diagram showing the configuration of a real-time broadcasting system according to a second embodiment of the present invention.
  • FIG. 5 is a block diagram showing the configuration of a real-time broadcast sponsoring server according to a second embodiment of the present invention.
  • FIG. 6 is a block diagram showing the configuration of a real-time broadcasting system according to a third embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of a real-time broadcast sponsoring server according to a third embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of a real-time broadcasting system according to a fourth embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of operating a real-time broadcast sponsoring server according to an embodiment of the present invention.
  • an Internet broadcaster (hereinafter abbreviated as 'broadcaster') means any one of a host, panel, and participant of Internet broadcasting, and PD (Play Director), creator, streamer, MC (Master of Ceremonies, BJ (Broadcasting Jockey), YouTuber, or broadcaster, etc., may be any one of broadcasters appearing in images delivered through various broadcasting platforms.
  • content refers to various types of information or contents provided through the Internet or computer communication. Specifically, it refers to information or contents such as letters, codes, voices, sounds, images, videos, etc. that are processed and distributed in digital form for use in wired/wireless electric communication networks.
  • FIG. 1 is a block diagram showing the configuration of a real-time broadcasting system according to a first embodiment of the present invention.
  • the real-time broadcasting system 1 includes a broadcaster terminal 10, a broadcasting platform system 20, a viewer terminal 30, a broadcasting camera 40, It is configured to include a microphone 50 and a real-time broadcasting sponsor server 100 (hereinafter referred to as 'server'), and may further include a broadcasting auxiliary IoT device 60.
  • the broadcaster terminal 10 generates content for broadcasting in real time. However, it is not limited thereto, and pre-generated content may be delivered from the outside.
  • the broadcaster terminal 10 transmits content produced by the broadcaster to the broadcasting platform system 20 .
  • the broadcaster terminal 10 may generate content by receiving video and audio from the broadcasting camera 40 and the microphone 50 through wired or wireless communication, but is not limited thereto.
  • the broadcaster terminal 10 may include a camera module for photographing the broadcaster or a microphone for collecting the broadcaster's voice.
  • the broadcaster terminal 10 transmits the generated content to the broadcasting platform system 20 so that streaming broadcasting can be performed.
  • the broadcaster terminal 10 may exchange information with the server 100 through wired/wireless communication.
  • the server 100 may transmit information on actions requested by the viewer to the broadcaster (hereinafter referred to as 'mission request information') and donation/sponsored item deposit information (hereinafter referred to as 'support money deposit information') to the broadcaster terminal 10 .
  • the broadcaster terminal 10 may display the mission request information and donation deposit information on the screen so that the broadcaster can recognize them.
  • the broadcasting platform system 20 receives content transmitted from the broadcaster terminal 10 .
  • the broadcasting platform system 20 may be connected to a plurality of broadcaster terminals 10 and may have a plurality of channels connected to each broadcaster terminal 10 .
  • the viewer terminal 30 accesses each channel in order to watch the content transmitted by the corresponding broadcaster terminal 10 .
  • the broadcasting platform system 20 may combine various effects set by the broadcaster terminal 10 with the received video, and may synthesize chatting transmitted by the viewer terminal 30 with the video.
  • the broadcasting platform system 20 may exchange information with the server 100 through wired/wireless communication.
  • the broadcasting platform system 20 may synthesize information provided by the server 100 (for example, information about a viewer's mission performance request and a broadcaster's mission performance result, or information that donations/sponsorship items have been paid to a broadcaster) into an image. there is.
  • Content synthesized and processed in the broadcasting platform system 20 may be transmitted to a plurality of viewer terminals 30 connected to the same channel in the broadcasting platform system 20 .
  • the broadcasting platform system 20 may transmit the information to the server 100.
  • the viewer terminal 30 accesses a specific channel of the broadcasting platform system 20 and provides content transmitted by the broadcaster terminal 10 connected to the specific channel to the viewer. That is, the broadcasting platform system 20 transmits the content received from the broadcaster terminal 10 to the viewer terminal 30 connected to the corresponding channel.
  • the broadcasting platform system 20 enables the viewer terminal 30 connected to a corresponding broadcasting channel to provide content transmitted in real time from the broadcaster terminal 10 to the viewer.
  • a plurality of viewers access a specific channel and watch a broadcast, a plurality of viewer terminals 30 exist in the real-time broadcasting system 1 .
  • the viewer's terminal 30 transmits, to the server 100 , information on actions ('mission request information') requested by the viewer to the broadcaster while being connected to the server 100 .
  • the mission request information may include information about a broadcaster who will perform an action requested by a viewer.
  • the viewer terminal 30 may deposit donation money or sponsor items for broadcasters along with transmission of missions.
  • the viewer terminal 30 transmits deposit information of sponsor money or sponsor items to the server 100 .
  • An application (or app) for receiving a broadcast from the broadcasting platform system 20 as well as an application (or app) for communication between the viewer terminal 30 and the server 100 may be installed in the viewer terminal 30 .
  • the broadcaster terminal 10 or the viewer terminal 30 includes a desktop personal computer (PC), a laptop personal computer (laptop PC), a netbook computer, a smartphone, a smart pad, and a tablet.
  • PC tablet personal computer
  • mobile phone mobile phone, video phone, PCS (Personal Communication System), GSM (Global System for Mobile communication), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), International Mobile Telecommunication (IMT)-2000, Code Division Multiple Access (CDMA)-2000, W-Code Division Multiple Access (W-CDMA), Wireless Broadband Internet (Wibro) terminal, portable multimedia player (PMP), wearable Wireless communication devices of all kinds, such as wearable devices (e.g. smart glasses, head-mounted-device (HMD), etc.) or smart watches, and wired communications, such as desktop computers and smart TVs. It may include at least one of the devices, and may further include a camera module for photographing or a microphone for collecting voice.
  • the broadcasting camera 40 and the microphone 50 provide video and audio to the broadcaster terminal 10 and the server 100 through wired/wireless communication.
  • the broadcaster terminal 10 generates content with the provided video and audio.
  • the server 100 recognizes the broadcaster's behavior based on the video and audio provided by the broadcasting camera 40 and the microphone 50, and determines whether the broadcaster's behavior matches the mission assigned by the viewer.
  • the server 100 is connected to the broadcaster terminal 10, the broadcasting platform system 20, and the viewer terminal 30 wirelessly or wired to exchange information.
  • the server 100 collects broadcaster video and audio information from the broadcaster terminal 10 . If the broadcasting camera 40 and the microphone 50 are IoT devices, the server 100 may collect the broadcaster's video and audio from the broadcasting camera 40 and the microphone 50 instead of the broadcaster terminal 10. .
  • the server 100 may operate the broadcasting auxiliary IoT device 60 by transmitting a control signal to the broadcasting auxiliary IoT device 60 under a predetermined condition.
  • the server 100 transmits a list of actions that can be requested from the broadcaster (hereinafter referred to as a 'mission list') to the viewer terminal 30, and the viewer terminal 30 displays the mission list on the screen so that the viewer can select it. there is.
  • the server 100 may directly transmit the mission list to the viewer terminal 30, but may indirectly transmit the mission list to the viewer terminal 30 via the broadcasting platform system 20.
  • the viewer terminal 30 transmits information ('mission request information') about the action requested by the viewer to the broadcaster to the server 100 .
  • the mission request information may have various forms. There may be a method of selecting a mission promised from the mission list, and content information of an action (eg, posture, facial expression) or voice requested by the viewer may be added. In addition, when a viewer gives a prohibited action or word (voice) and the broadcaster makes the action or word (voice), a method of deducting sponsorship funds according to the number of times may be applied. An example is described below.
  • a viewer's desired posture can be registered as a mission, and the viewer can add an image or video showing a desired posture through the viewer terminal 30 to mission request information and register it as a mission.
  • a viewer captures a video of himself standing in a handstand with a smartphone, captures the scene of the handstand, generates an image, and transmits the image from the viewer terminal 30 to the server 100 to perform a mission.
  • the broadcaster is asked to follow the action (handstand) shown in the image by way of registration.
  • a viewer uses an application (app) installed in the viewer terminal 30 to register an action (arm heart) to make a heart with an arm by moving a joint as a mission, and the mission is performed in the terminal 30 of the city hall and the server 100 It is transmitted to the broadcaster in a manner displayed on the broadcaster terminal 10 via
  • Viewers can designate facial expressions that are prohibited for a certain period of time as missions.
  • a model capable of facial expression analysis should be used as a motion recognition model of the motion recognition unit 120 .
  • the viewer can designate that the broadcaster does not frown while playing the game for 30 minutes. If a broadcaster who broadcasts a game frowns while playing a game, the server 100 determines that the mission has failed, and the sponsorship money may be deducted or not paid.
  • Missions can be assigned in relation to video and audio.
  • an image processing/analysis model into the action recognition unit 120, it is possible to check whether a mission has been accomplished by identifying characters or objects appearing in a video of a broadcaster.
  • the image processing/analysis model may be used alone, but may be used in combination with an action recognition model or a voice recognition model to determine whether a mission has been achieved. For example, play a high-level game without swearing (1,000 won is deducted in case of mission failure), go to YouTube and earn 1,000 won in donations if the title of the video shown at the top includes 'news', go to YouTube and turn on the video However, donations are accumulated according to the number of people shown in the video.
  • Mission request information of the viewer terminal 30 may be transmitted to the server 100 through the broadcasting platform system 20 .
  • the viewer terminal 30 may deposit donation money or sponsor items for a broadcaster together with transmission of a mission.
  • the viewer terminal 30 provides deposit information of sponsor money/sponsor item along with mission request information (' Donation deposit information') is transmitted to the server 100 .
  • a viewer may purchase a sponsored item (or cyber money, etc.) through the broadcasting platform system 20 or the server 100 and deposit the sponsored item along with a mission request.
  • Information is transmitted from the viewer terminal 30 to the server 100 .
  • the server 100 transmits the mission list to the broadcasting platform system 20 .
  • the broadcasting platform system 20 synthesizes the mission list with the video and transmits it to the viewer terminal 30, and transmits mission request information and donation deposit information received from the viewer terminal 30 to the server 100.
  • the server 100 may synthesize one or more types of mission request information and donation deposit information received from the viewer terminal 30 or the broadcasting platform system 20 and transmit them to the broadcaster terminal 10 or the broadcasting platform system 20 .
  • the broadcaster terminal 10 may display the mission request information and donation deposit information on the screen so that the broadcaster can recognize them.
  • the broadcasting platform system 20 receives mission request information and donation deposit information, the broadcasting platform system 20 synthesizes the corresponding information into an image and transmits the information to a plurality of viewer terminals 30 connected to the same broadcasting channel. .
  • the server 100 collects at least one of broadcaster's video and audio from the broadcaster's terminal 10 .
  • the server 100 may collect at least one of broadcasting video and audio from the broadcasting platform system 20 .
  • the server 100 may collect at least one of broadcasting video and audio from the broadcasting camera 40 and the microphone 50 .
  • the server 100 recognizes the broadcaster's action based on at least one of the collected broadcaster's video and voice, and determines whether the action matches the action (mission) requested by the viewer.
  • 'conformity' means that the broadcaster's behavior recognized by the server 100 and the behavior specified by the viewer as a mission match, as well as the probability that the broadcaster's behavior is the behavior selected (requested) by the viewer as a mission within a predetermined range. It is considered to include cases that fall within.
  • the action selected by the viewer as a mission is 'making a finger heart'
  • the probability that the broadcaster has performed the 'making a finger heart' action is 80 %, if the reference probability is 60% or more, it is considered that the action recognition result and the mission request information coincide.
  • the server 100 determines whether the action recognition result matches the mission request information, and if they do not match, collects the broadcaster's video and audio for a predetermined period of time or until broadcasting ends to recognize the action.
  • the server 100 determines that the broadcaster's behavior recognition result matches the mission request information, the server 100 transmits information indicating that the mission has been completed (hereinafter referred to as 'mission performance completion information') to the broadcasting platform system 20. do.
  • the broadcasting platform system 20 may synthesize the mission performance completion information with an image and transmit it to a plurality of viewer terminals 30 .
  • the server 100 may transmit information that a donation/sponsored item is paid (hereinafter referred to as 'sponsorship payment information') together with mission performance completion information to the broadcasting platform system 20.
  • the mission performance completion information and donation payment information may be combined with an image and transmitted to a plurality of viewer terminals 30 .
  • the server 100 processes deposited donations or sponsor items to be paid to the broadcaster who has performed the mission. That is, when the viewer terminal 30 deposits donations into an account managed by the server 100 or the viewer terminal 30 purchases a sponsored item through the server 100, the server 100 performs the broadcaster's mission. Upon completion, the donation or sponsored item is processed to be paid to the broadcaster.
  • the broadcasting platform system 20 manages the deposit of donations or the viewer terminal 30 purchases a sponsored item through the broadcasting platform system 20
  • the server 100 broadcasts the platform when the broadcaster's mission is completed. A message requesting payment of donations or sponsored items is transmitted to the system 20 .
  • the real-time broadcasting system may further include a broadcasting auxiliary IoT device 60.
  • the server 100 controls the broadcasting auxiliary IoT device 60.
  • the broadcasting auxiliary IoT device 60 is a device to which the Internet of Things is applied.
  • the Internet of Things means that a plurality of objects are connected to each other based on the Internet. Mutual exchange of information is possible between objects connected to each other based on the Internet.
  • the broadcasting auxiliary IoT device 60 is a fan, a blower, an air conditioner, a boiler, a lighting, a humidifier, a dehumidifier, an air purifier, a robot vacuum cleaner, a smartphone, a PC (as well as a separate computer) to which the IoT is applied.
  • computers for broadcasting are included), speakers, monitors (including monitors for broadcasting), cameras, electrical outlets, power strips, weight scales, various exercise equipment such as treadmills or cycle machines, printers, fax machines, multifunction devices, various power switch modules, power adapters, It can be any one of door lock, video phone, TV receiver (set-top box), vehicle, black box, navigation, infrared detector, companion animal feeding device, companion animal amusement device, and money gun (money gun, cash gun). Yes, and is not limited to the examples listed.
  • the server 100 may allow the broadcasting auxiliary IoT device 60 to operate under specific conditions. For example, when a broadcaster performs a mission (dancing) requested by a viewer in midsummer, the server 100 may operate a fan or an air conditioner 60 to which the Internet of Things is applied. As another example, when a broadcaster performs a mission requested by a viewer, the server 100 may operate the money gun 60 to discharge bills accommodated in the money gun 60 .
  • a money gun is a device capable of accommodating bills therein, and discharging bills contained therein to the outside by a trigger being pulled or a control signal.
  • the server 100 may operate the money gun 60 as much as the amount of sponsorship to be paid to the broadcaster so that bills are discharged, or may control the money gun 60 to discharge a certain amount of bills for the visual effect of receiving sponsorship only. there is.
  • the broadcaster speaks a specific word, the broadcaster's keyboard may not operate or the broadcaster's monitor screen may not be visible for 10 seconds.
  • the server 100 receives the viewer's video from the target viewer terminal 30 or through the broadcasting platform system 20 It is possible to determine whether a mission has been completed by receiving an image of a target viewer and comparing the viewer's motion shown in the viewer's video with the broadcaster's motion shown in the broadcaster's video. In this case, the behavior recognition unit 120 of the server 100 calculates the similarity of the behavior (action) using the behavior (action) similarity comparison model, and the mission performance determination unit 130 calculates a similarity higher than a predetermined reference value. If so, it can be determined that the mission has been completed.
  • the action (motion) similarity comparison model may be a model that obtains a sequence of postures from motions (movements of joints) of each subject and then calculates a similarity between the sequences by applying a Dynamic Time Warping (DTW) algorithm.
  • DTW Dynamic Time Warping
  • the viewer can compare his or her behavior/voice with the broadcaster's behavior/voice by arranging the broadcaster's video and the viewer's video left and right through a broadcast reception application (app) installed in the viewer terminal 30.
  • the viewer may watch the broadcasting video through the application in an enlarged form and a method of arranging the appearance of the broadcaster and other viewers in a grid pattern (video conference method), and one broadcaster and N viewers You can configure the broadcasting screen.
  • the broadcasting screen may be configured in such a way that viewers and broadcasters are arranged left and right, or viewers and broadcasters are displayed overlapping each other.
  • the server 100 may determine whether the broadcaster's video matches the viewer's video for a certain period of time specified by the broadcaster or viewer, and if it is determined that the broadcaster's video matches, a donation is paid to the broadcaster.
  • the broadcaster uses the broadcaster terminal 10 to request mission information ('viewers follow the broadcaster's behavior', 'viewers follow the broadcaster's words'). ') and donation (or prize money) deposit information are transmitted to the sponsor management unit 110 of the server 100 directly or via the broadcasting platform system 20 .
  • the server 100 collects the video/audio of the broadcaster from the broadcaster terminal 10, collects the video/voice of the viewer from the viewer terminal 30, and determines the viewer who performed the mission through real-time behavior/voice analysis.
  • Sponsorship money (prize money) can be paid to the viewer.
  • the sponsor management unit 110 of the action server 100 transmits the mission performance completion information to the broadcasting platform system 20 .
  • the broadcasting platform system 20 may synthesize the mission performance completion information with an image and transmit it to a plurality of viewer terminals 30 .
  • the server 100 may utilize the behavioral similarity comparison model described above in 1 to determine whether the mission has been completed.
  • the server 100 in a state in which the authority to control the viewer IoT device 61 has been granted in advance, through a wired/wireless network such as the Internet through the IoT control unit 140 according to predetermined conditions such as mission performance completion or failure, etc.
  • the viewer IoT device 61 can be controlled.
  • the broadcaster transmits mission request information of 'viewers follow the broadcaster's words' to the sponsor management unit 110 through the broadcaster terminal 10, and a certain prize money is accumulated in the sponsor management unit 110.
  • the broadcaster told the viewers through the broadcast, "Let's start today with a positive attitude. Shall we all shout together? Let's do our best! , the viewer's smartphone or PC sends "Let's do our best! says
  • the server 100 or the viewer terminal 30 collects video and audio of broadcasters and viewers from the broadcaster terminal 10 and the viewer terminal 30 .
  • the server 100 or the viewer terminal 30 recognizes the voice and calculates voice similarity by comparing the broadcaster's voice recognition result with the viewer's voice recognition result, and when the similarity value is greater than or equal to a predetermined similarity value, it is determined that the mission is completed.
  • the sponsor management unit 110 processes a predetermined prize money to be paid to the viewers who have performed the mission.
  • a broadcaster who uses exercise as content may compensate with a predetermined prize money when a viewer performs the same exercise posture as he or she does. In this way, it can be used in various campaigns, etc.
  • Channel points are points accumulated through activities such as broadcast viewing time, channel subscription, and broadcaster follow. Viewers can use channel points and receive compensation accordingly. Examples of rewards include the right to use specific emoticons, the right to edit emoticons, sending messages in subscriber-only mode, and emphasizing my messages. this can be set.
  • the broadcaster can provide not only prize money but also channel points or items commonly used in the corresponding broadcasting platform to viewers who have successfully performed the mission.
  • FIG. 3 is a block diagram showing the configuration of a real-time broadcast sponsoring server according to the first embodiment of the present invention.
  • the real-time broadcasting sponsor server 100 includes a sponsor management unit 110, a behavior recognition unit 120, and a mission performance determination unit 130.
  • the server 100 may further include an IoT control unit 140.
  • the sponsor management unit 110 provides a list (mission list) of actions (missions) that the viewer can request from the broadcaster to the viewer terminal 30 so that the viewer can select a mission.
  • the sponsor management unit 110 may directly provide the mission list to the viewer terminal 30 or indirectly through the broadcasting platform system 20 .
  • Examples of missions are 'making arm hearts', 'making finger hearts', 'hurray posture', 'riding posture', 'calyx posture', 'happy expression', 'laughing', 'sad expression', 'pretending to cry' Doing', 'Dancing', 'Singing', 'Congratulations', 'Saying a specific word (words included in mission request information)', 'Male voice', 'Female voice', 'Tell me ', 'pretend to be a knave', 'do squats for one minute', etc. Whether these missions are accomplished is determined according to the operation of the action recognition unit 120 and the mission performance determination unit 130, and artificial intelligence may be used for recognition and determination.
  • the sponsor management unit 110 collects mission request information and donation deposit information from the viewer terminal 30 or the broadcasting platform system 20, and matches the mission request information and donation deposit information.
  • the sponsor management unit 110 aggregates mission request information and donation deposit information collected for a predetermined time and transmits them to the broadcaster terminal 10 and the broadcasting platform system 20 .
  • the sponsor management unit 110 transmits the mission request information to the mission performance determination unit 130 .
  • the sponsor management unit 110 transmits the mission performance completion information to the broadcasting platform system 20 .
  • the broadcasting platform system 20 may synthesize the mission performance completion information with an image and transmit it to a plurality of viewer terminals 30 .
  • the sponsor management unit 110 may transmit information indicating that donations/sponsored items are paid ('sponsorship payment information') together with mission performance completion information to the broadcasting platform system 20, and in this case, the broadcasting platform system 20 performs the mission.
  • Completion information and sponsorship payment information may be combined with an image and transmitted to a plurality of viewer terminals 30 .
  • the sponsor management unit 110 matches the mission request information according to the completion of the mission and processes the deposited sponsor money or sponsor item to be paid to the broadcaster who performed the mission. That is, when the viewer terminal 30 deposits donations into an account managed by the sponsor management unit 110 or the viewer terminal 30 purchases a sponsored item through the sponsor management unit 110, the sponsor management unit 110 is a broadcaster. Upon completion of the mission, all or part of the donation or sponsored item matched with the mission is processed to be paid to the broadcaster. Meanwhile, when the broadcasting platform system 20 manages the deposit of donations or the viewer terminal 30 purchases a sponsored item through the broadcasting platform system 20, the sponsorship management unit 110 broadcasts when the broadcaster's mission is completed. The platform system 20 transmits a message requesting payment of sponsor money or sponsor items matched with the corresponding mission.
  • the sponsor management unit 110 may differentially pay sponsor money or sponsor items to the broadcaster according to the probability that the broadcaster has performed the action required in the mission ('action probability').
  • the sponsor management unit 110 transmits mission performance completion information to the IoT control unit 140.
  • the sponsor management unit 110 may transmit the sponsor payment information to the IoT controller 140 together with the mission performance completion information.
  • the action recognition unit 120 collects at least one of the broadcaster's voice and the broadcaster's voice from the broadcaster terminal 10, and recognizes the broadcaster's behavior (including facial expression or posture) through analysis. For example, the behavior recognition unit 120 may classify the broadcaster's posture shown in the image collected by the broadcasting camera 40 for each frame, and recognize the broadcaster's behavior based on the posture change according to the sequence progress.
  • the behavior recognition unit 120 may collect any one of the broadcaster's video and audio from the broadcasting platform system 20 or the broadcasting camera 40 and the microphone 50 instead of the broadcaster terminal 10 .
  • the behavior recognition unit 120 may recognize a broadcaster's behavior using a neural network learned through a deep learning technique.
  • the action recognition unit 120 defines a graph structure in which joints constituting a skeleton are nodes and bones connecting the joints are edges, and the same nodes are connected along the time axis.
  • the broadcaster's motion can be recognized using a motion recognition model generated by learning a graph convolutional neural network (GCN).
  • GCN graph convolutional neural network
  • the action recognition unit 120 may recognize the broadcaster's voice by converting the voice into text using a voice recognition model to which a deep learning technique such as a long short-term memory (LSTM) neural network is applied.
  • LSTM long short-term memory
  • the voice recognition model (sound recognition model) used by the action recognition unit 120 includes a general voice recognition model, but there is also a model in which voice features are extracted to create a feature vector and an acoustic model is applied to classify patterns. included
  • the action recognition unit 120 may recognize voice characteristics or voice patterns, such as gender, age, and pronunciation state, in the broadcaster's voice.
  • Methods such as linear predictive coefficient, fast Fourier transform (FFT), cepstrum, Mel Frequency Cepstral Coefficient (MFCC), and energy per frequency band are used as voice feature extraction methods. This can be used
  • An acoustic model pattern classification model
  • the action recognition unit 120 may recognize a broadcaster's action by synthesizing a motion recognition result and a voice recognition result. Also, the action recognition unit 120 may recognize a broadcaster's action by using an action recognition model in which an ensemble of a action recognition model and a voice recognition model is used.
  • the action recognition unit 120 includes, for example, a hidden Markov model (HMM), a convolutional neural network (CNN), a graph convolutional neural network (GCN), and a fully connected DNN. (Fully-Connected Deep Neural Network), Dynamic Bayesian Network (DBN), Conditional Random Field (CRF), Ensemble TS-LSTM, ST-GCN, AS-GCN, Wav2Vec, SincNet, and the like.
  • HMM hidden Markov model
  • CNN convolutional neural network
  • GCN graph convolutional neural network
  • CRF Conditional Random Field
  • the behavior recognition unit 120 may include a separate learning module 121 .
  • the learning module 121 takes the broadcaster's video and audio as inputs and uses names of actions that can be used in the mission list as labels (outputs) to train the deep learning network to generate an action recognition model.
  • the behavior recognition unit 120 recognizes a broadcaster's behavior using at least one of video and audio collected from the broadcasting camera 40 and the microphone 50, and transmits the behavior recognition result to the mission performance determination unit 130. do.
  • the action recognition result may be the name of the action, or may be a match between the name of the action and a probability value ('action probability') of the action.
  • the action recognition result may be 'making a finger heart' or 'making a finger heart, 80%'.
  • the action recognition unit 120 includes a motion recognition model, a voice food model, as well as an image analysis model learned with deep learning techniques (object detection and recognition model (object detection and object recognition), a character recognition model (OCR, Optical Character) Recognition), shore-line detection model, and land/sea segmentation model (sea-land segmentation) may be additionally loaded. Therefore, the action recognition unit 120 can detect the broadcaster's posture and facial expression as well as the number of objects or words/sentences appearing in the video, and deliver these detections to the mission performance determination unit 130 to determine whether or not the mission has been performed. can do. For example, in the case of outdoor broadcasting, the content of the mission request information may be a visit to a specific franchise cafe.
  • the action recognition unit 120 uses words from the signboard of the cafe appearing in the broadcaster's image. can be detected and recognized, and the mission performance determination unit 130 can determine that the mission has been performed if the word is included in the mission request information. In this way, it is possible to determine whether to perform missions such as placing dolls in the studio (0.01 won per second) and going into the water.
  • the behavior recognition unit 120 operates in the target viewer terminal 30 Directly receiving the viewer's video or receiving the viewer's video through the broadcasting platform system 20, comparing the viewer's behavior (action) shown in the viewer's video with the broadcaster's action (action) shown in the broadcaster's video similarity can be calculated.
  • the action recognition unit 120 calculates the similarity of the action (action) using the action (action) similarity comparison model, and the mission performance determiner 130 determines that the mission is performed when the similarity is greater than or equal to a predetermined reference value. can be considered complete.
  • the action (action) similarity comparison model used by the action recognition unit 120 obtains a sequence of postures from each subject's action (joint movement), and then applies a DTW (Dynamic Time Warping) algorithm to calculate the similarity between the sequences.
  • DTW Dynamic Time Warping
  • the mission performance determination unit 130 compares the mission request information received from the sponsor management unit 110 and the behavior recognition result received from the behavior recognition unit 120 to determine whether they match. When there is an action matching the action recognition result among the mission request information, the mission performance determination unit 130 transmits information (mission performance completion information) indicating that the mission has been completed for a specific mission to the sponsor management unit 110 . At this time, the mission performance determination unit 130 may transmit the action probability among the action recognition results to the sponsor management unit 110 together with the mission performance completion information.
  • the IoT controller 140 controls the broadcasting auxiliary IoT device 60 when the real-time broadcasting system includes the broadcasting auxiliary IoT device 60 . That is, the IoT control unit 140 may generate a control signal for operating the broadcasting auxiliary IoT device 60 under a predetermined condition and transmit the control signal to the broadcasting auxiliary IoT device 60 through wired/wireless communication. For example, when the broadcasting auxiliary IoT device 60 is an air conditioner, the IoT control unit 140 may operate the air conditioner 60 for a certain period of time when receiving mission performance completion information from the sponsor management unit 110 . In addition, when the broadcasting auxiliary IoT device 60 is a pig gun, the IoT control unit 140 receives mission performance completion information and donation payment information from the sponsor management unit 110 and controls the pig gun 60 to discharge a certain amount of bills. can do.
  • FIG. 4 is a block diagram showing the configuration of a real-time broadcasting system according to a second embodiment of the present invention
  • FIG. 5 is a block diagram showing the configuration of a real-time broadcasting sponsoring server according to a second embodiment of the present invention.
  • the real-time broadcasting sponsor server 100' collects the broadcaster's video or voice using a separate IoT device 70 for behavioral recognition to recognize the broadcaster's behavior, and recognizes the behavior based on this. By performing the action recognition accuracy can be increased.
  • the real-time broadcasting system 1' includes a broadcaster terminal 10, a broadcasting platform system 20, a viewer terminal 30, and a broadcasting camera 40. , A microphone 50, a real-time broadcasting sponsor server 100 (hereinafter referred to as 'server') and an IoT device 70 for action recognition, and may further include a broadcasting auxiliary IoT device 60.
  • the server 100' collects at least one of broadcaster's video and audio from the action recognition IoT device 70 to recognize the broadcaster's action.
  • the IoT device 70 for action recognition is a camera or microphone to which IoT technology is applied, and may be an IoT device equipped with both a camera and a microphone.
  • the action recognition IoT device 70 is located around the broadcaster terminal 10 and collects a broadcaster's video or audio separately from the broadcasting camera 40 or the microphone 50 and provides it to the server 100'.
  • the IoT device 70 for action recognition may be a 3D depth camera.
  • the 3D depth camera technology is a technology for acquiring depth information of each pixel of an image.
  • the 3D depth camera that can be used as the IoT device 70 for action recognition may be any one of a stereo type, a time-of-flight type, a structured pattern type, or a hybrid type in which these techniques are fused. , the scope of the present invention is not limited thereto.
  • the server 100' includes a sponsor management unit 110, an action recognition unit 120', and a mission performance determination unit 130, and may further include an IoT control unit 140.
  • the behavior recognition unit 120' of the server 100' may include a separate learning module.
  • the learning module of the action recognition unit 120' takes the broadcaster's video and audio as inputs and uses the name of the action that can be used in the mission list as a label (output) to learn a deep learning network to create an action recognition model.
  • the learning module of the action recognition unit 120 learns a deep learning network using a dataset such as NTU RGB+D or motion data generated by a kinetic-GAN (Generative Adversarial Network) to generate an action recognition model.
  • a dataset such as NTU RGB+D or motion data generated by a kinetic-GAN (Generative Adversarial Network)
  • the action recognition unit 120 ′ collects at least one of video and audio of a broadcaster appearing in the action recognition IoT device 70 instead of the broadcasting camera 40 .
  • the IoT device 70 for action recognition is a 3D depth camera
  • the action recognition unit 120' performs learning and inference using depth information of each part of the body of the broadcaster to be recognized, thereby effectively learning the action recognition model. and can increase the accuracy of action recognition (reasoning).
  • FIG. 6 is a block diagram showing the configuration of a real-time broadcasting system according to a third embodiment of the present invention
  • FIG. 7 is a block diagram showing the configuration of a real-time broadcasting sponsoring server according to a third embodiment of the present invention.
  • the third embodiment of the present invention is characterized in that the real-time broadcast sponsoring server 100'' performs the function of a broadcaster's terminal.
  • the real-time broadcasting system 1'' includes a broadcasting platform system 20', a viewer terminal 30, a broadcasting IoT device 40', and a real-time broadcasting platform system 20'. It is configured to include a broadcasting sponsor server (100'', hereinafter abbreviated as 'server'), and may further include a broadcasting auxiliary IoT device 60.
  • a broadcasting sponsor server 100'', hereinafter abbreviated as 'server'
  • auxiliary IoT device 60 may further include a broadcasting auxiliary IoT device 60.
  • the server 100'' receives broadcasting video and audio from the broadcasting IoT device 40' through wired or wireless communication and generates broadcasting content in real time. However, it is not limited thereto, and pre-generated content may be delivered from the outside.
  • the broadcasting IoT device 40' is a device to which Internet of Things technology is applied, and is equipped with a broadcasting camera and microphone to transmit video and audio to the server 100'' through a wired/wireless communication network.
  • the server 100'' transmits broadcasting content to the broadcasting platform system 20' so that streaming broadcasting can be performed.
  • the server 100'' transmits the viewer terminal 30 or One or more types of mission request information and donation deposit information received from the broadcasting platform system 20' are synthesized and transmitted to the viewer terminal 30 either directly or through the broadcasting platform system 20'.
  • a broadcaster can recognize mission request information and donation deposit information using one of a plurality of viewer terminals 30 .
  • the server 100'' includes a sponsor management unit 110, an action recognition unit 120'', a mission performance determination unit 130, and a broadcast content generator 150, and may further include an IoT control unit 140.
  • the action recognition unit 120'' recognizes the broadcaster's behavior based on the video and audio collected by the broadcasting IoT device 40', and the broadcasting content generator 150 collects the broadcasting IoT device 40'. Broadcasting content is generated based on video and audio, and the generated broadcasting content is transmitted to the broadcasting platform system 20'.
  • FIG. 8 is a block diagram showing the configuration of a real-time broadcasting system according to a fourth embodiment of the present invention.
  • the real-time broadcasting sponsor server 100''' is included in the broadcasting platform system 20'', so that the broadcasting platform system 20'' collects mission request information and donation deposit information, In addition, it is characterized by having a function of determining whether a mission is performed or not by recognizing the broadcaster's action.
  • the real-time broadcasting system 1''' includes a broadcaster terminal 10, a broadcasting platform system 20'', a viewer terminal 30, and a broadcasting It includes a camera 40 and a microphone 50, and may further include a broadcasting auxiliary IoT device 60.
  • the broadcasting platform system 20'' includes a real-time broadcasting sponsor server 100''' (hereinafter referred to as 'server').
  • the server 100''' included in the broadcasting platform system 20'' collects mission information ('mission request information') and donation deposit information requested by the viewer to the Internet broadcaster from the viewer terminal 30. and, recognizing the broadcaster's behavior based on the broadcasting content, comparing the behavioral recognition result with the mission included in the mission request information, and processing the payment of donations, or broadcasting platform system (20'') when it is determined that the mission has been completed.
  • Sends mission performance completion information to the donation processing unit separately included in The donation processing unit may process all or part of the donation to be paid to the Internet broadcaster according to mission performance completion information.
  • the configuration and functions of the server 100''' are the same as those of the server 100.
  • FIG. 9 is a flowchart illustrating an operating method of real-time broadcasting sponsor servers 100, 100', 100'', and 100''' according to an embodiment of the present invention.
  • the operating method of the real-time broadcasting sponsoring server (100, 100', 100'', 100'') according to an embodiment of the present invention includes steps S310 to S380, and may further include step S390.
  • certain steps may be omitted in the above operating method.
  • step S330 or step S370 is a step of transmitting information to the outside and may be omitted.
  • steps S320 and S380 may be omitted.
  • Step S310 is a step of receiving mission request information.
  • the servers 100, 100', 100'', and 100''' transmit the mission list to the viewer terminal 30.
  • the server 100, 100', 100'', 100''' may directly transmit the mission list to the viewer terminal 30, or transmit the mission list to the broadcasting platform system 20, 20', 20'' Alternatively, the broadcasting platform system 20, 20', 20'' may present the mission list to the viewer terminal 30 by synthesizing it with the broadcasting video.
  • the viewer terminal 30 directly or through the broadcasting platform system 20, 20', 20'' provides information about the action requested by the viewer to the broadcaster (' Mission request information') is transmitted to the servers 100, 100', 100'', 100'', and the servers 100, 100', 100'', 100''' receive the mission request information.
  • the mission request information may include information about a broadcaster who will perform an action requested by a viewer.
  • Step S320 is a donation deposit step.
  • the viewer terminal 30 transmits donation deposit information to the servers 100, 100', 100'', 100'''.
  • the viewer terminal 30 may directly transmit donation deposit information to the server 100, 100', 100'', 100''', or the server 100, 100', 100' through the broadcasting platform system 20. ', 100''').
  • Servers 100, 100', 100'', 100''' receive donation deposit information and match it with mission request information transmitted from the same viewer terminal 30.
  • Steps S310 and S320 may be performed simultaneously. For example, while game broadcasting is in progress in real time, a viewer selects one of the mission lists ('making a finger heart') displayed on the viewer terminal 30, and through an application (or app) of the viewer terminal 30 When the donation is deposited, the server (100, 100', 100'', 100''') matches 'making a finger heart' with the donation. A plurality of viewer terminals 30 may transmit mission request information for 'making a finger heart'. In this case, the server 100, 100', 100'', 100''' Matches multiple donation deposit information.
  • Step S330 is a step of transmitting mission request information and donation deposit information.
  • the server (100, 100', 100'', 100'') aggregates the received mission request information and donation deposit information and transmits them to the broadcaster terminal 10 or the broadcasting platform system (20, 20', 20'') or convey
  • the broadcaster terminal 10 may display the mission request information and donation deposit information on the screen so that the broadcaster can recognize them.
  • the broadcasting platform system (20, 20', 20'') receives the mission request information and donation deposit information
  • the broadcasting platform system (20, 20', 20'') synthesizes the information into the video and broadcasts the same broadcasting channel. It can be transmitted to a plurality of viewer terminals 30 connected to.
  • the mission when selecting a mission in the viewer terminal 30, the mission can be kept secret from broadcasters or other viewers (secret mission function).
  • the servers 100, 100', and 100''' may not transmit mission request information and donation deposit information to the broadcaster terminal 10.
  • the broadcaster proceeds with the broadcast without recognizing the mission request information, and the viewer is delighted or surprised as a result of the donation being paid or the broadcasting auxiliary IoT device (60, for example, a blower) operating when the mission is performed. You can also get fun and enjoyment by watching.
  • the servers 100, 100', and 100''' may prevent mission request information and donation deposit information from being transmitted not only to the broadcaster terminal 10 but also to the viewer terminal 30.
  • the mission request information may not be notified to the broadcaster, and may be made public or private to viewers, so that more interesting content can be produced. For example, in a state where the mission is not private, when the broadcaster says “good”, 100 won of donation may be added, and when the broadcaster says “not so”, 100 won of donation may be deducted.
  • the non-disclosure time of the secret mission can be determined upon mission request, and after the non-disclosure time has elapsed, the broadcaster can check whether the mission has been performed and receive the corresponding donation.
  • Step S340 is a video/audio collection step.
  • the servers 100, 100', 100'', and 100''' collect at least one of a broadcaster's video and a broadcaster's voice. At least one of the broadcaster terminal 10, the broadcasting platform system 20, 20', 20'', the broadcasting camera 40, the broadcasting IoT device 40', the microphone 50, and the action recognition IoT device 70 One may provide the broadcaster's video or audio to the servers 100, 100', 100'', 100'''.
  • Step S350 is an action recognition step.
  • the server (100, 100', 100'', 100'') recognizes the broadcaster's behavior based on at least one of the collected broadcaster's video and audio.
  • a neural network trained by a deep learning technique may be utilized.
  • the action recognition result may be the name of the action, or may be a match between the name of the action and a probability value ('action probability') of the action.
  • the action recognition result may be 'making a finger heart' or 'making a finger heart, 80%'.
  • Step S360 is an action-mission determination step.
  • the servers 100, 100', 100'', and 100''' determine whether the action recognition result matches the mission request information.
  • 'match' in this specification means that the broadcaster's behavior recognized by the server (100, 100', 100'', 100'') matches the behavior specified by the viewer as a mission, as well as the broadcaster's behavior. It is considered to include cases where the probability of an action selected (requested) by a viewer as a mission falls within a predetermined range. For example, if the mission request information is 'making a finger heart', the action recognition result is 'making a finger heart, 80%', and the standard probability for determining 'match' is 60%, the action recognition result and the mission request information are considered to match
  • step S340 video and audio of the broadcaster are additionally collected for a predetermined period of time to recognize the action. For example, if the mission request information is 'making a finger heart', but the action recognition result is 'making an arm heart', the mission and the action do not match.
  • the server (100, 100', 100'', 100'') collects the broadcaster's video and audio for the remaining 3 minutes when the mission confirmation time remains for 3 minutes, recognizes the action, You will be checked whether you have achieved 'making a heart'. If the mission is not achieved for a given time, the server (100, 100', 100'', 100'') returns the deposited donation or sponsored item to the viewer through the sponsorship management unit (110, 221). deal with
  • step S370 For example, when the mission request information and the action recognition result match with 'making a finger heart', step S370 is performed.
  • Step S370 is a step of transmitting mission performance completion information.
  • the server (100, 100', 100'', 100'') transmits or transfers mission performance completion information to the broadcasting platform system (20, 20', 20'').
  • the broadcasting platform systems 20, 20', and 20'' may synthesize mission performance completion information with an image and transmit it to a plurality of viewer terminals 30.
  • the server (100, 100', 100'', 100''') transmits information that donations/sponsored items are paid (hereinafter referred to as 'sponsorship payment information') together with mission performance completion information to the broadcasting platform systems (20, 20'). . can transmit
  • Step S380 is a donation payment step.
  • Servers (100, 100', 100'', 100'') process all or part of the deposited donations or donation items to be paid to broadcasters who have performed missions. If the broadcasting platform system 20, 20', 20'' manages the deposit of donations, or the viewer terminal 30 purchases a sponsored item through the broadcasting platform system 20, 20', 20'', The server 100, 100', 100'', 100''' transmits or forwards a message requesting payment of donations or sponsored items to the broadcasting platform systems 20, 20', 20''.
  • Step S390 is an auxiliary IoT control step.
  • the server (100, 100', 100'', 100'') may operate the broadcasting auxiliary IoT device 60 by generating a control signal and transmitting it to the broadcasting auxiliary IoT device 60 when the mission is completed.
  • the server (100, 100', 100'', 100'') can turn on the air conditioner 60 for a certain period of time or change the set temperature, and the amount to be paid to the broadcaster in the money gun 60 It may be possible to eject bills as much as possible.
  • steps S310 to S390 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. Also, some steps may be omitted if necessary, and the order of steps may be changed. In addition, even if other omitted contents, the contents of FIGS. 1 to 8 may be applied to the contents of FIG. 9 . Also, the contents described with reference to FIG. 9 may be applied to FIGS. 1 to 8 .
  • components according to an embodiment of the present invention may be implemented in software or hardware form such as a digital signal processor (DSP), a field programmable gate array (FPGA), or an application specific integrated circuit (ASIC), and play a predetermined role. can perform them.
  • DSP digital signal processor
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or configured to reproduce one or more processors.
  • a component includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, sub routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • each block of the flowchart drawings and combinations of the flowchart drawings can be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions.
  • These computer program instructions may use a computer or may be stored in a computer readable memory, which may be directed to a computer or other programmable data processing equipment to implement function in a particular manner, and thus may be used or computer readable.
  • the instructions stored in the memory are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
  • ' ⁇ unit' used in this embodiment means software or a hardware component such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 실시간 방송 후원 서버와 그 동작 방법에 관한 것이다. 본 발명에 따른 실시간 방송 후원 서버는, 인터넷 방송의 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 후원 관리부; 상기 방송인의 영상 및 음성 중 적어도 하나를 기초로 상기 방송인의 행동을 인식하여 행동 인식 결과를 생성하는 행동 인식부; 및 상기 행동 인식 결과와 상기 미션에 대한 정보를 비교하여 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부를 포함한다.

Description

행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법
본 발명은 실시간 방송 후원 서버와 그 동작 방법에 관한 것이다. 더욱 상세하게는, 실시간 방송의 시청자가 미션을 부여하고, 방송인이 그 미션을 수행할 경우 후원금이 방송인에게 지급되도록 하는 실시간 방송 후원 서버와 그 동작 방법에 관한 것이다.
최근 다양한 분야에서 실시간 인터넷 방송 서비스가 활성화되고 있다. 예를 들어, 인터넷 방송인들은, 유튜브(YouTube), 아프리카 (Afreeca) TV 또는 트위치(Twitch), 카카오TV 등 국내외 방송 플랫폼을 이용하여 실시간 개인 방송을 진행한다.
시청자는 상기 플랫폼에 접속하여 방송을 시청하거나 채팅에 참여할 수 있으며, 방송인들에 대한 후원(예를 들어, 별풍선 또는 도네이션 등)을 통해 방송인을 지원할 수 있다. 예를 들어, 시청자는 실시간 방송 플랫폼(또는 실시간 후원 플랫폼)을 통하여 일정한 금액에 상당하는 후원 아이템(또는 사이버머니 등)을 구매하고, 구매한 후원 아이템을 사용하여 방송인을 후원할 수 있다. 후원을 받은 방송인은 상기 플랫폼에 일부 수수료를 납부한 뒤 남은 후원 아이템에 상응하는 금액을 정산 받을 수 있다.
종래의 시청자 참여형 실시간 방송은, 시청자가 후원과 함께 공유하고자 하는 글, 이미지, 동영상을 선택하여 업로드하고, 방송인은 후원을 확인하고 상기 콘텐츠를 시청자와 공유하는 방식으로 쌍방향 소통을 하거나, 시청자가 방송인에게 원하는 미션을 부여하고 방송인이 미션을 수행하면 시청자가 이를 확인하여 후원하는 방식으로 진행되었다. 아프리카 TV나 트위치와 같은 방송 플랫폼을 살펴보면, 이와 같은 이벤트를 통해 방송인은 금전적인 이익을 얻고, 시청자는 방송창에 표시되는 글, 이미지, 동영상이나, 방송인의 동작을 보고 성취감을 얻는다.
그런데, 종래의 시청자 참여형 실시간 방송에 대한 후원 방식은 방송인의 미션 수행과 시청자의 후원이 자동으로 연계되지 않아, 보다 흥미롭고 창의적인 콘텐츠를 창출하는 데 한계를 가지고 있다.
본 발명은 상기와 같은 배경에서 도출된 것으로, 실시간 방송의 후원자가 방송인에게 원하는 미션을 부여하고, 방송인이 미션을 수행할 경우 이를 자동으로 인식하여 후원이 이루어지도록 하는 실시간 방송 후원 서버와 그 동작 방법을 제공하는 것을 목적으로 한다.
보다 상세하게는, 실시간 인터넷 방송의 시청자가 특정한 미션을 선택하고 일정한 후원금이나 후원 아이템을 예치한 후, 인터넷 방송인이 상기 미션을 수행하는 경우, 동작 인식이나 음성 인식 등의 행동 인식 결과에 따라 예치된 후원금이나 후원 아이템이 인터넷 방송인에게 자동으로 지급되도록 하는 실시간 방송 후원 서버와 그 동작 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버는, 인터넷 방송의 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 후원 관리부; 상기 방송인의 영상 및 음성 중 적어도 하나를 기초로 상기 방송인의 행동을 인식하여 행동 인식 결과를 생성하는 행동 인식부; 및 상기 행동 인식 결과와 상기 미션에 대한 정보를 비교하여 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;를 포함한다.
상기 실시간 방송 후원 서버는, 상기 미션의 수행이 완료된 경우 방송 보조 IoT 기기를 제어하는 IoT 제어부;를 더 포함할 수 있다.
상기 미션에 대한 정보는, 상기 인터넷 방송의 시청자가 상기 방송인에게 요청하는 동작, 표정 및 자세 중 적어도 어느 하나의 명칭일 수 있다.
또한 상기 미션에 대한 정보는, 상기 인터넷 방송의 시청자가 상기 방송인에게 요청하는 행동에 관한 동영상 및 이미지 중 적어도 어느 하나일 수 있다.
그리고, 본 발명의 일 실시예에 따른, 행동 자동 인식을 기반으로 하는 실시간 방송 후원 시스템은, 인터넷 방송인의 영상 및 음성 중 적어도 어느 하나를 수집하는 행동 인식용 IoT 기기; 및 인터넷 방송의 시청자가 상기 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 방송인의 영상 및 음성 중 적어도 하나의 정보를 기초로 상기 방송인의 행동을 인식하여 행동 인식 결과를 생성하며, 상기 행동 인식 결과와 상기 미션에 대한 정보를 비교하여 상기 미션의 수행이 완료되었는지 여부를 판단하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 서버;를 포함한다.
상기 행동 인식용 IoT 기기는, 상기 방송인의 신체 각 부분에 대한 깊이 정보를 획득할 수 있다.
상기 서버는, 상기 미션의 수행이 완료된 경우 방송 보조 IoT 기기를 제어할 수 있다.
그리고, 본 발명의 일 실시예에 따른 실시간 방송 시스템은, 방송 플랫폼 시스템; 인터넷 방송인이 출연한 방송 콘텐츠를 생성하여 상기 방송 플랫폼 시스템에 전송하는 방송인 단말기; 및 상기 방송 플랫폼 시스템에서 상기 방송 콘텐츠를 수신하여 상기 방송 콘텐츠의 시청자에게 제공하는 시청자 단말기;를 포함한다. 이때, 상기 방송 플랫폼 시스템은, 상기 시청자 단말기에서 상기 시청자가 상기 방송인에게 요청하는 미션에 대한 정보 및 후원금 예치 정보를 수집하고, 상기 방송 콘텐츠를 기초로 상기 미션이 완료되었다고 판단한 경우, 상기 후원금의 지급을 처리한다.
그리고, 본 발명의 일 실시예에 따른 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버는, 인터넷 방송인 및 인터넷 방송 시청자 중 어느 하나가 제시하는 미션에 대한 정보와 미션에 대한 보상에 관한 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 보상의 지급을 처리하는 후원 관리부; 상기 방송인의 동영상과 상기 시청자의 동영상을 기초로 상기 방송인과 상기 시청자 간의 행동 유사도를 산출하는 행동 인식부; 및 상기 행동 유사도가 소정 범위 이내에 해당하는지 여부에 따라, 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;를 포함한다. 상기 보상에 관한 정보는, 상기 미션의 수행 완료를 조건으로 상금 및 채널 포인트 중 적어도 어느 하나이다.
그리고, 본 발명의 일 실시예에 따른 실시간 방송 후원 서버는, 인터넷 방송의 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 후원 관리부; 상기 방송인의 동영상에 나타난 객체 및 문자 중 적어도 하나를 인식하여 인식 결과를 생성하는 인식부; 및 상기 인식 결과가 상기 미션에 대한 정보와 부합하는지 여부에 따라, 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;를 포함한다.
그리고, 본 발명의 일 실시예에 따른 실시간 방송 후원 서버의 동작 방법은, 시청자 단말기에서 미션 요청 정보를 수신하는 미션 요청 정보 수신 단계; 인터넷 방송인의 영상 및 음성 중 적어도 어느 하나를 수집하는 영상/음성 수집 단계; 상기 방송인의 영상 및 음성 중 적어도 어느 하나를 기초로 상기 방송인의 행동 인식 결과를 생성하는 행동 인식 단계; 및 상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는지 여부를 판단하는 행동-미션 부합 여부 판단 단계;를 포함한다.
상기 영상/음성 수집 단계 이전에, 상기 시청자 단말기에서 후원금 예치 정보를 수신하여 상기 미션 요청 정보와 매칭하는 후원금 예치 단계;를 더 포함할 수 있고, 상기 행동-미션 부합 여부 판단 단계 이후에, 상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는 경우, 전부 지급 및 일부 지급 중 어느 하나의 방식으로 상기 후원금이 상기 방송인에게 지급되도록 처리하는 후원금 지급 단계;를 더 포함할 수 있다.
상기 행동-미션 부합 여부 판단 단계 이후에, 상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는 경우, 방송 보조 IoT 기기를 동작시키는 보조 IoT 제어 단계를 더 포함할 수 있다.
상기 행동 인식 단계에서, 딥러닝 기법으로 학습된 신경망을 통해 상기 방송인의 행동을 인식할 수 있다.
본 발명의 일 실시예에 따르면, 시청자가 부여한 미션을 인터넷 방송인이 수행하는 경우 이와 연계하여 임의의 IoT 기기를 자동으로 작동시킴으로써 시청자들에게 참신하고 재미있는 콘텐츠를 제공할 수 있으며, 방송인의 입장에서는 보다 많은 후원을 유도할 수 있다는 효과가 있다.
본 발명의 일 실시예에 따르면, 인터넷 방송인의 미션 수행 여부를 자동으로 평가할 수 있어, 방송인이나 시청자가 미션 수행 여부를 별도로 확인하는 작업이 불필요하므로 시청자와 방송인이 상황에만 집중할 수 있어 방송 몰입도가 증대될 수 있다는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도.
도 2는 실시간 개인 방송 화면을 나타낸 참고도.
도 3은 본 발명의 제1 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도.
도 4는 본 발명의 제2 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도.
도 5는 본 발명의 제2 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도.
도 6은 본 발명의 제3 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도.
도 7은 본 발명의 제3 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도.
도 8은 본 발명의 제4 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도.
도 9는 본 발명의 일 실시예에 따른 실시간 방송 후원 서버의 동작 방법을 설명하기 위한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 실시예나 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 하나의 실시예 또는 구성요소를 다른 실시예 또는 구성요소와 구분하기 위해 사용될 뿐 해당 실시예 또는 구성요소를 한정하지 않는다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서 인터넷 방송인(이하 '방송인'으로 약칭)은, 인터넷 방송의 진행자, 패널 및 참여자 중 어느 하나를 의미하며, PD(Play Director), 크리에이터(creator), 스트리머(streamer), MC(Master of Ceremonies), BJ(Broadcasting Jockey), 유튜버(YouTuber) 또는 브로드캐스터(Broadcaster) 등 각종 방송 플랫폼을 통해 전달되는 영상에 나타나는 방송인 중 어느 하나일 수 있다.
본 명세서에서 콘텐츠는, 인터넷이나 컴퓨터 통신 등을 통하여 제공되는 각종 정보나 그 내용물을 의미한다. 구체적으로는, 유선/무선 전기 통신망에서 사용하기 위하여 디지털 형태로 처리되고 유통되는 문자, 부호, 음성, 음향, 이미지, 영상 등의 정보 또는 그 내용물을 말한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 본 발명의 제1 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 실시간 방송 시스템(1)은, 방송인 단말기(10), 방송 플랫폼 시스템(20), 시청자 단말기(30), 방송용 카메라(40), 마이크(50), 실시간 방송 후원 서버(100, 이하 '서버'로 약칭)를 포함하여 구성되며, 방송 보조 IoT 기기(60)를 더 포함할 수 있다.
방송인 단말기(10)는 방송을 위한 콘텐츠를 실시간으로 생성한다. 다만, 이에 한정되는 것은 아니고, 기 생성된 콘텐츠를 외부로부터 전달받을 수 있다. 방송인 단말기(10)는 방송인에 의해 제작된 콘텐츠를 방송 플랫폼 시스템(20)에 전송한다. 방송인 단말기(10)는 방송용 카메라(40) 및 마이크(50)에서 영상과 음성을 유선 또는 무선 통신을 통해 수신하여 콘텐츠를 생성할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 방송인 단말기(10)는 방송인을 촬영하는 카메라 모듈이나 방송인의 음성을 수집하는 마이크를 내장할 수 있다. 방송인 단말기(10)는 생성된 콘텐츠를 스트리밍 방송이 실시될 수 있도록 방송 플랫폼 시스템(20)에 전송한다.
방송인 단말기(10)는 서버(100)와 유선/무선 통신을 통하여 정보를 교환할 수 있다. 서버(100)는 시청자가 방송인에게 요청하는 행동에 관한 정보(이하 '미션 요청 정보') 및 후원금/후원 아이템 예치 정보(이하 '후원금 예치 정보')를 방송인 단말기(10)에 전송할 수 있다. 이 경우, 방송인 단말기(10)는 미션 요청 정보 및 후원금 예치 정보를 화면에 표시하여 방송인이 인지하도록 할 수 있다.
방송 플랫폼 시스템(20)은 방송인 단말기(10)에서 전송된 콘텐츠를 수신한다. 방송 플랫폼 시스템(20)은 복수의 방송인 단말기(10)와 연결될 수 있으며, 각 방송인 단말기(10)와 연결된 복수 개의 채널을 가질 수 있다. 각각의 채널에는 해당 방송인 단말기(10)가 전송한 콘텐츠를 시청하기 위하여 시청자 단말기(30)가 접속한다. 방송 플랫폼 시스템(20)은 방송인 단말기(10)가 설정한 다양한 효과를 수신한 영상에 합성할 수 있으며, 시청자 단말기(30)가 전송한 채팅을 영상에 합성할 수 있다.
또한 방송 플랫폼 시스템(20)은 서버(100)와 유선/무선 통신을 통하여 정보를 교환할 수 있다. 방송 플랫폼 시스템(20)은 서버(100)가 제공한 정보(예컨대, 시청자의 미션 수행 요청 및 방송인의 미션 수행 결과에 관한 정보 또는 후원금/후원아이템이 방송인에게 지급되었다는 정보)를 영상에 합성할 수 있다. 방송 플랫폼 시스템(20)에서 합성 처리된 콘텐츠는 방송 플랫폼 시스템(20)내 동일한 채널에 접속한 복수의 시청자 단말기(30)에 전송될 수 있다. 또한 방송 플랫폼 시스템(20)이 미션 요청 정보 및 후원금 예치 정보를 시청자 단말기(30)에서 수신하는 경우, 방송 플랫폼 시스템(20)은 상기 정보들을 서버(100)에 전송할 수 있다. 시청자 단말기(30)는 방송 플랫폼 시스템(20)의 특정 채널에 접속하여, 특정 채널과 연결된 방송인 단말기(10)가 전송한 콘텐츠를 시청자에게 제공한다. 즉, 방송 플랫폼 시스템(20)은 방송인 단말기(10)에서 수신한 콘텐츠를 해당 채널에 접속한 시청자 단말기(30)에 전송한다. 방송 플랫폼 시스템(20)은 방송인 단말기(10)에서 실시간 전송되는 콘텐츠를 해당 방송 채널에 접속한 시청자 단말기(30)가 시청자에게 제공하는 것을 가능하게 한다. 복수의 시청자가 특정 채널에 접속하여 방송을 시청하는 경우, 실시간 방송 시스템(1)에서 시청자 단말기(30)는 복수 개 존재한다.
시청자 단말기(30)는 서버(100)에 접속된 상태에서 시청자가 방송인에게 요청하는 행동에 관한 정보('미션 요청 정보')을 서버(100)에 전달한다. 만약 하나의 인터넷 방송 채널에서 복수의 방송인이 방송을 진행하거나 방송에 참여 중이라면, 미션 요청 정보에는 시청자가 요청하는 행동을 수행할 방송인에 대한 정보가 포함될 수 있다. 또한 시청자 단말기(30)는 미션 전달과 함께 방송인을 위한 후원금 또는 후원 아이템을 예치할 수 있다. 시청자 단말기(30)는 후원금 또는 후원 아이템의 예치 정보를 서버(100)에 전달한다. 시청자 단말기(30)에는 방송 플랫폼 시스템(20)에서 방송을 수신하기 위한 어플리케이션(앱)은 물론, 시청자 단말기(30)와 서버(100) 간의 통신을 위한 어플리케이션(또는 앱)이 설치될 수 있다.
본 명세서에서 방송인 단말기(10) 또는 시청자 단말기(30)는 데스크탑 PC(desktoppersonal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC(tablet personalcomputer), 이동 전화기(mobile phone), 영상 전화기, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기, PMP(portable multimedia player), 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD) 등) 또는 스마트 와치(smart watch)) 같은 모든 종류의 무선 통신 장치 및 데스크탑 컴퓨터, 스마트 TV 등 유선 통신 장치 중 적어도 하나를 포함할 수 있으며, 촬영을 위한 카메라 모듈이나 음성 수집을 위한 마이크를 더 포함할 수 있다.
방송용 카메라(40)와 마이크(50)는 방송인 단말기(10) 및 서버(100)에 유선/무선 통신을 통해 영상과 음성을 제공한다. 방송인 단말기(10)는 제공받은 영상과 음성으로 콘텐츠를 생성한다. 서버(100)는 방송용 카메라(40) 및 마이크(50)가 제공한 영상과 음성을 기초로 방송인의 행동을 인식하여, 시청자가 부여한 미션과 방송인의 행동이 부합하는지 여부를 판단한다.
서버(100)는 방송인 단말기(10), 방송 플랫폼 시스템(20), 시청자 단말기(30)와 무선 또는 유선으로 연결되어 정보를 교환한다. 서버(100)는 방송인 단말기(10)에서 방송인의 영상과 음성 정보를 수집한다. 만약, 방송용 카메라(40)과 마이크(50)가 IoT 기기일 경우, 서버(100)은 방송인 단말기(10) 대신 방송용 카메라(40)과 마이크(50)에서 방송인의 영상과 음성을 수집할 수 있다. 또한, 서버(100)는 방송 보조 IoT 기기(60)에 소정 조건에서 제어 신호를 송신하여 방송 보조 IoT 기기(60)을 동작시킬 수 있다.
서버(100)는 시청자 단말기(30)에 방송인에게 요청할 수 있는 행동의 목록(이하 '미션 리스트')을 전송하며, 시청자 단말기(30)는 미션 리스트를 화면에 표시하여 시청자가 이를 선택하도록 할 수 있다. 서버(100)은 직접적으로 시청자 단말기(30)에 미션 리스트를 전송할 수 있으나, 방송 플랫폼 시스템(20)을 경유하여 간접적으로 시청자 단말기(30)에 미션 리스트를 전송할 수도 있다. 시청자가 미션 리스트에 열거된 행동 중 하나를 선택하면, 시청자 단말기(30)는 시청자가 방송인에게 요청하는 행동에 관한 정보('미션 요청 정보')를 서버(100)에 전송한다.
상기 미션 요청 정보는 다양한 형태가 있을 수 있다. 미션 리스트에서 약속된 미션을 선택하는 방법도 있을 수 있고, 시청자가 요구하는 행동(예컨대 자세, 표정)이나 음성의 내용 정보가 부가될 수 있다. 또한, 금지하는 행동이나 말(음성)을 시청자가 부여하고, 방송인이 그 행동이나 말(음성)을 했을 경우, 그 횟수에 따라 후원금을 차감하는 방식이 적용될 수 있다. 아래에 그 예시를 기술한다.
① 시청자가 원하는 자세를 미션으로 등록할 수 있으며, 시청자는 시청자 단말기(30)를 통해 원하는 자세가 나타난 이미지나 영상을 미션 요청 정보에 부가하여 미션으로 등록할 수 있다. 구체적인 예시로, 시청자가 자신이 물구나무를 선 영상을 스마트폰으로 촬영한 후, 물구나무서기를 한 장면을 캡쳐하여 이미지를 생성하고, 이 이미지를 시청자 단말기(30)에서 서버(100)로 송신하여 미션으로 등록하는 방식으로 방송인에게 이미지에 나타난 행동(물구나무서기)을 따라하도록 요청한다.
② 시청자가 시청자 단말기(30)에 설치되어 있는 어플리케이션(앱)을 이용하여 관절을 움직여서 팔로 하트를 만드는 행동(팔 하트)을 미션으로 등록하여 해당 미션이 시청장 단말기(30), 서버(100)를 거쳐 방송인 단말기(10)에 표시되는 방식으로 방송인에게 전달된다.
③ 시청자가 미션으로서 일정 시간 동안 금지하는 표정을 지정할 수 있다. 이러한 미션의 수행여부를 확인하기 위해서 행동 인식부(120)의 동작 인식 모델은 표정 분석이 가능한 모델을 사용해야 한다. 예를 들어 시청자는 미션의 내용으로서 방송인이 30분 동안 게임을 하면서 미간을 찌푸리지 않는 것을 지정할 수 있다. 만약 게임 방송을 진행하는 방송인이 게임을 하면서 미간을 찌푸리는 경우 미션이 실패하는 것으로 서버(100)에 의해 판단되어 후원금이 차감되거나 후원금이 지급되지 않을 수 있다.
④ 영상 및 음성과 관련하여 미션을 부여할 수 있다. 행동 인식부(120)에 영상 처리/분석 모델을 탑재하여 방송인의 영상에 나타난 문자나 객체를 식별하는 방식으로 미션 달성 여부를 확인할 수 있다. 영상 처리/분석 모델은 단독으로 사용될 수도 있으나, 행동 인식 모델 또는 음성 인식 모델과 조합하여 미션 달성 여부 확인에 사용될 수 있다. 예를 들어, 욕을 하지 않고 고난도의 게임하기(미션 실패 시 1000원씩 차감), 유튜브에 들어가서 최상단에 보이는 영상에 대한 제목에 '뉴스'가 포함되어 있으면 후원금 1000원 적립, 유튜브에 들어가서 동영상을 켜는데 동영상에 나타난 사람 수에 따라서 후원금을 적립 받기, 5:5 플레이어 대 플레이어(PvP, Player vs. Player) 방식으로 리그 오브 레전드 게임이 진행되는 경우 상대 혹은 아군 팀원이 특정 캐릭터를 선택한 경우 1000원 적립하기 등, 다양한 미션의 내용이 영상 및 음성과 관련하여 부여될 수 있다.
시청자 단말기(30)의 미션 요청 정보는 방송 플랫폼 시스템(20)을 통해 서버(100)에 전송될 수도 있다. 전술한 대로, 시청자 단말기(30)는 미션 전달과 함께 방송인을 위한 후원금 또는 후원 아이템을 예치할 수 있는데, 이 경우, 시청자 단말기(30)는 미션 요청 정보와 함께 후원금/후원 아이템의 예치 정보('후원금 예치 정보')를 서버(100)에 전송한다. 예를 들어, 시청자는 방송 플랫폼 시스템(20)이나 서버(100)를 통하여 후원 아이템(또는 사이버 머니 등)을 구매하고, 미션 요청과 함께 후원 아이템을 예치할 수 있으며, 이때 예치된 후원 아이템의 수량 정보가 시청자 단말기(30)에서 서버(100)에 전송된다.
다른 예로, 서버(100)는 방송 플랫폼 시스템(20)에 미션 리스트를 전송한다. 이 경우, 방송 플랫폼 시스템(20)은 미션 리스트를 영상과 합성하여 시청자 단말기(30)에 전송하고, 시청자 단말기(30)에서 받은 미션 요청 정보와 후원금 예치 정보를 서버(100)에 전송하게 된다.
서버(100)는 시청자 단말기(30) 또는 방송 플랫폼 시스템(20)에서 수신한 1가지 이상의 미션 요청 정보 및 후원금 예치 정보를 종합하여 방송인 단말기(10) 또는 방송 플랫폼 시스템(20)에 전송할 수 있다. 방송인 단말기(10)가 미션 요청 정보와 후원금 예치 정보를 수신한 경우, 방송인 단말기(10)는 미션 요청 정보 및 후원금 예치 정보를 화면에 표시하여 방송인이 인지하도록 할 수 있다. 방송 플랫폼 시스템(20)이 미션 요청 정보와 후원금 예치 정보를 수신한 경우, 방송 플랫폼 시스템(20)은 해당 정보를 영상에 합성하여 동일한 방송 채널에 접속된 복수의 시청자 단말기(30)에 전송할 수 있다.
서버(100)는 방송인 단말기(10)에서 방송인의 영상과 음성 중 적어도 어느 하나를 수집한다. 다른 예로, 서버(100)는 방송 플랫폼 시스템(20)에서 방송 영상과 음성 중 적어도 어느 하나를 수집할 수 있다. 또 다른 예로, 서버(100)는 방송용 카메라(40)와 마이크(50)에서 방송 영상과 음성 중 적어도 어느 하나를 수집할 수 있다. 서버(100)는 수집된 방송인의 영상과 음성 중 적어도 어느 하나를 기초로 방송인의 행동을 인식하며, 이 행동이 시청자가 요청한 행동(미션)과 부합하는지 여부를 판단한다. 본 명세서에서 '부합'이라는 것은 서버(100)가 인식한 방송인의 행동과 시청자가 미션으로 지정한 행동이 일치하는 것은 물론이고, 방송인의 행동이 시청자가 미션으로 선택한(요청한) 행동일 확률이 소정 범위 내에 속하는 경우도 포함하는 것으로 본다. 예를 들어, 시청자가 미션으로 선택한 행동이 '손가락 하트 만들기'이고, 서버(100)가 방송인이 나타난 영상을 기초로 방송인의 행동을 인식한 결과 방송인이 '손가락 하트 만들기' 행동을 했을 확률이 80%일 때, 기준 확률이 60% 이상이라면, 행동 인식 결과와 미션 요청 정보가 부합하는 것으로 본다.
서버(100)는 상술한 바와 같이 행동 인식 결과와 미션 요청 정보의 부합 여부를 판단하며, 부합하지 않는 경우 방송 종료 시까지 또는 소정의 시간 동안 방송인의 영상과 음성을 수집하여 행동을 인식한다.
서버(100)가 방송인의 행동 인식 결과와 미션 요청 정보가 부합하는 것으로 판단한 경우, 서버(100)는 미션 수행이 완료되었다는 정보(이하 '미션 수행 완료 정보')를 방송 플랫폼 시스템(20)에 전송한다. 방송 플랫폼 시스템(20)은 미션 수행 완료 정보를 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다. 또한, 서버(100)는 미션 수행 완료 정보와 함께 후원금/후원 아이템이 지급된다는 정보(이하 '후원금 지급 정보')를 방송 플랫폼 시스템(20)에 전송할 수 있고, 이 경우 방송 플랫폼 시스템(20)은 미션 수행 완료 정보와 후원금 지급 정보를 함께 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다. 또한, 서버(100)는 방송인이 시청자가 요청한 미션을 수행한 경우, 예치된 후원금이나 후원 아이템이 미션을 수행한 방송인에게 지급되도록 처리한다. 즉, 시청자 단말기(30)가 서버(100)가 관리하는 계좌에 후원금을 예치하거나, 시청자 단말기(30)가 서버(100)를 통해 후원 아이템을 구매한 경우, 서버(100)는 방송인의 미션 수행 완료 시 후원금이나 후원 아이템이 방송인에게 지급되도록 처리한다. 한편, 방송 플랫폼 시스템(20)에서 후원금의 예치를 관리하거나, 시청자 단말기(30)가 방송 플랫폼 시스템(20)을 통해 후원 아이템을 구매한 경우, 서버(100)는 방송인의 미션 수행 완료 시 방송 플랫폼 시스템(20)에 후원금이나 후원 아이템의 지급을 요청하는 메시지를 전송한다.
한편, 본 발명의 제1 실시예에 따른 실시간 방송 시스템은 방송 보조 IoT 기기(60)를 더 포함할 수 있다. 이 경우, 서버(100)은 방송 보조 IoT 기기(60)을 제어한다. 방송 보조 IoT 기기(60)는 사물 인터넷(Internet of Things)이 적용된 장치이다. 참고로, 사물 인터넷이란 인터넷을 기반으로 복수개의 사물이 서로 연결되는 것을 의미한다. 인터넷을 기반으로 서로 연결된 사물들 간에는 상호 정보의 교류가 가능하다.
예를 들어, 본 발명에 따른 방송 보조 IoT 기기(60)는 사물인터넷이 적용된 선풍기, 송풍기, 에어컨, 보일러, 조명, 가습기, 제습기, 공기청정기, 로봇청소기, 스마트폰, PC(별도의 컴퓨터는 물론, 방송용 컴퓨터도 포함됨), 스피커, 모니터(방송용 모니터도 포함됨), 카메라, 콘센트, 멀티 탭, 체중계, 러닝 머신 또는 사이클 머신 등 각종 운동기구, 프린터, 팩스, 복합기, 각종 전원 스위치 모듈, 전원 어댑터, 도어 록, 비디오 폰, TV수신장치(셋탑 박스), 차량, 블랙박스, 네비게이션, 적외선 감지기, 반려동물용 먹이장치, 반려동물용 놀이장치 및 돈총(머니건, 캐시건) 중 어느 하나가 될 수 있고, 열거한 예시에 제한되지 않는다.
서버(100)는 특정한 조건에서 방송 보조 IoT 기기(60)가 동작하도록 할 수 있다. 예를 들어, 한여름에 방송인이 시청자가 요청한 미션(춤추기)을 수행했을 때, 서버(100)는 사물인터넷이 적용된 선풍기나 에어컨(60)을 동작시킬 수 있다. 다른 예시로서, 방송인이 시청자가 요청한 미션을 수행했을 때, 서버(100)는 돈총(60)을 작동시켜 돈총(60)의 내부에 수용된 지폐가 배출되도록 할 수 있다. 참고로, 돈총은 내부에 지폐를 수용할 수 있으며, 방아쇠가 당겨지거나, 제어 신호에 의해 내부에 담긴 지폐를 외부로 배출하는 장치이다. 서버(100)는 방송인에게 지급될 후원 액수만큼 돈총(60)을 작동시켜 지폐가 배출되도록 할 수 있고, 단지 후원을 받는 시각적 효과를 위해 돈총(60)을 제어하여 일정량의 지폐가 배출되도록 할 수도 있다. 또한, 방송인이 특정한 단어를 말할 경우, 방송인의 키보드가 동작하지 않게 되거나, 방송인의 모니터 화면이 10초간 안 보이도록 할 수 있다.
본 발명의 다른 실시예로서, 미션이 사전에 부여되지 않고, 방송 중에 방송인이 시청자의 행동을 따라하거나, 시청자가 방송인을 따라하는 형태의 미션이 있을 수 있다.
① 미션 요청 정보가 '시청자의 행동을 따라하기(특정한 시청자 지정됨)'일 경우, 서버(100)는 대상이 되는 시청자 단말기(30)에서 시청자의 영상을 수신하거나, 방송 플랫폼 시스템(20)을 통해 대상 시청자의 영상을 수신하여, 시청자의 영상에 나타난 시청자의 동작과 방송인의 영상에 나타난 방송인의 동작을 비교하는 방법으로 미션 수행 완료 여부를 판단할 수 있다. 이 경우, 서버(100)의 행동 인식부(120)는 행동(동작) 유사도 비교 모델을 사용하여 행동(동작)의 유사도를 산출하고, 미션 수행 판단부(130)는 소정의 기준값 이상의 유사도가 산출되는 경우 미션 수행이 완료된 것으로 판단할 수 있다. 행동(동작) 유사도 비교 모델은 각 주체의 동작(관절의 움직임)에서 자세의 시퀀스를 얻은 후, DTW(Dynamic Time Warping) 알고리즘을 적용하여 시퀀스 간의 유사도를 산출하는 모델일 수 있다. 이때 시청자는 시청자 단말기(30)에 설치되어 있는 방송 수신 어플리케이션(앱)을 통하여 방송인의 영상과 시청자의 영상을 좌우로 배치하여 자신의 행동/음성과 방송인의 행동/음성을 비교할 수 있다. 또한, 시청자는 상기 어플리케이션을 통하여 자신의 모습을 확대한 형태와 방송인과 다른 시청자의 모습을 격자 무늬로 배치하는 방식(화상회의 방식)으로 방송 영상을 시청할 수도 있으며, 방송인 1명 및 시청자 N명으로 방송 화면을 구성할 수 있다. 방송인이 시청자 따라하기 콘텐츠로 방송을 하는 경우, 방송인을 특정한 시청자를 지정하여 따라하기를 할 수 있다. 방송 화면은 시청자와 방송인을 좌우로 배치하거나 시청자와 방송인을 겹쳐서 표시하는 방식으로 구성할 수도 있다.
서버(100)는 방송인 또는 시청자가 지정한 일정한 시간 동안 방송인의 영상과 시청자의 영상의 부합 여부를 판단할 수 있으며, 부합으로 판단하는 경우 방송인에게 후원금을 지급한다.
② 시청자가 방송인을 따라하는 콘텐츠로 방송을 할 경우(도 2 참고), 방송인은 방송인 단말기(10)를 통해 미션 요청 정보('시청자가 방송인의 행동을 따라하기', '시청자가 방송인의 말을 따라하기')와 후원금(또는 상금) 예치 정보를, 직접적으로 또는 방송 플랫폼 시스템(20)을 경유하여, 서버(100)의 후원 관리부(110)에 전송한다. 서버(100)는 방송인 단말기(10)에서 방송인의 영상/음성을 수집하고, 시청자 단말기(30)에서 시청자의 영상/음성을 수집하여, 실시간 행동/음성 분석을 통해 미션을 수행한 시청자를 판단하여, 해당 시청자에게 후원금(상금)을 지급할 수 있다. 행동 서버(100)의 후원 관리부(110)는 서버(100)의 미션 수행 판단부(130)에서 미션 수행 완료 정보를 전달받는 경우, 미션 수행 완료 정보를 방송 플랫폼 시스템(20)에 전송한다. 방송 플랫폼 시스템(20)은 미션 수행 완료 정보를 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다. 서버(100)는 미션 수행 완료 여부를 판단하기 위해 ①에 상술한 행동 유사도 비교 모델을 활용할 수 있다. 또한, 서버(100)는 사전에 시청자 IoT 기기(61)의 제어 권한을 부여받은 상태에서, 미션 수행 완료나 실패 등 소정의 조건에 따라 IoT 제어부(140)를 통해 인터넷 등 유선/무선 네트워크를 통해 시청자 IoT 기기(61)를 제어할 수 있다.
②의 구체적인 예시를 설명한다. 방송인이 방송인 단말기(10)를 통해 '시청자가 방송인의 말을 따라하기' 미션 요청 정보를 후원 관리부(110)에 전송하고, 일정 상금을 후원 관리부(110)에 적립한다. 방송인이 방송을 통해 시청자에게 "저희 오늘 하루도 긍정적으로 시작합시다. 다 같이 외쳐볼까요? 우리 힘내요!" 라고 할 경우, 시청자의 스마트폰 혹은 PC에서 시청자가 "우리 힘내요!" 라고 말한다. 서버(100) 또는 시청자 단말기(30)는 방송인 단말기(10)와 시청자 단말기(30)에서 방송인과 시청자의 영상과 음성을 수집한다. 서버(100) 또는 시청자 단말기(30)가 음성을 인식하여 방송인의 음성 인식 결과와 시청자의 음성 인식 결과 비교를 통해 음성 유사도를 산출하고, 소정의 유사도 값 이상이 되는 경우 미션 수행 완료로 판단한다. 수인의 시청자의 미션 수행이 완료된 것으로 판단되면 후원 관리부(110)가 소정의 상금이 미션을 수행한 시청자들에게 지급되도록 처리한다. 또한, 운동을 콘텐츠로 하는 방송인은 시청자가 자신처럼 운동 자세를 똑같이 할 경우 소정의 상금으로 보상할 수도 있다. 이처럼 각종 캠페인 등에서 활용 가능하다.
한편, 인터넷 방송 시스템에서는 채널 포인트 제도가 있는데, 채널 포인트는 시청자의 방송 시청 시간, 채널 구독, 방송인 팔로우 등의 활동을 통해 적립되는 포인트이다. 시청자는 채널 포인트를 사용하고 그에 따른 보상을 받을 수 있다. 보상의 예를 들면, 특정 이모티콘에 대한 사용권, 이모티콘 수정권, 구독자 전용 모드에서 메시지 보내기, 내 메시지 강조하기 등이 있으며, 보상에 필요한 채널 포인트 및 보상의 구체적인 내용은 해당 채널에서 방송을 진행하는 방송인이 설정할 수 있다. 시청자가 방송인을 따라하는 콘텐츠로 방송할 경우, 방송인은 상금뿐만 아니라 이러한 채널 포인트 혹은 해당 방송 플랫폼에서 통용되는 아이템을 미션 수행에 성공한 시청자에게 제공할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도이다.
도 3에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 실시간 방송 후원 서버(100)는 후원 관리부(110), 행동 인식부(120) 및 미션 수행 판단부(130)를 포함한다. 또한 서버(100)는 IoT 제어부(140)를 더 포함할 수 있다.
후원 관리부(110)는 시청자가 방송인에게 요청할 수 있는 행동(미션)의 목록(미션 리스트)를 시청자 단말기(30)에 제공하여 시청자가 미션을 선택할 수 있도록 한다. 후원 관리부(110)는 미션 리스트를 시청자 단말기(30)에 직접 제공할 수도 있고, 방송 플랫폼 시스템(20)을 통해 간접적으로 제공할 수도 있다.
미션의 예를 들면, '팔 하트 만들기', '손가락 하트 만들기', '만세 자세', '기마 자세', '꽃받침 자세', '행복한 표정', '웃기', '슬픈 표정', '우는 척하기', '춤추기', '노래 부르기', '축하 인사하기', '특정 단어 말해주기(미션 요청 정보에 단어가 포함)', '남자 목소리 내기', '여자 목소리 내기', '혼내 주기', '건달인 척하기', '스쿼트 1분 동안 하기' 등이 있을 수 있다. 이러한 미션의 달성 여부는 행동 인식부(120) 및 미션 수행 판단부(130)의 동작에 따라 판단되며, 인식 및 판단에 인공지능이 활용될 수 있다.
후원 관리부(110)는 미션 요청 정보와 후원금 예치 정보를 시청자 단말기(30) 또는 방송 플랫폼 시스템(20)에서 수집하고, 미션 요청 정보와 후원금 예치 정보를 매칭한다. 후원 관리부(110)는 소정 시간 동안 수집된 미션 요청 정보와 후원금 예치 정보를 종합하여 방송인 단말기(10) 및 방송 플랫폼 시스템(20)에 전송한다. 또한 후원 관리부(110)는 미션 요청 정보를 미션 수행 판단부(130)에 전달한다.
후원 관리부(110)는 미션 수행 판단부(130)에서 미션 수행 완료 정보를 전달받는 경우, 미션 수행 완료 정보를 방송 플랫폼 시스템(20)에 전송한다. 방송 플랫폼 시스템(20)은 미션 수행 완료 정보를 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다. 후원 관리부(110)는 미션 수행 완료 정보와 함께 후원금/후원 아이템이 지급된다는 정보('후원금 지급 정보')를 방송 플랫폼 시스템(20)에 전송할 수 있고, 이 경우 방송 플랫폼 시스템(20)은 미션 수행 완료 정보와 후원금 지급 정보를 함께 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다.
또한, 후원 관리부(110)는 미션 수행 완료에 따라 미션 요청 정보와 매칭되어 예치된 후원금이나 후원 아이템이 미션을 수행한 방송인에게 지급되도록 처리한다. 즉, 시청자 단말기(30)가 후원 관리부(110)가 관리하는 계좌에 후원금을 예치하거나, 시청자 단말기(30)가 후원 관리부(110)를 통해 후원 아이템을 구매한 경우, 후원 관리부(110)는 방송인의 미션 수행 완료 시 해당 미션과 매칭되어 있는 후원금이나 후원 아이템의 전부나 일부가 방송인에게 지급되도록 처리한다. 한편, 방송 플랫폼 시스템(20)에서 후원금의 예치를 관리하거나, 시청자 단말기(30)가 방송 플랫폼 시스템(20)을 통해 후원 아이템을 구매했을 경우, 후원 관리부(110)는 방송인의 미션 수행 완료 시 방송 플랫폼 시스템(20)에 해당 미션과 매칭된 후원금이나 후원 아이템의 지급을 요청하는 메시지를 전송한다.
한편, 후원 관리부(110)는 미션 수행이 완료되었더라도, 방송인이 미션에서 요구된 행동을 했을 확률('행동 확률')에 따라 후원금이나 후원 아이템을 방송인에게 차등 지급할 수 있다.
또한, 후원 관리부(110)는 IoT 제어부(140)가 서버(100)에 포함된 경우, IoT 제어부(140)에 미션 수행 완료 정보를 전달한다. 이때 후원 관리부(110)는 후원금 지급 정보를 미션 수행 완료 정보와 함께 IoT 제어부(140)에 전달할 수 있다.
행동 인식부(120)는 방송인 단말기(10)에서 방송인이 나타난 영상과 방송인의 음성 중 적어도 어느 하나를 수집하고, 분석을 통해 방송인의 행동(표정이나 자세가 포함됨)을 인식한다. 예를 들어, 행동 인식부(120)는 방송용 카메라(40)에서 수집한 영상에 나타난 방송인의 자세를 프레임 별로 구분하고, 시퀀스 진행에 따른 자세 변화에 기초하여 방송인의 행동을 인식할 수 있다.
행동 인식부(120)는 방송인 단말기(10) 대신 방송 플랫폼 시스템(20)이나 방송용 카메라(40) 및 마이크(50)에서 방송인의 영상과 음성 중 어느 하나를 수집할 수 있다.
또한, 행동 인식부(120)는 딥러닝 기법을 통해 학습된 신경망을 이용하여 방송인의 행동을 인식할 수 있다. 예를 들어, 행동 인식부(120)는 뼈대를 구성하는 관절을 노드(node)로, 관절을 연결하는 뼈를 엣지(edge)로 하며, 시간 축에 따라 동일한 노드를 연결한 그래프 구조를 정의하고, 그래프 합성곱 신경망(GCN)을 학습시켜 생성한 동작 인식 모델을 이용하여 방송인의 동작을 인식할 수 있다. 또한, 행동 인식부(120)는 LSTM(Long Short-Term Memory) 신경망 등 딥러닝 기법이 적용된 음성 인식 모델을 이용하여 음성을 텍스트로 변환하는 방법으로 방송인의 음성을 인식할 수 있다. 행동 인식부(120)가 사용하는 음성 인식 모델(소리 인식 모델)에는 일반적인 음성 인식 모델도 있지만, 음성의 특징을 추출하여 특징 벡터를 만들고 여기에 음향 모델을 적용하여 패턴을 분류하는 형태의 모델도 포함된다. 예를 들어, 행동 인식부(120)는 방송인의 음성에서 성별, 나이, 발음 시 상태 등 음성의 특징 또는 음성의 패턴을 인식할 수 있다. 음성 특징 추출 방법으로는 선형 예측 계수(Linear Predictive Coefficient), 고속 푸리에 변환(FFT), 켑스트럼(cepstrum), 멜 프리퀀시 켑스트럼(Mel Frequency Cepstral Coefficient, MFCC), 주파수 대역별 에너지 등의 방법이 사용될 수 있다. 음향 모델(패턴 분류 모델)은 딥러닝을 이용하여 구축할 수 있다.
행동 인식부(120)는 동작 인식 결과와 음성 인식 결과를 종합하여 방송인의 행동을 인식할 수 있다. 또한, 행동 인식부(120)는 동작 인식 모델과 음성 인식 모델을 앙상블한 행동 인식 모델을 이용하여 방송인의 행동을 인식할 수도 있다. 행동 인식부(120)는 동작이나 음성을 인식하기 위해 활용할 수 있는 딥러닝 기법의 예를 들면, HMM(Hidden Markov Model), CNN(Convolutional Neural Network), GCN(Graph Convolutional Neural Network), 완전 연결 DNN(Fully-Connected Deep Neural Network), DBN(Dynamic Bayesian Network), CRF(Conditional Random Field), Ensemble TS-LSTM, ST-GCN, AS-GCN, Wav2Vec, SincNet 등의 기법이 있을 수 있다.
행동 인식부(120)는 별도의 학습 모듈(121)을 포함할 수 있다. 이 경우, 학습 모듈(121)은 방송인의 영상과 음성을 입력으로 하고, 미션 리스트에 사용될 수 있는 행동의 명칭을 레이블(출력)로 하여 딥러닝 네트워크를 학습시켜 행동 인식 모델을 생성한다.
행동 인식부(120)는 방송용 카메라(40) 및 마이크(50)에서 수집한 영상과 음성 중 적어도 어느 하나를 사용하여 방송인의 행동을 인식하고, 미션 수행 판단부(130)에 행동 인식 결과를 전달한다. 행동 인식 결과는 행동의 명칭일 수도 있고, 행동의 명칭과 그 행동을 했을 확률값('행동 확률')이 매칭된 형태일 수도 있다. 예를 들어, 행동 인식 결과는 '손가락 하트 만들기'일 수도 있고, '손가락 하트 만들기, 80%'일 수도 있다.
한편, 행동 인식부(120)는 동작 인식 모델, 음성 음식 모델은 물론, 딥러닝 기법으로 학습된 영상 분석 모델(객체 탐지 및 인식 모델(object detection, object recognition), 글자 인식 모델(OCR, Optical Character Recognition), 해안선 탐지 모델(shore-line detection), 육지/바다 구분 모델(sea-land Segmentation))이 추가로 탑재될 수 있다. 따라서 행동 인식부(120)는 방송인의 자세, 표정뿐만 아니라 영상에 나타난 객체의 수나 단어/문장을 탐지할 수 있고, 이러한 탐지 내용을 미션 수행 판단부(130)에 전달하여 미션 수행 여부를 판단하도록 할 수 있다. 예를 들어, 야외 방송의 경우, 미션 요청 정보의 내용이 특정 프랜차이즈 카페 방문일 수 있는데, 이 경우, 방송인이 해당 카페 앞에 갈 경우, 행동 인식부(120)는 방송인의 영상에 나타난 카페의 간판에서 단어를 검출하여 인식할 수 있으며, 미션 수행 판단부(130)는 이 단어가 미션 요청 정보에 포함되는 단어일 경우 미션이 수행된 것으로 판단할 수 있다. 이러한 방법으로 스튜디오내에 인형 배치해두기(1초당 0.01원), 물 속으로 들어가기 등의 미션에 대한 수행 여부 판단이 가능하다.
또한, 미션 요청 정보가 '시청자의 행동을 따라하기(특정한 시청자가 지정됨)' 또는 '시청자가 방송인의 행동을 따라하기'일 경우, 행동 인식부(120)는 대상이 되는 시청자 단말기(30)에서 직접적으로 시청자의 영상을 수신하거나, 방송 플랫폼 시스템(20)을 통해 시청자의 영상을 수신하여, 시청자의 영상에 나타난 시청자의 행동(동작)과 방송인의 영상에 나타난 방송인의 행동(동작)을 비교하여 유사도를 산출할 수 있다. 이 경우, 행동 인식부(120)는 행동(동작) 유사도 비교 모델을 사용하여 행동(동작)의 유사도를 산출하고, 미션 수행 판단부(130)는 소정의 기준값 이상의 유사도가 산출되는 경우 미션 수행이 완료된 것으로 판단할 수 있다. 행동 인식부(120)에서 사용하는 행동(동작) 유사도 비교 모델은 각 주체의 동작(관절의 움직임)에서 자세의 시퀀스를 얻은 후, DTW(Dynamic Time Warping) 알고리즘을 적용하여 시퀀스 간의 유사도를 산출하는 모델일 수 있다.
미션 수행 판단부(130)는 후원 관리부(110)에서 전달받은 미션 요청 정보와 행동 인식부(120)에서 전달받은 행동 인식 결과를 비교하여 부합 여부를 판단한다. 미션 수행 판단부(130)는 미션 요청 정보 중 행동 인식 결과와 부합하는 행동이 있는 경우, 후원 관리부(110)에 특정 미션에 대하여 미션 수행이 완료되었다는 정보(미션 수행 완료 정보)를 전달한다. 이때 미션 수행 판단부(130)는 행동 인식 결과 중 행동 확률을 미션 수행 완료 정보와 함께 후원 관리부(110)에 전달할 수 있다.
IoT 제어부(140)는 실시간 방송 시스템에 방송 보조 IoT 기기(60)가 포함되어 있을 경우, 방송 보조 IoT 기기(60)를 제어한다. 즉, IoT 제어부(140)는 소정 조건에서 방송 보조 IoT 기기(60)를 동작시키는 제어 신호를 생성하여 방송 보조 IoT 기기(60)에 유선/무선 통신을 통해 전송할 수 있다. 예를 들어, 방송 보조 IoT 기기(60)가 에어컨일 경우, IoT 제어부(140)는 후원 관리부(110)에서 미션 수행 완료 정보를 수신하면, 일정 시간 동안 에어컨(60)을 가동할 수 있다. 또한, 방송 보조 IoT 기기(60)가 돈총일 경우, IoT 제어부(140)는 후원 관리부(110)에서 미션 수행 완료 정보와 후원금 지급 정보를 전달받아 돈총(60)을 제어하여 일정량의 지폐가 배출되도록 할 수 있다.
도 4는 본 발명의 제2 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도이며, 도 5는 본 발명의 제2 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도이다.
본 발명의 제2 실시예에서 실시간 방송 후원 서버(100')는 방송인의 행동 인식을 위해 별도의 행동 인식용 IoT 기기(70)를 이용하여 방송인의 영상이나 음성을 수집하여, 이를 기초로 행동 인식을 수행함으로써 행동 인식 정확성을 높일 수 있다.
도 4에 도시한 바와 같이, 본 발명의 제2 실시예에 따른 실시간 방송 시스템(1')은, 방송인 단말기(10), 방송 플랫폼 시스템(20), 시청자 단말기(30), 방송용 카메라(40), 마이크(50), 실시간 방송 후원 서버(100', 이하 '서버'로 약칭) 및 행동 인식용 IoT 기기(70)를 포함하여 구성되며, 방송 보조 IoT 기기(60)를 더 포함할 수 있다.
실시간 방송 시스템(1)과 실시간 방송 시스템(1')은 행동 인식을 위한 방송인의 영상 또는 음성의 수집 방식에 있어서 차이가 있으며, 영상 데이터의 정보량과 그 처리 방식에 있어서도 차이가 있을 수 있다. 하기에 실시간 방송 시스템(1)과 실시간 방송 시스템(1') 간의 차이점을 중심으로 설명한다.
서버(100')는 방송인의 행동 인식을 위해 행동 인식용 IoT 기기(70)에서 방송인의 영상 및 음성 중 적어도 어느 하나를 수집한다. 행동 인식용 IoT 기기(70)는 사물 인터넷 기술이 적용된 카메라 또는 마이크이며, 카메라와 마이크가 모두 탑재된 IoT 기기일 수 있다. 행동 인식용 IoT 기기(70)는 방송인 단말기(10) 주변에 위치하여 방송용 카메라(40) 또는 마이크(50)와 별도로 방송인의 영상이나 음성을 수집하여 서버(100')에 제공한다.
행동 인식용 IoT 기기(70)는 3D 깊이 카메라(3D depth camera)일 수 있다. 참고로, 3D 깊이 카메라 기술은 이미지 각 픽셀의 깊이 정보를 획득하는 기술이다. 행동 인식용 IoT 기기(70)로서 사용될 수 있는 3D 깊이 카메라는 스테레오 타입, ToF(Time-of-Flight 타입, 구조화된 패턴(structured pattern) 타입이나 이들 기법이 융합된 하이브리드 타입 중 어느 하나일 수 있으나, 본 발명의 범위는 이에 제한되지 않는다.
서버(100')는 후원 관리부(110), 행동 인식부(120') 및 미션 수행 판단부(130)를 포함하고, IoT 제어부(140)를 더 포함할 수 있다. 서버(100')의 행동 인식부(120')는 별도의 학습 모듈을 포함할 수 있다. 이 경우, 행동 인식부(120')의 학습 모듈은 방송인의 영상과 음성을 입력으로 하고, 미션 리스트에 사용될 수 있는 행동의 명칭을 레이블(출력)로 하여 딥러닝 네트워크를 학습시켜 행동 인식 모델을 생성할 수 있다. 또한, 행동 인식부(120')의 학습 모듈은 NTU RGB+D 등의 데이터셋이나 Kinetic-GAN(Generative Adversarial Network)으로 생성한 동작 데이터를 활용하여 딥러닝 네트워크를 학습시켜 행동 인식 모델을 생성할 수 있다.
행동 인식부(120')는 방송용 카메라(40) 대신 행동 인식용 IoT 기기(70)에서 방송인이 나타난 영상 및 음성 중 적어도 어느 하나를 수집한다. 행동 인식용 IoT 기기(70)가 3D 깊이 카메라인 경우, 행동 인식부(120')는 인식 대상이 되는 방송인의 신체 각 부분의 깊이 정보를 이용하여 학습과 추론을 수행함으로써 행동 인식 모델 학습을 효과적으로 할 수 있으며, 행동 인식(추론)의 정확도를 높일 수 있다.
도 6은 본 발명의 제3 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도이고, 도 7은 본 발명의 제3 실시예에 따른 실시간 방송 후원 서버의 구성을 나타낸 블록도이다.
본 발명의 제3 실시예는 실시간 방송 후원 서버(100'')가 방송인 단말기의 기능까지 수행하는 것을 특징으로 한다.
도 6에 도시한 바와 같이, 본 발명의 제3 실시예에 따른 실시간 방송 시스템(1'')은, 방송 플랫폼 시스템(20'), 시청자 단말기(30), 방송용 IoT 기기(40') 및 실시간 방송 후원 서버(100'', 이하 '서버'로 약칭)를 포함하여 구성되며, 방송 보조 IoT 기기(60)를 더 포함할 수 있다.
실시간 방송 시스템(1)과 실시간 방송 시스템(1'')은 방송 콘텐츠의 생성 주체 및 방송인의 행동 인식을 위한 데이터 수집 방식에 있어서 차이가 있다. 하기에 실시간 방송 시스템(1)과 실시간 방송 시스템(1'') 간의 차이점을 중심으로 설명한다.
서버(100'')는 방송용 IoT 기기(40')에서 방송 영상과 음성을 유선 또는 무선 통신을 통해 수신하여 방송을 위한 콘텐츠를 실시간으로 생성한다. 다만, 이에 한정되는 것은 아니고, 기 생성된 콘텐츠를 외부로부터 전달받을 수 있다. 방송용 IoT 기기(40')는 사물 인터넷 기술이 적용된 기기로서, 방송용 카메라와 마이크가 구비되어 유선/무선 통신망을 통해 영상과 음성을 서버(100'')에 전송할 수 있는 기기이다. 서버(100'')는 스트리밍 방송이 실시될 수 있도록 방송 콘텐츠를 방송 플랫폼 시스템(20')에 전송한다.
시청자 단말기(30)에서 직접적으로 또는 방송 플랫폼 시스템(20')을 통해 서버(100'')로 미션 요청 정보 및 후원금 예치 정보를 전송한 경우, 서버(100'')는 시청자 단말기(30) 또는 방송 플랫폼 시스템(20')에서 수신한 1가지 이상의 미션 요청 정보 및 후원금 예치 정보를 종합하여 직접적으로 또는 방송 플랫폼 시스템(20')을 통하여 시청자 단말기(30)에 전송한다. 방송인은 복수의 시청자 단말기(30) 중 하나를 이용하여 미션 요청 정보 및 후원금 예치 정보를 인지할 수 있다.
서버(100'')는 후원 관리부(110), 행동 인식부(120''), 미션 수행 판단부(130) 및 방송 콘텐츠 생성부(150)를 포함하고, IoT 제어부(140)를 더 포함할 수 있다.
행동 인식부(120'')는 방송용 IoT 기기(40')에서 수집한 영상과 음성을 기초로 방송인의 행동을 인식하며, 방송 콘텐츠 생성부(150)는 방송용 IoT 기기(40')에서 수집한 영상과 음성을 기초로 방송 콘텐츠를 생성하고, 생성한 방송 콘텐츠를 방송 플랫폼 시스템(20')에 전송한다.
도 8은 본 발명의 제4 실시예에 따른 실시간 방송 시스템의 구성을 나타낸 블록도이다.
본 발명의 제4 실시예는 실시간 방송 후원 서버(100''')가 방송 플랫폼 시스템(20'')에 포함되어, 방송 플랫폼 시스템(20'')이 미션 요청 정보와 후원금 예치 정보를 수집하고, 방송인의 행동 인식을 통해 미션 수행 여부를 판단하는 기능을 갖추고 있다는 것이 특징이다.
도 8에 도시한 바와 같이, 본 발명의 제4 실시예에 따른 실시간 방송 시스템(1''')은, 방송인 단말기(10), 방송 플랫폼 시스템(20''), 시청자 단말기(30), 방송용 카메라(40), 마이크(50)를 포함하며, 방송 보조 IoT 기기(60)을 더 포함할 수 있다. 방송 플랫폼 시스템(20'')은 실시간 방송 후원 서버(100''', 이하 '서버'로 약칭)를 포함한다.
하기에서 실시간 방송 시스템(1)과 실시간 방송 시스템(1''') 간의 차이점을 중심으로 설명한다.
방송 플랫폼 시스템(20'')에 포함되어 있는 서버(100''')는 시청자 단말기(30)에서 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보('미션 요청 정보') 및 후원금 예치 정보를 수집하고, 방송 콘텐츠를 기초로 방송인의 행동을 인식하고, 행동 인식 결과와 미션 요청 정보에 포함된 미션을 비교하여 미션이 완료되었다고 판단한 경우, 후원금의 지급을 처리하거나, 방송 플랫폼 시스템(20'')에 별도로 포함되어 있는 후원금 처리부에 미션 수행 완료 정보를 전달한다. 후원금 처리부는 미션 수행 완료 정보에 따라 인터넷 방송인에게 후원금의 전부나 일부가 지급되도록 처리할 수 있다.
상술한 차이점을 제외하면, 서버(100''')의 구성과 기능은 서버(100)와 동일하다.
도 9는 본 발명의 일 실시예에 따른 실시간 방송 후원 서버(100, 100',100'',100''')의 동작 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 실시간 방송 후원 서버(100, 100',100'',100''')의 동작 방법은 S310 단계 내지 S380 단계를 포함하며, S390 단계를 더 포함할 수 있다. 또한, 상기 동작 방법에서 특정 단계가 생략될 수 있다. 예를 들어, S330 단계나 S370 단계는 외부에 정보를 전달하는 단계로서, 생략될 수 있다. 또한 후원금을 받지 않는 실시간 방송의 경우, S320 단계와 S380 단계가 생략될 수 있다.
S310 단계는 미션 요청 정보 수신 단계이다. 서버(100, 100', 100'', 100''')는 미션 리스트를 시청자 단말기(30)에 전송한다. 서버(100, 100', 100'', 100''')는 직접적으로 미션 리스트를 시청자 단말기(30)에 전송할 수도 있고, 방송 플랫폼 시스템(20, 20', 20'')에 미션 리스트를 전송 또는 전달하여 방송 플랫폼 시스템(20, 20', 20'')이 방송 영상과 합성하여 미션 리스트를 시청자 단말기(30)에 제시하도록 할 수도 있다. 시청자가 미션 리스트에 열거된 행동 중 하나를 선택하면, 시청자 단말기(30)는 직접적으로 또는 방송 플랫폼 시스템(20, 20', 20'')을 통해 시청자가 방송인에게 요청하는 행동에 관한 정보('미션 요청 정보')를 서버(100, 100', 100'', 100''')에 전송하게 되며, 서버(100, 100', 100'', 100''')는 미션 요청 정보를 수신한다. 만약 하나의 인터넷 방송 채널에서 복수의 방송인이 방송을 진행하거나 방송에 참여 중이라면, 미션 요청 정보에는 시청자가 요청하는 행동을 수행할 방송인에 대한 정보가 포함될 수 있다.
S320 단계는 후원금 예치 단계이다. 시청자 단말기(30)에서 후원금 예치 정보를 서버(100, 100', 100'', 100''')에 전송한다. 시청자 단말기(30)은 직접적으로 후원금 예치 정보를 서버(100, 100', 100'', 100''')에 전송할 수도 있고, 방송 플랫폼 시스템(20)을 통하여 서버(100, 100', 100'', 100''')에 전송할 수도 있다. 서버(100, 100', 100'', 100''')는 후원금 예치 정보를 수신하여 동일한 시청자 단말기(30)에서 전송한 미션 요청 정보와 매칭한다.
S310 단계와 S320 단계는 동시에 이루어질 수 있다. 예를 들어, 실시간으로 게임 방송이 진행되는 도중, 시청자가 시청자 단말기(30)에 나타난 미션 리스트 중 하나('손가락 하트 만들기')를 선택하고, 시청자 단말기(30)의 어플리케이션(또는 앱)을 통해 후원금을 예치하면, 서버(100, 100', 100'', 100''')는 '손가락 하트 만들기'와 후원금을 매칭한다. 복수의 시청자 단말기(30)에서 '손가락 하트 만들기'에 대한 미션 요청 정보를 전송할 수도 있는데, 이 경우, 서버(100, 100', 100'', 100''')는 '손가락 하트 만들기' 미션에 복수의 후원금 예치 정보를 매칭한다.
S330 단계는 미션 요청 정보 및 후원금 예치 정보 전달 단계이다.
서버(100, 100', 100'', 100''')는 수신한 미션 요청 정보 및 후원금 예치 정보를 종합하여 방송인 단말기(10) 또는 방송 플랫폼 시스템(20, 20', 20'')에 전송 또는 전달한다. 방송인 단말기(10)가 미션 요청 정보와 후원금 예치 정보를 수신한 경우, 방송인 단말기(10)는 미션 요청 정보 및 후원금 예치 정보를 화면에 표시하여 방송인이 인지하도록 할 수 있다. 방송 플랫폼 시스템(20, 20', 20'')이 미션 요청 정보와 후원금 예치 정보를 수신한 경우, 방송 플랫폼 시스템(20, 20', 20'')은 해당 정보를 영상에 합성하여 동일한 방송 채널에 접속된 복수의 시청자 단말기(30)에 전송할 수 있다.
본 발명의 다른 예로, 시청자 단말기(30)에서 미션을 선택할 때 미션을 방송인이나 다른 시청자에게 비밀로 할 수 있다(비밀 미션 기능). 예를 들어, 서버(100, 100', 100''')는 미션 요청 정보 및 후원금 예치 정보를 방송인 단말기(10)에 전송하지 않을 수 있다. 이 경우, 방송인은 미션 요청 정보를 인지하지 못한 상태로 방송을 진행하게 되고, 시청자는 미션이 수행되었을 때 후원금이 지급되거나 방송 보조 IoT 기기(60, 예컨대 송풍기)가 동작한 결과 방송인이 기뻐하거나 놀라는 모습을 보면서 재미와 즐거움을 얻을 수도 있다. 또한, 서버(100,100',100''')는 미션 요청 정보 및 후원금 예치 정보를 방송인 단말기(10)뿐만 아니라, 시청자 단말기(30)에도 전송되지 않도록 할 수 있다. 즉, 시청자가 미션을 부여할 때, 미션 요청 정보(특정 행동 또는 소리)를 방송인에게 알려주지 않을 수 있으며 시청자들에게도 공개되거나 비공개로 할 수도 있어서 더욱 재미있는 콘텐츠의 제작이 가능하다. 예를 들어, 미션을 비공개로 한 상태에서, 방송인이 "좋아" 라는 말을 할 경우, 후원금이 100원 추가될 수 있고, "별로야"라는 말을 할 경우 후원금이 100원 차감될 수 있다. 또한 비밀 미션의 비공개 시간은 미션 요청 시 정할 수 있으며, 비공개 시간이 경과한 이후 방송인이 미션 수행 여부를 확인하고 해당하는 후원금을 수령할 수 있다.
S340 단계는 영상/음성 수집 단계이다. 서버(100, 100', 100'', 100''')는 방송인의 영상 및 방송인의 음성 중 적어도 어느 하나를 수집한다. 방송인 단말기(10), 방송 플랫폼 시스템(20, 20', 20''), 방송용 카메라(40), 방송용 IoT 기기(40'), 마이크(50), 행동 인식용 IoT 기기(70) 중 적어도 어느 하나가 서버(100, 100', 100'', 100''')에 방송인의 영상이나 음성을 제공할 수 있다.
S350 단계는 행동 인식 단계이다. 서버(100, 100', 100'', 100''')는 수집된 방송인의 영상과 음성 중 적어도 어느 하나를 기초로 방송인의 행동을 인식한다. 서버(100, 100', 100'', 100''')이 방송인의 행동을 인식(추론)하는데 있어서, 딥러닝 기법으로 학습된 신경망이 활용될 수 있다. 행동 인식 결과는 행동의 명칭일 수도 있고, 행동의 명칭과 그 행동을 했을 확률값('행동 확률')이 매칭된 형태일 수도 있다. 예를 들어, 행동 인식 결과는 '손가락 하트 만들기'일 수도 있고, '손가락 하트 만들기, 80%'일 수도 있다.
S360 단계는 행동-미션 부합 여부 판단 단계이다. 서버(100, 100', 100'', 100''')는 행동 인식 결과와 미션 요청 정보의 부합 여부를 판단한다. 전술한대로, 본 명세서에서 '부합'은 서버(100, 100', 100'', 100''')가 인식한 방송인의 행동과 시청자가 미션으로 지정한 행동이 일치하는 것은 물론이고, 방송인의 행동이 시청자가 미션으로 선택한(요청한) 행동일 확률이 소정 범위 내에 속하는 경우도 포함하는 것으로 본다. 예를 들어, 미션 요청 정보가 '손가락 하트 만들기'이고, 행동 인식 결과가 '손가락 하트 만들기, 80%'이며, '부합'으로 판단하는 기준 확률이 60%라면, 행동 인식 결과와 미션 요청 정보가 부합하는 것으로 본다.
판단 결과 부합하지 않는 경우, S340 단계로 진행하여 소정의 시간 동안 추가적으로 방송인의 영상과 음성을 수집하여 행동을 인식한다. 예를 들어, 미션 요청 정보가 '손가락 하트 만들기'인데, 행동 인식 결과는 '팔 하트 만들기'일 경우, 미션과 행동이 부합하지 않는다. 이 경우, 서버(100, 100', 100'', 100''')는 미션 확인 시간이 3분 남은 경우, 남은 3분 동안 추가적으로 방송인의 영상과 음성을 수집하여 행동을 인식하여 미션인 '손가락 하트 만들기' 달성 여부를 확인하게 된다. 만약 주어진 시간 동안 미션이 달성되지 않는 경우, 서버(100, 100', 100'', 100''')는 후원 관리부(110, 221)를 통해 예치된 후원금이나 후원 아이템을 시청자에게 반환하는 작업을 처리한다.
판단 결과 부합하는 경우, S370 단계를 진행한다. 예를 들어, 미션 요청 정보와 행동 인식 결과가 '손가락 하트 만들기'로 부합하는 경우, S370 단계를 진행한다.
S370 단계는 미션 수행 완료 정보 전달 단계이다. 서버(100, 100', 100'', 100''')는 미션 수행 완료 정보를 방송 플랫폼 시스템(20, 20', 20'')에 전송 또는 전달한다. 방송 플랫폼 시스템(20, 20', 20'')은 미션 수행 완료 정보를 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다. 또한, 서버(100, 100', 100'', 100''')는 미션 수행 완료 정보와 함께 후원금/후원 아이템이 지급된다는 정보(이하 '후원금 지급 정보')를 방송 플랫폼 시스템(20, 20', 20'')에 전송 또는 전달할 수 있고, 이 경우 방송 플랫폼 시스템(20, 20', 20'')은 미션 수행 완료 정보와 후원금 지급 정보를 함께 영상과 합성하여 복수의 시청자 단말기(30)에 전송할 수 있다.
S380 단계는 후원금 지급 단계이다. 서버(100, 100', 100'', 100''')는 예치된 후원금이나 후원 아이템의 전부나 일부가 미션을 수행한 방송인에게 지급되도록 처리한다. 만약 방송 플랫폼 시스템(20, 20', 20'')에서 후원금의 예치를 관리하거나, 시청자 단말기(30)가 방송 플랫폼 시스템(20, 20', 20'')을 통해 후원 아이템을 구매한 경우, 서버(100, 100', 100'', 100''')는 방송 플랫폼 시스템(20, 20', 20'')에 후원금이나 후원 아이템의 지급을 요청하는 메시지를 전송 또는 전달한다.
S390 단계는 보조 IoT 제어 단계이다. 서버(100, 100', 100'', 100''')는 미션 수행 완료 시 제어 신호를 생성하여 방송 보조 IoT 기기(60)에 전송함으로써 방송 보조 IoT 기기(60)을 동작시킬 수 있다. 예를 들어, 서버(100, 100', 100'', 100''')는 에어컨(60)을 일정 시간 동안 켜지게 하거나, 설정온도를 변경할 수 있으며, 돈총(60)에서 방송인에게 지급될 금액만큼 지폐가 배출되도록 할 수도 있다.
상술한 설명에서, 단계 S310 내지 S390은 본 발명의 실시예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8의 내용은 도 9의 내용에도 적용될 수 있다. 또한 도 9를 참조하여 설명된 내용이 도 1 내지 도 8에 적용될 수 있다.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 DSP(digital signal processor), FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
한편, 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
전술한 실시간 방송 후원 서버(100, 100', 100'', 100''')의 동작 방법은 도면에 제시된 흐름도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 인터넷 방송의 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 후원 관리부;
    상기 방송인의 영상 및 음성 중 적어도 하나를 기초로 상기 방송인의 행동을 인식하여 행동 인식 결과를 생성하는 행동 인식부; 및
    상기 행동 인식 결과와 상기 미션에 대한 정보를 비교하여 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;
    를 포함하는 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버.
  2. 제1항에 있어서,
    상기 미션의 수행이 완료된 경우, 방송 보조 IoT 기기를 제어하는 IoT 제어부;를 더 포함하는 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버.
  3. 제1항에 있어서, 상기 미션에 대한 정보는,
    상기 인터넷 방송의 시청자가 상기 방송인에게 요청하는 동작, 표정 및 자세 중 적어도 어느 하나의 명칭인 것을 특징으로 하는,
    행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버.
  4. 제1항에 있어서, 상기 미션에 대한 정보는,
    상기 인터넷 방송의 시청자가 상기 방송인에게 요청하는 행동에 관한 동영상 및 이미지 중 적어도 어느 하나인 것을 특징으로 하는,
    행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버.
  5. 인터넷 방송인의 영상 및 음성 중 적어도 어느 하나를 수집하는 행동 인식용 IoT 기기; 및
    인터넷 방송의 시청자가 상기 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 방송인의 영상 및 음성 중 적어도 하나의 정보를 기초로 상기 방송인의 행동을 인식하여 행동 인식 결과를 생성하며, 상기 행동 인식 결과와 상기 미션에 대한 정보를 비교하여 상기 미션의 수행이 완료되었는지 여부를 판단하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 서버;
    를 포함하는 행동 자동 인식을 기반으로 하는 실시간 방송 후원 시스템.
  6. 제5항에 있어서, 상기 행동 인식용 IoT 기기는,
    상기 방송인의 신체 각 부분에 대한 깊이 정보를 획득하는 것
    인 행동 자동 인식을 기반으로 하는 실시간 방송 후원 시스템.
  7. 제5항에 있어서, 상기 서버는,
    상기 미션의 수행이 완료된 경우, 방송 보조 IoT 기기를 제어하는 것을 특징으로 하는,
    행동 자동 인식을 기반으로 하는 실시간 방송 후원 시스템.
  8. 방송 플랫폼 시스템;
    인터넷 방송인이 출연한 방송 콘텐츠를 생성하여 상기 방송 플랫폼 시스템에 전송하는 방송인 단말기; 및
    상기 방송 플랫폼 시스템에서 상기 방송 콘텐츠를 수신하여 상기 방송 콘텐츠의 시청자에게 제공하는 시청자 단말기;를 포함하고,
    상기 방송 플랫폼 시스템은,
    상기 시청자 단말기에서 상기 시청자가 상기 방송인에게 요청하는 미션에 대한 정보 및 후원금 예치 정보를 수집하고, 상기 방송 콘텐츠를 기초로 상기 미션이 완료되었다고 판단한 경우, 상기 후원금의 지급을 처리하는 것을 특징으로 하는,
    실시간 방송 시스템.
  9. 인터넷 방송인 및 인터넷 방송 시청자 중 어느 하나가 제시하는 미션에 대한 정보와 미션에 대한 보상에 관한 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 보상의 지급을 처리하는 후원 관리부;
    상기 방송인의 동영상과 상기 시청자의 동영상을 기초로 상기 방송인과 상기 시청자 간의 행동 유사도를 산출하는 행동 인식부; 및
    상기 행동 유사도가 소정 범위 이내에 해당하는지 여부에 따라, 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;
    를 포함하고,
    상기 보상에 관한 정보는,
    상기 미션의 수행 완료를 조건으로 상금 및 채널 포인트 중 적어도 어느 하나
    인 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버.
  10. 인터넷 방송의 시청자가 인터넷 방송인에게 요청하는 미션에 대한 정보와 후원금 예치 정보를 수집하고, 상기 미션의 수행이 완료된 경우, 상기 후원금의 지급을 처리하는 후원 관리부;
    상기 방송인의 동영상에 나타난 객체 및 문자 중 적어도 하나를 인식하여 인식 결과를 생성하는 인식부; 및
    상기 인식 결과가 상기 미션에 대한 정보와 부합하는지 여부에 따라, 상기 미션의 수행이 완료되었는지 여부를 판단하는 미션 수행 판단부;
    를 포함하는 실시간 방송 후원 서버.
  11. 시청자 단말기에서 미션 요청 정보를 수신하는 미션 요청 정보 수신 단계;
    인터넷 방송인의 영상 및 음성 중 적어도 어느 하나를 수집하는 영상/음성 수집 단계;
    상기 방송인의 영상 및 음성 중 적어도 어느 하나를 기초로 상기 방송인의 행동 인식 결과를 생성하는 행동 인식 단계; 및
    상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는지 여부를 판단하는 행동-미션 부합 여부 판단 단계;
    를 포함하는 실시간 방송 후원 서버의 동작 방법.
  12. 제11항에 있어서, 상기 영상/음성 수집 단계 이전에,
    상기 시청자 단말기에서 후원금 예치 정보를 수신하여 상기 미션 요청 정보와 매칭하는 후원금 예치 단계;를 더 포함하고,
    상기 행동-미션 부합 여부 판단 단계 이후에,
    상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는 경우, 전부 지급 및 일부 지급 중 어느 하나의 방식으로 상기 후원금이 상기 방송인에게 지급되도록 처리하는 후원금 지급 단계;를 더 포함하는, 실시간 방송 후원 서버의 동작 방법.
  13. 제11항에 있어서, 상기 행동-미션 부합 여부 판단 단계 이후에,
    상기 행동 인식 결과와 상기 미션 요청 정보가 부합하는 경우, 방송 보조 IoT 기기를 동작시키는 보조 IoT 제어 단계를 더 포함하는, 실시간 방송 후원 서버의 동작 방법.
  14. 제11항에 있어서, 상기 행동 인식 단계는,
    딥러닝 기법으로 학습된 신경망을 통해 상기 방송인의 행동을 인식하는 것
    인 실시간 방송 후원 서버의 동작 방법.
PCT/KR2022/018962 2021-11-30 2022-11-28 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법 WO2023101345A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0169137 2021-11-30
KR1020210169137A KR102642216B1 (ko) 2021-11-30 2021-11-30 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2023101345A1 true WO2023101345A1 (ko) 2023-06-08

Family

ID=86612579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018962 WO2023101345A1 (ko) 2021-11-30 2022-11-28 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102642216B1 (ko)
WO (1) WO2023101345A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039252A (ko) * 2013-10-01 2015-04-10 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
KR20200013887A (ko) * 2018-07-31 2020-02-10 에스케이텔레콤 주식회사 개인방송 스트리머를 후원하기 위한 미디어 플랫폼 장치 및 그 방법
KR102220762B1 (ko) * 2020-06-11 2021-02-25 박정훈 사물인터넷기기를 활용한 스트리밍 방송 후원 시스템
US20210168462A1 (en) * 2016-08-05 2021-06-03 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events, and synchronization of event information with viewed streams, via multiple internet channels
KR102268975B1 (ko) * 2021-01-12 2021-06-24 주식회사 투스라이프 기여도를 반영한 스트리머 미션 수행 평가 및 후원을 위한 서버 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039252A (ko) * 2013-10-01 2015-04-10 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US20210168462A1 (en) * 2016-08-05 2021-06-03 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events, and synchronization of event information with viewed streams, via multiple internet channels
KR20200013887A (ko) * 2018-07-31 2020-02-10 에스케이텔레콤 주식회사 개인방송 스트리머를 후원하기 위한 미디어 플랫폼 장치 및 그 방법
KR102220762B1 (ko) * 2020-06-11 2021-02-25 박정훈 사물인터넷기기를 활용한 스트리밍 방송 후원 시스템
KR102268975B1 (ko) * 2021-01-12 2021-06-24 주식회사 투스라이프 기여도를 반영한 스트리머 미션 수행 평가 및 후원을 위한 서버 및 방법

Also Published As

Publication number Publication date
KR20230081251A (ko) 2023-06-07
KR102642216B1 (ko) 2024-03-04

Similar Documents

Publication Publication Date Title
Zhang et al. Video-llama: An instruction-tuned audio-visual language model for video understanding
CN111935491B (zh) 直播的特效处理方法、装置以及服务器
CN110505491B (zh) 一种直播的处理方法、装置、电子设备及存储介质
US20160142767A1 (en) Client device, control method, system and program
CN102572539A (zh) 自动的被动和匿名反馈系统
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
CN102346898A (zh) 自动定制广告生成系统
Fu et al. Video highlight prediction using audience chat reactions
WO2021066269A1 (ko) 사용자 게임 연계 자율주행 방법 및 시스템
TW201117114A (en) System, apparatus and method for message simulation
WO2021215690A1 (ko) 운동강의 제공 시스템 및 이를 이용한 운동강의 제공 방법
CN106547884A (zh) 一种替身机器人的行为模式学习系统
WO2021251713A1 (ko) 사물 인터넷 기기를 활용한 스트리밍 방송 후원 시스템
CN113163253B (zh) 直播互动方法、装置、电子设备及可读存储介质
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2021015393A1 (ko) 자율주행장치 레이싱게임 제공방법과 레이싱장치 및 시스템
CN109729367B (zh) 提供直播媒体内容信息的方法、装置及电子设备
WO2023101345A1 (ko) 행동 자동 인식을 기반으로 하는 실시간 방송 후원 서버와 그 동작 방법
CN113301352B (zh) 在视频播放期间进行自动聊天
CN113368489B (zh) 直播互动方法及系统、装置、电子设备和存储介质
Zhen-Tao et al. Communication atmosphere in humans and robots interaction based on the concept of fuzzy atmosfield generated by emotional states of humans and robots
CN113885709B (zh) 不在活动现场观众参与现场活动的方法和系统
US20200021871A1 (en) Systems and methods for providing media content for an exhibit or display
CN112165582B (zh) 生成视频的方法、装置、存储介质及电子设备
CN110853130A (zh) 三维图像的生成方法、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024531736

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18715098

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE