WO2016088566A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2016088566A1
WO2016088566A1 PCT/JP2015/082551 JP2015082551W WO2016088566A1 WO 2016088566 A1 WO2016088566 A1 WO 2016088566A1 JP 2015082551 W JP2015082551 W JP 2015082551W WO 2016088566 A1 WO2016088566 A1 WO 2016088566A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewer
information
performer
information processing
effect
Prior art date
Application number
PCT/JP2015/082551
Other languages
English (en)
French (fr)
Inventor
貴晶 中川
理央 山崎
雅文 垣阪
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016562379A priority Critical patent/JPWO2016088566A1/ja
Priority to KR1020177013451A priority patent/KR20170090417A/ko
Priority to EP15864577.0A priority patent/EP3229477A4/en
Priority to US15/529,289 priority patent/US10721525B2/en
Priority to CN201580063842.4A priority patent/CN107005724B/zh
Publication of WO2016088566A1 publication Critical patent/WO2016088566A1/ja
Priority to US16/894,263 priority patent/US11218768B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device, an information processing method, and a program that can enhance the sense of unity between performers and viewers.
  • a distribution system that allows a performer to obtain viewer feedback by inserting comments from the viewer in real time for performers who distribute moving images has been operated. .
  • Patent Document 1 discloses a stage production system that controls stage production based on comments from viewers.
  • Patent Document 2 discloses a comment distribution system that extracts a specific keyword included in a comment from a viewer and displays a moving image decorated with a display method associated with the specific keyword.
  • Patent Document 3 discloses a communication system that conveys a sense of unity by aggregating performer biometric information or emotion information, audience biometric information or emotion information, etc., and configuring and distributing the information as venue information. Has been.
  • An information processing apparatus is acquired by a viewer information acquisition unit that acquires specific viewer information input from a viewer who views a distributed moving image, and the viewer information acquisition unit. And a control unit that controls addition of an effect based on the viewer information.
  • An information processing method or program acquires specific viewer information input from a viewer who views a distributed moving image, and adds an effect based on the acquired viewer information. Including the step of controlling.
  • specific viewer information input from a viewer who watches a distributed moving image is acquired, and the addition of an effect based on the viewer information is controlled.
  • the sense of unity between performers and viewers can be further enhanced.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a distribution system to which the present technology is applied.
  • the distribution system 11 includes a performer-side information processing device 13, a distribution server 14, and N (multiple) viewer-side information processing devices 15 ⁇ via a network 12 such as the Internet. 1 to 15-N are connected.
  • the performer-side information processing device 13 sequentially transmits moving images obtained by capturing performers to the distribution server 14 via the network 12, as will be described later with reference to FIG.
  • the distribution server 14 distributes the moving image transmitted from the performer-side information processing device 13 to the viewer-side information processing devices 15-1 to 15-N via the network 12. At this time, for example, the distribution server 14 performs image processing such that comments transmitted from the viewer-side information processing devices 15-1 to 15-N are superimposed on the distributed moving images, and the like Can be distributed.
  • the viewer-side information processing devices 15-1 to 15-N display the moving image distributed from the distribution server 14 via the network 12 and allow the viewer to view it. Then, the viewer-side information processing devices 15-1 to 15-N transmit, to the distribution server 14, comments and the like input by the respective viewers in response to the moving images. These comments are transmitted to the performer-side information processing device 13 via the distribution server 14.
  • the performer-side information processing device 13 changes the effect (production effect) on the moving image to be distributed based on the comment that the viewer inputs in response to the moving image. Can do. Thereby, the entertainment property of a moving image can be improved and the distribution which a performer and a viewer can excite together can be performed.
  • FIG. 2 is a block diagram showing a first configuration example of the performer side information processing apparatus 13.
  • the performer side information processing device 13 includes a communication unit 21, an imaging unit 22, a display unit 23, a storage unit 24, and an image processing unit 25.
  • the communication unit 21 performs communication via the network 12 in FIG. 1 and transmits, for example, a moving image subjected to image processing in the image processing unit 25 to the distribution server 14.
  • the communication unit 21 acquires comments transmitted from the viewer-side information processing devices 15-1 to 15 -N as viewer input information and supplies them to the image processing unit 25.
  • the comment is described as viewer input information.
  • the operation device of the viewer side information processing device 15 The number of operations or the operation speed (for example, the number of times or the speed at which the keyboard is hit) can be used.
  • the imaging unit 22 includes, for example, an imaging element and an optical lens, and supplies a moving image obtained by capturing one or more performers as subjects to the image processing unit 25.
  • the imaging unit 22 can supply the captured moving image to the display unit 23 and cause the display unit 23 to display a moving image that has not been subjected to image processing by the image processing unit 25.
  • the display unit 23 includes, for example, a liquid crystal display or an organic EL (Electro Luminescence) display, and displays a moving image that has been subjected to image processing by the image processing unit 25, a moving image that has been captured by the imaging unit 22, and the like. .
  • the display unit 23 may display a moving image to which a moving image distributed from the distribution server 14 is supplied via the communication unit 21 and image processing is performed in the distribution server 14 (comments are superimposed). it can.
  • the storage unit 24 includes a hard disk drive, a semiconductor memory, and the like, and stores an image and the like necessary when the image processing unit 25 performs image processing.
  • the image processing unit 25 recognizes the viewer's emotion based on the viewer input information supplied from the communication unit 21, and adds a specific effect that matches the emotion to the moving image captured by the imaging unit 22. Perform image processing. Then, the image processing unit 25 supplies the moving image to which the specific effect that matches the viewer's emotion is added to the display unit 23 for display, and transmits the moving image to the distribution server 14 via the communication unit 21.
  • the image processing unit 25 includes a viewer information acquisition unit 31, a viewer emotion recognition unit 32, an emotion effect selection unit 33, a background effect drawing unit 34, and a face effect drawing unit 35. Configured.
  • the viewer information acquisition unit 31 acquires comments from the viewer-side information processing devices 15-1 to 15 -N supplied from the communication unit 21 as viewer information and supplies them to the viewer emotion recognition unit 32.
  • the viewer emotion recognition unit 32 recognizes the viewer's emotion based on the viewer information supplied from the viewer information acquisition unit 31. For example, the viewer emotion recognition unit 32 can recognize the viewer's emotion according to an emotion classification (Russell's emotion ring model) in which various emotions are classified as shown in FIG.
  • an emotion classification Russell's emotion ring model
  • the viewer emotion recognition unit 32 prepares in advance a large number of comments that are assumed to be used as viewer information, and for those comments, the level indicating the high and low levels of arousal, and the emotion The levels indicating pleasure and discomfort are associated with each other. Then, the viewer emotion recognition unit 32 comments according to the level indicating the high and low levels of arousal associated with the comment supplied from the viewer information acquisition unit 31, and the level indicating emotional comfort and discomfort. , And the emotion classified at the position where a comment of a predetermined number or more is distributed is recognized as the viewer's emotion.
  • the emotion effect selection unit 33 selects an emotion effect according to the viewer's emotion recognized by the viewer emotion recognition unit 32 from the plurality of emotion effects stored in the storage unit 24, and effects on the moving image Control the addition of.
  • an emotion recognized by the viewer emotion recognition unit 32 is associated with an emotion effect that is an image that gives an effect that matches the emotion, and the emotion effect selection unit 33 Emotion effect can be selected according to the correspondence.
  • emotion effects include a background effect displayed on the background of the performer shown in the moving image and a face effect displayed superimposed on the viewer's face shown in the moving image. Therefore, the emotion effect selection unit 33 supplies the background effect selected according to the viewer's emotion recognized by the viewer emotion recognition unit 32 to the background effect drawing unit 34, and similarly selects the face effect selected as the face effect drawing. To the unit 35.
  • the background effect drawing unit 34 cuts out a performer shown in the moving image captured by the image capturing unit 22 and combines the background image supplied from the emotion effect selection unit 33 on the back of the performer. Perform image processing to draw. Then, the background effect drawing unit 34 supplies a moving image in which the background effect is synthesized on the back of the performer to the face effect drawing unit 35.
  • the face effect drawing unit 35 performs face recognition processing for recognizing the performer's face shown in the moving image supplied from the background effect drawing unit 34, and the emotion effect selecting unit 33 according to the position and size of the face. Adjust the position and size of the face effect supplied from the. Further, the face effect drawing unit 35 performs image processing for drawing a moving image in which the face effect adjusted in position and size is combined with the front of the moving image from the background effect drawing unit 34. The face effect drawing unit 35 combines the background effect with the back of the performer and supplies the moving image with the face effect combined with the front of the performer's face to the display unit 23 for display. It is transmitted to the distribution server 14 via the communication unit 21.
  • the performer-side information processing device 13 is configured, and an emotion effect that matches the viewer's emotion can be selected, so that the sense of unity between the performer and the viewer can be further enhanced.
  • the distribution system 11 is not a conventional moving image as shown on the left side of FIG. 4, that is, a moving image superimposed such that comments from the viewers flow, but as shown on the right side of FIG. 4.
  • a moving image that is, a moving image in which a background effect (an image in which a flame is inflamed) that matches a viewer's emotion recognized based on a number of praise comments can be distributed. In this way, the feeling of the viewer is reflected in the moving image, so that the sense of unity between the performer and the viewer can be further enhanced.
  • FIG. 5 is a flowchart for explaining image processing performed in the image processing unit 25.
  • the process is started.
  • the viewer information acquisition unit 31 acquires comments from the viewer-side information processing devices 15-1 to 15-N supplied from the communication unit 21 as viewer information, and the viewer emotion recognition unit 32 To supply.
  • step S12 the viewer emotion recognition unit 32 recognizes the viewer's emotion based on the viewer information supplied from the viewer information acquisition unit 31 in step S11.
  • step S13 the viewer emotion recognition unit 32 determines whether or not the number of comments classified as any emotion recognized in step S12 is equal to or greater than a specified value. If the viewer emotion recognition unit 32 determines in step S13 that the number of comments classified into any emotion is not greater than or equal to the specified value, the process returns to step S11, and the same process is repeated thereafter. .
  • the process proceeds to step S14.
  • the viewer emotion recognition unit 32 recognizes an emotion that is equal to or higher than the specified value as the viewer's emotion, and supplies the viewer's emotion to the emotion effect selection unit 33.
  • step S14 the emotion effect selection unit 33 selects an emotion effect according to the viewer's emotion recognized by the viewer emotion recognition unit 32 from the plurality of emotion effects stored in the storage unit 24. Then, the emotion effect selection unit 33 supplies the background effect of the selected emotion effect to the background effect drawing unit 34 and also supplies the face effect to the face effect drawing unit 35.
  • step S15 the background effect drawing unit 34 draws a moving image in which the background effect supplied from the emotion effect selecting unit 33 in step S14 is synthesized on the back of the performer imaged by the imaging unit 22 to produce a facial effect. This is supplied to the drawing unit 35.
  • step S16 the face effect drawing unit 35 combines the face effect supplied from the emotion effect selecting unit 33 in step S14 with the front face of the moving image supplied from the background effect drawing unit 34 in step S15. Draw an image. Then, the face effect drawing unit 35 supplies the moving image to the display unit 23 for display, and after transmitting the moving image to the distribution server 14 via the communication unit 21, the process returns to step S11. The process is repeated.
  • FIG. 6 is a block diagram showing a second configuration example of the performer side information processing apparatus 13.
  • the performer-side information processing device 13A is common to the performer-side information processing device 13 of FIG. 2 in that the performer-side information processing device 13A includes a communication unit 21, an imaging unit 22, a display unit 23, and a storage unit 24.
  • the performer side information processing apparatus 13A includes an input unit 26, and the image processing unit 25A includes a viewer information acquisition unit 31, a viewer emotion recognition unit 32, an emotion effect selection unit 33, a background effect drawing unit 34, In addition to the face effect drawing unit 35, the performer emotion recognition unit 36 is different from the performer side information processing device 13 in FIG.
  • the input unit 26 includes, for example, a keyboard, a microphone, and an imaging device.
  • the input unit 26 acquires comments input by performers, voices uttered by performers, and facial expressions of performers as performer information, and the image processing unit 25A. To the performer emotion recognition unit.
  • the performer emotion recognition unit 36 recognizes the performer's emotion based on the performer information supplied from the input unit 26 and supplies it to the emotion effect selection unit 33.
  • the emotion effect selection unit 33 can select an emotion effect based on both the viewer's emotion and the performer's emotion. Therefore, for example, the emotion effect selection unit 33 can select an emotion effect with a greater degree of effect when the viewer's emotion and the performer's emotion match. Thereby, the sense of unity between the performer and the viewer can be further enhanced.
  • the emotion effect selection part 33 may select an emotion effect based only on a performer's emotion.
  • the performer side information processing apparatus 13A uses the emotion of the performer, for example, when the performer does not want to be excited, the comment entered by the viewer in a cool manner matches the emotion of the performer. Therefore, it is possible to avoid the viewer's feelings being reflected. In other words, when an emotion effect is selected based only on the viewer's emotion, an emotional effect that gives a stimulating effect may be selected even if the viewer inputs a chilling comment, and interactively expresses excitement or emotion. There were things that were difficult.
  • the performer-side information processing device 13A inputs whether emotions and facial expressions representing the excitement level of the performers are input, and whether or not a comment is input from the viewer in response to the progress of the emotions and facial expressions. By judging, it is possible to further enhance the production on the spot.
  • the viewer's voice, sound pressure, heart rate, facial expression, etc. can be used as the viewer information, and the viewer's emotions can be expressed based on the multiple types of viewer information. It can be estimated accurately. In addition, based on the information of a plurality of viewers, it is possible to estimate the overall viewer's feelings about the moving image.
  • the distribution system 11 it is possible to transmit the degree of smile of the viewer obtained by imaging the viewer using the imaging device provided in the viewer-side information processing devices 15-1 to 15-N. Then, in the performer-side information processing device 13, the viewer information acquisition unit 31 acquires the smile degree transmitted from the viewer-side information processing devices 15-1 to 15-N as the viewer information, and the emotion effect selection unit 33 selects a background effect based on the intensity of the viewer's smile level.
  • the emotion effect selection unit 33 makes a determination according to the intensity of the viewer's smile level. For example, as shown in FIG. 7, even if the performers have the same funny face, if the intensity of the smile level of the viewer is high, a background effect is selected so that the scene is excited and the smile level of the viewer is selected. When the intensity is small, a background effect that makes the field whiten is selected. Furthermore, the emotion effect selection unit 33 may display effect characters according to the intensity of the smile level of the viewer. If the intensity of the smile level of the viewer is high, the effect effect selection unit 33 may display effect characters that excite the place. When the intensity of the smile level of the viewer is small, an effect character that makes the field whiten is displayed.
  • the performer-side information processing device 13 can not only recognize the viewer's emotions but also select a more optimal background effect based on the intensity of the smile level.
  • the intensity of smile level, smile level duration, the number of viewers who are smiling, the level of laughter, comments supplied together with smile level, and the like may be used for determination of smile level.
  • the emotion effect selecting unit 33 is more effective when the viewer is smiling for a long time based on the information. You can select an effect that looks fun.
  • the performer-side information processing device 13 can change the effect of the background effect according to the quality of laughter such as more sudden laughter or laughter.
  • the viewer's heart rate can be acquired and transmitted by the heart rate sensor provided in the viewer side information processing devices 15-1 to 15-N.
  • the performer-side information processing device 13A can acquire the performer's heart rate by using the input unit 26 (for example, an arm band type or ear clip type heart rate monitor).
  • the input unit 26 for example, an arm band type or ear clip type heart rate monitor.
  • a viewer or a performer can be imaged with an imaging device, and a heart rate can be obtained from the image.
  • FIG. 8 shows an example in which a game screen on which a performer is playing is distributed.
  • a performer's avatar is displayed at the lower left of the game screen, and a heart rate-based meter is displayed at the upper left of the game screen. Is displayed. This meter is based on both the viewer's heart rate and the performer's heart rate, and when the degree of coincidence of these changes increases, an effect that indicates that they are more sympathetic is displayed.
  • the heart sound mark displayed on the meter is vibrated greatly.
  • the special technique can be generated when the excitement level and the co-sensitivity of the performer and the viewer become equal to or higher than a predetermined value.
  • the performer side information processing apparatus 13A not only recognizes the emotions of the performers and viewers, but also performs based on the excitement level and co-sensitivity between the performers and the viewers determined from the heart rate. And more interactive with viewers. Note that. In addition to the viewer's heart rate, face images, voice, sound pressure, repeated hits of buttons, and the like may be used as viewer information, and the degree of excitement can be acquired from them.
  • the performer-side information processing device 13A is based on, for example, the emotions of the performer and the viewer Sound effects may be distributed together with moving images, and various types of effects can be added.
  • the performer-side information processing device 13A may display an object (for example, a stamp or a balloon) based on the emotions of the performer and the viewer on the moving image.
  • the effects by these objects can be added without distinction between the performer and the background, and can be synthesized on the front surface in a portion other than the performer's face, for example.
  • the performer-side information processing device 13A forcibly distributes moving images when the level indicating the degree of viewers' awakening decreases or when the level indicating discomfort of the viewers increases, for example. May be terminated automatically.
  • the performer-side information processing device 13 may change not only the emotion of the viewer but also the effect drawn on the moving image depending on the number of viewers, and when the number of viewers is a certain number or more. , You can change to a more flashy effect, or delete the effect when the number of viewers is extremely small.
  • the performer-side information processing device 13 receives, for example, a specific comment meaning “laughter” or “applause” according to the number of specific viewer information input from a plurality of viewers. Depending on the number, it is possible to add a specific effect, change the added effect, or delete the added effect.
  • the performer-side information processing device 13A may distribute a moving image on which a special effect is drawn only to a viewer who inputs viewer information more actively. That is, instead of distributing the same moving image to all viewers, the effect of the moving image distributed to each viewer can be changed according to the reaction of the viewer.
  • the performer side information processing apparatus 13 is the process which transmits the moving image of a performer.
  • the distribution server 14 may perform processing for adding effects based on the viewer information.
  • the performer-side information processing device 13 and the distribution server 14 can share the processing.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and nonvolatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • this technique can also take the following structures.
  • a viewer information acquisition unit that acquires specific viewer information input from a viewer who views the moving image to be distributed;
  • An information processing apparatus comprising: a control unit that controls addition of an effect based on the viewer information acquired by the viewer information acquisition unit.
  • the information processing apparatus according to (1) further including a performer information acquisition unit that acquires performer information from performers appearing in the moving image.
  • the information processing apparatus according to (2) further including an emotion recognition unit that recognizes an emotion based on at least one of the viewer information and the performer information.
  • the control unit selects the effect based on the viewer's emotion recognized by the emotion recognition unit or the performer's emotion.
  • the information processing apparatus selects the effect based on both the viewer's emotion recognized by the emotion recognition unit and the performer's emotion.
  • the effect selected by the control unit is an effect synthesized on the back of the performer, an effect added without distinction between the performer and the background, an effect synthesized on the front of the performer's face, and the performer.
  • the information processing apparatus according to any one of (1) to (5), wherein at least one of the effects to be combined with the front of the information is included.
  • the viewer information includes a comment input by the viewer, a facial expression of the viewer, audio information emitted by the viewer, and an operation speed or number of operations at which the viewer operates a predetermined operation device.
  • the information processing apparatus according to any one of (1) to (6), wherein at least any one of them is included.
  • the viewer information includes the smile intensity of the viewer, The information processing apparatus according to any one of (1) to (7), wherein the control unit controls addition of the effect according to a smile intensity of the viewer.
  • the viewer information includes information indicating that the viewer is smiling, The information processing apparatus according to any one of (1) to (8), wherein the control unit controls addition of the effect according to a time when the viewer is smiling.
  • the information processing apparatus according to any one of (1) to (9), wherein the control unit controls addition of the effect based on the viewer information from a plurality of the viewers.
  • the control unit adds the effect in accordance with the number of specific viewer information input from a plurality of viewers, and controls change or deletion of the added effect.
  • Information processing device (12)
  • the viewer information includes the viewer's heart rate,
  • the performer information includes the performer's heart rate,
  • the information processing apparatus according to any one of (1) to (11), wherein the control unit controls addition of the effect based on both the viewer's heart rate and the performer's heart rate. .
  • Get specific viewer information entered by viewers watching the video that is being delivered An information processing method including a step of controlling addition of an effect based on the acquired viewer information.
  • (14) Get specific viewer information entered by viewers watching the video that is being delivered, A program for causing a computer to execute information processing including a step of controlling addition of an effect based on the acquired viewer information.
  • 11 distribution system, 12 network, 13 performer side information processing device, 14 distribution server, 15-1 to 15-N viewer side information processing device, 21 communication unit, 22 imaging unit, 23 display unit, 24 storage unit, 25 Image processing unit, 26 input unit, 31 viewer information acquisition unit, 32 viewer emotion recognition unit, 33 emotion effect selection unit, 34 background effect drawing unit, 35 face effect drawing unit, 36 performer emotion recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　本開示は、出演者と視聴者との一体感をより高めることができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。 情報処理装置は、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、動画像に出演する出演者から入力される特定の出演者情報を取得する出演者情報取得部と、視聴者情報および出演者情報の少なくとも一方に基づいて感情を認識する感情認識部と、その感情に基づいたエフェクトの付加を制御する制御部とを備える。本技術は、例えば、動画像を配信する配信システムに適用できる。

Description

情報処理装置および情報処理方法、並びにプログラム
　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、出演者と視聴者との一体感をより高めることができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
　近年、Webカメラやスマートフォンに付属のカメラなどを使用して、自身で撮影した動画像をインターネット経由で動画配信サイトにアップロードしたり、ストリーミング配信したりすることが可能となっている。
　また、従来より、動画像の配信を行う出演者に対して、視聴者からのコメントなどをリアルタイムに挿入することで、出演者が視聴者のフィードバックを得ることができる配信システムが運用されている。
　例えば、特許文献１には、視聴者からのコメントに基づいて、ステージの演出を制御するステージ演出システムが開示されている。また、特許文献２には、視聴者からのコメントに含まれる特定キーワードを抽出して、その特定キーワードに関連付けられた表示方法で装飾した動画像を表示するコメント配信システムが開示されている。また、特許文献３には、出演者の生体情報または感情情報や観衆の生体情報または感情情報などを集約し、場の情報として構成して配信を行うことで、一体感を伝える通信システムが開示されている。
特開２０１３－３７６７０号公報 特開２０１４－２１２４９０号公報 特開２００５－３０３７２２号公報
　しかしながら、上述したような配信システムよりも、よりエンターテイメント性を向上させて、出演者と視聴者とが共に盛り上がり、より一体感を高めることができるような配信システムが求められていた。
　本開示は、このような状況に鑑みてなされたものであり、出演者と視聴者との一体感をより高めることができるようにするものである。
　本開示の一側面の情報処理装置は、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部とを備える。
　本開示の一側面の情報処理方法またはプログラムは、配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、取得された前記視聴者情報に基づいたエフェクトの付加を制御するステップを含む。
　本開示の一側面においては、配信される動画像を視聴する視聴者から入力される特定の視聴者情報が取得され、その視聴者情報に基づいたエフェクトの付加が制御される。
　本開示の一側面によれば、出演者と視聴者との一体感をより高めることができる。
本技術を適用した配信システムの一実施の形態の構成例を示すブロック図である。 出演者側情報処理装置の第１の構成例を示すブロック図である。 視聴者感情認識部が感情を認識する際に利用する感情分類を示す図である。 画像処理部による画像処理の効果について説明する図である。 画像処理を説明するフローチャートである。 出演者側情報処理装置の第２の構成例を示すブロック図である。 視聴者の笑顔度の強度に基づいて背景エフェクトを選択する例を説明する図である。 視聴者および出演者の心拍数を用いたインタラクションを説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　図１は、本技術を適用した配信システムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、配信システム１１は、インターネットなどのネットワーク１２を介して、出演者側情報処理装置１３、配信サーバ１４、および、Ｎ台（複数台）の視聴者側情報処理装置１５－１乃至１５－Ｎが接続されて構成される。
　出演者側情報処理装置１３は、図２を参照して後述するように、ネットワーク１２を介して、出演者を撮像した動画像を逐次的に配信サーバ１４に送信する。
　配信サーバ１４は、出演者側情報処理装置１３から送信されてくる動画像を、ネットワーク１２を介して視聴者側情報処理装置１５－１乃至１５－Ｎに配信する。このとき、配信サーバ１４は、例えば、配信された動画像に対して視聴者側情報処理装置１５－１乃至１５－Ｎから送信されたコメントが流れるように重畳される画像処理を施し、そのような画像処理が施された動画像を配信することができる。
　視聴者側情報処理装置１５－１乃至１５－Ｎは、ネットワーク１２を介して配信サーバ１４から配信されてくる動画像を表示して、視聴者に視聴させる。そして、視聴者側情報処理装置１５－１乃至１５－Ｎは、それぞれの視聴者が動画像に応答して入力するコメントなどを、配信サーバ１４に送信する。そして、それらのコメントは、配信サーバ１４を介して出演者側情報処理装置１３に送信される。
　このように構成される配信システム１１において、出演者側情報処理装置１３は、視聴者が動画像に応答して入力するコメントに基づいて、配信する動画像に対するエフェクト（演出効果）を変更することができる。これにより、動画像のエンターテイメント性を向上させて、出演者と視聴者とが共に盛り上がるような配信を行うことができる。
　次に、図２は、出演者側情報処理装置１３の第１の構成例を示すブロック図である。
　図２に示すように、出演者側情報処理装置１３は、通信部２１、撮像部２２、表示部２３、記憶部２４、および画像処理部２５を備えて構成される。
　通信部２１は、図１のネットワーク１２を介した通信を行い、例えば、画像処理部２５において画像処理が施された動画像を配信サーバ１４に送信する。また、通信部２１は、視聴者側情報処理装置１５－１乃至１５－Ｎから送信されたコメントを視聴者入力情報として取得して、画像処理部２５に供給する。なお、以下では、コメントを視聴者入力情報として説明を行うが、視聴者入力情報としては、コメントなどの文字情報の他、視聴者の音声情報や表情、視聴者側情報処理装置１５の操作装置に対して操作を行う操作回数または操作速度（例えば、キーボードを打つ回数または速さ）などを用いることができる。
　撮像部２２は、例えば、撮像素子や光学レンズなどを有して構成され、１人または複数人の出演者を被写体として撮像した動画像を画像処理部２５に供給する。また、撮像部２２は、撮像した動画像を表示部２３に供給して、画像処理部２５による画像処理が施されていない動画像を、表示部２３に表示させることができる。
　表示部２３は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成され、画像処理部２５により画像処理が施された動画像や、撮像部２２により撮像された動画像などを表示する。また、表示部２３は、配信サーバ１４から配信される動画像が通信部２１を介して供給され、配信サーバ１４において画像処理が施された（コメントが重畳された）動画像を表示することができる。
　記憶部２４は、ハードディスクドライブや半導体メモリなどを有して構成され、画像処理部２５が画像処理を行う際に必要となる画像などを記憶する。
　画像処理部２５は、通信部２１から供給される視聴者入力情報に基づいて視聴者の感情を認識し、その感情に合致する特定のエフェクトを、撮像部２２により撮像された動画像に付加する画像処理を行う。そして、画像処理部２５は、視聴者の感情に合致した特定のエフェクトが付加された動画像を、表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させる。
　また、画像処理部２５は、図２に示すように、視聴者情報取得部３１、視聴者感情認識部３２、感情エフェクト選択部３３、背景エフェクト描画部３４、および顔面エフェクト描画部３５を有して構成される。
　視聴者情報取得部３１は、通信部２１から供給される視聴者側情報処理装置１５－１乃至１５－Ｎからのコメントを視聴者情報として取得して、視聴者感情認識部３２に供給する。
　視聴者感情認識部３２は、視聴者情報取得部３１から供給される視聴者情報に基づいて、視聴者の感情を認識する。例えば、視聴者感情認識部３２は、図３に示すように様々な感情が分類された感情分類（ラッセルの感情円環モデル）に従って、視聴者の感情を認識することができる。
　例えば、視聴者感情認識部３２は、視聴者情報として用いられることが想定される多数のコメントを予め用意しておき、それらのコメントについて、覚醒の程度の高および低を示すレベル、並びに、感情の快および不快を示すレベルを対応付けておく。そして、視聴者感情認識部３２は、視聴者情報取得部３１から供給されるコメントに対応付けられている覚醒の程度の高および低を示すレベル、並びに、感情の快および不快を示すレベルに従ってコメントの分布を求め、所定の規定値以上の数のコメントが分布された位置に分類されている感情を、視聴者の感情として認識する。
　感情エフェクト選択部３３は、記憶部２４に記憶されている複数の感情エフェクトの中から、視聴者感情認識部３２により認識された視聴者の感情に従った感情エフェクトを選択し、動画像に対するエフェクトの付加を制御する。例えば、記憶部２４には、視聴者感情認識部３２において認識される感情と、その感情に合致した効果を与える画像である感情エフェクトとが対応付けられており、感情エフェクト選択部３３は、その対応関係に従って感情エフェクトを選択することができる。
　また、感情エフェクトには、動画像に映されている出演者の背景に表示される背景エフェクトと、動画像に映されている視聴者の顔に重畳して表示される顔面エフェクトとがある。従って、感情エフェクト選択部３３は、視聴者感情認識部３２により認識された視聴者の感情に従って選択された背景エフェクトを背景エフェクト描画部３４に供給し、同様に選択された顔面エフェクトを顔面エフェクト描画部３５に供給する。
　背景エフェクト描画部３４は、撮像部２２により撮像された動画像に映されている出演者を切り出して、その出演者の背面に感情エフェクト選択部３３から供給される背景エフェクトを合成した動画像を描画する画像処理を行う。そして、背景エフェクト描画部３４は、出演者の背面に背景エフェクトが合成された動画像を顔面エフェクト描画部３５に供給する。
　顔面エフェクト描画部３５は、背景エフェクト描画部３４から供給される動画像に映されている出演者の顔を認識する顔認識処理を行い、その顔の位置および大きさに従って、感情エフェクト選択部３３から供給される顔面エフェクトの位置および大きさを調整する。さらに、顔面エフェクト描画部３５は、位置および大きさを調整した顔面エフェクトを、背景エフェクト描画部３４からの動画像の前面に合成した動画像を描画する画像処理を行う。そして、顔面エフェクト描画部３５は、出演者の背面に背景エフェクトが合成されるとともに、出演者の顔の前面に顔面エフェクトが合成された動画像を、表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させる。
　以上のように出演者側情報処理装置１３は構成されており、視聴者の感情に合致した感情エフェクトを選択することができるので、出演者と視聴者との一体感をより高めることができる。
　具体的には、配信システム１１は、図４の左側に示すような従来の動画像、即ち、視聴者からのコメントが流れるように重畳される動画像ではなく、図４の右側に示すような動画像、即ち、多数の称賛コメントに基づいて認識された視聴者の感情に合致した背景エフェクト（炎が燃え上がる画像）が描画された動画像を配信することができる。このように、視聴者の感情が動画像に反映されることで、出演者と視聴者との一体感をより高めることができる。
　次に、図５は、画像処理部２５において行われる画像処理を説明するフローチャートである。
　例えば、出演者側情報処理装置１３から動画像の配信を開始するように出演者が操作を行うと処理が開始される。ステップＳ１１において、視聴者情報取得部３１は、通信部２１から供給される視聴者側情報処理装置１５－１乃至１５－Ｎからのコメントを視聴者情報として取得して、視聴者感情認識部３２に供給する。
　ステップＳ１２において、視聴者感情認識部３２は、ステップＳ１１で視聴者情報取得部３１から供給される視聴者情報に基づいて視聴者の感情を認識する。
　ステップＳ１３において、視聴者感情認識部３２は、ステップＳ１２で認識したいずれかの感情に分類されるコメントの数が規定値以上となったか否かを判定する。ステップＳ１３において、視聴者感情認識部３２が、いずれの感情に分類されるコメントの数も規定値以上になっていないと判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
　一方、視聴者感情認識部３２が、いずれかの感情に分類されるコメントの数が規定値以上となったと判定した場合、処理はステップＳ１４に進む。この場合、視聴者感情認識部３２は、その規定値以上となった感情を視聴者の感情として認識し、視聴者の感情を感情エフェクト選択部３３に供給する。
　ステップＳ１４において、感情エフェクト選択部３３は、記憶部２４に記憶されている複数の感情エフェクトの中から、視聴者感情認識部３２により認識された視聴者の感情に従った感情エフェクトを選択する。そして、感情エフェクト選択部３３は、選択した感情エフェクトの背景エフェクトを背景エフェクト描画部３４に供給するとともに、顔面エフェクトを顔面エフェクト描画部３５に供給する。
　ステップＳ１５において、背景エフェクト描画部３４は、ステップＳ１４で感情エフェクト選択部３３から供給された背景エフェクトが、撮像部２２により撮像された出演者の背面に合成された動画像を描画して顔面エフェクト描画部３５に供給する。
　ステップＳ１６において、顔面エフェクト描画部３５は、ステップＳ１４で感情エフェクト選択部３３から供給された顔面エフェクトが、ステップＳ１５で背景エフェクト描画部３４から供給された動画像の顔の前面に合成された動画像を描画する。そして、顔面エフェクト描画部３５は、その動画像を表示部２３に供給して表示させるとともに、通信部２１を介して配信サーバ１４に送信させた後、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
　次に、図６は、出演者側情報処理装置１３の第２の構成例を示すブロック図である。
　図６に示す出演者側情報処理装置１３Ａにおいて、図２の出演者側情報処理装置１３と共通する構成については、同一の符号を付し、その詳細な説明は省略する。即ち、出演者側情報処理装置１３Ａは、通信部２１、撮像部２２、表示部２３、および記憶部２４を備える点で、図２の出演者側情報処理装置１３と共通する。
　そして、出演者側情報処理装置１３Ａは、入力部２６を備えるとともに、画像処理部２５Ａが、視聴者情報取得部３１、視聴者感情認識部３２、感情エフェクト選択部３３、背景エフェクト描画部３４、および顔面エフェクト描画部３５に加えて、出演者感情認識部３６を有する点で、図２の出演者側情報処理装置１３と異なる構成となっている。
　入力部２６は、例えば、キーボードやマイク、撮像装置などにより構成され、出演者が入力するコメント、出演者が発する音声、および出演者の表情などを、出演者情報として取得し、画像処理部２５Ａの出演者感情認識部３６に供給する。
　出演者感情認識部３６は、入力部２６から供給される出演者情報に基づいて、出演者の感情を認識し、感情エフェクト選択部３３に供給する。
　このように構成される出演者側情報処理装置１３Ａでは、感情エフェクト選択部３３は、視聴者の感情および出演者の感情の両方に基づいて、感情エフェクトを選択することができる。従って、例えば、感情エフェクト選択部３３は、視聴者の感情および出演者の感情が一致したときに、より演出の度合いが大きな感情エフェクトを選択することができる。これにより、出演者と視聴者との一体感をさらに高めることができる。なお、感情エフェクト選択部３３は、出演者の感情だけに基づいて感情エフェクトを選択してもよい。
　また、出演者側情報処理装置１３Ａは、出演者の感情を用いるため、例えば、出演者が盛り上がってほしくないときに、視聴者が冷やかしで入力したコメントに対しては、出演者の感情と一致しないため、視聴者の感情が反映されることを回避することができる。即ち、視聴者の感情だけから感情エフェクトを選択する場合には、視聴者が冷やかしで入力したコメントでも、盛り上がる効果を与える感情エフェクトが選択されてしまうことがあり、インタラクティブに興奮や感情を表すことが難しいことがあった。
　具体的には、出演者が歌っているときに、その歌のサビの前や途中で拍手のコメントを視聴者が入力すると「冷やかし」となってしまう。これに対し、出演者がサビを歌い終わった直後に拍手のコメントを視聴者が入力すると「感動」を表すことになる。このように、出演者からの入力（歌の場合は音声）に基づいて出演者の状態を認識することで、その場により合致した効果を与える感情エフェクトを選択することができる。
　さらに、出演者側情報処理装置１３Ａは、例えば、出演者の興奮度を表す感情および表情が入力され、その感情および表情が盛り上がる経過に対応して、視聴者からコメントが入力されたか否かを判断することで、その場の演出をさらに盛り上げることができる。
　なお、視聴者情報としては、コメントの他、例えば、視聴者の音声や音圧、心拍数、表情などを用いることができ、それらの複数種類の視聴者情報に基づいて、視聴者の感情を的確に推定することができる。また、複数人の視聴者情報に基づいて、動画像に対する全体的な視聴者の感情を推定することができる。
　例えば、図７を参照して、出演者側情報処理装置１３において、視聴者の笑顔度の強度に基づいて背景エフェクトを選択する例について説明する。
　例えば、配信システム１１では、視聴者側情報処理装置１５－１乃至１５－Ｎが備える撮像装置により視聴者を撮像して求められる視聴者の笑顔度を送信することができる。そして、出演者側情報処理装置１３では、視聴者情報取得部３１が視聴者側情報処理装置１５－１乃至１５－Ｎから送信されてくる笑顔度を視聴者情報として取得し、感情エフェクト選択部３３は、視聴者の笑顔度の強度に基づいて背景エフェクトを選択する。
　具体的には、感情エフェクト選択部３３は、視聴者の笑顔度の強度に応じた判断を行う。例えば、図７に示すように、出演者が同一の変顔をしても、視聴者の笑顔度の強度が大きい場合には場が盛り上がるような背景エフェクトが選択され、視聴者の笑顔度の強度が小さい場合には場が白けるような背景エフェクトが選択される。さらに、感情エフェクト選択部３３は、視聴者の笑顔度の強度に応じた演出文字を表示させてもよく、視聴者の笑顔度の強度が大きい場合には場が盛り上がるような演出文字を表示させ、視聴者の笑顔度の強度が小さい場合には場が白けるような演出文字を表示させる。
　このように、出演者側情報処理装置１３では、視聴者の感情を認識するだけでなく、笑顔度の強度に基づいて、より最適な背景エフェクトを選択することができる。なお、笑顔度の強度の他、笑顔度の持続時間や、笑顔である視聴者の人数、笑い声の大きさ、笑顔度とともに供給されるコメントなどを笑顔度の判断に用いてもよい。例えば、視聴者情報に、視聴者が笑顔であることを示す情報が含まれている場合、感情エフェクト選択部３３は、その情報に基づいて視聴者が笑顔である時間が長い場合には、より楽しそうな効果のあるエフェクトを選択することができる。また、出演者側情報処理装置１３では、例えば、より突発的な笑いや大爆笑などの笑いの質に応じて、背景エフェクトの演出を変更することができる。
　次に、図８を参照して、出演者側情報処理装置１３Ａにおいて、視聴者および出演者の心拍数を用いたインタラクションについて説明する。
　例えば、配信システム１１では、視聴者側情報処理装置１５－１乃至１５－Ｎが備える心拍センサにより視聴者の心拍数を取得して送信することができる。同様に、出演者側情報処理装置１３Ａは、入力部２６（例えば、腕バンド型や耳クリップ型の心拍計）により出演者の心拍度を取得することができる。また、例えば、撮像装置により視聴者または出演者を撮像して、その画像から心拍数を求めることができる。
　図８には、出演者がプレイしているゲーム画面が配信される例が示されており、ゲーム画面の左下に出演者のアバターが表示され、ゲーム画面の左上に、心拍数に基づいたメータが表示されている。このメータは、視聴者の心拍数と出演者の心拍数との両方に基づいており、それらの変化の一致度が高くなると、より共感していることを表すエフェクトが表示される。
　例えば、出演者と視聴者の興奮度および共感度が規定値以上である場合には、メータに表示される心音マークが大きく振動するようなエフェクトとなる。さらに、ゲームの操作と連動するように設定されている場合には、出演者と視聴者の興奮度および共感度が規定値以上になったときに必殺技を発生させることができる。また、ゲーム画面の左下に表示される出演者のアバターに変化を発生させてもよい。
　このように、出演者側情報処理装置１３Ａでは、出演者および視聴者の感情を認識するだけでなく、心拍数から求められる出演者と視聴者との興奮度および共感度に基づいて、出演者と視聴者とのインタラクティブ性をより高めることができる。なお。視聴者の心拍数の他、顔画像や音声、音圧、ボタンの連打などを視聴者情報として用いてもよく、それらから興奮度を取得することができる。
　なお、上述した実施の形態では、動画像に描画されるエフェクトについて説明を行ったが、画像的なエフェクトの他、出演者側情報処理装置１３Ａは、例えば、出演者および視聴者の感情に基づいた効果音を動画像とともに配信してもよく、様々な種類のエフェクトを付加することができる。また、出演者側情報処理装置１３Ａは、出演者および視聴者の感情に基づいたオブジェクト（例えば、スタンプや吹き出しなど）を動画像に表示してもよい。これらのオブジェクトによるエフェクトは、出演者と背景の区別なく付加することができ、例えば、出演者の顔以外の部分における前面に合成することができる。さらに、出演者側情報処理装置１３Ａは、例えば、視聴者の覚醒の程度を示すレベルが低下した場合や、視聴者の感情の不快を示すレベルが上昇した場合には、動画像の配信を強制的に終了させてもよい。
　また、出演者側情報処理装置１３は、視聴者の感情だけでなく、視聴者の人数によって動画像に描画されるエフェクトを変更してもよく、視聴者の人数が一定数以上である場合に、より派手なエフェクトに変更したり、視聴者の人数が極端に少ない場合に、エフェクトを削除したりすることができる。また、出演者側情報処理装置１３は、複数人の視聴者から特定の視聴者情報が入力される数に応じて、例えば、「笑い」や「拍手」を意味する特定のコメントが入力される数に応じて、特定のエフェクトを付加したり、付加されているエフェクトの変更を行ったり、付加されているエフェクトを削除したりすることができる。さらに、出演者側情報処理装置１３Ａは、より活発に視聴者情報を入力する視聴者にのみ特別なエフェクトが描画された動画像を配信するようにしてもよい。即ち、全ての視聴者に同一の動画像を配信するのではなく、視聴者のリアクションに応じて視聴者ごとに配信される動画像のエフェクトを変更することができる。
　さらに、本実施の形態においては、出演者側情報処理装置１３においてエフェクトを付加する処理を行う例について説明したが、例えば、出演者側情報処理装置１３は、出演者の動画像を送信する処理だけを行い、配信サーバ１４において、視聴者情報に基づいてエフェクトを付加する処理を行ってもよい。または、出演者側情報処理装置１３および配信サーバ１４で処理を分担することができる。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、
　前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部と
　を備える情報処理装置。
（２）
　前記動画像に出演する出演者からの出演者情報を取得する出演者情報取得部
　をさらに備える上記（１）に記載の情報処理装置。
（３）
　前記視聴者情報および前記出演者情報の少なくとも一方に基づいて感情を認識する感情認識部
　をさらに備える上記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記感情認識部により認識された前記視聴者の感情、または、前記出演者の感情に基づいて、前記エフェクトを選択する
　上記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記感情認識部により認識された前記視聴者の感情と、前記出演者の感情との両方に基づいて、前記エフェクトを選択する
　上記（３）に記載の情報処理装置。
（６）
　前記制御部により選択される前記エフェクトは、前記出演者の背面に合成するエフェクト、前記出演者と背景の区別なく付加するエフェクト、前記出演者の顔の前面に合成するエフェクト、および、前記出演者の前面に合成するエフェクトのうち、少なくとも１つが含まれる
　上記（１）から（５）までのいずれかに記載の情報処理装置。
（７）
　前記視聴者情報には、前記視聴者が入力したコメント、前記視聴者の表情、前記視聴者が発する音声情報、および、前記視聴者が所定の操作装置に対して操作を行う操作速度または操作回数のうち、少なくともいずれか１つが含まれる
　上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
　前記視聴者情報には、前記視聴者の笑顔の強度が含まれており、
　前記制御部は、前記視聴者の笑顔の強度に応じて前記エフェクトの付加を制御する
　上記（１）から（７）までのいずれかに記載の情報処理装置。
（９）
　前記視聴者情報には、前記視聴者が笑顔であることを示す情報が含まれており、
　前記制御部は、前記視聴者が笑顔である時間に応じて前記エフェクトの付加を制御する
　上記（１）から（８）までのいずれかに記載の情報処理装置。
（１０）
　前記制御部は、複数人の前記視聴者からの前記視聴者情報に基づいて、前記エフェクトの付加を制御する
　上記（１）から（９）までのいずれかに記載の情報処理装置。
（１１）
　前記制御部は、複数人の前記視聴者から特定の前記視聴者情報が入力された数に応じて、前記エフェクトを付加し、付加した前記エフェクトの変更または削除を制御する
　上記（１０）に記載の情報処理装置。
（１２）
　前記視聴者情報には、前記視聴者の心拍数が含まれるとともに、
　前記出演者情報には、前記出演者の心拍数が含まれており、
　前記制御部は、前記視聴者の心拍数と前記出演者の心拍数との両方に基づいて、前記エフェクトの付加を制御する
　上記（１）から（１１）までのいずれかに記載の情報処理装置。
（１３）
　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
　取得された前記視聴者情報に基づいたエフェクトの付加を制御する
　ステップを含む情報処理方法。
（１４）
　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
　取得された前記視聴者情報に基づいたエフェクトの付加を制御する
　ステップを含む情報処理をコンピュータに実行させるプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　配信システム，　１２　ネットワーク，　１３　出演者側情報処理装置，　１４　配信サーバ，　１５－１乃至１５－Ｎ　視聴者側情報処理装置，　２１　通信部，　２２　撮像部，　２３　表示部，　２４　記憶部，　２５　画像処理部，　２６　入力部，　３１　視聴者情報取得部，　３２　視聴者感情認識部，　３３　感情エフェクト選択部，　３４　背景エフェクト描画部，　３５　顔面エフェクト描画部，　３６　出演者感情認識部

Claims (14)

  1. 　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得する視聴者情報取得部と、
    　前記視聴者情報取得部により取得された前記視聴者情報に基づいたエフェクトの付加を制御する制御部と
    　を備える情報処理装置。
  2. 　前記動画像に出演する出演者からの出演者情報を取得する出演者情報取得部
    　をさらに備える請求項１に記載の情報処理装置。
  3. 　前記視聴者情報および前記出演者情報の少なくとも一方に基づいて感情を認識する感情認識部
    　をさらに備える請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記感情認識部により認識された前記視聴者の感情、または、前記出演者の感情に基づいて、前記エフェクトを選択する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記感情認識部により認識された前記視聴者の感情と、前記出演者の感情との両方に基づいて、前記エフェクトを選択する
    　請求項３に記載の情報処理装置。
  6. 　前記制御部により選択される前記エフェクトは、前記出演者の背面に合成するエフェクト、前記出演者と背景の区別なく付加するエフェクト、前記出演者の顔の前面に合成するエフェクト、および、前記出演者の前面に合成するエフェクトのうち、少なくとも１つが含まれる
    　請求項１に記載の情報処理装置。
  7. 　前記視聴者情報には、前記視聴者が入力したコメント、前記視聴者の表情、前記視聴者が発する音声情報、および、前記視聴者が所定の操作装置に対して操作を行う操作速度または操作回数のうち、少なくともいずれか１つが含まれる
    　請求項１に記載の情報処理装置。
  8. 　前記視聴者情報には、前記視聴者の笑顔の強度が含まれており、
    　前記制御部は、前記視聴者の笑顔の強度に応じて前記エフェクトの付加を制御する
    　請求項１に記載の情報処理装置。
  9. 　前記視聴者情報には、前記視聴者が笑顔であることを示す情報が含まれており、
    　前記制御部は、前記視聴者が笑顔である時間に応じて前記エフェクトの付加を制御する
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、複数人の前記視聴者からの前記視聴者情報に基づいて、前記エフェクトの付加を制御する
    　請求項１に記載の情報処理装置。
  11. 　前記制御部は、複数人の前記視聴者から特定の前記視聴者情報が入力された数に応じて、前記エフェクトを付加し、付加した前記エフェクトの変更または削除を制御する
    　請求項１０に記載の情報処理装置。
  12. 　前記視聴者情報には、前記視聴者の心拍数が含まれるとともに、
    　前記出演者情報には、前記出演者の心拍数が含まれており、
    　前記制御部は、前記視聴者の心拍数と前記出演者の心拍数との両方に基づいて、前記エフェクトの付加を制御する
    　請求項１に記載の情報処理装置。
  13. 　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
    　取得された前記視聴者情報に基づいたエフェクトの付加を制御する
    　ステップを含む情報処理方法。
  14. 　配信される動画像を視聴する視聴者から入力される特定の視聴者情報を取得し、
    　取得された前記視聴者情報に基づいたエフェクトの付加を制御する
    　ステップを含む情報処理をコンピュータに実行させるプログラム。
PCT/JP2015/082551 2014-12-03 2015-11-19 情報処理装置および情報処理方法、並びにプログラム WO2016088566A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016562379A JPWO2016088566A1 (ja) 2014-12-03 2015-11-19 情報処理装置および情報処理方法、並びにプログラム
KR1020177013451A KR20170090417A (ko) 2014-12-03 2015-11-19 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
EP15864577.0A EP3229477A4 (en) 2014-12-03 2015-11-19 Information processing apparatus, information processing method, and program
US15/529,289 US10721525B2 (en) 2014-12-03 2015-11-19 Information processing device, information processing method, and program
CN201580063842.4A CN107005724B (zh) 2014-12-03 2015-11-19 信息处理装置、信息处理方法和程序
US16/894,263 US11218768B2 (en) 2014-12-03 2020-06-05 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-245311 2014-12-03
JP2014245311 2014-12-03

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/529,289 A-371-Of-International US10721525B2 (en) 2014-12-03 2015-11-19 Information processing device, information processing method, and program
US16/894,263 Continuation US11218768B2 (en) 2014-12-03 2020-06-05 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2016088566A1 true WO2016088566A1 (ja) 2016-06-09

Family

ID=56091516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082551 WO2016088566A1 (ja) 2014-12-03 2015-11-19 情報処理装置および情報処理方法、並びにプログラム

Country Status (7)

Country Link
US (2) US10721525B2 (ja)
EP (1) EP3229477A4 (ja)
JP (1) JPWO2016088566A1 (ja)
KR (1) KR20170090417A (ja)
CN (1) CN107005724B (ja)
TW (1) TW201633794A (ja)
WO (1) WO2016088566A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012113A1 (ja) * 2016-07-15 2018-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6473262B1 (ja) * 2017-11-13 2019-02-20 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
CN110290845A (zh) * 2017-02-20 2019-09-27 索尼公司 信息处理系统和信息处理方法
JP2020009027A (ja) * 2018-07-04 2020-01-16 学校法人 芝浦工業大学 ライブ演出システム、およびライブ演出方法
JP2022018733A (ja) * 2020-07-16 2022-01-27 ヤフー株式会社 提供プログラム、提供方法、および提供装置
JP2022034965A (ja) * 2020-08-19 2022-03-04 株式会社カプコン システム、サーバ及びプログラム
JP2022075668A (ja) * 2021-02-23 2022-05-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ処理方法、装置、デバイスおよび記憶媒体
JP2022119816A (ja) * 2017-10-12 2022-08-17 株式会社バンダイナムコエンターテインメント コンテンツ配信システム、コンピュータシステム、サーバシステム、及びコンテンツ配信方法
WO2022215725A1 (ja) * 2021-04-08 2022-10-13 株式会社ニコン 情報処理装置、プログラム、及び、情報処理方法
WO2024053094A1 (ja) * 2022-09-09 2024-03-14 日本電信電話株式会社 メディア情報強調再生装置、メディア情報強調再生方法、およびメディア情報強調再生プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016088566A1 (ja) * 2014-12-03 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
EP3236360B1 (en) * 2014-12-15 2020-07-22 Sony Corporation Information processing device, information processing method, program, and information processing system
KR101777392B1 (ko) 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
US10726836B2 (en) * 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
KR101968723B1 (ko) * 2017-10-18 2019-04-12 네이버 주식회사 카메라 이펙트를 제공하는 방법 및 시스템
WO2019156508A1 (en) * 2018-02-08 2019-08-15 Samsung Electronics Co., Ltd. Method and electronic device for rendering background in image
CN108882480B (zh) * 2018-06-20 2020-06-05 新华网股份有限公司 舞台灯光和装置调节方法和系统
EP3941073A4 (en) * 2019-03-11 2022-04-27 Sony Group Corporation INFORMATION PROCESSING DEVICE AND SYSTEM
CN110418148B (zh) * 2019-07-10 2021-10-29 咪咕文化科技有限公司 视频生成方法、视频生成设备及可读存储介质
WO2021059770A1 (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN110991238B (zh) * 2019-10-30 2023-04-28 中科南京人工智能创新研究院 一种基于语音情感分析和微表情识别的演讲辅助系统
CN113139411A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 实现信息统计的方法、装置和产品
US20220201370A1 (en) * 2020-12-18 2022-06-23 Sony Group Corporation Simulating audience reactions for performers on camera
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
CN113747250B (zh) * 2021-08-18 2024-02-02 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150795A (ja) * 2003-11-11 2005-06-09 Matsushita Electric Ind Co Ltd 送信装置及び受信装置
JP2005303722A (ja) * 2004-04-13 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> 一体感を伝える通信システム
JP2009182410A (ja) * 2008-01-29 2009-08-13 Yahoo Japan Corp 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
JP2009188876A (ja) * 2008-02-08 2009-08-20 Mitsubishi Electric Corp 映像音声再生装置および映像音声再生システム
JP2011182109A (ja) * 2010-02-26 2011-09-15 Sony Corp コンテンツ再生装置
JP2013070155A (ja) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
JP2014212490A (ja) * 2013-04-19 2014-11-13 株式会社ドワンゴ 端末装置、コメント配信システム、及びプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2422454A (en) 2005-01-22 2006-07-26 Siemens Plc A system for communicating user emotion
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007097047A (ja) * 2005-09-30 2007-04-12 Seiko Epson Corp コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
KR101424807B1 (ko) * 2007-08-14 2014-07-31 엘지전자 주식회사 영상 표시 시스템 및 그 제어방법
US8177611B2 (en) * 2007-12-21 2012-05-15 Sony Computer Entertainment America Llc Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
CA2721481C (en) * 2008-04-15 2018-10-23 Pvi Virtual Media Services, Llc Preprocessing video to insert visual elements and applications thereof
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
JP2010016482A (ja) 2008-07-01 2010-01-21 Sony Corp 情報処理装置および情報処理方法
JP4621758B2 (ja) * 2008-07-08 2011-01-26 パナソニック株式会社 コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
JP5715390B2 (ja) * 2009-12-03 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 視聴端末装置、視聴統計装置、視聴統計処理システムおよび視聴統計処理方法
JP2011166572A (ja) * 2010-02-12 2011-08-25 Nec Personal Products Co Ltd 番組嗜好推定装置、画像視聴システム、番組視聴確認方法、及びプログラム
JP2012009957A (ja) * 2010-06-22 2012-01-12 Sharp Corp 評価情報通知装置、コンテンツ提示装置、コンテンツ評価システム、評価情報通知装置の制御方法、評価情報通知装置の制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP5677002B2 (ja) * 2010-09-28 2015-02-25 キヤノン株式会社 映像制御装置、及び映像制御方法
CN102098567B (zh) * 2010-11-30 2013-01-16 深圳创维－Rgb电子有限公司 一种互动电视系统及其控制方法
JP6039915B2 (ja) 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
CN102510539A (zh) * 2011-12-02 2012-06-20 深圳市万兴软件有限公司 一种在播放的视频上显示内容的方法和系统
US8955021B1 (en) * 2012-08-31 2015-02-10 Amazon Technologies, Inc. Providing extrinsic data for video content
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US20150350729A1 (en) * 2014-05-28 2015-12-03 United Video Properties, Inc. Systems and methods for providing recommendations based on pause point in the media asset
US9554188B2 (en) * 2014-08-27 2017-01-24 Verizon Patent And Licensing Inc. Shock block
JPWO2016088566A1 (ja) * 2014-12-03 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US10085064B2 (en) * 2016-12-28 2018-09-25 Facebook, Inc. Aggregation of media effects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005150795A (ja) * 2003-11-11 2005-06-09 Matsushita Electric Ind Co Ltd 送信装置及び受信装置
JP2005303722A (ja) * 2004-04-13 2005-10-27 Nippon Telegr & Teleph Corp <Ntt> 一体感を伝える通信システム
JP2009182410A (ja) * 2008-01-29 2009-08-13 Yahoo Japan Corp 視聴反応共有システム、視聴反応管理サーバ及び視聴反応共有方法
JP2009188876A (ja) * 2008-02-08 2009-08-20 Mitsubishi Electric Corp 映像音声再生装置および映像音声再生システム
JP2011182109A (ja) * 2010-02-26 2011-09-15 Sony Corp コンテンツ再生装置
JP2013070155A (ja) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
JP2014212490A (ja) * 2013-04-19 2014-11-13 株式会社ドワンゴ 端末装置、コメント配信システム、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3229477A4 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012113A1 (ja) * 2016-07-15 2018-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110290845A (zh) * 2017-02-20 2019-09-27 索尼公司 信息处理系统和信息处理方法
CN110290845B (zh) * 2017-02-20 2023-08-22 索尼公司 信息处理系统和信息处理方法
JP2022119816A (ja) * 2017-10-12 2022-08-17 株式会社バンダイナムコエンターテインメント コンテンツ配信システム、コンピュータシステム、サーバシステム、及びコンテンツ配信方法
JP7351969B2 (ja) 2017-10-12 2023-09-27 株式会社バンダイナムコエンターテインメント コンテンツ配信システム、コンピュータシステム、サーバシステム、及びコンテンツ配信方法
JP6473262B1 (ja) * 2017-11-13 2019-02-20 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
JP2019092146A (ja) * 2017-11-13 2019-06-13 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
JP2019092186A (ja) * 2017-11-13 2019-06-13 株式会社ドワンゴ 配信サーバ、配信プログラムおよび端末
JP7159067B2 (ja) 2017-11-13 2022-10-24 株式会社ドワンゴ コンピュータプログラムおよび配信サーバ
JP7216394B2 (ja) 2018-07-04 2023-02-01 学校法人 芝浦工業大学 ライブ演出システム、およびライブ演出方法
JP2020009027A (ja) * 2018-07-04 2020-01-16 学校法人 芝浦工業大学 ライブ演出システム、およびライブ演出方法
JP2022018733A (ja) * 2020-07-16 2022-01-27 ヤフー株式会社 提供プログラム、提供方法、および提供装置
JP2022034965A (ja) * 2020-08-19 2022-03-04 株式会社カプコン システム、サーバ及びプログラム
JP7244768B2 (ja) 2020-08-19 2023-03-23 株式会社カプコン システム、サーバ及びプログラム
JP2022075668A (ja) * 2021-02-23 2022-05-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ処理方法、装置、デバイスおよび記憶媒体
JP7355865B2 (ja) 2021-02-23 2023-10-03 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオ処理方法、装置、デバイスおよび記憶媒体
WO2022215725A1 (ja) * 2021-04-08 2022-10-13 株式会社ニコン 情報処理装置、プログラム、及び、情報処理方法
WO2024053094A1 (ja) * 2022-09-09 2024-03-14 日本電信電話株式会社 メディア情報強調再生装置、メディア情報強調再生方法、およびメディア情報強調再生プログラム

Also Published As

Publication number Publication date
KR20170090417A (ko) 2017-08-07
CN107005724B (zh) 2020-09-18
JPWO2016088566A1 (ja) 2017-09-14
US10721525B2 (en) 2020-07-21
TW201633794A (zh) 2016-09-16
US20170264954A1 (en) 2017-09-14
EP3229477A1 (en) 2017-10-11
EP3229477A4 (en) 2018-05-23
CN107005724A (zh) 2017-08-01
US20200304869A1 (en) 2020-09-24
US11218768B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
WO2016088566A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
WO2017175599A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP6369462B2 (ja) クライアント装置、制御方法、システム、およびプログラム
WO2012105318A1 (ja) 入力支援装置、入力支援方法及び記録媒体
US20110214141A1 (en) Content playing device
JPWO2017159383A1 (ja) 情報処理装置、情報処理方法、プログラム、動画像配信システム
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
CN105938541B (zh) 利用数字内容增强现场表演的系统和方法
JP2021005319A (ja) 制御サーバ、配信システム、制御方法及びプログラム
JP7465019B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20170092253A1 (en) Karaoke system
CN111586430A (zh) 在线互动方法、客户端、服务器和存储介质
US20210402297A1 (en) Modifying computer simulation video template based on feedback
JP7360112B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
WO2022006124A1 (en) Generating video clip of computer simulation from multiple views
WO2022006111A1 (en) Selection of video widgets based on computer simulation metadata
WO2022249522A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
KR102430547B1 (ko) 게임 플레이 콘텐츠 제작 장치
EP4172812A1 (en) Selection of video template based on computer simulation metadata
WO2024142674A1 (ja) コンテンツ生成装置、コンテンツ生成方法、プログラム、および記録媒体
WO2023120244A1 (ja) 伝送装置、伝送方法、およびプログラム
WO2023042436A1 (ja) 情報処理装置および方法、並びにプログラム
JP2022162170A (ja) 再生制御方法、制御システムおよびプログラム
KR20230057319A (ko) 비대면 리액티브 공연을 위한 공연서버 운영 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864577

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016562379

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20177013451

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015864577

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15529289

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE