WO2024057399A1 - メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム - Google Patents

メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム Download PDF

Info

Publication number
WO2024057399A1
WO2024057399A1 PCT/JP2022/034206 JP2022034206W WO2024057399A1 WO 2024057399 A1 WO2024057399 A1 WO 2024057399A1 JP 2022034206 W JP2022034206 W JP 2022034206W WO 2024057399 A1 WO2024057399 A1 WO 2024057399A1
Authority
WO
WIPO (PCT)
Prior art keywords
media
time
base
video
audio
Prior art date
Application number
PCT/JP2022/034206
Other languages
English (en)
French (fr)
Inventor
麻衣子 井元
真二 深津
淳一 中嶋
馨亮 長谷川
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/034206 priority Critical patent/WO2024057399A1/ja
Publication of WO2024057399A1 publication Critical patent/WO2024057399A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • One aspect of the present invention relates to a media playback control device, a media playback control method, and a media playback control program.
  • Such video/audio transmission is not limited to one-to-one one-way transmission, but also bi-directional transmission.
  • video and audio are transmitted from a first base, which is a venue where a sports match is being held (hereinafter referred to as an event venue), to multiple second bases in remote locations, and each It is output from a large video display device and speakers at the second base.
  • a first base which is a venue where a sports match is being held
  • multiple second bases in remote locations
  • each It is output from a large video display device and speakers at the second base.
  • This type of two-way video and audio transmission allows athletes (or performers) and spectators at the event venue, as well as viewers in multiple remote locations, to communicate even though they are physically separated. You can get a sense of presence and unity as if you were in the same space (event venue) and having the same experience.
  • RTP Real-time Transport Protocol
  • the data transmission time between two locations varies depending on the network environment such as the communication line connecting the two locations.
  • the video and audio recorded at event venue A at time T are transmitted to two remote locations B and C, and the video and audio recorded at remote locations B and C are transmitted to the event.
  • the signal is transmitted back to venue A.
  • the video and audio that was shot and recorded at time T and transmitted from event venue A at remote location B will be played back at time T b1
  • the video and audio that was shot and recorded at time T b1 at remote location B will be played back at time T b1 .
  • Whether a sense of unity is created also depends on the emotions and excitement of the audience at the event venue when these images are displayed.
  • Non-Patent Document 1 it is possible to estimate human emotions in video returned from a remote location, and as disclosed in Non-Patent Document 2, it is possible to estimate not only video but also acoustic information. It is conceivable that by estimating human emotions from text information and text information, it would be possible to control the playback of only the video and audio that matches the atmosphere and situation of the event venue (the emotions of the audience).
  • This invention was made in view of the above-mentioned circumstances, and its purpose is to make it possible for viewers at an event venue to Our goal is to provide technology that reduces the discomfort you feel.
  • the media playback control device is a device at a first base that includes a media presentation device, and includes a receiving section and a playback permission determining section.
  • the receiving unit is configured to transmit the first media acquired at the first base at a first time to the second media acquired at the second base at a time when the first media is to be played back at a second base different from the first base.
  • the playback permission determining unit determines whether or not to present the second media based on the packet from the second base on the media presentation device, based on whether or not the audience at the first base between the first time and the current time is presented with the second media based on the packet from the second base. The determination is made based on a first degree of excitement, which is the degree of excitement, and a second degree of excitement, which is the degree of excitement of the audience at the second base based on the second media.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of each electronic device included in the media playback control system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of the software configuration of each electronic device that constitutes the media playback control system according to the first embodiment.
  • FIG. 3 is a diagram showing an example of the data structure of the status management DB included in the server of base O according to the first embodiment.
  • FIG. 4 is a diagram showing an example of the data structure of the media time management DB included in the server of base R1 according to the first embodiment.
  • FIG. 5 is a flowchart showing the processing procedure and contents of the server at the base O according to the first embodiment.
  • FIG. 6 is a flowchart showing the processing procedure and contents of the server at base R1 according to the first embodiment.
  • FIG. 7 is a flowchart showing the processing procedure and processing contents of the server status transmission processing at the base O according to the first embodiment.
  • FIG. 8 is a flowchart showing the processing procedure and processing contents of the media transmission processing of the server at the base O according to the first embodiment.
  • FIG. 9 is a flowchart showing the procedure and contents of the media reception process of the server at the base R1 according to the first embodiment.
  • FIG. 10 is a flowchart showing the processing procedure and processing contents of the video offset calculation processing of the server at the base R1 according to the first embodiment.
  • FIG. 11 is a flowchart showing the processing procedure and processing contents of the return media transmission processing of the server at the base R1 according to the first embodiment.
  • FIG. 12 is a flowchart showing the processing procedure and processing contents of the return media reception process of the server at the base O according to the first embodiment.
  • FIG. 13 is a flowchart illustrating the processing procedure and processing contents of the loopback video playback capability determination process of the server at the base O according to the first embodiment.
  • FIG. 14 is a schematic diagram for explaining the storage contents in the temporary storage unit of the server at the base O according to the first embodiment.
  • FIG. 15 is a flowchart showing the processing procedure and processing contents of the presentation condition determination process in FIG. 13.
  • FIG. 16 is a flowchart illustrating the processing procedure and processing contents of the call-back audio playback capability determination process of the server at the base O according to the first embodiment.
  • FIG. 17 is a block diagram showing an example of the software configuration of each electronic device configuring the media playback control system according to the second embodiment.
  • FIG. 18 is a flowchart showing the processing procedure and contents of the server at the base O according to the second embodiment.
  • FIG. 19 is a flowchart showing the processing procedure and processing contents of the return media reception processing of the server at the base O according to the second embodiment.
  • FIG. 20 is a flowchart illustrating the processing procedure and processing contents of the return media playback capability determination process of the server at the base O according to the second embodiment.
  • Time information that is uniquely determined based on the absolute time when video and audio were shot and recorded at base O is a time information that is uniquely determined from bases R 1 to R n (where n is (an integer greater than or equal to 2) is assigned to the video/audio to be transmitted.
  • bases R 1 to R n where n is (an integer greater than or equal to 2) is assigned to the video/audio to be transmitted.
  • n is (an integer greater than or equal to 2) is assigned to the video/audio to be transmitted.
  • n is (an integer greater than or equal to 2
  • a video shot at the time when the video/audio having the relevant time information was played is associated with the relevant time information.
  • Time information is transmitted and received between base O and each of bases R 1 to R n by any of the following means.
  • the time information is associated with images shot at each of bases R 1 to R n .
  • Time information is stored in the header extension area of the RTP packet transmitted and received between base O and each of bases R 1 to R n .
  • the time information is in absolute time format (hh:mm:ss.fff format), but may also be in millisecond format.
  • Time information is described using APP (Application-Defined) in RTCP (RTP Control Protocol), which is transmitted and received at regular intervals between base O and each of bases R 1 to R n .
  • RTCP RTP Control Protocol
  • the time information is in millisecond format.
  • the time information is stored in SDP (Session Description Protocol) that describes initial value parameters to be exchanged between base O and each of bases R 1 to R n at the start of transmission.
  • SDP Session Description Protocol
  • the time information is in millisecond format.
  • the video and audio captured and recorded at base O are both stored in one RTP packet and transmitted to remote bases R 1 to R n .
  • Video and audio transmitted back from base R n to base O will also be explained as being transmitted in the form of RTP packets.
  • the video and audio may each be transmitted as RTP packets.
  • Video and audio are examples of media.
  • the time information used to determine whether or not to play video and audio transmitted back from bases R 1 to R n at base O is transmitted and received between base O and each of bases R 1 to R n . It is stored in the header extension area of the RTP packet.
  • the time information is in absolute time format (hh:mm:ss.fff format).
  • FIG. 1 is a block diagram showing an example of the hardware configuration of each electronic device included in the media playback control system S according to the first embodiment.
  • the media playback control system S includes a plurality of electronic devices included in the base O, a plurality of electronic devices included in each of the bases R 1 to R n , and a time distribution server 10 .
  • the electronic devices and time distribution servers 10 at each location can communicate with each other via the IP network NW.
  • the base O includes a server 1, a video shooting device 101, an audio recording device 102, a return video presentation device 103, and a return audio presentation device 104.
  • Base O is an example of a first base.
  • the server 1 is an electronic device that controls each electronic device included in the base O.
  • the server 1 is an example of a media playback control device.
  • the video capture device 101 is a device that includes a camera that captures a video of the base O.
  • the video capturing device 101 may include multiple cameras.
  • the audio recording device 102 is a device that includes a microphone that records the audio of the base O. Audio recording device 102 may include multiple microphones.
  • the return video presentation device 103 is a device including a large display that reproduces and displays an array of videos transmitted back from each of the bases R 1 to R n to the base O.
  • the display is a liquid crystal display.
  • the return video presentation device 103 is an example of a video presentation device.
  • the folded video presentation device 103 can be installed behind a stage on which performers, such as performers and singers, stand. Further, at a competition venue, the video display device 103 is often installed at a location away from the athletes who are the competitors.
  • the return audio presentation device 104 is a device that includes a speaker that reproduces and outputs a mixture of voices transmitted from each of bases R 1 to R n to base O.
  • the server 1 includes a control section 11, a program storage section 12, a data storage section 13, a communication interface 14, and an input/output interface 15. Each element included in the server 1 is connected to each other via a bus.
  • the control unit 11 corresponds to the central part of the server 1.
  • the control unit 11 includes a processor such as a central processing unit (CPU).
  • the processor may be multi-core/multi-threaded and can execute multiple processes in parallel.
  • the control unit 11 includes a ROM (Read Only Memory) as a nonvolatile memory area.
  • the control unit 11 includes a RAM (Random Access Memory) as a volatile memory area.
  • the processor expands the program stored in the ROM or program storage unit 12 into the RAM.
  • the control unit 11 realizes each functional unit described below by the processor executing the program loaded in the RAM.
  • the control unit 11 constitutes a computer.
  • the program storage unit 12 is configured of a nonvolatile memory that can be written to and read from at any time, such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), as a storage medium.
  • the program storage unit 12 stores programs necessary to execute various control processes.
  • the program storage unit 12 stores a program that causes the server 1 to execute processing by each functional unit implemented in the control unit 11, which will be described later.
  • the program storage unit 12 is an example of storage.
  • the data storage unit 13 is composed of a nonvolatile memory that can be written to and read from at any time, such as an HDD or an SSD, as a storage medium.
  • the data storage unit 13 is an example of a storage or storage unit.
  • the communication interface 14 includes various interfaces that communicably connect the server 1 to other electronic devices using communication protocols defined by the IP network NW.
  • the input/output interface 15 is an interface that enables communication between the server 1 and each of the video shooting device 101, the audio recording device 102, the loopback video presentation device 103, and the loopback audio presentation device 104.
  • the input/output interface 15 may include a wired communication interface or a wireless communication interface.
  • the hardware configuration of the server 1 is not limited to the above-mentioned configuration.
  • the server 1 allows the above-mentioned components to be omitted and changed, and new components to be added as appropriate.
  • the base R 1 includes a server 2 , a video presentation device 201 , an audio presentation device 202 , an offset video shooting device 203 , a video shooting device 204 , and an audio recording device 205 .
  • the base R1 is an example of a second base different from the first base.
  • the server 2 is an electronic device that controls each electronic device included in the base R1 .
  • the video presentation device 201 is a device that includes a display that plays and displays the video transmitted from the base O to the base R1 .
  • the audio presentation device 202 is a device that includes a speaker that reproduces and outputs the audio transmitted from the base O to the base R1 .
  • the offset video shooting device 203 is a device that can record the shooting time.
  • the offset video photographing device 203 is a device that includes a camera installed so that the entire video display area of the video presentation device 201 can be photographed.
  • the video capturing device 204 is a device that includes a camera that captures a video of the base R1 .
  • the video photographing device 204 photographs a video of the audience viewing the video at the base R1 where the video presentation device 201 is installed, which reproduces and displays the video transmitted from the base O to the base R1 .
  • the audio recording device 205 is a device that includes a microphone that records audio from the base R1 .
  • the audio recording device 205 records the audio of the location R 1 where the audio presentation device 202 is installed, which reproduces and outputs the audio transmitted from the location O to the location R 1 .
  • the server 2 includes a control section 21, a program storage section 22, a data storage section 23, a communication interface 24, and an input/output interface 25.
  • Each element included in the server 2 is connected to each other via a bus.
  • the control unit 21 may be configured similarly to the control unit 11 in the server 1 at the base O.
  • the processor expands the program stored in the ROM or the program storage unit 22 into the RAM.
  • the control unit 21 implements each functional unit described later by the processor executing a program loaded in the RAM.
  • the control unit 21 constitutes a computer.
  • the program storage unit 22 may be configured similarly to the program storage unit 12 in the server 1 at the base O.
  • the data storage unit 23 may be configured similarly to the data storage unit 13 in the server 1 at the base O.
  • the communication interface 24 may be configured similarly to the communication interface 14 in the server 1 at the base O.
  • the communication interface 24 includes various interfaces that communicably connect the server 2 to other electronic devices.
  • the input/output interface 25 may be configured similarly to the input/output interface 15 in the server 1 at the base O.
  • the input/output interface 25 enables communication between the server 2 and each of the video presentation device 201, audio presentation device 202, offset video shooting device 203, video shooting device 204, and audio recording device 205.
  • the hardware configuration of the server 2 is not limited to the above-mentioned configuration.
  • the server 2 allows the above-mentioned components to be omitted and changed, and new components to be added as appropriate.
  • bases R 2 to R n The hardware configurations of the plurality of electronic devices included in each of bases R 2 to R n are the same as those of base R 1 described above, and therefore the description thereof will be omitted.
  • bases R 1 to R n they will be simply referred to as base R.
  • the time distribution server 10 is an electronic device that manages a reference system clock.
  • the reference system clock is an absolute time.
  • FIG. 2 is a block diagram showing an example of the software configuration of each electronic device configuring the media playback control system S according to the first embodiment.
  • the server 1 at base O includes a time management section 111, a status determination section 112, a media transmission section 113, a return media reception section 114, a return video playback possibility determination section 115, and a return audio playback possibility determination section 116.
  • Each functional unit is realized by execution of a program by the control unit 11. It can also be said that each functional unit is included in the control unit 11 or the processor. Each functional unit can be read as the control unit 11 or a processor.
  • Each functional unit can also be implemented in a variety of other integrated circuit formats, including ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), FPGAs (field-programmable gate arrays), GPUs (Graphics Processing Units), etc. It may be realized by Furthermore, the server 1 includes a status management DB 131.
  • the status management DB 131 is realized by the data storage section 13.
  • the time management unit 111 performs time synchronization with the time distribution server 10 using known protocols such as NTP and PTP, and manages the reference system clock.
  • the time management unit 111 manages the same reference system clock as the reference system clock managed by each of the servers 2 of bases R 1 to R n .
  • the reference system clock managed by the time management unit 111 and the reference system clock managed by the server 2 are time synchronized.
  • the status determination unit 112 acquires video and audio shot and recorded at the base O (event venue) from the video capture device 101 and the audio recording device 102, and determines the excitement status of the base O. For the determination, known emotion estimation techniques and excitement detection techniques as disclosed in Non-Patent Documents 1 and 2 are used.
  • the status determination unit 112 determines, for example, that the emotion is one of three emotions (neutral (no emotion), positive (joyful emotion, surprised emotion), negative (angry emotion, sad emotion)). Judgment is performed at regular intervals, and if the judgment result is different from the previous judgment result, the status judgment unit 112 records the shooting/recording time at base O and the status (neutral, positive, or negative) is stored in the status management DB 131.
  • the status determination unit 112 is an example of an excitement level determination unit.
  • the excitement level at base O is an example of the level of excitement of the audience at the first base.
  • Apathy is an example of a first emotion.
  • Joy and surprise are examples of second emotions.
  • Anger and sadness are examples of third emotions.
  • FIG. 3 is a diagram showing an example of the data structure of the status management DB 131 provided in the server 1 of the base O according to the first embodiment.
  • the status management DB 131 includes a time column and an emotion type column.
  • the time column stores the shooting/recording time.
  • the emotion column stores the status of any of the three emotions.
  • FIG. 3 shows an example in which, as a result of determining the excitement status every second, the determination result changes at 1 second, 5 seconds, and 8 seconds.
  • the status management DB 131 is an example of a storage unit.
  • the media transmitting unit 113 transmits the RTP packet containing the video V signal1 outputted from the video shooting device 101 and the audio A signal1 outputted from the audio recording device 102 to bases R 1 to R1 via the IP network NW. Send to each server of n .
  • the media transmitter 113 is an example of a transmitter.
  • the video V signal1 is a video acquired at the base O at time T media , which is an absolute time.
  • Obtaining the video V signal1 includes the video photographing device 101 photographing the video V signal1 .
  • Obtaining the video V signal1 includes sampling the video V signal1 photographed by the video imaging device 101.
  • Audio A signal1 is audio acquired at base O at time T media , which is an absolute time.
  • Obtaining the audio A signal1 includes the audio recording device 102 recording the audio A signal1 .
  • Obtaining the audio A signal1 includes sampling the audio A signal1 recorded by the audio recording device 102.
  • the RTP packet storing the video V signal1 and the audio A signal1 is given a time T media .
  • the time T media is the time when the video V signal1 and the audio A signal1 are acquired at the base O.
  • the time T media is time information used at the base O to determine whether or not the video/audio can be played back.
  • the video V signal1 is an example of the first video.
  • Audio A signal1 is an example of the first audio.
  • the video V signal1 and the audio A signal1 are examples of first media.
  • Time T media is an example of a first time.
  • An RTP packet is an example of a packet.
  • the return media receiving unit 114 receives RTP packets storing the video V signal 2 and the audio A signal 2 from the servers 2 of each of the bases R 1 to R n via the IP network NW.
  • the video V signal2 is a video obtained at any of the bases R1 to Rn at the time when the video V signal1 is played back at this base.
  • Obtaining the video V signal2 includes the video capturing device 204 of the corresponding base R capturing the video V signal2 .
  • Obtaining the video V signal2 includes sampling the video V signal2 captured by the video imaging device 204.
  • the audio A signal2 is the audio acquired at any of the locations R1 to Rn at the time when the audio A signal1 is played back at this location.
  • Obtaining the audio A signal2 includes the audio recording device 205 of the corresponding base R recording the audio A signal2 .
  • Obtaining the audio A signal2 includes sampling the audio A signal2 recorded by the audio recording device 205.
  • the RTP packet storing the video V signal2 and the audio A signal2 is given a time T media .
  • the return media receiving unit 114 acquires the time T media , the video V signal2 , and the audio A signal2 from the received RTP packet.
  • the return media receiving unit 114 passes the acquired time T media and video V signal 2 to the return video playback possibility determining unit 115 .
  • the loopback media receiving section 114 passes the acquired time T media and audio A signal2 to the loopback audio playback possibility determining section 116 .
  • the video V signal2 is an example of the second video.
  • the audio A signal2 is an example of the second audio.
  • the video V signal2 and the audio A signal2 are examples of second media.
  • the return media receiving unit 114 is an example of a receiving unit.
  • the return video playback possibility determining unit 115 determines the excitement level of the audience at each base R based on the video V signal 2 of each base R 1 to base R n passed from the return media receiving unit 114 . For the determination, the same publicly known emotion estimation technology and excitement detection technology as the status determination unit 112 is used. The return video playback possibility determining unit 115 determines, for example, one of three emotions (neutral, positive, and negative). The excitement level at base R is an example of the second excitement level. In addition, the loopback video playback possibility determination unit 115 retrieves information from the status management DB 131 from the record stored at the time that coincides with the time T media or the closest time in the past than the time T media to the record stored at the time most recent to the current time.
  • the return video playback possibility determination unit 115 plays back the video V signal2 from the base R based on the status of the emotion type in the acquired record group r and the status of the excitement of the audience at the base R determined above. Determine whether or not to do so. Details of this determination method will be described later.
  • the loopback video playback possibility determining unit 115 outputs the video V signal 2 determined to be playable to the loopback video presentation device 103 .
  • the emotion type in record group r is an example of the first excitement level.
  • the loopback audio playback possibility determining unit 116 determines the excitement level of the audience at each base R based on the audio A signal 2 of each base R 1 to base R n passed from the loopback media receiving unit 114 . For the determination, the same publicly known emotion estimation technology and excitement detection technology as the status determination unit 112 is used.
  • the loopback audio reproduction possibility determining unit 116 determines, for example, that the voice is one of three emotions (neutral, positive, and negative).
  • the excitement level at base R is an example of the second excitement level.
  • Apathy is an example of a first emotion.
  • Joy and surprise are examples of second emotions.
  • Anger and sadness are examples of third emotions.
  • the return audio playback possibility determination unit 116 also retrieves the information from the status management DB 131 from the record stored at the time that coincides with the time T media or the closest time in the past than the time T media to the record stored at the time most recent to the current time. Obtain record group r. Then, the return audio playback possibility determining unit 116 reproduces the audio A signal2 from the base R based on the status of the emotion type in the acquired record group r and the status of the excitement of the audience at the base R determined above. Determine whether or not to do so. Details of this determination method will be described later. The loopback audio reproduction possibility determining unit 116 outputs the audio A signal 2 determined to be playable to the loopback audio presentation device 104 .
  • the emotion type in record group r is an example of the first excitement level.
  • the server 2 at the base R 1 includes a time management section 211 , a media reception section 212 , a video offset calculation section 213 , and a return media transmission section 214 .
  • Each functional unit is realized by execution of a program by the control unit 21. It can also be said that each functional unit is included in the control unit 21 or the processor.
  • Each functional unit can be read as the control unit 21 or a processor.
  • Each functional unit can be read as the control unit 11 or a processor.
  • Each functional unit may also be implemented in a variety of other formats, including integrated circuits such as ASICs, DSPs, FPGAs, GPUs, and the like.
  • the server 2 includes a media time management DB 231.
  • the media time management DB 231 is realized by the data storage unit 23.
  • the time management unit 211 performs time synchronization with the time distribution server 10 using known protocols such as NTP and PTP, and manages the reference system clock.
  • the time management unit 211 manages the same reference system clock as the reference system clock managed by the server 1 .
  • the reference system clock managed by the time management unit 211 and the reference system clock managed by the server 1 are synchronized in time.
  • the media receiving unit 212 receives, from the server 1, an RTP packet containing the video V signal1 and the audio A signal1 , to which the time T media is added, via the IP network NW.
  • the media receiving unit 212 acquires time T media , video V signal1 , and audio A signal1 from the received RTP packet.
  • the media receiving unit 212 outputs the acquired video V signal1 to the video presentation device 201, and outputs the acquired audio A signal1 to the audio presentation device 202. Furthermore, the media reception unit 212 outputs the acquired time T media and video V signal2 to the video offset calculation unit 213.
  • the video offset calculation unit 213 calculates a presentation time t 1 that is the absolute time when the video V signal 1 was played back by the video presentation device 201 .
  • the video offset calculating unit 213 uses a known image processing technique to offset a video frame including the video V signal1 output from the media receiving unit 212 from among the videos shot by the offset video shooting device 203. It is extracted from the video shot by the device 203.
  • the video offset calculation unit 213 obtains the shooting time given to this extracted video frame as the presentation time t 1 .
  • the video offset calculation unit 213 stores the time T media output from the media reception unit 212 and the acquired presentation time t 1 in the media time management DB 231 in association with each other.
  • FIG. 4 is a diagram showing an example of the data structure of the media time management DB 231 included in the server 2 of base R 1 according to the first embodiment.
  • the media time management DB 231 is a database that stores time T media and presentation time t 1 in association with each other.
  • the media time management DB 231 includes a media synchronization reference time column and a presentation time column.
  • the media synchronization reference time column stores time T media .
  • the presentation time column stores presentation time t 1 .
  • the return media transmitting unit 214 transmits an RTP packet containing the video V signal2 photographed by the video photographing device 204 and the audio A signal2 recorded by the audio recording device 205 to the server 1 via the IP network NW.
  • the return media transmission unit 214 reads the time T media associated with the presentation time t 1 that coincides with time t, which is the absolute time when the video V signal 2 was captured, from the media time management DB 231 , and reads the time T media is added to the RTP packet storing the video V signal2 and the audio A signal2 .
  • each of the servers at locations R 2 to R n includes the same functional units and DB as the server 2 at the location R 1 and executes the same processing as the server 2 at the location R 1 . Descriptions of the processing flow and DB structure of the functional units included in each server of bases R 2 to R n will be omitted.
  • base O and base R1 The operations of base O and base R1 will be explained below as an example.
  • the operations of bases R 2 to R n may be the same as the operations of base R 1 , and the explanation thereof will be omitted.
  • the notation of base R 1 may be read as base R 2 to base R n .
  • FIG. 5 is a flowchart showing the processing procedure and processing contents of the server 1 at the base O according to the first embodiment.
  • the server 1 repeatedly executes the process shown in this flowchart while performing real-time transmission of the event venue.
  • the status determination unit 112 executes a status determination process to determine the excitement of the base O from the video V signal1 and the audio A signal1 (step S11). A typical example of this status determination process will be described later.
  • the media transmitting unit 113 executes a media transmitting process of transmitting the RTP packet storing the video V signal1 and the audio A signal1 to the servers 2 of each of bases R1 to Rn via the IP network NW (step S12). .
  • a media transmitting process of transmitting the RTP packet storing the video V signal1 and the audio A signal1 to the servers 2 of each of bases R1 to Rn via the IP network NW (step S12).
  • the server 1 executes the following process in parallel with the status determination process in step S11 and the media transmission process in step S12.
  • the return media receiving unit 114 executes return media reception processing (step S13).
  • This return media reception process is a process of receiving RTP packets storing video V signal 2 and audio A signal 2 from the servers 2 of each of bases R 1 to R n via the IP network NW. A typical example of this return media reception process will be described later.
  • the return video playback possibility determination unit 115 executes a return video playability determination process for determining whether or not to reproduce the video V signal 2 received from each of the bases R 1 to R n by the return media reception unit 114 (step S14). .
  • a return video playability determination process for determining whether or not to reproduce the video V signal 2 received from each of the bases R 1 to R n by the return media reception unit 114 (step S14).
  • the loopback audio playback determination unit 116 determines whether or not to reproduce the audio A signal2 received by the loopback media reception unit 114 from each of bases R1 to Rn .
  • a process for determining whether or not audio reproduction is possible is executed (step S15). A typical example of this loopback audio playback determination process will be described later.
  • FIG. 6 is a flowchart showing the processing procedure and processing contents of the server 2 at the base R1 according to the first embodiment.
  • the server 2 can repeatedly execute the process shown in this flowchart during real-time transmission of a competition venue or a concert at an event venue.
  • the media receiving unit 212 executes a media receiving process of receiving an RTP packet storing the video V signal1 and the audio A signal1 from the server 1 via the IP network NW (step S21). A typical example of this media reception processing will be described later.
  • the video offset calculation unit 213 executes a video offset calculation process to calculate the presentation time t 1 at which the video V signal1 was played back by the video presentation device 201 (step S22). A typical example of this video offset calculation process will be described later.
  • the return media transmission unit 214 executes a return media transmission process of transmitting the RTP packet storing the video V signal 2 and the audio A signal 2 to the server 1 via the IP network NW (step S23). A typical example of this return media transmission process will be described later.
  • step S11 of server 1 the process of step S12 of server 1
  • the process of step S21 of server 2 the process of step S22 of server 2
  • the process of step S23 of server 2 The process will be described in the following order: the process of step S13 of the server 1, the process of step S14 of the server 1, and the process of step S15 of the server 1.
  • FIG. 7 is a flowchart showing the processing procedure and processing contents of the status determination processing of the server 1 at the base O according to the first embodiment.
  • FIG. 7 shows a typical example of the process in step S11.
  • the status determination unit 112 acquires the video V signal1 output from the video imaging device 101 at constant intervals I status (step S111).
  • the fixed interval I status is, for example, 1 second.
  • the status determination unit 112 acquires the audio A signal1 output from the audio recording device 102 at constant intervals I status (step S112).
  • the status determination unit 112 determines the excitement status of the base O based on the acquired video V signal1 and audio A signal1 (step S113).
  • the status determination unit 112 determines, for example, which one of three emotions (neutral, positive, and negative).
  • the status determination unit 112 compares the status of the previous emotion type stored as the final record in the status management DB 131 and the status of the emotion type determined in step S113, and determines whether they are the same ( Step S114). Here, if it is determined that the statuses of both emotion types are the same, the status determination unit 112 skips the following process and ends this status determination process.
  • the status determination unit 112 acquires the shooting/recording times of the video V signal1 and the audio A signal1 (step S115).
  • the status determination unit 112 stores the acquired photographing/recording time and the status of the emotion type determined in step S113 in the status management DB 131 as the determination result in this status determination process (step S116).
  • FIG. 8 is a flowchart showing the processing procedure and contents of the media transmission process of the server 1 at the base O according to the first embodiment.
  • FIG. 8 shows a typical example of the process of step S12.
  • the media transmitter 113 acquires the video V signal1 output from the video imaging device 101 at regular intervals I video (step S121).
  • the media transmitter 113 acquires the audio A signal1 output from the audio recording device 102 at regular intervals I video (step S122).
  • the media transmitter 113 generates an RTP packet storing the video V signal1 and the audio A signal1 (step S123).
  • step S123 for example, the media transmitting unit 113 stores the video V signal1 obtained in step S121 and the audio A signal1 obtained in step S122 in an RTP packet.
  • the media transmitting unit 113 further acquires a time T media , which is the absolute time at which the video V signal1 was acquired, from the reference system clock managed by the time managing unit 111.
  • the media transmitter 113 stores the acquired time T media in the header extension area of the RTP packet.
  • the media transmitter 113 transmits the RTP packet storing the video V signal1 and the audio A signal1 generated in step S123 to the IP network NW (step S124).
  • FIG. 9 is a flowchart showing the processing procedure and contents of the media reception process of the server 2 at the base R1 according to the first embodiment.
  • FIG. 9 shows a typical example of the process of step S21 of the server 2.
  • the media receiving unit 212 receives the RTP packet storing the video V signal1 and the audio A signal1 sent from the media transmitting unit 113 via the IP network NW (step S211).
  • the media receiving unit 212 acquires the video V signal1 stored in the RTP packet containing the received video V signal1 and audio A signal1 (step S212). Then, the media receiving unit 212 outputs the acquired video V signal1 to the video presentation device 201 (step S213). The video presentation device 201 reproduces and displays the video V signal1 .
  • the media receiving unit 212 acquires the audio A signal1 stored in the RTP packet storing the received video V signal1 and audio A signal1 (step S214). Then, the media receiving unit 212 outputs the acquired audio A signal1 to the audio presentation device 202 (step S215). The audio presentation device 202 reproduces and outputs the audio A signal1 .
  • the media receiving unit 212 acquires the time T media stored in the header extension area of the RTP packet storing the video V signal1 and the audio A signal1 received in step S211 (step S216).
  • the media receiving unit 212 passes the acquired time T media to the video offset calculation unit 213 together with the video V signal1 acquired in step S212 (step S217).
  • FIG. 10 is a flowchart showing the processing procedure and processing contents of the video offset calculation processing of the server 2 at the base R1 according to the first embodiment.
  • FIG. 10 shows a typical example of the process of step S22 of the server 2.
  • the video offset calculation unit 213 acquires the video V signal1 and the time T media from the media reception unit 212 (step S221).
  • the video offset calculation unit 213 calculates the presentation time t 1 based on the acquired video V signal1 and the video input from the offset video imaging device 203 (step S222).
  • the video offset calculation unit 213 extracts a video frame including the video V signal1 from the video shot by the offset video imaging device 203 using a known image processing technique.
  • the video offset calculation unit 213 obtains the shooting time given to the extracted video frame as the presentation time t 1 .
  • the photographing time is an absolute time.
  • the video offset calculation unit 213 stores the acquired time T media in the video synchronization reference time column of the media time management DB 231 (step S223).
  • the video offset calculation unit 213 stores the acquired presentation time t 1 in the presentation time column of the media time management DB 231 (step S224).
  • FIG. 11 is a flowchart showing the processing procedure and processing contents of the return media transmission processing of the server 2 at the base R1 according to the first embodiment.
  • FIG. 11 shows a typical example of the process of step S23 of the server 2.
  • the return media transmitter 214 acquires the video V signal2 output from the video imaging device 204 at constant intervals I media (step S231).
  • the video V signal2 is a video acquired at the base R1 at the time when the video presentation device 201 reproduces the video V signal1 at the base R1 .
  • the return media transmitter 214 acquires the audio A signal2 output from the audio recording device 205 at constant intervals I media (step S232).
  • the audio A signal2 is the audio acquired at the base R1 at the time when the video presentation device 201 reproduces the video V signal1 at the base R1 .
  • the return media transmitter 214 calculates time t, which is the absolute time when the acquired video V signal2 was captured (step S233).
  • time t which is the absolute time when the acquired video V signal2 was captured.
  • the return media transmitter 214 obtains the current time T n from the reference system clock managed by the time manager 211 .
  • the return media transmission unit 214 refers to the media time management DB 231 and extracts a record having a time t 1 that matches the acquired time t (step S234).
  • the return media transmission unit 214 refers to the media time management DB 231 and obtains the time T media in the video synchronization reference time column of the extracted record (step S235).
  • the return media transmitter 214 generates an RTP packet storing the video V signal2 and the audio A signal2 (step S236).
  • step S236 for example, the return media transmitter 214 stores the acquired video V signal2 and audio A signal2 in an RTP packet.
  • the return media transmitter 214 stores the acquired time T media in the header extension area of the RTP packet.
  • the return media transmitter 214 transmits the RTP packet storing the generated video V signal2 and audio A signal2 to the IP network NW (step S237).
  • FIG. 12 is a flowchart showing the processing procedure and processing contents of the return media reception process of the server 1 at the base O according to the first embodiment.
  • FIG. 12 shows a typical example of the process of step S13 of the server 1.
  • the return media receiving unit 114 receives, via the IP network NW, the RTP packet containing the video V signal 2 and the audio A signal 2 sent from the return media transmitting units 214 of each of the bases R 1 to R n (step S131 ).
  • the return media receiving unit 114 acquires the time T media stored in the header extension area of the RTP packet storing the received video V signal2 and audio A signal2 (step S132).
  • the return media receiving unit 114 acquires the video V signal2 stored in the RTP packet containing the received video V signal2 and audio A signal2 (step S133).
  • the loopback media receiving unit 114 passes the acquired video V signal2 and time T media to the loopback video playback possibility determining unit 115 (step S134).
  • the return media receiving unit 114 acquires the audio A signal2 stored in the RTP packet containing the received video V signal2 and audio A signal2 (step S135).
  • the loopback media receiving unit 114 passes the acquired audio A signal2 and time T media to the loopback audio reproduction possibility determining unit 116 (step S136).
  • FIG. 13 is a flowchart illustrating the processing procedure and processing contents of the return video playback capability determination process of the server 1 at the base O according to the first embodiment.
  • FIG. 13 shows a typical example of the process of step S14 of the server 1.
  • the return video playback possibility determining unit 115 acquires the video V signal2 and the time T media from the return media receiving unit 114 (step S141).
  • the acquired video V signal2 and time T media are stored in a temporary storage section provided in the data storage section 13.
  • the time T media is "9:00:02.000".
  • FIG. 14 is a schematic diagram for explaining the storage contents in the temporary storage unit 132 provided in the data storage unit 13 of the server 1 at the base O according to the first embodiment.
  • the time T media is stored in a time T media storage area 1321 provided in the temporary storage section 132 .
  • the return video playback possibility determination unit 115 obtains the current time T n as the reception time t 2 from the reference system clock managed by the time management unit 111 (step S142).
  • the acquired reception time t 2 is stored in a reception time t 2 storage area 1322 provided in the temporary storage unit 132.
  • the current time t 2 is "9:00:08.000".
  • the return video playback possibility determining unit 115 calculates the delay time between the base O and the base R, which is the return source of the acquired video V signal2 (step S143). For example, the loopback video playback possibility determination unit 115 may compare the time T media stored in the time T media storage area 1321 of the temporary storage unit 132 and the reception time t 2 stored in the reception time t 2 storage area 1322. The difference value, ie (t 2 ⁇ T media ), is calculated as the delay time. In the example of FIG. 14, since it is "9:00:08.000-9:00:02.000", the delay time is "6000 (ms)". This delay time is a round trip transmission delay time between base O and base R.
  • the loopback video playback possibility determining unit 115 determines whether the calculated delay time is greater than or equal to a prescribed delay time value (step S144). This specified delay time value is set to a time that does not bother the audience even if there is a time lag in the video returned from base R.
  • the return video playback possibility determining unit 115 transmits the video V signal 2 acquired from the return media receiving unit 114 to the return video presentation device 103.
  • Output step S145.
  • the return video presentation device 103 reproduces and displays the video based on the video V signal2 that is returned from the base R to the base O. In this way, if the delay time is small, it is thought that there is a low possibility that viewers will be presented with an excitement situation that is different from the excitement situation of viewers at base O, which is the event venue. A video based on the transmitted video V signal2 is presented.
  • step S144 determines the return video playback possibility determination unit 115 determines the excitement status of base R based on the acquired video V signal2 . Determination is made (step S146).
  • the status of the emotion type of the determined excitement situation is stored in the determination type storage area 1323 of the temporary storage unit 132. In the example of FIG. 14, the status of the emotion type of the determined excitement is "positive.”
  • the return video playback possibility determination unit 115 determines whether a time that matches the time T media stored in the time T media storage area 1321 of the temporary storage unit 132 or is closest in the past than the time T media is stored from the status management DB 131.
  • a record group r from the stored record to the most recently stored record is acquired (step S147).
  • the acquired record group r is stored in the record group storage area 1324 of the temporary storage unit 132. If the storage contents of the status management DB 131 are as shown in FIG. 3, in the example of FIG. 14, the time T media is "9:00:02.000", so no record matching this time T media is stored.
  • a record group r from the record "9:00:01.000", which is the closest time past the time T media , to the most recently stored record is acquired.
  • the most recently stored record is "9:00:08.000” since the reception time t 2 stored in the reception time t 2 storage area 1322 is "9:00:08.000”. ” record. Therefore, as shown in FIG. 14, the record group storage area 1324 contains a record group including a record of "9:00:01.000," a record of "9:00:05.000,” and a record of "9:00:08.000.” r is stored.
  • the return video playback possibility determining unit 115 executes a presentation condition determination process to determine whether or not a prescribed presentation condition is satisfied (step S148).
  • the stipulated presentation conditions are: (1) The status of the emotion type of the excitement situation determined in step S146 is "positive", and the record group r acquired in step S147 does not include the "negative”status; (2) The status of the emotion type of the exciting situation determined in step S146 is "negative", and the record group r acquired in step S147 does not include a status of "positive” (3) The exciting situation determined in step S146 The status of the emotion type is "neutral", and the record group r acquired in step S147 does not include both "negative” and “positive” statuses. It includes three conditions.
  • the presentation condition determination process is a process of determining whether any of these three conditions is satisfied.
  • FIG. 15 is a flowchart showing the processing procedure and processing contents of this presentation condition determination processing.
  • FIG. 15 shows a typical example of the process of step S148 of the server 1.
  • the return video playback possibility determination unit 115 determines whether the status of the emotion type of the excitement situation of the base R stored in the determination type storage area 1323 of the temporary storage unit 132 is “positive” (step S1481).
  • the return video playback possibility determining unit 115 determines whether the record group r stored in the record group storage area 1324 of the temporary storage unit 132 includes "negative” as the emotion type status. Determination is made (step S1482).
  • condition (1) of the above-described presentation conditions is satisfied, so the loopback video playback possibility determining unit 115 determines that the condition is satisfied (step S1483 ).
  • condition (1) of the presentation conditions specified above is not met, and so the wraparound video playback determination unit 115 determines that the condition is not met (step S1484).
  • step S1481 determines that the status of the emotion type of the excitement situation of base R stored in the determination type storage area 1323 of the temporary storage unit 132 is not “positive”
  • the return video playback possibility determination unit 115 determines that It is determined whether or not is "negative” (step S1485).
  • the return video playback possibility determining unit 115 determines whether the record group r stored in the record group storage area 1324 of the temporary storage unit 132 includes "positive” as the emotion type status. Determination is made (step S1486).
  • condition (2) of the prescribed presentation conditions described above is satisfied, so the loopback video playback possibility determining unit 115 moves to step S1483 and satisfies the condition. It is determined that the conditions are met.
  • step S1484 it is determined that the condition is not satisfied.
  • step S1485 determines that the status of the emotion type of the excitement situation of base R stored in the determination type storage area 1323 of the temporary storage unit 132 is not “negative”.
  • the return video playback possibility determination unit 115 determines that is determined to be "neutral”. In this case, the return video playback possibility determination unit 115 determines whether the record group r stored in the record group storage area 1324 of the temporary storage unit 132 includes both “negative” and “positive” as the emotion type status. (Step S1487).
  • condition (3) of the above prescribed presentation conditions is satisfied, so the loopback video playback possibility determining unit 115 proceeds to step S1483. It is determined that the conditions are met.
  • condition (3) of the presentation conditions specified above is not met, and so the wraparound video playback determination unit 115 proceeds to step S1484 and determines that the condition is not met.
  • the loopback video playback possibility determination unit 115 determines whether or not it is determined that the conditions are satisfied in the presentation condition determination process of step S148 as described above (step S149). If it is determined that the condition is not satisfied, the loopback video playback possibility determining unit 115 skips the following process and ends the loopback video playback capability determination process.
  • the loopback video playback possibility determining unit 115 proceeds to step S145 and outputs the video V signal 2 acquired from the loopback media receiving unit 114 to the loopback video presentation device 103.
  • the return video presentation device 103 reproduces and displays the video based on the video V signal2 that is returned from the base R to the base O.
  • FIG. 16 is a flowchart illustrating the processing procedure and processing contents of the return audio playback capability determination process of the server 1 at the base O according to the first embodiment.
  • FIG. 16 shows a typical example of the process of step S15 of the server 1.
  • the return audio playback possibility determining unit 116 acquires the audio A signal2 and the time T media from the return media receiving unit 114 (step S151).
  • the return audio playback possibility determination unit 116 obtains the current time T n as the reception time t 2 from the reference system clock managed by the time management unit 111 (step S152).
  • the return audio reproduction possibility determination unit 116 calculates the delay time between the base O and the base R, which is the return source of the acquired audio A signal2 (step S153).
  • the return audio playback possibility determination unit 116 determines whether the calculated delay time is equal to or greater than a prescribed delay time value (step S154). This specified delay time value is set to a time at which the audience will not be bothered even if there is a time lag in the return audio from base R.
  • the loopback audio playback possibility determining unit 116 transmits the audio A signal 2 acquired from the loopback media receiving unit 114 to the loopback audio presentation device 104.
  • Output step S155.
  • the return audio presentation device 104 reproduces and outputs audio based on the audio A signal2 that is returned from the base R to the base O.
  • step S154 determines whether the calculated delay time is equal to or greater than the prescribed delay time value. If it is determined in step S154 that the calculated delay time is equal to or greater than the prescribed delay time value, the return audio playback possibility determination unit 116 determines the excitement status of base R based on the acquired audio A signal2 . Determination is made (step S156).
  • the return audio playback possibility determining unit 116 acquires a record group r from the record in which the time matching the time T media or the closest time in the past than the time T media is stored to the most recently stored record from the status management DB 131. (Step S157).
  • the return audio playback possibility determination unit 116 executes a presentation condition determination process to determine whether or not a prescribed presentation condition is satisfied (step S158). This process is similar to the presentation condition determination process in step S148.
  • the return audio reproduction possibility determining unit 116 determines whether or not it is determined that the condition is satisfied in the presentation condition determination process of step S158 (step S159). If it is determined that the condition is not satisfied, the return audio reproduction possibility determining unit 116 skips the following process and ends the return audio reproduction permission determination process.
  • the loopback audio playback possibility determining unit 116 proceeds to step S155 and outputs the audio A signal 2 acquired from the loopback media receiving unit 114 to the loopback audio presentation device 104.
  • the return audio presentation device 104 reproduces and outputs audio based on the audio A signal2 that is returned from the base R to the base O.
  • the server 1 among the plurality of video V signal2 and audio A signal2 from the plurality of bases R, for the video V signal2 and audio A signal2 from the base with a large delay, It is determined whether or not the reproduction is possible, and only the video V signal 2 and the audio A signal 2 that can be reproduced are reproduced.
  • the server 1 acquires the excitement of the audience at base O, which is acquired based on the video V signal1 and audio A signal1 that show the situation at base O, and the excitement status of the audience at base O, which is acquired based on the video V signal2 and audio A signal2 from each base R. Then, only the video V signal 2 and audio A signal 2 that do not give a sense of discomfort to viewers such as performers (athletes) and spectators at base O are reproduced.
  • the server 1 can prevent the playback time from shifting due to the delay. By doing so, it is possible to reduce the sense of discomfort that viewers at base O may feel due to being presented with an exciting situation that is different from the excitement of viewers at base O, which is the event venue.
  • the server 1 plays back only the video/audio that is suitable for enhancing the sense of unity from among the multiple video/audio feedback, thereby creating a sense of unity among the viewers at the event venue, and further improving the sense of unity between those viewers and those who are remote. It can enhance the sense of unity with the local audience. Therefore, it is possible to reduce the sense of discomfort felt by viewers at the event venue when a plurality of video/audio (media) transmitted from a plurality of bases at different times is played back.
  • FIG. 17 is a block diagram showing an example of the software configuration of each electronic device configuring the media playback control system S according to the second embodiment.
  • the server 1 at the base O includes a loopback media playback capability determining section 117 in place of the loopback video playback capability determining section 115 and the loopback audio playback capability determining section 116 in the first embodiment.
  • the return media playback possibility determination unit 117 determines whether or not to reproduce the video V signal 2 and the audio A signal 2 from each of the bases R 1 to R n acquired by the return media playback possibility determination unit 117.
  • base O and base R1 The operations of base O and base R1 will be explained below as an example.
  • the operations of bases R 2 to R n may be the same as the operations of base R 1 , and the explanation thereof will be omitted.
  • the notation of base R 1 may be read as base R 2 to base R n .
  • FIG. 18 is a flowchart showing the processing procedure and processing contents of the server 1 at the base O according to the second embodiment.
  • the server 1 repeatedly executes the process shown in this flowchart while performing real-time transmission of the event venue.
  • the status determination unit 112 executes the status determination process of determining the popularity of the base O from the video V signal1 and the audio A signal1 (step S11). Then, the media transmitting unit 113 executes a media transmitting process of transmitting the RTP packet storing the video V signal1 and the audio A signal1 to the servers 2 of each of bases R 1 to R n via the IP network NW (step S12).
  • step S11 in parallel with the status determination process in step S11 and the media transmission process in step S12, the following process is executed in the second embodiment.
  • the return media receiving unit 114 executes return media reception processing (step S13).
  • the processing procedure and contents of this return media reception process are slightly different from those of the first embodiment. A typical example of this return media reception process will be described later.
  • the loopback media playback possibility determination unit 117 performs loopback media playback capability determination processing for determining whether or not to reproduce the video V signal 2 and the audio A signal 2 received by the loopback media reception unit 114 from each of the bases R 1 to R n . (Step S16). A typical example of this loopback media playback determination process will be described later.
  • FIG. 19 is a flowchart showing the processing procedure and processing contents of the return media reception process of the server 1 at the base O according to the second embodiment.
  • FIG. 19 shows a typical example of the process of step S13 of the server 1.
  • the return media receiving unit 114 receives the video V signal2 and the audio A signal2 transmitted from the return media transmitting units 214 of each of bases R 1 to R n via the IP network NW.
  • the RTP packet storing the information is received (step S131).
  • the return media receiving unit 114 acquires the time T media stored in the header extension area of the RTP packet storing the received video V signal2 and audio A signal2 (step S132). ).
  • the return media receiving unit 114 acquires the video V signal2 and audio A signal2 stored in the RTP packet that stores the received video V signal2 and audio A signal2 (step S137).
  • the loopback media receiving unit 114 passes the acquired video V signal2 , audio A signal2 , and time T media to the loopback media playback possibility determining unit 117 (step S138).
  • FIG. 20 is a flowchart illustrating the processing procedure and processing contents of the return media playback capability determination process of the server 1 at the base O according to the second embodiment.
  • FIG. 20 shows a typical example of the process of step S16 of the server 1.
  • the return media playback possibility determining unit 117 acquires the video V signal2 , the audio A signal2 , and the time T media from the return media receiving unit 114 (step S161).
  • the return media playback possibility determination unit 117 obtains the current time T n as the reception time t 2 from the reference system clock managed by the time management unit 111 (step S162).
  • the return media playback possibility determining unit 117 calculates the delay time between the base O and the base R, which is the return source of the acquired video V signal2 and audio A signal2 (step S163).
  • the return media playback possibility determining unit 117 determines whether the calculated delay time is equal to or greater than a prescribed delay time value (step S164).
  • This prescribed delay time value is set to a time that will not bother the audience even if there is a time lag in the video and audio returned from base R.
  • the return media playback possibility determining unit 117 transmits the video V signal 2 acquired from the return media receiving unit 114 to the return video presentation device 103.
  • the audio A signal2 acquired from the return media receiving unit 114 is output to the return audio presentation device 104 (step S166).
  • the return video presentation device 103 reproduces and displays the video based on the video V signal 2 that is transmitted back from the base R to the base O, and the return audio presentation device 104 plays back and displays the video that is transmitted back from the base R to the base O.
  • the audio based on the audio A signal2 is played back and output.
  • the return media playback possibility determining unit 117 determines the excitement status of the base R based on the acquired video V signal2 and audio A signal2 (step S167 ).
  • the return media playback possibility determining unit 117 retrieves a record group r from the status management DB 131 from the record in which the time matching the acquired time T media or the closest time in the past than the time T media is stored to the most recently stored record. Acquire (step S168).
  • the loopback media playback determination unit 117 executes a presentation condition determination process to determine whether or not the specified presentation conditions are met (step S169). This process is similar to the presentation condition determination process of step S148 in the first embodiment.
  • the return media playback possibility determination unit 117 determines whether it is determined that the condition is satisfied in the presentation condition determination process (step S1610). If it is determined that the condition is not satisfied, the loopback media playback capability determining unit 117 skips the following process and ends the loopback video playback capability determination process.
  • the return media playback possibility determination unit 117 proceeds to the processing of steps S165 and S166, and outputs the video V signal2 acquired from the return media reception unit 114 to the return video presentation device 103. , outputs the audio A signal2 acquired from the feedback media receiving unit 114 to the feedback audio presentation device 104.
  • the return video presentation device 103 reproduces and displays the video based on the video V signal 2 transmitted back from the base R to the base O
  • the return audio presentation device 104 reproduces and displays the video based on the video V signal2 transmitted back from the base R to the base O.
  • a Play and output audio based on signal2 .
  • a single loopback media playback capability decision is made. The determination can be made together in section 117.
  • the second embodiment can also achieve the same effects as the first embodiment.
  • the video V signal 2 and the audio A signal 2 are used to determine whether or not they can be reproduced.
  • the determination result may be used to determine whether or not it is possible. In other words, whether or not playback is possible may be determined based on only one of the video V signal2 and the audio A signal2 .
  • step S146 and the processing in step S147 in the first embodiment may be performed in the reverse order, or may be performed simultaneously. In this way, the order of some steps may be changed, or some steps may be performed simultaneously. Furthermore, the processing contents of some steps may be modified.
  • the media playback control device may be realized by one device as explained in the above example, or may be realized by multiple devices with distributed functions.
  • the program may be transferred while being stored in the electronic device, or may be transferred without being stored in the electronic device. In the latter case, the program may be transferred via a network or may be transferred while being recorded on a recording medium.
  • a recording medium is a non-transitory tangible medium.
  • the recording medium is a computer readable medium.
  • the recording medium may be any medium capable of storing a program and readable by a computer, such as a CD-ROM or a memory card, and its form is not limited.
  • the present invention is not limited to the above-described embodiments as they are, but can be embodied by modifying the constituent elements at the implementation stage without departing from the spirit of the invention.
  • various inventions can be formed by appropriately combining the plurality of components disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiments. Furthermore, components from different embodiments may be combined as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一実施形態では、メディア再生制御装置は、メディア提示装置を備える第１の拠点の装置であって、受信部と、再生可否判定部と、を備える。受信部は、第１の拠点で第１の時刻に取得された第１のメディアを、第１の拠点とは異なる第２の拠点で再生する時刻に第２の拠点で取得された第２のメディアを格納したパケットを受信する。再生可否判定部は、第２の拠点からのパケットに基づく第２のメディアをメディア提示装置で提示するか否かを、第１の時刻から現在時刻までの間の第１の拠点に居る観客の盛り上がり度である第１の盛り上がり度と、第２のメディアに基づく第２の拠点に居る観客の盛り上がり度である第２の盛り上がり度と、に基づいて判定する。

Description

メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム
　この発明の一態様は、メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラムに関する。
　近年、或る地点で撮影・収録された映像・音声をデジタル化して、ＩＰ（Internet Protocol）ネットワーク等の通信回線を介して遠隔地にリアルタイム伝送し、遠隔地で映像・音声を再生する、映像・音声再生装置が用いられるようになってきた。例えば、競技会場で行われているスポーツ競技試合の映像・音声やコンサート会場で行われている音楽コンサートの映像・音声を遠隔地にリアルタイム伝送するパブリックビューイング等が盛んに行われている。
　このような映像・音声の伝送は、１対１の一方向伝送に留まらず、双方向伝送も行われている。この双方向伝送では、例えば、スポーツ競技試合が行われている会場（以下、イベント会場と称する）である第１の拠点から映像・音声を遠隔地の複数の第２の拠点に伝送し、各第２の拠点において大型映像表示装置やスピーカから出力する。そして、それら複数の遠隔地でもそれぞれ観客がイベントを楽しんでいる映像や歓声等の音声を撮影・収録して、それらの映像・音声を折り返し映像・音声として、イベント会場である第１の拠点に伝送し、第１の拠点においてそれらを集約して、大型映像表示装置やスピーカから出力する。このような双方向での映像・音声の伝送により、イベント会場に居る選手（または演者）や観客、複数の遠隔地に居る視聴者らは、物理的に離れた場所に居るにも関わらず、あたかも同じ空間（イベント会場）に居て、同じ体験をしているかのような臨場感や一体感を得ることができる。
　ＩＰネットワークによる映像・音声のリアルタイム伝送では、ＲＴＰ（Real-time Transport Protocol）が用いられることが多い。２拠点間でのデータ伝送時間は、その２拠点をつなぐ通信回線等のネットワーク環境により異なる。例えば、イベント会場Ａで時刻Ｔに撮影・収録された映像・音声を２つの遠隔地Ｂ及び遠隔地Ｃに伝送し、遠隔地Ｂ及び遠隔地Ｃでそれぞれ撮影・収録された映像・音声をイベント会場Ａに折り返し伝送する場合を考える。遠隔地Ｂにおいてイベント会場Ａから伝送された、時刻Ｔに撮影・収録された映像・音声は、時刻Ｔb1に再生され、遠隔地Ｂで時刻Ｔb1に撮影・収録された映像・音声は、イベント会場Ａに折り返し伝送され、イベント会場Ａで時刻Ｔb2に再生される。また、遠隔地Ｃにおいては、イベント会場Ａで時刻Ｔに撮影・収録され伝送された映像・音声は、時刻Ｔc1（≠Ｔb1）に再生され、遠隔地Ｃで時刻Ｔc1に撮影・収録された映像・音声は、イベント会場Ａに折り返し伝送され、イベント会場Ａで時刻Ｔc2（≠Ｔb2）に再生される。
　このような通信遅延が有る場合、イベント会場Ａに居る選手（または演者）や観客にとっては、時刻Ｔに自分自身が体験した出来事に対して、複数の遠隔地に居る視聴者がどのような反応をしたかを示す折り返し映像を、それぞれ異なる時刻（時刻Ｔb2と時刻Ｔc2）で視聴することになる。例えば、遠隔地Ｂから送られてきた映像に写った人物は大きく喜んでおり、遠隔地Ｃから送られてきた映像に写った人物は無表情であるような場合が発生する。よって、それらをイベント会場Ａで同時に表示させると、情動や盛り上がりは共起し辛く、一体感は生まれ難い。このように、各遠隔地から異なる遅延時間で折り返される映像・音声をイベント会場で再生すると、遅延時間が異なることに起因する違和感や、感情や情動の不一致により、一体感を阻害させてしまうことが有る。
　また、それらが表示されたときのイベント会場の観客自身の情動や盛り上がり具合によっても、一体感が生まれるかは左右される。
　例えば、非特許文献１に開示されているように、遠隔地から折り返された映像中の人間の感情を推定したり、非特許文献２に開示されているような、映像だけでなくて音響情報やテキスト情報から人間の感情を推定したりすることで、イベント会場の雰囲気や状況（観客の感情）と一致する折り返し映像・音声のみを再生するように制御することが考えられる。
坂本博康，坂田年男，井上光平，浦濱喜一，「顔画像解析による人間の快・不快の計測手法」，情報処理学会研究報告，２００６（９３），２００６年９月，ｐ．１３５－１４２ 岡田敦志，上村譲史，目良和也，黒澤義明，竹澤寿幸，「表情・音響情報・テキスト情報からのリアルタイム感情推定システム」，人工知能学会全国大会論文集，２０１７年５月，ＪＳＡＩ２０１７（０），１Ｂ１ＯＳ２５ａ４－１Ｂ１ＯＳ２５ａ４
　しかしながら、折り返し映像・音声には伝送遅延が存在するため、同じ時刻における折り返し映像・音声の感情推定結果とイベント会場の観客の感情推定結果とを比較するだけでは、感情が生じた（変化した）理由が異なる場合が有る。例えば、折り返し映像・音声は演者Ａに対して喜んだのに対して、イベント会場の観客は演者Ｂに対して喜んでいるということが起こり得る。そのような状況において、喜んでいる人物が映っている折り返し映像・音声をイベント会場で再生するのは、一体感を高めるのに相応しくない。
　イベント会場にいる演者（選手）や観客等の視聴者と遠隔地の観客との一体感を高めるためには、遅延時間を考慮して、再生時におけるイベント会場の雰囲気や状況に相応しい折り返し映像・音声を出力する必要が有る。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、複数の拠点から異なる時刻に伝送される複数の映像・音声が再生されるときに、イベント会場の視聴者が感じる違和感を低減させる技術を提供することにある。
　この発明の一実施形態では、メディア再生制御装置は、メディア提示装置を備える第１の拠点の装置であって、受信部と、再生可否判定部と、を備える。受信部は、第１の拠点で第１の時刻に取得された第１のメディアを、第１の拠点とは異なる第２の拠点で再生する時刻に第２の拠点で取得された第２のメディアを格納したパケットを受信する。再生可否判定部は、第２の拠点からのパケットに基づく第２のメディアをメディア提示装置で提示するか否かを、第１の時刻から現在時刻までの間の第１の拠点に居る観客の盛り上がり度である第１の盛り上がり度と、第２のメディアに基づく第２の拠点に居る観客の盛り上がり度である第２の盛り上がり度と、に基づいて判定する。
　この発明の一態様によれば、複数の拠点から異なる時刻に伝送される複数の映像・音声（メディア）が再生されるときに、イベント会場の視聴者が感じる違和感を低減させることができる。
図１は、第１の実施形態に係るメディア再生制御システムに含まれる各電子機器のハードウェア構成の一例を示すブロック図である。 図２は、第１の実施形態に係るメディア再生制御システムを構成する各電子機器のソフトウェア構成の一例を示すブロック図である。 図３は、第１の実施形態に係る拠点Ｏのサーバが備えるステータス管理ＤＢのデータ構造の一例を示す図である。 図４は、第１の実施形態に係る拠点Ｒ1のサーバが備えるメディア時刻管理ＤＢのデータ構造の一例を示す図である。 図５は、第１の実施形態に係る拠点Ｏにおけるサーバの処理手順と処理内容を示すフローチャートである。 図６は、第１の実施形態に係る拠点Ｒ1におけるサーバの処理手順と処理内容を示すフローチャートである。 図７は、第１の実施形態に係る拠点Ｏにおけるサーバのステータス送信処理の処理手順と処理内容を示すフローチャートである。 図８は、第１の実施形態に係る拠点Ｏにおけるサーバのメディア送信処理の処理手順と処理内容を示すフローチャートである。 図９は、第１の実施形態に係る拠点Ｒ1におけるサーバのメディア受信処理の処理手順と処理内容を示すフローチャートである。 図１０は、第１の実施形態に係る拠点Ｒ1におけるサーバの映像オフセット算出処理の処理手順と処理内容を示すフローチャートである。 図１１は、第１の実施形態に係る拠点Ｒ1におけるサーバの折り返しメディア送信処理の処理手順と処理内容を示すフローチャートである。 図１２は、第１の実施形態に係る拠点Ｏにおけるサーバの折り返しメディア受信処理の処理手順と処理内容を示すフローチャートである。 図１３は、第１の実施形態に係る拠点Ｏにおけるサーバの折り返し映像再生可否判定処理の処理手順と処理内容を示すフローチャートである。 図１４は、第１の実施形態に係る拠点Ｏにおけるサーバの一時記憶部における記憶内容を説明するための模式図である。 図１５は、図１３中の提示条件判定処理の処理手順と処理内容を示すフローチャートである。 図１６は、第１の実施形態に係る拠点Ｏにおけるサーバの折り返し音声再生可否判定処理の処理手順と処理内容を示すフローチャートである。 図１７は、第２の実施形態に係るメディア再生制御システムを構成する各電子機器のソフトウェア構成の一例を示すブロック図である。 図１８は、第２の実施形態に係る拠点Ｏにおけるサーバの処理手順と処理内容を示すフローチャートである。 図１９は、第２の実施形態に係る拠点Ｏにおけるサーバの折り返しメディア受信処理の処理手順と処理内容を示すフローチャートである。 図２０は、第２の実施形態に係る拠点Ｏにおけるサーバの折り返しメディア再生可否判定処理の処理手順と処理内容を示すフローチャートである。
　以下、図面を参照して、この発明に係る幾つかの実施形態を説明する。
　競技会場又はコンサート会場等のイベント会場となる拠点Ｏにおいて映像・音声が撮影・収録された絶対時刻に対して一意に定まる時刻情報は、複数の遠隔地の拠点Ｒ1～拠点Ｒn（ｎは２以上の整数）に伝送する映像・音声に付与される。拠点Ｒ1～拠点Ｒnのそれぞれにおいて、当該時刻情報を持つ映像・音声が再生された時刻に撮影された映像は、当該時刻情報と対応付けられる。拠点Ｏにおいて、拠点Ｒ1～拠点Ｒnのそれぞれから伝送される映像を再生するとき、当該時刻情報に基づいてその再生の可否が判定され、再生可と判定された映像だけを再生させる。
　時刻情報は、拠点Ｏと拠点Ｒ1～拠点Ｒnのそれぞれとの間で以下の何れかの手段により送受信される。時刻情報は、拠点Ｒ1～拠点Ｒnのそれぞれで撮影された映像と対応付けられる。
　（１）時刻情報は、拠点Ｏと拠点Ｒ1～拠点Ｒnのそれぞれとの間で送受信するＲＴＰパケットのヘッダ拡張領域に格納される。例えば、時刻情報は、絶対時刻形式（hh:mm:ss.fff形式）であるが、ミリ秒形式であっても良い。
　（２）時刻情報は、拠点Ｏと拠点Ｒ1～拠点Ｒnのそれぞれとの間で一定の間隔で送受信されるＲＴＣＰ（RTP Control Protocol）におけるＡＰＰ（Application-Defined）を用いて記述される。この例では、時刻情報は、ミリ秒形式である。
　（３）時刻情報は、伝送開始時に拠点Ｏと拠点Ｒ1～拠点Ｒnのそれぞれとの間でやり取りさせる初期値パラメータを記述するＳＤＰ（Session Description Protocol）に格納される。この例では、時刻情報は、ミリ秒形式である。
　［第１の実施形態］
　第１の実施形態では、拠点Ｏにおいて撮影・収録された映像及び音声は、１つのＲＴＰパケットにどちらも格納されて遠隔地の拠点Ｒ1～拠点Ｒnに送信され、同様に、拠点Ｒ1～拠点Ｒnから拠点Ｏへ折り返し伝送される映像及び音声についても、ＲＴＰパケット化して送信されるとして説明する。勿論、映像と音声は、それぞれＲＴＰパケット化して送信されても良い。映像及び音声は、メディアの一例である。
　また、拠点Ｏにおいて拠点Ｒ1～拠点Ｒnから折り返し伝送される映像・音声の再生可否を決定するために用いる時刻情報は、拠点Ｏと拠点Ｒ1～拠点Ｒnのそれぞれとの間で送受信するＲＴＰパケットのヘッダ拡張領域に格納される。例えば、時刻情報は、絶対時刻形式（hh:mm:ss.fff形式）である。
　（構成例）
　図１は、第１の実施形態に係るメディア再生制御システムＳに含まれる各電子機器のハードウェア構成の一例を示すブロック図である。
　メディア再生制御システムＳは、拠点Ｏに含まれる複数の電子機器、拠点Ｒ1～拠点Ｒnのそれぞれに含まれる複数の電子機器及び時刻配信サーバ１０を含む。各拠点の電子機器及び時刻配信サーバ１０は、ＩＰネットワークＮＷを介して互いに通信可能である。
　拠点Ｏは、サーバ１、映像撮影装置１０１、音声収録装置１０２、折り返し映像提示装置１０３及び折り返し音声提示装置１０４を備える。拠点Ｏは、第１の拠点の一例である。
　サーバ１は、拠点Ｏに含まれる各電子機器を制御する電子機器である。サーバ１は、メディア再生制御装置の一例である。
　映像撮影装置１０１は、拠点Ｏの映像を撮影するカメラを含む装置である。映像撮影装置１０１は、複数のカメラを含んでいても良い。
　音声収録装置１０２は、拠点Ｏの音声を収録するマイクを含む装置である。音声収録装置１０２は、複数のマイクを含んでいても良い。
　折り返し映像提示装置１０３は、拠点Ｒ1～拠点Ｒnのそれぞれから拠点Ｏに折り返し伝送される映像が配列された映像を再生して表示する大型ディスプレイを含む装置である。例えば、ディスプレイは、液晶ディスプレイである。折り返し映像提示装置１０３は、映像提示装置の一例である。折り返し映像提示装置１０３は、例えば、コンサートでは、演奏者や歌唱者等の演者が立つステージの演者背面に設置されることができる。また、競技会場においては、競技者である選手とは離れた位置に折り返し映像提示装置１０３が設置される場合が多い。
　折り返し音声提示装置１０４は、拠点Ｒ1～拠点Ｒnのそれぞれから拠点Ｏに伝送される音声を混合した音声を再生して出力するスピーカを含む装置である。
　拠点Ｏのサーバ１の構成例について説明する。
　サーバ１は、制御部１１、プログラム記憶部１２、データ記憶部１３、通信インタフェース１４及び入出力インタフェース１５を備える。サーバ１が備える各要素は、バスを介して、互いに接続されている。
　制御部１１は、サーバ１の中枢部分に相当する。制御部１１は、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のプロセッサを備える。プロセッサは、マルチコア／マルチスレッドのものであって良く、複数の処理を並行して実行することができる。制御部１１は、不揮発性のメモリ領域としてＲＯＭ（Read Only Memory）を備える。制御部１１は、揮発性のメモリ領域としてＲＡＭ（Random Access Memory）を備える。プロセッサは、ＲＯＭ又はプログラム記憶部１２に記憶されているプログラムをＲＡＭに展開する。プロセッサがＲＡＭに展開されるプログラムを実行することで、制御部１１は、後述する各機能部を実現する。制御部１１は、コンピュータを構成する。
　プログラム記憶部１２は、記憶媒体としてＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の随時書込み及び読出しが可能な不揮発性メモリで構成される。プログラム記憶部１２は、各種制御処理を実行するために必要なプログラムを記憶する。例えば、プログラム記憶部１２は、制御部１１に実現される後述する各機能部による処理をサーバ１に実行させるプログラムを記憶する。プログラム記憶部１２は、ストレージの一例である。
　データ記憶部１３は、記憶媒体としてＨＤＤ、又はＳＳＤ等の随時書込み及び読出しが可能な不揮発性メモリで構成される。データ記憶部１３は、ストレージ又は記憶部の一例である。
　通信インタフェース１４は、ＩＰネットワークＮＷにより定義される通信プロトコルを使用して、サーバ１を他の電子機器と通信可能に接続する種々のインタフェースを含む。
　入出力インタフェース１５は、サーバ１と映像撮影装置１０１、音声収録装置１０２、折り返し映像提示装置１０３及び折り返し音声提示装置１０４のそれぞれとの通信を可能にするインタフェースである。入出力インタフェース１５は、有線通信のインタフェースを備えていても良いし、無線通信のインタフェースを備えていても良い。
　なお、サーバ１のハードウェア構成は、上述の構成に限定されるものではない。サーバ１は、適宜、上述の構成要素の省略、及び変更並びに新たな構成要素の追加を可能とする。
　拠点Ｒ1は、サーバ２、映像提示装置２０１、音声提示装置２０２、オフセット映像撮影装置２０３、映像撮影装置２０４及び音声収録装置２０５を備える。拠点Ｒ1は、第１の拠点とは異なる第２の拠点の一例である。
　サーバ２は、拠点Ｒ1に含まれる各電子機器を制御する電子機器である。
　映像提示装置２０１は、拠点Ｏから拠点Ｒ1に伝送される映像を再生して表示するディスプレイを含む装置である。
　音声提示装置２０２は、拠点Ｏから拠点Ｒ1に伝送される音声を再生して出力するスピーカを含む装置である。
　オフセット映像撮影装置２０３は、撮影時刻を記録可能な装置である。オフセット映像撮影装置２０３は、映像提示装置２０１の映像表示領域全体を撮影できるように設置されたカメラを含む装置である。
　映像撮影装置２０４は、拠点Ｒ1の映像を撮影するカメラを含む装置である。例えば、映像撮影装置２０４は、拠点Ｏから拠点Ｒ1に伝送される映像を再生して表示する映像提示装置２０１の設置された拠点Ｒ1で視聴する観客の様子の映像を撮影する。
　音声収録装置２０５は、拠点Ｒ1の音声を収録するマイクを含む装置である。例えば、音声収録装置２０５は、拠点Ｏから拠点Ｒ1に伝送される音声を再生して出力する音声提示装置２０２の設置された拠点Ｒ1の様子の音声を収録する。
　拠点Ｒ1のサーバ２の構成例について説明する。
　サーバ２は、制御部２１、プログラム記憶部２２、データ記憶部２３、通信インタフェース２４及び入出力インタフェース２５を備える。サーバ２が備える各要素は、バスを介して、互いに接続されている。
　制御部２１は、拠点Ｏのサーバ１における制御部１１と同様に構成され得る。プロセッサは、ＲＯＭ、又はプログラム記憶部２２に記憶されているプログラムをＲＡＭに展開する。プロセッサがＲＡＭに展開されるプログラムを実行することで、制御部２１は、後述する各機能部を実現する。制御部２１は、コンピュータを構成する。
　プログラム記憶部２２は、拠点Ｏのサーバ１におけるプログラム記憶部１２と同様に構成され得る。
　データ記憶部２３は、拠点Ｏのサーバ１におけるデータ記憶部１３と同様に構成され得る。
　通信インタフェース２４は、拠点Ｏのサーバ１における通信インタフェース１４と同様に構成され得る。通信インタフェース２４は、サーバ２を他の電子機器と通信可能に接続する種々のインタフェースを含む。
　入出力インタフェース２５は、拠点Ｏのサーバ１における入出力インタフェース１５と同様に構成され得る。入出力インタフェース２５は、サーバ２と映像提示装置２０１、音声提示装置２０２、オフセット映像撮影装置２０３、映像撮影装置２０４及び音声収録装置２０５のそれぞれとの通信を可能にする。
　なお、サーバ２のハードウェア構成は、上述の構成に限定されるものではない。サーバ２は、適宜、上述の構成要素の省略、及び変更並びに新たな構成要素の追加を可能とする。
　拠点Ｒ2～拠点Ｒnのそれぞれに含まれる複数の電子機器のハードウェア構成は、上述の拠点Ｒ1と同様であるので、その説明を省略する。以下、拠点Ｒ1～拠点Ｒnを区別して説明する必要が無い場合には、単に拠点Ｒと記載して説明するものとする。
　時刻配信サーバ１０は、基準システムクロックを管理する電子機器である。基準システムクロックは、絶対時刻である。
　図２は、第１の実施形態に係るメディア再生制御システムＳを構成する各電子機器のソフトウェア構成の一例を示すブロック図である。
　拠点Ｏのサーバ１は、時刻管理部１１１、ステータス判定部１１２、メディア送信部１１３、折り返しメディア受信部１１４、折り返し映像再生可否判定部１１５及び折り返し音声再生可否判定部１１６を備える。各機能部は、制御部１１によるプログラムの実行によって実現される。各機能部は、制御部１１又はプロセッサが備えると言うこともできる。各機能部は、制御部１１又はプロセッサと読み替え可能である。各機能部は、また、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）、等の集積回路を含む、他の多様な形式で実現されても良い。更に、サーバ１は、ステータス管理ＤＢ１３１を備える。ステータス管理ＤＢ１３１は、データ記憶部１３によって実現される。
　時刻管理部１１１は、時刻配信サーバ１０と公知のＮＴＰやＰＴＰ等のプロトコルを用いて時刻同期を行い、基準システムクロックを管理する。時刻管理部１１１は、拠点Ｒ1～拠点Ｒnのそれぞれのサーバ２が管理する基準システムクロックと同一の基準システムクロックを管理する。時刻管理部１１１が管理する基準システムクロックと、サーバ２が管理する基準システムクロックとは、時刻同期している。
　ステータス判定部１１２は、拠点Ｏ（イベント会場）で撮影・収録された映像・音声を映像撮影装置１０１及び音声収録装置１０２から取得し、拠点Ｏの盛り上がり状況を判定する。判定には、非特許文献１及び２に開示されているような公知の感情推定技術や盛り上がり検出技術を用いる。ステータス判定部１１２は、例えば、三感情（neutral（無感情）、positive（喜感情、驚感情）、negative（怒感情、悲感情））の何れかと判定する。判定は一定時間ごとに行うものとし、ステータス判定部１１２は、判定結果が前回の判定結果と異なる場合に、拠点Ｏでの撮影・収録時刻と、判定した感情種別を示すステータス（neutral、positive又はnegative）と、をステータス管理ＤＢ１３１に格納する。ステータス判定部１１２は盛り上がり度判定部の一例である。拠点Ｏの盛り上がり状況は第１の拠点に居る観客の盛り上がり度の一例である。無感情は第１の感情の一例である。喜感情及び驚感情は第２の感情の一例である。怒感情及び悲感情は第３の感情の一例である。
　図３は、第１の実施形態に係る拠点Ｏのサーバ１が備えるステータス管理ＤＢ１３１のデータ構造の一例を示す図である。ステータス管理ＤＢ１３１は、時刻カラムと感情種別カラムとを備える。時刻カラムは、撮影・収録時刻を格納する。感情カラムは、三感情の何れかのステータスを格納する。図３は、１秒ごとに盛り上がり状況を判定した結果、１秒、５秒、８秒で判定結果が変わった場合の例を示している。ステータス管理ＤＢ１３１は、格納部の一例である。
　メディア送信部１１３は、映像撮影装置１０１から出力される映像Ｖsignal1と音声収録装置１０２から出力される音声Ａsignal1とを格納したＲＴＰパケットを、ＩＰネットワークＮＷを介して、拠点Ｒ1～拠点Ｒnのそれぞれのサーバに送信する。メディア送信部１１３は送信部の一例である。映像Ｖsignal1は、拠点Ｏで絶対時刻である時刻Ｔmediaに取得された映像である。映像Ｖsignal1を取得することは、映像撮影装置１０１が映像Ｖsignal1を撮影することを含む。映像Ｖsignal1を取得することは、映像撮影装置１０１が撮影した映像Ｖsignal1をサンプリングすることを含む。音声Ａsignal1は、拠点Ｏで絶対時刻である時刻Ｔmediaに取得された音声である。音声Ａsignal1を取得することは、音声収録装置１０２が音声Ａsignal1を収録することを含む。音声Ａsignal1を取得することは、音声収録装置１０２が収録した音声Ａsignal1をサンプリングすることを含む。
　映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットは、時刻Ｔmediaを付与されている。時刻Ｔmediaは、拠点Ｏで映像Ｖsignal1及び音声Ａsignal1が取得された時刻である。時刻Ｔmediaは、拠点Ｏで折り返し映像・音声の再生可否判定処理するための時刻情報である。映像Ｖsignal1は、第１の映像の一例である。音声Ａsignal1は、第１の音声の一例である。映像Ｖsignal1及び音声Ａsignal1は、第１のメディアの一例である。時刻Ｔmediaは、第１の時刻の一例である。ＲＴＰパケットは、パケットの一例である。
　折り返しメディア受信部１１４は、ＩＰネットワークＮＷを介して、映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットを拠点Ｒ1～拠点Ｒnのそれぞれのサーバ２から受信する。映像Ｖsignal2は、映像Ｖsignal1を拠点Ｒ1～拠点Ｒnの何れかの拠点で再生する時刻にこの拠点で取得された映像である。映像Ｖsignal2を取得することは、該当する拠点Ｒの映像撮影装置２０４が映像Ｖsignal2を撮影することを含む。映像Ｖsignal2を取得することは、映像撮影装置２０４が撮影した映像Ｖsignal2をサンプリングすることを含む。また、音声Ａsignal2は、音声Ａsignal1を拠点Ｒ1～拠点Ｒnの何れかの拠点で再生する時刻にこの拠点で取得された音声である。音声Ａsignal2を取得することは、該当する拠点Ｒの音声収録装置２０５が音声Ａsignal2を収録することを含む。音声Ａsignal2を取得することは、音声収録装置２０５が収録した音声Ａsignal2をサンプリングすることを含む。
　映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットは、時刻Ｔmediaを付与されている。折り返しメディア受信部１１４は、受信したＲＴＰパケットから時刻Ｔmediaと映像Ｖsignal2及び音声Ａsignal2とを取得する。折り返しメディア受信部１１４は、取得した時刻Ｔmediaと映像Ｖsignal2を折り返し映像再生可否判定部１１５に引き渡す。折り返しメディア受信部１１４は、取得した時刻Ｔmediaと音声Ａsignal2を折り返し音声再生可否判定部１１６に引き渡す。映像Ｖsignal2は、第２の映像の一例である。音声Ａsignal2は、第２の音声の一例である。映像Ｖsignal2及び音声Ａsignal2は、第２のメディアの一例である。また、折り返しメディア受信部１１４は、受信部の一例である。
　折り返し映像再生可否判定部１１５は、折り返しメディア受信部１１４から渡された拠点Ｒ1～拠点Ｒnそれぞれの映像Ｖsignal2に基づいて、各拠点Ｒの観客の盛り上がり状況を判定する。判定には、ステータス判定部１１２と同様の公知の感情推定技術や盛り上がり検出技術を用いる。折り返し映像再生可否判定部１１５は、例えば、三感情（neutral（無感情）、positive（喜感情、驚感情）、negative（怒感情、悲感情））の何れかと判定する。拠点Ｒの盛り上がり状況は第２の盛り上がり度の一例である。また、折り返し映像再生可否判定部１１５は、ステータス管理ＤＢ１３１より、時刻Ｔmediaと一致する又は時刻Ｔmediaより過去で最も近い時刻に格納されたレコードから現在時刻直近の時刻に格納されたレコードまでのレコード群ｒを取得する。そして、折り返し映像再生可否判定部１１５は、その取得したレコード群ｒにおける感情種別のステータスと上記判定した拠点Ｒの観客の盛り上がり状況のステータスとに基づいて、当該拠点Ｒからの映像Ｖsignal2を再生するか否か判定する。この判定手法の詳細については、後述する。折り返し映像再生可否判定部１１５は、再生可と判定した映像Ｖsignal2を折り返し映像提示装置１０３に出力する。レコード群ｒにおける感情種別は、第１の盛り上がり度の一例である。
　折り返し音声再生可否判定部１１６は、折り返しメディア受信部１１４から渡された拠点Ｒ1～拠点Ｒnそれぞれの音声Ａsignal2に基づいて、各拠点Ｒの観客の盛り上がり状況を判定する。判定には、ステータス判定部１１２と同様の公知の感情推定技術や盛り上がり検出技術を用いる。折り返し音声再生可否判定部１１６は、例えば、三感情（neutral（無感情）、positive（喜感情、驚感情）、negative（怒感情、悲感情））の何れかと判定する。拠点Ｒの盛り上がり状況は第２の盛り上がり度の一例である。無感情は第１の感情の一例である。喜感情及び驚感情は第２の感情の一例である。怒感情及び悲感情は第３の感情の一例である。折り返し音声再生可否判定部１１６は、また、ステータス管理ＤＢ１３１より、時刻Ｔmediaと一致する又は時刻Ｔmediaより過去で最も近い時刻に格納されたレコードから現在時刻直近の時刻に格納されたレコードまでのレコード群ｒを取得する。そして、折り返し音声再生可否判定部１１６は、その取得したレコード群ｒにおける感情種別のステータスと上記判定した拠点Ｒの観客の盛り上がり状況のステータスとに基づいて、当該拠点Ｒからの音声Ａsignal2を再生するか否か判定する。この判定手法の詳細については、後述する。折り返し音声再生可否判定部１１６は、再生可と判定した音声Ａsignal2を折り返し音声提示装置１０４に出力する。レコード群ｒにおける感情種別は、第１の盛り上がり度の一例である。
　拠点Ｒ1のサーバ２は、時刻管理部２１１、メディア受信部２１２、映像オフセット算出部２１３及び折り返しメディア送信部２１４を備える。各機能部は、制御部２１によるプログラムの実行によって実現される。各機能部は、制御部２１又はプロセッサが備えると言うこともできる。各機能部は、制御部２１又はプロセッサと読み替え可能である。各機能部は、制御部１１又はプロセッサと読み替え可能である。各機能部は、また、ＡＳＩＣ、ＤＳＰ、ＦＰＧＡ、ＧＰＵ、等の集積回路を含む、他の多様な形式で実現されても良い。更に、サーバ２は、メディア時刻管理ＤＢ２３１を備える。メディア時刻管理ＤＢ２３１は、データ記憶部２３によって実現される。
　時刻管理部２１１は、時刻配信サーバ１０と公知のＮＴＰやＰＴＰ等のプロトコルを用いて時刻同期を行い、基準システムクロックを管理する。時刻管理部２１１は、サーバ１が管理する基準システムクロックと同一の基準システムクロックを管理する。時刻管理部２１１が管理する基準システムクロックと、サーバ１が管理する基準システムクロックとは、時刻同期している。
　メディア受信部２１２は、ＩＰネットワークＮＷを介して、時刻Ｔmediaを付与された、映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットをサーバ１から受信する。メディア受信部２１２は、受信したＲＴＰパケットから時刻Ｔmedia、映像Ｖsignal1及び音声Ａsignal1を取得する。メディア受信部２１２は、取得した映像Ｖsignal1を映像提示装置２０１に出力し、取得した音声Ａsignal1を音声提示装置２０２に出力する。また、メディア受信部２１２は、取得した時刻Ｔmedia及び映像Ｖsignal2を映像オフセット算出部２１３に出力する。
　映像オフセット算出部２１３は、映像提示装置２０１で映像Ｖsignal1が再生された絶対時刻である提示時刻ｔ1を算出する。例えば、映像オフセット算出部２１３は、公知の画像処理技術を用いて、オフセット映像撮影装置２０３で撮影した映像の中から、メディア受信部２１２から出力された映像Ｖsignal1を含む映像フレームをオフセット映像撮影装置２０３で撮影した映像の中から抽出する。映像オフセット算出部２１３は、この抽出した映像フレームに付与されている撮影時刻を提示時刻ｔ1として取得する。そして、映像オフセット算出部２１３は、メディア受信部２１２から出力された時刻Ｔmediaとこの取得した提示時刻ｔ1とを関連付けてメディア時刻管理ＤＢ２３１に格納する。
　図４は、第１の実施形態に係る拠点Ｒ1のサーバ２が備えるメディア時刻管理ＤＢ２３１のデータ構造の一例を示す図である。メディア時刻管理ＤＢ２３１は、時刻Ｔmediaと提示時刻ｔ1とを関連付けて格納するデータベースである。メディア時刻管理ＤＢ２３１は、メディア同期基準時刻カラムと提示時刻カラムとを備える。メディア同期基準時刻カラムは、時刻Ｔmediaを格納する。提示時刻カラムは、提示時刻ｔ1を格納する。
　折り返しメディア送信部２１４は、ＩＰネットワークＮＷを介して、映像撮影装置２０４が撮影した映像Ｖsignal2及び音声収録装置２０５が収録した音声Ａsignal2を格納したＲＴＰパケットをサーバ１に送信する。この際、折り返しメディア送信部２１４は、メディア時刻管理ＤＢ２３１から、映像Ｖsignal2が撮影された絶対時刻である時刻ｔと一致する提示時刻ｔ1に関連付けられた時刻Ｔmediaを読み出し、その時刻Ｔmediaを、映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットに付与する。
　なお、拠点Ｒ2～拠点Ｒnの各サーバは、拠点Ｒ1のサーバ２と同様の機能部及びＤＢを含み、拠点Ｒ1のサーバ２と同様の処理を実行する。拠点Ｒ2～拠点Ｒnの各サーバに含まれる機能部の処理フローやＤＢ構造の説明は省略する。
　（動作例）
　以下では、拠点Ｏ及び拠点Ｒ1の動作を例にして説明する。拠点Ｒ2～拠点Ｒnの動作は、拠点Ｒ1の動作と同様であって良く、その説明を省略する。拠点Ｒ1の表記は、拠点Ｒ2～拠点Ｒnと読み替えても良い。
　拠点Ｏにおけるサーバ１の処理について説明する。図５は、第１の実施形態に係る拠点Ｏにおけるサーバ１の処理手順と処理内容を示すフローチャートである。サーバ１は、イベント会場のリアルタイム伝送を実施している間、このフローチャートに示す処理を繰り返し実行する。
　ステータス判定部１１２は、映像Ｖsignal1及び音声Ａsignal1から拠点Ｏの盛り上がり状況を判定するステータス判定処理を実行する（ステップＳ１１）。このステータス判定処理の典型例については後述する。
　メディア送信部１１３は、ＩＰネットワークＮＷを介して、映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットを拠点Ｒ1～拠点Ｒnそれぞれのサーバ２に送信するメディア送信処理を実行する（ステップＳ１２）。このメディア送信処理の典型例については後述する。
　サーバ１では、これらステップＳ１１のステータス判定処理及びステップＳ１２のメディア送信処理と併行して、以下の処理を実行する。
　折り返しメディア受信部１１４は、折り返しメディア受信処理を実行する（ステップＳ１３）。この折り返しメディア受信処理は、ＩＰネットワークＮＷを介して、映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットを拠点Ｒ1～拠点Ｒnそれぞれのサーバ２から受信する処理である。この折り返しメディア受信処理の典型例については後述する。
　折り返し映像再生可否判定部１１５は、折り返しメディア受信部１１４により拠点Ｒ1～拠点Ｒnそれぞれから受信した映像Ｖsignal2を再生する否かを判定する折り返し映像再生可否判定処理を実行する（ステップＳ１４）。この折り返し映像再生可否判定処理の典型例については後述する。
　折り返し音声再生可否判定部１１６は、この折り返し映像再生可否判定処理と併行して、折り返しメディア受信部１１４により拠点Ｒ1～拠点Ｒnそれぞれから受信した音声Ａsignal2を再生する否かを判定する折り返し音声再生可否判定処理を実行する（ステップＳ１５）。この折り返し音声再生可否判定処理の典型例については後述する。
　拠点Ｒ1におけるサーバ２の処理について説明する。図６は、第１の実施形態に係る拠点Ｒ1におけるサーバ２の処理手順と処理内容を示すフローチャートである。サーバ２は、イベント会場での競技会場やコンサートのリアルタイム伝送の実施中、このフローチャートに示す処理を繰り返し実行することができる。
　メディア受信部２１２は、ＩＰネットワークＮＷを介して、映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットをサーバ１から受信するメディア受信処理を実行する（ステップＳ２１）。このメディア受信処理の典型例については後述する。
　映像オフセット算出部２１３は、映像提示装置２０１で映像Ｖsignal1が再生された提示時刻ｔ1を算出する映像オフセット算出処理を実行する（ステップＳ２２）。この映像オフセット算出処理の典型例については後述する。
　折り返しメディア送信部２１４は、ＩＰネットワークＮＷを介して、映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットをサーバ１に送信する折り返しメディア送信処理を実行する（ステップＳ２３）。この折り返しメディア送信処理の典型例については後述する。
　以下では、上述のサーバ１のステップＳ１１～ステップＳ１５の処理及び上述のサーバ２のステップＳ２１～ステップＳ２３の処理のそれぞれの典型例について説明する。時系列に沿った処理順で説明するため、サーバ１のステップＳ１１の処理、サーバ１のステップＳ１２の処理、サーバ２のステップＳ２１の処理、サーバ２のステップＳ２２の処理、サーバ２のステップＳ２３の処理、サーバ１のステップＳ１３の処理、サーバ１のステップＳ１４の処理、サーバ１のステップＳ１５の処理、の順に説明する。
　図７は、第１の実施形態に係る拠点Ｏにおけるサーバ１のステータス判定処理の処理手順と処理内容を示すフローチャートである。図７は、ステップＳ１１の処理の典型例を示す。
　ステータス判定部１１２は、映像撮影装置１０１から出力される映像Ｖsignal1を一定の間隔Ｉstatusで取得する（ステップＳ１１１）。一定の間隔Ｉstatusは、例えば１秒である。
　ステータス判定部１１２は、このステップＳ１１１の処理と併行して、音声収録装置１０２から出力される音声Ａsignal1を一定の間隔Ｉstatusで取得する（ステップＳ１１２）。
　ステータス判定部１１２は、これら取得した映像Ｖsignal1及び音声Ａsignal1に基づいて拠点Ｏの盛り上がり状況を判定する(ステップＳ１１３)。ステータス判定部１１２は、例えば、三感情（neutral（無感情）、positive（喜感情、驚感情）、negative（怒感情、悲感情））の何れかであるか判定する。
　ステータス判定部１１２は、ステータス管理ＤＢ１３１に最終レコードとして格納されている前回の感情種別のステータスと、ステップＳ１１３で判定した感情種別のステータスとを比較し、それらが同じであるか否か判定する（ステップＳ１１４）。ここで、両方の感情種別のステータスが同じであると判定した場合には、ステータス判定部１１２は、以下の処理をスキップして、このステータス判定処理を終了する。
　両方の感情種別のステータスが同じではないと判定した場合には、ステータス判定部１１２は、映像Ｖsignal1及び音声Ａsignal1の撮影・収録時刻を取得する（ステップＳ１１５）。
　ステータス判定部１１２は、この取得した撮影・収録時刻とステップＳ１１３で判定した感情種別のステータスとを、このステータス判定処理における判定結果として、ステータス管理ＤＢ１３１に格納する（ステップＳ１１６）。
　図８は、第１の実施形態に係る拠点Ｏにおけるサーバ１のメデイア送信処理の処理手順と処理内容を示すフローチャートである。図８は、ステップＳ１２の処理の典型例を示す。
　メディア送信部１１３は、映像撮影装置１０１から出力される映像Ｖsignal1を一定の間隔Ｉvideoで取得する（ステップＳ１２１）。
　メディア送信部１１３は、このステップＳ１２１の処理と併行して、音声収録装置１０２から出力される音声Ａsignal1を一定の間隔Ｉvideoで取得する（ステップＳ１２２）。
　メディア送信部１１３は、映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットを生成する（ステップＳ１２３）。ステップＳ１２３では、例えば、メディア送信部１１３は、ステップＳ１２１で取得した映像Ｖsignal1とステップＳ１２２で取得した音声Ａsignal1とをＲＴＰパケットに格納する。メディア送信部１１３は、更に、時刻管理部１１１で管理される基準システムクロックから、映像Ｖsignal1を取得した絶対時刻である時刻Ｔmediaを取得する。メディア送信部１１３は、取得した時刻ＴmediaをＲＴＰパケットのヘッダ拡張領域に格納する。
　メディア送信部１１３は、ステップＳ１２３で生成した映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットをＩＰネットワークＮＷに送出する（ステップＳ１２４）。
　図９は、第１の実施形態に係る拠点Ｒ1におけるサーバ２のメディア受信処理の処理手順と処理内容を示すフローチャートである。図９は、サーバ２のステップＳ２１の処理の典型例を示す。
　メディア受信部２１２は、ＩＰネットワークＮＷを介して、メディア送信部１１３から送出される映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットを受信する（ステップＳ２１１）。
　メディア受信部２１２は、受信した映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットに格納されている映像Ｖsignal1を取得する（ステップＳ２１２）。そして、メディア受信部２１２は、その取得した映像Ｖsignal1を映像提示装置２０１に出力する（ステップＳ２１３）。映像提示装置２０１は、映像Ｖsignal1を再生して表示する。
　メディア受信部２１２は、ステップＳ２１２の処理と併行して、受信した映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットに格納されている音声Ａsignal1を取得する（ステップＳ２１４）。そして、メディア受信部２１２は、その取得した音声Ａsignal1を音声提示装置２０２に出力する（ステップＳ２１５）。音声提示装置２０２は、音声Ａsignal1を再生して出力する。
　メディア受信部２１２は、上記ステップＳ２１１で受信した映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットのヘッダ拡張領域に格納されている時刻Ｔmediaを取得する（ステップＳ２１６）。
　メディア受信部２１２は、その取得した時刻Ｔmediaを、上記ステップＳ２１２で取得した映像Ｖsignal1と共に映像オフセット算出部２１３に受け渡す（ステップＳ２１７）。
　図１０は、第１の実施形態に係る拠点Ｒ1におけるサーバ２の映像オフセット算出処理の処理手順と処理内容を示すフローチャートである。図１０は、サーバ２のステップＳ２２の処理の典型例を示す。
　映像オフセット算出部２１３は、映像Ｖsignal1及び時刻Ｔmediaをメディア受信部２１２から取得する（ステップＳ２２１）。
　映像オフセット算出部２１３は、取得した映像Ｖsignal1及びオフセット映像撮影装置２０３から入力される映像に基づき、提示時刻ｔ1を算出する（ステップＳ２２２）。ステップＳ２２２では、例えば、映像オフセット算出部２１３は、オフセット映像撮影装置２０３で撮影した映像の中から公知の画像処理技術を用いて映像Ｖsignal1を含む映像フレームを抽出する。映像オフセット算出部２１３は、抽出した映像フレームに付与されている撮影時刻を提示時刻ｔ1として取得する。撮影時刻は、絶対時刻である。
　映像オフセット算出部２１３は、取得した時刻Ｔmediaをメディア時刻管理ＤＢ２３１の映像同期基準時刻カラムに格納する（ステップＳ２２３）。
　映像オフセット算出部２１３は、取得した提示時刻ｔ1をメディア時刻管理ＤＢ２３１の提示時刻カラムに格納する（ステップＳ２２４）。
　図１１は、第１の実施形態に係る拠点Ｒ1におけるサーバ２の折り返しメディア送信処理の処理手順と処理内容を示すフローチャートである。図１１は、サーバ２のステップＳ２３の処理の典型例を示す。
　折り返しメディア送信部２１４は、映像撮影装置２０４から出力される映像Ｖsignal2を一定の間隔Ｉmediaで取得する（ステップＳ２３１）。映像Ｖsignal2は、映像提示装置２０１が映像Ｖsignal1を拠点Ｒ1で再生する時刻に拠点Ｒ1で取得された映像である。
　折り返しメディア送信部２１４は、このステップＳ２３１の処理と併行して、音声収録装置２０５から出力される音声Ａsignal2を一定の間隔Ｉmediaで取得する（ステップＳ２３２）。音声Ａsignal2は、映像提示装置２０１が映像Ｖsignal1を拠点Ｒ1で再生する時刻に拠点Ｒ1で取得された音声である。
　折り返しメディア送信部２１４は、取得した映像Ｖsignal2が撮影された絶対時刻である時刻ｔを算出する（ステップＳ２３３）。ステップＳ２３３では、例えば、折り返しメディア送信部２１４は、映像Ｖsignal2に撮影時刻を表すタイムコードＴc（絶対時刻）が付与されている場合、ｔ＝Ｔcとして、時刻ｔを取得する。映像Ｖsignal2にタイムコードＴcが付与されていない場合、折り返しメディア送信部２１４は、時刻管理部２１１で管理される基準システムクロックから、現在時刻Ｔnを取得する。折り返しメディア送信部２１４は、予め決めておいた所定値ｔvideo_offset（正の数）を用いて、ｔ＝Ｔn－ｔvideo_offsetとして、時刻ｔを取得する。
　折り返しメディア送信部２１４は、メディア時刻管理ＤＢ２３１を参照し、取得した時刻ｔと一致する時刻ｔ1を持つレコードを抽出する（ステップＳ２３４）。
　折り返しメディア送信部２１４は、メディア時刻管理ＤＢ２３１を参照し、抽出したレコードの映像同期基準時刻カラムの時刻Ｔmediaを取得する（ステップＳ２３５）。
　折り返しメディア送信部２１４は、映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットを生成する（ステップＳ２３６）。ステップＳ２３６では、例えば、折り返しメディア送信部２１４は、取得した映像Ｖsignal2及び音声Ａsignal2をＲＴＰパケットに格納する。折り返しメディア送信部２１４は、取得した時刻ＴmediaをＲＴＰパケットのヘッダ拡張領域に格納する。
　折り返しメディア送信部２１４は、生成した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットをＩＰネットワークＮＷに送出する（ステップＳ２３７）。
　図１２は、第１の実施形態に係る拠点Ｏにおけるサーバ１の折り返しメディア受信処理の処理手順と処理内容を示すフローチャートである。図１２は、サーバ１のステップＳ１３の処理の典型例を示す。
　折り返しメディア受信部１１４は、ＩＰネットワークＮＷを介して、拠点Ｒ1～拠点Ｒnそれぞれの折り返しメディア送信部２１４から送出される映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットを受信する（ステップＳ１３１）。
　折り返しメディア受信部１１４は、受信した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットのヘッダ拡張領域に格納されている時刻Ｔmediaを取得する（ステップＳ１３２）。
　折り返しメディア受信部１１４は、受信した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットに格納されている映像Ｖsignal2を取得する（ステップＳ１３３）。
　折り返しメディア受信部１１４は、これら取得した映像Ｖsignal2及び時刻Ｔmediaを折り返し映像再生可否判定部１１５に受け渡す（ステップＳ１３４）。
　折り返しメディア受信部１１４は、ステップＳ１３３の処理と併行して、受信した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットに格納されている音声Ａsignal2を取得する（ステップＳ１３５）。
　折り返しメディア受信部１１４は、これら取得した音声Ａsignal2及び時刻Ｔmediaを折り返し音声再生可否判定部１１６に受け渡す（ステップＳ１３６）。
　図１３は、第１の実施形態に係る拠点Ｏにおけるサーバ１の折り返し映像再生可否判定処理の処理手順と処理内容を示すフローチャートである。図１３は、サーバ１のステップＳ１４の処理の典型例を示す。
　折り返し映像再生可否判定部１１５は、折り返しメディア受信部１１４からの映像Ｖsignal2及び時刻Ｔmediaを取得する（ステップＳ１４１）。取得した映像Ｖsignal2及び時刻Ｔmediaは、データ記憶部１３に設けられる一時記憶部に格納される。図１４の例では、時刻Ｔmediaは「9:00:02.000」である。
　図１４は、第１の実施形態に係る拠点Ｏにおけるサーバ１のデータ記憶部１３に設けられる一時記憶部１３２における記憶内容を説明するための模式図である。時刻Ｔmediaは、一時記憶部１３２に設けられる時刻Ｔmedia格納エリア１３２１に格納される。
　折り返し映像再生可否判定部１１５は、時刻管理部１１１で管理される基準システムクロックから、現在時刻Ｔnを、受信時刻ｔ2として取得する（ステップＳ１４２）。取得した受信時刻ｔ2は、一時記憶部１３２に設けられる受信時刻ｔ2格納エリア１３２２に格納される。図１４の例では、現在時刻ｔ2は「9:00:08.000」である。
　折り返し映像再生可否判定部１１５は、拠点Ｏと取得した映像Ｖsignal2の折り返し元である拠点Ｒとの間の遅延時間を算出する（ステップＳ１４３）。例えば、折り返し映像再生可否判定部１１５は、一時記憶部１３２の時刻Ｔmedia格納エリア１３２１に格納されている時刻Ｔmediaと、受信時刻ｔ2格納エリア１３２２に格納されている受信時刻ｔ2との差の値、つまり（ｔ2－Ｔmedia）を、遅延時間として算出する。図１４の例では、「9:00:08.000－9:00:02.000」であるので、遅延時間は「6000（ｍｓ）」となる。この遅延時間は、拠点Ｏと拠点Ｒとの間の往復の伝送遅延時間である。
　折り返し映像再生可否判定部１１５は、算出した遅延時間が規定の遅延時間値以上であるか否か判定する（ステップＳ１４４）。この規定の遅延時間値は、観客が拠点Ｒからの折り返し映像に時間ズレが有っても気にならないような時間に設定されている。
　ここで、算出した遅延時間が規定の遅延時間値未満であると判定した場合には、折り返し映像再生可否判定部１１５は、折り返しメディア受信部１１４から取得した映像Ｖsignal2を折り返し映像提示装置１０３に出力する（ステップＳ１４５）。折り返し映像提示装置１０３は、この拠点Ｒから拠点Ｏに折り返し伝送される映像Ｖsignal2に基づく映像を再生して表示する。このように、遅延時間が小さい場合には、イベント会場である拠点Ｏの視聴者の盛り上がり状況とは異なる盛り上がり状況が提示されてしまう可能性は低いと考えられるので、拠点Ｒから拠点Ｏに折り返し伝送される映像Ｖsignal2に基づく映像が提示される。
　これに対して、ステップＳ１４４において、算出した遅延時間が規定の遅延時間値以上であると判定した場合、折り返し映像再生可否判定部１１５は、取得した映像Ｖsignal2に基づいて拠点Ｒの盛り上がり状況を判定する（ステップＳ１４６）。判定した盛り上がり状況の感情種別のステータスは、一時記憶部１３２の判定種別格納エリア１３２３に格納される。図１４の例では、判定した盛り上がり状況の感情種別のステータスは「positive」である。
　折り返し映像再生可否判定部１１５は、ステータス管理ＤＢ１３１から、一時記憶部１３２の時刻Ｔmedia格納エリア１３２１に格納されている時刻Ｔmediaと一致する、若しくは時刻Ｔmediaより過去で最も近い時刻が格納されたレコードから直近格納されたレコードまでのレコード群ｒを取得する（ステップＳ１４７）。取得したレコード群ｒは、一時記憶部１３２のレコード群格納エリア１３２４に格納される。ステータス管理ＤＢ１３１の記憶内容が図３のようであれば、図１４の例では、時刻Ｔmediaは「9:00:02.000」であるので、この時刻Ｔmediaと一致するレコードは記憶されいないため、時刻Ｔmediaより過去で最も近い時刻である「9:00:01.000」のレコードから直近格納されたレコードまでのレコード群ｒが取得される。直近格納されたレコードは、図３及び図１４の例では、受信時刻ｔ2格納エリア１３２２に格納されている受信時刻ｔ2は「9:00:08.000」であるので、「9:00:08.000」のレコードとなる。よって、図１４に示すように、レコード群格納エリア１３２４には、「9:00:01.000」のレコード、「9:00:05.000」のレコード及び「9:00:08.000」のレコードを含むレコード群ｒが格納される。
　折り返し映像再生可否判定部１１５は、規定の提示条件を満たすか否か判定する提示条件判定処理を実行する（ステップＳ１４８）。規定の提示条件は、
　（１）ステップＳ１４６で判定した盛り上がり状況の感情種別のステータスが「positive」、且つ、ステップＳ１４７で取得したレコード群ｒに「negative」のステータスが含まれない、
　（２）ステップＳ１４６で判定した盛り上がり状況の感情種別のステータスが「negative」、且つ、ステップＳ１４７で取得したレコード群ｒに「positive」のステータスが含まれない
　（３）ステップＳ１４６で判定した盛り上がり状況の感情種別のステータスが「neutral」、且つ、ステップＳ１４７で取得したレコード群ｒに「negative」と「positive」の両方のステータスが含まれない、
の三条件を含む。提示条件判定処理は、この三条件の何れかを満たすか否か判定する処理である。
　図１５は、この提示条件判定処理の処理手順と処理内容を示すフローチャートである。図１５は、サーバ１のステップＳ１４８の処理の典型例を示す。
　折り返し映像再生可否判定部１１５は、一時記憶部１３２の判定種別格納エリア１３２３に格納される拠点Ｒの盛り上がり状況の感情種別のステータスが「positive」であるか否か判定する（ステップＳ１４８１）。
　「positive」であると判定した場合、折り返し映像再生可否判定部１１５は、一時記憶部１３２のレコード群格納エリア１３２４に格納されるレコード群ｒが感情種別のステータスとして「negative」を含むか否か判定する（ステップＳ１４８２）。
　レコード群ｒがステータス「negative」を含まないと判定した場合、上記規定の提示条件の内、条件（１）を満たすので、折り返し映像再生可否判定部１１５は、条件を満たすと判定する（ステップＳ１４８３）。
　これに対して、レコード群ｒがステータス「negative」を含むと判定した場合には、上記規定の提示条件の内、条件（１）を満たさないこととなるので、折り返し映像再生可否判定部１１５は、条件を満たさないと判定する（ステップＳ１４８４）。
　また、ステップＳ１４８１において一時記憶部１３２の判定種別格納エリア１３２３に格納される拠点Ｒの盛り上がり状況の感情種別のステータスが「positive」ではないと判定した場合、折り返し映像再生可否判定部１１５は、それが「negative」であるか否か判定する（ステップＳ１４８５）。
　「negative」であると判定した場合、折り返し映像再生可否判定部１１５は、一時記憶部１３２のレコード群格納エリア１３２４に格納されるレコード群ｒが感情種別のステータスとして「positive」を含むか否か判定する（ステップＳ１４８６）。
　レコード群ｒがステータス「positive」を含まないと判定した場合、上記規定の提示条件の内、条件（２）を満たすので、折り返し映像再生可否判定部１１５は、ステップＳ１４８３に移行して、条件を満たすと判定する。
　これに対して、レコード群ｒがステータス「positive」を含むと判定した場合には、上記規定の提示条件の内、条件（２）を満たさないこととなるので、折り返し映像再生可否判定部１１５は、ステップＳ１４８４に移行して、条件を満たさないと判定する。
　また、ステップＳ１４８５において一時記憶部１３２の判定種別格納エリア１３２３に格納される拠点Ｒの盛り上がり状況の感情種別のステータスが「negative」ではないと判定した場合、折り返し映像再生可否判定部１１５は、それが「neutral」であると判定する。この場合、折り返し映像再生可否判定部１１５は、一時記憶部１３２のレコード群格納エリア１３２４に格納されるレコード群ｒが感情種別のステータスとして「negative」と「positive」の両方を含むか否か判定する（ステップＳ１４８７）。
　レコード群ｒがステータス「negative」と「positive」の両方を含まないと判定した場合、上記規定の提示条件の内、条件（３）を満たすので、折り返し映像再生可否判定部１１５は、ステップＳ１４８３に移行して、条件を満たすと判定する。
　これに対して、レコード群ｒがステータス「negative」と「positive」の両方を含むと判定した場合には、上記規定の提示条件の内、条件（３）を満たさないこととなるので、折り返し映像再生可否判定部１１５は、ステップＳ１４８４に移行して、条件を満たさないと判定する。
　折り返し映像再生可否判定部１１５は、以上のようなステップＳ１４８の提示条件判定処理において条件を満たすと判定されたか否か判定する（ステップＳ１４９）。条件を満たさないと判定した場合には、折り返し映像再生可否判定部１１５は、以下の処理をスキップして、この折り返し映像再生可否判定処理を終了する。
　条件を満たすと判定した場合、折り返し映像再生可否判定部１１５は、ステップＳ１４５の処理に移行して、折り返しメディア受信部１１４から取得した映像Ｖsignal2を折り返し映像提示装置１０３に出力する。折り返し映像提示装置１０３は、この拠点Ｒから拠点Ｏに折り返し伝送される映像Ｖsignal2に基づく映像を再生して表示する。
　図１６は、第１の実施形態に係る拠点Ｏにおけるサーバ１の折り返し音声再生可否判定処理の処理手順と処理内容を示すフローチャートである。図１６は、サーバ１のステップＳ１５の処理の典型例を示す。
　折り返し音声再生可否判定部１１６は、折り返しメディア受信部１１４からの音声Ａsignal2及び時刻Ｔmediaを取得する（ステップＳ１５１）。
　折り返し音声再生可否判定部１１６は、時刻管理部１１１で管理される基準システムクロックから、現在時刻Ｔnを、受信時刻ｔ2として取得する（ステップＳ１５２）。
　折り返し音声再生可否判定部１１６は、拠点Ｏと取得した音声Ａsignal2の折り返し元である拠点Ｒとの間の遅延時間を算出する（ステップＳ１５３）。
　折り返し音声再生可否判定部１１６は、算出した遅延時間が規定の遅延時間値以上であるか否か判定する（ステップＳ１５４）。この規定の遅延時間値は、観客が拠点Ｒからの折り返し音声に時間ズレが有っても気にならないような時間に設定されている。
　ここで、算出した遅延時間が規定の遅延時間値未満であると判定した場合には、折り返し音声再生可否判定部１１６は、折り返しメディア受信部１１４から取得した音声Ａsignal2を折り返し音声提示装置１０４に出力する（ステップＳ１５５）。折り返し音声提示装置１０４は、この拠点Ｒから拠点Ｏに折り返し伝送される音声Ａsignal2に基づく音声を再生して出力する。
　これに対して、ステップＳ１５４において、算出した遅延時間が規定の遅延時間値以上であると判定した場合、折り返し音声再生可否判定部１１６は、取得した音声Ａsignal2に基づいて拠点Ｒの盛り上がり状況を判定する（ステップＳ１５６）。
　折り返し音声再生可否判定部１１６は、ステータス管理ＤＢ１３１から、時刻Ｔmediaと一致する、若しくは時刻Ｔmediaより過去で最も近い時刻が格納されたレコードから直近格納されたレコードまでのレコード群ｒを取得する（ステップＳ１５７）。
　折り返し音声再生可否判定部１１６は、規定の提示条件を満たすか否か判定する提示条件判定処理を実行する（ステップＳ１５８）。この処理は、ステップＳ１４８の提示条件判定処理と同様である。
　折り返し音声再生可否判定部１１６、ステップＳ１５８の提示条件判定処理において条件を満たすと判定されたか否か判定する（ステップＳ１５９）。条件を満たさないと判定した場合には、折り返し音声再生可否判定部１１６は、以下の処理をスキップして、この折り返し音声再生可否判定処理を終了する。
　条件を満たすと判定した場合、折り返し音声再生可否判定部１１６は、ステップＳ１５５の処理に移行して、折り返しメディア受信部１１４から取得した音声Ａsignal2を折り返し音声提示装置１０４に出力する。折り返し音声提示装置１０４は、この拠点Ｒから拠点Ｏに折り返し伝送される音声Ａsignal2に基づく音声を再生して出力する。
　（効果）
　以上述べたように第１の実施形態では、サーバ１は、複数の拠点Ｒからの複数の映像Ｖsignal2及び音声Ａsignal2の内、遅延が大きい拠点からの映像Ｖsignal2及び音声Ａsignal2については、その再生の可否を判定し、再生可の映像Ｖsignal2及び音声Ａsignal2のみを再生する。そのために、サーバ１は、拠点Ｏの様子を示す映像Ｖsignal1及び音声Ａsignal1に基づいて取得した拠点Ｏの観客の盛り上がり状況と、各拠点Ｒからの映像Ｖsignal2及び音声Ａsignal2に基づいて取得した当該拠点Ｒの観客の盛り上がり状況とを比較し、拠点Ｏの演者（選手）及び観客等の視聴者に違和感を与えない映像Ｖsignal2及び音声Ａsignal2のみを再生する。
　このように、サーバ１は、複数の拠点Ｒから異なる時刻に伝送される複数の映像Ｖsignal2及び音声Ａsignal2が再生されるときに、遅延時間が大きい場合には、その遅延により再生時間がズレてしまうことで、イベント会場である拠点Ｏの視聴者の盛り上がり状況とは異なるが盛り上がり状況が提示されてしまうことによる、拠点Ｏの視聴者に違和感を抱かせることを低減させることができる。即ち、サーバ１は、複数の折り返し映像・音声の中から、一体感を高めるのに相応しい折り返し映像・音声だけを再生させることで、イベント会場の視聴者の一体感、更にはそれら視聴者と遠隔地の観客との一体感を高めることができる。よって、複数の拠点から異なる時刻に伝送される複数の映像・音声（メディア）が再生されるときに、イベント会場の視聴者が感じる違和感を低減させることができる。
　［第２の実施形態］
　以下、第１の実施形態と同様の構成及び処理には第１の実施形態と同様の参照符号を付すことでその説明を省略し、第１の実施形態とは異なる部分について説明する。
　（構成例）
　図１７は、第２の実施形態に係るメディア再生制御システムＳを構成する各電子機器のソフトウェア構成の一例を示すブロック図である。拠点Ｏのサーバ１は、第１の実施形態における折り返し映像再生可否判定部１１５及び折り返し音声再生可否判定部１１６に代えて、折り返しメディア再生可否判定部１１７を備える。
　折り返しメディア再生可否判定部１１７は、折り返しメディア再生可否判定部１１７が取得した拠点Ｒ1～Ｒnそれぞれからの映像Ｖsignal2と音声Ａsignal2を再生するか否か判定する。
　（動作例）
　以下では、拠点Ｏ及び拠点Ｒ1の動作を例にして説明する。拠点Ｒ2～拠点Ｒnの動作は、拠点Ｒ1の動作と同様であって良く、その説明を省略する。拠点Ｒ1の表記は、拠点Ｒ2～拠点Ｒnと読み替えても良い。
　拠点Ｏにおけるサーバ１の処理について説明する。図１８は、第２の実施形態に係る拠点Ｏにおけるサーバ１の処理手順と処理内容を示すフローチャートである。サーバ１は、イベント会場のリアルタイム伝送を実施している間、このフローチャートに示す処理を繰り返し実行する。
　第１の実施形態で説明したように、ステータス判定部１１２は、映像Ｖsignal1及び音声Ａsignal1から拠点Ｏの盛り上がり状況を判定するステータス判定処理を実行する（ステップＳ１１）。そして、メディア送信部１１３は、ＩＰネットワークＮＷを介して、映像Ｖsignal1及び音声Ａsignal1を格納したＲＴＰパケットを拠点Ｒ1～拠点Ｒnそれぞれのサーバ２に送信するメディア送信処理を実行する（ステップＳ１２）。
　サーバ１では、これらステップＳ１１のステータス判定処理及びステップＳ１２のメディア送信処理と併行して、第２の実施形態では、以下の処理を実行する。
　折り返しメディア受信部１１４は、折り返しメディア受信処理を実行する（ステップＳ１３）。この折り返しメディア受信処理における処理手順及び処理内容は、第１の実施形態のそれとは少し異なっている。この折り返しメディア受信処理の典型例については後述する。
　そして、折り返しメディア再生可否判定部１１７は、折り返しメディア受信部１１４により拠点Ｒ1～拠点Ｒnそれぞれから受信した映像Ｖsignal2及び音声Ａsignal2を再生するか否かを判定する折り返しメディア再生可否判定処理を実行する（ステップＳ１６）。この折り返しメディア再生可否判定処理の典型例については後述する。
　図１９は、第２の実施形態に係る拠点Ｏにおけるサーバ１の折り返しメディア受信処理の処理手順と処理内容を示すフローチャートである。図１９は、サーバ１のステップＳ１３の処理の典型例を示す。
　折り返しメディア受信部１１４は、第１の実施形態で説明したように、ＩＰネットワークＮＷを介して、拠点Ｒ1～拠点Ｒnそれぞれの折り返しメディア送信部２１４から送出される映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットを受信する（ステップＳ１３１）。
　折り返しメディア受信部１１４は、第１の実施形態で説明したように、受信した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットのヘッダ拡張領域に格納されている時刻Ｔmediaを取得する（ステップＳ１３２）。
　そして第２の実施形態では、折り返しメディア受信部１１４は、受信した映像Ｖsignal2及び音声Ａsignal2を格納したＲＴＰパケットに格納されている映像Ｖsignal2及び音声Ａsignal2を取得する（ステップＳ１３７）。
　折り返しメディア受信部１１４は、これら取得した映像Ｖsignal2及び音声Ａsignal2と時刻Ｔmediaとを、折り返しメディア再生可否判定部１１７に受け渡す（ステップＳ１３８）。
　図２０は、第２の実施形態に係る拠点Ｏにおけるサーバ１の折り返しメディア再生可否判定処理の処理手順と処理内容を示すフローチャートである。図２０は、サーバ１のステップＳ１６の処理の典型例を示す。
　折り返しメディア再生可否判定部１１７は、折り返しメディア受信部１１４からの映像Ｖsignal2及び音声Ａsignal2と時刻Ｔmediaとを取得する（ステップＳ１６１）。
　折り返しメディア再生可否判定部１１７は、時刻管理部１１１で管理される基準システムクロックから、現在時刻Ｔnを、受信時刻ｔ2として取得する（ステップＳ１６２）。
　折り返しメディア再生可否判定部１１７は、拠点Ｏと取得した映像Ｖsignal2及び音声Ａsignal2の折り返し元である拠点Ｒとの間の遅延時間を算出する（ステップＳ１６３）。
　折り返しメディア再生可否判定部１１７は、算出した遅延時間が規定の遅延時間値以上であるか否か判定する（ステップＳ１６４）。この規定の遅延時間値は、観客が拠点Ｒからの折り返し映像・音声に時間ズレが有っても気にならないような時間に設定されている。
　ここで、算出した遅延時間が規定の遅延時間値未満であると判定した場合には、折り返しメディア再生可否判定部１１７は、折り返しメディア受信部１１４から取得した映像Ｖsignal2を折り返し映像提示装置１０３に出力する（ステップＳ１６５）と共に、折り返しメディア受信部１１４から取得した音声Ａsignal2を折り返し音声提示装置１０４に出力する（ステップＳ１６６）。折り返し映像提示装置１０３は、この拠点Ｒから拠点Ｏに折り返し伝送される映像Ｖsignal2に基づく映像を再生して表示し、また、折り返し音声提示装置１０４は、この拠点Ｒから拠点Ｏに折り返し伝送される音声Ａsignal2に基づく音声を再生して出力する。
　算出した遅延時間が規定の遅延時間値以上であると判定した場合、折り返しメディア再生可否判定部１１７は、取得した映像Ｖsignal2及び音声Ａsignal2に基づいて拠点Ｒの盛り上がり状況を判定する（ステップＳ１６７）。
　折り返しメディア再生可否判定部１１７は、ステータス管理ＤＢ１３１から、取得した時刻Ｔmediaと一致する、若しくは時刻Ｔmediaより過去で最も近い時刻が格納されたレコードから直近格納されたレコードまでのレコード群ｒを取得する（ステップＳ１６８）。
　折り返しメディア再生可否判定部１１７は、規定の提示条件を満たすか否か判定する提示条件判定処理を実行する（ステップＳ１６９）。この処理は、第１の実施形態におけるステップＳ１４８の提示条件判定処理と同様である。
　折り返しメディア再生可否判定部１１７は、提示条件判定処理において条件を満たすと判定されたか否か判定する（ステップＳ１６１０）。条件を満たさないと判定した場合には、折り返しメディア再生可否判定部１１７は、以下の処理をスキップして、この折り返し映像再生可否判定処理を終了する。
　条件を満たすと判定した場合、折り返しメディア再生可否判定部１１７は、ステップＳ１６５及びステップＳ１６６の処理に移行して、折り返しメディア受信部１１４から取得した映像Ｖsignal2を折り返し映像提示装置１０３に出力すると共に、折り返しメディア受信部１１４から取得した音声Ａsignal2を折り返し音声提示装置１０４に出力する。折り返し映像提示装置１０３は、この拠点Ｒから拠点Ｏに折り返し伝送される映像Ｖsignal2に基づく映像を再生して表示し、折り返し音声提示装置１０４は、この拠点Ｒから拠点Ｏに折り返し伝送される音声Ａsignal2に基づく音声を再生して出力する。
　以上述べたように、映像Ｖsignal2と音声Ａsignal2の再生可否を別々の折り返し映像再生可否判定部１１５及び折り返し音声再生可否判定部１１６にてに判定するのではなく、一つの折り返しメディア再生可否判定部１１７で一緒に判定することができる。
　よって、第２の実施形態においても第１の実施形態と同様の効果を奏することができる。
　［その他の実施形態］
　遠隔地の各拠点Ｒから映像と音声の両方を折り返すのではなく、一方のメディアだけを折り返すようにしても良い。
　第１及び第２の実施形態では、映像Ｖsignal2と音声Ａsignal2を用いてそれらの再生の可否を判定するものとしているが、一方のメディアについてのみ再生の可否を判定し、他方のメディアの再生可否は、その判定結果を利用するようにしても構わない。即ち、再生可否を映像Ｖsignal2及び音声Ａsignal2の一方のみに基づいて判定するようにしても良い。
　また、フローチャートを参照して説明した各処理の流れは、説明した処理手順に限定されるものではない。例えば、第１の実施形態におけるステップＳ１４６の処理とステップＳ１４７の処理は、逆の順序で行っても良いし、同時に併行して行っても良い。このように、幾つかのステップの順序が入れ替えられても良いし、幾つかのステップが同時併行で実施されても良い。更に、幾つかのステップの処理内容が修正されても良い。
　メディア再生制御装置は、上記の例で説明したように１つの装置で実現されても良いし、機能を分散させた複数の装置で実現されても良い。
　プログラムは、電子機器に記憶された状態で譲渡されて良いし、電子機器に記憶されていない状態で譲渡されても良い。後者の場合は、プログラムは、ネットワークを介して譲渡されて良いし、記録媒体に記録された状態で譲渡されても良い。記録媒体は、非一時的な有形の媒体である。記録媒体は、コンピュータ可読媒体である。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のプログラムを記憶可能かつコンピュータで読取可能な媒体であれば良く、その形態は問わない。
　以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されても良い。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。更に、異なる実施形態に亘る構成要素を適宜組み合せても良い。
　１，２…サーバ
　１０…時刻配信サーバ
　１１，２１…制御部
　１２，２２…プログラム記憶部
　１３，２３…データ記憶部
　１４，２４…通信インタフェース
　１５，２５…入出力インタフェース
　１０１，２０４…映像撮影装置
　１０２，２０５…音声収録装置
　１０３…折り返し映像提示装置
　１０４…折り返し音声提示装置
　１１１，２１１…時刻管理部
　１１２…ステータス判定部
　１１３…メディア送信部
　１１４…折り返しメディア受信部
　１１５…映像再生可否判定部
　１１６…音声再生可否判定部
　１１７…メディア再生可否判定部
　１３１…ステータス管理ＤＢ
　１３２…一時記憶部
　１３２１…時刻Ｔmedia格納エリア
　１３２２…受信時刻ｔ2格納エリア
　１３２３…判定種別格納エリア
　１３２４…レコード群格納エリア
　２０１…映像提示装置
　２０２…音声提示装置
　２０３…オフセット映像撮影装置
　２１２…メディア受信部
　２１３…映像オフセット算出部
　２１４…折り返しメディア送信部
　２３１…メディア時刻管理ＤＢ
　ＮＷ…ＩＰネットワーク
　Ｏ，Ｒ，Ｒ1，Ｒ2，Ｒn…拠点
　Ｓ…メディア再生制御システム

Claims (8)

  1. 　メディア提示装置を備える第１の拠点のメディア再生制御装置であって、
    　前記第１の拠点で第１の時刻に取得された第１のメディアを、前記第１の拠点とは異なる第２の拠点で再生する時刻に前記第２の拠点で取得された第２のメディアを格納したパケットを受信する受信部と、
    　前記第２の拠点からの前記パケットに基づく前記第２のメディアを前記メディア提示装置で提示するか否かを、前記第１の時刻から現在時刻までの間の前記第１の拠点に居る観客の盛り上がり度である第１の盛り上がり度と、前記第２のメディアに基づく前記第２の拠点に居る観客の盛り上がり度である第２の盛り上がり度と、に基づいて判定する再生可否判定部と、
    　を備える、メディア再生制御装置。
  2. 　前記第１のメディアに基づいて、前記第１の拠点に居る前記観客の前記盛り上がり度を判定する盛り上がり度判定部と、
    　前記盛り上がり度判定部が判定した前記盛り上がり度を時系列に格納する格納部と、
    　を更に備え、
    　前記再生可否判定部は、
    　　前記第２のメディアに基づいて前記第２の盛り上がり度を判定し、
    　　前記判定した前記第２の盛り上がり度と、前記格納部に格納された前記第１の時刻から前記現在時刻までの間の前記盛り上がり度である前記第１の盛り上がり度と、に基づいて前記第２のメディアを前記メディア提示装置で提示するか否か判定する、請求項１に記載のメディア再生制御装置。
  3. 　前記盛り上がり度判定部は、
    　　前記盛り上がり度を一定時間ごとに判定し、
    　　前記現在時刻における前記盛り上がり度が前回の判定時の前記盛り上がり度と同じであれば、前記現在時刻における前記盛り上がり度は前記格納部に格納させず、
    　　前記現在時刻における前記盛り上がり度が前回の判定時の前記盛り上がり度から変化したとき、前記現在時刻における前記盛り上がり度を前記現在時刻と関連付けた判定結果を、前記格納部に格納させ、
    　前記再生可否判定部は、前記格納部に格納された複数の判定結果の内、前記受信部が受信した前記パケットに対応する前記第１のメディアの前記第１の時刻と一致する又は前記第１の時刻より過去で最も近い時刻と関連付けられた前記判定結果から、前記現在時刻までの前記判定結果を、前記第１の時刻の判定結果として使用する、請求項２に記載のメディア再生制御装置。
  4. 　前記第１のメディアと前記第１の時刻を含むパケットを前記第２の拠点に送信する送信部を更に備え、
    　前記受信部は、前記第２の拠点から前記第２のメディアと前記第１の時刻を含む前記パケットを受信する、請求項３に記載のメディア再生制御装置。
  5. 　前記再生可否判定部は、
    　　前記現在時刻が、前記受信部が受信した前記パケットに含まれる前記第１の時刻から規定の閾値以上経過しているか否かを判定し、
    　　前記規定の閾値未満であった場合には、前記盛り上がり度による判定を行うこと無く、前記第２のメディアを前記メディア提示装置で提示すると判定する、請求項４に記載のメディア再生制御装置。
  6. 　前記盛り上がり度は、前記観客の感情推定により推定される、無感情である第１の感情、喜感情又は驚感情である第２の感情、怒感情又は悲感情である第３の感情、の三感情の内の何れかを含み、
    　前記再生可否判定部は、
    　　前記第２の盛り上がり度が前記第１の感情を含む場合には、前記第１の盛り上がり度が前記第２及び第３の感情を含まなければ、前記第２のメディアを前記メディア提示装置で提示すると判定し、
    　　前記第２の盛り上がり度が前記第２の感情を含む場合には、前記第１の盛り上がり度が前記第３の感情を含まなければ、前記第２のメディアを前記メディア提示装置で提示すると判定し、
    　　前記第２の盛り上がり度が前記第３の感情を含む場合には、前記第１の盛り上がり度が前記第２の感情を含まなければ、前記第２のメディアを前記メディア提示装置で提示すると判定する、請求項１乃至５の何れかに記載のメディア再生制御装置。
  7. 　メディア提示装置を備える第１の拠点のメディア再生制御装置によるメディア再生制御方法であって、
    　前記第１の拠点で第１の時刻に取得された第１のメディアを、前記第１の拠点とは異なる第２の拠点で再生する時刻に前記第２の拠点で取得された第２のメディアを格納したパケットを受信することと、
    　前記第２の拠点からの前記パケットに基づく前記第２のメディアを前記メディア提示装置で提示するか否かを、前記第１の時刻から現在時刻までの間の前記第１の拠点に居る観客の盛り上がり度である第１の盛り上がり度と、前記第２のメディアに基づく前記第２の拠点に居る観客の盛り上がり度である第２の盛り上がり度と、に基づいて判定することと、
    　を備えるメディア再生制御方法。
  8. 　請求項１のメディア再生制御装置が備える各部による処理をコンピュータに実行させるメディア再生制御プログラム。

     
PCT/JP2022/034206 2022-09-13 2022-09-13 メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム WO2024057399A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034206 WO2024057399A1 (ja) 2022-09-13 2022-09-13 メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/034206 WO2024057399A1 (ja) 2022-09-13 2022-09-13 メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム

Publications (1)

Publication Number Publication Date
WO2024057399A1 true WO2024057399A1 (ja) 2024-03-21

Family

ID=90274492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034206 WO2024057399A1 (ja) 2022-09-13 2022-09-13 メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム

Country Status (1)

Country Link
WO (1) WO2024057399A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214471A1 (en) * 2005-03-23 2007-09-13 Outland Research, L.L.C. System, method and computer program product for providing collective interactive television experiences
WO2021152661A1 (ja) * 2020-01-27 2021-08-05 日本電信電話株式会社 同期制御システム、送信装置、受信装置、同期制御方法、および、同期制御プログラム
JP2021170707A (ja) * 2020-04-14 2021-10-28 眞也 小林 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214471A1 (en) * 2005-03-23 2007-09-13 Outland Research, L.L.C. System, method and computer program product for providing collective interactive television experiences
WO2021152661A1 (ja) * 2020-01-27 2021-08-05 日本電信電話株式会社 同期制御システム、送信装置、受信装置、同期制御方法、および、同期制御プログラム
JP2021170707A (ja) * 2020-04-14 2021-10-28 眞也 小林 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Similar Documents

Publication Publication Date Title
EP3673634B1 (en) Collaborative session over a network
US8301790B2 (en) Synchronization of audio and video signals from remote sources over the internet
US8918541B2 (en) Synchronization of audio and video signals from remote sources over the internet
US20060156375A1 (en) Systems and methods for synchronizing media rendering
WO2017130810A1 (ja) 収録データ処理方法、端末装置および編集装置
CN107018466B (zh) 增强音频记录
JPH10319950A (ja) データ送受信方法およびシステム
JP2005084578A (ja) 演奏システム及び楽音映像再生装置
US11281425B2 (en) Streaming of multi-location live events
JP2006041886A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
CN110856009A (zh) 网络k歌系统、网络k歌的音视频播放方法及相关设备
JP2002091291A (ja) ピアノ教授用データ通信システム
US9264746B2 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
WO2024057399A1 (ja) メディア再生制御装置、メディア再生制御方法及びメディア再生制御プログラム
JP5043711B2 (ja) ビデオ評価装置及び方法
WO2024057398A1 (ja) 提示映像調整装置、提示映像調整方法及び提示映像調整プログラム
WO2021243044A1 (en) Methods and systems for synchronizing multimedia
WO2023281667A1 (ja) メディア加工装置、メディア加工方法及びメディア加工プログラム
WO2023281666A1 (ja) メディア加工装置、メディア加工方法及びメディア加工プログラム
WO2024047816A1 (ja) 映像関連音再生方法、映像関連音再生装置及び映像関連音再生プログラム
WO2024053094A1 (ja) メディア情報強調再生装置、メディア情報強調再生方法、およびメディア情報強調再生プログラム
WO2024047815A1 (ja) 盛り上がり尤度制御方法、盛り上がり尤度制御装置及び盛り上がり尤度制御プログラム
JP2010219733A (ja) 会議記録装置、会議記録方法および会議記録プログラム
WO2024057400A1 (ja) メディア再生制御装置、メディア再生装置、メディア再生方法及びプログラム
WO2023281665A1 (ja) メディア同期制御装置、メディア同期制御方法及びメディア同期制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958733

Country of ref document: EP

Kind code of ref document: A1