WO2019229861A1 - 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム - Google Patents

楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム Download PDF

Info

Publication number
WO2019229861A1
WO2019229861A1 PCT/JP2018/020624 JP2018020624W WO2019229861A1 WO 2019229861 A1 WO2019229861 A1 WO 2019229861A1 JP 2018020624 W JP2018020624 W JP 2018020624W WO 2019229861 A1 WO2019229861 A1 WO 2019229861A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
video
playback
unit
control command
Prior art date
Application number
PCT/JP2018/020624
Other languages
English (en)
French (fr)
Inventor
力 川竹
Original Assignee
株式会社オープンストリーム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オープンストリーム filed Critical 株式会社オープンストリーム
Priority to PCT/JP2018/020624 priority Critical patent/WO2019229861A1/ja
Priority to JP2020522441A priority patent/JP7156646B2/ja
Publication of WO2019229861A1 publication Critical patent/WO2019229861A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • music data to be distributed is stream-distributed to a music playback terminal via a public communication network, and the music is stream-played based on the music data at the music playback terminal, and video provided in the music playback terminal
  • the present invention relates to a music distribution system, a music distribution method, and a music distribution program that display a related video during reproduction of music on a display unit.
  • DJ disc jockey
  • VJ video jockey
  • Patent Document 3 discloses a system that distributes audio and video of a live music on stage to a mobile terminal through the Internet and reflects and displays a user comment input from the mobile terminal on a distribution image in real time. It is disclosed.
  • the VJ plays the video while manually switching and selecting the video according to the music while operating the video equipment.
  • an independent video file that is not clipped with the music file is used.
  • the video file prepared in advance may not exist.
  • the timing for displaying and switching the video according to the music is left to VJ's human judgment, and the synchronization of video and audio is also governed by the VJ's judgment and operation.
  • VJ's judgment and operation For example, DJ and VJ are packed into the same studio, and the program progresses by linking music playback and video playback while communicating with each other on-site, and the video and audio in that studio are broadcast and delivered while ensuring synchronization.
  • the audience can enjoy the best collaboration between music and video.
  • Patent Document 3 distributes a video of a performance scene on a stage taken together with audio, and does not perform clipping of reproduced video and reproduced audio based on data at the time of distribution.
  • the problem of the present invention is that, even when a stream distribution service is provided by adding a video to a song being played by human operation on the spot, synchronization between the played video and the song can be ensured without any problem, and with the video. Is to provide a music distribution system, a music distribution method, and a music distribution program that can be enjoyed without any discomfort.
  • the music distribution system of the present invention is: A music distribution unit that streams music data to be distributed to a public communication network; A music playback terminal including a music playback unit that receives music data via a public communication network, and that plays back a music stream based on the music data; and a video display unit that displays a related video during playback of the music; Provided separately from the music playback terminal, a video operation input unit that accepts video operation input by a video operator monitoring the music being streamed, and video control command information of related video based on the video operation input is sent to the public communication network A video control command unit having a video control command information sending unit to perform, A video control command information acquisition unit for acquiring video control command information via a public communication network, a music playback timing determination unit for determining the playback timing of music during stream distribution when video operation input is executed, and video control A video management unit having a video synchronization control command unit that causes the music playback terminal to execute related video display control based on the command information in synchron
  • the music distribution method of the present invention stream-distributes music data to be distributed to a music playback terminal via a public communication network, and causes the music playback terminal to stream-play music based on the music data.
  • a music distribution method for displaying related video at the time of music playback on the video display unit provided in Accepts video operation input from a video operator monitoring the music being streamed from a video control command unit provided separately from the music playback terminal, and sends video control command information of related video based on the video operation input to the public communication network Send out,
  • the video management unit connected to the public communication network acquires video control command information, grasps the playback timing of the music being streamed when a video operation input is executed, and related video based on the video control command information Display control of the music is performed on the music playback terminal in a manner synchronized with the grasped playback timing.
  • the music distribution program of the present invention stream-distributes music data to be distributed to a music playback terminal via a public communication network, and causes the music playback terminal to stream play music based on the music data.
  • a music distribution program for displaying related video at the time of music playback on the video display unit provided in Accepts video operation input from a video operator monitoring the music being streamed from a video control command unit provided separately from the music playback terminal, and sends video control command information of related video based on the video operation input to the public communication network Sending step;
  • the video management unit connected to the public communication network acquires video control command information, grasps the playback timing of the music being streamed when a video operation input is executed, and related video based on the video control command information
  • the step of causing the music reproduction terminal to execute the display control in synchronization with the grasped reproduction timing is executed by the computer.
  • video operation input by a video operator (for example, the above-mentioned VJ) is made during the stream distribution of music in the video control command unit, and video control command information based on the input is sent to the public communication network. .
  • the playback timing of the music being streamed when the control operation input is executed is grasped, and the related video display control command based on the video control command information It is activated to the music playback terminal so as to be synchronized with the music. That is, it is possible to grasp the video display control input timing of the video operator based on the timing of music playback, and to instruct the video playback execution timing to the music playback terminal for streaming playback of the distributed music, thereby enabling video operation.
  • Music data can be configured as a piece of information that incorporates playback timing information that individually describes the time-series output timing of data bits during playback.
  • the music reproduction timing grasping unit described above can be configured to grasp the reproduction timing of the music being streamed based on the reproduction timing information. By using the reproduction timing information of the music being reproduced, it is possible to more accurately grasp the timing of video operation input by the video operator.
  • the music distribution unit can be configured so that the music distribution unit sequentially streams a plurality of music data.
  • the video control command information is used to switch the display content of the related video from the first related video to the second related video in response to the playback of the music switching from the first music to the second music.
  • Video switching command information is used to switch the display content of the related video from the first related video to the second related video in response to the playback of the music switching from the first music to the second music.
  • the related video (first related video) being displayed is switched to another related video (second related video) in the same manner at the start timing)
  • the operation input timing of the video switching determines the playback timing of the music Based on this, a video switching instruction is given to the music playback terminal based on this.
  • the related video can be, for example, an output video of a sound visualizer that changes at least one of the form, size, display position, and color of the display object in synchronization with the playback sound of the music.
  • the video control command information can be configured to include sound visualizer switching instruction information for switching the sound visualizer from the first sound visualizer to the second sound visualizer.
  • the sound visualizer is a kind of video generation module that receives the sound input of the playback music and generates a visual image.
  • the sound visualizer module is installed in the terminal that is to display the video as a software input. Can be used to generate and output video on the terminal side.
  • the processing load associated with transfer processing and playback processing of large-sized moving image files can be greatly reduced.
  • the video is abstract, it directly reacts to the acoustic spectrum of the reproduced music, and can provide a characteristic performance that closely corresponds to the strength, pitch, tempo, etc. of the music.
  • the response to the sound input is sensitive, if the synchronization with the music reproduction is out of sync, the listener can easily understand the problem.
  • the music playback terminal includes an evaluation input unit for the distributed music operated by the user, and an evaluation information transmission unit that transmits the input evaluation information to the public communication network
  • the video management unit includes an evaluation information receiving unit that receives the evaluation information, and a boosted image that stores the boosted image data for boosting the reproduction of the music as the data of the related video when the evaluation information has a positive content
  • a data storage unit and a boosted image sending unit that sends the boosted image data and display control command information for the boosted image to the music playback terminal when the reception state of the evaluation information satisfies a predetermined condition Can do.
  • the music playback terminal can be provided with a boosted image display control unit that displays a boosted image on the video display unit based on the boosted image data and the display control command information.
  • the listener when the listener has a rating input unit for the distributed music in the music playback terminal held by the listener, and the listener shows a high level of appreciation for the playback music, positive evaluation information is received from the terminal. Is input / transmitted and acquired by the video control command unit. And, when the reception condition of the evaluation information is determined in advance, especially when the condition that the listener is considered to have shown a high sensation has arrived, a lively image can be displayed effectively, and the event nature of the music distribution service can be further enhanced Can do.
  • the raised image display control unit may be configured to display the raised image superimposed on the related video when the evaluation information has a positive content.
  • it is one of the main purposes to collaborate with music stream playback and display of related video, and it is related to continuing to display this on the related video even at the timing of displaying the boosted image.
  • the listener can be made aware of the inseparability between video and music.
  • the music playback terminal may be configured such that when the listener shows a high likability with respect to the playback music, a live music is output together with the live music or separately from the live music.
  • the excitement sound is a sound effect such as applause, cheering, and finger whistle.
  • the music playback terminal includes an evaluation input unit for the distributed music operated by the user, and an evaluation information transmission unit that transmits the input evaluation information to the public communication network.
  • the music distribution system includes an evaluation information receiving unit that receives the evaluation information, a boosting voice data storage unit that stores boosting voice data for boosting the reproduction of the music when the evaluation information has a positive content, and When the reception state of the evaluation information satisfies a predetermined condition, a boosting voice information sending unit that sends the boosting voice data to the music playback terminal together with the voice output control command information is provided.
  • the music playback terminal is provided with a boosting voice output unit that outputs a boosting voice based on the boosting voice data and the voice output control command information.
  • the music distribution department A program music data acquisition unit that acquires music data of a program music from a music distribution source server via a public communication network in order to sequentially distribute and play a plurality of program music selected by a music selection operator to a music playback terminal;
  • a music selection / playback operation input unit that accepts a music selection / playback operation input by the operator, and a playback that generates playback control command information including the playback timing and playback conditions of each program song based on the contents input to the music selection / playback operation input unit
  • a music selection reproduction control command unit comprising a control command information creation unit and a reproduction control command information transmission unit for transmitting the reproduction control command information to the public communication network;
  • Program music distribution instruction unit for instructing the music distribution source server to distribute the music data of the program music to the music playback terminal, and playback control command information created for the program music is acquired via the public communication network to play the music
  • a music distribution management unit having a reproduction control command information acquisition / transfer unit to be transferred to the terminal
  • the role played by the music selection operator (especially the DJ) who controls the music selection operation and the playback condition input of the music is important, and the quality of the entire program to be produced is greatly influenced by the operation skill of the music selection operator.
  • Dependent In particular, when a program is distributed via a public communication network such as the Internet, the music playback operator starts playback and playback conditions (such as, for example, sound quality, tempo, pitch, and mixing mode when switching music to be applied, as will be described later). ) Is synchronized with the playback timing of the music streamed to the listener, which is a major premise for ensuring the program distribution quality.
  • the simplest way to solve this problem is to process the distribution music obtained by the music selection operator to reflect all the music order, playback timing, and playback conditions, and send the processed music data file to the listener. This is a redistribution method.
  • the listener and the music selection operator obtain the music data by downloading it directly from the music distribution source server, while the music selection operator uploads it to the listener to reflect the playback conditions.
  • This is not a music data processing file, but small playback control command information including the playback conditions. Therefore, the amount of data communication can be greatly reduced as compared with the case of uploading processed files.
  • the playback start timing and the content and timing of the setting / change of the playback conditions are reflected as intended by the music selection operator by the playback control command information transferred.
  • the quality of the delivered program can be secured to a high degree.
  • the music data includes the reproduction timing information describing the time-series output timing of the data bits in the reproduction stream
  • the reproduction control command information creation unit is in the music selection reproduction operation input unit.
  • Reproduction timing information indicating a reproduction position of music data when an input operation is performed is acquired as a time stamp, and information in which a reproduction condition indicated by the input operation content is associated with the time stamp is generated as reproduction control command information Can be configured.
  • the program playback control unit activates the control task indicated by the playback condition for the music data being played back when the playback position indicated by the time stamp included in the playback control command information arrives after the music data starts playing. Can be configured.
  • the timing of music selection playback operation input is specified using the playback timing information that accompanies the music data, and this is sent to the music playback terminal together with the playback conditions, so that playback control that more accurately reflects the intention of the music selection operator can be performed. It becomes possible to implement at the playback terminal.
  • the playback control command information creation unit uses the playback timing information indicating the playback position of the music when a setting / change input operation is performed on at least one of the volume, sound quality, tempo, and pitch of the playback music as a time stamp.
  • the information obtained by associating the reproduction condition indicated by the input operation content with the time stamp can be generated as the reproduction control command information.
  • Changing the setting of volume, sound quality, tempo, or pitch performed by a music selection operator such as a DJ as the music progresses is an important operation comparable to the performance of music.
  • the synchronization that the operation by the music selection operator is reflected in the music reproduction on the listener side is enhanced, which contributes to greatly increasing the added value of the distribution program.
  • a music selection operator such as DJ
  • another important operation performed by a music selection operator is a mixing operation performed when connecting songs when changing songs one after another.
  • the reproduction control command information creating unit performs the reproduction start input operation for the subsequent music
  • the reproduction timing information indicating the reproduction position of the preceding music at the time when is performed is acquired as a music mixing start time stamp.
  • the program playback control unit starts playback of the succeeding music while mixing with the preceding music as the playback position indicated by the music mixing start time stamp included in the playback control command information arrives after starting playback of the preceding music.
  • the playback start timing of the subsequent music when the subsequent music is mixed with the previous music can be accurately specified using the playback timing information of the previous music, and the music selection related to the connection between the music
  • the timing setting technique of the operator can be faithfully reflected in the music playback on the listener side.
  • the playback control command information creation unit is configured to input a setting / change input related to the mixing condition of both songs during the mixing playback period with the preceding music after the playback start input operation of the subsequent music is performed.
  • the playback position of the preceding music or the subsequent music can be acquired as a time stamp, and the mixing condition indicated by the setting / change input can be associated with the time stamp and generated as playback control command information.
  • the program reproduction control unit can reproduce the succeeding music piece and the preceding music piece while being mixed under the above-described mixing conditions as the reproduction position indicated by the time stamp arrives during the mixing reproduction period.
  • the operation setting contents of the music selection operator can be finely reflected by the music playback on the listener side.
  • the music selection playback operation input unit includes a music crossfade input unit that can continuously change the mixing ratio of the subsequent music and the preceding music according to the operation position
  • the playback control command information generation unit is The mixing ratio that is set / changed according to the operation position of the music cross-fade input unit can be created as information relating to the mixing condition.
  • the smooth crossfade operation of the music selection operator at the joint of the music can be reflected finely on the music reproduction on the listener side.
  • the playback control command information creation unit creates snapshot information in association with playback timing information indicating the acquisition time of the information while acquiring specific information and playback conditions of the music being played back Can be configured.
  • the music distribution management unit has a snapshot transfer unit that acquires the snapshot information and transfers it to the music playback terminal, and the program playback control unit of the music playback terminal acquires the transferred snapshot information, Based on the snapshot information, a music reproduction control correction unit that corrects control related to acquisition and reproduction of music data can be provided. Even if there is a gap in the synchronization timing between the music played back on the music playback terminal and the playback conditions, the above snapshot information is periodically acquired and transferred to the music playback terminal for correction.
  • the video control command unit acquires a program music monitoring unit that monitors program music to be sequentially selected and played by the music selection operator, and a plurality of program videos as related videos corresponding to the program music.
  • a video control command information creating unit for creating the included video control command information; and a video control command information sending unit for sending the video control command information to the public communication network.
  • the video control command information created by is acquired via the public communication network and transferred to the music playback terminal. That.
  • the music playback terminal includes a program video acquisition unit that acquires a program video, a video control command information acquisition unit that acquires video control command information corresponding to the program music, a program according to display timing and display raw conditions indicated by the video control command information
  • a video control unit that sequentially displays video on the video display unit is provided.
  • the role played by the video operator (in particular, VJ) who is responsible for video selection operation and video display condition input is also important.
  • the timing of setting / changing the start of video display performed by the video operator and the display conditions depends on the playback timing of the music streamed to the listener. It must be synchronized.
  • This problem can also be solved by processing the video acquired by the video operator to reflect all the display order, display timing, and display conditions, and redistributing the processed video data file to the listener, The problem of squeezing the capacity of public communication networks is likely to occur as well.
  • the music data may include the reproduction timing information describing the time-series output timing of the data bits in the stream
  • the video control command information creation unit is the video operation input unit.
  • the playback timing information indicating the playback position of the music data when the input operation is performed is acquired as a time stamp, and information in which the display condition indicated by the input operation content to the video operation input unit is associated with the time stamp is played back It can be created as control command information.
  • the video control unit activates the video display task indicated by the display condition for the program video being displayed as the playback position indicated by the time stamp included in the playback control command information arrives after starting playback of the music data. It can be constituted as follows.
  • the video display task indicated by the display condition is to display the subsequent video while mixing the previous video in the middle of the display of the previous video, and the video control command information creation unit has performed the display start input operation of the subsequent video.
  • the reproduction timing information indicating the reproduction position of the preceding music that is sometimes reproduced is acquired as a video mixing start time stamp.
  • the video control unit starts displaying the subsequent video while mixing with the previous video as the playback position of the preceding music indicated by the video mixing start time stamp included in the playback control command information arrives.
  • the display start timing of the subsequent video when the subsequent video is mixed with the previous video can be accurately specified using the playback timing information of the preceding music, and is matched to the connection between the songs.
  • the timing setting technique of the video operator in the video switching can be faithfully reflected in the music reproduction on the listener side.
  • the video control command information creation unit when the setting / change input related to the mixing condition of both videos is made during the mixing display period with the preceding video after the display start input operation of the subsequent video is performed,
  • the playback position of the preceding music or the succeeding music can be acquired as a time stamp, and the video mixing condition indicated by the setting / change input can be created as video control command information in association with the time stamp.
  • the video control unit reproduces the subsequent video and the preceding video while being mixed under the mixing condition as the playback position of the program tune indicated by the time stamp arrives during the mixing display period.
  • the video operation input unit includes a video cross-fade input unit that can continuously change the mixing ratio of the subsequent video and the preceding video according to the operation position, and the video control command information creation unit
  • the mixing ratio set / changed according to the operation position of the video cross-fade input unit can be created as information related to the video mixing conditions.
  • the smooth video crossfade operation of the video operator can be precisely reflected in accordance with the music playback on the listener side.
  • the block diagram which shows an example of the music distribution system of this invention The block diagram which shows an example of an internal structure of a music distribution / image
  • the figure which extracted and drawn the operation panel layer of FIG. The figure which extracted and drawn the display layer of sound visualizer (related picture) similarly.
  • FIG. 1 is a block diagram showing an example of the position configuration of the music distribution system of the present invention.
  • the music distribution system 1 includes a music distribution source server 102, a music distribution / video management unit 101, a DJ command unit (music selection reproduction control command unit) 103, a VJ command unit (video) that are connected to each other via the Internet 100 as a public communication network.
  • a control instruction unit) 104 a portable terminal (music reproduction terminal: a smartphone in this embodiment) 150, and the like.
  • the mobile terminal 150 is used as a music playback terminal and is connected to the Internet 100 via packet communication with the mobile phone base station 106.
  • the music distribution / video management unit 101 is configured as a computer unit responsible for the main functions of the music distribution management unit and the video management unit, and includes a microcomputer 30 as a processing entity.
  • the microcomputer 30 includes an MPU 31, a RAM 32 serving as a program execution area, a ROM 33, an input / output unit 29, and a bus 34 that interconnects them.
  • a hard disk drive 35 is connected to the bus 34, and distribution system software 101a is installed therein.
  • the distribution system software 101a includes software components 101b to 101e for realizing the following functions of the music distribution management unit and the video management unit described in the claims of the music distribution management unit 101.
  • Program music distribution instruction unit Instructs the music distribution source server to distribute the music data of the program music to the portable terminal 150.
  • DJ / VJ command transfer function realization unit 101c Reproduction control command information acquisition / transfer unit: Acquires a DJ command (reproduction control command information) created for each program song by a DJ command unit 103 (music selection reproduction control command unit), which will be described later, via the Internet 100, and is a portable terminal.
  • Video control command information acquisition / transfer unit acquires a VJ command (video control command information) created by a VJ command unit 104 (video control command unit), which will be described later, via the Internet 100 and transfers it to the mobile terminal 150. .
  • Snapshot transfer unit acquires snapshot information acquired by the DJ command unit 103 and transfers it to the mobile terminal 150.
  • Evaluation information receiving unit receives evaluation information from the portable terminal 150.
  • Live image transmission unit When the reception state of the evaluation information satisfies a predetermined condition, it transmits live image data for live music reproduction and display control command information related to the live image to the music reproduction terminal.
  • the hard disk drive 35 has the above-described heightened image data 101f and the sound source data 101g of the heightened voice scheduled to be output together with the heightened image data (hereinafter, the heightened sound source data: for example, applause, cheer, finger whistle, etc.) ) Is stored.
  • FIG. 9 shows an example of a lively image. In this embodiment, an animation image of fireworks is employed.
  • the music distribution source server 102 is configured by a general computer server (may be a cloud server composed of a plurality of computers connected to the Internet) capable of storing and storing a large amount of data, and has a large number of distribution targets. It has a music database 102a in which music data is stored.
  • the DJ command section 103 is configured as a computer unit and includes a microcomputer 50 as a processing subject.
  • the microcomputer 50 includes an MPU 51, a RAM 52 serving as a program execution area, a ROM 53, an input / output unit 49, and a bus 54 that interconnects them.
  • a hard disk drive 55 is connected to the bus 54, and the PCDJ software 103a for realizing the main function of the music selection / playback control command unit is installed therein.
  • the hard disk drive 55 is similarly installed with communication software 103b for realizing the functions of the program music data acquisition unit and the playback control command information transmission unit.
  • a microphone 60 for collecting a DJ talk is further connected to an input / output unit 49 of the microcomputer 50 via a speaker 60 for monitoring program music via an audio amplifier 59 (D / A conversion unit on the input side is not shown). Are connected via an A / D converter 62.
  • the input / output unit 49 is connected with a monitor 56 that functions as a display unit for displaying related video during music playback while constructing a GUI portion for music selection playback operation input.
  • the input / output unit 49 is connected to a DJ command input unit 58 as a music selection / playback operation input unit.
  • the DJ command input unit 58 constitutes the DJ command input unit 58 as a touch panel arranged on the monitor 56 that displays the input GUI, but a commercially available PCDJ controller may be used.
  • FIG. 6 shows a display screen of the monitor 56 (touch panel (DJ command input unit) 58 is superimposed) of the DJ command unit 103.
  • the display layers of the operation panel 56a, the related image (sound visualizer) 56b, and the raised image 56c are superimposed and displayed in a perspective form.
  • FIG. 7 shows an extracted layer of the operation panel 56a. Each component is laid out in the image of an analog DJ console. Since the functions of the PCDJ software are known per se, only the outline will be described below.
  • Program songs to be acquired are loaded into the left and right columns of the panel, two songs in total, and the control input component for music selection / playback of the music A on the right side and the music B on the left side is independent. It can be operated.
  • the left column will be described.
  • the title (and artist name) 301A of the downloaded music is displayed at the top of the column, and a timing bar 302A indicating the music playback position is displayed below the title.
  • a volume / sound quality adjustment panel that controls the gain of the audio waveform components in the two frequency bands: low (LOW), mid (MID), and high (HI).
  • the operation panel layout of the left and right columns can be switched to a different theme at any time by touching a desired menu icon group 318A.
  • the music selection and loading operation can be performed by a known operation such as switching to another music selection panel (not shown), scrolling the music selection list with a finger, selecting and touching the music.
  • each operation section is laid out with the left and right inverted.
  • the description of each part will be omitted by changing the alphabet at the end from “A” to “B” and adding the same reference numerals as the corresponding ones in the left column.
  • the space between the left and right columns includes a playback timing digital display unit 315, a function selection icon (not shown), a waveform WAVE file (uncompressed PCM waveform data file) waveform windows 307A and 307B from above.
  • a reproduction position bar 308 and a cross-fade input unit 309 that are displayed in a superimposed manner are formed.
  • the crossfade input unit 309 can slide the operation bar 310 (for example, to the left and right), and the audio data of the music on the right side and the music on the left side are digitally mixed with a gain ratio corresponding to the operation position.
  • the volume of the music B is zero and only the music B is reproduced, and when the operation bar 310 is moved to the right end, the opposite is true. Further, both sounds are mixed at an intermediate operation position. Then, in the case where the song A is being played back in advance, the playback of the song B is started near the ending with the operation bar 310 moved to the left end, and the operation bar 310 is moved to the right end at an appropriate speed. If the slide is made to slide, the music A fades out, and the beginning of the music B fades in, and the crossfade effect that is connected to this is obtained.
  • Input information from the operation panel 56a of the DJ command section 103 is issued as a DJ command, including its operation position, every time an operation is performed, and the operation execution is performed from the reproduction timing information indicated for each music file. It is sent to the portable terminal 150 described later via the music distribution / video management unit 101 as playback control command information in a form associated with a time stamp (which is playback time information with reference to the playback start point of the music file) acquired at times. .
  • FIG. 14 shows a list of events related to the DJ command employed in this embodiment. Since details other than the last snapshot event (described later) are known, details thereof will be omitted. In any case, the execution state of the DJ command once issued is continued until the next operation change is executed.
  • the VJ command section 104 is also configured as a computer unit, and includes a microcomputer 70 as a processing subject.
  • the microcomputer 70 includes an MPU 71, a RAM 72 serving as a program execution area, a ROM 73, an input / output unit 69, and a bus 74 that interconnects them.
  • a hard disk drive 75 is connected to the bus 74, and PCVJ software 104a that implements the main function of the video control command unit is installed.
  • the input / output unit 49 of the microcomputer 70 is connected via a display interface 77 to a monitor 76 that constructs a GUI part of a program video acquisition unit and a video operation input unit and functions as a display unit for related video.
  • the input / output unit 69 is connected to a VJ command input unit 78 as a video operation input unit.
  • the VJ command input unit 78 is configured as a touch panel that is overlaid on the monitor 76 that displays the input GUI.
  • a speaker 80 serving as a program music monitoring unit is connected to the input / output unit 69 via an audio amplifier 79 (D / A conversion unit on the input side is not shown).
  • the hard disk drive 75 a plurality of modules of the sound visualizer 105c are installed. Further, the hard disk drive 75 is similarly installed with communication software 104b for realizing the functions of program music data acquisition and video control command information transmission.
  • the sound visualizer module 105c is constructed according to a known algorithm.
  • the outline is prepared in advance according to the analysis result (existence ratio of each frequency component class, etc.) by analyzing the frequency spectrum of the input music playback sound using a known algorithm such as fast Fourier transform.
  • the image is output while changing at least one of the form, size, display position, and color tone of the image object in synchronization with the reproduction sound.
  • Each sound visualizer module 105c is an engine that performs only frequency spectrum analysis and image object display control, and is a small-sized program file having a size of about several tens of kilobytes to 1 MB.
  • FIG. 8 shows an example of a sound visualizer, which is composed of a waveform video 351 that changes to reflect the waveform of a voice input, a color gradation image 350 superimposed on the background, and a color gradation image 350 of the color gradation image 350.
  • the color tone and gradation distribution change in synchronism with the sound according to the frequency of the input sound, and the brightness changes according to the amplitude of the input sound waveform.
  • FIG. 10 shows a display screen of the monitor 76 (touch panel 78 is overlaid) of the VJ headquarters.
  • a video display area 76M is formed on the background of the VJ operation panel, in which the display layers of the related image (sound visualizer) 56b and the raised image 360 are superimposed and displayed in a perspective form. Further, the title 301B of the music being played is displayed above the video display area 76M.
  • a plurality of sound visualizer selection icons 370 are displayed as selectable related images.
  • load areas 371A and 371B of the selected sound visualizer are formed above them. This is to enable two sound visualizers to be selected simultaneously as in the DJ command section 103.
  • a desired item is selected from the selection icon group 370 with a finger and dragged to the load areas 371A to 371B to complete the selection.
  • This is one of video operation inputs for determining a video to be displayed.
  • the sound visualizer module after the sound visualizer module is loaded, it automatically starts video output in synchronization with the input of the music playback sound.
  • the sound visualizer module may output video from the sound input standby state. is there. Therefore, it can be said that the operation related to loading of the sound visualizer module is substantially a video operation input for instructing the start of video display.
  • the two sound visualizers selected and loaded are in a voice input standby state, and when the music performance is started, the output video is changed in the video display area 76M in response thereto.
  • a video cross-fade input unit 319 is formed below the video display area 76M.
  • the video cross-fade input unit 319 is a main video operation input unit, and can be operated by sliding the operation bar 320.
  • the video frames of the two selected sound visualizers are in proportion to the operation positions. To be mixed digitally. This mixing can be performed by, for example, performing a linear combination operation on the setting values of corresponding pixels between frames in accordance with the operation position.
  • the operation bar 320 when the operation bar 320 is moved to the left end, only the sound visualizer 371A is displayed, and when it is moved to the right end, the opposite is true.
  • the images of the two sound visualizers are overlaid and mixed.
  • the image of the sound visualizer 371A is displayed in advance
  • the operation bar 310 when the operation bar 310 is slid to the right end with the operation bar 310 moved to the left end, the image A Is faded out, and a video cross fade effect in which the video B is switched while fading in is obtained.
  • the video can be switched at the break of the song, or can be switched in the middle of the song.
  • another video operation input unit is provided for changing the brightness and color tone of the sound visualizer 371A, and performing video transformation. It is also possible to configure so that operation input can be performed. It is also possible to prepare data for an arbitrary effect image on the VJ command unit 104 side and provide an effect image display button for displaying and outputting the effect image as needed.
  • the input information of the video operation input made from the operation panel of the VJ command section 103 is issued as a VJ command, including the operation position, every time the operation is executed, and the reproduction timing information shown for each music file is shown.
  • a time stamp reproduction time information based on the reproduction start point of the music file
  • the portable terminal described later via the music distribution / video management unit 101 as reproduction control command information 150.
  • the sound visualizer module selected by the VJ command unit 103 is transmitted via the Internet 100 to the portable terminal 150 that is reproducing the distributed music.
  • FIG. 5 shows an electrical structure of the mobile terminal 150.
  • the portable terminal 150 includes a microcomputer 151 to which a CPU 152, a memory 153, and an input / output unit 154 are connected via a bus 155.
  • an OS (not shown) for constructing the operating environment of the mobile phone terminal 150 and a program reproduction environment led by DJ and VJ are developed and the compressed data file of the music is expanded and digitally reproduced.
  • the portable terminal application 153a for storing is stored.
  • the RAM 151 also includes an execution area 151a for the application, a music buffer area 151b for buffering music data to be played, and a storage area for a sound visualizer module that is a display generation engine for related video (hereinafter referred to as an SVSL storage area). 151c, an image synthesis area 151d for synthesizing and displaying the sound visualizer video and the above-described lively image is formed.
  • the input / output unit 154 is connected to a monitor 156 (video display unit) made of a liquid crystal panel or an organic EL panel, a touch panel 157 and its input interface 158, a wireless communication interface 159, a vibration sensor 160, and the like.
  • a speaker 161 is connected via an amplifier 162 (D / A conversion unit on the input side is not shown) as a music playback unit.
  • the monitor 158 constructs a GUI portion of terminal operation input and functions as a related video display unit during music playback. Further, the touch panel 157 constitutes an input unit, and functions as an evaluation input unit in the present embodiment.
  • the wireless communication interface 159 plays a role of receiving music data via the Internet 102.
  • the portable terminal application 153a implements the functions of the following units described in the claims.
  • Program music data acquisition unit acquires music data of a program music from a music distribution source server.
  • Music selection / playback control information acquisition unit acquires a DJ command (music selection / playback control information) corresponding to a program song from the DJ commanding unit 103 via the music distribution / video management unit 101.
  • Program reproduction control unit sequentially reproduces the music data of the program music according to the reproduction timing and reproduction conditions indicated by the DJ command.
  • Program video acquisition unit acquires a program video that is a related video.
  • Video control command information acquisition unit acquires a VJ command (video control command information) corresponding to the program music from the VJ command unit 104 via the music distribution / video management unit 101.
  • Video controller sequentially displays program videos according to the display timing and display conditions indicated by the VJ command.
  • FIG. 10 shows a display screen of the monitor 156 (with the touch panel 157 overlaid) of the mobile terminal 150.
  • This screen is displayed by launching the mobile terminal application 153a downloaded by the mobile terminal 150, and each display layer of the related image (sound visualizer) 56b and the lively image 360 is displayed on the background of the terminal operation panel. Is formed in an image display area 76M that is displayed in a transparent manner. Further, the title 301B of the music being played is displayed above the video display area 76M. On the other hand, the name 371 of the responsible DJ, the name 372 of the responsible VJ, and the reproduction timing digital display unit 315 are also displayed below.
  • a “Whoop” button 156w which is an evaluation input unit, is displayed, and by touching the corresponding position, “Whoop” information is transmitted as evaluation information on the Internet.
  • the “Woop” button 156w is equivalent to a well-known “Like” button in various social networking services, and is for approving the excitement of the music being played and the DJ or VJ, and displaying a positive evaluation intention. It is operated at any time by the terminal owner (program audience).
  • the “Woop” button 156w is operated at a similar timing by a large number of audiences, the number of operations can be aggregated and grasped by the music distribution / video management unit 101 and distributed based on the number of aggregations within a certain time. It is possible to grasp the evaluation status of the audience for the program at any time.
  • the evaluation information may be input by detecting an operation of shaking the mobile terminal 150 with the vibration sensor 160.
  • FIG. 12 shows the flow of terminal distribution of program music in the DJ format and synchronized playback on the terminal side.
  • the DJ command section 103 starts up the PCDJ software 103a (FIG. 3) and displays the operation panel 56a shown in FIG.
  • a DJ music selection operator
  • the first music 301A and the next music 301B are selected on the left and right of the operation panel 56a, and a music load command (FIG. 14: Track Load Event) which is one of DJ commands is issued to itself (FIG. 12).
  • D1 On the other hand, in D2, the music load command is transmitted / issued also to the music distribution / video management unit 101.
  • the DJ command unit 103 requests the music distribution server 102 to distribute the corresponding music stream in D4.
  • the music distribution source server 102 reads music data (for example, a compressed data file such as MP3 or AAC) from the music database 102 a and transmits it to the DJ command unit 105.
  • music data for example, a compressed data file such as MP3 or AAC
  • the play / stop buttons 311A and 311B in FIG. 7 are both stopped, and the distributed music data is converted into WAVE data (PCM waveform data file) at D6 and stored in the buffering area in the RAM 52. It is only buffered and playback is not started.
  • the music distribution / video management unit 101 transfers the music load command received in D2 to the mobile terminals 150 (generally plural) of the audience registered as listeners by the prior contract.
  • the portable terminal 150 requests the music distribution source server 102 to distribute the corresponding music stream at D7.
  • the music distribution source server 102 reads the music data from the music database 102 a at D 8 and distributes the music data to each mobile terminal 150 in a stream.
  • the portable terminal 150 converts the distributed music data into WAVE data and buffers it in the buffering area in the RAM 52.
  • the terminal application 153a of the mobile terminal 150 is not provided with a music playback / stop interface by the terminal owner, and music playback starts unless a playback start command is received from the music distribution / video management unit 101. Not.
  • the music data is distributed from the music distribution source server 102 having the distribution right to the DJ command unit 103 and the portable terminal 150 which are individual contractors, and is carried from the DJ command unit 103 without the distribution right. There is no data transmission flow directly toward the terminal 150.
  • the portable terminal 150 converts the distributed music data into WAVE data at D6, buffers it in the buffering area in the RAM 52, and does not start playback until receiving a playback start instruction.
  • the playback control operation as performed by DJ is also impossible.
  • These operations are executed by the mobile terminal application 153a using a DJ command transmitted from the DJ command unit 103, as described in detail below.
  • the music playback operation by the DJ command unit 103 is performed by the DJ command sequence. This is part of being virtually reproduced on the portable terminal 150.
  • the DJ command unit 103 executes a playback start command (FIG. 14: Track Start Event) of the music data received by the DJ command unit 103 at D10, and plays the music A at D14. Start.
  • a playback start command (FIG. 14: Track Start Event) of the music data received by the DJ command unit 103 at D10, and plays the music A at D14.
  • the DJ command unit 103 also transmits a playback start command to the music distribution / video management unit 101.
  • the music distribution / video management unit 101 transfers it to the audience mobile terminal 150 at D12.
  • the portable terminal 150 receives this at D13 and starts playing the received music. From here, the main body of the program combining the music starts on the portable terminal 150.
  • the DJ seasons the playback sound of the music A while operating the operation units on the operation panel and changing and setting the volume, sound quality, tempo, pitch, and the like of the playback music.
  • the operation is a manual operation using both hands of the DJ, and the DJ command is read from the state of each operation unit in the chronological order of the operation.
  • the reproduction position of the music when each operation is performed is specified as a time stamp from the timing data incorporated in the data file of music A, and this time stamp and the current time A set with a DJ command issued along with the operation is created as reproduction control command information (FIG. 12: D17).
  • the playback of the music distributed by the DJ command issued by itself is controlled in D16, and the playback sound under the control is output from the speaker 60 of FIG.
  • the DJ continues the playback control on the operation panel 56a (FIG. 7) while listening to the playback sound.
  • reproduction control command information is successively created as a DJ command with a time stamp, and is transmitted to the music distribution / video management unit 101 at D17.
  • the music distribution / video management unit 101 transfers this to the mobile terminal 150 of each audience at D18.
  • the portable terminal 150 receives this in D19, and plays back the buffered music data at the playback position indicated by the time stamp included in the playback control command information (for example, the volume control). Change of sound quality, tempo, pitch, etc.) and music reproduction is performed based on the processed data (the processes of D15 to D19 are repeated until the program distribution is completed).
  • music A is loaded on the A side (abbreviated Track Loading A, TLA), and music B is loaded on the B side (abbreviated Track Loading B, TLB).
  • the crossfade operation unit 309 (FIG. 7) is set to the A side full (5 levels, CFMX5 / 0 is full on the A side, CFMX0 / 5 is full on the B side, CFMX2 / 3 etc. indicate the mixing state).
  • the reproduction of the music A is started at the timing 0:00 (abbreviated as Track Start A, TSA).
  • the DJ operates the graphic equalizer panel 303A and the volume panel 305A in FIG. 7, and DJ commands relating to the equalizer event (abbreviated as EQA) and the volume fader event (abbreviated as VOL) in FIG. 14 are continuously issued. Yes.
  • the flow of data processing when switching from music A to music B while performing cross-fade processing is as follows.
  • the reproduction of the music piece A ends at 3:06 from the timing data, and the reproduction of the next music piece B is started 6 seconds before the end (TSB).
  • the time stamp (3:00) on the music A side at the start is sent to the portable terminal 150 together with the music B start instruction command (TSB).
  • the DJ moves the crossfade operation unit 309 (FIG. 7) over about 6 seconds from the state where the A side is full (CFMX5 / 0) to the state where the B side is full (CFMX5 / 0). ing.
  • the state of the crossfade operation unit 309 at each timing is specified as a DJ command
  • the time stamp at each operation position is acquired from the timing data of the music B, and is sent to the portable terminal 150 as reproduction control command information. It is done.
  • the portable terminal 150 accurately starts the playback of the music B 6 seconds before the end of the playback of the music A that has started playing (the playback position of the music A: 3:00).
  • the change in the setting state of the crossfade operation unit 309 is also faithfully reproduced from the time stamp on the music B side. Note that the time stamp of the music piece A may be continuously used only during the crossfade operation period.
  • the role played by the DJ is important, and the quality of the entire program produced depends greatly on the operation skill of the music selection operator.
  • the timing of starting the playback of the music performed by the music selection operator and the timing of setting / changing the playback conditions are synchronized with the playback timing of the music streamed to the listener. This is a major premise for ensuring the quality of program distribution.
  • the distribution music acquired by the DJ is processed to reflect all the music order, playback timing, and playback conditions, and the music data file after the processing is redistributed to the portable terminal 150
  • a large music file needs to be uploaded and downloaded in two stages: music distribution source server 102 ⁇ DJ command unit 103 and DJ command unit 103 ⁇ portable terminal 150, and this imposes pressure on the communication capacity of the Internet 100 There is.
  • downloading of music files from the music distribution source server 102 is often limited to one time due to a contract with the listener, and once obtained music files are resold or secondary processed for resale purposes. In order to do so, it becomes necessary to obtain permission from the music provider to clear the copyright, which is troublesome.
  • the audience mobile terminal 150 and the DJ commanding unit 103 obtain music data by downloading it directly from the music distribution source server 102, while the DJ commanding unit 103 sends it to the mobile terminal 150. Since only the reproduction control command information having a small size including the reproduction condition is uploaded, the data communication amount can be greatly reduced as compared with the case where the processed music file itself is uploaded.
  • the playback start command and the content and timing of the setting / change of the playback conditions are reflected and distributed as intended by the DJ based on the transferred playback control command information. The quality of the program can be assured at a high level.
  • an initial setting state is formed by collectively transmitting a DJ command indicating the operation state of each operation unit at the time of music playback start to the portable terminal 150, and thereafter, an operation that has been changed by a DJ operation after music playback. If the terminal 150 side only transmits the playback control setting state included in the received DJ command and maintains the current setting state for the other, the terminal 150 side transmits the DJ command state. Transmission load and communication capacity occupation amount can be reduced.
  • the frequency of issuance / transmission of playback control command information from the DJ command section 103 is appropriately set within a range where the nuance of fine music playback control performed by the DJ is not significantly impaired while avoiding an increase in the amount of data.
  • the number of transmission bits of one reproduction control command information is about 16 bits
  • the quantization sampling frequency that keeps the music reproduction quality to a minimum is considered to be about 8 kHz, 1/500 to 1/50
  • the reproduction control command information is transmitted at a certain frequency, the number of times of transmission of the reproduction control command information per second becomes 16 to 160 times, which corresponds to the number of times that the reproduction control nuance can be generally held.
  • the transmission bit rate of the reproduction control command information is 0.25 kbps to 2.5 kbps, which is sufficient even when compared with the transmission bit rate (about 128 kbps) of uncompressed PCM data created by 8 kHz / 16-bit sampling. Reduction in data traffic is expected.
  • FIG. 13 shows the video control processing on the VJ command side corresponding to FIG. 12 separately.
  • a VJ video operator
  • the VJ command section 104 a VJ (video operator) performs video display control using the sound visualizer by the above video operation input while monitoring the music to be played back by the DJ.
  • Music distribution is received from the music distribution source server 102 in a step (not shown), and reproduction control command information including a time stamp and a DJ command issued by the DJ command unit via the music distribution / video management unit 101 in V14. get.
  • reproduction control command information including a time stamp and a DJ command issued by the DJ command unit via the music distribution / video management unit 101 in V14.
  • V15 music data is reproduced while being controlled by the reproduction control command information, and is output from the speaker 80 (FIG. 4), so that monitoring of the music reproduction state in the DJ command section 103 can be started.
  • the VJ command section 104 starts up the PCVJ software 104a (FIG. 4) and displays the operation screen of FIG.
  • a VJ video operator loads necessary SVSL modules in accordance with a predetermined program structure, and inputs video operations while sequentially switching modules according to the music (or in the middle of the music).
  • the first sound visualizer 371A and the next sound visualizer 371B are selected in the left and right load areas, and the corresponding SVLS module is loaded.
  • V19 the same SVLS module as that loaded is transmitted to the portable terminal 150 via the music distribution / video management unit 101 (V19 ⁇ V20). As described above, the size of the SVLS module is small, and transmission can be completed quickly.
  • the portable terminal 150 loads the acquired SVLS module (V21).
  • the VJ operates each operation unit on the operation panel in FIG. 10 and performs video operation input including display switching of video (sound visualizer) in accordance with music playback. Then, the VJ command is read from the state of each operation unit in the order of operation. Also, the playback position of the music when each operation is performed is specified as a time stamp from the timing data incorporated in the data file of the music A, as in the process in the DJ command section 103. A set with a VJ command issued in accordance with the operation at that time is created as video control command information.
  • the video output of the sound visualizer designated by the VJ command issued by itself is displayed in the video display area 76M (FIG. 10) of the monitor 76 at V22.
  • the VJ continues video control (for example, switching to another sound visualizer) on the operation panel while listening to the reproduced sound.
  • video control command information is created one after another as a VJ command with a time stamp, and is transmitted to the music distribution / video management unit 101 at V23.
  • the music distribution / video management unit 101 transfers this to the mobile terminal 150 of each audience at V24.
  • the portable terminal 150 receives this at V25 and executes video control processing indicated by the VJ command at the playback position indicated by the time stamp included in the playback control command information, for example, switching of the sound visualizer.
  • Video display is performed based on the sound visualizer after switching (the processing of V18 to V25 is repeated until the program distribution is completed).
  • the sound visualizer 1 is loaded on the A side (SV1LA), and the sound visualizer 2 is loaded on the B side (SV2LB).
  • the crossfade operation unit 319 (FIG. 10) is set to the A side full (5 levels, CFMX5 / 0 is full on the A side, and CFMX0 / 5 is full on the B side. Side full, CFMX2 / 3 etc. indicate mixing state).
  • the playback of the music A is finished at 3:06, and the switching to the sound visualizer 2 on the B side is performed in accordance with the start of the playback of the next music B 6 seconds before the end.
  • the time stamp (3:00) on the A side at this time is sent to the portable terminal 150 together with the switch command (SV2LB) to the sound visualizer 2.
  • the VJ moves the crossfade operation unit 319 (FIG. 10) over about 6 seconds from the state where the A side is full (CFMX5 / 0) to the state where the B side is full (CFMX5 / 0). ing.
  • the state of the crossfade operation unit 319 at each timing is specified as a VJ command
  • the time stamp at each operation position is acquired from the timing data of the music B, and is sent to the portable terminal 150 as video control command information. It is done.
  • the mobile terminal 150 refers to this from the sound visualizer 1 to the second 6 seconds before the end of the playback of the music A that has been started (the playback position of the music A: 3:00). Furthermore, the setting state change of the crossfade operation unit 319 (that is, the state change of the video mixing) is also faithfully performed from the time stamp on the music B side (the music A side may be used during the crossfade period). Will be reproduced.
  • the portable terminal 150 can perform the stream reproduction of the program music in a manner that reflects the reproduction control processing by the DJ, and displays the video that reflects the video control operation by the VJ. It can be displayed in the display area 76M.
  • the reproduction of music reflects the DJ operation faithfully, and the VJ operation corresponding to the DJ is also accurately reflected in the video display switching. If the audience who enjoys the program likes the program and feels good, it operates the Whoop button 156 as an evaluation input. The following processing is as follows according to FIG.
  • the mobile terminal 150 notifies the music distribution / video management unit 101 that there is (positive) reaction information associated with the operation of the Whoop button.
  • the music distribution / video management unit 101 counts, for example, the number of (positive) reaction information (hereinafter referred to as “Woop number”) within a predetermined period after the first reaction information arrives (V27).
  • Woop number the number of (positive) reaction information
  • the image activation reference value this may be 1 but it is better to set it multiple times to eliminate a noisy reaction
  • the time stamp of the music being reproduced is acquired, and the lively image data 101f (FIG. 2) is read and transmitted to the mobile terminal 150, the DJ command (not shown in FIG. 13), and the VJ command (V28, V30).
  • a lively image 360 based on the obtained lively image data is synthesized and displayed in a perspective form on a related video by the sound visualizer (V31, V29).
  • the lively image 360 is displayed on all the mobile terminals 150 receiving the program music stream distribution.
  • the count value is once cleared and the count is restarted.
  • the image activation reference value is reached again, the transmission of the boosted image data and the time stamp is repeated, and the display of the boosted image 360 is continued.
  • fireworks repeatedly strike each time the Whoop number reaches the image activation reference value.
  • the display position and display size of the fireworks are changed each time using a random number in the video display area 75M, the position where the fireworks will rise every time a hop occurs changes, and the visual enjoyment is enhanced.
  • Woop is activated simultaneously from a large number of terminals 150, many fireworks are disturbed like star mine in the video display area 75M, and a more beautiful presentation can be performed.
  • the exciting sound source data 101g (FIG. 2) including applause, cheering, finger whistling sounds, fireworks launch sounds, and the like is read out by the same algorithm, and the energizing sound is added together with the enlarging image at each destination.
  • the energizing sound is added together with the enlarging image at each destination.
  • the music reproduction control and video control in the DJ command unit 103 and the VJ command unit 104 are distributed live as the predetermined distribution time arrives.
  • the contracted mobile terminal 150 may not be able to view from the beginning of the distribution start time, and may participate from the middle.
  • the distribution status of the music and video when logging in to the distribution can be received for the flow of the music playback control information and the video control information, but which position of which music is currently in the stream distribution of the music data You may not be able to immediately know if you are streaming. Therefore, in the present embodiment, a DJ command (FIG. 14: Snapshot Event) for instructing execution of a snapshot by the DJ command unit 103 is issued.
  • the DJ command unit 103 captures the music name and video name in the stream distribution, the reproduction timing, and the like by the activation of this command, and the music distribution / video management unit as snapshot information. It is sent to each portable terminal 150 via 101.
  • the terminal participating in viewing while the streaming playback is not synchronized refers to this snapshot information, refers to the type of music to be distributed, the type of associated video (sound visualizer), and the current playback of the music
  • the position is specified, and distribution of the music data and the sound visualizer is requested to the music distribution / video management unit 101 as necessary (the music distribution / video management unit 101 receives the music data, the sound visualizer, and the time stamp in response to the request).
  • the mobile terminal 150 participating in the mid-course viewing can easily grasp the current program progress position, and can follow the streaming reproduction of the music data.
  • the distribution system of the music data files among the music distribution source server 102, the DJ command unit 103, and the portable terminal 150 is clearly separated with the music distribution / video management unit 101 as a boundary. .
  • music distribution to the DJ command unit 103 is used only for the purpose of creating music selection / reproduction control command information
  • music distribution to the portable terminal 150 is only for reproduction control using the created music selection / reproduction control command information.
  • a file in which the created music selection reproduction control command information (and the video control command information created by the VJ command unit 104) is set for each program is, for example, a storage device (hard disk drive 35) of the music distribution / video management unit 101.
  • the music distribution source server 102 can send it to the mobile terminal 150.
  • the program distribution to the portable terminal 150 can be reproduced at an arbitrary date and time. This can be said to be an advantageous form for performing rebroadcast distribution and on-demand distribution of a DJ live program.
  • the related video to be synchronized with the music playback is not limited to the sound visualizer, but a playback video using a video file can be used, or CG can be used.
  • a moving image file such as a promotion video
  • the VJ command unit 104 performs various graphic operations such as brightness, color balance adjustment, fast forward / rewind, compositing, and transformation as video control inputs. The event can be enlivened by.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

再生中の楽曲に対し人為的操作によりその場で再生映像を付加してストリーム配信サービスを行う場合においても、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができる楽曲配信システムを提供する。 映像制御指令部において楽曲のストリーム配信中に映像操作者による映像操作入力がなされ、その入力に基づく映像制御指令情報が公共通信網に送出される。そして、映像制御指令部において、制御操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングが把握され、上記の映像制御指令情報に基づく関連映像の表示制御指令が、把握した再生タイミングと同期した形でなされるよう楽曲再生端末に対して発動される。楽曲再生のタイミングを基準に映像操作者の映像表示制御入力タイミングを把握し、配信楽曲をストリーム再生する楽曲再生端末にその映像制御の実行タイミングを指令するように構成することで、映像操作者の意図通りのタイミングにて楽曲再生端末側の映像表示制御を実施することが可能となる。

Description

楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム
　この発明は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、その楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにする楽曲配信システム、楽曲配信方法及び楽曲配信プログラムに関するものである。
　イベント会場や音楽ラウンジなどにおいて、会場内にリズム感の良い音楽が流れ、会場内のスクリーンに音楽と同期した映像が流れることも多い。このような場所では、会場内の音楽についてはディスクジョッキー（以下、「ＤＪ」と略称する）が主に担当し、映像についてはビジュアルジョッキー（ビデオジョッキーとも呼ばれることもある：以下、ＶＪと称する）が主に担当する。ＤＪは音楽を切り替えてつないだり、合成するなどの操作により、聴覚を通じて客（オーディエンス）に高揚感を与え、ＶＪは音楽と同期したリズムで、様々な内容を有する短い映像素材や様々な図形、文字、背景色などを合成して視覚を通じてオーディエンスに高揚感を与え、客が気分よく踊ったりたたずんだりすることを容易にさせている。このように、音楽と同期した映像で、瞬間的にリズムが変化する音楽に合わせて瞬時に映像を次々と変化させ、かつ、見ている者に高揚感や爽快感を与える。他方、近年はスマートフォンなどの携帯端末に音楽を配信するサービスが普及しており、上記のようなディスクジョッキー番組形式のサービスを、複数の楽曲のストリーミング配信サービスにより実現しようとする試みがある。この場合、楽曲に同期する映像をクリッピングして同時配信することも行われている（例えば、特許文献１、２）。
　上記特許文献１及び２に開示された方式では、楽曲に同期する映像のファイルは楽曲ファイルとの間で再生タイミング情報を予め共有したクリッピングファイルが使用され、ＤＪによる選曲再生時には、共有されている再生タイミング情報に従って楽曲と映像との再生同期が図られている。一方、特許文献３には、ステージ上で繰り広げられる音楽ライヴの音声及び映像をインターネットを通じて携帯端末に配信するとともに、携帯端末から入力されるユーザーコメントを配信画像上にリアルタイムに反映・表示させるシステムが開示されている。
特開２００７－　８６４８４号公報 特開２００７－２４１６５２号公報 特許６０３９９１５号公報
　ディスクジョッキー番組の現場において、楽曲に重ね合わせる映像の再生制御がＶＪにより行われる場合、ＶＪは映像機材を操作しつつ、楽曲に応じて映像を手動により切り替え選択しつつ再生する。この場合、映像ファイルは楽曲ファイルとクリッピングされていない、独立したものが使用される。また、サウンドビジュアライザーなど再生音に合わせてその場で表示内容が変化する映像出力が用いられる場合は、事前に用意された映像ファイル自体が存在しないこともある。
　楽曲に合わせて映像を表示したり切り替えたりするタイミングはＶＪの人的判断に委ねられており、映像と音声の同期もＶＪの判断および操作に支配される。例えばＤＪとＶＪが同じスタジオに詰め、お互いがオンサイトで意思疎通しながら楽曲再生と映像再生とを連携させて番組進行を図り、そのスタジオでの映像と音声が同期担保されつつ放送配信されるとき、聴取者（オーディエンス）は楽曲と映像とのコラボレーションを最高の状態で享受することができる。
　他方、インターネット環境が発達した近年、楽曲や映像が個別の聴取者（オーディエンス）にストリーミング配信されるサービス形態が急速に普及しつつある。その特性を利用すれば、ＤＪが配給者からダウンロードした楽曲をＤＪ側の端末でストリーム再生しつつ、これをモニタリングするＶＪが映像再生を異なる端末上で行い、それぞれ音声と映像をインターネット上に各端末からアップロードする形でストリーム配信することで、映像がコラボレーションしたＤＪ番組をバーチャルに実現できると考えられる。
　しかし、周知のごとく、インターネット上のデータ転送には、通信容量逼迫などを背景としたさまざまな遅延要素が存在するので、異なる端末から配信される音声と映像をＤＪないしＶＪの意図通りにリアルタイム同期させることは望むべくもない。例えば、特許文献１では映像と楽曲とは初めからクリッピングされたストリームファイルが使用されているに過ぎず、他方、特許文献２には、携帯端末のユーザが自身の端末上で、もともと連関していない映像ファイルと楽曲ファイルとを収集し、楽曲ファイルのタイムスタンプを用いて映像ファイルを後付けクリッピングして番組として構成し、これを再配信する構成も開示されているが、楽曲と映像のクリッピングは同一端末上で行われている。すなわち、いずれの場合も、ＤＪの選曲に合わせて映像を別端末からリアルタイムに同期させつつ配信する点については言及されていない。また、特許文献３は、ステージ上の演奏風景を音声ととともにビデオ撮影したものが配信されるのであって、データに基づく再生映像及び再生音声のクリッピングを配信時に行なうものではない。
　本発明の課題は、再生中の楽曲に対し人為的操作によりその場で映像を付加してストリーム配信サービスを行う場合においても、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができる楽曲配信システム、楽曲配信方法及び楽曲配信プログラムを提供することにある。
　上記課題を解決するために、本発明の楽曲配信システムは、
　配信対象となる楽曲データを公共通信網にストリーム配信する楽曲配信部と、
　公共通信網を介して楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、楽曲の再生時に関連映像を表示させる映像表示部とを備えた楽曲再生端末と、
　楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
　公共通信網を介して映像制御指令情報を取得する映像制御指令情報取得部と、映像操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握する楽曲再生タイミング把握部と、映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させる映像同期制御指令部と、を有する映像管理部と、を備えたことを特徴とする。
　また、本発明の楽曲配信方法は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにした楽曲配信方法であって、
　楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出し、
　公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させることを特徴とする法。
　さらに、本発明の楽曲配信プログラムは、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるための楽曲配信プログラムであって、
　楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出するステップと、
　公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させるステップと、をコンピュータに実行させるものである。
　上記の構成においては、映像制御指令部において楽曲のストリーム配信中に映像操作者（例えば、前述のＶＪ）による映像操作入力がなされ、その入力に基づく映像制御指令情報が公共通信網に送出される。そして、映像制御指令部において、制御操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングが把握され、上記の映像制御指令情報に基づく関連映像の表示制御指令が、上記把握した再生タイミングと同期した形でなされるよう楽曲再生端末に対して発動される。すなわち、楽曲再生のタイミングを基準に映像操作者の映像表示制御入力タイミングを把握し、配信楽曲をストリーム再生する楽曲再生端末にその映像制御の実行タイミングを指令するように構成することで、映像操作者の意図通りのタイミングにて楽曲再生端末側の映像表示制御を実施することが可能となる。その結果、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができるようになる。
　楽曲データは再生時のデータビットの時系列的な出力タイミングを個々に記述した再生タイミング情報が組み込まれたものとして構成できる。前述の楽曲再生タイミング把握部は、上記の再生タイミング情報に基づいてストリーム配信中の楽曲の再生タイミングを把握するように構成できる。再生中の楽曲の再生タイミング情報を利用することで、映像操作者による映像操作入力のタイミングをより正確に把握することができる。
　楽曲配信部は、楽曲配信部は、複数の楽曲データを順次ストリーム配信するものとして構成できる。この場合、映像制御指令情報は、楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものとできる。
　上記の構成によると、映像操作者が、順次ストリーム再生される楽曲を聞きながら、ある楽曲（第一の楽曲）から次の楽曲（第二の楽曲）に切り替わるタイミング（例えば第二の楽曲の再生開始タイミング）で、表示中の関連映像（第一の関連映像）を同様に別の関連映像（第二の関連映像）に切替え操作したとき、その映像切替えの操作入力タイミングが楽曲の再生タイミングを基準に把握され、これに基づいて楽曲再生端末に対する映像切替え指示がなされる。その結果、楽曲再生端末における楽曲再生の切替えと映像切替えとの同期を問題なく図ることができる。
　関連映像は、例えば表示オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを楽曲の再生音と同期して変化させるサウンドビジュアライザーの出力映像とすることができる。この場合、映像制御指令情報は、サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報を含むように構成できる。
　サウンドビジュアライザーは再生楽曲の音声入力を受けて視覚的な映像を生成する一種の映像生成モジュールであり、映像表示するべき端末にサウンドビジュアライザーのモジュールをソフト的に組み込んでおくことで、音声入力を利用して端末側で映像を生成出力できる。その結果、サイズの大きい動画ファイルの転送処理や再生処理に伴う処理負荷を大幅に軽減できる。また、映像は抽象的ではあるが、再生楽曲の音響スペクトルに直接的に反応し、曲の強弱、音高、テンポなどにきめ細かく対応した特徴的な演出が可能である。しかし、音響入力に対する反応が鋭敏である分、楽曲再生との同期がずれた場合、その不具合を聴取者に悟られやすくなる。そこで、上記のごとく、映像制御指令情報に、楽曲切替に対応してサウンドビジュアライザーの種別を切り替えるサウンドビジュアライザー切替指示情報を含ませておくことで、楽曲に合わせて映像操作者が行う映像切替を楽曲再生端末側においても忠実なタイミングにて反映させることができ、こうした不具合を効果的に解消することができる。
　次に、楽曲再生端末には、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備え、
　映像管理部は、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ画像データを、関連映像のデータとして記憶する盛上げ画像データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する盛上げ画像送出部とを設けることができる。楽曲再生端末には、盛り上げ画像データと表示制御指令情報とに基づき盛上げ画像を映像表示部に表示させる盛上げ画像表示制御部を設けることができる。
　上記の構成によると、聴取者が保有する楽曲再生端末に配信楽曲に対する評価入力部が設けられており、再生楽曲に対し聴取者が高い好感を示した場合に、該端末から肯定的な評価情報が入力・送信され、映像制御指令部にてこれが取得される。そして、評価情報の受信状態が予め定められた条件、特に聴取者が高い好感を示したと考えられる条件が到来したとき、効果的に盛上げ画像を表示でき、楽曲配信サービスのイベント性をより高めることができる。
　また、盛上げ画像表示制御部は、評価情報が肯定的内容を有していた場合に、盛上げ画像を関連映像に重ねて表示させるように構成してもよい。本発明の場合、楽曲のストリーム再生と関連映像の表示とをコラボレーションさせることが大きな目的の一つであり、盛上げ画像を表示するタイミングにおいても関連映像にこれを重ね表示により継続することは、関連映像と楽曲との一体不可分性を聴取者に意識させることができる。
　なお、再生楽曲に対し聴取者が高い好感を示した場合に、盛上げ画像とともに、又は盛上げ画像とは別に、盛上げ音声が出力されるように楽曲再生端末を構成してもよい。盛上げ音声は、例えば拍手、歓声、指笛音などの効果音である。これにより、楽曲配信サービスのイベント性をより高めることができる。この場合の構成も、楽曲再生端末は、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備える。また、楽曲配信システムは、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ音声データを音声出力制御指令情報とともに楽曲再生端末に送出する盛上げ音声情報送出部とを備えるように構成する。そして、楽曲再生端末には、盛上げ音声データと音声出力制御指令情報とに基づき盛上げ音声を出力させる盛上げ音声出力部が設けられる。
　次に、楽曲配信部は、
　選曲操作者が選択する複数の番組楽曲を楽曲再生端末に順次配信し再生させるために、公共通信網を介して番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、選曲操作者による選曲再生操作入力を受け付ける選曲再生操作入力部と、該選曲再生操作入力部への入力内容に基づいて、各番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報を作成する再生制御指令情報作成部と、再生制御指令情報を公共通信網に送出する再生制御指令情報送出部とを備えた選曲再生制御指令部と、
　番組楽曲の楽曲データの楽曲再生端末への配信を楽曲配信元サーバに指示する番組楽曲配信指示部と、番組楽曲について作成される再生制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信管理部とを備え、
　楽曲再生端末は、番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、番組楽曲に対応する再生制御指令情報を楽曲配信管理部より取得する再生制御指令情報取得部と、再生制御指令情報が示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備えるものとして構成できる。
　番組形式の楽曲配信においては、選曲操作及び楽曲の再生条件入力を司る選曲操作者（特に、ＤＪ）の果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件（後述するごとく、例えば音質、テンポ、音程、かける曲を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。この課題を解消する最も簡単な方法は、選曲操作者が取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを聴取者に再配信する方式である。
　しかし、この方式には次のような大きな欠点がある。
（１）サイズの大きい楽曲ファイルを、楽曲配信元サーバ→選曲操作者及び選曲操作者→聴取者（一般に多数）の２段階にてファイルアップロード及びダウンロードを実行しなければならず、公共通信網の容量を圧迫する問題を生じやすい。
（２）楽曲提供者が運営する楽曲配信元サーバからの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。
（３）配信楽曲の多くは圧縮ファイル形式でダウンロードされ、これを非圧縮ファイルにデコードした後再生に供する。再生条件を変更した状態で聴取者に再配信するには、一旦圧縮ファイルをデコードした後、再生条件変更のためのファイル加工を施し、その後再度圧縮ファイルにエンコードして聴取者に再配信することになるので、そのファイル変換処理に多大な処理負荷を要し、楽曲再生同期の遅延要因となる。
　しかし、上記の方式によると、聴取者と選曲操作者は楽曲データを楽曲配信元サーバから直接ダウンロードする形で取得する一方、選曲操作者から聴取者向けにアップロードされるのは、再生条件を反映した楽曲データの加工ファイルではなく、該再生条件を含んだサイズの小さい再生制御指令情報である。したがって、加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングが選曲操作者の意図通りに反映されるので、配信される番組の品質も高度に担保することができる。また、楽曲配信元サーバからの楽曲データの配信は、各々契約者となる聴取者と選曲操作者に向けてのもののみとなるので、楽曲提供者の意図に反した二次配信の問題も回避できる。さらに、楽曲データの再生条件変更に必要な加工ファイル作成のエンコード・デコード処理の負荷も生じない。
　上記の構成においても、楽曲データは再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、再生制御指令情報作成部は、選曲再生操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。番組再生制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、再生条件が示す制御タスクを再生中の楽曲データに対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて選曲再生操作入力のタイミングを特定し、これを再生条件とともに楽曲再生端末に送信することで、選曲操作者の意図をより正確に反映した再生制御を楽曲再生端末にて実施することが可能となる。
　この場合、再生制御指令情報作成部は、再生楽曲の音量、音質、テンポないし音程の少なくともいずれかにかかる設定・変更入力操作がなされたときの楽曲の再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。ＤＪなどの選曲操作者が楽曲の再生進行に合わせて実行する音量、音質、テンポないし音程の設定変更は楽曲の演奏行為にも匹敵する重要な操作である。上記構成では、その選曲操作者による操作が聴取者側での楽曲再生に反映される同期性が高められ、配信番組の付加価値を大いに高めることに貢献する。
　また、ＤＪなどの選曲操作者が行う別の重要な操作に、曲を次々と変えて再生する際のつなぎに行うミキシング操作がある。このミキシング操作を聴取者側での楽曲再生に忠実に反映させる上で、次のような構成を採用すると効果的である。すなわち、再生条件が示す制御タスクが、先行楽曲の再生途中にて後続楽曲を先行楽曲にミキシングしつつ再生させる制御に関するものである場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされたときの先行楽曲の再生位置を示す再生タイミング情報を楽曲ミキシング開始タイムスタンプとして取得するものとする。そして、番組再生制御部は、先行楽曲の再生開始後、再生制御指令情報に含まれる楽曲ミキシング開始タイムスタンプが示す再生位置が到来するに伴い、後続楽曲の再生を先行楽曲とミキシングしつつ開始させるように構成する。
　上記のように構成すると、後続楽曲を先行楽曲にミキシングするときの後続楽曲の再生開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎにかかる選曲操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。
　この場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされた後の先行楽曲とのミキシング再生期間中において、両楽曲のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示すミキシング条件をタイムスタンプと対応付けて再生制御指令情報として作成するように構成できる。番組再生制御部は、ミキシング再生期間中においてタイムスタンプが示す再生位置が到来するに伴い、上記のミキシング条件にて後続楽曲と先行楽曲とをミキシングしつつ再生させるものとできる。これにより、後続楽曲の再生開始タイミングだけでなく、曲の重なり再生部分におけるミキシング条件についても、選曲操作者の操作設定内容を聴取者側での楽曲再生によりきめ細かく反映できる。より具体的には、選曲再生操作入力部が、操作位置に応じて後続楽曲と先行楽曲とのミキシング比率を連続的に変更可能な楽曲クロスフェード入力部を備える場合、再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率をミキシング条件にかかる情報として作成するように構成できる。曲のつなぎ目における選曲操作者のスムーズなクロスフェード操作を聴取者側での楽曲再生にきめ細かく反映することができる。
　本発明の楽曲配信システムにおいて再生制御指令情報作成部は、再生中の楽曲の特定情報と再生条件とを取得しつつ、それら情報の取得時刻を示す再生タイミング情報と対応付けてスナップショット情報を作成するものとして構成できる。楽曲配信管理部は、上記スナップショット情報を取得して楽曲再生端末に転送するスナップショット転送部を有するものとし、楽曲再生端末の番組再生制御部は、転送されるスナップショット情報を取得するとともに、該スナップショット情報に基づいて、楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を設けることができる。楽曲再生端末にてストリーム再生される楽曲と再生条件実行の同期タイミングに万一ずれが生じた場合にあっても、上記のスナップショット情報を定期的に取得して楽曲再生端末に転送し、補正処理を実施することで、再生楽曲に対する再生条件実行の同期タイミングを容易に修正することができる。また、配信番組が楽曲再生端末にて途中から聴取開始された場合などにおいても、スナップショット情報を用いて現在の番組進行位置を容易に把握することができ、楽曲再生端末における楽曲データのストリーミング再生を追随させる補正が可能となる。
　さらに、上記の構成においては、映像制御指令部は、選曲操作者が順次選択し再生する番組楽曲をモニタリングする番組楽曲モニタリング部と、番組楽曲に対応する関連映像としての複数の番組映像を取得する番組映像取得部と、選曲操作者による番組映像の選択及び表示制御操作を受け付ける映像操作入力部と、映像操作入力部への入力操作の内容に基づいて、各番組映像の表示タイミング及び表示条件を含んだ映像制御指令情報を作成する映像制御指令情報作成部と、映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備え、楽曲配信管理部は、映像制御指令情報作成部が作成する映像制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する映像制御指令情報取得・転送部を備えるものとして構成できる。楽曲再生端末は、番組映像を取得する番組映像取得部と、番組楽曲に対応する映像制御指令情報を取得する映像制御指令情報取得部と、映像制御指令情報が示す表示タイミング及び表示生条件に従い番組映像を映像表示部に対し順次表示させる映像制御部を備えるように構成する。
　上記のような番組進行においては、映像選択操作及び映像の表示条件入力を司る映像操作者（特に、ＶＪ）の果たす役割も同様に重要である。そして、映像操作者が実行する映像の表示開始や表示条件（後述するごとく、表示映像を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが必要となる。この課題も、映像操作者が取得する映像に対し、表示順や表示タイミング、及び表示条件をすべて反映させる加工を行い、その加工後の映像データファイルを聴取者に再配信すれば解決できるが、公共通信網の容量を圧迫する問題を同様に生じやすい。
　しかし、前述の方式によると、映像操作者から聴取者向けにアップロードされるのは、再生条件を反映した映像データの加工ファイルではなく、表示条件を含んだサイズの小さい映像制御指令情報である。したがって、映像加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での映像表示に際し、転送されてくる映像制御指令情報により、表示開始タイミングや表示条件の設定・変更の内容及びタイミングを像操作者の意図通りに反映することができる。
　上記の構成においても、楽曲データはストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものとすることができ、映像制御指令情報作成部は、映像操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、映像操作入力部への入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するようにできる。映像制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、表示条件が示す映像表示タスクを、表示中の番組映像に対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて映像操作入力のタイミングを特定し、これを表示生条件とともに楽曲再生端末に送信することで、映像操作者の意図をより正確に反映した映像表示制御を楽曲再生端末にて実施することが可能となる。
　また、ＶＪなどの映像操作者が行う別の重要な操作に、映像を曲に合わせて次々と変えて再生する際のつなぎに行う映像ミキシング操作がある。この映像ミキシング操作を聴取者側での楽曲再生に忠実に反映させるために、次のような構成を採用すると効果的である。すなわち、表示条件が示す映像表示タスクは、先行映像の表示途中にて後続映像を先行映像にミキシングしつつ表示させるものとし、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始タイムスタンプとして取得するものとする。映像制御部は、先行映像の表示開始後、再生制御指令情報に含まれる映像ミキシング開始タイムスタンプが示す先行楽曲の再生位置が到来するに伴い、後続映像の表示を先行映像とミキシングしつつ開始させるものとする。
　上記のように構成すると、後続映像を先行映像にミキシングするときの後続映像の表示開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎに合わせた映像切替における映像操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。
　この場合、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされた後の先行映像とのミキシング表示期間中において、両映像のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示す映像ミキシング条件をタイムスタンプと対応付けて映像制御指令情報として作成するように構成できる。また、映像制御部は、ミキシング表示期間中においてタイムスタンプが示す番組楽曲の再生位置が到来するに伴い、ミキシング条件にて後続映像と先行映像とをミキシングしつつ再生させるものとする。これにより、映像ミキシング条件についても、映像操作者の操作設定内容を聴取者側での楽曲再生及び映像表示に対し、よりきめ細かく反映できる。より具体的には、映像操作入力部は、操作位置に応じて後続映像と先行映像とのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備えるものとし、映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を映像ミキシング条件にかかる情報として作成するものとできる。映像操作者のスムーズな映像クロスフェード操作を聴取者側での楽曲再生に合わせてきめ細かく反映することができる。
　本発明の作用及び効果の詳細については、「課題を解決するための手段」の欄にすでに記載したので、ここでは繰り返さない。
本発明の楽曲配信システムの一例を示すブロック図。 楽曲配信・映像管理部の内部構成の一例を示すブロック図。 ＤＪ司令部の内部構成の一例を示すブロック図。 ＶＪ司令部の内部構成の一例を示すブロック図。 楽曲再生端末をなす携帯端末の内部構成の一例を示すブロック図。 ＤＪ司令部（選曲再生制御指令部）のモニタ画面の表示例を示す図。 図３の操作パネルレイヤを抽出して描いた図。 同じくサウンドビジュアライザ（関連画像）の表示レイヤを抽出して描いた図。 同じく盛上げ画像（関連画像）の表示レイヤを抽出して描いた図。 ＶＪ司令部（映像制御指令部）のモニタ画面の表示例を示す図。 楽曲ストリーミング配信中の携帯端末の画面表示例を示す図。 楽曲再生制御処理の流れを示すタイミングチャート。 映像制御処理の流れを示すタイミングチャート。 ＤＪコマンド（再生制御指令情報）の例を示す図。 楽曲ストリーミング配信時の各データの対応関係を示す模式図。
　以下、本発明の実施の形態を添付の図面に基づき説明する。
　図１は、本発明の楽曲配信システムの位置構成例を示すブロック図である。楽曲配信システム１は、公共通信網としてのインターネット１００により相互に接続される楽曲配信元サーバ１０２、楽曲配信・映像管理部１０１、ＤＪ司令部（選曲再生制御指令部）１０３、ＶＪ司令部（映像制御指令部）１０４、携帯端末（楽曲再生端末：本実施形態ではスマートフォン）１５０などを含んで構成される。携帯端末１５０は楽曲再生端末として使用され、携帯電話基地局１０６とのパケット通信を介してインターネット１００に接続される。
　楽曲配信・映像管理部１０１は楽曲配信管理部と映像管理部との主機能を担うコンピュータユニットとして構成され、マイコン３０を処理主体として備えている。マイコン３０は、ＭＰＵ３１、プログラム実行領域となるＲＡＭ３２、ＲＯＭ３３、入出力部２９及びそれらを相互に接続するバス３４等からなる。また、バス３４にはハードディスクドライブ３５が接続され、ここに配信システムソフト１０１ａがインストールされている。配信システムソフト１０１ａは、楽曲配信管理部１０１の、請求項に記した楽曲配信管理部及び映像管理部の以下の機能を実現するためのソフトウェアコンポーネント１０１ｂ～１０１ｅを含んで構成されている。
・楽曲取得指示機能実現部１０１ｂ
　番組楽曲配信指示部：番組楽曲の楽曲データの携帯端末１５０への配信を楽曲配信元サーバに指示する。
・ＤＪ／ＶＪコマンド転送機能実現部１０１ｃ
　再生制御指令情報取得・転送部：インターネット１００を介し、後述のＤＪ司令部１０３（選曲再生制御指令部）にて番組楽曲ごとに作成されるＤＪコマンド（再生制御指令情報）を取得し、携帯端末１５０に転送する。
　映像制御指令情報取得・転送部：インターネット１００を介して、後述のＶＪ司令部１０４（映像制御指令部）にて作成されるＶＪコマンド（映像制御指令情報）を取得し、携帯端末１５０に転送する。
・スナップショット機能実現部１０１ｄ
　スナップショット転送部：ＤＪ司令部１０３で取得されるスナップショット情報を取得して携帯端末１５０に転送する。
・盛上げ画像表示機能実現部１０１ｅ
　評価情報受信部：携帯端末１５０からの評価情報を受信する。
　盛上げ画像送出部：評価情報の受信状態が予め定められた条件を充足する場合に、楽曲の再生を盛り上げるための盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する。
　また、ハードディスクドライブ３５には、上記の盛上げ画像データ１０１ｆと、該盛上げ画像データとともに出力することが予定された盛上げ音声の音源データ１０１ｇ（以下、盛上げ音源データ：例えば拍手、歓声、指笛音など）が記憶されている。図９は盛上げ画像の一例を示すものであり、この実施形態では花火のアニメーション映像が採用されている。
　楽曲配信元サーバ１０２は大容量データの記憶・蓄積が可能な一般的なコンピュータサーバ（インターネット接続された複数のコンピュータ群よりなるクラウドサーバであってもよい）により構成され、配信対象となる多数の楽曲データが蓄積された楽曲データベース１０２ａを有する。
　ＤＪ司令部１０３はコンピュータユニットとして構成され、マイコン５０を処理主体として備えている。マイコン５０は、ＭＰＵ５１、プログラム実行領域となるＲＡＭ５２、ＲＯＭ５３、入出力部４９及びそれらを相互に接続するバス５４等からなる。また、バス５４にはハードディスクドライブ５５が接続され、ここに選曲再生制御指令部の主機能を実現するＰＣＤＪソフト１０３ａがインストールされている。また、ハードディスクドライブ５５には、番組楽曲データ取得部及び再生制御指令情報送出部の機能を実現するための通信ソフト１０３ｂが同様にインストールされている。マイコン５０の入出力部４９には、番組楽曲モニタリング用のスピーカ６０がオーディオアンプ５９（入力側のＤ／Ａ変換部は図示略）を介して、さらにＤＪのトークを集音するためのマイク６１がＡ／Ｄ変換部６２を介してそれぞれ接続されている。
　さらに、入出力部４９には、選曲再生操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能するモニタ５６が表示インターフェース５７を介して接続されている。また、入出力部４９には、選曲再生操作入力部としてのＤＪコマンド入力部５８が接続されている。本実施形態では、ＤＪコマンド入力部５８は入力ＧＵＩを表示するモニタ５６に重ね配置されるタッチパネルとしてＤＪコマンド入力部５８を構成しているが、市販のＰＣＤＪコントローラを用いてもよい。
　図６は、ＤＪ司令部１０３のモニタ５６（タッチパネル（ＤＪコマンド入力部）５８が重ねられている）の表示画面を示している。この画面は、操作パネル５６ａ、関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像５６ｃの各表示レイヤが透視形態で重ね表示されたものである。図７は、操作パネル５６ａのレイヤを抜き出して示すものであり、アナログＤＪコンソールをイメージして各コンポーネントがレイアウトされている。なお、ＰＣＤＪソフトの機能自体は公知であるので、以下に概略のみを説明する。
　取得する番組楽曲はパネルの左右コラムに１曲ずつ、計２曲がロードされるようになっており、右側の楽曲Ａと左側の楽曲Ｂの選曲・再生のための制御入力コンポーネントが独立して操作できるようになっている。以下、左側のコラムについて説明する。コラムの最上位置にはダウンロードした楽曲のタイトル（及びアーチスト名）３０１Ａが表示され、その下には楽曲再生位置を示すタイミングバー３０２Ａが表示されている。その下に形成されているのは、音量・音質の調整パネルであり、低域（ＬＯＷ）、中域（ＭＩＤ）及び高域（ＨＩ）の２つの周波数帯域の音声波形成分の各ゲインをコントロールするためのつまみ３０４Ａを有したグラフィックイコライザパネル３０３Ａと、全体音量をコントロールするためのつまみ３０６Ａを有したボリュームパネル３０５Ａが含まれる。また、コラムの最下部には楽曲の再生・停止ボタン３１１Ａ、巻き戻しボタン３１６Ａ、左右の曲のビートを同期させる同期ボタン３１７Ａが形成されている。
　また、左右のコラムの操作パネルレイアウトは、メニューアイコン群３１８Ａの所望のものをタッチすることにより異なるテーマのものに随時切り替えることができる。例えば、選曲及びロードの操作は選曲用の別パネル（非図示）に切り替えて、指で選曲リストをスクロールし、曲を選んでタッチするなどの公知の操作に実行できる。
　右側のコラムの構成も全く同じであるが、ＤＪが左右の手で別々に操作することの利便性を考慮し、各操作部が左右反転してレイアウトされている。各部の説明は、末尾のアルファベットを「Ａ」から「Ｂ」に替えつつ、左側コラムの対応するものと同一番号の符号を付与して説明を略する。
　また、左右のコラムの間のスペースには、上から再生タイミングデジタル表示部３１５、機能選択用のアイコン（説明略）、楽曲のＷＡＶＥファイル（非圧縮ＰＣＭ波形データファイル）の波形ウィンドウ３０７Ａ，３０７Ｂとこれに重畳表示される再生位置バー３０８及びクロスフェード入力部３０９が形成されている。クロスフェード入力部３０９は操作バー３１０の（例えば、左右への）スライド操作が可能であり、右側の楽曲と左側の楽曲の音声データがその操作位置に応じたゲイン比率にてデジタル的にミキシングされる。操作バー３１０を左端に移動させると楽曲Ｂの音量がゼロとなって楽曲Ｂだけが再生され、右端に移動させるとその逆となる。また、中間の操作位置では両者の音がミックスされた状態となる。そして、先行して再生されているのが楽曲Ａの場合、操作バー３１０を左端に移動させた状態で、そのエンディング付近で楽曲Ｂの再生を開始し、操作バー３１０を右端にまで適当な速度でスライドさせると、楽曲Ａがフェードアウトし、楽曲Ｂの冒頭部がフェードインしつつこれに重ねてつながれるクロスフェード効果が得られるようになっている。
　ＤＪ司令部１０３の操作パネル５６ａからの入力情報は、操作が実行されるごとに、その操作位置も含めて全てＤＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。
　図１４は、本実施形態にて採用されているＤＪコマンドの関係イベントのリストを示している。末尾のスナップショットイベント（後述）以外のものは公知であるため、詳細は略する。いずれも、一旦発行されたＤＪコマンドの実行状態は、次の操作変更が実行されるまで継続される。
　また、図４に示すごとく、ＶＪ司令部１０４もコンピュータユニットとして構成され、マイコン７０を処理主体として備えている。マイコン７０は、ＭＰＵ７１、プログラム実行領域となるＲＡＭ７２、ＲＯＭ７３、入出力部６９及びそれらを相互に接続するバス７４等からなる。また、バス７４にはハードディスクドライブ７５が接続され、映像制御指令部の主機能を実現するＰＣＶＪソフト１０４ａがインストールされている。マイコン７０の入出力部４９には、番組映像取得部及び映像操作入力部のＧＵＩ部分を構築するとともに関連映像の表示部として機能するモニタ７６が表示インターフェース７７を介して接続されている。また、入出力部６９には、映像操作入力部としてのＶＪコマンド入力部７８が接続されている。本実施形態では、ＶＪコマンド入力部７８は入力ＧＵＩを表示するモニタ７６に重ね配置されるタッチパネルとして構成している。他方、入出力部６９には、番組楽曲モニタリング部としてのスピーカ８０がオーディオアンプ７９（入力側のＤ／Ａ変換部は図示略）を介して接続されている。
　ハードディスクドライブ７５には、サウンドビジュアライザー１０５ｃのモジュールが（複数組）インストールされている。さらに、ハードディスクドライブ７５には、番組楽曲データ取得及び映像制御指令情報送出の各機能を実現するための通信ソフト１０４ｂが同様にインストールされている。
　サウンドビジュアライザーのモジュール１０５ｃは公知のアルゴリズムに従い構築されている。概略は、周知の高速フーリエ変換等を用いたアルゴリズムにより、入力される楽曲再生音声の周波数スペクトラムを解析し、その解析結果（各周波数成分クラスの存在比率等）に応じて、あらかじめ用意されている画像オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを再生音と同期して変化させつつ映像出力するものである。個々のサウンドビジュアライザーのモジュール１０５ｃは、周波数スペクトラム解析と画像オブジェクトの表示制御だけを行なうエンジンであって、そのサイズは数１０ｋＢ～１ＭＢ程度までの小容量のプログラムファイルである。
　図８は、サウンドビジュアライザーの一例を示すものであり、音声入力の波形を反映して変化する波形映像と３５１と、その背景に重畳されるカラーグラデーション画像３５０とからなり、カラーグラデーション画像３５０の色調及びグラデーション分布が入力音声の周波数により、同じく明るさが入力音声波形の振幅により、音声と同期して変化する。
　図１０は、ＶＪ司令部のモニタ７６（タッチパネル７８が重ねられている）の表示画面を示している。この画面もＶＪ操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。
　ＶＪ操作パネルの下部には選択可能な関連映像として、複数のサウンドビジュアライザーの選択アイコン群３７０が表示されている。また、その上方には選択したサウンドビジュアライザーのロードエリア３７１Ａ，３７１Ｂが形成されている。これは、ＤＪ司令部１０３と同様に、２つのサウンドビジュアライザーを同時選択できるようにするためである。本実施形態では、選択アイコン群３７０から所望のものを指で選択し、ロードエリア３７１Ａないし３７１Ｂまでドラッグすることで選択が完了する。これは、表示するべき映像の決定するための映像操作入力の一つである。さらに、サウンドビジュアライザーモジュールはロードされた後、楽曲再生音の入力と同期して自動的に映像出力を開始するものであり、種類によっては、音入力の待ち受け状態から映像出力する形態のものもある。したがって、サウンドビジュアライザーモジュールのローディングにかかる上記操作は、実質的に映像表示開始を指示するための映像操作入力であるともいえる。
　選択され、ロードされた２つのサウンドビジュアライザーは音声入力待機状態となり、楽曲の演奏が開始されるとこれに反応して映像表示エリア７６Ｍ内にて出力映像を変化させる。映像表示エリア７６Ｍの下方には映像クロスフェード入力部３１９が形成されている。映像クロスフェード入力部３１９は主要な映像操作入力部をなすものであって、操作バー３２０のスライド操作が可能であり、選択された２つのサウンドビジュアライザーの映像フレームがその操作位置に応じた比率にてデジタル的にミキシングされる。このミキシングは、例えばフレーム間の対応する画素の設定値同士を、操作位置に応じて線形結合演算することで実施できる。
　例えば操作バー３２０を左端に移動させるとサウンドビジュアライザー３７１Ａだけが表示され、右端に移動させるとその逆となる。また、中間の操作位置では２つのサウンドビジュアライザーの映像が重ねてミックスされた状態となる。そして、先行して表示されているのがサウンドビジュアライザー３７１Ａの映像である場合、操作バー３１０を左端に移動させた状態で、操作バー３１０を右端にまで適当な速度でスライドさせると、映像Ａがフェードアウトし、映像Ｂがフェードインしつつ切り替わる映像クロスフェード効果が得られる。なお、映像は曲の切れ目で切り替えることもできるし、曲の途中で切り替えることもできる。
　このほか、図示はしていないが、サウンドビジュアライザー３７１Ａの明るさや色調の変更設定や、映像変形などを行なうための他の映像操作入力部を設けておき、表示中の映像に対して随時映像操作入力を実施できるように構成することも可能である。また、任意の演出画像のデータをＶＪ司令部１０４側で用意しておき、該演出画像を随時表示出力させるための演出画像表示ボタンを映像操作入力部として設けておくことも可能である。
　ＶＪ司令部１０３の操作パネルからなされる映像操作入力の入力情報は、操作が実行されるごとに、その操作位置も含めて全てＶＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。また、ＶＪ司令部１０３で選択されたサウンドビジュアライザーモジュールは、インターネット１００を経由して、配信楽曲が再生中の携帯端末１５０に送信される。
.
　次に、図５は、携帯端末１５０の電気的構造を示すものである。携帯端末１５０は、ＣＰＵ１５２、メモリ１５３、入出力部１５４がバス１５５で接続されたマイコン１５１を有する。メモリ１５３には携帯電話端末１５０の動作環境を構築するためのＯＳ（図示せず）と、ＤＪ及びＶＪが主導する番組の再現環境を実現しつつ楽曲の圧縮データファイルを展開してデジタル再生するための携帯端末アプリ１５３ａが格納されている。また、ＲＡＭ１５１には上記のアプリの実行エリア１５１ａ、再生に供する楽曲データをバッファリングする楽曲バッファエリア１５１ｂ、関連映像の表示生成エンジンであるサウンドビジュアライザーモジュールの格納エリア（以下、ＳＶＳＬ格納エリアという）１５１ｃ、サウンドビジュアライザーの映像と前述の盛上げ画像とを合成して表示するための画像合成エリア１５１ｄなどが形成されている。
　また、入出力部１５４には、液晶パネルないし有機ＥＬパネルよりなるモニタ１５６（映像表示部）、タッチパネル１５７及びその入力インターフェース１５８、無線通信インターフェース１５９、振動センサ１６０などが接続されている。また、楽曲再生部として、スピーカ１６１がアンプ１６２（入力側のＤ／Ａ変換部は図示略）を介して接続されている。
　モニタ１５８は端末操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能する。また、タッチパネル１５７は入力部を構成するものであり、本実施形態においては評価入力部としても機能する。
　無線通信インターフェース１５９はインターネット１０２を介して楽曲データを受信する役割を果たす。また、携帯端末アプリ１５３ａは、請求項に記載した下記の各部を機能実現するものである。
番組楽曲データ取得部：番組楽曲の楽曲データを楽曲配信元サーバから取得する。
選曲再生制御情報取得部：番組楽曲に対応するＤＪコマンド（選曲再生制御情報）を楽曲配信・映像管理部１０１を経由してＤＪ司令部１０３より取得する。
番組再生制御部：ＤＪコマンドが示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを順次連続的にストリーム再生させる。
番組映像取得部：関連映像である番組映像を取得する。
映像制御指令情報取得部：番組楽曲に対応するＶＪコマンド（映像制御指令情報）を楽曲配信・映像管理部１０１を経由してＶＪ司令部１０４より取得する。
映像制御部：ＶＪコマンドが示す表示タイミング及び表示条件に従い番組映像を順次表示させる。
　図１０は、携帯端末１５０のモニタ１５６（タッチパネル１５７が重ねられている）の表示画面を示している。この画面は、携帯端末１５０にてダウンロードした携帯端末アプリ１５３ａを立ち上げることにより表示されるものであり、端末操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。他方、下方には、担当ＤＪの名前３７１、担当ＶＪの名前３７２、及び再生タイミングデジタル表示部３１５もそれぞれ表示されている。
　そして、その下方には評価入力部である「Ｗｈｏｏｐ」ボタン１５６ｗが表示されており、対応位置にタッチすることで「Ｗｈｏｏｐ」情報が評価情報としてインターネット上に送出される。「Ｗｈｏｏｐ」ボタン１５６ｗは、種々のソーシャルネットワーキングサービスにおいて周知の「いいね」ボタンに相当するものであり、再生中の楽曲とＤＪやＶＪの盛り上げに賛同し、肯定的な評価意思表示を行なうために端末所有者（番組のオーディエンス）により随時操作される。「Ｗｈｏｏｐ」ボタン１５６ｗが多数のオーディエンスにより類似のタイミングで操作されるとき、その操作の数は楽曲配信・映像管理部１０１にて集計把握でき、一定時間内の集計数などに基づいて、配信した番組に対するオーディエンスの評価状態を随時把握することが可能である。なお、評価情報の入力は、携帯端末１５０をシェイクする操作を振動センサ１６０により検知して行うようにしてもよい。
　以下、楽曲配信システム１の動作について説明する。
　図１２は、ＤＪ形式による番組楽曲の端末配信と、端末側での同期再生の流れを示すものである。ＤＪ司令部１０３ではＰＣＤＪソフト１０３ａ（図３）を立ち上げ、図７の操作パネル５６ａが表示された状態とする。ＤＪ（選曲操作者）は、予め定められた番組構成に従い、必要な楽曲をロードし、トークも交えながら曲を変えつつ順次再生してゆく作業に入る。まず、操作パネル５６ａの左右に最初の楽曲３０１Ａと次の楽曲３０１Ｂとを選曲し、ＤＪコマンドの一つである楽曲ロードコマンド（図１４：Track Load Event）を自身に対して発行する（図１２のＤ１）。一方、Ｄ２では、この楽曲ロードコマンドを楽曲配信・映像管理部１０１に向けても送信・発行する。
　まず、ＤＪ司令部１０３では、発行した楽曲ロードコマンドに従い、Ｄ４にて対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は楽曲データベース１０２ａから楽曲データ（例えばＭＰ３、ＡＡＣなどの圧縮データファイル）を読み出し、ＤＪ司令部１０５に送信する。このとき、図７にて再生・停止ボタン３１１Ａ，３１１Ｂはいずれも停止状態であり、配信された楽曲データはＤ６にてＷＡＶＥデータ（ＰＣＭ波形データファイル）に変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされるだけで、再生開始されない。
　次に、楽曲配信・映像管理部１０１は、Ｄ２で受けた楽曲ロードコマンドを、事前契約により聴取者として登録されているオーディエンスの携帯端末１５０（一般に複数）に向けて転送する。携帯端末１５０ではこれを受け、Ｄ７にて、対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は、Ｄ８にて楽曲データベース１０２ａから楽曲データを読み出し、各携帯端末１５０にストリーム配信する。携帯端末１５０は、Ｄ９にて、配信された楽曲データをＷＡＶＥデータに変換し、ＲＡＭ５２内のバッファリングエリアにバッファリングする。携帯端末１５０の端末アプリ１５３ａには、端末所有者による楽曲の再生・停止のインターフェースが設けられておらず、楽曲配信・映像管理部１０１から再生開始のコマンドを受け取らない限り、楽曲の再生は開始されない。
　ここまでの説明から、次のことが明らかである。
（１）楽曲データは配信権を所有する楽曲配信元サーバ１０２から、個別の契約者であるＤＪ司令部１０３と携帯端末１５０に、それぞれ配信されており、配信権のないＤＪ司令部１０３から携帯端末１５０に直接向かうデータ送信の流れは存在しない。
（２）携帯端末１５０は、Ｄ９では、配信された楽曲データはＤ６にてＷＡＶＥデータに変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされ、再生開始指示を受けるまで再生開始されない。当然、ＤＪの行うような再生制御操作もできない。これらの動作は、下記に詳述するごとく、携帯端末アプリ１５３ａがＤＪ司令部１０３から送信されてくるＤＪコマンドを利用して実行するのであり、ＤＪ司令部１０３による楽曲再生操作がＤＪコマンド列によって携帯端末１５０にてバーチャルに再現されることの一環をなすものである。
　続いて、ＤＪ司令部１０３では、Ｄ１０にて、ＤＪ司令部１０３にて配信を受けている楽曲データの再生開始コマンド（図１４：Track Start Event）を実行し、Ｄ１４にて楽曲Ａの再生を開始する。これは、すなわち、図７にて、ＤＪにより楽曲Ａの再生開始ボタン３１１Ａが操作されることを意味する。また、図１２のＤ１１にてＤＪ司令部１０３は、楽曲配信・映像管理部１０１に向けても再生開始コマンドを送信する。楽曲配信・映像管理部１０１は、Ｄ１２にてオーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１３にてこれを受け、配信を受けた楽曲の再生を開始する。ここから、楽曲を組み合わせた番組の本体が携帯端末１５０上にて始まる。
　以下、ＤＪは、操作パネル上の各操作部を操作しつつ、再生楽曲の音量、音質、テンポ、音程等を様々に変更設定しながら楽曲Ａの再生音に味付けを行なってゆく。操作はＤＪの両手を使った手作業であり、操作の時系列順に各操作部の状態からＤＪコマンドが読み取られる。そして、各操作を行ったときの楽曲の再生位置は、図１５に示すように、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＤＪコマンドとの組が再生制御指令情報として作成される（図１２：Ｄ１７）。
　ＤＪ司令部１０３では、Ｄ１６にて、自身が発行したＤＪコマンドにより配信される楽曲の再生が制御され、その制御を受けた再生音が図３のスピーカ６０より出力される。ＤＪはその再生音を聞きながら、さらに操作パネル５６ａ（図７）上で再生制御を継続する。こうして、再生制御指令情報がタイムスタンプを伴うＤＪコマンドとして次々と作成され、Ｄ１７にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｄ１８にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１９にてこれを受け、バッファリングされている楽曲データに対し、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＤＪコマンドが示す再生制御処理（例えば、音量、音質、テンポ、音程等の変更）を実行するとともに、その処理後のデータに基づいて楽曲再生がなされる（Ｄ１５～Ｄ１９の処理は番組配信が終了されるまで繰り返される）。
　図１５では、Ａ側で楽曲Ａがロードされ（Track Loading A、TLAと略）、Ｂ側で楽曲Ｂがロードされている（Track Loading B、TLBと略）。また、楽曲Ａだけで再生開始されるので、クロスフェード操作部３０９（図７）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。タイミング０：００で楽曲Ａの再生が開始されている（Track Start A、TSAと略)。ＤＪはその後、図７のグラフィックイコライザパネル３０３Ａとボリュームパネル３０５Ａとを操作し、図１４のイコライザーイベント（ＥＱＡと略）とボリュームフェーダーイベント（ＶＯＬと略）にかかるＤＪコマンドが継続的に発行されている。
　例えば図１５にて、楽曲Ａから楽曲Ｂにクロスフェード処理を交えながら切り替えるときのデータ処理の流れは次のようである。タイミングデータから楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されている（ＴＳＢ）。この開始時の楽曲Ａ側のタイムスタンプ（３：００）が、楽曲Ｂの開始指示コマンド（ＴＳＢ）とともに携帯端末１５０に送られる。また、ＤＪは、クロスフェード操作部３０９（図７）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３０９の状態がＤＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、再生制御指令情報として携帯端末１５０に送られる。
　携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に楽曲Ｂの再生を正確に開始することができ、さらに、クロスフェード操作部３０９の設定状態変化も、楽曲Ｂ側のタイムスタンプから忠実に再現されることとなる。なお、クロスフェード操作期間に限っては楽曲Ａがのタイムスタンプを継続利用してもよい。
　番組形式の楽曲配信においては、ＤＪの果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。
　例えば、ＤＪが取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを携帯端末１５０に再配信する方式であると、サイズの大きい楽曲ファイルを、楽曲配信元サーバ１０２→ＤＪ司令部１０３及びＤＪ司令部１０３→携帯端末１５０の２段階にてファイルアップロード及びダウンロードを実行しなければならず、インターネット１００の通信容量を圧迫する問題がある。また、楽曲配信元サーバ１０２からの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。
　しかし、上記の方式によると、オーディエンスの携帯端末１５０とＤＪ司令部１０３とは、楽曲データを楽曲配信元サーバ１０２から直接ダウンロードする形で取得する一方、ＤＪ司令部１０３から携帯端末１５０に向けてアップロードされるのは、再生条件を含んだサイズの小さい再生制御指令情報のみであるから、加工した楽曲ファイルそのものをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、携帯端末１５０側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングがＤＪの意図通りに反映され、配信される番組の品質も高度に担保することができる。
　なお、操作部の数は多く、全ての操作部の操作設定状態を漏れなくＤＪコマンドとして送信継続することは送信データ量の肥大化を招き、楽曲データの再配信を廃止することのうまみが薄れることにつながる。そこで、楽曲再生開始時の各操作部の操作状態を示すＤＪコマンドを一括して携帯端末１５０に送信することにより初期設定状態を形成し、その後は、楽曲再生後にＤＪ操作により変更を受けた操作部の状態のみをＤＪコマンドとして送信するとともに、端末１５０側では受信したＤＪコマンドに含まれる再生制御設定状態のみを変更して、他は現在の設定状態を維持するようにすれば、ＤＪコマンドの送信負荷及び通信容量占有量を減らすことができる。
　また、ＤＪ司令部１０３からの再生制御指令情報の発行・送信頻度については、データ量の肥大化を回避しつつ、ＤＪの行うきめ細かい楽曲再生制御のニュアンスが極度に損なわれない範囲にて適宜設定する必要がある。例えば、１回の再生制御指令情報の送信ビット数が１６ビット程度である場合、例えば音楽再生の品質を最低限保つ量子化サンプリング周波数を８ｋＨｚ程度とみなしたとき、その１／５００～１／５０程度の頻度で再生制御指令情報の送信を行なうと、１秒間の再生制御指令情報の送信回数は１６～１６０回となり、再生制御ニュアンスをおおむね保持できる回数と符合する。このときの、再生制御指令情報の送信ビットレートは０．２５ｋｂｐｓ～２．５ｋｂｐｓとなり、８ｋＨｚ／１６ビットサンプリングにて作成される非圧縮ＰＣＭデータの送信ビットレート（約１２８ｋｂｓ）と比較しても十分なデータ通信量削減が見込まれる。
　次に、図１３は、図１２に対応するＶＪ司令部側の映像制御処理を分離して示すものである。ＶＪ司令部１０４においてＶＪ（映像操作者）は、ＤＪが再生制御する楽曲をモニタリングしつつ、前述の映像操作入力によりサウンドビジュアライザーを用いた映像表示制御を実行してゆくので、図１３に示す図示しないステップにて楽曲配信元サーバ１０２より楽曲の配信を受け、さらにＶ１４にて楽曲配信・映像管理部１０１を経由してＤＪ司令部が発行するタイムスタンプとＤＪコマンドを含む再生制御指令情報を取得する。そして、Ｖ１５で、その再生制御指令情報により制御しつつ楽曲データを再生し、スピーカ８０（図４）より出力することで、ＤＪ司令部１０３における楽曲再生状態のモニタリングを開始できる。
　次いで、ＶＪ司令部１０４ではＰＣＶＪソフト１０４ａ（図４）を立ち上げ、図１０の操作画面が表示された状態とする。ＶＪ（映像操作者）は、予め定められた番組構成に従い、必要なＳＶＳＬモジュールをロードし、曲に合わせて（あるいは曲の途中で）順次モジュールを切り替えながら映像操作入力を行う。まず、Ｖ１８にて、左右のロードエリアに最初のサウンドビジュアライザー３７１Ａと次のサウンドビジュアライザー３７１Ｂとを選択し、対応するＳＶＬＳモジュールをロードする。また、Ｖ１９では、ロードしたものと同じＳＶＬＳモジュールを楽曲配信・映像管理部１０１を経由して携帯端末１５０に送信する（Ｖ１９→Ｖ２０）。前述のごとくＳＶＬＳモジュールのサイズは小さく、送信は速やかに完了できる。携帯端末１５０では、取得したＳＶＬＳモジュールをロードする（Ｖ２１）。
　以下、ＶＪは、図１０の操作パネル上の各操作部を操作して、楽曲再生に合わせた映像（サウンドビジュアライザー）の表示切替えを含む映像操作入力を行なってゆく。そして、操作の時系列順に各操作部の状態からＶＪコマンドが読み取られる。また、各操作を行ったときの楽曲の再生位置は、ＤＪ司令部１０３での処理と同様に、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＶＪコマンドとの組が映像制御指令情報として作成される。
　ＶＪ司令部１０４では、Ｖ２２にて、自身が発行したＶＪコマンドが指定するサウンドビジュアライザーの映像出力がモニタ７６の映像表示エリア７６Ｍ（図１０）に表示される。ＶＪは再生音を聞きながら、さらに操作パネル上で映像制御（例えば他のサウンドビジュアライザーへの切替え）を継続する。こうして、映像制御指令情報がタイムスタンプを伴うＶＪコマンドとして次々と作成され、Ｖ２３にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｖ２４にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｖ２５にてこれを受け、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＶＪコマンドが示す映像制御処理、例えば、サウンドビジュアライザーの切替えを実行するとともに、その切替え後のサウンドビジュアライザーに基づいて映像表示がなされる（Ｖ１８～Ｖ２５の処理は番組配信が終了されるまで繰り返される）。
　図１５の右３列のデータに示すごとく、Ａ側でサウンドビジュアライザー１がロードされ（ＳＶ１ＬＡ）、Ｂ側でサウンドビジュアライザー２がロードされている（ＳＶ２ＬＢ）。また、サウンドビジュアライザー１だけで表示生開始されるので、クロスフェード操作部３１９（図１０）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。
　楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されるのに合わせ、Ｂ側のサウンドビジュアライザー２への切替えが行われている。このときのＡ側のタイムスタンプ（３：００）が、サウンドビジュアライザー２への切替コマンド（ＳＶ２ＬＢ）とともに携帯端末１５０に送られる。また、ＶＪは、クロスフェード操作部３１９（図１０）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３１９の状態がＶＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、映像制御指令情報として携帯端末１５０に送られる。
　携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に、サウンドビジュアライザー１から同２への切替えに移行することができ、さらに、クロスフェード操作部３１９の設定状態変化（つまり、映像ミキシングの状態変化）も、楽曲Ｂ側（クロスフェード期間中は楽曲Ａ側でもよい）のタイムスタンプから忠実に再現されることとなる。
　以上を受け、図１１に示すように、携帯端末１５０では、ＤＪによる再生制御処理が反映された形で番組楽曲のストリーム再生を行なうことができ、ＶＪによる映像制御操作が反映された映像を映像表示領域７６Ｍに表示することができる。楽曲の再生はＤＪの操作が忠実に反映されたものとなり、映像表示切替にもＤＪに合わせたＶＪの操作が的確に反映されることとなる。これを享受するオーディエンスは、番組を気に入り、よいと感じれば、その評価入力としてＷｈｏｏｐボタン１５６を操作する。以下の処理は、図１３によると次の通りである。
　まずＶ２６で、携帯端末１５０からはＷｈｏｏｐボタン操作に伴う（肯定的な）反応情報があることを楽曲配信・映像管理部１０１に通知する。楽曲配信・映像管理部１０１では、例えば最初の反応情報が到来してから予め定められた期間内の（肯定的な）反応情報の数（以下、Ｗｈｏｏｐ数という）を計数する（Ｖ２７）。そして、その計数されたＷｈｏｏｐ数が画像発動基準値（これは１でもよいが、ノイズ的な反応を排除するために、複数回に設定しておくとよい）に到達するごとに、そのときの再生中の楽曲のタイムスタンプを取得し、さらに盛上げ画像データ１０１ｆ（図２）を読み出して、携帯端末１５０、ＤＪ司令部（図１３では図示略）及びＶＪ司令部にそれぞれ送信する（Ｖ２８，Ｖ３０）。
　各送信先、例えば図１１の携帯端末１５０のように、取得した盛上げ画像データに基づく盛上げ画像３６０が、サウンドビジュアライザーによる関連映像上に透視形態で合成され、表示される（Ｖ３１，Ｖ２９）。盛上げ画像３６０は、番組楽曲のストリーム配信を受けている全ての携帯端末１５０にて表示されることとなる。Ｗｈｏｏｐ数が画像発動基準値に到達すれば、一旦その計数値をクリアし計数を再開する。そして、再度画像発動基準値に到達すれば、盛上げ画像データとタイムスタンプの送信が繰り返され、盛上げ画像３６０の表示が継続される。例えば図１１の花火のアニメーション映像の場合、Ｗｈｏｏｐ数が画像発動基準値に到達するごとに花火が繰り返し打ちあがることになる。このとき、花火の表示位置や表示サイズを映像表示エリア７５Ｍ内にて乱数を用いてその都度変更すれば、Ｗｈｏｏｐが発生するごとに花火が打ち上る位置が変わり、視覚的な楽しさが高められる。特に、多数の端末１５０から同時にＷｈｏｏｐが発動されると、多くの花火が映像表示エリア７５Ｍ内にてスターマインのごとく乱れ飛び、より華やかな演出を行なうことが可能となる。
　そして、本実施形態では、同様のアルゴリズムにて、拍手、歓声、指笛音、あるいは花火の打ち上げ音などからなる盛上げ音源データ１０１ｇ（図２）を読み出し、各送信先にて盛上げ画像とともに盛上げ音声を出力させるようにしている（Ｖ３２～Ｖ３５）。なお、盛上げ画像及び盛上げ音声の出力は、一方又は双方を省略することも可能である。
　なお、上記の番組配信形態においては、定められた配信時刻が到来するに伴い、ＤＪ司令部１０３及びＶＪ司令部１０４での楽曲再生制御及び映像制御をライヴ配信する形を想定することができるが、この場合、契約した携帯端末１５０の中には配信開始時刻当初からの視聴ができず、途中からの参加となる場合もあり得る。この場合、配信にログインしたときの楽曲と映像の配信状況については、楽曲再生制御情報と映像制御情報の流れについては受信できても、楽曲データのストリーム配信については、どの曲のどの位置が現在ストリーミング中であるかを直ちには把握できないことがある。そこで、本実施形態では、ＤＪ司令部１０３にてスナップショットの実行を指令するＤＪコマンド（図１４：Snapshot Event）が発行されるようになっている。
　図１２の下に示すように、ＤＪ司令部１０３ではこのコマンドの発動により、ストリーム配信の中の楽曲名と映像名、及び再生タイミングなどがキャプチャされ、スナップショット情報として、楽曲配信・映像管理部１０１を経由して各携帯端末１５０に送られる。ストリーミング再生の同期が取れないでいる途中視聴参加の端末はこのスナップショット情報を参照し、配信を受けるべき楽曲の種別と、随伴する関連映像（サウンドビジュアライザー）の種類、及び楽曲の現在の再生位置を特定し、必要に応じて楽曲データとサウンドビジュアライザーの配信を楽曲配信・映像管理部１０１に要請する（楽曲配信・映像管理部１０１はこれを受けて楽曲データ、サウンドビジュアライザー及びタイムスタンプを各所より取得して携帯端末１５０に中継配信する）。これにより、途中視聴参加の携帯端末１５０では、現在の番組進行位置を容易に把握することができ、楽曲データのストリーミング再生を追随補正することが可能となる。
　また、図１２からも明らかなごとく、楽曲配信元サーバ１０２、ＤＪ司令部１０３及び携帯端末１５０間の楽曲データファイルの配信系統は、楽曲配信・映像管理部１０１を境に明確に分離されている。これは、ＤＪ司令部１０３への楽曲配信は選曲再生制御指令情報を作成するだけの目的で使用されており、携帯端末１５０への楽曲配信は作成済みの選曲再生制御指令情報による再生制御にのみ使用されていることを意味する。また、作成された選曲再生制御指令情報（及びＶＪ司令部１０４で作成した映像制御指令情報）を番組ごとにセットにしたファイルは、例えば楽曲配信・映像管理部１０１の記憶装置（ハードディスクドライブ３５）に保存しておくことが可能である。このとき、ＤＪのトークなども録音して音声ファイルとして保存しておけば、ＤＪ及びＶＪによる番組のリアルライヴ配信が終了した後であっても、楽曲配信元サーバ１０２からの携帯端末１５０への楽曲配信と、楽曲配信・映像管理部１０１からの、保存された選曲再生制御指令情報、映像制御指令情報、ＤＪトークファイルおよび関連映像データ（ＳＶＬＳモジュール）のセットファイルの配信とを組み合わせることで、携帯端末１５０への番組配信を任意の日時に再現することができる。これは、ＤＪライヴ番組の再放送配信やオンデマンド配信を行う上で有利な形態であるといえる。
　また、楽曲再生と同期させる関連映像は、サウンドビジュアライザーに限らず、動画ファイルを用いた再生動画を使用することもできるし、ＣＧを使用することもできる。プロモーションビデオ等の動画ファイルを使用する場合は、楽曲ファイルと同様に、映像配信元サーバから動画ファイルをＶＪ、ＤＪ、オーディエンス（携帯端末）のそれぞれに独立に配信することが同様に望ましい。ＶＪ司令部１０４では配信された動画の再生・停止・切替えに加え、明るさ、色バランス調整、早送り・巻き戻し、合成、変形といった種々のグラフィック操作を映像制御入力として実施することで、関連映像によるイベントの盛り上げを図ることができる。
　以上、本発明の実施の形態について説明したが、あくまで例示であって、本発明はこれに限定されるものではない。
１　楽曲配信システム
２９，４９，６９　入出力部
３０，５０，７０　マイコン
３１，５１，７１　ＭＰＵ
３２，５２，７２　ＲＡＭ
３３，５３，７３　ＲＯＭ
３４，５４，７４　バス
５６　モニタ
５６ａ　操作パネル
５６ｂ　関連画像（サウンドビジュアライザー）
５６ｃ　盛上げ画像
５８　ＤＪコマンド入力部
５９　オーディオアンプ
６０　スピーカ
６１　マイク
６２　Ａ／Ｄ変換部
７６　モニタ
７６Ｍ　映像表示エリア
７８　タッチパネル
１００　インターネット
１０１　楽曲配信・映像管理部
１０１ａ　配信システムソフト
１０１ｂ～１０１ｅ　ソフトウェアコンポーネント
１０１ｆ　盛上げ画像データ
１０１ｇ　盛上げ音源データ
１０２　楽曲配信元サーバ
１０２ａ　楽曲データベース
１０３　ＤＪ司令部（選曲再生制御指令部）
１０３ａ　ＰＣＤＪソフト
１０４　ＶＪ司令部（映像制御指令部）
１０４ｂ　通信ソフト
１０５ｃ　サウンドビジュアライザー
１０６　携帯電話基地局
１５０　携帯端末（楽曲再生端末：本実施形態ではスマートフォン）
１５１　マイコン
１５１ａ　アプリ実行エリア
１５１ｂ　楽曲バッファエリア
１５１ｃ　サウンドビジュアライザーモジュールの格納エリア
１５２　ＣＰＵ
１５３　メモリ
１５３ａ　携帯端末アプリ
１５４　入出力部
１５５バス
１５６　モニタ
１５６　「Ｗｈｏｏｐ」ボタン
１５９　無線通信インターフェース
１６０　振動センサ
１６１　スピーカ
１６２　アンプ
３０１Ａ，Ｂ　楽曲のタイトル
３０３Ａ，Ｂ　グラフィックイコライザパネル
３０４Ａ，Ｂ　つまみ
３０５Ａ，Ｂ　ボリュームパネル
３０６Ａ，Ｂ　つまみ
３０７Ａ，Ｂ　波形ウィンドウ
３０８　再生位置バー
３０９　クロスフェード入力部
３１０　操作バー
３１１Ａ，Ｂ　再生・停止ボタン
３１５　再生タイミングデジタル表示部
３１６Ａ，Ｂ　巻き戻しボタン
３１７Ａ，Ｂ　同期ボタン
３１９　映像クロスフェード入力部
３７１　担当ＤＪの名前
３７２　担当ＶＪの名前

Claims (22)

  1. 　配信対象となる楽曲データを公共通信網にストリーム配信する楽曲配信部と、
    　前記公共通信網を介して前記楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、前記楽曲の再生時に関連映像を表示させる映像表示部とを備えた楽曲再生端末と、
    　前記楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、前記映像操作入力に基づく前記関連映像の映像制御指令情報を前記公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
    　前記公共通信網を介して前記映像制御指令情報を取得する映像制御指令情報取得部と、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを把握する楽曲再生タイミング把握部と、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させる映像同期制御指令部と、を有する映像管理部と、
    　を備えたことを特徴とする楽曲配信システム。
  2. 　前記楽曲データは再生時のデータビットの時系列的な出力タイミングを個々に記述した再生タイミング情報が組み込まれたものであり、
    　前記楽曲再生タイミング把握部は、前記再生タイミング情報に基づいて前記ストリーム配信中の楽曲の再生タイミングを把握するものである請求項１記載の楽曲配信システム。
  3. 　前記楽曲配信部は、複数の前記楽曲データを順次ストリーム配信するものであり、
    　前記映像制御指令情報は、前記楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、前記関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものである請求項１記載の楽曲配信システム。
  4. 　前記関連映像は、表示オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを前記楽曲の再生音と同期して変化させるサウンドビジュアライザーの生成出力映像であり、
    　前記映像切替指令情報は、前記サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報である請求項３記載の楽曲配信システム。
  5. 　前記映像操作入力部は、操作位置に応じて前記第一のサウンドビジュアライザーと前記第二のサウンドビジュアライザーとのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備え、
    　前記映像制御指令情報作成部は、前記映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像制御指令情報として作成するものである請求項４記載の楽曲配信システム。
  6. 　前記楽曲再生端末には、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を前記公共通信網に送出する評価情報送出部とを備え、
    　前記映像管理部は、前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ画像データを、前記関連映像のデータとして記憶する盛上げ画像データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ画像データと前記盛上げ画像にかかる表示制御指令情報とを前記楽曲再生端末に送出する盛上げ画像送出部とを備え、
    　前記楽曲再生端末には、前記盛り上げ画像データと前記表示制御指令情報とに基づき前記盛上げ画像を前記映像表示部に表示させる盛上げ画像表示制御部が設けられる請求項１記載の楽曲配信システム。
  7. 　前記盛上げ画像表示制御部は、前記評価情報が肯定的内容を有していた場合に、前記盛上げ画像を前記関連映像に重ねて表示させる請求項６記載の楽曲配信システム。
  8. 　前記楽曲再生端末は、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を前記公共通信網に送出する評価情報送出部とを備え、
    　前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ音声データを音声出力制御指令情報とともに前記楽曲再生端末に送出する盛上げ音声情報送出部とを備え、
    　前記楽曲再生端末には、前記盛上げ音声データと前記音声出力制御指令情報とに基づき前記盛上げ音声を出力させる盛上げ音声出力部が設けられる請求項１記載の楽曲配信システム。
  9. 　前記楽曲配信部は、
    　選曲操作者が選択する複数の番組楽曲を前記楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、前記選曲操作者による選曲再生操作入力を受け付ける選曲再生操作入力部と、該選曲再生操作入力部への入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報を作成する再生制御指令情報作成部と、前記再生制御指令情報を前記公共通信網に送出する再生制御指令情報送出部とを備えた選曲再生制御指令部と、
    　前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示する番組楽曲配信指示部と、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信管理部とを備え、
    　前記楽曲再生端末は、前記番組楽曲の楽曲データを前記楽曲配信元サーバから取得する番組楽曲データ取得部と、前記番組楽曲に対応する前記再生制御指令情報を前記楽曲配信管理部より取得する再生制御指令情報取得部と、前記再生制御指令情報が示す再生タイミング及び再生条件に従い前記番組楽曲の楽曲データを前記楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備える請求項１記載の楽曲配信システム。
  10. 　前記楽曲データは再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、
    　前記再生制御指令情報作成部は、前記選曲再生操作入力部において入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものであり、
    　前記番組再生制御部は前記楽曲データを再生開始後、前記再生制御指令情報に含まれる前記タイムスタンプが示す再生位置が到来するに伴い、前記再生条件が示す制御タスクを再生中の前記楽曲データに対して発動するものである請求項９記載の楽曲配信システム。
  11. 　前記再生制御指令情報作成部は、再生楽曲の音量、音質、テンポないし音程の少なくともいずれかにかかる設定・変更入力操作がなされたときの前記楽曲の再生位置を示す前記再生タイミング情報を前記タイムスタンプとして取得し、前記入力操作の内容が示す再生条件と前記タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものである請求項１０記載の楽曲配信システム。
  12. 　前記再生条件が示す制御タスクは、先行楽曲の再生途中にて後続楽曲を前記先行楽曲にミキシングしつつ再生させる制御に関するものであり、
    　前記再生制御指令情報作成部は、前記後続楽曲の再生開始入力操作がなされたときの前記先行楽曲の再生位置をミキシング開始のタイムスタンプとして取得するものであり、
    　前記番組再生制御部は、前記先行楽曲の再生開始後、前記再生制御指令情報に含まれる前記ミキシング開始のタイムスタンプが示す再生位置が到来するに伴い、前記後続楽曲の再生を前記先行楽曲とミキシングしつつ開始させるものである請求項１１記載の楽曲配信システム。
  13. 　前記再生制御指令情報作成部は、前記後続楽曲の再生開始入力操作がなされた後の前記先行楽曲とのミキシング再生期間中において、両楽曲のミキシング条件にかかる設定・変更入力がなされたときの、前記先行楽曲又は前記後続楽曲の再生位置を前記タイムスタンプとして取得し、前記設定・変更入力が示すミキシング条件を前記タイムスタンプと対応付けて前記再生制御指令情報として作成するものであり、
    　前記番組再生制御部は、前記ミキシング再生期間中において前記タイムスタンプが示す再生位置が到来するに伴い、前記ミキシング条件にて前記後続楽曲と前記先行楽曲とをミキシングしつつ再生させるものである請求項１２記載の楽曲配信システム。
  14. 　前記選曲再生操作入力部は、操作位置に応じて前記後続楽曲と前記先行楽曲とのミキシング比率を連続的に変更可能な楽曲クロスフェード入力部を備え、
    　前記再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更される前記ミキシング比率を前記ミキシング条件にかかる情報として作成するものである請求項１３記載の楽曲配信システム。
  15. 　前記再生制御指令情報作成部は、再生中の楽曲の特定情報と前記再生条件とを取得しつつ、それら情報の取得時刻を示す前記再生タイミング情報と対応付けてスナップショット情報を作成するものであり、
    　前記楽曲配信管理部は、前記スナップショット情報を取得して前記楽曲再生端末に転送するスナップショット転送部を有し、
    　前記楽曲再生端末の前記番組再生制御部は、転送される前記スナップショット情報を取得するとともに、該スナップショット情報に基づいて、前記楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を備える請求項１０記載の楽曲配信システム。
  16. 　前記映像制御指令部は、前記選曲操作者が順次選択し再生する番組楽曲をモニタリングする番組楽曲モニタリング部と、前記番組楽曲に対応する前記関連映像としての複数の番組映像を取得する番組映像取得部と、前記選曲操作者による前記番組映像の選択及び表示制御操作を受け付ける前記映像操作入力部と、前記映像操作入力部への入力操作内容に基づいて、各前記番組映像の表示タイミング及び表示条件を含んだ映像制御指令情報を作成する映像制御指令情報作成部と、前記映像制御指令情報を前記公共通信網に送出する映像制御指令情報送出部とを備え、
    　前記楽曲配信管理部は、前記映像制御指令情報作成部が作成する前記映像制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する映像制御指令情報取得・転送部を備え、
    　前記楽曲再生端末は、前記番組映像を取得する番組映像取得部と、前記番組楽曲に対応する前記映像制御指令情報を取得する映像制御指令情報取得部と、前記映像制御指令情報が示す表示タイミング及び表示生条件に従い前記番組映像を前記映像表示部に対し順次表示させる映像制御部を備える請求項９記載の楽曲配信システム。
  17. 　前記楽曲データはストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、
    　前記映像制御指令情報作成部は、前記映像操作入力部において入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記映像操作入力部への前記入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものであり、
    　前記映像制御部は、前記楽曲データを再生開始後、前記再生制御指令情報に含まれる前記タイムスタンプが示す再生位置が到来するに伴い、前記表示条件が示す映像表示タスクを、表示中の前記番組映像に対して発動するものである請求項１６記載の楽曲配信システム。
  18. 　前記表示条件が示す映像表示タスクは、先行映像の表示途中にて後続映像を前記先行映像にミキシングしつつ表示させるものであり、
    　前記映像制御指令情報作成部は、前記後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始のタイムスタンプとして取得するものであり、
    　前記映像制御部は、前記先行映像の表示開始後、前記再生制御指令情報に含まれる前記映像ミキシング開始のタイムスタンプが示す前記先行楽曲の再生位置が到来するに伴い、前記後続映像の表示を前記先行映像とミキシングしつつ開始させるものである請求項１７記載の楽曲配信システム。
  19. 　前記映像制御指令情報作成部は、前記後続映像の表示開始入力操作がなされた後の前記先行映像とのミキシング表示期間中において、両映像のミキシング条件にかかる設定・変更入力がなされたときの前記先行楽曲又は前記後続楽曲の再生位置をタイムスタンプとして取得し、前記設定・変更入力の内容が示す映像ミキシング条件を前記タイムスタンプと対応付けて前記映像制御指令情報として作成するものであり、
    　前記映像制御部は、前記ミキシング表示期間中において前記タイムスタンプが示す番組楽曲の再生位置が到来するに伴い、前記ミキシング条件にて前記後続映像と前記先行映像とをミキシングしつつ再生させるものである請求項１８記載の楽曲配信システム。
  20. 　前記映像操作入力部は、操作位置に応じて前記後続映像と前記先行映像とのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備え、
    　前記映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像ミキシング条件にかかる情報として作成するものである請求項１９記載の楽曲配信システム。
  21. 　公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において前記楽曲データに基づき楽曲をストリーム再生させるとともに、前記楽曲再生端末に設けられた映像表示部にて前記楽曲の再生時に関連映像を表示させるようにした楽曲配信方法であって、
    　前記楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、前記映像操作入力に基づく前記関連映像の映像制御指令情報を前記公共通信網に送出し、
    　前記公共通信網に接続された映像管理部において、前記映像制御指令情報を取得し、前記映操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを把握し、さらに前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させることを特徴とする楽曲配信方法。
  22. 　公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において前記楽曲データに基づき楽曲をストリーム再生させるとともに、前記楽曲再生端末に設けられた映像表示部にて前記楽曲の再生時に関連映像を表示させる楽曲配信プログラムであって、
    　前記楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、前記映像操作入力に基づく前記関連映像の映像制御指令情報を前記公共通信網に送出するステップと、
    　前記公共通信網に接続された映像管理部において、前記映像制御指令情報を取得し、前記映操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを把握し、さらに前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるステップと、
    　をコンピュータに実行させるための楽曲配信プログラム。
PCT/JP2018/020624 2018-05-29 2018-05-29 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム WO2019229861A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/020624 WO2019229861A1 (ja) 2018-05-29 2018-05-29 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム
JP2020522441A JP7156646B2 (ja) 2018-05-29 2018-05-29 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/020624 WO2019229861A1 (ja) 2018-05-29 2018-05-29 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム

Publications (1)

Publication Number Publication Date
WO2019229861A1 true WO2019229861A1 (ja) 2019-12-05

Family

ID=68697908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020624 WO2019229861A1 (ja) 2018-05-29 2018-05-29 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム

Country Status (2)

Country Link
JP (1) JP7156646B2 (ja)
WO (1) WO2019229861A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225379A1 (ko) * 2020-05-07 2021-11-11 (주)뮤직몹 음원 재생정보 제공시스템
WO2023209690A1 (en) * 2022-04-29 2023-11-02 Jio Platforms Limited System and method for referencing media using content-based timestamps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241652A (ja) * 2006-03-08 2007-09-20 Core Colors Inc コンテンツ配信システム
JP2009017417A (ja) * 2007-07-09 2009-01-22 Think Corp コンテンツ配信サーバ、コンテンツ配信プログラム、及びコンテンツ配信システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241652A (ja) * 2006-03-08 2007-09-20 Core Colors Inc コンテンツ配信システム
JP2009017417A (ja) * 2007-07-09 2009-01-22 Think Corp コンテンツ配信サーバ、コンテンツ配信プログラム、及びコンテンツ配信システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021225379A1 (ko) * 2020-05-07 2021-11-11 (주)뮤직몹 음원 재생정보 제공시스템
KR20210136284A (ko) * 2020-05-07 2021-11-17 (주)뮤직몹 음원 재생정보 제공시스템
KR102369682B1 (ko) * 2020-05-07 2022-03-04 (주)뮤직몹 음원 재생정보 제공시스템
US11711457B2 (en) 2020-05-07 2023-07-25 Musicmob Co, Ltd. System for providing sound source reproduction information
WO2023209690A1 (en) * 2022-04-29 2023-11-02 Jio Platforms Limited System and method for referencing media using content-based timestamps

Also Published As

Publication number Publication date
JPWO2019229861A1 (ja) 2021-05-13
JP7156646B2 (ja) 2022-10-19

Similar Documents

Publication Publication Date Title
US11553235B2 (en) Audiovisual collaboration method with latency management for wide-area broadcast
US11683536B2 (en) Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
JP5609160B2 (ja) 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
JP5331494B2 (ja) カラオケサービスシステム、端末装置
US9460697B1 (en) System and method for mixing songs using priority rankings
US20100040349A1 (en) System and method for real-time synchronization of a video resource and different audio resources
US20020118848A1 (en) Device using analog controls to mix compressed digital audio data
WO2009135088A2 (en) System and method for real-time synchronization of a video resource to different audio resources
JP2003018580A (ja) コンテンツ配信システムおよび配信方法
JP2010112981A (ja) 遠隔実演再生方法、装置
WO2019229861A1 (ja) 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム
JP7503257B2 (ja) コンテンツ収集・配信システム
GB2464545A (en) Providing and controlling a music playlist, via a communications network such as the internet
JP2014186177A (ja) 再生装置
JP5109496B2 (ja) データ配信装置、データ配信方法およびプログラム
KR20120128142A (ko) 믹싱 데이터 배신 서버
WO2021235048A1 (ja) 無観客ライブ配信方法及びシステム
JP6958676B1 (ja) 制御方法および制御システム
US20050002643A1 (en) Audio/video editing apparatus
JP6601615B2 (ja) 動画処理システム、動画処理プログラム、及び、携帯端末
JP6864938B1 (ja) 記録データ再生方法およびシステム
JP2002010164A (ja) コンピュータ制御方法、コンピュータおよび記録媒体
JP5358033B1 (ja) ラジオ番組配信システム、ラジオ番組連動処理方法及びラジオ番組連動処理プログラム
JP2008026674A (ja) カラオケ・オンデマンド配信システム
Lindborg et al. Locust wrath: an iOS audience participatory auditory display

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18920408

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020522441

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18920408

Country of ref document: EP

Kind code of ref document: A1