WO2020054064A1 - 楽曲編集システム、及び楽曲編集方法 - Google Patents

楽曲編集システム、及び楽曲編集方法 Download PDF

Info

Publication number
WO2020054064A1
WO2020054064A1 PCT/JP2018/034240 JP2018034240W WO2020054064A1 WO 2020054064 A1 WO2020054064 A1 WO 2020054064A1 JP 2018034240 W JP2018034240 W JP 2018034240W WO 2020054064 A1 WO2020054064 A1 WO 2020054064A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
musical
tone
information
display area
Prior art date
Application number
PCT/JP2018/034240
Other languages
English (en)
French (fr)
Inventor
太吾 楠
Original Assignee
Ｄｍｅｔ Ｐｒｏｄｕｃｔｓ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｄｍｅｔ Ｐｒｏｄｕｃｔｓ株式会社 filed Critical Ｄｍｅｔ Ｐｒｏｄｕｃｔｓ株式会社
Priority to PCT/JP2018/034240 priority Critical patent/WO2020054064A1/ja
Publication of WO2020054064A1 publication Critical patent/WO2020054064A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/04—Transposing; Transcribing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Definitions

  • the present invention relates to a music editing system and a music editing method.
  • Patent Document 1 As a technique for editing music, there is International Publication No. WO 2017/058844 (hereinafter, Patent Document 1).
  • the technology described in Patent Literature 1 generates music based on the emotion and style of music specified by the user, and presents the generated music to the user.
  • the technology described in Patent Literature 1 receives feedback on a user's evaluation of the generated music and musical preference, and edits the music based on the feedback.
  • Patent Literature 1 edits a music based on a user's evaluation of the generated music and feedback on musical preference, and thus the composition of the music in an arbitrary period within the music is adjusted. Editing that changes the data cannot be easily performed.
  • an object of one embodiment of the present invention is to provide a music editing system that can easily execute editing for changing the composition of a music during an arbitrary period of the music, even if the user has little musical knowledge.
  • the music editing system includes a processor, a memory, and a display device, and the memory is configured to simultaneously reproduce musical tone information including musical tones and a plurality of musical tones having the same length included in the musical tone information.
  • Music structure information indicating the structure of the music to be edited, and the music structure information includes the plurality of musical tones and the length of the plurality of musical tones divided by the same length.
  • An output state indicating whether or not each of the plurality of musical tones is being output, and wherein the processor refers to the music structure information and indicates, for each of the periods, an output state of each of the plurality of musical tones.
  • the music structure information indicates a time period corresponding to the selected musical tone display area. , Changes the output state of the musical tone corresponding to the selected tone display regions, switches the display of the output state of the selected tone display area.
  • one aspect of the present invention therefore facilitates editing to change the composition of a song at any time within the song, even for users with little musical knowledge. be able to.
  • FIG. 1 is a block diagram illustrating a configuration example of a music editing system according to a first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of a music editing server according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of a user terminal according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of musical sound information according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of music information according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of video information according to the first embodiment.
  • 6 is an example of a tone index table according to the first embodiment.
  • 5 is an example of a tone table in the first embodiment.
  • FIG. 5 is an example of a musical instrument type table according to the first embodiment.
  • 6 is an example of a music structure table according to the first embodiment.
  • 3 is an example of an in-configuration musical instrument operation table according to the first embodiment.
  • 5 is an example of a video table according to the first embodiment.
  • FIG. 2 is a sequence diagram illustrating an example of an overall process of the music editing system according to the first embodiment.
  • 5 is a flowchart illustrating an example of a music editing instruction generation process according to the first embodiment.
  • 5 is a flowchart illustrating an example of a music editing process according to the first embodiment.
  • 5 is an example of a music editing screen displayed on a display or the like of a user terminal according to the first embodiment.
  • FIG. 1 is an example of a musical editing screen displayed on a display or the like of a user terminal according to the first embodiment.
  • FIG. 13 is a block diagram illustrating a configuration example of a music editing server according to a second embodiment.
  • FIG. 13 is a block diagram illustrating a configuration example of a user terminal according to a second embodiment.
  • FIG. 14 is a block diagram illustrating a configuration example of music information according to a second embodiment.
  • 11 is an example of an entire music composition table according to the second embodiment.
  • FIG. 13 is a sequence diagram illustrating an example of processing of the entire music generation system for music generation according to the second embodiment.
  • 12 is a flowchart illustrating an example of a music generation process according to the second embodiment. 12 is an example of a music editing screen displayed on a display or the like of a user terminal according to the second embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the music editing system of the present embodiment.
  • the music editing system according to the present embodiment includes a music editing server 100 and one or more user terminals 200. Each device included in the music editing system is mutually connected via a network 700 such as the Internet.
  • the music editing server 100 holds, for example, music data and edits music included in the music data.
  • the user terminal 200 issues a music editing instruction to the music editing server 100, for example, according to the user's instruction.
  • FIG. 2 is a block diagram showing a configuration example of the music editing server 100.
  • the music editing server 100 includes a computer having a processor (CPU) 101, a memory 102, an auxiliary storage device 103, an input interface 104, an output interface 105, and a communication interface 106.
  • the processor 101 executes the program stored in the memory 102.
  • the memory 102 includes a ROM as a nonvolatile storage element and a RAM as a volatile storage element.
  • the ROM stores an immutable program (for example, BIOS) and the like.
  • the RAM is a high-speed and volatile storage element such as a DRAM (Dynamic Random Access Memory), and temporarily stores a program executed by the processor 101 and data used when the program is executed.
  • the auxiliary storage device 103 is a large-capacity and non-volatile storage device such as a magnetic storage device (HDD) or a flash memory (SSD), and stores a program executed by the processor 101 and data used when the program is executed. I do. That is, the program is read from the auxiliary storage device 103, loaded into the memory 102, and executed by the processor 101. Note that part or all of the information stored in the auxiliary storage device 103 may be stored in the memory 102.
  • HDD magnetic storage device
  • SSD flash memory
  • the input interface 104 is an interface to which a keyboard 131, a mouse 132, a microphone 133, and / or an electronic musical instrument are connected, and receives input from an operator.
  • the output interface 105 is also an interface to which a display 134, a printer, and / or a speaker 135 are connected, and which outputs an execution result of the program in a format that can be visually recognized and / or recognized by an operator.
  • the communication interface 106 is a network interface device that controls communication with another device according to a predetermined protocol.
  • the communication interface 106 includes, for example, a serial interface such as a USB.
  • the program executed by the processor 101 is provided to the music editing server 100 via a removable medium (CD-ROM, flash memory, or the like) or the network 700, and is stored in the nonvolatile auxiliary storage device 103 which is a non-temporary storage medium. You. Therefore, the music editing server 100 may have an interface for reading data from a removable medium.
  • the processor 101 includes, for example, a music editing unit 111 and a screen information output unit 112.
  • the processor 101 functions as the music editing unit 111 by operating according to the music editing program stored in the memory 102, and operates according to the screen information output program stored in the memory 102, thereby operating the screen information output unit 112 Function as The same applies to other programs stored in the memory 102.
  • the song editing unit 111 edits a song composed of information stored in the song information 122 based on an instruction from the user terminal 200, for example.
  • the music editing unit 111 plays and stops the music being edited and the video to which the music being edited has been added, based on an instruction from the user terminal 200, for example.
  • the screen information output unit 112 outputs information for displaying a screen for editing music to the user terminal 200.
  • the auxiliary storage device 103 holds music information 121, music information 122, and video information 123.
  • the musical tone information 121 includes musical tone data for composing a musical piece and information on the musical tone data.
  • the music information 122 includes information about a music composed of the music sounds included in the music information 121.
  • the video information 123 includes video data to which a music piece is to be assigned, and information on the video data. These video data are, for example, video data uploaded from the user terminal 200. Note that the video data is data including audio.
  • the auxiliary storage device 103 may not include the video information 123.
  • the data stored in the auxiliary storage device 103 is represented by a table structure or the like.
  • the information used by each device of the music editing system may be represented by any data structure without depending on the data structure.
  • a data structure appropriately selected from a table, list, database or queue can store the information.
  • FIG. 3 is a block diagram showing a configuration example of the user terminal 200.
  • the user terminal 200 includes a computer having a processor (CPU) 201, a memory 202, an auxiliary storage device 203, an input interface 204, an output interface 205, and a communication interface 206.
  • the user terminal 200 is, for example, a personal computer, a smartphone, or a tablet terminal having a data communication function, and is a terminal held by a user who wants to edit music.
  • each of the processor 201, the memory 202, the auxiliary storage device 203, the input interface 204, the output interface 205, and the communication interface 206 will be described with reference to the processor 101, memory 102, auxiliary storage device 103, input interface 104, output interface 105, and communication interface The description is omitted because it is the same as the description of each of the 106.
  • the relationship between each unit in the processor 201 and the program stored in the memory 202 is the same as the relationship between each unit in the processor 101 and the program stored in the memory 102, and a description thereof will be omitted.
  • the processor 201 includes, for example, a music editing instruction unit 211.
  • the music editing instruction unit 211 issues an instruction to edit the music to the music editing server 100 according to, for example, an input from a user.
  • the auxiliary storage device 203 holds, for example, music data 221 and video data 222.
  • the music data 221 includes music data downloaded from the music editing server 100.
  • the video data 222 includes video data to be uploaded to the music editing server 100 and music downloaded from the music editing server 100.
  • each device included in the music editing system of the present embodiment is a computer system physically configured on one computer or a plurality of logically or physically configured computers. May operate on a separate thread on the same computer, or may operate on a virtual computer constructed on a plurality of physical computer resources. Further, the music editing server 100 and the user terminal 200 may be configured by one computer.
  • FIG. 4 is a block diagram showing a configuration example of the musical tone information 121.
  • the tone information 121 includes, for example, a tone index table 140, tone data 159, and a plurality of tone tables 150.
  • Each of the tone tables 150 holds information on each tone included in the tone data 159.
  • a tone table 150 is prepared for each combination of mood and scene (use scene of musical tone). Note that only one of the mood and the scene may be defined for the tone, and in this case, the tone table 150 is prepared for each of the one. In this case, the other may not be included in the music structure table described later, and the other may not be displayed on the music editing screen described later, and the other may be used in music editing and music generation described later. You don't have to.
  • the tone index table 140 is a table for searching the tone table 150 to be used from the plurality of tone tables 150 based on mood and scene. Note that the musical tone information 121 may not include the musical tone index table 140 if information on musical tones corresponding to all combinations of moods and scenes is managed in one musical tone table 150.
  • the tone data 159 is tone data indicated by the tone table 150.
  • Each tone in the tone data 159 is a one-period phrase of a single musical instrument.
  • the above-mentioned "single instrument” includes not only an instrument functioning alone such as a piano and a guitar but also an instrument provided as a set of a plurality of instruments functioning independently such as a drum.
  • One period is a period defined by a predetermined number of measures (or beats). In other words, the length of time of musical tones having the same tempo is the same. If the length of a musical tone having the same tempo is the same, one period may be a period defined by a specific time such as seconds or minutes.
  • FIG. 5 is a block diagram showing a configuration example of the music information 122.
  • the music information 122 includes, for example, an instrument type table 160, a music structure table 170, and an in-configuration instrument operation table 180.
  • the musical instrument type table 160 is a table that defines the type of each musical instrument that constitutes a musical tone.
  • the song structure table 170 holds information indicating the structure of a song generated by combining a plurality of tones included in the tone data 159.
  • the in-composition instrument operation table 180 defines whether or not a sound is output for each instrument in each composition of a song such as an intro, climax, break, and outro.
  • FIG. 6 is a block diagram showing a configuration example of the video information 123.
  • the video information 123 includes, for example, a video table 190 and video data 199.
  • the video table 190 holds information on videos to which music can be given.
  • the video data 199 is video data indicated by the video table 190.
  • FIG. 7 shows an example of the tone index table 140.
  • the tone index table 140 includes, for example, a mood section 141, a scene section 142, and a table ID section 143.
  • the mood column 141 holds a value indicating the mood.
  • the scene column 142 holds a value indicating a scene.
  • the table ID column 143 holds the ID of the tone table 150 corresponding to the combination of mood and scene.
  • FIG. 8 is an example of the tone table 150.
  • the musical tone table 150 in the example of FIG. 8 stores information on musical tones whose mood is “Happy” and whose scene is “Fes” (the musical tone whose table ID is 1 in the musical tone index table 140 of FIG. 7). Table 150).
  • the tone table 150 includes, for example, a tone ID column 151, a phrase ID column 152, an instrument column 153, a key column 154, a tempo column 155, and a tone file name column 156.
  • the tone ID column 151 holds an ID for identifying each tone file.
  • the phrase ID column 152 holds an ID for identifying a phrase. Tones having the same phrase ID are tones of the same phrase, but keys and tempos may be different.
  • the instrument column 153 holds a value indicating an instrument used for playing a musical tone.
  • the key column 154 holds a value indicating a key of a musical tone. Note that, for a musical instrument such as a rhythm musical instrument (for example, a drum) in which the scale is not regarded as important, the key may not be defined.
  • the key is a concept including not only tonics such as C and D, but also tonality such as major and minor. If the keys of all musical tones are the same, there is no need to consider the keys in the combination of simultaneously reproduced musical tones. Therefore, the musical tone table 150 may not include the key information, that is, the key column 154. This is the same for information on keys of other tables.
  • the musical tone information 121 may include only the musical tone data of one type of key for each phrase.
  • the tempo column 155 holds a value indicating the tempo of the musical sound.
  • the tempo is represented by three levels of “Slow”, “Medium”, and “High”, but the number of steps is not limited.
  • the tempo may be represented by, for example, BPM (Beats @ Per @ Minute) or the like.
  • the tone file name column 156 holds the name of the tone file.
  • the musical sound file name column 156 holds the file name of the musical sound corresponding to the musical sound ID.
  • the musical tone table 150 holds information on the users who can use each musical tone.
  • the musical tone information 121 may include only musical sound data of one type of tempo for each phrase.
  • the musical sound information 121 includes a musical sound file for each key and each tempo.
  • the musical sound information 121 is replaced with MIDI (Musical Instruments Digital Interface) data instead of these musical sound files. May be included. Since the MIDI data has a data format in which the tempo and key can be easily changed, it is sufficient that the musical tone information 121 includes at least one kind of MIDI data of key and tempo for each phrase.
  • MIDI Musical Instruments Digital Interface
  • FIG. 9 is an example of the musical instrument type table 160.
  • the musical instrument type table 160 includes, for example, a musical instrument type column 161 and a musical instrument column 162.
  • the musical instrument type column 161 holds a value indicating the type of musical instrument.
  • a musical instrument that plays a melody, a musical instrument that plays a backing, a musical instrument that plays a bass, and a musical instrument that plays a rhythm are shown as musical instrument types.
  • the musical instrument type column 161 holds a value indicating a musical instrument corresponding to the musical instrument type.
  • FIG. 10 is an example of the music structure table 170.
  • the music structure table 170 includes, for example, a music ID column 171, a mood column 172, a scene column 173, a tempo column 174, a music length column 175, a key column 176, a musical sound ID column 177, a musical instrument type column 178, a musical instrument column 179, and a period column. 1710, an FX column 1711, an SE (Sound @ Effect) column 1712, and a music composition column 1713.
  • the song ID column 171 holds an ID for identifying a song.
  • the mood column 172 holds a value indicating the mood of the music.
  • the scene column 173 holds a value indicating the scene of the music.
  • the tempo column 174 holds a value indicating the tempo of the music.
  • the music length column 175 holds a value indicating the length of the music. In the example of FIG. 10, the length of the music is specified as a range, but may be one specific value.
  • the key column 176 holds a value indicating a key of a music piece.
  • the tone ID column 177 holds the ID of a tone included in the music.
  • the musical instrument type column 178 holds a value indicating the musical instrument type of the musical instrument that plays each musical tone included in the music.
  • the musical instrument column 179 holds a value indicating the musical instrument that plays each musical tone included in the music.
  • the music piece in the present embodiment is a music piece formed by repeatedly playing music pieces having the same length repeatedly.
  • each period indicated by the period column 1710 indicates each cycle in repeated reproduction. That is, it is assumed that the length of each tone corresponds to one period.
  • the period column 1710 stores, for each period, a value indicating whether or not each musical tone is output (on or off) in each period of repeated reproduction. Note that a predetermined multiple (for example, 1/2 or 2 times) of each musical tone may correspond to one period.
  • the $ FX column 1711 holds information on an effect (hereinafter, referred to as FX to distinguish it from Sound ⁇ Effect) acting on a musical instrument (musical tone) included in the music.
  • the FX column 1711 holds, for example, information for identifying the FX (for example, the FX name) and the period or timing when the FX operates.
  • the FX column 1711 includes parameters indicating the timing of the strength of the FX and the strength of the FX (this makes it possible to control such that the action of the FX gradually increases, gradually increases, and then gradually decreases). Hold. Note that information used when applying the FX to the music is stored in the auxiliary storage device 103 in advance.
  • the FX stored in the FX column 1711 is, for example, an FX that changes the tone quality and / or volume of a musical tone included in the music. Fade-in, fade-out, reverb, delay, low-pass filter, high-pass filter, and the like are examples of FX.
  • FX acts on all the musical instruments (ie, musical tones) included in the music.
  • the FX may act on each musical instrument (musical tone).
  • the FX column 1711 further holds information on the musical instrument on which the FX acts.
  • the SE column 1712 holds information on sound effects inserted into the music. Specifically, the SE column 1712 holds, for example, information for identifying a sound effect (for example, a sound effect name) and a period or a timing when the sound effect is applied. Note that information used to insert a sound effect into the music is stored in the auxiliary storage device 103 in advance.
  • the music composition column 1713 holds information indicating the overall composition of the music. Specifically, the music composition column 1713 holds information indicating which composition each period in the music corresponds to.
  • the song structure table 170 holds information on users who can use each song.
  • the song structure of the song whose song ID is 1 (hereinafter, song 1) in the example of FIG. 10 will be described.
  • the music 1 is a music composed of musical sounds having a mood of “Sad and Dark”, a scene of “Trave”, a tempo of “Medium”, and a key of “Cm”.
  • a plurality of moods and scenes may be specified for one song as in the example of FIG. 10.
  • the plurality of scenes and moods may be specified by an AND condition or an OR condition. Although it may be specified, in this embodiment, it is assumed that it is specified by an AND condition.
  • the length of song 1 is 2 minutes 30 seconds to 2 minutes 59 seconds.
  • Music 1 is composed of musical tones whose musical IDs are “1”, “101”, “201”, and “301”, respectively.
  • the instruments that play musical tones included in the music 1 are “Piano (instrument type is“ Melody ”)”, “Sax (instrument type is“ Backing ”)”, “Bass (instrument type is“ Low ”)”, and “ Drum (instrument type is “Rhythm”) ”.
  • the musical piece is composed of a musical tone of a musical instrument whose musical instrument type is “Melody”, a musical musical tone of an musical instrument of musical instrument type of “Backing”, a musical musical tone of a musical instrument of musical instrument type of “Low”, A description will be given assuming that the musical composition is composed of a musical tone of a type "Rhythm”.
  • Song 1 has "Fade @ In” from 0:00 to 0:15, “Low @ Pass” from 0:59 to 2:02, and “Fade @ Out” from 2:43 to 2:52. Works. Also, at 00:53 seconds of song 1, "SE @ 1" sounds. Also, the first and second periods of the music 1 are intros, and the fourteenth and eighteenth periods of the music 1 are outro.
  • the music editing unit 111 can reproduce one music by reproducing a plurality of musical sound data in accordance with the music structure indicated by the music structure table 170.
  • FIG. 11 is an example of the in-configuration instrument operation table 180.
  • the in-configuration instrument operation table 180 includes, for example, a configuration column 181, an instrument type column 182, a basic operation column 183, an opening operation column 184, and an end operation column 185.
  • the configuration column 181 holds values indicating each configuration such as intro, climax, break, and outro.
  • the musical instrument type column 182 holds a value indicating the musical instrument type included in each configuration.
  • the basic operation column 183 holds a value indicating whether a musical instrument of each musical instrument type is on or off in each configuration.
  • the early operation column 184 holds a value indicating whether the instrument of each instrument type is on or off during a predetermined number of periods at the start of the configuration.
  • the early operation column 184 holds a value indicating whether the instrument of each instrument type is on or off during a predetermined number of periods before the end of the configuration.
  • each musical instrument can be switched on / off after a predetermined period from the start of the configuration or before a predetermined period from the end of the configuration, but there may be another switching timing.
  • a specific timing in the middle of the configuration may be designated, so that on / off switching of each musical instrument may be possible.
  • FIG. 12 shows an example of the video table 190.
  • the video table 190 includes, for example, a music ID column 191, a video ID column 192, a music start time column 193, and a video file column 194.
  • the music ID column 191 stores an ID for identifying a music.
  • the video ID column 192 is an ID for identifying a video to which a corresponding song is assigned.
  • the music start time column 193 stores a value indicating a time at which the music starts when the music is added to the video.
  • a tune having a tune ID of “1” flows from 12 seconds after the start of a video having a video ID of “1”.
  • the video file column 194 holds information indicating the video file indicated by the corresponding video ID.
  • the video table 190 holds information on the user who can use each video.
  • the music editing unit 111 can add music to the video by playing back the video data linked to the music together with the music in the video table 190.
  • FIG. 13 is a sequence diagram showing an example of the overall processing of the music editing system.
  • the music editing instruction unit 211 generates a music editing start instruction according to, for example, an instruction from the user (S1301).
  • the music editing start instruction includes, for example, information for specifying a music such as a music ID or a music name specified by the user.
  • the song editing start instruction may include the mood, scene, and length of the song specified by the user instead of the information.
  • the music editing instruction unit 211 transmits the music editing start instruction generated in step S1301 to the music editing server 100 (S1302).
  • the music editing unit 111 reads out the music corresponding to the music identification information included in the music editing start instruction from the music structure table 170 (S1303).
  • the song editing unit 111 may, for example, select one song at random or according to a predetermined probability. May be selected, or the plurality of music IDs or music names may be output to the user terminal 200 to allow the user to select one music. If the music corresponding to the music identification information included in the music editing start instruction does not exist in the music structure table 170, the music editing instruction unit 211 returns an error to the user terminal 200, for example.
  • the screen information output unit 112 generates screen information for editing the music read in step S1303, based on the music structure table 170 and the video table 190 (S1304).
  • the screen information output unit 112 transmits the music editing screen information generated in step S1304 to the user terminal 200 (S1305).
  • the music editing instruction unit 211 displays the music editing screen on the display 234 or the like based on the received music editing screen information (S1306). The details of the music editing screen will be described later with reference to FIG. Next, the music editing instruction unit 211 generates a music editing instruction in accordance with, for example, a user's instruction (S1307). Details of the music edit instruction generation process will be described later with reference to FIG.
  • the music editing instruction unit 211 transmits the music editing instruction generated in step S1307 to the music editing server 100 (S1308).
  • the music editing unit 111 edits the music according to the received music editing instruction (S1309). The details of the music edit instruction generation process will be described later with reference to FIG.
  • the screen information output unit 112 generates music edit screen information on the edited music in the same manner as in step S1304 (S1310).
  • the screen information output unit 112 transmits the music editing screen information generated in step S1310 to the user terminal 200 (S1311).
  • the music editing instruction unit 211 displays a music editing screen for the edited music on the display 234 or the like based on the received music editing screen information (S1312).
  • the user terminal 200 may transmit information identifying the user to the music editing server 100.
  • the music editing server 100 can manage favorite music, uploaded videos, and the like for each user.
  • FIG. 14 is a flowchart showing an example of the music edit instruction generation process (S1307).
  • the music editing instruction unit 211 selects an element to be edited of the music according to the user's instruction (S1401), and acquires the editing content. Note that the user can select an element to be edited and input specific editing contents via the music editing screen.
  • the song element is an element defined in the song structure table 170 for determining the song structure.
  • the music editing instruction unit 211 receives a tempo change instruction (S1402), a music composition change instruction (S1403), a key change instruction (S1404), a musical instrument edit instruction (S1405), and a music fine change instruction in accordance with the element to be edited selected by the user.
  • S1406 an FX edit instruction (S1407), an SE edit instruction (S1408), or a video change instruction (S1409) are generated.
  • S1402 to S1409 will be described.
  • the song editing instruction unit 211 includes information specifying the tempo selected by the user in the tempo change instruction.
  • the tempo included in the tempo change instruction may be indicated by a specific value such as “High” or “Low”, or “make faster than current tempo” or “make slower than current tempo”.
  • Etc. may be indicated by relative information.
  • the music composition editing instruction unit 211 includes, in the music composition change instruction, information specifying the change period of the music composition selected by the user and the music composition after the change.
  • Information indicating that the configuration of the fifth to seventh periods is changed from “Climax” to “Outro” is an example of specific information included in the music composition change instruction.
  • the music editing instruction unit 211 includes information identifying the key selected by the user in the key change instruction.
  • the key included in the key change instruction may be indicated by a specific value such as “C” or “F # m”, “make higher than the current key”, or “make the music tone darker”.
  • Etc. may be indicated by relative information.
  • the musical instrument editing instruction in step S1405 is an instruction to change the musical instrument or an instruction to switch on / off the musical instrument for a designated period without changing the musical instrument.
  • the musical composition editing instruction unit 211 includes information identifying the musical instrument to be changed selected by the user and the musical instrument after the change in the musical instrument editing instruction.
  • the musical composition editing instruction section 211 includes information indicating the switching target period and the musical instrument selected by the user in the musical instrument editing instruction.
  • the music change instruction in step S1406 is an instruction for instructing the music editing server 100 to make a fine change to the music.
  • the FX editing instruction in step S1407 includes not only an instruction to change the content of the FX already acting on the music (including deletion of the FX) but also an instruction to add a new FX.
  • the music editing instruction unit 211 edits the FX type, the period during which the FX is applied (specified in minutes and seconds, for example), the FX parameters, and the like. Include in instructions.
  • a parameter type is prepared in advance for each FX.
  • the low-pass filter includes a parameter (Cut ⁇ ⁇ Off Frequency) for determining a band to be filtered and a level of a boundary of a band to be cut off.
  • Parameters (Resonance) for adjustment and the like are prepared.
  • the music editing instruction unit 211 determines in step S1407, for example, the FX to be changed, the change target period, and the FX parameters and the like are included in the FX editing instruction.
  • the SE editing instruction in step S1408 includes not only an instruction to change (including deletion) an SE already included in the music, but also an instruction to newly add an SE.
  • the music editing instruction unit 211 edits the SE type, the period during which the SE is applied (for example, specified in minutes and seconds), the parameters of the SE, and the like. Include in instructions.
  • a parameter type is prepared in advance for each SE.
  • the volume of each SE is an example of a parameter of the SE.
  • the music editing instruction unit 211 determines in step S1408, for example, the change target SE, the change target period, and the changed SE. Parameters and the like are included in the SE editing instruction.
  • step S1409 the song editing instruction unit 211 includes information for specifying the changed video selected by the user in the video change instruction.
  • the music editing unit 1409 includes the information in the video change instruction.
  • FIG. 15 is a flowchart showing an example of the music editing process (S1309).
  • the music editing unit 111 determines a music editing target element from the music editing instruction received from the user terminal (S1501).
  • the music editing unit 111 changes the tempo (S1502), changes the composition of the music (S1503), changes the key (S1504), edits the instrument (S1505), changes the music (S1506), FX editing processing (S1507), SE editing processing (S1508), or video change processing (S1509) is executed.
  • S1502 to S1509 changes the tempo (S1502), changes the composition of the music (S1503), changes the key (S1504), edits the instrument (S1505), changes the music (S1506), FX editing processing (S1507), SE editing processing (S1508), or video change processing (S1509) is executed.
  • S1502 to S1509 changes the tempo (S1502), changes the composition of the music (S1503), changes the key (S1504), edits the instrument (S1505), changes the music (S1506), FX editing processing (S1507), SE editing processing (S1508), or video change processing (S1509) is executed.
  • S1502 to S1509 changes the
  • step S1502 the music editing unit 111 acquires the changed tempo included in the tempo change instruction.
  • a relative tempo is specified, such as “make faster than the current tempo”
  • the music editing unit 111 may, for example, randomly or temporarily select a tempo that satisfies the relative condition. Determined according to a predetermined probability.
  • the song editing unit 111 acquires all song IDs included in the song to be edited from the song structure table 170.
  • the music editing unit 111 refers to the musical tone table 150 and, for each of the acquired music IDs, for example, has the same mood, mood, scene, musical instrument, and key as the music indicated by the music ID, and has the acquired tempo.
  • the music ID of the music is acquired as the changed music ID.
  • the song editing unit 111 may further select the changed song ID so that the phrase IDs of the song before the change and the song after the change match.
  • the music editing unit 111 changes the value of the tempo column 174 of the music being edited in the music structure table 170 to the specified tempo, and stores the changed music ID in the music ID column 171.
  • step S1503 the music editing unit 111 acquires the change target period and the changed configuration included in the music configuration change instruction.
  • the song editing unit 111 refers to the in-configuration instrument operation table 180 and acquires on / off information of each instrument type in the changed configuration.
  • the music editing unit 111 changes the on / off information of each musical instrument type in the period of change in the period column 1710 of the music to be edited in the music structure table 170 to the acquired on / off information.
  • the song editing unit 111 stores the changed song configuration in the song configuration column 1713 of the song to be edited.
  • step S1504 the music editing unit 111 acquires the changed key included in the key change instruction. If a relative key is designated, such as “make higher than the current key”, the music editing unit 111 may select a key that satisfies the relative condition, for example, randomly or Determined according to a predetermined probability. The song editing unit 111 acquires all song IDs included in the song to be edited from the song structure table 170.
  • the music editing unit 111 refers to the musical tone table 150 and, for each of the acquired music IDs, obtains a music having the same mood, scene, instrument, and tempo as the music indicated by the music ID and having the acquired key.
  • the music ID is acquired as the changed music ID.
  • the song editing unit 111 may further select the changed song ID so that the phrase IDs of the song before the change and the song after the change match.
  • the music editing unit 111 changes the value of the key column 176 of the music being edited in the music structure table 170 to the designated key, and stores the changed music ID in the music ID column 171.
  • step S1505 when the musical instrument editing instruction is an instruction to change the musical instrument, the music editing unit 111 acquires information indicating the musical instrument to be changed and the musical instrument after the change included in the musical instrument editing instruction.
  • the music editing unit 111 acquires, from the music structure table 170, a music ID included in the music to be edited and corresponding to the musical instrument to be changed.
  • the music editing unit 111 refers to the tone table 150, and for each of the acquired music IDs, the mood, scene, key, and tempo of the music indicated by the music ID are the same, and the musical instrument ID indicated by the acquired information. Is acquired as the music ID after the change. Note that the song editing unit 111 may further select the song after the change so that the phrase IDs of the song before the change and the song after the change match.
  • the music editing unit 111 changes the value of the musical instrument column 179 of the music being edited in the music structure table 170 to the specified musical instrument, and stores the changed music ID in the music ID column 171.
  • the change of the musical instrument is made to the musical instrument having the same musical instrument type.
  • the musical instrument may be changed to the musical instrument having a different musical instrument type.
  • the music editing unit 111 refers to the musical instrument type table 160 to acquire the musical instrument type of the changed musical instrument, and changes the value of the musical instrument type column 178 of the musical composition structure table 170.
  • step S1505 if the musical instrument editing instruction is an instruction to switch on / off the musical instrument, the music editing unit 111 acquires information indicating the switching target period and the musical instrument included in the music editing instruction. The music editing unit 111 switches on / off the value of the switching target period field 1710 of the switching target instrument included in the music to be edited in the music structure table 170.
  • step S1506 the music editing unit 111 changes some or all of the predetermined elements while fixing the predetermined elements of the music to be edited.
  • the music editing unit 111 changes at least one of the musical instrument, the tempo, and the phrase while keeping the mood, the scene, and the key fixed in step S1506 will be described.
  • the music editing unit 111 selects at least one of a musical instrument, a tempo, and a phrase element at random or according to a predetermined probability.
  • the music editing unit 111 changes the value of each of the selected elements at random or according to a predetermined probability.
  • the music editing unit 111 determines the musical instrument to be changed and the musical instrument after the change, for example, randomly or according to a predetermined probability. Perform change processing.
  • the music editing unit 111 performs the tempo processing described in step S1502 except that the changed tempo is determined randomly or according to a predetermined probability.
  • the song editing unit 111 acquires a song ID to be changed.
  • the music editing unit 111 refers to the musical tone table 150 and, for each of the acquired music IDs, has the same mood, scene, key, tempo, and instrument as the music indicated by the music ID, and indicates the music ID.
  • a music ID having a phrase ID different from the music is acquired as the changed music ID.
  • the music editing unit 111 stores the changed music ID in the music ID column 171 of the music being edited in the music structure table 170.
  • step S1507 the music editing unit 111 generates information of the changed FX based on the FX type, the period during which the FX is applied, and the FX parameter indicated by the FX editing instruction, and generates the FX information of the FX in the music structure table 170. Stored in column 1711.
  • step S1508 the music editing unit 111 generates information on the changed SE based on the type of SE, the timing of applying the SE, and the parameter of the SE indicated by the SE editing instruction. Stored in column 1711.
  • step S1509 the music editing unit 111 changes the value in the video file column 194 corresponding to the music being edited in the video table 190 to the file name of the video indicated by the video change instruction. If the video change instruction includes information for specifying the music start time, in step S1509, the music editing unit 111 changes the music start time column 193 in the video table 190 corresponding to the music to be edited. A value indicating the later music start time is stored.
  • the music editing unit 111 receives one editing instruction.
  • a plurality of editing instructions may be received.
  • the plurality of editing instructions may be received.
  • the processing corresponding to each editing instruction is executed.
  • FIG. 16 is an example of a music editing screen displayed on the display 234 of the user terminal 200 or the like.
  • the user of the user terminal 200 performs the variable of the music via the music editing screen.
  • the example of the music editing screen in FIG. 13 is a state in which the music (music 1) whose music ID is “1” in the music structure table 110 in FIG. 10 is being edited.
  • the music editing screen includes, for example, a filter information display area 301 and a my list display tab 302.
  • the filter information display area 301 is an area for displaying the mood, scene, and tempo of the song being edited.
  • the my list display tab 302 is selected, a my list display area and a filter information display tab are displayed instead of the filter information display area 301.
  • the my list display area is an area for displaying the names and the like of music pieces registered as user favorites.
  • the My List is managed, for example, for each user.
  • the screen transitions to a screen for starting editing of the selected song.
  • the information of the music registered in the My List of each user is stored in the auxiliary storage device 103.
  • a filter information display area 301 and a my list display tab 302 are displayed instead of the my list display area.
  • the music editing screen includes, for example, a video display area 400, a video change button 410, and a music start time display area 420.
  • the video display area 400 is an area for displaying a video to which music is to be assigned, that is, a video corresponding to the music being edited in the video table 190.
  • the video display area 400 includes, for example, a video playback / pause button 401 for switching video playback and pause, a video playback position bar 402 for determining a video playback time position, a video volume bar 403 for determining a video volume, and
  • a full screen switching button 404 for switching between full screen display and non-full screen display of video is included.
  • the video change button 410 is a button for changing a video displayed in the video display area 400, that is, a button for generating a video change instruction in step S1409.
  • the screen information output unit 112 displays the names and captures of image data that can be used by the user, and makes the image selectable.
  • the screen information output unit 112 displays the selected video on the video display area 400.
  • the video change button 410 may function as a video addition button.
  • the music start time display area 420 displays the time position of the video at which the music starts.
  • the time within the area can be changed, that is, the music start time can be changed.
  • the music editing unit 111 may change the music start time to a predetermined initial value (for example, 0 minutes 00 seconds). If the music does not end at the end of the video, the music editing unit 111 may continue playing the music without displaying the video, or may stop the music at the same time as the end of the video.
  • the music editing screen includes a music editing information display area 500, for example.
  • the music editing information display area 500 includes, for example, a key display area 501, a tempo display area 502, an instrument display area 503, and a music composition display area 506.
  • the key display area 501 is an area for displaying a key of a music piece.
  • a key change instruction in step S1404 is generated, the key is switched, and the changed key name is displayed.
  • a list of selectable keys may be displayed, and the user may select a changed key from the display.
  • the keys that can be selected as changed keys may be predetermined for each mood or scene. Specifically, for example, when the mood is “Dark”, only keys having minor tonality may be selectable.
  • the tempo display area 502 is an area for displaying the tempo of the music.
  • a tempo change instruction is generated in step S1402, the tempo is switched, and the changed tempo name is displayed.
  • a list of selectable tempos may be displayed, and the user may select a changed tempo from the list.
  • the tempo that can be selected as the changed tempo may be predetermined for each mood or scene. Specifically, for example, when the mood is “Sad”, only a tempo that is equal to or less than a predetermined value (for example, only “Slow”) may be selectable.
  • the instrument display area 503 is an area for displaying the name of the instrument used for the music and the on / off of each instrument in each period. If the box corresponding to each period of each instrument is filled with a pattern, the instrument is on (output) in that period, and if the box is not filled, the period is Indicates that the musical instrument is off (not output).
  • a musical instrument editing instruction (on / off switching instruction) is generated in step S1405, the musical instrument corresponding to the box and the on / off in the period are switched, and the box in the box is switched.
  • the display changes.
  • an instrument edit instruction (instrument change instruction) in step S1405 is generated, the instrument is switched, and the name of the instrument after the change is displayed. Is done. For example, when an instrument name in the instrument display area 503 is selected, a list of selectable instrument names may be displayed, and the user may select a changed instrument from the list. It is desirable that the musical instrument that can be selected as the changed musical instrument is a musical instrument having the same musical instrument type as the musical instrument to be changed.
  • the music editing information display area 500 includes, for example, a music composition display area 506.
  • the music composition display area 506 is an area for displaying the music composition in each period.
  • a triangular button displayed next to the name of each music composition in the music composition display area 506 is selected, a music composition change instruction is generated in step S1403, the music composition for the corresponding period is switched, and the changed music composition is changed.
  • the name of the configuration is displayed.
  • a list of selectable music compositions may be displayed, and the user may select the changed music composition from the list. Good. Further, for example, by dragging the left end / right end of each music composition display area 506, the start position / end position of the dragged composition can be changed.
  • the music editing unit 111 may change the value of the music composition in accordance with the on / off state switching in each box of the instrument display area 503, for example. In this case, for example, each time the on / off of each box is switched, the music editing unit 111 refers to the in-configuration musical instrument operation table 180.
  • the configuration of the sixth period is “Break”, but when “Piano” and “Sax” are turned on in the sixth period, the music editing unit 111 Referring to the internal musical instrument operation table 180, the configuration of the sixth period is changed to “Climax”. Further, the display of the music composition display area 506 in the sixth period also changes to “Climax”.
  • the music editing information display area 500 includes, for example, a music time bar 510, a music reproduction position bar 511, an FX display area 512, and an SE display area.
  • the music time bar 510 is a bar that displays the time corresponding to each period of the music.
  • the music reproduction position bar 511 indicates the reproduction position of the music being reproduced, and traverses the music time bar 510, the music composition display area 506, and the boxes of the musical instrument display area 503. In other words, the user can grasp the configuration at the time of reproduction and the ON / OFF of each musical instrument from the music reproduction position bar 511. For example, when a time in the music time bar 510 is selected, the music reproduction position moves to the time, and the music reproduction position bar 511 moves to the time.
  • the @FX display area 512 is displayed, for example, on the music time bar 510, and indicates the name of the FX and the period during which the FX operates.
  • the FX display area may further display the FX parameters.
  • details such as the type of the FX, the period during which the FX operates, and the parameters of the FX are displayed so as to be changeable.
  • an FX editing instruction is generated in step S1407, the FX is changed, and the name and period of the changed FX are displayed.
  • a plurality of types of FX are operating in the same period, a plurality of FX display areas 512 are displayed in the same period on the music time bar 510, for example.
  • the SE display area 513 is displayed, for example, on the music time bar 510, and indicates the timing at which the SE sounds.
  • the SE display area 513 may further display the name of the SE and the parameters of the SE.
  • details such as the type of the SE, the timing at which the SE rings, and the parameters of the SE are displayed so as to be changeable.
  • step S1408 When a value related to the SE is changed in the display, an edit instruction in step S1408 is generated, the SE is changed, and the timing of the changed SE is indicated.
  • a plurality of types of SEs sound in the same period, for example, a plurality of SE display areas 513 are displayed in the same period on the music time bar 510.
  • the music editing information display area 500 includes, for example, an enlargement / reduction bar 521 and a display position adjustment bar 522.
  • the enlargement / reduction bar 521 is a bar for changing the number of periods displayed in the music editing information display area 500.
  • the display position adjustment bar 522 is a bar for adjusting the displayed period when the entire period of the song being edited is not displayed in the song editing information display area 500.
  • the music editing information display area 500 includes, for example, a music fine change button 531, a music volume adjustment bar 532, a music stop button 533, a music play / pause button 534, an FX add button 535, an SE add button 536, and a my list add button. 537, and a download button 538.
  • the music volume adjustment bar 532 is a bar for adjusting the volume of the music being edited.
  • the music stop button 533 is a button for completely stopping the music being reproduced and returning the reproduction position to 0:00.
  • the music play / pause button 534 is a button for playing and pausing the music.
  • the add FX button 535 When the add FX button 535 is selected, for example, selectable FX are displayed. When the FX is selected, a display that allows input of a period during which the FX operates and parameters of the FX is displayed, and when these are input, an FX editing instruction in step S1407 is generated. Note that, by dragging and dropping the FX addition button 535 onto the music time bar 510, an FX addition instruction for adding an FX at a corresponding time position may be generated.
  • SE addition button 536 When the SE addition button 536 is selected, for example, selectable SEs are displayed. When the SE is selected, a display is displayed in which the timing at which the SE rings and the parameters of the SE can be input, and when these are input, an SE editing instruction in step S1408 is generated. Note that, by dragging and dropping the SE addition button 536 onto the music time bar 510, an SE addition instruction for adding an SE at a corresponding time position may be generated.
  • the “Add My List” button 537 is a button for adding the song being edited to the user's My List.
  • the download button 538 is a button for the user terminal 200 to download the song being edited.
  • the music editing unit 111 When the download button 538 is selected, for example, the music editing unit 111 generates one music data from the music being edited, which is composed of a plurality of repetitions of musical tones, and transmits the generated music data to the user terminal 200.
  • the music editing unit 111 creates one piece of video data in which the music being edited consisting of a plurality of repetitions of musical tones is added to the displayed video, and generates the generated video data. May be transmitted to the user terminal 200.
  • the song editing screen displays the song structure in a simple and easy-to-recognize state. Work can be done. Further, the edited music is a musically natural music.
  • the music of the present embodiment is composed of a plurality of musical sounds having the same length and reproduced simultaneously. Since the music editing unit 111 edits the music without editing the content of the musical sound itself (for example, music score information) in such music editing, the processing amount required for music editing is small.
  • the impression of the music can be easily changed greatly, and the amount of processing for the change processing is small.
  • the selected video is played simultaneously. Further, since the music playback position bar 511 traverses each period in the instrument display area 503, the user can grasp the on / off state of each instrument at the current video and music playback point.
  • the editing operation for reducing the number of musical instruments in the ON state can be realized by an easy operation of switching the ON / OFF state of the box in each period in the musical instrument display area 503.
  • the music editing server 100 is capable of not only editing music but also generating music.
  • differences from the first embodiment will be described.
  • FIG. 17 is a block diagram illustrating a configuration example of the music editing server 100 according to the present embodiment.
  • the processor 101 of the music editing server 100 further includes a music generation unit 113.
  • the music generation unit 113 generates music based on the music generation instruction received from the user terminal 200.
  • FIG. 18 is a block diagram illustrating a configuration example of the user terminal 200 according to the present embodiment.
  • the processor 201 of the user terminal 200 further includes a music generation instruction unit 212.
  • the music generation instruction unit 212 generates a music generation instruction based on an input from a user.
  • FIG. 19 is a block diagram showing a configuration example of the music information 122 of this embodiment.
  • the music information 122 further includes a music entire configuration table 610.
  • the music composition table 610 is a table that defines the composition of an entire music piece.
  • FIG. 20 shows an example of the music composition table 610.
  • the music composition table 610 includes, for example, a music composition ID column 611 and a composition order column 612.
  • the music composition ID column 611 holds an ID for identifying the overall composition of the music.
  • the configuration order column 612 stores information indicating the order of the configuration in the overall music composition.
  • the entire song configuration whose song overall configuration ID is “4” is composed of four configurations of “Intro”, “Climax”, “Climax”, and “Outro”.
  • the following rules for the overall composition of the music may be predetermined.
  • the first configuration is “Intro”
  • the last configuration is “Outro”
  • the configuration between the first and the last is a predetermined number (N) of “Climax” and one “Break”.
  • N predetermined number
  • the first configuration is “Intro”
  • the last composition is “Outro”
  • the composition between the first and last is “Climax”.
  • FIG. 21 is a sequence diagram illustrating an example of processing of the entire music generation system for music generation.
  • the music generation instruction unit 212 receives, for example, an input of a mood, a scene, a tempo, and a length of the music to be generated from the user (S2101).
  • the selectable mood, scene, tempo, and music length are notified in advance from the music editing server 100, for example.
  • the mood, the scene, the tempo, and the length of the music may be specified by an AND condition or an OR condition using a plurality of values.
  • the music generation instruction unit 212 transmits a music generation instruction including the mood, scene, tempo, and length of the music input in step S2101 to the music editing server 100 (S2102).
  • the music generation unit 113 generates a music based on the received music generation instruction (S2103). Details of the music generation processing in step S2103 will be described later with reference to FIG.
  • the screen information output unit 112 generates screen information for editing the music generated in step S2103 based on the music structure table 170 (S2104).
  • the screen information output unit 112 transmits the music editing screen information generated in step S2104 to the user terminal 200 (S2105).
  • the music editing instruction unit 211 displays the music editing screen on the display 234 or the like based on the received music editing screen information (S2506). The details of the music editing screen in this embodiment will be described later with reference to FIG.
  • FIG. 22 is a flowchart showing an example of the music generation process (S2103).
  • the music generation unit 113 refers to the musical tone index table 140, and the music generation unit 113 refers to the musical instrument type table 160 to select a musical instrument used for the musical composition (S2201). Specifically, for example, one musical instrument is selected from "Melody", one musical instrument from “Backing”, one musical instrument from “Low”, and one musical instrument from "Rhythm”. The selection of the musical instrument may be performed at random, for example, or may be performed based on a probability weighted by the selected mood, scene, and / or tempo.
  • the music generation unit 113 acquires the table ID of the tone table 150 corresponding to the mood and scene included in the music generation instruction (S2202).
  • the music generation unit 113 refers to the musical tone table 150 corresponding to the table ID acquired in step S2202, and obtains the musical tone of each musical instrument selected in step S2201 having the same key with the tempo included in the musical composition editing instruction. Selection is made (S2203).
  • the selection of the musical sound may be performed at random, for example, or may be performed according to a predetermined probability or a probability weighted by the selected mood, scene, and / or tempo.
  • a key may be specified in the song editing instruction, and in this case, a musical tone of the specified key is selected.
  • the music generation unit 113 selects the overall composition of the music from the overall music composition table 610 (S2204). Note that the selection of the entire composition of the music may be performed, for example, at random or according to a predetermined probability or a probability weighted by a selected mood, scene, and / or tempo. .
  • the music generation unit 113 calculates, for example, the total number of music periods from the tempo and length of the music included in the music generation instruction, and allocates the total music period to each component included in the overall configuration selected in step S2204. Thus, the length of the period of each configuration is determined (S2205). Note that the length of the period assigned to each component may be determined, for example, at random, or may be determined according to a predetermined probability or a probability weighted by a selected mood, scene, and / or tempo. You may.
  • the music generation unit 113 refers to the in-configuration instrument operation table 180 and determines ON / OFF of each instrument in each period in each configuration (S2206). The music generation unit 113 assigns a music ID to the generated music and stores information of the generated music in the music structure table 170 (S2207).
  • FIG. 23 is an example of the music editing screen displayed on the display 234 or the like of the user terminal 200 in this embodiment. The differences from FIG. 16 will be described.
  • the filter information display area 301 all selectable moods, scenes, and tempos are displayed, and the mood, scene, and tempo of the song being edited are displayed in white as selected values.
  • the mood, scene, and tempo of the music can be selected again.
  • the music editing screen further includes a music length display area 303 and a music generation button 304.
  • the music length display area 303 the length of the music specified in the music generation instruction is displayed.
  • the length of the music can be selected again.
  • the range of the music length changes to a large value
  • the music length is displayed. Range changes to a small value.
  • all selectable music lengths may be displayed, or a screen for directly specifying the value of the music length by the user may be displayed. It may be displayed.
  • the music regeneration process is the same as the music generation process in step S2103.
  • the music editing system of the present embodiment generates music using elements that can be easily understood even by a user without musical knowledge, such as mood, scene, tempo, and music length. As a result, a musical piece close to the image of the user can be generated.
  • the music editing system generates music by switching on / off states of a plurality of musical sounds for each period without generating music score information and the like, so that the amount of processing required for music editing is small.
  • the music editing system determines the overall configuration of the music and the ON / OFF of the musical instrument in each configuration by using the overall music configuration table and the musical instrument operation table within the configuration, thereby enabling the user to specify an arbitrary configuration. , And a musical piece having a natural musical development can be generated.
  • a user wants to add music to a video it is possible to generate music having a natural musical development in accordance with the time of the video to which the music is to be applied.

Abstract

楽曲編集システムは、楽音を含む楽音情報と、楽音情報に含まれる同一の長さを有する複数の楽音を同時再生することにより構成される編集対象楽曲、の構造を示す楽曲構造情報と、を保持し、楽曲構造情報は、該複数の楽音と、該複数の楽音の長さを所定長に分割した各期間において、該複数の楽音それぞれが出力されているか否かの出力状態と、を示し、楽曲編集システムは、楽曲構造情報を参照して、該各期間について、該複数の楽音それぞれの出力状態を示す楽音表示領域を表示し、楽音表示領域が選択された場合、楽曲構造情報において、該選択された楽音表示領域に対応する期間における、該選択された楽音表示領域に対応する楽音の出力状態を変更し、該選択された楽音表示領域における出力状態の表示を切り替える。

Description

楽曲編集システム、及び楽曲編集方法
　本発明は、楽曲編集システム、及び楽曲編集方法に関する。
　音楽的知識に乏しいユーザであっても、楽曲の編集を実行可能とするシステムが求められている。また、特に近年では動画に付与するための楽曲を編集するニーズが高まっている。
　楽曲の編集を行う技術として国際公開第２０１７／０５８８４４号（以下、特許文献１）がある。特許文献１に記載の技術は、ユーザから指定された楽曲のエモーション及びスタイルに基づいて楽曲を生成し、生成した楽曲をユーザに提示する。また、特許文献１に記載の技術は、生成した楽曲に対するユーザの評価や音楽的な好みについてのフィードバックを受け取り、当該フィードバックに基づいて楽曲を編集する。
国際公開第２０１７／０５８８４４号
　例えば、動画に付与するための楽曲を編集する場合には、動画内のイベントの期間に合わせて、楽曲に変化を与える編集が容易に実行可能であることが求められる。しかし、前述した通り、特許文献１に記載の技術は、生成した楽曲に対するユーザの評価や音楽的な好みについてのフィードバックに基づいて、楽曲を編集するため、楽曲内の任意の期間において楽曲の構成に変化を与える編集を容易に実行することはできない。
　そこで本発明の一態様は、音楽的知識に乏しいユーザであっても、楽曲内の任意の期間において楽曲の構成に変化を与えるための編集を容易に実行できる楽曲編集システムを提供することを目的とする。
　上記課題を解決するため、本発明の一態様は、例えば、以下の構成を採用する。楽曲編集システムは、プロセッサとメモリと表示装置とを備え、前記メモリは、楽音を含む楽音情報と、前記楽音情報に含まれる同一の長さを有する複数の楽音を同時再生することにより構成される編集対象楽曲、の構造を示す楽曲構造情報と、を保持し、前記楽曲構造情報は、前記複数の楽音と、前記複数の楽音の長さを前記同一の長さで分割した各期間において、前記複数の楽音それぞれが出力されているか否かの出力状態と、を示し、前記プロセッサは、前記楽曲構造情報を参照して、前記各期間について、前記複数の楽音それぞれの出力状態を示す楽音表示領域を、前記表示装置に表示し、前記表示装置において、前記楽音表示領域が選択された場合、前記楽曲構造情報において、前記選択された楽音表示領域に対応する期間における、前記選択された楽音表示領域に対応する楽音の出力状態を変更し、前記選択された楽音表示領域における出力状態の表示を切り替える。
　本発明の一態様によれば、そこで本発明の一態様は、音楽的知識に乏しいユーザであっても、楽曲内の任意の期間において楽曲の構成に変化を与えるための編集を容易に実行することができる。
実施例１における楽曲編集システムの構成例を示すブロック図である。 実施例１における楽曲編集サーバの構成例を示すブロック図である。 実施例１におけるユーザ端末の構成例を示すブロック図である。 実施例１における楽音情報の構成例を示すブロック図である。 実施例１における楽曲情報の構成例を示すブロック図である。 実施例１における映像情報の構成例を示すブロック図である。 実施例１における楽音インデックステーブルの一例である。 実施例１における楽音テーブルの一例である。 実施例１における楽器タイプテーブルの一例である。 実施例１における楽曲構造テーブルの一例である。 実施例１における構成内楽器動作テーブルの一例である。 実施例１における映像テーブルの一例である。 実施例１における楽曲編集システムの全体処理の一例を示すシーケンス図である。 実施例１における楽曲編集指示生成処理の一例を示すフローチャートである。 実施例１における楽曲編集処理の一例を示すフローチャートである。 実施例１におけるユーザ端末のディスプレイ等に表示される楽曲編集画面の一例である。 実施例２における楽曲編集サーバの構成例を示すブロック図である。 実施例２におけるユーザ端末の構成例を示すブロック図である。 実施例２における楽曲情報の構成例を示すブロック図である。 実施例２における楽曲全体構成テーブルの一例である。 実施例２における楽曲生成のための楽曲生成システム全体の処理の一例を示すシーケンス図である。 実施例２における楽曲生成処理の一例を示すフローチャートである。 実施例２におけるユーザ端末のディスプレイ等に表示される楽曲編集画面の一例である。
　以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
　図１は、本実施例の楽曲編集システムの構成例を示すブロック図である。本実施例の楽曲編集システムは、楽曲編集サーバ１００及び１以上のユーザ端末２００を含む。楽曲編集システムに含まれる各装置は、インターネット等のネットワーク７００を介して相互に接続されている。
　楽曲編集サーバ１００は、例えば、楽曲データを保持し、楽曲データに含まれる楽曲を編集する。ユーザ端末２００は、例えば、ユーザの指示に従って、楽曲編集サーバ１００に対して楽曲編集指示を出す。
　図２は、楽曲編集サーバ１００の構成例を示すブロック図である。楽曲編集サーバ１００は、プロセッサ（ＣＰＵ）１０１、メモリ１０２、補助記憶装置１０３、入力インターフェース１０４、出力インターフェース１０５、及び通信インターフェース１０６を有する計算機によって構成される。
　プロセッサ１０１は、メモリ１０２に格納されたプログラムを実行する。メモリ１０２は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
　補助記憶装置１０３は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１０１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０３から読み出されて、メモリ１０２にロードされて、プロセッサ１０１によって実行される。なお、補助記憶装置１０３に格納されている情報の一部又は全部がメモリ１０２に格納されていてもよい。
　入力インターフェース１０４は、キーボード１３１、マウス１３２、マイクロフォン１３３、及び／又は電子楽器などが接続され、オペレータからの入力を受けるインターフェースである。また、出力インターフェース１０５は、ディスプレイ１３４、プリンタ、及び／又はスピーカ１３５などが接続され、プログラムの実行結果をオペレータが視認可能及び／又は聴覚によって認識可能な形式で出力するインターフェースでもある。
　通信インターフェース１０６は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。また、通信インターフェース１０６は、例えば、ＵＳＢ等のシリアルインターフェースを含む。
　プロセッサ１０１が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又はネットワーク７００を介して楽曲編集サーバ１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０３に格納される。このため、楽曲編集サーバ１００は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
　プロセッサ１０１は、例えば、楽曲編集部１１１及び画面情報出力部１１２を含む。例えば、プロセッサ１０１は、メモリ１０２に格納された楽曲編集プログラムに従って動作することで、楽曲編集部１１１として機能し、メモリ１０２に格納された画面情報出力プログラムに従って動作することで、画面情報出力部１１２として機能する。メモリ１０２に格納されている他のプログラムについても同様である。
　楽曲編集部１１１は、例えば、ユーザ端末２００からの指示に基づいて、楽曲情報１２２内に格納された情報によって構成される楽曲を編集する。また、楽曲編集部１１１は、編集中の楽曲、及び編集中の楽曲が付与された映像を、例えば、ユーザ端末２００からの指示に基づいて、再生及び停止する。画面情報出力部１１２は、楽曲編集のための画面を表示するため情報を、ユーザ端末２００に出力する。
　補助記憶装置１０３は、楽音情報１２１、楽曲情報１２２、及び映像情報１２３を保持する。楽音情報１２１は、楽曲を構成するための楽音データ、及び当該楽音データについての情報を含む。楽曲情報１２２は、楽音情報１２１に含まれる楽音によって構成された楽曲についての情報を含む。
　映像情報１２３は、楽曲を付与する対象となる映像データ、及び当該映像データについての情報を含む。これらの映像データは、例えば、ユーザ端末２００からアップロードされた映像データである。なお、映像データは音声を含むデータである。なお、楽曲編集サーバ１００が、楽曲の再生と同時に映像の再生を行わない場合には、補助記憶装置１０３は映像情報１２３を含まなくてもよい。
　なお、本実施形態では、補助記憶装置１０３が保持するデータがテーブル構造等で表現されている例を説明する。しかし、本実施形態において、楽曲編集システムの各装置が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。例えば、テーブル、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。
　図３は、ユーザ端末２００の構成例を示すブロック図である。ユーザ端末２００は、プロセッサ（ＣＰＵ）２０１、メモリ２０２、補助記憶装置２０３、入力インターフェース２０４、出力インターフェース２０５、及び通信インターフェース２０６を有する計算機によって構成される。ユーザ端末２００は、例えば、データ通信機能を有するパーソナルコンピュータ、スマートフォン、又はタブレット端末等であり、楽曲の編集を希望するユーザが保有する端末である。
　プロセッサ２０１、メモリ２０２、補助記憶装置２０３、入力インターフェース２０４、出力インターフェース２０５、及び通信インターフェース２０６それぞれの説明は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、入力インターフェース１０４、出力インターフェース１０５、及び通信インターフェース１０６それぞれの説明と同様であるため、省略する。また、プロセッサ２０１内の各部とメモリ２０２に格納されたプログラムとの関係は、また、プロセッサ１０１内の各部とメモリ１０２に格納されたプログラムとの関係と同様であるため、説明を省略する。
　プロセッサ２０１は、例えば、楽曲編集指示部２１１を含む。楽曲編集指示部２１１は、例えば、ユーザからの入力に従って、楽曲編集サーバ１００に対して、楽曲を編集するための指示を行う。
　補助記憶装置２０３は、例えば、楽曲データ２２１及び映像データ２２２を保持する。楽曲データ２２１は、楽曲編集サーバ１００からダウンロードされた楽曲データを含む。映像データ２２２は、楽曲編集サーバ１００にアップロードする映像データ、及び楽曲編集サーバ１００からダウンロードされた楽曲を含む。
　なお、本実施形態の楽曲編集システムに含まれる装置それぞれは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。また、楽曲編集サーバ１００とユーザ端末２００とが１つの計算機によって構成されていてもよい。
　図４は、楽音情報１２１の構成例を示すブロック図である。楽音情報１２１は、例えば、楽音インデックステーブル１４０、楽音データ１５９、及び複数の楽音テーブル１５０を含む。楽音テーブル１５０それぞれは、楽音データ１５９に含まれる各楽音についての情報を保持する。後述するように、ムードとシーン（楽音の利用シーン）との組み合わせごとに、楽音テーブル１５０が用意されている。なお、楽音にはムード又はシーンの一方のみが定義されていてもよく、この場合、当該一方ごとに、楽音テーブル１５０が用意されている。また、この場合、後述する楽曲構造テーブルに他方は含まれなくてもよく、後述する楽曲編集画面にも当該他方は表示されなくてもよく、後述する楽曲編集及び楽曲生成においても当該他方は用いられなくてもよい。
　楽音インデックステーブル１４０は、複数の楽音テーブル１５０から、ムード及びシーンに基づいて、利用対象の楽音テーブル１５０を検索するためのテーブルである。なお、なお、ムード及びシーンの組み合わせ全てに対応する楽音についての情報が１つの楽音テーブル１５０で管理されていれば、楽音情報１２１は楽音インデックステーブル１４０を含まなくてもよい。
　楽音データ１５９は、楽音テーブル１５０が示す楽音データである。なお、楽音データ１５９における各楽音は、単一の楽器による１期間のフレーズである。但し、上記した「単一の楽器」は、ピアノやギターのように単体で機能する楽器だけでなく、ドラムのように単体で機能する複数の楽器のセットとして与えられる楽器も含む。１期間とは、所定数の小節（又は拍）で定義された期間であるものとする。つまり、テンポが同じである楽音の時間の長さは同じである。また、テンポが同じである楽音の長さが同じであれば、１期間が、秒や分などの具体的な時間で定義された期間であってもよい。
　図５は、楽曲情報１２２の構成例を示すブロック図である。楽曲情報１２２は、例えば、楽器タイプテーブル１６０、楽曲構造テーブル１７０、及び構成内楽器動作テーブル１８０を含む。楽器タイプテーブル１６０は、楽音を構成する各楽器のタイプを定義するテーブルである。
　楽曲構造テーブル１７０は、楽音データ１５９に含まれる複数の楽音の組み合わせによって生成された楽曲の構造を示す情報を保持する。構成内楽器動作テーブル１８０は、イントロ、クライマックス、ブレイク、及びアウトロ等の楽曲の構成それぞれにおいて、各楽器について音が出力されるか否かを定義する。
　図６は、映像情報１２３の構成例を示すブロック図である。映像情報１２３は、例えば、映像テーブル１９０及び映像データ１９９を含む。映像テーブル１９０は、楽曲を付与可能な映像についての情報を保持する。映像データ１９９は、映像テーブル１９０が示す映像データである。
　図７は、楽音インデックステーブル１４０の一例である。楽音インデックステーブル１４０は、例えば、ムード欄１４１、シーン欄１４２、及びテーブルＩＤ欄１４３を含む。ムード欄１４１は、ムードを示す値を保持する。シーン欄１４２は、シーンを示す値を保持する。テーブルＩＤ欄１４３は、ムードとシーンとの組み合わせに対応する楽音テーブル１５０のＩＤを保持する。
　図８は、楽音テーブル１５０の一例である。図８の例における楽音テーブル１５０は、ムードが「Ｈａｐｐｙ」であり、かつシーンが「Ｆｅｓ」である楽音についての情報を格納するテーブル（図７の楽音インデックステーブル１４０におけるテーブルＩＤが１である楽音テーブル１５０）である。
　楽音テーブル１５０は、例えば、楽音ＩＤ欄１５１、フレーズＩＤ欄１５２、楽器欄１５３、キー欄１５４、テンポ欄１５５、及び楽音ファイル名欄１５６を含む。楽音ＩＤ欄１５１は、各楽音ファイルを識別するＩＤを保持する。フレーズＩＤ欄１５２は、フレーズを識別するＩＤを保持する。同一のフレーズＩＤを有する楽音は、同じフレーズの楽音であるが、キー及びテンポは異なる可能性がある。
　楽器欄１５３は、楽音の演奏に用いられた楽器を示す値を保持する。キー欄１５４は、楽音のキーを示す値を保持する。なお、リズム楽器（例えばドラム）のように、音階が重要視されない楽器については、キーが定義されていなくてもよい。なお、キーとは、ＣやＤなどの主音だけでなく、メジャーやマイナーなどの調性を含む概念である。なお、全ての楽音のキーが同一であれば、同時再生される楽音の組み合わせにおいてキーを考慮する必要がないため、楽音テーブル１５０は、キーについての情報即ちキー欄１５４を含まなくてもよい。これは、他のテーブルのキーについての情報についても同様である。なお、楽曲編集サーバ１００が楽音データのキーを編集する機能を有する場合には、各フレーズについて１種類のキーの楽音データのみが楽音情報１２１に含まれている状態であってもよい。
　テンポ欄１５５は、楽音のテンポを示す値を保持する。なお、図８の例では、テンポは、「Ｓｌｏｗ」、「Ｍｅｄｉｕｍ」、「Ｈｉｇｈ」の３段階で表されているが、その段階数は問わない。また、テンポは、例えば、ＢＰＭ（Ｂｅａｔｓ　Ｐｅｒ　Ｍｉｎｕｔｅ）等によって表されてもよい。楽音ファイル名欄１５６は、楽音ファイルの名称を保持する。楽音ファイル名欄１５６は、楽音ＩＤに対応する楽音のファイル名を保持する。なお、ユーザ端末２００のユーザごとに利用可能な楽音が異なる場合、楽音テーブル１５０は、各楽音を利用可能なユーザの情報を保持する。なお、楽曲編集サーバ１００が楽音データのテンポを編集する機能を有する場合には、各フレーズについて１種類のテンポの楽音データのみが楽音情報１２１に含まれている状態であってもよい。
　なお、本実施例では、キーごとテンポごとの楽音ファイルが楽音情報１２１に含まれている例を示しているが、楽音情報１２１は、これらの楽音ファイルの代わりにＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔｓ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）データを含んでいてもよい。ＭＩＤＩデータは、テンポ及びキーを容易に変更可能なデータ形式であるため、各フレーズについて少なくとも１種類のキー及びテンポのＭＩＤＩデータが楽音情報１２１に含まれていればよい。
　図９は、楽器タイプテーブル１６０の一例である。楽器タイプテーブル１６０は、例えば、楽器タイプ欄１６１及び楽器欄１６２を含む。楽器タイプ欄１６１は、楽器のタイプを示す値を保持する。図９の例では、楽器のタイプとして、メロディーを担う楽器、バッキングを担う楽器、低音を担う楽器、及びリズムを担う楽器が示されている。楽器タイプ欄１６１は、楽器タイプに対応する楽器を示す値を保持する。
　図１０は、楽曲構造テーブル１７０の一例である。楽曲構造テーブル１７０は、例えば、楽曲ＩＤ欄１７１、ムード欄１７２、シーン欄１７３、テンポ欄１７４、楽曲長欄１７５、キー欄１７６、楽音ＩＤ欄１７７、楽器タイプ欄１７８、楽器欄１７９、期間欄１７１０、ＦＸ欄１７１１、ＳＥ（Ｓｏｕｎｄ　Ｅｆｆｅｃｔ）欄１７１２、及び楽曲構成欄１７１３を含む。
　楽曲ＩＤ欄１７１は、楽曲を識別するＩＤを保持する。ムード欄１７２は、楽曲のムードを示す値を保持する。シーン欄１７３は、楽曲のシーンを示す値を保持する。テンポ欄１７４は、楽曲のテンポを示す値を保持する。楽曲長欄１７５は、楽曲の長さを示す値を保持する。図１０の例では、楽曲の長さは範囲として指定されているが、具体的な１つの値であってもよい。
　キー欄１７６は、楽曲のキーを示す値を保持する。楽音ＩＤ欄１７７は、楽曲に含まれる楽音のＩＤを保持する。楽器タイプ欄１７８は、楽曲に含まれる各楽音を奏でる楽器の楽器タイプを示す値を保持する。楽器欄１７９は、楽曲に含まれる各楽音を奏でる楽器を示す値を保持する。
　本実施例における楽曲は、長さが同一の各楽音が繰り返し同時再生されることにより構成される楽曲である。本実施例では、期間欄１７１０が示す各期間は、繰り返し再生における各周期を示すものとする。つまり、各楽音の長さが１期間に相当するものとする。また、期間欄１７１０は、繰り返し再生の各期間において、各楽音の音が出力されるか否か（オンであるかオフであるか）を示す値を、期間ごとに格納する。なお、各楽音の所定倍（例えば、１／２倍や２倍）の長さが１期間に相当してもよい。
　ＦＸ欄１７１１は、楽曲に含まれる楽器（楽音）に作用するエフェクト（以下、Ｓｏｕｎｄ　Ｅｆｆｅｃｔと区別するためにＦＸと記載する）についての情報を保持する。具体的には、ＦＸ欄１７１１は、例えば、ＦＸを識別する情報（例えばＦＸ名）と当該ＦＸが作用する期間又はタイミングを保持する。また、例えば、ＦＸ欄１７１１は、当該ＦＸの強弱及びの強弱のタイミングを示すパラメータ（これにより、ＦＸの作用がだんだん強くなる、だんだん強くなってその後だんだん弱くなる等の制御が可能となる）等を保持する。なお、楽曲にＦＸを作用させるときに用いられる情報は、予め補助記憶装置１０３に格納されている。
　なお、ＦＸ欄１７１１に格納されるＦＸは、例えば、楽曲に含まれる楽音の音質及び／又は音量等を変化させるＦＸである。フェードイン、フェードアウト、リバーブ、ディレイ、ローパスフィルタ、及びハイパスフィルタ等は、ＦＸの一例である。なお、本実施例では、ＦＸが、楽曲に含まれる全ての楽器（即ち楽音）に作用する例を説明するが、楽器（楽音）ごとに作用してもよい。この場合、ＦＸ欄は１７１１、ＦＸが作用する対象の楽器についての情報をさらに保持する。
　ＳＥ欄１７１２は、楽曲内に挿入される効果音についての情報を保持する。具体的には、ＳＥ欄１７１２は、例えば、効果音を識別する情報（例えば効果音名）と当該効果音が作用する期間又はタイミングを保持する。なお、楽曲に効果音を挿入するために用いられる情報は、予め補助記憶装置１０３に格納されている。楽曲構成欄１７１３は、楽曲全体の構成を示す情報を保持する。具体的には、楽曲構成欄１７１３は、楽曲内の各期間がどの構成に該当するかを示す情報を保持する。なお、ユーザ端末２００のユーザごとに利用可能な楽曲が異なる場合、楽曲構造テーブル１７０は、各楽曲を利用可能なユーザの情報を保持する。
　図１０の例における楽曲ＩＤが１である楽曲（以下、楽曲１と呼ぶ）の楽曲構造について説明する。楽曲１は、ムードが「ＳａｄかつＤａｒｋ」、シーンが「Ｔｒａｖｅｌ」、テンポが「Ｍｅｄｉｕｍ」、かつキーが「Ｃｍ」の楽音から構成される楽曲である。なお、図１０の例のように１つの楽曲に複数のムードやシーンが指定されていてもよく、この場合、当該複数のシーンやムードは、ＡＮＤ条件で指定されていてもよいしＯＲ条件で指定されていてもよいが、本実施例ではＡＮＤ条件で指定されているものとする。
　楽曲１の長さは、２分３０秒～２分５９秒である。楽曲１は、それぞれ楽音ＩＤが、「１」、「１０１」、「２０１」、「３０１」である楽音から構成される。楽曲１に含まれる楽音を奏でる楽器は、それぞれ、「Ｐｉａｎｏ（楽器タイプは「Ｍｅｌｏｄｙ」）」、「Ｓａｘ（楽器タイプは「Ｂａｃｋｉｎｇ」）」、「Ｂａｓｓ（楽器タイプは「Ｌｏｗ」）」、「Ｄｒｕｍ（楽器タイプは「Ｒｈｙｔｈｍ」）」である。
　なお、本実施例では、楽曲は、楽器タイプが「Ｍｅｌｏｄｙ」である楽器による楽音と、楽器タイプが「Ｂａｃｋｉｎｇ」である楽器による楽音と、楽器タイプが「Ｌｏｗ」である楽器による楽音と、楽器タイプが「Ｒｈｙｔｈｍ」である楽器による楽音と、から構成されるものとして説明するが、楽曲を構成する楽器タイプの組み合わせに制限はない。
　楽曲１では、第１期間（楽曲が開始してからＮ期間目を第Ｎ期間と呼ぶ）において、「Ｐｉａｎｏ」が「Ｏｆｆ」、「Ｓａｘ」が「Ｏｆｆ」、「Ｂａｓｓ」が「Ｏｆｆ」、「Ｄｒｕｍ」が「Ｏｎ」であり、第２期間において、「Ｐｉａｎｏ」が「Ｏｆｆ」、「Ｓａｘ」が「Ｏｆｆ」、「Ｂａｓｓ」が「Ｏｎ」、「Ｄｒｕｍ」が「Ｏｎ」である。なお、楽曲１の終了期間より後の期間における、期間欄１７１０の各カラムにはｎｕｌｌ値が格納されている。
　楽曲１には、０分００秒から０分１５秒まで「Ｆａｄｅ　Ｉｎ」が、０分５９秒から２分０２秒まで「Ｌｏｗ　Ｐａｓｓ」が、２分４３秒から２分５２秒まで「Ｆａｄｅ　Ｏｕｔ」が、作用する。また、楽曲１の００分５３秒において、「ＳＥ　１」が鳴る。また、楽曲１の第１期間～第２期間はイントロであり、楽曲１の第１４期間～第１８期間はアウトロである。
　このように楽曲編集部１１１は、楽曲構造テーブル１７０が示す楽曲構造に従って、複数の楽音データを再生することにより、１つの楽曲を再生することができる。
　図１１は、構成内楽器動作テーブル１８０の一例である。構成内楽器動作テーブル１８０は、例えば、構成欄１８１、楽器タイプ欄１８２、基本動作欄１８３、序盤動作欄１８４、及び終盤動作欄１８５を含む。
　構成欄１８１は、イントロ、クライマックス、ブレイク、及びアウトロ等の各構成を示す値を保持する。楽器タイプ欄１８２は、各構成に含まれる楽器タイプを示す値を保持する。基本動作欄１８３は、各構成において、各楽器タイプの楽器がオンであるかオフであるかを示す値を保持する。
　序盤動作欄１８４は、構成開始時の所定数の期間において、各楽器タイプの楽器がオンであるかオフであるかを示す値を保持する。序盤動作欄１８４は、構成終了前の所定数の期間において、各楽器タイプの楽器がオンであるかオフであるかを示す値を保持する。
　図１１の例では、「Ｉｎｔｒｏ」において、「Ｉｎｔｒｏ」の開始から最初の１期間においては、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオフ、「Ｒｈｙｔｈｍ」がオンであり、２期間目以降は、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオンである。なお、Ｉｎｔｒｏの２期間目以降については、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオン、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオフであってもよい。
　また、「Ｃｌｉｍａｘ」の開始から終了までの全期間において、「Ｍｅｌｏｄｙ」がオン、「Ｂａｃｋｉｎｇ」がオン、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオンである。
　また、「Ｂｒｅａｋ」の開始から終了までの全期間において、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオンである。なお、「Ｂｒｅａｋ」の全期間において、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオフ、「Ｒｈｙｔｈｍ」がオンでああってもよい。
　また、「Ｏｕｔｒｏ」の開始から、最後から３期間目までにおいては、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオンであり、最後の２期間については、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオフである。なお、「Ｏｕｔｒｏ」の開始から、最後から３期間目までにおいては、「Ｍｅｌｏｄｙ」がオフ、「Ｂａｃｋｉｎｇ」がオフ、「Ｌｏｗ」がオン、「Ｒｈｙｔｈｍ」がオフであってもよい。
　なお、前述した例では、構成の開始から所定期間後又は構成終了から所定期間前において、各楽器のオン／オフを切り替えが可能であるが、他の切り替えタイミングがあってもよい。例えば「第３期間終了時」、構成の途中の具体的なタイミングが指定されることにより、各楽器のオン／オフの切り替えが可能であってもよい。
　図１２は、映像テーブル１９０の一例である。映像テーブル１９０は、例えば、楽曲ＩＤ欄１９１、映像ＩＤ欄１９２、楽曲開始時間欄１９３、及び映像ファイル欄１９４を含む。楽曲ＩＤ欄１９１は、楽曲を識別するＩＤを格納する。映像ＩＤ欄１９２は、対応する楽曲が付与される映像を識別するＩＤである。
　楽曲開始時間欄１９３は、映像に楽曲が付与されたときに、楽曲が開始する時間を示す値を格納する。図１２の例では、映像ＩＤが「１」である映像の開始１２秒時点から、楽曲ＩＤが「１」である楽曲が流れる。映像ファイル欄１９４は、対応する映像ＩＤが示す映像ファイルを示す情報を保持する。なお、ユーザ端末２００のユーザごとに利用可能な映像が異なる場合、映像テーブル１９０は、各映像を利用可能なユーザの情報を保持する。
　楽曲編集部１１１は、映像テーブル１９０において、楽曲に紐づけられた映像データを楽曲と共に再生することにより、映像に楽曲を付与することができる。
　図１３は、楽曲編集システムの全体処理の一例を示すシーケンス図である。楽曲編集指示部２１１は、例えば、ユーザからの指示に従って、楽曲編集開始指示を生成する（Ｓ１３０１）。楽曲編集開始指示は、例えば、ユーザが指定した楽曲ＩＤや楽曲名等の楽曲を特定する情報を含む。また、楽曲編集開始指示は、当該情報の代わりに、ユーザが指定した楽曲のムード、シーン、及び曲の長さを含んでもよい。続いて、楽曲編集指示部２１１は、ステップＳ１３０１で生成した楽曲編集開始指示を楽曲編集サーバ１００に送信する（Ｓ１３０２）。
　楽曲編集部１１１は、楽曲編集開始指示に含まれる楽曲特定情報に対応する楽曲を、楽曲構造テーブル１７０から読み出す（Ｓ１３０３）。なお、楽曲編集開始指示に含まれる楽曲特定情報に対応する楽曲が楽曲構造テーブル１７０内に、複数曲存在する場合には、楽曲編集部１１１は、例えば、ランダムに又は所定の確率に従って１つの楽曲を選択してもよいし、これら複数の楽曲ＩＤ又は楽曲名等をユーザ端末２００に出力して、ユーザに１つの楽曲を選択させてもよい。また、楽曲編集開始指示に含まれる楽曲特定情報に対応する楽曲が楽曲構造テーブル１７０内に存在しない場合には、楽曲編集指示部２１１は、例えば、ユーザ端末２００にエラーを返信する。
　続いて、画面情報出力部１１２は、ステップＳ１３０３で読み出された楽曲を編集するための画面の情報を、楽曲構造テーブル１７０及び映像テーブル１９０に基づいて、生成する（Ｓ１３０４）。画面情報出力部１１２は、ステップＳ１３０４で生成された楽曲編集画面情報をユーザ端末２００に送信する（Ｓ１３０５）。
　楽曲編集指示部２１１は、受信した楽曲編集画面情報に基づいて、楽曲編集画面をディスプレイ２３４等に表示する（Ｓ１３０６）。なお、楽曲編集画面の詳細については図１６を用いて後述する。続いて、楽曲編集指示部２１１は、例えばユーザの指示に従って、楽曲編集指示を生成する（Ｓ１３０７）。楽曲編集指示の生成処理の詳細については、図１４を用いて後述する。
　楽曲編集指示部２１１は、ステップＳ１３０７で生成した楽曲編集指示を楽曲編集サーバ１００に送信する（Ｓ１３０８）。楽曲編集部１１１は、受信した楽曲編集指示に従って楽曲を編集する（Ｓ１３０９）。楽曲編集指示の生成処理の詳細については、図１５を用いて後述する。
　画面情報出力部１１２は、編集後の楽曲についての楽曲編集画面情報をステップＳ１３０４と同様の方法で生成する（Ｓ１３１０）。画面情報出力部１１２は、ステップＳ１３１０で生成された楽曲編集画面情報をユーザ端末２００に送信する（Ｓ１３１１）。楽曲編集指示部２１１は、受信した楽曲編集画面情報に基づいて、編集後の楽曲についての楽曲編集画面をディスプレイ２３４等に表示する（Ｓ１３１２）。
　なお、図１３には記載していないが、ステップＳ１３０１の前に、ユーザ端末２００は、ユーザを識別する情報を、楽曲編集サーバ１００に送信してもよい。これにより、楽曲編集サーバ１００は、お気に入りの楽曲や、アップロードされた映像等をユーザごとに管理することができる。
　図１４は、楽曲編集指示生成処理（Ｓ１３０７）の一例を示すフローチャートである。楽曲編集指示部２１１は、ユーザの指示に従って、楽曲の編集対象の要素を選択し（Ｓ１４０１）、編集内容を取得する。なお、ユーザは楽曲編集画面を介して、編集対象の要素の選択、及び具体的な編集内容の入力をすることができる。楽曲の要素とは、楽曲構造テーブル１７０に定義されている、楽曲の構造を決定するための要素である。
　楽曲編集指示部２１１は、ユーザが選択した編集対象の要素に従って、テンポ変更指示（Ｓ１４０２）、楽曲構成変更指示（Ｓ１４０３）、キー変更指示（Ｓ１４０４）、楽器編集指示（Ｓ１４０５）、楽曲微変更指示（Ｓ１４０６）、ＦＸ編集指示（Ｓ１４０７）、ＳＥ編集指示（Ｓ１４０８）、又は映像変更指示（Ｓ１４０９）、を生成する。以下、ステップＳ１４０２～Ｓ１４０９の各処理について説明する。
　ステップＳ１４０２において、楽曲編集指示部２１１は、ユーザが選択したテンポを特定する情報を、テンポ変更指示に含める。なお、テンポ変更指示が含むテンポは、「Ｈｉｇｈ」又は「Ｌｏｗ」等のような具体的な値で示されてもよいし、「現在のテンポより速くする」、又は「現在のテンポより遅くする」等のように相対的な情報によって示されてもよい。
　ステップＳ１４０３において、楽曲編集指示部２１１は、ユーザが選択した楽曲構成の変更対象期間、及び変更後の楽曲構成を特定する情報を、楽曲構成変更指示に含める。第５期間乃至第７期間の構成を「Ｃｌｉｍａｘ」から「Ｏｕｔｒｏ」に変更する、ことを示す情報は、楽曲構成変更指示に含められた具体的な情報の一例である。
　ステップＳ１４０４において、楽曲編集指示部２１１は、ユーザが選択したキーを特定する情報を、キー変更指示に含める。なお、キー変更指示が含むキーは、「Ｃ」又は「Ｆ＃ｍ」等のような具体的な値で示されてもよいし、「現在のキーより高くする」、又は「曲調を暗くする」等のように相対的な情報によって示されてもよい。
　ステップＳ１４０５における楽器編集指示は、楽器を変更する指示、又は楽器を変更することなく、指定された期間における楽器のオン／オフを切り替える指示である。楽器が変更される場合、楽曲編集指示部２１１は、ユーザが選択した変更対象の楽器及び変更後の楽器を特定する情報を、楽器編集指示に含める。また、楽器のオン／オフを切り替える場合、楽曲編集指示部２１１は、ユーザが選択した切り替え対象の期間及び楽器を示す情報を、楽器編集指示に含める。
　ステップＳ１４０６における、楽曲微変更指示は、楽曲の微変更を楽曲編集サーバ１００に命じるための指示である。
　ステップＳ１４０７におけるＦＸ編集指示は、既に楽曲に作用しているＦＸの内容を変更（ＦＸの削除を含む）指示だけでなく、新たにＦＸを追加する指示を含む。新たにＦＸが追加される場合には、楽曲編集指示部２１１は、ステップＳ１４０７において、ＦＸの種類、ＦＸを作用させる期間（例えば分と秒で特定される）、及びＦＸのパラメータ等をＦＸ編集指示に含める。
　なお、例えば、ＦＸごとにパラメータの種別が予め用意されており、例えば、ローパスフィルタには、フィルタ対象の帯域を決定するためのパラメータ（Ｃｕｔ　Ｏｆｆ　Ｆｒｅｑｕｅｎｃｙ）、カットオフされる帯域の境目のレベルを調節するためのパラメータ（Ｒｅｓｏｎａｎｃｅ）等が、用意されている。
　また、ステップＳ１４０７において、既に楽曲に作用しているＦＸの内容が変更される場合には、楽曲編集指示部２１１は、ステップＳ１４０７において、例えば、変更対象のＦＸ、変更対象期間、及び変更後のＦＸのパラメータ等をＦＸ編集指示に含める。
　ステップＳ１４０８におけるＳＥ編集指示は、既に楽曲に含まれているＳＥを変更（削除を含む）指示だけでなく、新たにＳＥを追加する指示を含む。新たにＳＥが追加される場合には、楽曲編集指示部２１１は、ステップＳ１４０８において、ＳＥの種類、ＳＥを作用させる期間（例えば分と秒で特定される）、及びＳＥのパラメータ等をＳＥ編集指示に含める。なお、例えば、ＳＥごとにパラメータの種別が予め用意されている。各ＳＥの音量は、ＳＥのパラメータの一例である。
　また、ステップＳ１４０８において、既に楽曲に含まれているＦＸが変更される場合には、楽曲編集指示部２１１は、ステップＳ１４０８において、例えば、変更対象のＳＥ、変更対象期間、及び変更後のＳＥのパラメータ等をＳＥ編集指示に含める。
　楽曲編集指示部２１１は、ステップＳ１４０９において、ユーザが選択した変更後の映像を特定する情報を、映像変更指示に含める。なお、楽曲編集部１４０９は、ユーザから楽曲開始時間を指定する情報の入力を受け付けた場合、当該情報を映像変更指示に含める。
　なお、前述した例では、編集対象の１つの要素が選択される例を説明したが、ユーザが複数の要素を選択可能であってもよく、この場合、ステップＳ１４０１～Ｓ１４０９の処理のうち、当該複数の要素それぞれに対応する処理が実行される。
　図１５は、楽曲編集処理（Ｓ１３０９）の一例を示すフローチャートである。楽曲編集部１１１は、ユーザ端末から受信した楽曲編集指示から、楽曲の編集対象の要素を判別する（Ｓ１５０１）。
　楽曲編集部１１１は、受信した楽曲編集指示に従って、テンポ変更処理（Ｓ１５０２）、楽曲構成変更処理（Ｓ１５０３）、キー変更処理（Ｓ１５０４）、楽器編集処理（Ｓ１５０５）、楽曲微変更処理（Ｓ１５０６）、ＦＸ編集処理（Ｓ１５０７）、ＳＥ編集処理（Ｓ１５０８）、又は映像変更処理（Ｓ１５０９）、を実行する。以下、ステップＳ１５０２～Ｓ１５０９の各処理について説明する。
　ステップＳ１５０２において、楽曲編集部１１１は、テンポ変更指示に含まれる変更後のテンポを取得する。なお、「現在のテンポより速くする」等のように相対的なテンポが指定されている場合には、楽曲編集部１１１は、例えば、当該相対的な条件を満たすテンポを、例えば、ランダムに又は所定の確率に従って決定する。楽曲編集部１１１は、楽曲構造テーブル１７０から、編集対象の楽曲に含まれる全ての楽曲ＩＤを取得する。
　楽曲編集部１１１は、楽音テーブル１５０を参照して、取得した楽曲ＩＤそれぞれについて、例えば、当該楽曲ＩＤが示す楽曲とムード、シーン、楽器、及びキーが同一であって、かつ取得したテンポを有する楽曲の楽曲ＩＤを変更後の楽曲ＩＤとして取得する。なお、楽曲編集部１１１は、さらに、変更前の楽曲と変更後の楽曲とのフレーズＩＤが一致するように、変更後の楽曲ＩＤを選択してもよい。楽曲編集部１１１は、楽曲構造テーブル１７０の編集中の楽曲のテンポ欄１７４の値を指定されたテンポに変更し、楽曲ＩＤ欄１７１に変更後の楽曲ＩＤを格納する。
　ステップＳ１５０３において、楽曲編集部１１１は、楽曲構成変更指示に含まれる変更対象の期間、及び変更後の構成を取得する。楽曲編集部１１１は、構成内楽器動作テーブル１８０を参照して、変更後の構成における各楽器タイプのオン／オフ情報を取得する。
　楽曲編集部１１１は、楽曲構造テーブル１７０において、編集対象の楽曲の期間欄１７１０の変更対象の期間における各楽器タイプのオン／オフ情報を、取得したオン／オフ情報に変更する。また、楽曲編集部１１１は、編集対象の楽曲の楽曲構成欄１７１３に変更後の楽曲構成を格納する。
　ステップＳ１５０４において、楽曲編集部１１１は、キー変更指示に含まれる変更後のキーを取得する。なお、「現在のキーより高くする」等のように相対的なキーが指定されている場合には、楽曲編集部１１１は、例えば、当該相対的な条件を満たすキーを、例えば、ランダムに又は所定の確率に従って決定する。楽曲編集部１１１は、楽曲構造テーブル１７０から、編集対象の楽曲に含まれる全ての楽曲ＩＤを取得する。
　楽曲編集部１１１は、楽音テーブル１５０を参照して、取得した楽曲ＩＤそれぞれについて、当該楽曲ＩＤが示す楽曲とムード、シーン、楽器、及びテンポが同一であって、かつ取得したキーを有する楽曲の楽曲ＩＤを変更後の楽曲ＩＤとして取得する。なお、楽曲編集部１１１は、さらに、変更前の楽曲と変更後の楽曲とのフレーズＩＤが一致するように、変更後の楽曲ＩＤを選択してもよい。楽曲編集部１１１は、楽曲構造テーブル１７０の編集中の楽曲のキー欄１７６の値を指定されたキーに変更し、楽曲ＩＤ欄１７１に変更後の楽曲ＩＤを格納する。
　ステップＳ１５０５において、楽器編集指示が楽器を変更する指示である場合、楽曲編集部１１１は、楽器編集指示に含まれる変更対象の楽器及び変更後の楽器を示す情報を取得する。楽曲編集部１１１は、楽曲構造テーブル１７０から、編集対象の楽曲に含まれ、変更対象の楽器に対応する楽曲ＩＤを取得する。
　楽曲編集部１１１は、楽音テーブル１５０を参照して、取得した楽曲ＩＤそれぞれについて、当該楽曲ＩＤが示す楽曲とムード、シーン、キー、及びテンポが同一であって、かつ取得した情報が示す楽器ＩＤを有する楽曲の楽曲ＩＤを変更後の楽曲ＩＤとして取得する。なお、楽曲編集部１１１は、さらに、変更前の楽曲と変更後の楽曲とのフレーズＩＤが一致するように、変更後の楽曲を選択してもよい。
　楽曲編集部１１１は、楽曲構造テーブル１７０の編集中の楽曲の楽器欄１７９の値を指定された楽器に変更し、楽曲ＩＤ欄１７１に変更後の楽曲ＩＤを格納する。なお、本実施例では、楽器の変更において同一の楽器タイプを有する楽器への変更が行われているが、異なる楽器タイプを有する楽器への変更が行われてもよい。この場合、楽曲編集部１１１は、楽器タイプテーブル１６０を参照して、変更後の楽器の楽器タイプを取得し、楽曲構造テーブル１７０の楽器タイプ欄１７８の値を変更する。
　また、ステップＳ１５０５において、楽器編集指示が楽器のオン／オフを切り替える指示である場合、楽曲編集部１１１は、楽曲編集指示に含まれる切り替え対象の期間及び楽器を示す情報を取得する。楽曲編集部１１１は、楽曲構造テーブル１７０内の、編集対象の楽曲に含まれる、切り替え対象の楽器の切り替え対象の期間欄１７１０の値におけるオン／オフを切り替える。
　ステップＳ１５０６において、楽曲編集部１１１は、編集対象楽曲の所定の要素を固定したまま、所定の要素の一部又は全部を変更する。以下、ステップＳ１５０６において、楽曲編集部１１１が、ムード、シーン、及びキーを固定したまま、楽器、テンポ、及びフレーズの少なくとも１つを変更する例を説明する。
　まず、楽曲編集部１１１は、楽器、テンポ、及びフレーズの要素のうち少なくとも１つを、ランダムに又は所定の確率に従って、選択する。楽曲編集部１１１は、選択した要素それぞれの値をランダムに又は所定の確率に従って変更する。
　楽曲編集部１１１は、楽器を変更対象の要素として選択した場合、変更対象の楽器及び変更後の楽器を、例えば、ランダムに又は所定の確率に従って決定する点を除いて、ステップＳ１５０５において説明した楽器変更処理を行う。また、楽曲編集部１１１は、テンポを変更対象の要素として選択した場合、変更後のテンポを、ランダムに又は所定の確率に従って決定する点を除いて、ステップＳ１５０２において説明したテンポ処理を行う。
　楽曲編集部１１１は、フレーズを変更対象の要素として選択した場合、フレーズ変更対象の楽曲ＩＤを取得する。楽曲編集部１１１は、楽音テーブル１５０を参照して、取得した楽曲ＩＤそれぞれについて、当該楽曲ＩＤが示す楽曲とムード、シーン、キー、テンポ、及び楽器が同一であって、かつ当該楽曲ＩＤが示す楽曲と異なるフレーズＩＤを有する楽曲ＩＤを変更後の楽曲ＩＤとして取得する。楽曲編集部１１１は、楽曲構造テーブル１７０の編集中の楽曲の楽曲ＩＤ欄１７１に変更後の楽曲ＩＤを格納する。
　ステップＳ１５０７において、楽曲編集部１１１は、ＦＸ編集指示が示す、ＦＸの種類、ＦＸを作用させる期間、及びＦＸのパラメータに基づいて、変化後のＦＸの情報を生成し、楽曲構造テーブル１７０のＦＸ欄１７１１に格納する。
　ステップＳ１５０８において、楽曲編集部１１１は、ＳＥ編集指示が示す、ＳＥの種類、ＳＥを作用させるタイミング、及びＳＥのパラメータに基づいて、変化後のＳＥの情報を生成し、楽曲構造テーブル１７０のＦＸ欄１７１１に格納する。
　ステップＳ１５０９において、楽曲編集部１１１は、映像テーブル１９０内の編集中の楽曲に対応する映像ファイル欄１９４の値を、映像変更指示が示す映像のファイル名に変更する。なお、映像変更指示に楽曲開始時間を指定する情報が含まれている場合、ステップＳ１５０９において、楽曲編集部１１１は、映像テーブル１９０内の編集対象の楽曲に対応する楽曲開始時間欄１９３に、変化後の楽曲開始時間を示す値を、格納する。
　なお、前述した例では、楽曲編集部１１１が１つの編集指示を受信した例を説明したが、複数の編集指示を受信してもよく、この場合、ステップＳ１５０１～Ｓ１５０９の処理のうち、当該複数の編集指示それぞれに対応する処理が実行される。
　図１６は、ユーザ端末２００のディスプレイ２３４等に表示される楽曲編集画面の一例である。ユーザ端末２００のユーザは、楽曲編集画面を介して楽曲の変数を行う。図１３の楽曲編集画面の例は、図１０における楽曲構造テーブル１１０の楽曲ＩＤが「１」である楽曲（楽曲１）の編集が行われている状態である。
　楽曲編集画面は、例えば、フィルタ情報表示領域３０１、マイリスト表示タブ３０２を含む。フィルタ情報表示領域３０１は、編集中の楽曲のムード、シーン、及びテンポを表示する領域である。マイリスト表示タブ３０２が選択されると、フィルタ情報表示領域３０１の代わりに、マイリスト表示領域とフィルタ情報表示タブとが表示される。マイリスト表示領域は、ユーザのお気に入りとして登録された楽曲の名称等を表示する領域である。マイリストは、例えば、ユーザごとに管理されている。
　マイリスト表示領域に表示された楽曲が選択されると、選択された楽曲の編集を開始するための画面に遷移する。なお、各ユーザのマイリストに登録された楽曲の情報は、補助記憶装置１０３に格納されている。マイリスト表示領域が表示された状態で、フィルタ情報表示タブが選択されると、マイリスト表示領域の代わりに、フィルタ情報表示領域３０１とマイリスト表示タブ３０２とが表示される。
　また、楽曲編集画面は、例えば、映像表示領域４００、映像変更ボタン４１０、及び楽曲開始時間表示領域４２０を含む。映像表示領域４００は、楽曲付与対象の映像、即ち当該編集中の楽曲に映像テーブル１９０において対応する映像を表示する領域である。映像表示領域４００は、例えば、映像の再生及び一時停止を切り替える映像再生／一時停止ボタン４０１、映像の再生時間位置を決定する映像再生位置バー４０２、映像の音量を決定する映像音量バー４０３、並びに映像の全画面表示及び非全画面表示を切り替えるための全画面切替ボタン４０４を含む。
　映像変更ボタン４１０は、映像表示領域４００に表示される映像を変更するためのボタン、即ちステップＳ１４０９における映像変更指示生成を行うためのボタンである。映像変更ボタン４１０が選択されると、画面情報出力部１１２は、当該ユーザが利用可能な映像データの名称及びキャプチャ等を表示して映像を選択可能な状態にする。ユーザが映像データを選択すると、画面情報出力部１１２は映像表示領域４００に選択された映像を表示する。なお、楽曲に映像が紐づけられていない状態においては、映像変更ボタン４１０は、映像追加ボタンとして機能してもよい。
　楽曲開始時間表示領域４２０は、楽曲が開始する映像の時間位置を表示する。ユーザは、楽曲開始時間表示領域４２０を選択すると、当該領域内の時間を変更することができる、即ち楽曲開始時間を変更することができる。なお、映像が変更された場合には、楽曲編集部１１１は、楽曲開始時間を、所定の初期値（例えば、０分００秒）に変更してもよい。なお、映像の終了時点において楽曲が終了しない場合、楽曲編集部１１１は、映像が表示されないまま楽曲の再生を継続してもよいし、映像の終了と同時に楽曲を停止してもよい。
　楽曲編集画面は、例えば、楽曲編集情報表示領域５００を含む。楽曲編集情報表示領域５００は、例えば、キー表示領域５０１、テンポ表示領域５０２、楽器表示領域５０３、及び楽曲構成表示領域５０６を含む。
　キー表示領域５０１は、楽曲のキーを表示する領域である。キー表示領域５０１におけるキーの名称の横に表示されている三角ボタンが選択されると、ステップＳ１４０４におけるキー変更指示が生成され、キーが切り替わり、変更後のキーの名称が表示される。
　なお、例えば、キー表示領域５０１におけるキーの名称が選択された場合に、選択可能なキーの一覧が表示されてもよく、ユーザは当該表示から変更後のキーを選択してもよい。なお、変更後のキーとして選択可能なキーは、ムードやシーンごとに予め定められていてもよい。具体的には、例えば、ムードが「Ｄａｒｋ」である場合には、調性がマイナーであるキーのみが選択可能であってもよい。
　テンポ表示領域５０２は、楽曲のテンポを表示する領域である。テンポ表示領域５０２におけるテンポの名称の横に表示されている三角ボタンが選択されると、ステップＳ１４０２におけるテンポ変更指示が生成され、テンポが切り替わり、変更後のテンポの名称が表示される。
　なお、例えば、テンポ表示領域５０２におけるキーの名称が選択された場合に、選択可能なテンポの一覧が表示されてもよく、ユーザは当該一覧から変更後のテンポを選択してもよい。なお、変更後のテンポとして選択可能なテンポは、ムードやシーンごとに予め定められていてもよい。具体的には、例えば、ムードが「Ｓａｄ」である場合には、所定値以下であるテンポのみ（例えば、「Ｓｌｏｗ」のみ）が選択可能であってもよい。
　楽器表示領域５０３は、楽曲に使用されている楽器の名称と、各期間における各楽器のオン／オフと、を表示する領域である。各楽器の各期間に対応するボックスが、パターンで塗りつぶされている場合には、当該期間において当該楽器はオンであり（出力されている）、当該ボックスが塗りつぶされていない場合には、当該期間において当該楽器はオフである（出力されていない）ことを示す。
　例えば、ボックス５０４が示すように、第１期間において「Ｂａｓｓ」はオフであり、ボックス５０５が示すように、第２期間において「Ｂａｓｓ」はオンである。楽器表示領域５０３における各ボックスが選択されると、ステップＳ１４０５における楽器編集指示（オン／オフの切り替え指示）が生成され、当該ボックスに対応する楽器及び期間におけるオン／オフが切り替わり、当該ボックス内の表示が変更される。
　楽器表示領域５０３における楽器の名称の横に表示されている三角ボタンが選択されると、ステップＳ１４０５における楽器編集指示（楽器変更指示）が生成され、楽器が切り替わり、変更後の楽器の名称が表示される。なお、例えば、楽器表示領域５０３における楽器の名称が選択された場合に、選択可能な楽器名の一覧が表示されてもよく、ユーザは当該一覧から変更後の楽器を選択してもよい。なお、変更後の楽器として選択可能な楽器は、変更対象の楽器と同一の楽器タイプを有する楽器であることが望ましい。
　また、楽曲編集情報表示領域５００は、例えば、楽曲構成表示領域５０６を含む。楽曲構成表示領域５０６は、各期間における楽曲構成を表示する領域である。楽曲構成表示領域５０６における各楽曲構成の名称の横に表示されている三角ボタンが選択されると、ステップＳ１４０３における楽曲構成変更指示が生成され、対応する期間の楽曲構成が切り替わり、変更後の楽曲構成の名称が表示される。
　なお、例えば、楽曲構成表示領域５０６における楽曲構成の名称が選択された場合に、選択可能な楽曲構成の一覧が表示されてもよく、ユーザは当該一覧から変更後の楽曲構成を選択してもよい。また、例えば、各楽曲構成表示領域５０６の左端／右端がドラッグされることにより、ドラッグされた構成の開始位置／終了位置を変更することができる。
　図１６の例では、「Ｉｎｔｒｏ」が表示されている領域の右側を１期間分右側にドラッグすることにより、「Ｉｎｔｒｏ」の終了位置が第２期間から第３期間に変更され、「Ｉｎｔｒｏ」に続く「Ｃｌｉｍａｘ」の開始位置が第３期間から第４期間に変更される。
　なお、楽曲編集部１１１は、例えば、楽器表示領域５０３の各ボックス内におけるオン／オフ状態の切り替えに応じて、楽曲構成の値を変更してもよい。この場合、例えば、各ボックスのオン／オフが切り替わるたびに、楽曲編集部１１１は構成内楽器動作テーブル１８０参照する。
　具体的には、図１０の例において、第６期間の構成は「Ｂｒｅａｋ」であるが、第６期間における「Ｐｉａｎｏ」と「Ｓａｘ」とがオンに切り替わった場合、楽曲編集部１１１は、構成内楽器動作テーブル１８０を参照して、第６期間の構成を「Ｃｌｉｍａｘ」に変更する。さらに、第６期間における楽曲構成表示領域５０６の表示も「Ｃｌｉｍａｘ」に変化する。
　また、楽曲編集情報表示領域５００は、例えば、楽曲時間バー５１０、楽曲再生位置バー５１１、ＦＸ表示領域５１２、及びＳＥ表示領域を含む。楽曲時間バー５１０は、楽曲の各期間に対応する時間を表示するバーである。楽曲再生位置バー５１１は、再生中の楽曲の再生位置を示し、楽曲時間バー５１０、楽曲構成表示領域５０６、楽器表示領域５０３のボックス及びを縦断する。つまり、ユーザは、楽曲再生位置バー５１１により、再生時点における構成、及び各楽器のオン／オフを把握することができる。例えば、楽曲時間バー５１０における時間が選択されると、楽曲の再生位置が当該時間に移動し、楽曲再生位置バー５１１は、当該時間上に移動する。
　ＦＸ表示領域５１２は、例えば楽曲時間バー５１０上に表示され、ＦＸの名称、及び当該ＦＸが作用する期間を示す。なお、ＦＸ表示領域は、当該ＦＸのパラメータをさらに表示してもよい。ＦＸ表示領域５１２が選択されると、ＦＸの種別、ＦＸが作用する期間、及びＦＸのパラメータ等の詳細が変更可能に表示される。
　当該表示においてＦＸに関する値が変更されると、ステップＳ１４０７におけるＦＸ編集指示が生成され、当該ＦＸが変更され、変更後のＦＸの名称及び期間が表示される。なお、同じ期間に複数種類のＦＸが作用している場合には、例えば、楽曲時間バー５１０上の同一期間に複数のＦＸ表示領域５１２が表示される。
　ＳＥ表示領域５１３は、例えば楽曲時間バー５１０上に表示され、ＳＥが鳴るタイミングを示す。なお、ＳＥ表示領域５１３は、さらにＳＥの名称及び当該ＳＥのパラメータを表示してもよい。ＳＥ表示領域５１３が選択されると、ＳＥの種別、ＳＥが鳴るタイミング、及びＳＥのパラメータ等の詳細が変更可能に表示される。
　当該表示においてＳＥに関する値が変更されると、ステップＳ１４０８における編集指示が生成され、当該ＳＥが変更され、変更後のＳＥのタイミングが示される。なお、同じ期間に複数種類のＳＥが鳴る場合には、例えば、楽曲時間バー５１０上の同一期間に複数のＳＥ表示領域５１３が表示される。
　また、楽曲編集情報表示領域５００は、例えば、拡大縮小バー５２１、表示位置調整バー５２２を含む。拡大縮小バー５２１は、楽曲編集情報表示領域５００に表示される期間数を変更するためのバーである。表示位置調整バー５２２は、楽曲編集情報表示領域５００内に編集中の楽曲の全期間が表示されない場合に、表示される期間を調整するためのバーである。
　また、楽曲編集情報表示領域５００は、例えば、楽曲微変更ボタン５３１、楽曲音量調整バー５３２、楽曲停止ボタン５３３、楽曲再生／一時停止ボタン５３４、ＦＸ追加ボタン５３５、ＳＥ追加ボタン５３６、マイリスト追加ボタン５３７、及びダウンロードボタン５３８を含む。
　楽曲微変更ボタン５３１が選択されると、ステップＳ１４０６における楽曲微変更指示が生成され、楽曲が微変更される。楽曲音量調整バー５３２は、編集中の楽曲の音量を調整するためのバーである。楽曲停止ボタン５３３は、再生中の楽曲を完全停止し、再生位置を０分００秒に戻すためのボタンである。楽曲再生／一時停止ボタン５３４は、楽曲の再生及び一時停止を行うためのボタンである。
　ＦＸ追加ボタン５３５が選択されると、例えば、選択可能なＦＸが表示される。ＦＸが選択されると、当該ＦＸが作用する期間と、当該ＦＸのパラメータをと、入力可能な表示がされ、これらが入力されると、ステップＳ１４０７におけるＦＸ編集指示が生成される。なお、ＦＸ追加ボタン５３５を楽曲時間バー５１０上にドラッグ＆ドロップすることにより、対応する時間位置にＦＸが追加されるＦＸ追加指示が生成されてもよい。
　ＳＥ追加ボタン５３６が選択されると、例えば、選択可能なＳＥが表示される。ＳＥが選択されると、当該ＳＥが鳴るタイミングと、当該ＳＥのパラメータと、を入力可能な表示がされ、これらが入力されると、ステップＳ１４０８におけるＳＥ編集指示が生成される。なお、ＳＥ追加ボタン５３６を楽曲時間バー５１０上にドラッグ＆ドロップすることにより、対応する時間位置にＳＥが追加されるＳＥ追加指示が生成されてもよい。
　マイリスト追加ボタン５３７は、編集中の楽曲をユーザのマイリストに追加するためのボタンである。ダウンロードボタン５３８は、編集中の楽曲をユーザ端末２００がダウンロードするためのボタンである。ダウンロードボタン５３８が選択されると、例えば、楽曲編集部１１１は、複数の楽音の繰り返しからなる編集中の楽曲から、１つの楽曲データを生成し、生成した楽曲データをユーザ端末２００に送信する。なお、ダウンロード５３８が選択されたとき、楽曲編集部１１１は、複数の楽音の繰り返しからなる編集中の楽曲を、表示されている映像に付与した１つの映像データを作成して、生成した映像データをユーザ端末２００に送信してもよい。
　図１６を用いて説明したように、楽曲編集画面は、楽曲の構造を簡易かつ認識しやすい状態で表示しているため、音楽知識を有していないユーザであっても自身がイメージする楽曲編集作業を行うことができる。さらに編集後の楽曲は音楽的に自然な楽曲である。
　また、本実施例の楽曲は、長さが同一の同時再生される複数の楽音によって構成されている。楽曲編集部１１１は、このような楽曲の編集において、楽音そのものの内容（例えば楽譜情報等）を編集することなく、楽曲の編集を行うため、楽曲編集にかかる処理量が少ない。
　特に、楽器表示領域５０３内の各期間におけるボックスのオン／オフ状態が切り替わることにより、楽曲の印象を容易に大きく変えることができる上に、当該変更処理にかかる処理量も少ない。
　また、楽曲再生時には、選択された映像が同時に再生される。さらに、楽曲再生位置バー５１１は、楽器表示領域５０３内の各期間を縦断しているため、ユーザは、現在の映像及び楽曲の再生地点における各楽器のオンオフ状態を把握することができる。
　これにより、ユーザは、例えば、映像内で重要な音声が流れる時点においては、オン状態である楽器数を減らすことによって、映像内の音声を引き立たせることができる。また、オン状態である楽器数を減らす編集作業を、楽器表示領域５０３内の各期間におけるボックスのオン／オフ状態の切り替えという、容易な作業によって実現することができる。
　また、楽曲微変更ボタン５３１が選択されることにより、編集中の楽曲の全体的な雰囲気を変更することなく、楽曲の内容の軽微な変更を自動的に実行することができる。
　本実施例の楽曲編集サーバ１００は、楽曲の編集だけでなく、楽曲の生成を実施可能である。以下、実施例１との相違点について説明する。
　図１７は、本実施例の楽曲編集サーバ１００の構成例を示すブロック図である。楽曲編集サーバ１００のプロセッサ１０１は、楽曲生成部１１３をさらに含む。楽曲生成部１１３は、ユーザ端末２００から受信した楽曲生成指示に基づいて、楽曲を生成する。
　図１８は、本実施例のユーザ端末２００の構成例を示すブロック図である。ユーザ端末２００のプロセッサ２０１は、楽曲生成指示部２１２をさらに含む。楽曲生成指示部２１２は、ユーザからの入力に基づいて楽曲生成指示を生成する。
　図１９は、本実施例の楽曲情報１２２の構成例を示すブロック図である。楽曲情報１２２は、楽曲全体構成テーブル６１０をさらに含む。楽曲全体構成テーブル６１０は、１曲の楽曲全体の構成を定義するテーブルである。
　図２０は、楽曲全体構成テーブル６１０の一例である。楽曲全体構成テーブル６１０は、例えば、楽曲全体構成ＩＤ欄６１１、及び構成順序欄６１２を含む。楽曲全体構成ＩＤ欄６１１は、楽曲の全体構成を識別するＩＤで保持する。構成順序欄６１２は、楽曲全体構成における構成の順序を示す情報を格納する。
　例えば、図２０の例における楽曲全体構成ＩＤが「４」である楽曲全体構成は、「Ｉｎｔｒｏ」、「Ｃｌｉｍａｘ」、「Ｃｌｉｍａｘ」、「Ｏｕｔｒｏ」の順の４つの構成からなる。
　なお、以下のような楽曲全体構成のルールが予め定められていてもよい。当該ルールの一例として、最初の構成を「Ｉｎｔｒｏ」、最後の構成を「Ｏｕｔｒｏ」とし、最初と最後の間の構成については、所定数（Ｎとする）の「Ｃｌｉｍａｘ」と１つの「Ｂｒｅａｋ」とからなる組み合わせを繰り返す、楽曲全体構成がある。但し、当該ルールにおいて、楽曲が２つ以下の構成からなる場合、全ての構成が「Ｃｌｉｍａｘ」である。また、当該ルールにおいて、楽曲が３つの構成からなる場合、１つ目の構成が「Ｉｎｔｒｏ」かつ２つ目及び３つ目の構成が「Ｃｌｉｍａｘ」である。また、当該ルールにおいて楽曲がＮ＋３以下の構成からなる場合、最初の構成を「Ｉｎｔｒｏ」、最後の構成を「Ｏｕｔｒｏ」、最初と最後の間の構成は全て「Ｃｌｉｍａｘ」である。
　図２１は、楽曲生成のための楽曲生成システム全体の処理の一例を示すシーケンス図である。楽曲生成指示部２１２は、例えば、ユーザから、生成対象の楽曲のムード、シーン、テンポ、及び長さの入力を受け付ける（Ｓ２１０１）。なお、選択可能なムード、シーン、テンポ、及び楽曲の長さは、例えば、楽曲編集サーバ１００から予め通知されている。なお、ムード、シーン、テンポ、及び楽曲の長さは、それぞれ複数個の値によるＡＮＤ条件やＯＲ条件で指定されていてもよい。
　楽曲生成指示部２１２は、ステップＳ２１０１で入力された楽曲のムード、シーン、テンポ、及び長さを含む楽曲生成指示を楽曲編集サーバ１００に送信する（Ｓ２１０２）。楽曲生成部１１３は、受信した楽曲生成指示に基づいて、楽曲を生成する（Ｓ２１０３）。ステップＳ２１０３の楽曲生成処理の詳細は、図２２を用いて後述する。
　画面情報出力部１１２は、ステップＳ２１０３で生成された楽曲を編集するための画面の情報を、楽曲構造テーブル１７０に基づいて、生成する（Ｓ２１０４）。画面情報出力部１１２は、ステップＳ２１０４で生成された楽曲編集画面情報をユーザ端末２００に送信する（Ｓ２１０５）。楽曲編集指示部２１１は、受信した楽曲編集画面情報に基づいて、楽曲編集画面をディスプレイ２３４等に表示する（Ｓ２５０６）。なお、本実施例における楽曲編集画面の詳細については図２３を用いて後述する。
　図２２は、楽曲生成処理（Ｓ２１０３）の一例を示すフローチャートである。楽曲生成部１１３は、楽音インデックステーブル１４０を参照して、楽曲生成部１１３は、楽器タイプテーブル１６０を参照して、楽曲に用いられる楽器を選択する（Ｓ２２０１）。具体的には、例えば、「Ｍｅｌｏｄｙ」から１つ、「Ｂａｃｋｉｎｇ」から１つ、「Ｌｏｗ」から１つ、「Ｒｈｙｔｈｍ」から１つ楽器を選択する。なお、楽器の選択は、例えば、ランダムに行われてもよいし、選択されたムード、シーン、及び／又はテンポによって重みづけされた確率に基づいて行われてもよい。
　楽曲生成部１１３は、楽曲生成指示に含まれるムード及びシーンに対応する楽音テーブル１５０のテーブルＩＤを取得する（Ｓ２２０２）。楽曲生成部１１３は、ステップＳ２２０２で取得したテーブルＩＤに対応する楽音テーブル１５０を参照から、楽曲編集指示に含まれるテンポを有し、同一のキーを有する、ステップＳ２２０１で選択した各楽器の楽音を選択する（Ｓ２２０３）。
　なお、楽音の選択は、例えば、ランダムに行われてもよいし、所定の確率、若しくは選択されたムード、シーン、及び／又はテンポ等によって重みづけされた確率に従って行われてもよい。また、楽曲編集指示においてキーが指定されていてもよく、この場合指定されたキーの楽音が選択される。
　楽曲生成部１１３は、楽曲全体構成テーブル６１０から、楽曲の全体構成を選択する（Ｓ２２０４）。なお、楽曲の全体構成の選択は、例えば、ランダムに行われてもよいし、所定の確率、若しくは選択されたムード、シーン、及び／又はテンポ等によって重みづけされた確率に従って行われてもよい。
　楽曲生成部１１３は、例えば、楽曲生成指示に含まれる楽曲のテンポ及び長さから楽曲の総期間数を算出し、楽曲の総期間をステップＳ２２０４で選択された全体構成に含まれる各構成に割り当てることで、各構成の期間の長さを決定する（Ｓ２２０５）。なお、各構成に割り当てられる期間の長さは、例えば、ランダムに決定されてもよいし、所定の確率、若しくは選択されたムード、シーン、及び／又はテンポ等によって重みづけされた確率に従って決定されてもよい。
　楽曲生成部１１３は、構成内楽器動作テーブル１８０を参照して、各構成内の各期間における各楽器のオン／オフを決定する（Ｓ２２０６）。楽曲生成部１１３は、生成した楽曲に楽曲ＩＤを付与して、生成した楽曲の情報を楽曲構造テーブル１７０に格納する（Ｓ２２０７）。
　図２３は、本実施例において、ユーザ端末２００のディスプレイ２３４等に表示される楽曲編集画面の一例である。図１６との相違点を説明する。フィルタ情報表示領域３０１には、全ての選択可能なムード、シーン、及びテンポが表示されており、編集中の楽曲のムード、シーン、及びテンポが選択済みの値として白抜きで表示されている。フィルタ情報表示領域３０１において、楽曲のムード、シーン、及びテンポを再選択することができる。
　また、楽曲編集画面は、楽曲長表示領域３０３及び楽曲生成ボタン３０４をさらに含む。楽曲長表示領域３０３には、楽曲生成指示において指定された楽曲の長さが表示されている。楽曲長表示領域３０３において、楽曲の長さを再選択することができる。
　例えば、楽曲長表示領域３０３において楽曲の長さの右側に表示された三角形が選択されると、楽曲長の範囲が大きい値に変化し、左側に表示された三角形が選択されると、楽曲長の範囲が小さい値に変化する。また、例えば、楽曲長表示領域３０３における楽曲長の文字が選択された場合に、選択可能な全ての楽曲長が表示されてもよいし、楽曲長の値をユーザが直接指定するための画面が表示されてもよい。
　楽曲生成ボタン３０４が選択されると、フィルタ情報表示領域３０１において選択されている、ムード、シーン、及びテンポと、楽曲長表示領域３０３において選択されている楽曲長と、従って、楽曲が再生成される。楽曲の再生成処理は、ステップＳ２１０３における楽曲生成処理と同様である。
　本実施例の楽曲編集システムは、ムード、シーン、テンポ、及び楽曲の長さのような、音楽的知識を有していないユーザであっても容易に理解できる要素を用いて楽曲を生成することができ、ひいてはユーザのイメージに近い楽曲を生成することができる。
　また、本実施例の楽曲編集システムは、楽譜情報等を生成することなく、複数の楽音のオン／オフ状態を期間ごとに切り替えることによって楽曲を生成するため、楽曲編集にかかる処理量が少ない。
　また、本実施例の楽曲編集システムは、楽曲全体構成テーブル及び構成内楽器動作テーブルを用いて、楽曲の全体構成及び各構成内の楽器のオン／オフを決定することにより、ユーザが指定した任意の長さを有し、かつ自然な音楽的展開を有する楽曲を生成することができる。特に、ユーザが映像に音楽を付与したい場合には、楽曲付与対象の映像の時間に合わせて自然な音楽的展開を有する楽曲を生成することができる。
　以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。

Claims (10)

  1. 　楽曲編集システムであって、
    　プロセッサとメモリと表示装置とを備え、
    　前記メモリは、
    　楽音を含む楽音情報と、
    　前記楽音情報に含まれる同一の長さを有する複数の楽音を同時再生することにより構成される編集対象楽曲、の構造を示す楽曲構造情報と、を保持し、
    　前記楽曲構造情報は、
    　前記複数の楽音と、
    　前記複数の楽音の長さを前記同一の長さで各期間において、前記複数の楽音それぞれが出力されているか否かの出力状態と、を示し、
    　前記プロセッサは、
    　前記楽曲構造情報を参照して、前記各期間について、前記複数の楽音それぞれの出力状態を示す楽音表示領域を、前記表示装置に表示し、
    　前記表示装置において、前記楽音表示領域が選択された場合、
    　前記楽曲構造情報において、前記選択された楽音表示領域に対応する期間における、前記選択された楽音表示領域に対応する楽音の出力状態を変更し、
    　前記選択された楽音表示領域における出力状態の表示を切り替える、楽曲編集システム。
  2. 　請求項１に記載の楽曲編集システムであって、
    　前記楽音情報は、前記楽音情報に含まれる楽音それぞれに利用される楽器を示す情報を含み、
    　前記楽曲構造情報は、前記複数の楽音それぞれに利用される楽器を示し、
    　前記プロセッサは、
    　前記楽曲構造情報を参照して、前記複数の楽音それぞれについて、当該楽音に利用される楽器を示す楽器表示領域を、前記表示装置に表示し、
    　前記表示装置において、前記楽器表示領域が選択された場合、
    　前記選択された楽器表示領域に対応する楽音と異なる楽器による楽音を、前記楽音情報から選択し、
    　前記楽曲構造情報が示す前記選択された楽器表示領域に対応する楽音を、前記選択した楽音に変更し、
    　前記選択された楽器表示領域が示す楽器を、前記選択した楽音に対応する楽器に変更する、楽曲編集システム。
  3. 　請求項２に記載の楽曲編集システムであって、
    　前記メモリは、各楽器のタイプを示す楽器タイプ情報をさらに保持し、
    　前記プロセッサは、
    　前記表示装置において、前記楽器表示領域が選択された場合、
    　前記選択された楽器表示領域に対応する楽音と異なる楽器であって、前記楽器タイプ情報が示す楽器のタイプが前記選択された楽器表示領域対応する楽音と同じである楽器、による楽音を、前記楽音情報から選択する、楽曲編集システム。
  4. 　請求項２に記載の楽曲編集システムであって、
    　前記楽音情報は、前記楽音情報に含まれる楽音それぞれのテンポを示す情報を含み、
    　前記編集対象楽曲を構成する複数の楽音は同一のテンポを有し、
    　前記楽曲構造情報は、前記同一のテンポである前記編集対象楽曲のテンポを示し、
    　前記プロセッサは、
    　前記楽曲構造情報を参照して、前記編集対象楽曲のテンポを示すテンポ表示領域を、前記表示装置に表示し、
    　前記表示装置において、前記テンポ表示領域が選択された場合、
    　前記複数の楽音それぞれについて、
    　　前記編集対象楽曲のテンポと異なり、かつ当該楽音と同一の楽器による楽音を、前記楽音情報から選択し、
    　　前記楽曲構造情報が示す当該楽音を、前記選択した楽音に変更し、
    　変更後の楽音のテンポは同一であり、
    　前記テンポ表示領域における前記編集対象楽曲のテンポを、前記選択した楽音のテンポに変更する、楽曲編集システム。
  5. 　請求項２に記載の楽曲編集システムであって、
    　前記メモリは、楽曲構成それぞれにおける楽器の出力状態を示す、楽曲構成内出力情報をさらに保持し、
    　前記楽曲構造情報は、前記各期間が該当する楽曲構成を示し、
    　前記プロセッサは、
    　前記楽曲構造情報を参照して、前記各期間について、該当する楽曲構成を示す楽曲構成表示領域を、前記表示装置に表示し、
    　前記表示装置において、前記楽曲構成表示領域が選択された場合、
    　前記選択された楽曲構成表示領域に対応する楽曲構成と異なる楽曲構成を、前記楽曲構成内出力情報から選択し、
    　前記選択した楽曲構成の楽器のうち、前記複数の楽音に利用される楽器の出力状態を、前記楽曲構成内出力情報から取得し、
    　前記楽曲構造情報において、前記選択された楽曲構成表示領域に対応する期間における各楽音の出力状態を、前記取得した出力状態に変更し、
    　出力状態が変更された楽音表示領域が示す出力状態の表示を切り替え、
    　前記選択された楽曲構成表示領域が示す楽曲構成を、前記選択した楽曲構成に変更する、楽曲編集システム。
  6. 　請求項５に記載の楽曲編集システムであって、
    　前記楽音情報は、前記楽音情報に含まれる楽音それぞれのムード及び／又は利用シーンを示す情報を含み、
    　前記編集対象楽曲を構成する複数の楽音は同一のムード及び／又は利用シーンを有し、
    　前記楽曲構造情報は、
    　前記同一のムード及び／又は利用シーンである前記編集対象楽曲のムード及び／又は利用シーンと、前記編集対象楽曲の長さと、を示し、
    　前記プロセッサは、
    　前記楽音情報に含まれるムード及び／又は利用シーンと、前記楽曲構造情報が示す前記編集対象楽曲のムード及び／又は利用シーンと、を識別可能に表示するムード／利用シーン表示領域と、
    　前記編集対象楽曲の長さを示す楽曲長表示領域と、を前記表示装置に表示する、楽曲編集システム。
  7. 　請求項６に記載の楽曲編集システムであって、
    　前記メモリは、楽曲全体の楽曲構成の順序である楽曲全体構成を示す楽曲全体構成情報を保持し、
    　前記プロセッサは、
    　前記表示装置において、前記ムード／利用シーン表示領域から新たなムード及び／又は利用シーンと、前記楽曲長表示領域において新たな楽曲長と、が選択された場合、
    　前記選択されたムード及び／又は利用シーンを有する同一の長さの複数の楽音を、新たな楽曲を構成する楽音として、前記楽音情報から選択し、
    　前記楽曲全体構成情報から楽曲全体構成を選択し、
    　前記楽曲全体構成と、前記選択された楽曲長と、前記新たな楽曲を構成する楽音の長さと、に基づいて、前記選択した楽曲全体構成に含まれる各構成の期間数を決定し、
    　前記選択した楽曲構成に含まれる楽曲構成それぞれについて、前記楽音情報が示す前記選択した複数の楽音に利用される楽器の出力状態を、前記楽曲構成内出力情報から取得して、前記新たな楽曲の各期間における各楽音の出力状態を決定し
    　前記選択されたムード及び／又は利用シーンと、前記選択された楽曲の長さと、前記決定した各期間における各楽音の出力状態と、を対応付けて、前記楽曲構造情報に格納する、楽曲編集システム。
  8. 　請求項１に記載の楽曲編集システムであって、
    　前記プロセッサは、
    　前記楽曲構造情報を参照して、前記編集対象楽曲を再生し、
    　前記編集対象楽曲の再生中において、現在の再生位置に対応する期間と、当該期間における前記楽音表示領域と、を示す再生位置表示を前記表示装置に表示する、楽曲編集システム。
  9. 　請求項８に記載の楽曲編集システムであって、
    　前記メモリは、映像を含む映像情報を保持し、
    　前記プロセッサは、
    　前記楽曲構造情報と前記映像情報とを参照して、前記編集対象楽曲と前記映像とを同時に再生し、
    　前記映像の再生中において前記映像の再生位置を示す情報を、前記表示装置に表示する、楽曲編集システム。
  10. 　楽曲編集システムによる楽曲編集方法であって、
    　前記楽曲編集システムは、プロセッサとメモリと表示装置とを備え、
    　前記メモリは、
    　楽音を含む楽音情報と、
    　前記楽音情報に含まれる同一の長さを有する複数の楽音を同時再生することにより構成される編集対象楽曲、の構造を示す楽曲構造情報と、を保持し、
    　前記楽曲構造情報は、
    　前記複数の楽音と、
    　前記複数の楽音の長さを前記同一の長さで分割した各期間において、前記複数の楽音それぞれが出力されているか否かの出力状態と、を示し、
    　前記楽曲編集方法は、
    　前記プロセッサが、前記楽曲構造情報を参照して、前記各期間について、前記複数の楽音それぞれの出力状態を示す楽音表示領域を、前記表示装置に表示し、
    　前記表示装置において、前記楽音表示領域が選択された場合、
    　前記プロセッサが、前記楽曲構造情報において、前記選択された楽音表示領域に対応する期間における、前記選択された楽音表示領域に対応する楽音の出力状態を変更し、
    　前記プロセッサが、前記選択された楽音表示領域における出力状態の表示を切り替える、楽曲編集方法。
PCT/JP2018/034240 2018-09-14 2018-09-14 楽曲編集システム、及び楽曲編集方法 WO2020054064A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034240 WO2020054064A1 (ja) 2018-09-14 2018-09-14 楽曲編集システム、及び楽曲編集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034240 WO2020054064A1 (ja) 2018-09-14 2018-09-14 楽曲編集システム、及び楽曲編集方法

Publications (1)

Publication Number Publication Date
WO2020054064A1 true WO2020054064A1 (ja) 2020-03-19

Family

ID=69776632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034240 WO2020054064A1 (ja) 2018-09-14 2018-09-14 楽曲編集システム、及び楽曲編集方法

Country Status (1)

Country Link
WO (1) WO2020054064A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010725A (zh) * 2021-03-17 2021-06-22 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质
US20230101262A1 (en) * 2021-09-29 2023-03-30 At&T Intellectual Property I, L.P. Application-level network slicing for high quality of experience

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308069A (ja) * 2002-04-18 2003-10-31 Roland Corp ピッチ変換処理方法
JP2008276169A (ja) * 2007-02-13 2008-11-13 Klamu Inc オンライン作曲のためのシステム、方法及びコンピュータ読取り可能な記録媒体
JP2009134146A (ja) * 2007-11-30 2009-06-18 Pioneer Electronic Corp コンテンツ編集装置
JP2015114401A (ja) * 2013-12-10 2015-06-22 ヤマハ株式会社 音楽データ生成方法を実現するためのプログラムおよび音楽データ生成装置
JP2016161774A (ja) * 2015-03-02 2016-09-05 ヤマハ株式会社 楽曲生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308069A (ja) * 2002-04-18 2003-10-31 Roland Corp ピッチ変換処理方法
JP2008276169A (ja) * 2007-02-13 2008-11-13 Klamu Inc オンライン作曲のためのシステム、方法及びコンピュータ読取り可能な記録媒体
JP2009134146A (ja) * 2007-11-30 2009-06-18 Pioneer Electronic Corp コンテンツ編集装置
JP2015114401A (ja) * 2013-12-10 2015-06-22 ヤマハ株式会社 音楽データ生成方法を実現するためのプログラムおよび音楽データ生成装置
JP2016161774A (ja) * 2015-03-02 2016-09-05 ヤマハ株式会社 楽曲生成装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010725A (zh) * 2021-03-17 2021-06-22 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质
CN113010725B (zh) * 2021-03-17 2023-12-26 平安科技（深圳）有限公司 演奏乐器的选择方法、装置、设备及存储介质
US20230101262A1 (en) * 2021-09-29 2023-03-30 At&T Intellectual Property I, L.P. Application-level network slicing for high quality of experience

Similar Documents

Publication Publication Date Title
US11277215B2 (en) System and method for generating an audio file
US11688377B2 (en) Synthesized percussion pedal and docking station
WO2020054064A1 (ja) 楽曲編集システム、及び楽曲編集方法
Marchini et al. Rethinking reflexive looper for structured pop music.
JP2023129639A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US7612279B1 (en) Methods and apparatus for structuring audio data
JP6733240B2 (ja) コンテンツの一覧の更新方法
US20240055024A1 (en) Generating and mixing audio arrangements
IES86526Y1 (en) A system and method for generating an audio file
IE20130120U1 (en) A system and method for generating an audio file

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/06/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18933510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP