WO2021106694A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2021106694A1
WO2021106694A1 PCT/JP2020/042873 JP2020042873W WO2021106694A1 WO 2021106694 A1 WO2021106694 A1 WO 2021106694A1 JP 2020042873 W JP2020042873 W JP 2020042873W WO 2021106694 A1 WO2021106694 A1 WO 2021106694A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
music
unit
information processing
feature
Prior art date
Application number
PCT/JP2020/042873
Other languages
English (en)
French (fr)
Inventor
治彦 岸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202080079390.XA priority Critical patent/CN114730551A/zh
Priority to JP2021561336A priority patent/JPWO2021106694A1/ja
Priority to EP20894684.8A priority patent/EP4068272A4/en
Priority to US17/756,108 priority patent/US20220406283A1/en
Publication of WO2021106694A1 publication Critical patent/WO2021106694A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/181—Billing, i.e. purchasing of data contents for use with electrophonic musical instruments; Protocols therefor; Management of transmission or connection time therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • the music information proposed (generated) by AI can be used in the composition work, the user can compose based on a wider variety of viewpoints.
  • the automatic composition function by AI is set for general users, and general users can receive automatically created music information simply by setting an image such as bright or dark.
  • the creator of a song often sets the characteristics of the song, such as chord progression and bass progression, in the process of creating the song. There was a request to receive music information tailored to the characteristics.
  • the information processing apparatus of one form according to the present disclosure includes an acquisition unit that acquires music information and an extraction unit that extracts a plurality of types of feature quantities from the music information acquired by the acquisition unit. And a generation unit that generates information in which a plurality of types of feature quantities extracted by the extraction unit are associated with predetermined identification information as music feature information used as learning data in a composition process using machine learning. Has.
  • the configuration of the copyrighted work management device will be described. It is a figure which shows an example of the work music information storage part which concerns on embodiment. It is a figure which shows an example of the music storage part which concerns on embodiment. It is a figure which shows an example of the feature information storage part which concerns on embodiment. It is a figure explaining the structure of the whole information which concerns on embodiment. It is a figure which shows an example of the time-series information which comprises music feature information which concerns on embodiment. It is a figure which shows the structural example of the information processing apparatus which concerns on embodiment. It is a figure which shows an example of the user information storage part which concerns on embodiment. It is a figure which shows an example of the style information storage part which concerns on embodiment.
  • Embodiment 1-1 An example of information processing according to an embodiment 1-2.
  • Configuration of Information Processing System According to Embodiment 1-3.
  • Configuration of copyrighted work management device According to the embodiment 1-4.
  • Configuration of Information Processing Device According to Embodiment 1-5.
  • Information processing procedure according to the embodiment 1-6-1 Generation processing of style information of written music information 1-6-2.
  • Style information update process 1-7 Conceptual diagram of the configuration of the information processing system 1-7-1.
  • About the written music management server device 1-7-3.
  • About the music creator application section 2. Effect of this embodiment 3.
  • FIG. 1 is a conceptual diagram showing a flow of information processing according to an embodiment.
  • the information processing according to the embodiment is executed by the copyrighted work management device 100, the information processing device 200, and the user terminal 300.
  • the information processing device 200 is an information processing device that provides a service (also simply referred to as “service”) related to the creation of content (information) as a literary work.
  • a service also simply referred to as “service”
  • music music content
  • the content is not limited to music, and may be various content such as video content such as movies and text content such as books (novels, etc.).
  • Good the music referred to here is not limited to one completed song (whole), but various music information such as some sound sources constituting one song (music) and short sounds used for sampling are included. It is a concept that is included.
  • the information processing device 200 communicates with the copyrighted work management device 100 that manages the copyrighted music information using the private network N2 (see FIG. 9).
  • the private network N2 is, for example, a secure VPN (Virtual Private Network) or Internet communication with ID address authentication.
  • the information processing device 200 communicates with the user terminal 300 of the user who uses the service provided by the information processing device 200 using a network N1 (see FIG. 9) such as the Internet.
  • the number of user terminals 300 is not limited to that shown in FIG.
  • the copyrighted work management device 100 is a server device that registers and manages copyrighted music information.
  • the copyrighted work management device 100 periodically registers the copyrighted music information.
  • the copyrighted work management device 100 extracts a plurality of types of feature amounts from the registered music piece information, and transmits the extracted feature amounts to the information processing device 200 via the private network N2.
  • the user terminal 300 is an information processing terminal such as a PC (personal computer) or a tablet terminal.
  • Various program applications are installed on the user terminal 300.
  • An application related to music creation is installed in the user terminal 300.
  • the user terminal 300 has an automatic composition function by AI added by a plug-in (extended application) to an application such as a DAW that realizes a comprehensive music production environment.
  • the plug-in can take the form of VST (Steinberg's Virtual Studio Technology) (registered trademark), Audio Units, AAX (Avid Audio eXtension), and the like.
  • the user terminal 300 is not limited to the DAW, and for example, a mobile application such as iOS may be used.
  • the user terminal 300 activates and executes the automatic composition function by DAW and AI, and communicates with the information processing device 200 to receive the music information composed by the information processing device 200.
  • the user of the user terminal 300 receives music information through an administrator who operates and manages the entire system, a composer who creates music, an arranger, a creator such as a studio engineer, and an automatic composition function. One of the users. In this embodiment, it is assumed that the user terminal 300 is used by the creator Uc.
  • the information processing device 200 is a server device that executes information processing related to the automatic composition function by the AI of the user terminal 300.
  • the information processing device 200 is a so-called cloud server, executes automatic composition by AI according to instruction information by the user terminal 300, and provides the generated music information to the user terminal 300.
  • the information processing device 200 generates a composition model for music generation by performing machine learning.
  • the information processing device 200 provides the user terminal 300 with music information automatically composed by using a Markov model or the like.
  • the information processing device 200 uses style information (musical piece feature information) as learning data for the composition model.
  • style information is information obtained by associating a plurality of types of features such as chord progression, melody, and bass progression with predetermined identification information extracted from music information as feature quantities of a plurality of types, and is machine learning. It is used in the composition process using.
  • the information processing device 200 obtains a plurality of types of feature amounts from the written music information or the music information created by the creator, and collects each feature amount for each music information into a style information ID (predetermined identification information). By adding, multiple style information is generated and created in a database.
  • FIG. 2 is a diagram showing an example of a data structure of style information according to an embodiment.
  • the style information includes style information ID 710, which is identification information of style information, style palette sequence information 720 (music order information), style palette information 730 (music format information), score information 740, and lyrics information 750.
  • the score information 740 includes a plurality of types of features extracted from the music.
  • the score information 740 has a score ID, a melody information, a chord progression information, a base information, and a drum information.
  • the score ID is identification information of the score information.
  • Melody information is a melody in a bar of a specified length.
  • the chord progression information is information indicating the chord progression in a bar of a specified length.
  • Bass information is information indicating the progress of a bass note in a bar of a specified length.
  • Drum information is information indicating the progress (drum pattern or tempo) of a drum sound in a bar of a specified length.
  • the lyrics information 750 includes the lyrics ID and the lyrics information.
  • the lyrics ID is identification information of the lyrics information.
  • Lyrics information is information indicating lyrics in a bar of a specified length.
  • the lyrics information is, for example, a phrase or a character keyword that is the basis of the lyrics.
  • the information processing device 200 can also use self-action words by using a plurality of lyrics information 750 of the style information 700.
  • the style palette information 730 is information registered by associating the score ID of the score information 740 and the lyrics ID of the lyrics information 750 for the same measure with the style palette ID which is the identification information of the style palette information.
  • the style palette sequence information 720 is information indicating the order of the style palette information 730.
  • the style palette sequence information 720 includes a style palette ID uniquely indicating the style palette information 730 and a bar index as one set, and by having a plurality of these sets, information for managing the order of the style palette information 730 in the music. Become. For example, in the case of the example shown in FIG. 2, it is defined that measures 1 to 4 of the music correspond to the style palette ID731a, measures 5 to 8 correspond to the style palette ID731b, and measures xy to y correspond to the style palette ID731z. Will be done.
  • the information processing device 200 performs machine learning using this style information 700 as learning data, and performs composition processing. Therefore, the information processing device 200 does not learn the music information itself, but learns the style information composed of a plurality of types of feature quantities such as chord progression, melody, and bass progression extracted from the music information. That is, since the information processing device 200 learns a plurality of feature quantities extracted in advance from the music information, the load of information processing is smaller than that of learning the music information itself, and the music information to the user is also efficient. Can be provided to.
  • 3 to 7 are views showing an example of a display screen of the user terminal 300 according to the embodiment.
  • the window 370 shown in FIG. 3 is displayed on the user terminal 300.
  • the window 370 has a composition parameter setting unit 371, a style information display unit 372, a composition control unit 373, and a production music display editing unit 374.
  • the composition parameter setting unit 371 is an area in which parameters such as note length and complexity can be set.
  • the style information display unit 372 is an area in which style information used for composition can be selected by keyword input or pull-down selection.
  • the composition control unit 373 is an area where composition instructions can be given by selecting a composition execution instruction button.
  • the production music display editorial unit 374 is an area in which a plurality of piano rolls on which a melody or lyrics are displayed are displayed.
  • Chord progression candidates may be displayed in any order, such as alphabetical order, order of frequency of use by creators, order of frequency of use by all users, order of generation of style information, and so on.
  • chord progression all of the style information included in the information processing apparatus 200 may be displayed, or only a part of the style information may be displayed. If there are many chord progression candidates, the display area can be selected on the pager.
  • the information processing device 200 extracts the style information including the chord progression, and selects the chord progression information of each extracted style information in the style palette. The list may be displayed in the pull-down 372a.
  • the creator selects a desired chord progression from the chord progressions presented in the style palette selection pull-down 372a, and selects a composition execution instruction button.
  • the information processing apparatus 200 extracts the style information having the selected chord progression, performs machine learning using the extracted style information 700 as learning data, and performs composition processing.
  • the information processing device 200 provides music information to the user terminal 300.
  • the creator can receive the music information generated according to the chord progression only by selecting the desired chord progression from the chord progressions presented in the style palette selection pull-down 372a.
  • the style information 700 includes lyrics information as a feature amount
  • the creator can receive the presentation of style information matching the lyrics simply by inputting the desired lyrics. Specifically, as shown in FIG. 5, when the creator inputs the desired lyrics in the search keyword input field 372b, the information processing apparatus 200 extracts the lyrics or style information having lyrics similar to the lyrics. Then, the lyrics information of each of the extracted style information may be displayed in a list in the style palette selection pull-down 372a.
  • the creator selects the desired lyrics information from the lyrics information presented in the style palette selection pull-down 372a, and selects the composition execution instruction button.
  • the information processing device 200 extracts the style information having the selected lyrics information, performs machine learning using the extracted style information 700 as learning data, and performs composition processing to the user terminal 300. Provide music information.
  • the creator can receive the music information generated according to the lyrics only by selecting the desired lyrics from the lyrics presented in the style palette selection pull-down 372a.
  • the information processing device 200 may automatically generate lyrics according to the generated music and provide the user terminal 300 with music information in which the melody and the lyrics are associated with each other.
  • the melody and the lyrics corresponding to the melody are displayed on the melody display piano roll 374a of FIG.
  • the user terminal 300 displays a list of chord progression candidates of the style information presented by the information processing device 200, and creates the music of the creator. May be assisted.
  • the information processing device 200 generates style information having a plurality of types of feature quantities of the music information as a data set for learning the composition model, and trains the composition model.
  • the information processing device 200 provides the producer with music information composed according to the characteristics of the music.
  • the copyrighted work management device 100 extracts a plurality of types of feature quantities from the newly registered music music information (step S11). Step S12). At this time, the copyrighted work management device 100 extracts the feature amount by using, for example, a 12-tone analysis technique. Then, the information processing device 200 acquires a plurality of types of feature amounts from the copyrighted work management device 100 (step S13), summarizes each feature amount for each piece of music information, and assigns a style information ID to each of the feature amounts. The style information corresponding to the music information is generated (step S14).
  • the information processing device 200 when a new musical piece is created by inputting a feature amount such as a chord progression, a melody, or a bass progression by an operation by the creator Uc of the user terminal 300, the information processing device 200 includes each feature amount. Acquire music information (step S21). Then, the information processing device 200 extracts features such as chord progression, melody, and bass progression from the acquired music information (step S22). Then, the information processing device 200 collects each feature amount for each music information and assigns a style information ID to generate style information corresponding to each music information (step S23). The information processing device 200 generates a plurality of style information 700 and creates a database by performing the process shown in FIG.
  • FIG. 8 is a conceptual diagram showing the flow of information processing according to the embodiment.
  • the information processing apparatus 200 when the style information is selected by the creator Uc during the music creation by the creator Uc (step S31), the information processing apparatus 200 performs the composition processing by learning the style information.
  • the music information is output to the user terminal 300 (step S32).
  • the user Uc further performs based on the provided music information.
  • the information processing device 200 receives the performance information (step S33)
  • the information processing device 200 adds the performance information to the style information used for composition and updates the style information (step S34).
  • the style information used is updated according to the music creation of the creator Uc.
  • the information processing apparatus 200 can bring this style information closer to the style of music creation by the creator Uc, and can compose and provide the music information that matches the style of the creator Uc.
  • FIG. 9 is a diagram showing an example of the information processing system 1 according to the embodiment.
  • the information processing system 1 includes user terminals 300-1 to 300-3, an information processing device 200, and a copyrighted work management device 100.
  • the information processing system 1 functions as a copyrighted work management system and a learning model information management system.
  • three user terminals 300-1 to 300-3 are illustrated, but when the description is made without particular distinction, the user terminal 300 is described.
  • the information processing device 200 and the user terminal 300 are connected to each other via a network N1 so as to be able to communicate by wire or wirelessly. Further, the information processing device 200 and the copyrighted work management device 100 are connected to each other via a private network N2 so as to be communicable by wire or wirelessly.
  • the copyrighted work management device 100 manages the copyrighted music information.
  • the copyrighted music management device 100 periodically registers the copyrighted music information.
  • the copyrighted work management device 100 extracts a plurality of types of feature amounts from the registered music piece information, and transmits the extracted feature amounts to the information processing device 200.
  • the user terminal 300 transmits the music information created by the creator to the information processing device 200, and receives the music information composed by the information processing device 200 when the self-operated music function is activated.
  • the information processing device 200 generates a composition model by generating style information, which is learning data, from the written music information or the music information created by the creator, and performing machine learning.
  • the information processing device 200 provides the user terminal 300 with music information that has been automatically composed using a generative model.
  • FIG. 10 is a diagram showing a configuration example of the copyrighted work management device 100 according to the embodiment.
  • the copyrighted work management device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 110 is connected to the private network N2 by wire or wirelessly, and transmits / receives information to / from the information processing device 200 via the private network N2.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 stores various data used for information processing.
  • the storage unit 120 includes a copyrighted music information storage unit 121, a music storage unit 122, and a feature information storage unit 123.
  • the copyrighted music information storage unit 121 stores information about the copyrighted music that is a copyrighted work written in the past.
  • FIG. 11 is a diagram showing an example of the written music information storage unit 121 according to the embodiment.
  • the copyrighted music information storage unit 121 stores the copyrighted music ID, the copyrighted music meta information, and the MP3 file name.
  • the copyrighted music ID is identification information for uniquely identifying the copyrighted music of, for example, the Beatles, Michael Jackson, and the like.
  • the copyrighted music meta information is additional information about the copyrighted music, such as the title, artist name, album name, release date, genre, mood, and lyrics of the copyrighted music.
  • the MP3 file name is a file name that identifies the MP3 file of the written music.
  • the music storage unit 122 stores the music information of the copyrighted music.
  • FIG. 12 is a diagram showing an example of the music storage unit 122 according to the embodiment. As shown in FIG. 12, the music storage unit 122 stores MP3 files of each copyrighted music. This MP3 file can be specified by the MP3 file name stored in the work music information storage unit 121.
  • the feature information storage unit 123 stores the feature amounts of a plurality of types of the written music.
  • FIG. 13 is a diagram showing an example of the feature information storage unit 123 according to the embodiment. As shown in FIG. 13, the feature information storage unit 123 stores the copyrighted music feature amount in association with the copyrighted music ID.
  • the copyrighted music feature information includes overall information indicating the characteristics of the entire copyrighted music and time-series information indicating the characteristics that change in time series.
  • FIG. 14 is a diagram showing an example of overall information according to the embodiment.
  • the overall information includes music type information such as tempo information, time signature information, genre and mood, for example.
  • the music type information is, for example, information such as an entrusted channel of the 12-tone analysis technology.
  • FIG. 15 is a diagram showing an example of time-series information constituting the written music feature information according to the embodiment.
  • the time-series information includes, for example, beat information, chord progression information, music structure information, and melody information.
  • the beat information includes time position information of each beat and time position information of each bar, such as a metronome.
  • the chord progression information is information on the time-series progression of accompaniment chords according to the flow of a musical piece, for example, information indicating the progression of a chord such as "CF-Am-G7".
  • the music structure information is information such as "A melody-B melody-sabi-A melody-sabi" which is the structure of the entire music.
  • the melody information includes, for example, melody line information inferred from the audio information of the music.
  • control unit 130 for example, a program stored inside the user terminal 300 is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like using a RAM (Random Access Memory) or the like as a work area. It will be realized. Further, the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 has a management unit 131, an extraction unit 132, and a transmission unit 133, and realizes or executes the functions and operations of information processing described below.
  • the management unit 131 manages various information related to the copyrighted work management device 100. For example, the management unit 131 stores various information in the storage unit 120, and updates the stored information as appropriate. Specifically, the management unit 131 stores the new work music in the work music information storage unit 121, and updates the information about the new work music.
  • the extraction unit 132 extracts a plurality of types of feature quantities from the written music information.
  • the extraction unit 132 acquires the copyrighted music information that is periodically registered at a preset timing, and uses the chord progression information, the beat information, the melody information, and the drum information as feature quantities from the acquired copyrighted music information. Extract.
  • the extraction unit 132 extracts the music feature amount of the MP3 file of each work music for each newly registered work music, and obtains the feature information.
  • the extraction unit 132 extracts various feature quantities from the music information by using, for example, a 12-sound analysis technique, and registers them in the feature information storage unit 123 as the copyrighted music feature information.
  • the extraction unit 132 performs feature quantity extraction processing on the written music information by receiving an instruction to extract the written music from the administrator terminal (not shown) used by the system administrator via the information processing device 200. Alternatively, the extraction unit 132 performs a feature amount extraction process for the copyrighted music information by receiving an instruction to extract the copyrighted music from the information processing device 200.
  • the transmission unit 133 transmits the feature amounts of the plurality of types of copyrighted music information extracted by the extraction unit 132 to the information processing device 200 together with information related to the copyrighted music information such as music structure information and music music meta information. ..
  • FIG. 16 is a diagram showing a configuration example of the information processing device 200 according to the embodiment.
  • the information processing device 200 includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the information processing device 200 includes an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from an administrator or the like that manages the information processing device 200, and a display unit (for example, a liquid crystal display) for displaying various information. ) May have.
  • the communication unit 210 is realized by, for example, a NIC or the like.
  • the communication unit 210 is connected to the network N1 and the private network N2 by wire or wirelessly, and transmits / receives information to / from the user terminal 300, the copyright management device 100, etc. via the network N or the private network N2.
  • the storage unit 220 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 220 stores various data used for information processing.
  • the storage unit 220 includes a user information storage unit 221, a style information storage unit 222, an possession information storage unit 223, a production information storage unit 224, and an operation history information storage unit 225.
  • the user information storage unit 221 stores various information (user information) related to the user.
  • FIG. 17 is a diagram showing an example of the user information storage unit 221 according to the embodiment.
  • User information including user ID, user meta information, and authority information is stored in the user information storage unit 221.
  • the user information storage unit 221 stores user meta information and authority information corresponding to each user ID in association with each user ID.
  • the user ID indicates identification information for uniquely identifying the user.
  • the user ID indicates identification information for uniquely identifying a user such as a creator, a general user, or a system administrator.
  • the user meta information is additional information of the user such as the name and address of the user.
  • the authority information for example, values for identifying the authority such as system administrator authority information, creator authority information, and general user authority information are stored.
  • the user information storage unit 221 is not limited to the above, and may store various information depending on the purpose.
  • Various information about the user may be stored in the user meta information. For example, when the user is a natural person, the user meta information may store demographic attribute information such as the gender and age of the user, psychographic attribute information, and the like.
  • the style information storage unit 222 stores information about the composition model.
  • FIG. 18 is a diagram showing an example of the style information storage unit 222 according to the embodiment.
  • the style information storage unit 222 stores learning model information including model information ID, creator ID, model information meta information, style information 700, copyrighted work ID, and shareability information.
  • the style information storage unit 222 stores the creator ID, model information meta information, style information, copyrighted work ID, and shareability information corresponding to each model information ID in association with each model information ID.
  • the model information ID indicates identification information for uniquely identifying the composition model information.
  • the creator ID indicates identification information for uniquely identifying the creator of the corresponding composition model information.
  • the creator ID indicates identification information for uniquely identifying a user such as a system administrator, a creator, or a general user.
  • Model information meta information is, for example, information representing the characteristics of a copyrighted work to be learned.
  • Learning model information Meta information is information such as the tempo of a song, the genre, the atmosphere such as light and darkness, the structure of a song such as verse B verse, chord progression, scale, and church mode.
  • the style information 700 is learning data of the composition model generated by the generation unit 233 (described later) included in the information processing device 200.
  • the style information is information extracted from music information in which a plurality of types of features such as chord progression, melody, and bass progression are associated with predetermined identification information.
  • the sharing availability information indicates, for example, the sharing availability of the corresponding learning model.
  • As the shareability information for example, a value for identifying whether or not the corresponding learning model can be shared is stored.
  • the style information storage unit 222 is not limited to the above, and may store various information depending on the purpose.
  • the composition model information meta information may store various additional information regarding the composition model, such as information regarding the date and time when the composition model was created.
  • the possession information storage unit 223 stores various information related to the style information selected by the creator of the music when the music is created.
  • FIG. 19 is a diagram showing an example of the possession information storage unit 223 according to the embodiment.
  • the user ID of the creator who creates the music and the style information ID selected by the creator are stored in association with each other.
  • the production information storage unit 224 stores various information related to the produced music.
  • FIG. 20 is a diagram showing an example of the production information storage unit 224 according to the embodiment. As shown in FIG. 20, the production information storage unit 224 stores the user ID of the creator who created the music and the score ID created by the creator in association with each other.
  • the operation history information storage unit 225 stores the operation history information by the creator for the user terminal 300.
  • the operation history information storage unit 225 stores the operation history corresponding to each user ID in association with each user ID.
  • the operation history information indicates the operation history of the creator.
  • the operation history information may include various information related to the operation of the creator, such as the content of the operation performed by the creator and the date and time when the operation was performed.
  • the operations include selection of style information presented by the information processing device 200, selection of a composition execution instruction button, reproduction and editing of music information received from the information processing device 200, and the like.
  • the control unit 230 is realized by, for example, a CPU, an MPU, or the like executing a program stored inside the information processing apparatus 200 (for example, an information processing program according to the present embodiment) with a RAM or the like as a work area. .. Further, the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA.
  • the control unit 230 includes an acquisition unit 231, an extraction unit 232, a generation unit 233, a reception unit 234, a selection unit 235, a transmission unit 236, a composition unit 237, and an update unit 238. To realize or execute.
  • the acquisition unit 231 acquires music information.
  • the acquisition unit 231 acquires the music information created by the creator by communicating with the user terminal 300 via the network N1.
  • This music information is created by the creator using an application related to music creation installed in the user terminal 300, that is, an automatic composition function, and music such as chord progression, melody, bass progression, drum sound progression, etc. Includes features related to.
  • the acquisition unit 231 communicates with the copyrighted work management device 100 via the private network N2 to obtain a feature amount of a plurality of types of copyrighted music information extracted by the extraction unit 132 of the copyrighted work management device 100. Receive with information about copyrighted music information. That is, the acquisition unit 231 receives the copyrighted music feature information for each of the newly registered copyrighted music from the copyrighted work management device 100 via the private network N2.
  • the extraction unit 232 extracts a plurality of types of features from the music information.
  • the extraction unit 132 extracts chord progression information, beat information, melody information, and drum information as feature quantities from the music information created by the creator.
  • the extraction unit 232 extracts various feature quantities from the music information by using, for example, a 12-tone analysis technique.
  • the generation unit 233 generates style information in which the feature quantities of a plurality of types extracted by the extraction unit 232 and the style information ID are associated with each other as learning data in the composition process.
  • the generation unit 233 registers the music information created by the creator in the production information storage unit 224 in association with the style information ID of the style information 700 and the user ID of the creator.
  • the generation unit 233 may associate the style ID of the style information 700 with the copyrighted music ID.
  • the reception unit 234 receives various information transmitted from the user terminal 300.
  • the reception unit 234 receives information on the creator who uses the automatic composition function on the user terminal 300 and information on the style information selected by the creator.
  • the reception unit 234 can also accept registration of music associated with the style information 700, editing of the style information, and the like.
  • the selection unit 235 selects all or part of the style information when the automatic composition function is activated on the user terminal 300.
  • the transmission unit 236 transmits the presentation information of the style information selected by the selection unit 235 to the user terminal 300.
  • the chord progression or lyrics information of each style information is listed as a candidate in the style palette selection pull-down 372a of the user terminal 300.
  • the selection unit 235 selects the selected style information from the style information storage unit 222.
  • the composition unit 237 composes music information using machine learning based on the style information selected by the selection unit 235, and transmits the composed music information to the user terminal 300.
  • the composition unit 237 may compose music using various existing music generation algorithms. For example, the composition unit 237 may use a music generation algorithm using a Markov chain, or may use a music generation algorithm using deep learning. Further, the composition unit 237 may generate a plurality of music information for the instruction information transmitted from the user terminal 300. As a result, the producer can receive a plurality of proposals from the composition unit 237, and thus can proceed with the composition work by using more diverse information.
  • the update unit 238 When the update unit 238 receives the performance information based on the music information composed by the composition unit 237 from the user terminal 300, the update unit 238 adds the performance information to the selected style information and updates the selected style information.
  • FIG. 21 is a diagram showing a configuration example of the user terminal 300 according to the embodiment.
  • the user terminal 300 includes a communication unit 310, an input unit 320, an output unit 330, a storage unit 340, a control unit 350, and a display unit 360.
  • the communication unit 310 is realized by, for example, a NIC or a communication circuit.
  • the communication unit 310 is connected to the network N1 by wire or wirelessly, and transmits / receives information to / from the information processing device 200 and other devices such as other terminal devices via the network N1.
  • the input unit 320 has a keyboard and a mouse connected to the user terminal 3000.
  • the input unit 320 accepts input by the user.
  • the input unit 320 accepts user input using a keyboard or mouse.
  • the input unit 320 may have a function of detecting voice.
  • the input unit 320 may include a microphone that detects voice.
  • the input unit 320 may have a touch panel capable of realizing a function equivalent to that of a keyboard or a mouse.
  • the input unit 12 receives various operations from the user via the display screen by the function of the touch panel realized by various sensors.
  • the detection method of the user's operation by the input unit 320 the capacitance method is mainly adopted in the tablet terminal, but other detection methods such as the resistance film method, the surface acoustic wave method, the infrared method, and the electromagnetic wave are used. Any method such as a guidance method may be adopted as long as the user's operation can be detected and the touch panel function can be realized.
  • the user terminal 300 may have an input unit that also accepts operations by buttons or the like.
  • the output unit 330 outputs various information.
  • the output unit 330 has a speaker that outputs sound.
  • the storage unit 340 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 340 stores various information used for displaying the information.
  • the control unit 350 is realized by, for example, a CPU, an MPU, or the like executing a program stored inside the user terminal 300 with a RAM or the like as a work area. Further, the control unit 350 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA.
  • the control unit 350 includes a display control unit 351, a registration unit 352, a transmission / reception unit 353, a selection unit 354, a reproduction unit 355, and a performance reception unit 356.
  • the display control unit 351 controls various displays on the display unit 360.
  • the display control unit 351 controls the display of the display unit 360.
  • the display control unit 351 controls the display of the display unit 360 based on the information received from the information processing device 200.
  • the display control unit 351 controls the display of the display unit 360 based on the information generated by the processing by each component of the control unit 350.
  • the display control unit 351 may control the display of the display unit 360 by an application that displays an image.
  • the display control unit 351 displays the window 370 (see FIGS. 3 to 7) and the like on the display unit 360 by the application of the automatic composition function by DAW and AI.
  • the display control unit 351 receives the presentation information of the style information from the information processing device 200, the display control unit 351 displays the chord progression and lyrics of the presented style information in the style palette selection pull-down 372a (see FIG. 4) of the window 370. ..
  • the display control unit 351 receives the music information and the lyrics information generated by the information processing device 200, the display control unit 351 displays the melody and the lyrics corresponding to the melody on the melody display piano roll 374a (see FIG. 7) of the window 370. Let me.
  • Registration unit 352 accepts registration of various information.
  • the registration unit 352 accepts the registration of the drum pattern, chord progression, and melody set by the user when the DAW is activated.
  • the drum pattern, chord progression and melody are registered via an application that displays images IM11, IM21, IM31, IM41 (FIGS. 26 and 27).
  • the transmission / reception unit 353 communicates with the information processing device 200 to transmit and receive various information.
  • the transmission / reception unit 353 transmits music information including the drum pattern, chord progression, and melody received by the registration unit 352 to the information processing device 200. Further, when the automatic composition function is activated, the transmission / reception unit 353 receives the presentation information of the style information transmitted from the information processing device 200.
  • the transmission / reception unit 353 transmits instruction information instructing the selection of style information to the information processing device 200. Then, the transmission / reception unit 353 receives the music information and the lyrics information generated by the information processing device 200. Further, the transmission / reception unit 353 transmits the performance information regarding the performance received by the user terminal 300 to the information processing device 200.
  • the selection unit 354 selects any of the style information presented by the information processing device 200. For example, among the chord progressions displayed in the style palette selection pull-down 372a (see FIG. 4) of the window 370, one of the chord progressions is selected by the operation of the input unit 320 by the user. As a result, the selection unit 354 transmits the selection instruction information of the style information corresponding to the selected chord progression from the transmission / reception unit 353 to the information processing device 200.
  • the playback unit 355 reproduces the music information generated by the information processing device 200. Specifically, the reproduction unit 255 sets arbitrary musical instrument information for each of the melody, chord, and bass sound included in the music data, and reproduces each data. The reproduction unit 255 may reproduce each of the melody, the chord, and the bass sound in combination.
  • the performance reception unit 356 accepts the performance by the producer when the producer performs the performance together with the composition using the automatic composition function. For example, the performance reception unit 356 receives the performance information to be played in accordance with the reproduction of the music information generated by the information processing device 200 by the automatic composition function.
  • the display unit 360 displays various information.
  • the display unit 360 is realized by, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the display unit 360 displays various information according to the control by the display control unit 351.
  • the display unit 360 can also display information such as an image provided by the information processing device 200.
  • FIG. 22 is a sequence diagram showing an information processing procedure according to the embodiment.
  • the copyrighted work management device 100 extracts a plurality of types of feature quantities from each of the newly registered copyrighted music information (step S101). Step S102). At this time, the copyrighted work management device 100 extracts the feature amount by using, for example, a 12-tone analysis technique. Then, the literary work management device 100 transmits the literary music feature information including the plurality of types of feature quantities extracted from the literary music information and the information related to the literary music information to the information processing device 200 via the private network N2. (Step S103).
  • the information processing device 200 automatically creates style information 700 based on the received music feature information (step S104).
  • the information processing device 200 can generate score information 740 from, for example, beat information, chord progression information, and melody information of written music feature information.
  • the information processing device 200 can generate the lyrics information 750 from, for example, the lyrics information of the written music meta information.
  • the information processing device 200 can generate style palette information 730 by bundling those a plurality of score information 740 and lyrics information 750 that have similar chord progressions. Similar chord progressions are, for example, exactly the same chord progression. Alternatively, similar chord progressions may be such that each chord is classified into Tonic (T), Sub-dominat (S), and Dominat (D), and the sequences of T, S, and D are the same. In the case of C major and A minor, T is C / Em / Am, S is F and Dm, and D is G and Dm7-5. Since the chord progressions CDGC and Em-Dm-Bm7-5-Am are both TSD, they can be considered to have the same chord progression. Further, similar chord progressions can be classified based on similar chord progressions by machine learning or deep learning, for example, instead of using music theory.
  • the information processing apparatus 200 may independently register the automatically generated style palette information 730 in the style palette sequence information 720.
  • the information processing apparatus 200 may generate and register the style palette sequence information 720 in which a plurality of style palette information 730s are arranged.
  • the information processing device 200 can arrange them with reference to the music structure information.
  • the information processing device 200 registers the generated style information in association with the identification information of the written music information (step S105), and stores the generated style information in the style information storage unit 222.
  • FIG. 23 is a sequence diagram showing an information processing procedure according to the embodiment.
  • step S111 when the creator operates the user terminal 300 to activate a composition function such as a DAW (step S111) and selects the creation of style information (step S112), the creator composes from the user terminal 300.
  • the composition start information indicating the start is transmitted (step S113).
  • the information processing device 200 receives the composition start information, it transmits the information necessary for composition (step S114).
  • the user terminal 300 registers the drum pattern (for example, the tempo, the number of measures, the High Hat, the Bass Drumus, and the beat position for sounding the Snare) by the operation by the creator according to the UI instruction (step S115).
  • the user terminal 300 registers the chord progression by the operation of the creator (step S116).
  • the composition function application automatically plays the drum and the chord progression, so that the creator inputs the melody to the user terminal 300 a plurality of times in accordance with the automatic performance.
  • the user terminal 300 registers the input melody (step S117).
  • the user may additionally input the lyrics information by using the composition function.
  • the user terminal 300 continues to register the melody until the input of the melody by the user is completed.
  • the user terminal 300 transmits the music information by the creator to the information processing device 200 (step S119).
  • the music information includes features such as drum patterns, chord progressions, and melodies.
  • the information processing device 200 extracts each feature amount included in the music information to generate score information and lyrics information, and generates style palette information from the score information and lyrics information (step S120).
  • the information processing device 200 obtains each style palette sequence information in the music information, and generates the style information 700 by associating the style information ID with the score information, the lyrics information, the style palette information, and the style palette sequence information ( Step S121).
  • the information processing device 200 registers the style information 700 in the style information storage unit 222 (step S122). At the same time, the information processing apparatus 200 registers the data in which the style information ID and the user ID of the creator are associated with each other in the possession information storage unit 223. Then, the information processing device 200 registers the data in which the score ID and the user ID of the creator are associated with the production information storage unit 224, and ends the style information generation process.
  • the style palette sequence information may be generated by the creator arranging a plurality of style palette information using the composition function.
  • a plurality of style information 700s are accumulated in the information processing device 200. Users such as creators can use automatic composition by selecting their favorite style information from these style information.
  • FIG. 24 is a sequence diagram showing an information processing procedure according to the embodiment.
  • the information processing device 200 When the information processing device 200 receives the composition start information (step S132) when the automatic composition function is activated on the user terminal 300 by the creator, the style information is selected (step S133), and the style information is selected. Is transmitted to the user terminal 300 (step S134).
  • the information processing device 200 selects, for example, all style information, style information that the creator uses more than a predetermined number of times, or style information that all users use more than a predetermined number of times from the style information storage unit 222. And send the presentation information of the selected style information.
  • the user terminal 300 displays a list of style information based on the presented information (step S135).
  • the user terminal 300 displays, for example, a list of chord progressions of style information as candidates.
  • the user terminal 300 transmits the selection information indicating the selected style information to the information processing device 200 (step S137).
  • the information processing device 200 extracts selected style information, performs machine learning using the extracted style information as learning data, performs composition processing (step S138), and provides music information to the user terminal 300 (step S138). Step S139).
  • the information processing device 200 extracts the feature amounts of the composed music information by the extraction unit 232, stores new score information including these feature amounts in the storage unit 220, and registers the composition information in the possession information storage unit 223. To do.
  • step S140 When the user terminal 300 plays the provided music (step S140), the user terminal 300 accepts the performance process (step S141).
  • the producer plays, for example, by MIDI keyboard, the performance information becomes MIDI information.
  • the information processing device 200 receives the transmission of the performance information (step S142), the information processing device 200 extracts the feature amount from the performance information (step S143).
  • the information processing device 200 updates the style information by adding the feature amount extracted from the performance information as the score information to the style information selected by the creator (step S144). In this way, since the actual performance by the creator is added to the style information selected by the creator, the music information automatically composed using this style information approaches the style of the creator. In other words, the style information can be brought closer to the style of the creator who played the music.
  • the processes of steps S140 to S142 are repeated until the producer finishes the performance. Then, the score information generated in the repeating process of steps S140 to S142 repeated until the music is completed is stored in the storage unit 220.
  • the music information automatically composed using this style information approaches the style of the creator. .. That is, in the information processing system 1, the style information can be brought closer to the style of the creator who played the music.
  • step S145 when the performance by the producer is completed (step S145: Yes), the producer may operate the user terminal 300 to perform, for example, an arrangement process (step S146), a mix or a mastering process (step S147). ..
  • FIG. 25 is a diagram showing an example of a conceptual diagram of the configuration of the information processing system.
  • FIG. 25 is a schematic diagram showing a functional outline of a system which is an example of application of the information processing system 1.
  • the copyrighted music management server device shown in FIG. 25 corresponds to the copyrighted work management device 100 in the information processing system 1.
  • the server device shown in FIG. 25 corresponds to the information processing device 200 in the information processing system 1.
  • the system administrator application unit shown in FIG. 25 corresponds to an application installed on a terminal used by the system administrator.
  • the creator application unit shown in FIG. 25 corresponds to the application installed on the user terminal 300 in the information processing system 1.
  • the application unit for general users shown in FIG. 25 corresponds to an application installed on a terminal used by a general user.
  • the system administrator application unit, the music creator application unit, and the general user application unit are illustrated one by one, but a plurality of these are included according to the number of corresponding terminals. May be good.
  • the control unit of the copyrighted music management server device shown in FIG. 25 corresponds to the control unit 130 of the copyrighted work management device 100.
  • the copyrighted music management unit of the copyrighted music management server device corresponds to the management unit 131 of the copyrighted music management device 100.
  • the copyrighted music feature information analysis function of the copyrighted music management server device corresponds to the extraction unit 132 of the copyrighted music management device 100.
  • the database unit in the copyrighted music management server of the copyrighted music management server device corresponds to the storage unit 120 of the copyrighted music management device 100.
  • the learning processing unit and control unit of the server device shown in FIG. 25 correspond to the control unit 230 of the information processing device 200.
  • the learning processing unit of the server device corresponds to the composition unit 237 of the information processing device 200.
  • the in-server database unit of the server device corresponds to the storage unit 220 of the information processing device 200.
  • the display operation unit and control unit of the music maker application unit shown in FIG. 25 correspond to the control unit 350 of the user terminal 300.
  • the display operation unit of the music maker application unit corresponds to the display control unit 351 of the user terminal 300.
  • the display operation unit and control unit of the system administrator application unit and the general user application unit correspond to the control unit of the terminal device used by each user.
  • the server device is connected to the system administrator application unit, the music creator application unit, and the general user application unit via a network N1 such as the Internet. Further, the server device is connected to the work music management server device via the private network N2.
  • the copyrighted music management server device has a control unit and a database unit in the copyrighted music management server.
  • the control unit of the music composition management server device has a copyrighted music management function and a copyrighted music feature information analysis function.
  • the server device has a control unit, a learning processing unit, and a database unit in the server.
  • the control unit of the server device has a production music information management function, a style information management function, a user operation history information management function, and a copyrighted music analysis function.
  • the learning processing unit of the server device has a machine learning processing function and a deep learning processing function.
  • the music creator application unit has a display operation unit and a control unit.
  • the display operation unit of the music creator application unit has a production music information display function and a style information display / editing function.
  • the music creator application unit has a style information sharing function and a user operation history information transmission function.
  • the music maker application unit is, for example, music editing software (DAW, etc.), and can display, for example, music information with the produced music information display function. If the DAW has, for example, an AI-assisted music production function, new music information can be produced while using the learning model information display / editing function.
  • the system administrator application unit and the general user application unit have the same configuration, and the user's authority over the system is different.
  • FIG. 26 shows an example of the user interface when the music creation application is displayed on the screen of the user terminal 300.
  • the user interface IF11 displays the music data received by the music creation application.
  • the music data in the music creation application is composed of three different types of data: melody, chord, and bass sound.
  • the user interface IF11 shown in FIG. 26 displays data related to a melody among three types of different data.
  • Setting information ST11 displays information related to the style palette, which is an example of setting information in the automatic composition function.
  • the style palette is designated information for designating style information that is learning data for machine learning.
  • Setting information ST12 displays information related to harmony, which is an example of setting information in the automatic composition function.
  • the information about the harmony is, for example, information for determining the probability that the constituent sounds included in the chord appear in the melody in the music data composed by the information processing apparatus 200. For example, if the user sets the information about harmony to "strict”, the probability that the constituent notes included in the chord will appear in the melody is high in the automatic composition data. On the other hand, when the user sets the information about harmony to "loose", the probability that the constituent notes included in the chord will appear in the melody in the automatic composition data is reduced. In the example of FIG. 26, it is shown that the user has applied the information about harmony more than "strict”.
  • Setting information ST13 displays note length information, which is an example of setting information in the automatic composition function.
  • the note length information is, for example, information for determining the note length in the music data composed by the information processing apparatus 200. For example, when the user sets the note length information to "long", in the music data of the self-operated song, the note with a relatively long sound length (for example, a whole note, a half note, etc.) ) Will appear more likely. On the other hand, when the user sets the note length information to "short”, in the music data of the self-operated song, the note with a relatively short note length (for example, an eighth note or a sixteenth note) Etc.) will appear more likely.
  • Setting information ST14 displays information for determining the type and amount of material music other than the material music included in the designated information (style palette specified by the user), which is an example of the setting information in the automatic composition function.
  • Such information is, for example, information for determining whether or not to strictly perform learning based on the music included in the style palette specified by the user in the music data composed by the information processing device 200. For example, when the user sets such information to "never", there is a low tendency for music other than the music included in the style palette to be used in automatic composition learning. On the other hand, when the user sets such information to "only”, there is a high tendency that songs other than the songs included in the style palette are used in automatic composition learning.
  • the music data MDT1 displays specific music data transmitted from the information processing device 200.
  • the music data MDT1 includes information indicating a chord progression such as Cm, information indicating a pitch and a note length in a bar, a transition of a note pitch (in other words, a melody), and the like.
  • the music data MDT1 may include, for example, four types of different contents. That is, the information processing device 200 may transmit a plurality of music data instead of transmitting only one type of automatic music data. As a result, the user can select his / her favorite music data from the generated candidates for the plurality of music data, or combine the plurality of music data to compose the favorite music.
  • the user interface IF11 shown in FIG. 26 displays data related to the melody among the three different types of data included in the music data, that is, the melody, the chord, and the bass sound. Displayed on the interface. This point will be described with reference to FIG. 27.
  • the user terminal 300 has a user interface IF 12 that displays data related to chords and a user interface IF 13 that displays data related to bass sounds on the screen. It may be displayed in.
  • note information different from the music data MDT1 in the user interface IF11 is displayed on the user interface IF12 and the user interface IF13.
  • the user interface IF12 displays note information (for example, constituent sounds of chord Cm) related to chords corresponding to the melody of the music data.
  • the user interface IF13 displays note information (for example, "C" sound in the case of chord Cm) related to the bass sound corresponding to the melody or chord of the music data.
  • the user can select the information to be copied from the displayed user interface IF11, user interface IF12, and user interface IF13, or edit a part of the bass sound, for example.
  • the information processing apparatus includes an acquisition unit (acquisition unit 231 in the embodiment), an extraction unit (extraction unit 232 in the embodiment), and a generation unit. (In the embodiment, it has a generation unit 233).
  • the acquisition unit acquires music information.
  • the extraction unit extracts a plurality of types of feature quantities from the music information acquired by the acquisition unit.
  • the generation unit uses information that associates a plurality of types of feature quantities extracted by the extraction unit with predetermined identification information as music feature information (in the embodiment) that is used as learning data in a composition process using machine learning. Generate as style information).
  • style information having a plurality of types of feature quantities of music information can be generated as a data set for learning a composition model.
  • the information processing device by learning this style information in the composition model, it is possible to provide each user including the creator with the music information composed according to the characteristics of the music. .. Therefore, according to the information processing device according to the present embodiment, it is possible to improve the convenience of the music creation function by the user.
  • the acquisition unit receives music information including a feature amount related to the music created by the creator using the application related to the creation of the music installed in the terminal device from the terminal device (user terminal 300 in the embodiment). Acquire music information by.
  • the extraction unit extracts a plurality of types of features included in the music information.
  • the generation unit associates the music feature information with the creator's identification information. As a result, the information processing device can generate music feature information related to the music information created by the creator.
  • the features of the music created by the creator are chord progression information indicating chord progression, melody information indicating melody, and base signal indicating bass progression in a bar of a specified length. Therefore, the information processing device can generate the music feature information using the feature amount of the music created by the creator for the music information created by the creator, so that the music feature information can be generated quickly. Can be done.
  • the feature amount of the music created by the creator is the drum progress information indicating the progress of the drum in the bar of the specified length. Therefore, the information processing device can generate music feature information including drum progress information.
  • the acquisition unit acquires the written music information that is regularly registered at a preset timing.
  • the extraction unit extracts a plurality of types of features from the written music information.
  • the generation unit associates the style information with the identification information of the written music information. As a result, the information processing device 200 can automatically generate music feature information related to the copyrighted music information that is regularly registered.
  • the information processing device has a transmission unit (transmission unit 236 in the embodiment) that transmits presentation information of music feature information according to instruction information received from a terminal device in which an application related to music creation is installed.
  • the music composition unit (composing unit) that composes the music information using machine learning based on the selected music information and transmits the composed music information to the terminal device.
  • the information processing device has a composition unit 237).
  • the information processing device presents the music feature information according to the instruction information to the terminal device, so that the creator can select the desired music feature information from the music feature information. Then, the information processing device can provide music information composed based on the music feature information desired by the producer.
  • the information processing device when the information processing device receives the performance information based on the music information transmitted by the composition unit from the terminal device, the information processing device adds the performance information to the selected music feature information and updates the selected music feature information. It further has a unit (update unit 238 in the embodiment). In this way, the information processing device can bring the music feature information closer to the style of the music creator who played the music by adding the performance information by the creator to the selected music feature information.
  • the extraction unit extracts chord progression information indicating chord progression, melody information indicating melody, and base information indicating bass progression in a bar of a specified length as feature quantities from the music information.
  • the generation unit generates score information having chord progression information indicating chord progression, melody information indicating melody, and bass information indicating bass sound progression in a bar of a specified length, and is a component of music feature information.
  • the information processing device can generate music feature information having chord progression information, melody information, and base information. Then, at the time of composing, the information processing device learns not the music information itself but the feature quantities such as chord progression information, melody information, and base information, so that the music information can be efficiently provided to the user.
  • the extraction unit extracts drum information indicating the progress of the drum sound in a bar of a specified length as a feature amount from the music information.
  • the generation unit further adds drum progress information to the score information.
  • the information processing device can generate music feature information having chord progression information, melody information, base information, and drum information.
  • the generation unit generates lyrics information indicating the lyrics in a bar of a specified length from the lyrics information added to the music information, and uses it as a component of the music feature information.
  • the information processing device can extract the lyrics or the music feature information including the lyrics similar to the lyrics and present them to the terminal device, so that the user can create the music.
  • the convenience of the function can be improved.
  • the information processing device can also automatically generate lyrics.
  • the generation unit generates music format information for registering the identification information of the score information for the same measure and the identification information of the lyrics information in association with each other, and uses it as a component of the music feature information.
  • the information processing device can further provide music information desired by the user by learning the music feature information.
  • the generation unit adds the identification information of the score information having the chord progression information similar to the chord progression information of the score information registered in the music format information to the music format information and registers it.
  • the information processing device can compose music information according to the structure of the music.
  • the generation unit generates music order information indicating the order of music format information, and uses it as a component of music feature information. Since the information processing device can also learn the order of the music format information, the learning accuracy can be further improved.
  • Each of the above configurations is an example, and the information processing system 1 may have any system configuration as long as the above-mentioned information processing can be realized.
  • the copyrighted work management device 100 and the information processing device 200 may be integrated.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 28 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 200, the copyrighted work management device 100, and the user terminal 300.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • the acquisition department that acquires music information
  • An extraction unit that extracts a plurality of types of feature quantities from the music information acquired by the acquisition unit, and an extraction unit.
  • a generator that generates information that associates the plurality of types of feature quantities extracted by the extraction unit with predetermined identification information as music feature information that is used as learning data in composition processing using machine learning.
  • An information processing device characterized by having.
  • the acquisition unit acquires music information by receiving music information including features related to music created by the creator using an application related to music creation installed in the terminal device from the terminal device.
  • the extraction unit extracts a plurality of types of features included in the music information, and obtains a plurality of types of features.
  • the information processing device wherein the generation unit associates the identification information of the creator with the music feature information.
  • the feature amount of the music created by the creator is characterized by being chord progression information indicating chord progression, melody information indicating melody, and base signal indicating bass progression in a bar of a specified length.
  • the information processing device according to (2).
  • the information processing apparatus according to (3), wherein the feature amount related to the music created by the creator is drum progress information indicating the progress of the drum in a measure of a specified length.
  • the acquisition unit acquires the written music information that is regularly registered at a preset timing.
  • the extraction unit extracts the feature quantities of the plurality of types from the written music information, and then extracts the feature amounts of the plurality of types.
  • the information processing device wherein the generation unit associates the identification information of the copyrighted music information with the music feature information.
  • a transmitter that transmits the presentation information of the music feature information according to the instruction information received from the terminal device in which the application related to music creation is installed.
  • a composition unit that composes the music information using machine learning based on the selected music feature information and transmits the composed music information to the terminal device.
  • the information processing apparatus according to (1).
  • the update unit that adds the performance information to the selected music feature information and updates the selected music feature information.
  • the information processing apparatus according to (6).
  • the extraction unit extracts chord progression information indicating chord progression, melody information indicating melody, and base signal indicating bass progression in a bar of a specified length from the music information as feature quantities.
  • the generation unit generates score information having chord progression information indicating chord progression, melody information indicating melody, and base information indicating bass sound progression in the bar of the specified length, and the music feature information.
  • the information processing apparatus according to (1), characterized in that it is a component of the above.
  • the extraction unit extracts, as a feature amount, drum information indicating the progress of the drum sound in the bar of the specified length from the music information.
  • the information processing apparatus according to (8), wherein the generation unit further adds the drum information to the score information.
  • the generation unit is characterized in that, from the lyrics information added to the music information, the lyrics information indicating the lyrics in the measure of the specified length is generated and used as a component of the music feature information (8). ).
  • the generation unit is characterized in that it generates music format information in which the identification information of the score information and the identification information of the lyrics information for the same measure are registered in association with each other, and is used as a component of the music feature information ( The information processing apparatus according to 10).
  • (12) The generation unit is characterized in that identification information of score information having chord progression information similar to the chord progression information of the score information registered in the music format information is added to the music format information and registered (11). ).
  • the information processing device wherein the generation unit generates music sequence information indicating the order of the music format information and uses it as a component of the music feature information.
  • Information processing system 100 Document management device 110, 210, 310 Communication unit 120, 220, 340 Storage unit 130, 230, 350 Control unit 121 Music information storage unit 122 Music storage unit 123 Feature information storage unit 131 Management unit 132 Extraction Unit 133 Transmission unit 200 Information processing device 221 User information storage unit 222 Style information storage unit 223 Owned information storage unit 224 Production information storage unit 225 Operation history information storage unit 231 Acquisition unit 232 Extraction unit 233 Generation unit 234 Reception unit 235 Selection unit 236 Transmission unit 237 Composition unit 238 Update unit 300 User terminal 320 Input unit 330 Output unit 351 Display control unit 352 Registration unit 353 Transmission / reception unit 354 Selection unit 355 Playback unit 356 Performance reception unit 360 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本開示に係る情報処理装置は、楽曲情報を取得する取得部と、取得部によって取得された楽曲情報から複数の種別の特徴量を抽出する抽出部と、抽出部によって抽出された複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報として生成する生成部と、を有する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　ＡＩ（Artificial　Intelligence）の進歩に伴い、芸術分野におけるコンピュータの活用が進められている。例えば、既存の楽曲を学習データとして機械学習を行って楽曲生成のためのモデルを生成し、新たな楽曲をコンピュータに作曲させる技術が知られている（例えば、特許文献１）。かかる技術では、マルコフモデルを用いて、既存の楽曲の特徴を模倣したり、より自然な旋律を生成したりすることが可能である。
米国特許第９１１０８１７号明細書
　従来技術によれば、作曲作業においてＡＩによって提案（生成）された楽曲情報を利用することができるため、ユーザは、より多様な観点に基づいて作曲を行うことができる。
　ＡＩによる自動作曲機能は、一般利用者向けに設定されており、一般利用者は、明るい、暗いなどのイメージを設定するだけで、自動的に創作された楽曲情報を受け取ることができる。これに対し、楽曲を創作する制作者は、楽曲の創作の過程で、コード進行やベース進行等の曲の特徴を具体的に設定することが多いため、制作者からは、イメージではなく曲の特徴に合わせた楽曲情報の提供を受けたいという要望があった。
　そこで、本開示では、利用者による楽曲作成機能の利便性を向上させることができることできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、楽曲情報を取得する取得部と、取得部によって取得された楽曲情報から複数の種別の特徴量を抽出する抽出部と、抽出部によって抽出された複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報として生成する生成部と、を有する。
実施形態に係る情報処理の流れを示す概念図である。 実施形態に係るスタイル情報のデータ構成の一例を示す図である。 実施形態に係る利用者端末の表示画面の一例を示す図である。 実施形態に係る利用者端末の表示画面の一例を示す図である。 実施形態に係る利用者端末の表示画面の一例を示す図である。 実施形態に係る利用者端末の表示画面の一例を示す図である。 実施形態に係る利用者端末の表示画面の一例を示す図である。 実施形態に係る情報処理の流れを示す概念図である。 実施形態に係る情報処理システムの一例を示す図である。 実施形態に係る著作物管理装置の構成について説明する。 実施形態に係る著作楽曲情報記憶部の一例を示す図である。 実施形態に係る楽曲記憶部の一例を示す図である。 実施形態に係る特徴情報記憶部の一例を示す図である。 実施形態に係る全体情報の構成を説明する図である。 実施形態に係る楽曲特徴情報を構成する時系列情報の一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る利用者情報記憶部の一例を示す図である。 実施形態に係るスタイル情報記憶部の一例を示す図である。 実施形態に係る所有情報記憶部の一例を示す図である。 実施形態に係る制作情報記憶部の一例を示す図である。 実施形態に係る利用者端末の構成例を示す図である。 実施形態に係る情報処理の手順を示すシーケンス図である。 実施形態に係る情報処理の手順を示すシーケンス図である。 実施形態に係る情報処理の手順を示すシーケンス図である。 情報処理システムの構成の概念図の一例を示す図である。 実施形態に係るユーザインターフェイスの一例を示す図である。 実施形態に係るユーザインターフェイスの一例を示す図である。 情報処理装置、著作物管理装置、利用者端末の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．実施形態に係る情報処理の一例
　　　１－２．実施形態に係る情報処理システムの構成
　　　１－３．実施形態に係る著作物管理装置の構成
　　　１－４．実施形態に係る情報処理装置の構成
　　　１－５．実施形態に係る利用者端末の構成
　　　１－６．実施形態に係る情報処理の手順
　　　　１－６－１．著作楽曲情報のスタイル情報の生成処理
　　　　１－６－２．制作者が創作した楽曲情報のスタイル情報の生成処理
　　　　１－６－３．スタイル情報の更新処理
　　　１－７．情報処理システムの構成の概念図
　　　　１－７－１．全体構成について
　　　　１－７－２．著作楽曲管理サーバ装置について
　　　　１－７－３．サーバ装置について
　　　　１－７－４．楽曲制作者用アプリ部について
　　２．本実施形態に係る効果
　　３．その他の実施形態
　　　３－１．その他の構成例
　　　３－２．その他
　　４．ハードウェア構成
［１．実施形態］
［１－１．実施形態に係る情報処理の一例］
　まず、図１を用いて、本開示に係る情報処理の一例を説明する。図１は、実施形態に係る情報処理の流れを示す概念図である。実施形態に係る情報処理は、著作物管理装置１００、情報処理装置２００及び利用者端末３００によって実行される。
　本実施形態では、情報処理装置２００が著作物としてのコンテンツ（情報）の創作に関するサービス（単に「サービス」ともいう）を提供する情報処理装置である場合を一例として示す。なお、以下では、楽曲（音楽コンテンツ）をコンテンツの一例として示すが、コンテンツは、楽曲に限らず、映画などの映像コンテンツや書籍（小説等）等の文字コンテンツ等、種々のコンテンツであってもよい。また、ここでいう楽曲は、完成された１つの曲（全体）に限らず、１つの曲（楽曲）を構成する一部の音源や、サンプリングに利用される短い音などの種々の音楽情報が含まれる概念である。
　情報処理装置２００は、著作楽曲情報を管理する著作物管理装置１００との間で、プライベートネットワークＮ２（図９参照）を用いて相互に通信を行う。プライベートネットワークＮ２は、例えば、セキュリティーの確保されたＶＰＮ（Virtual　Private　Network）やＩＤアドレス認証付きのインターネット通信である。情報処理装置２００は、情報処理装置２００が提供するサービスを利用する利用者の利用者端末３００との間で、インターネット等のネットワークＮ１（図９参照）を用いて相互に通信を行う。なお、利用者端末３００の台数は、図１に図示したものに限られない。
　著作物管理装置１００は、著作楽曲情報の登録及び管理を行うサーバ装置である。著作物管理装置１００は、定期的に著作楽曲情報の登録を実施する。著作物管理装置１００は、登録した著作楽曲情報から複数の種別の特徴量を抽出し、プライベートネットワークＮ２を介して、抽出した特徴量を情報処理装置２００に送信する。
　利用者端末３００は、ＰＣ（personal　computer）やタブレット端末等の情報処理端末である。利用者端末３００には、各種のプログラムアプリケーションがインストールされる。利用者端末３００には、楽曲の創作に関するアプリケーションがインストールされる。例えば、利用者端末３００は、総合的な音楽制作環境を実現するＤＡＷ等のアプリに、プラグイン（拡張アプリ）により追加された、ＡＩによる自動作曲機能を有する。例えば、プラグインは、ＶＳＴ（Steinberg's　Virtual　Studio　Technology）（登録商標）、ＡｕｄｉｏＵｎｉｔｓ、ＡＡＸ（Avid　Audio　eXtension）等の形態をとることができる。また、利用者端末３００は、ＤＡＷに限らず、例えば、ｉＯＳなどのモバイルアプリを用いてもよい。
　利用者端末３００は、ＤＡＷ及びＡＩによる自動作曲機能を起動実行し、情報処理装置２００との間で通信を行うことによって、情報処理装置２００において作曲された楽曲情報の提供を受ける。
　利用者端末３００の利用者は、システム全体の運用及び管理を行う管理者、楽曲の創作を行う作曲家、アレンジャー、スタジオエンジニア等の制作者、自動作曲機能を介して楽曲情報の提供を受ける一般利用者のいずれかである。本実施形態では、制作者Ｕｃによって利用者端末３００が使用されているものとして説明する。
　情報処理装置２００は、利用者端末３００のＡＩによる自動作曲機能に関する情報処理を実行するサーバ装置である。例えば、情報処理装置２００は、いわゆるクラウドサーバであり、利用者端末３００による指示情報にしたがって、ＡＩによる自動作曲を実行し、利用者端末３００に、生成した楽曲情報を提供する。
　情報処理装置２００は、機械学習を行うことで、楽曲生成のための作曲モデルを生成する。例えば、情報処理装置２００は、マルコフモデル等を用いて自動作曲された楽曲情報を利用者端末３００に提供する。
　情報処理装置２００は、作曲モデルの学習データとして、スタイル情報（楽曲特徴情報）を用いる。スタイル情報は、楽曲情報から、複数の種別の特徴量として抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報であり、機械学習を用いた作曲処理において使用される。情報処理装置２００は、著作楽曲情報、或いは、制作者によって創作された楽曲情報から複数の種別の特徴量を求め、楽曲情報毎に、各特徴量をまとめてスタイル情報ＩＤ（所定の識別情報）を付与することで、複数のスタイル情報を生成し、データベース化する。
　図２は、実施形態に係るスタイル情報のデータ構成の一例を示す図である。スタイル情報は、スタイル情報の識別情報であるスタイル情報ＩＤ７１０、スタイルパレットシーケンス情報７２０（楽曲順序情報）、スタイルパレット情報７３０（楽曲形式情報）、スコア情報７４０及び歌詞情報７５０を有する。
　スコア情報７４０は、楽曲から抽出された複数の種別の特徴量を含む。スコア情報７４０は、スコアＩＤ、メロディ情報、コード進行情報、ベース情報及びドラム情報を有する。スコアＩＤは、スコア情報の識別情報である。メロディ情報は、規定された長さの小節におけるメロディである。コード進行情報は、規定された長さの小節におけるコード進行を示す情報である。ベース情報は、規定された長さの小節におけるベース音の進行を示す情報である。ドラム情報は、規定された長さの小節におけるドラム音の進行（ドラムのパターンやテンポ）を示す情報である。
　歌詞情報７５０は、歌詞ＩＤ及び歌詞情報を含む。歌詞ＩＤは、歌詞情報の識別情報である。歌詞情報は、規定された長さの小節における、歌詞を示す情報である。歌詞情報は、例えば、歌詞の元となるフレーズや文字キーワードである。情報処理装置２００は、スタイル情報７００の複数の歌詞情報７５０を用いることで、自動作詞も可能である。
　スタイルパレット情報７３０は、スタイルパレット情報の識別情報であるスタイルパレットＩＤに、同じ小節に対するスコア情報７４０のスコアＩＤと歌詞情報７５０の歌詞ＩＤとを対応付けて登録した情報である。
　スタイルパレットシーケンス情報７２０は、スタイルパレット情報７３０の順序を示す情報である。スタイルパレットシーケンス情報７２０は、スタイルパレット情報７３０を一意に示すスタイルパレットＩＤと、ｂａｒ　ｉｎｄｅｘとを１組とし、この組を複数有することにより、スタイルパレット情報７３０の楽曲中における順序を管理する情報となる。例えば、図２に示す例の場合、楽曲の１～４小節はスタイルパレットＩＤ７３１ａが対応し、５～８小節はスタイルパレットＩＤ７３１ｂが対応し、ｘ～ｙ小節はスタイルパレットＩＤ７３１ｚが対応する、と定義される。
　情報処理装置２００は、このスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行う。したがって、情報処理装置２００は、楽曲情報そのものを学習するのではなく、楽曲情報から抽出されたコード進行、メロディ、ベース進行等の複数の種別の特徴量で構成されたスタイル情報を学習する。すなわち、情報処理装置２００は、楽曲情報から予め抽出された複数の特徴量を学習するため、楽曲情報そのものを学習する倍と比して情報処理の負荷が小さく、ユーザへの楽曲情報も効率的に提供できる。
　具体的に、制作者による楽曲創作の過程について説明する。図３～図７は、実施形態に係る利用者端末３００の表示画面の一例を示す図である。制作者が、利用者端末３００において、自動作曲機能を起動させると、図３に示すウインドウ３７０が利用者端末３００に表示される。
　なお、ウインドウ３７０は、作曲パラメータ設定部３７１、スタイル情報表示部３７２、作曲制御部３７３及び制作楽曲表示編集部３７４を有する。作曲パラメータ設定部３７１は、音符長さや複雑度などのパラメータが設定できる領域である。スタイル情報表示部３７２は、キーワード入力やプルダウン選択によって、作曲に使用するスタイル情報を選択できる領域である。作曲制御部３７３は、作曲実行指示ボタンの選択によって作曲指示が可能である領域である。制作楽曲表示編集部３７４は、メロディや歌詞が表示される複数のピアノロールが表示される領域である。
　そして、図４に示すように、スタイルパレット選択プルダウン３７２ａが選択されると、情報処理装置２００が有する各スタイル情報のコード進行が候補として一覧表示される。
　コード進行の候補は、アルファベット順、制作者の利用回数が多い順、全利用者による利用回数が多い順、スタイル情報の生成順等、いずれの順序で表示されてもよい。コード進行は、情報処理装置２００が有するスタイル情報の全てが表示されてもよく、一部のみが表示されてもよい。コード進行の候補が多い場合には、ページャーにて表示領域を選択可能とする。また、制作者が検索キーワード入力欄３７２ｂに所望のコード進行を入力した場合、情報処理装置２００は、このコード進行を含むスタイル情報を抽出し、抽出した各スタイル情報のコード進行情報をスタイルパレット選択プルダウン３７２ａに一覧表示してもよい。
　制作者は、スタイルパレット選択プルダウン３７２ａに提示されたコード進行から所望のコード進行を選択し、作曲実行指示ボタンを選択する。これによって、情報処理装置２００では、選択されたコード進行を有するスタイル情報を抽出し、抽出したスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行う。そして、情報処理装置２００は、利用者端末３００に楽曲情報を提供する。この結果、制作者は、スタイルパレット選択プルダウン３７２ａに提示されたコード進行から所望のコード進行を選択するだけで、このコード進行に合わせて生成された楽曲情報の提供を受けることができる。
　また、スタイル情報７００は、特徴量として歌詞情報を含むため、制作者は、所望の歌詞を入力するだけで、この歌詞に合ったスタイル情報の提示を受けることができる。具体的には、図５に示すように、制作者が検索キーワード入力欄３７２ｂに所望の歌詞を入力した場合、情報処理装置２００は、この歌詞或いはこの歌詞に類似する歌詞を有するスタイル情報を抽出し、抽出した各スタイル情報の歌詞情報をスタイルパレット選択プルダウン３７２ａに一覧表示してもよい。
　制作者は、スタイルパレット選択プルダウン３７２ａに提示された歌詞情報から所望の歌詞情報を選択し、作曲実行指示ボタンを選択する。これによって、情報処理装置２００は、選択された歌詞情報を有するスタイル情報を抽出し、抽出したスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行うことで、利用者端末３００に楽曲情報を提供する。
　この結果、制作者は、スタイルパレット選択プルダウン３７２ａに提示された歌詞から所望の歌詞を選択するだけで、この歌詞に合わせて生成された楽曲情報の提供を受けることができる。この際、情報処理装置２００は、生成した楽曲に合わせて歌詞も自動生成し、メロディと歌詞とを対応付けた楽曲情報を利用者端末３００に提供してもよい。この場合、利用者端末３００の画面には、図６のメロディ表示ピアノロール３７４ａに、メロディと、メロディに対応する歌詞とが表示される。
　また、制作者が歌詞を入力した場合、図７に示すように、利用者端末３００は、情報処理装置２００から提示されたスタイル情報のコード進行の候補を一覧表示して、制作者の楽曲創作を支援してもよい。
　このように、情報処理装置２００は、楽曲情報の複数の種別の特徴量を有するスタイル情報を、作曲モデルの学習用のデータセットとして生成し、作曲モデルに学習させる。これによって、情報処理装置２００は、楽曲の特徴に合わせて作曲された楽曲情報を制作者に提供する。以下、本実施形態に係る情報処理のうち、スタイル情報生成処理の流れを、図１を用いて説明する。
　図１に示すように、著作物管理装置１００は、新規に著作楽曲情報が登録されると（ステップＳ１１）、新規に登録された各著作楽曲情報から、複数の種別の特徴量を抽出する（ステップＳ１２）。この際、著作物管理装置１００は、例えば、１２音解析技術を用いて、特徴量の抽出を行う。そして、情報処理装置２００は、著作物管理装置１００から、複数の種別の特徴量を取得し（ステップＳ１３）、楽曲情報毎に、各特徴量をまとめ、スタイル情報ＩＤを付与することで、各楽曲情報に対応するスタイル情報を生成する（ステップＳ１４）。
　また、利用者端末３００の制作者Ｕｃによる操作によって、コード進行、メロディ、ベース進行等の特徴量の入力を経て、新規に楽曲が創作されると、情報処理装置２００は、各特徴量を含む楽曲情報を取得する（ステップＳ２１）。そして、情報処理装置２００は、取得した楽曲情報から、コード進行、メロディ、ベース進行等の特徴量を抽出する（ステップＳ２２）。そして、情報処理装置２００は、楽曲情報毎に、各特徴量をまとめ、スタイル情報ＩＤを付与することで、各楽曲情報に対応するスタイル情報を生成する（ステップＳ２３）。情報処理装置２００は、図１に示す処理を行うことによって、複数のスタイル情報７００を生成し、データベース化する。
　そして、本実施形態に係る情報処理では、スタイル情報の更新も可能である。図８は、実施形態に係る情報処理の流れを示す概念図である。図８に示すように、制作者Ｕｃによる楽曲創作中、制作者Ｕｃによってスタイル情報が選択されると（ステップＳ３１）、情報処理装置２００は、このスタイル情報を学習することで作曲処理を行い、利用者端末３００に楽曲情報を出力する（ステップＳ３２）。利用者Ｕｃは、提供された楽曲情報を基に、さらに演奏を行う。情報処理装置２００は、この演奏情報を受信すると（ステップＳ３３）、作曲に使用されたスタイル情報に演奏情報を追加し、このスタイル情報を更新する（ステップＳ３４）。
　このように、本実施形態に係る情報処理では、制作者Ｕｃの楽曲創作に応じて、使用されているスタイル情報を更新する。これによって、情報処理装置２００は、このスタイル情報を、制作者Ｕｃの楽曲創作のスタイルに近づかせ、制作者Ｕｃのスタイルに合う楽曲情報を作曲して提供することができる。
　以上、本実施形態に係る情報処理の全体の流れの概要を説明した。図９以降では、著作物管理装置１００、情報処理装置２００及び利用者端末３００を含む情報処理システム１の構成を説明するとともに、種々の処理の詳細を順に説明する。
［１－２．実施形態に係る情報処理システムの構成］
　図９は、実施形態に係る情報処理システム１の一例を示す図である。図６に示すように、情報処理システム１は、利用者端末３００－１～３００－３と、情報処理装置２００と、著作物管理装置１００とを有する。情報処理システム１は、著作物管理システムや学習モデル情報管理システムとして機能する。図９の例では、３台の利用者端末３００－１～３００－３を図示するが、特に区別なく説明する場合には、利用者端末３００と記載する。
　情報処理装置２００と、利用者端末３００とはネットワークＮ１を介して、有線または無線により通信可能に接続される。また、情報処理装置２００と、著作物管理装置１００とは、プライベートネットワークＮ２を介して、有線または無線により通信可能に接続される。
　著作物管理装置１００は、著作楽曲情報を管理する。著作物管理装置１００は、定期的に著作楽曲情報が登録される。著作物管理装置１００は、登録された著作楽曲情報から複数の種別の特徴量を抽出し、抽出した特徴量を情報処理装置２００に送信する。
　利用者端末３００は、制作者によって創作された楽曲情報を情報処理装置２００に送信するとともに、自動作曲機能起動時には、情報処理装置２００において作曲された楽曲情報の提供を受ける。
　情報処理装置２００は、著作楽曲情報、或いは、制作者によって創作された楽曲情報から、学習データであるスタイル情報を生成し、機械学習を行うことで、作曲モデルを生成する。情報処理装置２００は、生成モデルを用いて自動作曲された楽曲情報を利用者端末３００に提供する。
［１－３．実施形態に係る著作物管理装置の構成］
　次に、図１０を用いて、図９に示す著作物管理装置１００の構成について説明する。図１０は、実施形態に係る著作物管理装置１００の構成例を示す図である。図１０に示すように、著作物管理装置１００は、通信部１１０、記憶部１２０及び制御部１３０を有する。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、プライベートネットワークＮ２と有線又は無線で接続され、プライベートネットワークＮ２を介して、情報処理装置２００との間で情報の送受信を行う。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、情報処理に用いる各種データを記憶する。記憶部１２０は、著作楽曲情報記憶部１２１、楽曲記憶部１２２及び特徴情報記憶部１２３を有する。
　著作楽曲情報記憶部１２１は、過去に著作された著作物である著作楽曲に関する情報を記憶する。図１１は、実施形態に係る著作楽曲情報記憶部１２１の一例を示す図である。
　図１１に示すように、著作楽曲情報記憶部１２１には、著作楽曲ＩＤ、著作楽曲メタ情報及びＭＰ３ファイル名が記憶される。著作楽曲ＩＤは、例えば、ビートルズ、マイケルジャクソンなどの著作楽曲を一意に特定するための識別情報である。著作楽曲メタ情報は、例えば、著作楽曲のタイトル、アーティスト名、アルバム名、リリース日、ジャンル、ムード、歌詞、といった著作楽曲に関する付加情報である。ＭＰ３ファイル名は、著作楽曲のＭＰ３ファイルを特定するファイル名である。
　楽曲記憶部１２２には、著作楽曲の楽曲情報が記憶される。図１２は、実施形態に係る楽曲記憶部１２２の一例を示す図である。図１２に示すように、楽曲記憶部１２２には、各著作楽曲のＭＰ３ファイルが記憶される。このＭＰ３ファイルは、著作楽曲情報記憶部１２１に記憶されたＭＰ３ファイル名によって特定可能である。
　特徴情報記憶部１２３は、著作楽曲の複数の種別の特徴量を記憶する。図１３は、実施形態に係る特徴情報記憶部１２３の一例を示す図である。図１３に示すように、特徴情報記憶部１２３には、著作楽曲ＩＤに著作楽曲特徴量が対応付けられて記憶される。著作楽曲特徴情報は、著作楽曲全体に対する特徴を示す全体情報、及び、時系列に変化する特徴を示す時系列情報を有する。
　図１４は、実施形態に係る全体情報の一例を示す図である。図１４に示すように、全体情報は、例えば、テンポ情報、拍子情報、ジャンルやムードといった楽曲種別情報を有する。楽曲種別情報は、例えば、１２音解析技術の、おまかせチャンネルなどの情報である。
　図１５は、実施形態に係る著作楽曲特徴情報を構成する時系列情報の一例を示す図である。図１５に示すように、時系列情報は、例えば、ビート情報、コード進行情報、楽曲構造情報、及び、メロディ情報を有する。ビート情報は、例えば、メトロノームの様な、各ビートの時間位置情報と各小節の時間位置情報を有する。コード進行情報は、楽曲の流れにしたがった伴奏コードの時系列的な進行の情報、例えば「Ｃ－Ｆ－Ａｍ－Ｇ７」などのコードの進行を示す情報である。楽曲構造情報は、楽曲全体の構造である、例えば、「Ａメロ－Ｂメロ－サビ－Ａメロ－サビ」などの情報である。メロディ情報は、例えば、楽曲のオーディオ情報から類推されたメロディーラインの情報を有する。
　図１０に戻って説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、利用者端末３００内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　制御部１３０は、管理部１３１、抽出部１３２及び送信部１３３を有し、以下に説明する情報処理の機能や作用を実現または実行する。
　管理部１３１は、著作物管理装置１００に関する各種情報を管理する。例えば、管理部１３１は、各種情報を記憶部１２０内に格納し、また、格納した情報を適宜更新する。具体的には、管理部１３１は、新規の著作楽曲を、著作楽曲情報記憶部１２１に格納し、新規の著作楽曲に関する情報を更新する。
　抽出部１３２は、著作楽曲情報から、複数の種別の特徴量を抽出する。抽出部１３２は、定期的に登録される著作楽曲情報を、予め設定されたタイミングで取得し、取得した著作楽曲情報から、コード進行情報、ビート情報、メロディ情報、及び、ドラム情報を特徴量として抽出する。抽出部１３２は、新規に登録されたそれぞれの著作楽曲に対して、各著作楽曲のＭＰ３ファイルの楽曲特徴量を抽出し、特徴情報を得る。抽出部１３２は、例えば１２音解析技術を用いて、楽曲情報から各種特徴量を抽出し、特徴情報記憶部１２３に、著作楽曲特徴情報として登録する。
　抽出部１３２は、システム管理者が使用する管理者用端末（不図示）から、情報処理装置２００を介して、著作楽曲抽出指示を受けることによって、著作楽曲情報に対する特徴量抽出処理を行う。或いは、抽出部１３２は、情報処理装置２００から、著作楽曲抽出指示を受けることによって、著作楽曲情報に対する特徴量抽出処理を行う。
　送信部１３３は、抽出部１３２によって抽出された複数の種別の著作楽曲情報の特徴量を、例えば、楽曲構造情報、著作楽曲メタ情報等の著作楽曲情報に関する情報とともに、情報処理装置２００に送信する。
［１－４．実施形態に係る情報処理装置の構成］
　次に、図１６を用いて、図９に示す情報処理装置２００の構成について説明する。図１６は、実施形態に係る情報処理装置２００の構成例を示す図である。図１６に示すように、情報処理装置２００は、通信部２１０、記憶部２２０及び制御部２３０を有する。なお、情報処理装置２００は、情報処理装置２００を管理する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
　通信部２１０は、例えば、ＮＩＣ等によって実現される。通信部２１０は、ネットワークＮ１及びプライベートネットワークＮ２と有線又は無線で接続され、ネットワークＮまたはプライベートネットワークＮ２を介して、利用者端末３００や著作管理装置１００等との間で情報の送受信を行う。
　記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２０は、情報処理に用いる各種データを記憶する。
　図１６に示すように、記憶部２２０は、利用者情報記憶部２２１、スタイル情報記憶部２２２、所有情報記憶部２２３、制作情報記憶部２２４及び操作履歴情報記憶部２２５を有する。
　利用者情報記憶部２２１は、利用者に関する各種情報（利用者情報）を記憶する。図１７は、実施形態に係る利用者情報記憶部２２１の一例を示す図である。
　利用者情報記憶部２２１には、利用者ＩＤ、利用者メタ情報、権限情報を含む利用者情報が記憶される。利用者情報記憶部２２１は、各利用者ＩＤに対応する利用者メタ情報や権限情報を各利用者ＩＤに対応付けて記憶する。
　利用者ＩＤは、利用者を一意に特定するための識別情報を示す。例えば、利用者ＩＤは、制作者、一般利用者、システム管理者等の利用者を一意に特定するための識別情報を示す。利用者メタ情報は、例えば、利用者の氏名や住所など、利用者の付加情報である。権限情報は、例えば、システム管理者権限情報、制作者権限情報、一般利用者権限情報といった権限を識別するための値が保存される。なお、利用者情報記憶部２２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。利用者メタ情報には、利用者に関する各種情報を記憶してもよい。例えば、利用者メタ情報には、利用者が自然人である場合、利用者の性別や年齢などのデモグラフィック属性情報やサイコグラフィック属性情報等を記憶してもよい。
　スタイル情報記憶部２２２は、作曲モデルに関する情報を記憶する。図１８は、実施形態に係るスタイル情報記憶部２２２の一例を示す図である。
　スタイル情報記憶部２２２には、モデル情報ＩＤ、作成者ＩＤ、モデル情報メタ情報、スタイル情報７００、著作物ＩＤ、共有可否情報を含む学習モデル情報が記憶される。スタイル情報記憶部２２２は、各モデル情報ＩＤに対応する作成者ＩＤやモデル情報メタ情報やスタイル情報や著作物ＩＤや共有可否情報を各モデル情報ＩＤに対応付けて記憶する。
　モデル情報ＩＤは、作曲モデル情報を一意に特定するための識別情報を示す。作成者ＩＤは、対応する作曲モデル情報の作成者を一意に特定するための識別情報を示す。例えば、作成者ＩＤは、システム管理者、制作者、一般利用者等の利用者を一意に特定するための識別情報を示す。
　モデル情報メタ情報は、例えば、学習対象となる著作物の特徴を表す情報である。学習モデル情報メタ情報は、楽曲のテンポ、ジャンル、明暗などの雰囲気、ＡメロＢメロサビなどの曲の構造、コード進行、スケール、チャーチモードなどの情報である。
　スタイル情報７００は、情報処理装置２００が有する生成部２３３（後述）により生成された作曲モデルの学習データである。図２において説明したように、スタイル情報は、楽曲情報から抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報である。
　共有可否情報は、例えば、対応する学習モデルの共有可否を示す。共有可否情報は、例えば、対応する学習モデルの共有が可能であるか否かを特定識別するための値が保存される。
　なお、スタイル情報記憶部２２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、作曲モデル情報メタ情報には、作曲モデルが作成された日時に関する情報等、作曲モデルに関する種々の付加情報を記憶してもよい。
　所有情報記憶部２２３は、楽曲を創作する制作者が楽曲創作時に選択したスタイル情報に関する各種情報を記憶する。図１９は、実施形態に係る所有情報記憶部２２３の一例を示す図である。所有情報記憶部２２３には、楽曲を創作する制作者の利用者ＩＤと、この制作者が選択したスタイル情報ＩＤとが対応付けて記憶される。
　制作情報記憶部２２４は、制作された楽曲に関する各種情報を記憶する。図２０は、実施形態に係る制作情報記憶部２２４の一例を示す図である。図２０に示すように、制作情報記憶部２２４は、楽曲を創作した制作者の利用者ＩＤと、制作者によって創作されたスコアＩＤとが対応付けて記憶される。
　操作履歴情報記憶部２２５は、利用者端末３００に対する制作者による操作履歴情報を記憶する。操作履歴情報記憶部２２５は、各利用者ＩＤに対応する操作履歴を各利用者ＩＤに対応付けて記憶する。操作履歴情報は、制作者の操作履歴を示す。例えば、操作履歴情報には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。例えば、操作として、情報処理装置２００から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置２００から受信した楽曲情報の再生や編集などがある。
　図１６に戻り、説明を続ける。制御部２３０は、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置２００内部に記憶されたプログラム（例えば、本実施形態に係る情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
　制御部２３０は、取得部２３１、抽出部２３２、生成部２３３、受付部２３４、選択部２３５、送信部２３６、作曲部２３７及び更新部２３８を有し、以下に説明する情報処理の機能や作用を実現または実行する。
　取得部２３１は、楽曲情報を取得する。取得部２３１は、ネットワークＮ１を介して利用者端末３００と通信を行うことによって、制作者によって創作された楽曲情報を取得する。この楽曲情報は、利用者端末３００にインストールされた楽曲の創作に関するアプリケーション、すなわち、自動作曲機能を用いて制作者が創作したものであり、コード進行、メロディ、ベース進行、ドラム音進行など、楽曲に関する特徴量を含む。また、取得部２３１は、プライベートネットワークＮ２を介して著作物管理装置１００と通信を行うことによって、著作物管理装置１００の抽出部１３２によって抽出された複数の種別の著作楽曲情報の特徴量を、著作楽曲情報に関する情報とともに受信する。すなわち、取得部２３１は、新規登録された著作楽曲それぞれに対する著作楽曲特徴情報を、プライベートネットワークＮ２を経由して、著作物管理装置１００から受信する。
　抽出部２３２は、楽曲情報から、複数の種別の特徴量を抽出する。抽出部１３２は、制作者によって創作された楽曲情報から、コード進行情報、ビート情報、メロディ情報、及び、ドラム情報を特徴量として抽出する。抽出部２３２は、例えば１２音解析技術を用いて、楽曲情報から各種特徴量を抽出する。
　生成部２３３は、抽出部２３２によって抽出された複数の種別の特徴量とスタイル情報ＩＤとを対応付けたスタイル情報を、作曲処理における学習データとして生成する。生成部２３３は、制作者が創作した楽曲情報に関しては、スタイル情報７００のスタイル情報ＩＤと、制作者の利用者ＩＤとを対応付けて、制作情報記憶部２２４に登録する。生成部２３３は、著作物管理装置１００において登録された楽曲情報に関しては、スタイル情報７００のスタイルＩＤに、著作楽曲ＩＤを対応付けてもよい。
　受付部２３４は、利用者端末３００から送信される送信される各種情報を受け付ける。例えば、受付部２３４は、利用者端末３００において自動作曲機能を利用する制作者の情報や、制作者から選択されたスタイル情報に関する情報を受け付ける。また、受付部２３４は、スタイル情報７００に紐付ける楽曲の登録や、スタイル情報の編集等を受け付けることも可能である。
　選択部２３５は、利用者端末３００において自動作曲機能が起動されると、全てまたは一部のスタイル情報を選択する。
　送信部２３６は、選択部２３５が選択したスタイル情報の提示情報を利用者端末３００に送信する。これによって、利用者端末３００のスタイルパレット選択プルダウン３７２ａには、各スタイル情報のコード進行或いは歌詞情報が候補として一覧表示される。そして、利用者端末３００から、提示したスタイル情報のいずれかの選択を指示する指示情報を受け付けると、選択部２３５は、スタイル情報記憶部２２２から、選択されたスタイル情報を選択する。
　作曲部２３７は、選択部２３５によって選択されたスタイル情報を基に、機械学習を用いて楽曲情報を作曲し、作曲した楽曲情報を利用者端末３００に送信する。作曲部２３７は、種々の既存の楽曲生成アルゴリズムを利用して作曲を行ってもよい。例えば、作曲部２３７は、マルコフ連鎖を用いた楽曲生成アルゴリズムを利用してもよいし、深層学習を用いた楽曲生成アルゴリズムを利用してもよい。また、作曲部２３７は、利用者端末３００から送信された指示情報に対して、複数の楽曲情報を生成してもよい。これにより、制作者は、複数の提案を作曲部２３７から受けることができるため、より多様な情報を利用して作曲作業を進めることができる。
　更新部２３８は、作曲部２３７によって作曲された楽曲情報に基づく演奏情報を利用者端末３００から受信した場合、選択されたスタイル情報にこの演奏情報を追加し、選択されたスタイル情報を更新する。
［１－５．実施形態に係る利用者端末の構成］
　次に、図２１を用いて、図９に示す利用者端末３００の構成について説明する。図２１は、実施形態に係る利用者端末３００の構成例を示す図である。図２１に示すように、利用者端末３００は、通信部３１０、入力部３２０、出力部３３０、記憶部３４０、制御部３５０及び表示部３６０を有する。
　通信部３１０は、例えば、ＮＩＣや通信回路等によって実現される。通信部３１０は、ネットワークＮ１と有線又は無線で接続され、ネットワークＮ１を介して、情報処理装置２００や他の端末装置等の他の装置等との間で情報の送受信を行う。
　入力部３２０は、利用者から各種操作が入力される。入力部３２０は、利用者端末３０００に接続されたキーボードやマウスを有する。入力部３２０は、利用者による入力を受け付ける。入力部３２０は、キーボードやマウスによる利用者の入力を受け付ける。入力部３２０は、音声を検知する機能を有してもよい。この場合、入力部３２０は、音声を検知するマイクが含まれてもよい。
　入力部３２０は、表示部３６０を介して各種情報が入力されてもよい。この場合、入力部３２０は、キーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部１２は、各種センサにより実現されるタッチパネルの機能により、表示画面を介して利用者から各種操作を受け付ける。なお、入力部３２０による利用者の操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、利用者の操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、利用者端末３００は、ボタン等による操作も受け付ける入力部を有してもよい。
　出力部３３０は、各種情報を出力する。出力部３３０は、音声を出力するスピーカーを有する。
　記憶部３４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部３４０は、情報の表示に用いる各種情報を記憶する。
　制御部３５０は、例えば、ＣＰＵやＭＰＵ等によって、利用者端末３００内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部３５０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部３５０は、表示制御部３５１、登録部３５２、送受信部３５３、選択部３５４、再生部３５５及び演奏受付部３５６を有する。
　表示制御部３５１は、表示部３６０に対する各種表示を制御する。表示制御部３５１は、表示部３６０の表示を制御する。表示制御部３５１は、情報処理装置２００から受信した情報に基づいて、表示部３６０の表示を制御する。表示制御部３５１は、制御部３５０の各構成要素による処理により生成された情報に基づいて、表示部３６０の表示を制御する。表示制御部３５１は、画像を表示するアプリケーションにより表示部３６０の表示を制御してもよい。
　表示制御部３５１は、ＤＡＷ及びＡＩによる自動作曲機能のアプリケーションにより、ウインドウ３７０（図３～図７参照）等を表示部３６０に表示させる。また、表示制御部３５１は、情報処理装置２００からスタイル情報の提示情報を受信すると、提示されたスタイル情報のコード進行や歌詞を、ウインドウ３７０のスタイルパレット選択プルダウン３７２ａ（図４参照）に表示させる。また、表示制御部３５１は、情報処理装置２００が生成した楽曲情報や歌詞情報を受信すると、ウインドウ３７０のメロディ表示ピアノロール３７４ａ（図７参照）に、メロディと、メロディに対応する歌詞とを表示させる。
　登録部３５２は、各種情報の登録を受け付ける。例えば、登録部３５２は、ＤＡＷ起動時等に、利用者によって設定されたドラムパターン、コード進行及びメロディの登録を受け付ける。例えば、ドラムパターン、コード進行及びメロディは、画像ＩＭ１１、ＩＭ２１、ＩＭ３１、ＩＭ４１（図２６及び図２７）を表示するアプリを介して、登録される。
　送受信部３５３は、情報処理装置２００との間において通信を行い、各種情報の送信及び受信を行う。送受信部３５３は、登録部３５２によって受け付けられたドラムパターン、コード進行及びメロディを含む楽曲情報を情報処理装置２００に送信する。また、自動作曲機能起動時には、送受信部３５３は、情報処理装置２００から送信された、スタイル情報の提示情報を受信する。送受信部３５３は、スタイル情報の選択を指示する指示情報を、情報処理装置２００に送信する。そして、送受信部３５３は、情報処理装置２００が生成した楽曲情報や歌詞情報を受信する。また、送受信部３５３は、利用者端末３００が受け付けた演奏に関する演奏情報を情報処理装置２００に送信する。
　選択部３５４は、情報処理装置２００から提示されたスタイル情報のいずれかを選択する。例えば、ウインドウ３７０のスタイルパレット選択プルダウン３７２ａ（図４参照）に表示されたコード進行のうち、利用者による入力部３２０の操作によっていずれかのコード進行が選択される。これによって、選択部３５４は、この選択されたコード進行に対応するスタイル情報の選択する指示情報を、送受信部３５３から情報処理装置２００に送信する。
　再生部３５５は、情報処理装置２００が生成した楽曲情報を再生する。具体的には、再生部２５５は、楽曲データに含まれるメロディやコード、ベース音の各々に任意の楽器情報を設定し、各々のデータを再生する。なお、再生部２５５は、メロディやコード、ベース音の各々を組み合わせて再生してもよい。
　演奏受付部３５６は、制作者が、自動作曲機能を利用した作曲とともに演奏を行う場合に、制作者による演奏を受け付ける。例えば、演奏受付部３５６は、自動作曲機能によって、情報処理装置２００が生成した楽曲情報の再生に合わせて演奏される演奏情報を受け付ける。
　表示部３６０は、各種情報を表示する。表示部３６０は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。表示部３６０は、表示制御部３５１による制御に応じて、各種情報を表示する。表示部３６０は、情報処理装置２００から提供される画像等の情報を表示することも可能である。
［１－６．実施形態に係る情報処理の手順］
［１－６－１．著作楽曲情報のスタイル情報の生成処理］
　次に、図２２を用いて、実施形態に係る各種情報処理の手順について説明する。まず、本実施形態に係る情報処理の一つとして、著作楽曲情報に関するスタイル情報の自動生成処理について説明する。図２２は、実施形態に係る情報処理の手順を示すシーケンス図である。
　図２２に示すように、著作物管理装置１００は、新規に著作楽曲情報が登録されると（ステップＳ１０１）、新規に登録された各著作楽曲情報から、複数の種別の特徴量を抽出する（ステップＳ１０２）。この際、著作物管理装置１００は、例えば、１２音解析技術を用いて、特徴量の抽出を行う。そして、著作物管理装置１００は、プライベートネットワークＮ２を介して、著作楽曲情報から抽出した複数の種別の特徴量と、著作楽曲情報に関する情報とを含む著作楽曲特徴情報を情報処理装置２００に送信する（ステップＳ１０３）。
　情報処理装置２００は、受信した著作楽曲特徴情報を基に、スタイル情報７００を自動作成する（ステップＳ１０４）。情報処理装置２００は、スコア情報７４０を、例えば、著作楽曲特徴情報のビート情報、コード進行情報、メロディ情報から生成することができる。情報処理装置２００は、歌詞情報７５０を、例えば、著作楽曲メタ情報の歌詞情報から生成することができる。
　情報処理装置２００は、例えば、これら複数のスコア情報７４０及び歌詞情報７５０より、コード情報のコード進行が類似しているものを束ねて、スタイルパレット情報７３０を生成することができる。類似するコード進行は、例えば、コード進行が全く同一のものである。或いは、類似するコード進行は、各コードをＴｏｎｉｃ（Ｔ）、Ｓｕｂ－ｄｏｍｉｎａｔ（Ｓ）、Ｄｏｍｉｎａｔ（Ｄ）に分類して、Ｔ，Ｓ，Ｄの並びが同一のものでもよい。なお、ハ長調イ短調の場合は、Ｔは、Ｃ／Ｅｍ／Ａｍであり、Ｓは、Ｆ，Ｄｍであり、Ｄは、Ｇ，Ｄｍ７－５である。そして、コード進行Ｃ－Ｄ－Ｇ－ＣとＥｍ－Ｄｍ－Ｂｍ７－５－Ａｍは、いずれもＴ－Ｓ－Ｄ－Ｔであるため、同一のコード進行と考えることができる。また、類似するコード進行は、音楽理論を用いるのではく、例えば、機械学習や深層学習により類似するコード進行を基準に分類することも可能である。
　また、情報処理装置２００は、自動生成したスタイルパレット情報７３０を、単独でスタイルパレットシーケンス情報７２０に登録してもよい。情報処理装置２００は、複数のスタイルパレット情報７３０を並べたスタイルパレットシーケンス情報７２０を生成して、登録してもよい。情報処理装置２００は、複数のスタイルパレット情報７３０を並べる場合、楽曲構造情報を参考に、並べることができる。
　続いて、情報処理装置２００は、生成したスタイル情報を、著作楽曲情報の識別情報と対応させて登録し（ステップＳ１０５）、スタイル情報記憶部２２２に格納する。
［１－６－２．制作者が創作した楽曲情報のスタイル情報の生成処理］
　スタイル情報は、制作者が創作した楽曲情報に対しても生成が可能である。そこで、図２３を用いて、制作者が創作した楽曲情報に関するスタイル情報の生成処理について説明する。図２３は、実施形態に係る情報処理の手順を示すシーケンス図である。
　図２３に示すように、制作者は利用者端末３００を操作して、ＤＡＷ等の作曲機能を起動し（ステップＳ１１１）、スタイル情報の作成を選択すると（ステップＳ１１２）、利用者端末３００から作曲開始を示す作曲開始情報が送信される（ステップＳ１１３）。そして、情報処理装置２００は、作曲開始情報を受け付けると、作曲のために必要な情報を送信する（ステップＳ１１４）。
　続いて、ＵＩ指示にしたがった制作者による操作により、利用者端末３００は、ドラムパターン(例えば、テンポ、小節数、Ｈｉｇｈｔ　Ｈａｔ、Ｂａｓｓ　Ｄｒｕｍｕｓ、Ｓｎａｒｅを鳴らすｂｅａｔ位置)を登録する（ステップＳ１１５）。ステップＳ１１５が終了すると、制作者による操作により、利用者端末３００は、コード進行を登録する（ステップＳ１１６）。
　ステップＳ１１６終了後、作曲機能アプリは、ドラムとコード進行とを自動演奏するので、それに合わせて、制作者は、利用者端末３００にメロディを複数回入力する。この入力操作によって、利用者端末３００は、入力されたメロディを登録する（ステップＳ１１７）。利用者は、作曲機能を用いて、歌詞情報を追加で入力してもよい。利用者によるメロディの入力が終わるまで、利用者端末３００は、メロディ登録を継続する。利用者端末３００は、利用者によるメロディの登録が終了すると（ステップＳ１１８）、制作者による楽曲情報を情報処理装置２００に送信する（ステップＳ１１９）。楽曲情報には、ドラムパターン、コード進行、メロディ等の特徴量が含まれる。
　情報処理装置２００は、楽曲情報に含まれる各特徴量を抽出してスコア情報や歌詞情報を生成し、スコア情報や歌詞情報からスタイルパレット情報を生成する（ステップＳ１２０）。
　そして、情報処理装置２００は、楽曲情報における各スタイルパレットシーケンス情報を求め、スタイル情報ＩＤと、スコア情報、歌詞情報、スタイルパレット情報、スタイルパレットシーケンス情報とを対応付けてスタイル情報７００を生成する（ステップＳ１２１）。
　情報処理装置２００は、スタイル情報７００をスタイル情報記憶部２２２に登録する（ステップＳ１２２）。これとともに、情報処理装置２００は、このスタイル情報ＩＤと、制作者の利用者ＩＤとを対応付けたデータを所有情報記憶部２２３に登録する。そして、情報処理装置２００は、スコアＩＤと、制作者の利用者ＩＤとを対応付けたデータを制作情報記憶部２２４に登録して、スタイル情報生成処理を終了する。なお、スタイルパレットシーケンス情報は、制作者が作曲機能を用いて複数のスタイルパレット情報を並べることによって生成されてもよい。
　図２２及び図２３の処理が実行されることによって、情報処理装置２００には、複数のスタイル情報７００が蓄積される。制作者等の利用者は、これらのスタイル情報の中から好みのものを選択して、自動作曲を利用することができる。
［１－６－３．スタイル情報の更新処理］
　スタイル情報は、制作者によって更新も可能である。そこで、図２４を用いて、制作者が創作した楽曲情報に関するスタイル情報の生成処理について説明する。図２４は、実施形態に係る情報処理の手順を示すシーケンス図である。
　情報処理装置２００は、制作者による利用者端末３００での自動作曲機能の起動に伴い（ステップＳ１３１）、作曲開始情報を受信すると（ステップＳ１３２）、スタイル情報を選択し（ステップＳ１３３）、スタイル情報の提示情報を利用者端末３００に送信する（ステップＳ１３４）。情報処理装置２００は、例えば、スタイル情報記憶部２２２から、全てのスタイル情報、制作者の利用回数が所定回数を超えるスタイル情報、或いは、全利用者による利用回数が所定回数を超えるスタイル情報を選択し、選択したスタイル情報の提示情報を送信する。
　そして、利用者端末３００は、提示情報を基に、スタイル情報を一覧表示する（ステップＳ１３５）。利用者端末３００は、例えば、スタイル情報のコード進行を候補として一覧表示する。そして、利用者端末３００では、制作者によってスタイル情報が選択されると（ステップＳ１３６）、選択されたスタイル情報を示す選択情報を、情報処理装置２００に送信する（ステップＳ１３７）。
　情報処理装置２００は、選択されたスタイル情報を抽出し、抽出したスタイル情報を学習データとして用いた機械学習を行って作曲処理を行い（ステップＳ１３８）、利用者端末３００に楽曲情報を提供する（ステップＳ１３９）。なお、情報処理装置２００は、作曲した楽曲情報を、抽出部２３２で特徴量を抽出してこれらの特徴量を含む新たなスコア情報を記憶部２２０に格納するとともに、所有情報記憶部２２３に登録する。
　利用者端末３００は、提供を受けた楽曲を再生すると（ステップＳ１４０）、演奏処理を受け付ける（ステップＳ１４１）。制作者が、例えば、ＭＩＤＩ　ｋｅｙｂｏａｒｄにより演奏する場合、演奏情報はＭＩＤＩ情報となる。情報処理装置２００は、この演奏情報の送信を受けると（ステップＳ１４２）、演奏情報から特徴量を抽出する（ステップＳ１４３）。
　情報処理装置２００は、制作者が選択したスタイル情報に、演奏情報から抽出された特徴量をスコア情報として追加することによってスタイル情報を更新する（ステップＳ１４４）。このように、制作者が選択したスタイル情報に、制作者による実際の演奏が追加されるため、このスタイル情報を用いて自動作曲される楽曲情報は制作者のスタイルに近づく。つまり、スタイル情報を、楽曲を演奏した制作者のスタイルに近づかせることができる。制作者に演奏を終了するまで、ステップＳ１４０～ステップＳ１４２の処理は繰り返される。そして、楽曲が完成されるまで繰り返されたステップＳ１４０～ステップＳ１４２の繰り返し過程において生成されたスコア情報は、記憶部２２０に保存される。
　このように、情報処理システム１では、制作者が選択したスタイル情報に、制作者による実際の演奏が追加されるため、このスタイル情報を用いて自動作曲される楽曲情報は制作者のスタイルに近づく。つまり、情報処理システム１では、スタイル情報を、楽曲を演奏した制作者のスタイルに近づかせることができる。
　そして、制作者による演奏が終了すると（ステップＳ１４５：Ｙｅｓ）、制作者は、利用者端末３００を操作し、例えば、アレンジ処理（ステップＳ１４６）、ミックスやマスタリング処理を行ってもよい（ステップＳ１４７）。
［１－７．情報処理システムの構成の概念図］
　ここで、図２５を用いて、情報処理システムにおける各機能やハードウェア構成やデータを概念的に示す。図２５は、情報処理システムの構成の概念図の一例を示す図である。具体的には、図２５は、情報処理システム１の適用の一例であるシステムの機能概要を示す模式図である。
［１－７－１．全体構成について］
　図２５に示す著作楽曲管理サーバ装置は、情報処理システム１における著作物管理装置１００に対応する。図２５に示すサーバ装置は、情報処理システム１における情報処理装置２００に対応する。また、図２５に示すシステム管理者用アプリ部は、システム管理者が使用する端末にインストールされたアプリに対応する。また、図２５に示す制作者用アプリ部は、情報処理システム１における利用者端末３００にインストールされたアプリに対応する。また、図２５に示す一般利用者用アプリ部は、一般利用者が利用する端末にインストールされたアプリに対応する。図２５の例では、システム管理者用アプリ部、楽曲制作者用アプリ部や一般利用者用アプリ部を各々１つずつ図示したが、これらは、対応する端末の数に応じて複数含まれてもよい。
　図２５に示す著作楽曲管理サーバ装置の制御部は、著作物管理装置１００の制御部１３０に対応する。例えば、著作楽曲管理サーバ装置の著作楽曲管理部は、著作物管理装置１００の管理部１３１に対応する。著作楽曲管理サーバ装置の著作楽曲特徴情報分析機能は、著作物管理装置１００の抽出部１３２に対応する。著作楽曲管理サーバ装置の著作楽曲管理サーバ内データベース部は、著作物管理装置１００の記憶部１２０に対応する。
　図２５に示すサーバ装置の学習処理部や制御部は、情報処理装置２００の制御部２３０に対応する。例えば、サーバ装置の学習処理部は、情報処理装置２００の作曲部２３７に対応する。サーバ装置のサーバ内データベース部は、情報処理装置２００の記憶部２２０に対応する。
　図２５に示す楽曲制作者用アプリ部の表示操作部や制御部は、利用者端末３００の制御部３５０に対応する。例えば、楽曲制作者用アプリ部の表示操作部は、利用者端末３００の表示制御部３５１に対応する。システム管理者用アプリ部及び一般利用者用アプリ部の表示操作部や制御部は、それぞれの使用者が使用する端末装置の制御部に対応する。
　図２５に示すように、サーバ装置は、例えばインターネットなどのネットワークＮ１を介して、システム管理者用アプリ部、楽曲制作者者用アプリ部、および、一般利用者用アプリ部に接続される。また、サーバ装置は、プライベートネットワークＮ２を介して、著作楽曲管理サーバ装置に接続される。
［１－７－２．著作楽曲管理サーバ装置について］
　まず、著作楽曲管理サーバ装置に関連する構成について説明する。
　著作楽曲管理サーバ装置は、制御部及び著作楽曲管理サーバ内データベース部を有している。作楽曲管理サーバ装置の制御部は、著作楽曲管理機能及び著作楽曲特徴情報分析機能を有する。
［１－７－３．サーバ装置について］
　まず、サーバ装置に関連する構成について説明する。
　サーバ装置は、制御部、学習処理部、及びサーバ内データベース部を有している。サーバ装置の制御部は、制作楽曲情報管理機能、スタイル情報管理機能、利用者操作履歴情報管理機能、著作楽曲分析機能を有する。サーバ装置の学習処理部は、機械学習処理機能及び深層学習処理機能を有する。
［１－７－４．楽曲制作者用アプリ部について］
　次に、楽曲制作者用アプリ部に関連する構成について説明する。
　楽曲制作者用アプリ部は、表示操作部と制御部とを有している。楽曲制作者用アプリ部の表示操作部は、制作楽曲情報表示機能、スタイル情報表示編集機能を有する。楽曲制作者用アプリ部は、スタイル情報共有機能及び利用者操作履歴情報送信機能を有する。
　楽曲制作者用アプリ部は、例えば音楽編集ソフト（ＤＡＷ等）であり、制作楽曲情報表示機能にて、例えば楽曲情報を表示することができる。ＤＡＷが、例えばＡＩアシスト楽曲制作機能を有していれば、学習モデル情報表示編集機能を利用しながら新しい楽曲情報を制作することができる。システム管理者用アプリ部及び一般利用者用アプリ部も同様の構成を有しており、使用者のシステムに対する権限が異なる。
［１－８．ＵＩ（ユーザインターフェイス）］
　ここで、図２６及び図２７を用いて、アプリ（楽曲創作アプリ）による情報表示他自動作曲機能の詳細について説明する。図２６及び図２７は、実施形態に係るユーザインターフェイスの一例を示す図である。
　図２６には、楽曲創作アプリが利用者端末３００の画面上に表示された際のユーザインターフェイスの一例を示す。
　図２６に示す例では、ユーザインターフェイスＩＦ１１は、楽曲創作アプリが受信した楽曲データを表示する。なお、詳細は後述するが、楽曲創作アプリにおける楽曲データは、メロディとコードとベース音の３種類の異なるデータから構成される。図２６に示すユーザインターフェイスＩＦ１１は、３種類の異なるデータのうち、メロディに関するデータを表示する。
　設定情報ＳＴ１１は、自動作曲機能における設定情報の一例である、スタイルパレットに関する情報を表示する。スタイルパレットとは、機械学習の学習データとなるスタイル情報を指定するための指定情報である。
　設定情報ＳＴ１２は、自動作曲機能における設定情報の一例である、ハーモニーに関する情報を表示する。ハーモニーに関する情報とは、例えば、情報処理装置２００によって作曲される楽曲データにおける、コードに含まれる構成音がメロディに登場する確率を決定するための情報である。例えば、ユーザがハーモニーに関する情報を「厳格（strict）」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が高くなる。一方、ユーザがハーモニーに関する情報を「ゆるい（loose）」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が低くなる。図２６の例では、ユーザは、ハーモニーに関する情報を「厳格（strict）」よりに適用させたことを示している。
　設定情報ＳＴ１３は、自動作曲機能における設定情報の一例である、音符の長さ情報を表示する。音符の長さ情報とは、例えば、情報処理装置２００によって作曲される楽曲データにおける、音符の長さを決定するための情報である。例えば、ユーザが音符の長さ情報を「長い（long）」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的長い音符（例えば、全音符や２分音符等）が登場する確率が高くなる。一方、ユーザが音符の長さ情報を「短い（short）」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的短い音符（例えば、８分音符や１６分音符等）が登場する確率が高くなる。
　設定情報ＳＴ１４は、自動作曲機能における設定情報の一例である、指定情報（ユーザが指定したスタイルパレット）に含まれる素材楽曲以外の素材楽曲の種別及び量を決定するための情報を表示する。かかる情報は、例えば、情報処理装置２００によって作曲される楽曲データにおいて、ユーザが指定したスタイルパレットに含まれる楽曲に基づいて学習を厳格に行うか否かを決定するための情報である。例えば、ユーザがかかる情報を「利用しない（never）」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が低くなる。一方、ユーザがかかる情報を「利用する（only）」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が高くなる。
　楽曲データＭＤＴ１は、情報処理装置２００から送信された具体的な楽曲データを表示する。図２６の例では、楽曲データＭＤＴ１は、Ｃｍ等のコード進行を示す情報や、小節内の音高や音符の長さを示す情報、音符の高さの移り変わり（言い換えればメロディ）等を含む。また、図２６に示すように、楽曲データＭＤＴ１は、例えば４種類の異なる内容を含んでもよい。すなわち、情報処理装置２００は、自動作曲された楽曲データとして１種類だけを送信するのではなく、複数の楽曲データを送信してもよい。これにより、ユーザは、生成された複数の楽曲データの候補から、自身が好む楽曲データを選択したり、複数の楽曲データを組み合わせて好みの楽曲を作曲したりすることができる。
　なお、図２６に示すユーザインターフェイスＩＦ１１は、楽曲データに含まれるメロディ、コード、ベース音の３種類の異なるデータのうち、メロディに関するデータを表示しているが、他のデータについては、他のユーザインターフェイスに表示される。この点について、図２７を用いて説明する。
　図２７に示すように、利用者端末３００は、メロディに関するデータを表示するユーザインターフェイスＩＦ１１に加えて、コードに関するデータを表示するユーザインターフェイスＩＦ１２や、ベース音に関するデータを表示するユーザインターフェイスＩＦ１３を画面上に表示してもよい。図２７での図示は省略しているが、ユーザインターフェイスＩＦ１２やユーザインターフェイスＩＦ１３には、ユーザインターフェイスＩＦ１１における楽曲データＭＤＴ１とは異なる音符情報が表示される。具体的には、ユーザインターフェイスＩＦ１２には、楽曲データのメロディに対応するコードに関する音符情報（例えば、コードＣｍの構成音等）が表示される。また、ユーザインターフェイスＩＦ１３には、楽曲データのメロディやコードに対応するベース音に関する音符情報（例えば、コードＣｍであれば「Ｃ」音等）が表示される。
　利用者は、表示されたユーザインターフェイスＩＦ１１、ユーザインターフェイスＩＦ１２、ユーザインターフェイスＩＦ１３の中から、コピーする情報を選択したり、例えばベース音の一部を編集したりといった作業を行うことができる。
［２．本実施形態に係る効果］
　上述のように、本実施形態に係る情報処理装置（実施形態では情報処理装置２００）は、取得部（実施形態では取得部２３１）と、抽出部（実施形態では抽出部２３２）と、生成部（実施形態では生成部２３３）とを有する。取得部は、楽曲情報を取得する。抽出部は、取得部によって取得された楽曲情報から複数の種別の特徴量を抽出する。生成部は、抽出部によって抽出された複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報（実施形態ではスタイル情報）として生成する。
　このように、本実施の形態に係る情報処理装置では、楽曲情報の複数の種別の特徴量を有するスタイル情報を、作曲モデルの学習用のデータセットとして生成することができる。本実施の形態に係る情報処理装置では、このスタイル情報を、作曲モデルに学習させることによって、楽曲の特徴に合わせて作曲された楽曲情報を、制作者を含む各利用者に提供することができる。したがって、本実施の形態に係る情報処理装置によれば、利用者による楽曲作成機能の利便性を向上させることができる。
　また、取得部は、端末装置にインストールされた楽曲の創作に関するアプリケーションを用いて制作者が創作した楽曲に関する特徴量を含む楽曲情報を、端末装置（実施形態では利用者端末３００）から受信することによって楽曲情報を取得する。抽出部は、楽曲情報が含む複数の種別の特徴量を抽出する。生成部は、楽曲特徴情報に制作者の識別情報を対応付ける。これにより、情報処理装置は、制作者が創作した楽曲情報に関する楽曲特徴情報を生成することができる。
　また、制作者によって創作される楽曲に関する特徴量は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース信号である。したがって、情報処理装置は、制作者が創作した楽曲情報については、制作者によって創作される楽曲に関する特徴量を用いて楽曲特徴情報を生成することができるため、迅速に楽曲特徴情報を生成することができる。
　また、制作者によって創作される楽曲に関する特徴量は、規定された長さの小節における、ドラムの進行を示すドラム進行情報である。したがって、情報処理装置は、ドラム進行情報を含む楽曲特徴情報を生成することができる。
　また、取得部は、定期的に登録される著作楽曲情報を、予め設定されたタイミングで取得する。抽出部は、著作楽曲情報から、複数の種別の特徴量を抽出する。生成部は、スタイル情報に著作楽曲情報の識別情報を対応付ける。これによって、情報処理装置２００は、定期的に登録される著作楽曲情報に関する楽曲特徴情報を、自動的に生成することができる。
　また、情報処理装置は、楽曲の創作に関するアプリケーションがインストールされた端末装置から受信した指示情報にしたがって、楽曲特徴情報の提示情報を送信する送信部（実施形態では送信部２３６）を有する。情報処理装置は、端末装置から楽曲特徴情報の選択を受け付けると、選択された特徴情報を基に、機械学習を用いて楽曲情報を作曲し、作曲した楽曲情報を端末装置に送信する作曲部（実施形態では作曲部２３７）を有する。このように、情報処理装置が、端末装置に、指示情報に応じた楽曲特徴情報を提示することで、制作者は、その中から所望の楽曲特徴情報を選択することができる。そして、情報処理装置は、制作者が所望した楽曲特徴情報に基づいて作曲された楽曲情報を提供することができる。
　また、情報処理装置は、作曲部によって送信された楽曲情報に基づく演奏情報を端末装置から受信した場合、選択された楽曲特徴情報に演奏情報を追加し、選択された楽曲特徴情報を更新する更新部（実施形態では更新部２３８）をさらに有する。このように、情報処理装置は、選択された楽曲特徴情報に、制作者による演奏情報を追加することで、楽曲特徴情報を、楽曲を演奏した制作者のスタイルに近づかせることができる。
　また、抽出部は、楽曲情報から、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を、特徴量として抽出する。生成部は、規定された長さの小節における、コードの進行を示すコード進行情報、メロディを示すメロディ情報、ベース音の進行を示すベース情報を有するスコア情報を生成し、楽曲特徴情報の構成要素とする。これにより、情報処理装置は、コード進行情報、メロディ情報、ベース情報を有する楽曲特徴情報を生成することができる。そして、情報処理装置は、作曲時において、楽曲情報そのものではなく、コード進行情報、メロディ情報、ベース情報といった特徴量を学習するため、利用者へ楽曲情報を効率的に提供できる。
　抽出部は、楽曲情報から、規定された長さの小節における、ドラム音の進行を示すドラム情報を、特徴量として抽出する。生成部は、スコア情報に、ドラム進行情報をさらに追加する。これにより、情報処理装置は、コード進行情報、メロディ情報、ベース情報及びドラム情報を有する楽曲特徴情報を生成することができる。
　生成部は、楽曲情報に付加する歌詞情報から、規定された長さの小節における、歌詞を示す歌詞情報を生成し、楽曲特徴情報の構成要素とする。これにより、情報処理装置は、端末装置において歌詞が検索された場合には、この歌詞或いはこの歌詞に類似する歌詞を含む楽曲特徴情報を抽出して端末装置に提示できるため、利用者による楽曲作成機能の利便性を向上させることができる。また、情報処理装置は、歌詞を自動生成することも可能になる。
　生成部は、同じ小節に対するスコア情報の識別情報と歌詞情報の識別情報とを対応付けて登録する楽曲形式情報を生成し、楽曲特徴情報の構成要素とする。情報処理装置は、この楽曲特徴情報を学習することによって、さらに利用者が所望する楽曲情報を提供できる。
　生成部は、楽曲形式情報に登録したスコア情報のコード進行情報と類似するコード進行情報を有するスコア情報の識別情報を、楽曲形式情報に追加して登録する。これにより、情報処理装置は、楽曲の構造に沿った楽曲情報を作曲することができる。
　生成部は、楽曲形式情報の順序を示す楽曲順序情報を生成し、楽曲特徴情報の構成要素とする。情報処理装置は、楽曲形式情報の順序も学習できるため、学習精度をさらに高めることができる。
［３．その他の実施形態］
　上述した実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。
［３－１．その他の構成例］
　上記の各構成は一例であり、情報処理システム１は、上述した情報処理が実現可能であればどのようなシステム構成であってもよい。例えば、著作物管理装置１００と情報処理装置２００とが一体であってもよい。
［３－２．その他］
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
［４．ハードウェア構成］
　上述してきた各実施形態や変形例に係る情報処理装置２００、著作物管理装置１００、利用者端末３００等の情報機器は、例えば図２８に示すような構成のコンピュータ１０００によって実現される。図２８は、情報処理装置２００、著作物管理装置１００、利用者端末３００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置２００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　楽曲情報を取得する取得部と、
　前記取得部によって取得された前記楽曲情報から複数の種別の特徴量を抽出する抽出部と、
　前記抽出部によって抽出された前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報として生成する生成部と、
　を有することを特徴とする情報処理装置。
（２）
　前記取得部は、端末装置にインストールされた楽曲の創作に関するアプリケーションを用いて制作者が創作した楽曲に関する特徴量を含む楽曲情報を、前記端末装置から受信することによって楽曲情報を取得し、
　前記抽出部は、前記楽曲情報が含む複数の種別の特徴量を抽出し、
　前記生成部は、前記楽曲特徴情報に前記制作者の識別情報を対応付ける
　ことを特徴とする（１）に記載の情報処理装置。
（３）
　前記制作者によって創作される楽曲に関する特徴量は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース信号であることを特徴とする（２）に記載の情報処理装置。
（４）
　前記制作者によって創作される楽曲に関する特徴量は、規定された長さの小節における、ドラムの進行を示すドラム進行情報であることを特徴とする（３）に記載の情報処理装置。
（５）
　前記取得部は、定期的に登録される著作楽曲情報を、予め設定されたタイミングで取得し、
　前記抽出部は、前記著作楽曲情報から、前記複数の種別の特徴量を抽出し、
　前記生成部は、前記楽曲特徴情報に前記著作楽曲情報の識別情報を対応付ける
　ことを特徴とする（１）に記載の情報処理装置。
（６）
　楽曲の創作に関するアプリケーションがインストールされた端末装置から受信した指示情報にしたがって、前記楽曲特徴情報の提示情報を送信する送信部と、
　前記端末装置から前記楽曲特徴情報の選択を受け付けると、選択された前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲し、作曲した楽曲情報を端末装置に送信する作曲部と、
　をさらに有することを特徴とする（１）に記載の情報処理装置。
（７）
　前記作曲部によって送信された楽曲情報に基づく演奏情報を前記端末装置から受信した場合、前記選択された楽曲特徴情報に前記演奏情報を追加し、前記選択された楽曲特徴情報を更新する更新部、
　をさらに有することを特徴とする（６）に記載の情報処理装置。
（８）
　前記抽出部は、前記楽曲情報から、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース信号を、特徴量として抽出し、
　前記生成部は、前記規定された長さの小節における、コードの進行を示すコード進行情報、メロディを示すメロディ情報、ベース音の進行を示すベース情報を有するスコア情報を生成し、前記楽曲特徴情報の構成要素とする
　ことを特徴とする（１）に記載の情報処理装置。
（９）
　前記抽出部は、前記楽曲情報から、前記規定された長さの小節における、ドラム音の進行を示すドラム情報を、特徴量として抽出し、
　前記生成部は、前記スコア情報に、前記ドラム情報をさらに追加する
　ことを特徴とする（８）に記載の情報処理装置。
（１０）
　前記生成部は、前記楽曲情報に付加する歌詞情報から、前記規定された長さの小節における、歌詞を示す歌詞情報を生成し、前記楽曲特徴情報の構成要素とする
　ことを特徴とする（８）に記載の情報処理装置。
（１１）
　前記生成部は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報を生成し、前記楽曲特徴情報の構成要素とする
　ことを特徴とする（１０）に記載の情報処理装置。
（１２）
　前記生成部は、前記楽曲形式情報に登録したスコア情報のコード進行情報と類似するコード進行情報を有するスコア情報の識別情報を、前記楽曲形式情報に追加して登録する
　ことを特徴とする（１１）に記載の情報処理装置。
（１３）
　前記生成部は、前記楽曲形式情報の順序を示す楽曲順序情報を生成し、前記楽曲特徴情報の構成要素とする
　ことを特徴とする（１１）に記載の情報処理装置。
（１４）
　コンピュータが実行する情報処理方法であって、
　楽曲情報を取得し、
　取得した前記楽曲情報から複数の種別の特徴量を抽出し、
　抽出した前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において使用される楽曲特徴情報として生成する
　ことを特徴とする情報処理方法。
（１５）
　楽曲情報を取得し、
　取得した前記楽曲情報から複数の種別の特徴量を抽出し、
　抽出した前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において使用される楽曲特徴情報として生成する
　をコンピュータに実行させることを特徴とする情報処理プログラム。
　１　情報処理システム
　１００　著作物管理装置
　１１０，２１０，３１０　通信部
　１２０，２２０，３４０　記憶部
　１３０，２３０，３５０　制御部
　１２１　著作楽曲情報記憶部
　１２２　楽曲記憶部
　１２３　特徴情報記憶部
　１３１　管理部
　１３２　抽出部
　１３３　送信部
　２００　情報処理装置
　２２１　利用者情報記憶部
　２２２　スタイル情報記憶部
　２２３　所有情報記憶部
　２２４　制作情報記憶部
　２２５　操作履歴情報記憶部
　２３１　取得部
　２３２　抽出部
　２３３　生成部
　２３４　受付部
　２３５　選択部
　２３６　送信部
　２３７　作曲部
　２３８　更新部
　３００　利用者端末
　３２０　入力部
　３３０　出力部
　３５１　表示制御部
　３５２　登録部
　３５３　送受信部
　３５４　選択部
　３５５　再生部
　３５６　演奏受付部
　３６０　表示部

Claims (15)

  1. 　楽曲情報を取得する取得部と、
    　前記取得部によって取得された前記楽曲情報から複数の種別の特徴量を抽出する抽出部と、
    　前記抽出部によって抽出された前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報として生成する生成部と、
    　を有することを特徴とする情報処理装置。
  2. 　前記取得部は、端末装置にインストールされた楽曲の創作に関するアプリケーションを用いた制作者によって創作された楽曲情報を、前記端末装置から受信することによって楽曲情報を取得し、
    　前記抽出部は、前記楽曲情報が含む複数の種別の特徴量を抽出し、
    　前記生成部は、前記楽曲特徴情報に前記制作者の識別情報を対応付ける
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記制作者によって創作された楽曲情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース信号を含むことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記制作者によって創作された楽曲情報は、規定された長さの小節における、ドラムの進行を示すドラム進行情報を含むことを特徴とする請求項３に記載の情報処理装置。
  5. 　前記取得部は、定期的に登録される著作楽曲情報を、予め設定されたタイミングで取得し、
    　前記抽出部は、前記著作楽曲情報から、前記複数の種別の特徴量を抽出し、
    　前記生成部は、前記楽曲特徴情報に前記著作楽曲情報の識別情報を対応付ける
    　ことを特徴とする請求項１に記載の情報処理装置。
  6. 　楽曲の創作に関するアプリケーションがインストールされた端末装置から受信した指示情報にしたがって、前記楽曲特徴情報の提示情報を送信する送信部と、
    　前記端末装置から前記楽曲特徴情報の選択を受け付けると、選択された前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲し、作曲した楽曲情報を端末装置に送信する作曲部と、
    　をさらに有することを特徴とする請求項１に記載の情報処理装置。
  7. 　前記作曲部によって送信された楽曲情報に基づく演奏情報を前記端末装置から受信した場合、前記選択された楽曲特徴情報に前記演奏情報を追加し、前記選択された楽曲特徴情報を更新する更新部、
    　をさらに有することを特徴とする請求項６に記載の情報処理装置。
  8. 　前記抽出部は、前記楽曲情報から、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース信号を、特徴量として抽出し、
    　前記生成部は、前記規定された長さの小節における、コードの進行を示すコード進行情報、メロディを示すメロディ情報、ベース音の進行を示すベース情報を有するスコア情報を生成し、前記楽曲特徴情報の構成要素とする
    　ことを特徴とする請求項１に記載の情報処理装置。
  9. 　前記抽出部は、前記楽曲情報から、前記規定された長さの小節における、ドラム音の進行を示すドラム情報を、特徴量として抽出し、
    　前記生成部は、前記スコア情報に、前記ドラム情報をさらに追加する
    　ことを特徴とする請求項８に記載の情報処理装置。
  10. 　前記生成部は、前記楽曲情報に付加する歌詞情報から、前記規定された長さの小節における、歌詞を示す歌詞情報を生成し、前記楽曲特徴情報の構成要素とする
    　ことを特徴とする請求項８に記載の情報処理装置。
  11. 　前記生成部は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報を生成し、前記楽曲特徴情報の構成要素とする
    　ことを特徴とする請求項１０に記載の情報処理装置。
  12. 　前記生成部は、前記楽曲形式情報に登録したスコア情報のコード進行情報と類似するコード進行情報を有するスコア情報の識別情報を、前記楽曲形式情報に追加して登録する
    　ことを特徴とする請求項１１に記載の情報処理装置。
  13. 　前記生成部は、前記楽曲形式情報の順序を示す楽曲順序情報を生成し、前記楽曲特徴情報の構成要素とする
    　ことを特徴とする請求項１１に記載の情報処理装置。
  14. 　コンピュータが実行する情報処理方法であって、
    　楽曲情報を取得し、
    　取得した前記楽曲情報から複数の種別の特徴量を抽出し、
    　抽出した前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において使用される楽曲特徴情報として生成する
    　ことを特徴とする情報処理方法。
  15. 　楽曲情報を取得し、
    　取得した前記楽曲情報から複数の種別の特徴量を抽出し、
    　抽出した前記複数の種別の特徴量と所定の識別情報とを対応付けた情報を、機械学習を用いた作曲処理において使用される楽曲特徴情報として生成する
    　をコンピュータに実行させることを特徴とする情報処理プログラム。
PCT/JP2020/042873 2019-11-26 2020-11-17 情報処理装置、情報処理方法及び情報処理プログラム WO2021106694A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080079390.XA CN114730551A (zh) 2019-11-26 2020-11-17 信息处理设备、信息处理方法和信息处理程序
JP2021561336A JPWO2021106694A1 (ja) 2019-11-26 2020-11-17
EP20894684.8A EP4068272A4 (en) 2019-11-26 2020-11-17 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
US17/756,108 US20220406283A1 (en) 2019-11-26 2020-11-17 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019212912 2019-11-26
JP2019-212912 2019-11-26

Publications (1)

Publication Number Publication Date
WO2021106694A1 true WO2021106694A1 (ja) 2021-06-03

Family

ID=76129304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042873 WO2021106694A1 (ja) 2019-11-26 2020-11-17 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (5)

Country Link
US (1) US20220406283A1 (ja)
EP (1) EP4068272A4 (ja)
JP (1) JPWO2021106694A1 (ja)
CN (1) CN114730551A (ja)
WO (1) WO2021106694A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117434A (ja) * 2020-01-29 2021-08-10 国立大学法人京都大学 音楽モデル生成システム、自動作曲システム、編曲システム、音楽モデル生成方法、編曲方法、コンピュータプログラム、および音楽モデル

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166094A1 (ja) * 2019-02-12 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2023235448A1 (en) * 2022-06-01 2023-12-07 Library X Music Inc. Automated original track generation engine
CN118568686A (zh) * 2024-05-16 2024-08-30 南京马特沃斯数字科技有限公司 基于区块链的数字版权管理平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244648A (ja) * 1996-11-05 1997-09-19 Casio Comput Co Ltd 自動作曲機
JP2011175006A (ja) * 2010-02-23 2011-09-08 Sony Corp 情報処理装置、自動作曲方法、学習装置、学習方法、及びプログラム
US9110817B2 (en) 2011-03-24 2015-08-18 Sony Corporation Method for creating a markov process that generates sequences
JP2017182089A (ja) * 2017-06-09 2017-10-05 カシオ計算機株式会社 自動作曲装置、方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058995A (ko) * 2000-07-08 2000-10-05 강승일 웹을 이용한 음악작곡 시스템 및 방법
US6835884B2 (en) * 2000-09-20 2004-12-28 Yamaha Corporation System, method, and storage media storing a computer program for assisting in composing music with musical template data
WO2007133760A2 (en) * 2006-05-12 2007-11-22 Owl Multimedia, Inc. Method and system for music information retrieval
JP5218766B2 (ja) * 2006-10-26 2013-06-26 日本電気株式会社 権利情報抽出装置、権利情報抽出方法及びプログラム
US20150193199A1 (en) * 2014-01-07 2015-07-09 Qualcomm Incorporated Tracking music in audio stream
US20160196812A1 (en) * 2014-10-22 2016-07-07 Humtap Inc. Music information retrieval
US10296638B1 (en) * 2017-08-31 2019-05-21 Snap Inc. Generating a probability of music using machine learning technology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244648A (ja) * 1996-11-05 1997-09-19 Casio Comput Co Ltd 自動作曲機
JP2011175006A (ja) * 2010-02-23 2011-09-08 Sony Corp 情報処理装置、自動作曲方法、学習装置、学習方法、及びプログラム
US9110817B2 (en) 2011-03-24 2015-08-18 Sony Corporation Method for creating a markov process that generates sequences
JP2017182089A (ja) * 2017-06-09 2017-10-05 カシオ計算機株式会社 自動作曲装置、方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUYAMA, SATORU ET AL.: "Melody composition model for automatic musical composition based on the prosody of lyrics", PROCEEDINGS OF 2009 SPRING RESEARCH CONFERENCE OF THE ACOUSTICAL SOCIETY OF JAPAN, ACOUSTICAL SOCIETY OF JAPAN, 10 March 2009 (2009-03-10), JP, pages 873 - 874, XP009529133 *
JEAN-PIERRE BRIOT; FRAN\C{C}OIS PACHET: "Music Generation by Deep Learning - Challenges and Directions", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 December 2017 (2017-12-09), 201 Olin Library Cornell University Ithaca, NY 14853, XP081073413, DOI: 10.1007/s00521-018-3813-6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117434A (ja) * 2020-01-29 2021-08-10 国立大学法人京都大学 音楽モデル生成システム、自動作曲システム、編曲システム、音楽モデル生成方法、編曲方法、コンピュータプログラム、および音楽モデル
JP2022088461A (ja) * 2020-01-29 2022-06-14 国立大学法人京都大学 編曲システム、編曲方法、およびコンピュータプログラム
JP7122010B2 (ja) 2020-01-29 2022-08-19 国立大学法人京都大学 音楽モデル生成システム、自動作曲システム、音楽モデル生成方法、およびコンピュータプログラム
JP7371962B2 (ja) 2020-01-29 2023-10-31 国立大学法人京都大学 編曲システム、編曲方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
US20220406283A1 (en) 2022-12-22
JPWO2021106694A1 (ja) 2021-06-03
CN114730551A (zh) 2022-07-08
EP4068272A4 (en) 2022-12-07
EP4068272A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
WO2021106694A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US10657934B1 (en) Enhancements for musical composition applications
Turchet et al. Cloud-smart musical instrument interactions: Querying a large music collection with a smart guitar
CN106708894B (zh) 电子书配置背景音乐的方法和装置
US11183160B1 (en) Musical composition file generation and management system
US20070214941A1 (en) Musical theme searching
Sandler et al. Semantic web technology for new experiences throughout the music production-consumption chain
KR20180025084A (ko) 음원 제공 서버의 불특정 다수에 의한 음원 제작 방법, 음원 제공 서버 및 음원 제작 단말
US20220406280A1 (en) Information processing apparatus, information processing method, and information processing program
CN113838444A (zh) 生成编曲的方法、装置、设备、介质及计算机程序
JP2023129639A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Müller et al. Content-based audio retrieval
WO2022044646A1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
US20220230104A1 (en) Information processing apparatus, information processing method, and information processing program
WO2021166745A1 (ja) アレンジ生成方法、アレンジ生成装置、及び生成プログラム
WO2020218075A1 (ja) 情報処理装置および方法、並びにプログラム
KR20140054810A (ko) 반주음악 제작 서비스 시스템 및 그 방법, 그리고 이에 적용되는 장치
US20240153475A1 (en) Music management services
JP6509291B2 (ja) 楽曲共作支援システム
WO2024075634A1 (ja) 音波形の特性分布に係る表示方法
WO2024075638A1 (ja) 音響モデルの訓練方法
RU2808611C2 (ru) Способ и система для генерирования выходного звукового файла или файла midi посредством гармонической карты аккордов
WO2024075422A1 (ja) 楽曲生成方法、およびプログラム
JP6611633B2 (ja) カラオケシステム用サーバ
Danesi AI-Generated Music

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20894684

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561336

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020894684

Country of ref document: EP

Effective date: 20220627