WO2022044646A1 - 情報処理方法、情報処理プログラム及び情報処理装置 - Google Patents

情報処理方法、情報処理プログラム及び情報処理装置 Download PDF

Info

Publication number
WO2022044646A1
WO2022044646A1 PCT/JP2021/027524 JP2021027524W WO2022044646A1 WO 2022044646 A1 WO2022044646 A1 WO 2022044646A1 JP 2021027524 W JP2021027524 W JP 2021027524W WO 2022044646 A1 WO2022044646 A1 WO 2022044646A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
style
information processing
music information
creator
Prior art date
Application number
PCT/JP2021/027524
Other languages
English (en)
French (fr)
Inventor
治彦 岸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022545552A priority Critical patent/JPWO2022044646A1/ja
Priority to US18/005,972 priority patent/US20230298547A1/en
Priority to EP21861074.9A priority patent/EP4207180A4/en
Priority to CN202180050510.8A priority patent/CN116057622A/zh
Publication of WO2022044646A1 publication Critical patent/WO2022044646A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0276Advertisement creation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/38Chord
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111Automatic composing, i.e. using predefined musical rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/116Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of sound parameters or waveforms, e.g. by graphical interactive control of timbre, partials or envelope
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/121Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of a musical score, staff or tablature
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation
    • G10H2250/015Markov chains, e.g. hidden Markov models [HMM], for musical processing, e.g. musical analysis or musical composition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • This disclosure relates to information processing methods, information processing programs and information processing devices.
  • a technique in which machine learning is performed using existing music as learning data to generate a learning model for music generation, and a computer composes a new music (for example, Patent Document 1).
  • a Markov model it is possible to use a Markov model to imitate the characteristics of an existing musical piece or to generate a more natural tune.
  • the music data proposed (generated) by AI can be used in the composition work, the user can compose based on a wider variety of viewpoints.
  • the user can receive the automatically created music information by setting an image such as bright or dark, but the music information can be easily edited and the user can use it. There is a desire to receive music information that suits their tastes.
  • a computer provides an interface capable of generating the music information by editing some elements forming the music information. Based on a plurality of music information created using the interface, new music information is generated by a machine learning model.
  • FIG. 2 is a diagram (2) showing an example of a display screen when the creator terminal according to the embodiment generates style information.
  • FIG. 3 is a diagram (3) showing an example of a display screen when the creator terminal according to the embodiment generates style information.
  • FIG. 5 is a diagram (5) showing an example of a display screen when the creator terminal according to the embodiment generates style information.
  • FIG. 1 is a diagram (1) showing an example of a display screen when a producer terminal according to an embodiment executes a composition process.
  • FIG. 2 is a diagram (2) showing an example of a display screen when a producer terminal according to an embodiment executes a composition process.
  • FIG. 3 is a diagram (3) showing an example of a display screen when a producer terminal according to an embodiment executes a composition process. It is a figure which shows an example of the information processing system which concerns on embodiment. It is a figure which shows the structural example of the information processing apparatus which concerns on embodiment. It is a figure which shows an example of the user information which concerns on embodiment. It is a figure which shows an example of the style information table which concerns on embodiment. It is a figure which shows an example of the style information management table which concerns on embodiment.
  • Embodiment 1-1 An example of information processing according to an embodiment 1-2.
  • Configuration of Information Processing System According to Embodiment 1-3.
  • Configuration of Information Processing Device According to Embodiment 1-4.
  • Conceptual diagram of the configuration of the information processing system 2-1.
  • Overall configuration 2-2.
  • FIG. 1 is a conceptual diagram showing a flow of information processing according to an embodiment.
  • the information processing according to the embodiment is executed by the information processing apparatus 100 and the creator terminal 200.
  • the information processing device 100 is an information processing device that provides a service (also simply referred to as “service”) related to the creation of content as a copyrighted work is shown as an example.
  • a service also simply referred to as “service”
  • music music content
  • the content is not limited to music, but may be various content such as video content such as movies and text content such as books (novels). good.
  • the music referred to here is not limited to one completed song (whole), but various music information such as some sound sources constituting one song (music) and short sounds used for sampling are included. It is a concept included.
  • the information processing device 100 communicates with the creator terminal 200 of the user who uses the service provided by the information processing device 100 using a network N (see FIG. 6) such as the Internet.
  • a network N such as the Internet.
  • the number of creator terminals 200 is not limited to that shown in FIG.
  • the information processing device 100 is a server device that executes information processing related to the automatic composition function by the AI of the creator terminal 200.
  • the information processing device 100 is a so-called cloud server, performs automatic composition by AI according to information instructed from the creator terminal 200 via the network N, and provides music information generated to the creator terminal 200. do.
  • the creator terminal 200 is an information processing terminal such as a smartphone, a PC (personal computer), or a tablet terminal.
  • Various program applications are installed in the creator terminal 200.
  • An application related to music creation is installed in the creator terminal 200.
  • the creator terminal 200 has an automatic composition function by AI added by a plug-in (extended application) to an application such as a DAW (Digital Audio Workstation) that realizes a comprehensive music production environment.
  • the plug-in can take the form of VST (Steinberg's Virtual Studio Technology) (registered trademark), Audio Units, AAX (Avid Audio eXtension), and the like.
  • the creator terminal 200 is not limited to the DAW, and a mobile application such as iOS may be used.
  • the information processing apparatus 100 provides the creator terminal 200 with an interface for generating style information (step S11).
  • the style information is learning data used when performing machine learning of a composition model.
  • the creator terminal 200 activates the DAW and displays the interface provided by the information processing apparatus 100 by using a plug-in or the like.
  • the creator C1 operates the creator terminal 200 to generate style information and provide it to the information processing apparatus 100 (step SS12).
  • the user of the creator terminal 200 is described as the creator C1, but the user is not limited to this.
  • the user of the creator terminal 200 provides music information through an administrator who operates and manages the entire system, a composer who creates music, an arranger, a creator such as a studio engineer, and an automatic composition function. It is one of the general users who receive it.
  • the information processing device 100 collects style information from the creator terminal 200 (another terminal device (not shown)), and executes machine learning of the composition model using the collected plurality of style information (step S13).
  • the composition model corresponds to a Markov model or the like.
  • the information processing device 100 uses the composition model to generate new music information and provides the music information to the creator terminal 200 (step S14).
  • the style information includes melody information, chord information, base information, rhythm information and the like.
  • FIG. 2 is a diagram showing an example of a data structure of style information according to an embodiment.
  • the style information 700 includes style information ID 710, style type ID 711, openness information 712, style palette sequence information 720, style palette information 730, score information 740, style palette meta information 750, and accompaniment audio information 760.
  • the style information ID 710 is information that identifies the style information 700.
  • the style type ID 711 is information for identifying the type to which the style information 700 belongs.
  • the disclosure availability information 712 is information on whether or not the corresponding style information 700 is allowed to be disclosed to general users.
  • the public availability information 712 may be binary information.
  • the style palette sequence information 720 is information indicating the order of the style palette information 730.
  • the style palette sequence information 720 has a style palette ID uniquely indicating the style palette information 730 and a bar index as one set, and by having a plurality of these sets, information for managing the order of the style palette information 730 in the music. Become. For example, in the case of the example shown in FIG. 2, it is defined that measures 1 to 4 of the music correspond to the style palette ID731a, measures 5 to 8 correspond to the style palette ID731b, and measures xy to y correspond to the style palette ID731z. Will be done.
  • the style palette information 730 is information in which the score ID of the score information 740 for the same measure is registered in the style palette ID which is the identification information of the style palette information.
  • score IDs of a plurality of score information 740s having similar chord progressions in the chord information may be bundled. Similar chord progressions are, for example, exactly the same chord progression. Alternatively, similar chord progressions may be such that each chord is classified into Tonic (T), Sub-dominat (S), and Dominat (D), and the arrangement of T, S, and D is the same. In the case of C major and A minor, T is C / Em / Am, S is F and Dm, and D is G and Dm7-5. Since the chord progressions CDGC and Em-Dm-Bm7-5-Am are both TSD, they can be considered to have the same chord progression. Further, similar chord progressions can be classified based on similar chord progressions by machine learning or deep learning, for example, instead of using music theory.
  • the score information 740 includes the feature quantities of a plurality of types (elements) extracted from the music.
  • the score information 740 has score ID, melody information, chord progression information, base information and rhythm information.
  • the score ID is identification information of the score information.
  • the melody information is a melody in a bar of a specified length.
  • Chord progression information is information indicating a chord progression in a bar of a specified length.
  • Bass information is information indicating the progress of a bass note in a bar of a specified length.
  • Rhythm information is information indicating the progress (drum pattern or tempo) of a drum sound in a bar of a specified length.
  • the style palette meta information 750 includes key signature / scale information, tempo information, and measure number information.
  • the key signature / scale information is information that identifies the key signature of the key corresponding to the style information 700, and whether it is in major (C major, D major, A major, etc.) or minor (I minor, E minor, B minor, etc.). ) Is set.
  • the tempo information is information indicating the tempo of the music corresponding to the style information 700, and is set by BPM (Beats Per Minute) or the like.
  • the number of measures indicates the number of measures corresponding to the style information 700 in the number of measures information. For example, 4 bars, 8 bars, etc. are set in the bar number information.
  • the accompaniment audio information 760 has a plurality of MP3 (MPEG-1 Audio Layer-3) information.
  • the MP3 information is music information independently recorded by the creator C1 in correspondence with the melody information, chord progression information, base information, and rhythm information set in the score information 740.
  • the information processing device 100 executes machine learning using the style information 700 described in FIG. 2 as learning data, and generates a composition model. Therefore, the information processing apparatus 100 does not learn the music information itself, but is a time-series feature quantity of a plurality of types (elements) such as melody information, chord progress information, base information, and rhythm information extracted from the music information. Learn style information composed of. That is, since the information processing apparatus 100 learns a plurality of feature quantities extracted in advance from the music information, the load of information processing is smaller than the case of learning the music information itself, and the music information to the user is also efficient. Can be provided to.
  • the information processing apparatus 100 assumes that the style information to be the learning data is provided from the creator terminal 200.
  • the information processing apparatus 100 presents an interface for creating style information to the creator terminal 200.
  • the creator C1 generates new style information by using the interface displayed on the creator terminal 200, and provides the new style information to the information processing apparatus 100.
  • 3 to 7 are diagrams showing an example of a display screen when the creator terminal 200 according to the embodiment generates style information.
  • the display screens (windows) shown in FIGS. 3 to 7 correspond to the interface provided by the information processing apparatus 100.
  • the window 270 shown in FIG. 3 is displayed on the creator terminal 200.
  • the window 270 of FIG. 3 has a key signature / scale setting unit 270a, a tempo setting unit 270b, and a measure number setting unit 270c.
  • the key signature / scale setting unit 270a is an area where key signature / scale information can be set.
  • the key signature information is C, D, E, F, G, A, B or the like in the English-American notation, and the scale information is minor, major or the like.
  • the key signature / scale information is a combination of the key signature information and the scale information, and is indicated by C-major, D-minor, etc.
  • the tempo setting unit 270b is an area where tempo information can be set. For example, 120 BPM or the like is specified as the tempo information.
  • the measure number setting unit 270c is an area where the measure number information can be set. For example, 4 bars, 8 bars, 16 bars, etc. are set as bar number information.
  • the creator C1 operates the creator terminal 200 to input key signature / scale information, tempo information, and measure number information. Following the window 270 shown in FIG. 3, the window 271 shown in FIG. 4 is displayed on the creator terminal 200.
  • the window 271 of FIG. 4 has a rhythm information setting unit 271a.
  • the rhythm information setting unit 271a is an area where rhythm information can be set.
  • rhythm elements include Hi-Hat (hereinafter, HH), Snare-Drum (hereinafter, SD), Bass-Drum (hereinafter, BD), and the like.
  • input buttons for HH, SD, and BD are arranged in a grid pattern for each sixteenth note.
  • the creator C1 can input a rhythm pattern by arbitrarily setting each input button to ON (active) or OFF (inactive). When the input button is ON, the sound intensity (hereinafter referred to as velocity) can be further set.
  • velocity is a value from 0 to 127, but when the input button is tapped, 100 is input as an initial value.
  • the creator C1 can increase or decrease the velocity value by swiping up or down, and can easily change the velocity value.
  • rhythm information setting unit 271a four consecutive input buttons arranged side by side indicate rhythm information of one bar.
  • One input button corresponds to one beat.
  • the active / inactive information and velocity value for each beat corresponding to HH, SD, and BD are the feature quantities of the rhythm information.
  • the feature amount of the rhythm information is associated with the bar index for each measure.
  • the creator C1 operates the creator terminal 200 to input rhythm information.
  • the creator terminal 200 stores the input rhythm information as the rhythm information of the score information 740. Following the window 271 shown in FIG. 4, the window 272 shown in FIG. 5 is displayed on the creator terminal 200.
  • the window 272 of FIG. 5 has a chord progression information setting unit 272a.
  • the chord progression information setting unit 272a is an area where chord progression information can be set. For example, four continuous grid-shaped input areas of the area 272a-1 show chord progression information of one bar. When the input area of the area 272a-1 is selected and the selection button of the area 272a-2 is pressed, the code corresponding to the pressed selection button is set in the selected input area.
  • chords include C, Dm, Em, F, G, Am, Bm, etc., and can be arranged for each measure.
  • the chord progression information is
  • the chord can also be changed for each beat in a bar.
  • the creator C1 operates the creator terminal 200 to select the input area 272a-11 and presses the selection button 272a-21 of "Em"
  • the code "Em” is displayed in the input area 272a-11. Is set.
  • the creator C1 can be easily selected by a selection button having a basic code such as C, Dm, Em, F, G, Am, Bm, but is complicated such as CM7, C7, Csus4. Code can also be entered.
  • the order of the chords included in the area 272a-1 is the feature amount of the chord progression information.
  • the feature amount of the chord progression information is associated with the bar index for each bar.
  • the creator terminal 200 stores the input chord progression information as the chord progression information of the score information 740. Following the window 272 shown in FIG. 5, the window 273 shown in FIG. 6 is displayed on the creator terminal 200.
  • the window 273 in FIG. 6 has a base information setting unit 273a.
  • the base information setting unit 273a is an area where base information can be set. For example, four consecutive input areas of the area 273a-1 indicate one bar of base information.
  • the code corresponding to the selection button is set in the selected input area.
  • the base note corresponds to the code name. For example, if it is a C code, the base note is C, if it is a Dm code, the base note is D, and if it is an Em code, it is a base note. Is E.
  • the creator C1 can set a base note different from the code name.
  • an F base note can be specified for a C code
  • a B base note can be specified for a Dm code
  • an F base note can be specified for an Em code.
  • the denominator is expressed as the base note and the numerator is expressed as the code name. That is, if the base note of F is specified for the code of C, the notation becomes "C / F".
  • the base note “F” is displayed in the input area 273a-11. Is set. If the code name C has already been set for the same input area, "C / F" is set.
  • the order of the base notes included in the area 273a-1 is the feature amount of the base information.
  • the feature amount of the base information is associated with the bar index for each measure.
  • the creator terminal 200 stores the input base information as the base information of the score information 740. Following the window 273 shown in FIG. 6, the window 274 shown in FIG. 7 is displayed on the creator terminal 200.
  • the window 274 of FIG. 7 has a melody information setting unit 274a.
  • the melody information setting unit 274a is an area where melody information can be set. For example, when the creator C1 presses the play button 240c, the creator terminal 200 performs accompaniment corresponding to the chord progression information, the base information, and the rhythm information set in FIGS. 3 to 5.
  • the creator C1 operates the creator terminal 200 while listening to the accompaniment, and presses the image of the piano keyboard of the melody information setting unit 274a. Is input (played).
  • the input melody information is displayed in the partial area 274b.
  • the range of one bar is the range 274b-1.
  • the melody information is visually displayed by the bar, the position of the bar corresponds to the scale, and the length of the bar indicates the length of the sound.
  • the scale and length of each measure are the features of the melody information.
  • the feature amount of the melody information is associated with the bar index for each measure.
  • the creator terminal 200 stores the input melody information as the melody information of the score information 740. By making a retry request, the creator C1 can input the melody information again without registering the melody information in the score information 740.
  • the creator C1 can repeatedly generate a plurality of melody information while keeping the chord progression information, the base information, and the rhythm information fixed.
  • the creator terminal 200 generates the style information 700 described with reference to FIG. 2 based on the information input in the windows of FIGS. 3 to 7, and provides the generated style information 700 to the information processing apparatus 100.
  • the creator terminal 200 uses a set of chord progression information, base information, and rhythm information generated in FIGS. 4 to 6 and one melody information generated in FIG. 7 as one score information 740, and has a unique score ID. Is given.
  • the creator terminal 200 When a plurality of melody information is generated, the creator terminal 200 generates score information 740 for each melody information, and assigns a score ID to each score information 740.
  • the creator terminal 200 bundles similar chord progression information into one style palette information 730 based on the chord progression information of the plurality of score information 740, and is unique. Give a style palette ID.
  • the creator terminal 200 refers to the score information 470 corresponding to the score ID of the style palette information, and specifies the bar index corresponding to the melody information, the chord progression information, the base information, and the rhythm information, so that the bar index and the style can be specified.
  • the relationship with the palette ID is specified, and the style palette sequence information 720 is generated.
  • the creator C1 may appropriately specify the relationship between the bar index and the style palette ID.
  • the creator terminal 200 sets the key signature / scale information, the tempo information, and the number of measures information input in FIG. 3 as the style palette meta information 750.
  • the MP3 information is set to the accompaniment audio information 760.
  • the creator terminal 200 assigns a unique style information ID 710 when generating the style information 700.
  • the creator terminal 200 sets the style type ID 711 and the openness information 712 in response to the input from the creator C1.
  • the information processing apparatus 100 creates an interface capable of generating music information by fixing some elements and editing other elements among a plurality of elements forming music information.
  • the information processing apparatus 100 generates new music information based on a plurality of music information created by using the interface.
  • the music information corresponds to the score information 740 of the style information 700.
  • the fixed elements are chord progression information, base information, and rhythm information.
  • the other element becomes melody information, and when a plurality of melody information is generated, a plurality of score information 740 corresponding to the melody information is generated.
  • the creator C1 can easily create the style information, and the information processing apparatus 100 can easily receive the style information.
  • the information processing apparatus 100 uses the provided plurality of style information to perform machine learning of the composition model.
  • FIGS. 8 to 10 are diagrams showing an example of a display screen when the creator terminal 200 according to the embodiment executes a composition process.
  • the display screens (windows) shown in FIGS. 8 to 10 correspond to the interface provided by the information processing apparatus 100.
  • the window 280 shown in FIG. 8 is displayed on the creator terminal 200.
  • the window 280 of FIG. 8 includes a style information list 280a.
  • the creator C1 selects one of the style information from the plurality of style information included in the style information list 280a.
  • the style information names 280a1 to 280a7 are displayed in the style information list 280a.
  • the names 280a1 to 280a7 of the style information are associated with the style information ID, respectively.
  • the creation date / time, evaluation, comment, etc. of the style information may be displayed in the style information list 280a.
  • the creator C1 operates the creator terminal 200 to select the name of the style information.
  • the window 281 shown in FIG. 9 is displayed on the creator terminal 200.
  • the window 281 of FIG. 9 has a chord progression information setting unit 281a and a melody information display unit 281b.
  • the explanation of the chord progression information setting unit 281a is the same as that of the chord progression information setting unit 272a described with reference to FIG. Have.
  • the creator terminal 200 sets the chord progression information of the style information selected in the window 280 of FIG. 8 in the area 281a-1.
  • the creator terminal 200 displays the melody information of the style information selected in the window 280 of FIG. 8 on the melody information display unit 281b.
  • the creator C1 can change the chord progression set in the area 281a-1 to his or her preference. For example, the creator C1 controls the chord progression of
  • the information of the changed chord progression is notified from the creator terminal 200 to the information processing apparatus 100.
  • the information processing apparatus 100 can instantly create new style information. For example, when the chord progression information (
  • the window 282 of FIG. 10 has a base information setting unit 273a and a melody information display unit 282b.
  • the description of the base information setting unit 273a includes an area 282a-1 for setting the base information and an area 282a-2 for displaying the selection button of the base note, in the same manner as the base information setting unit 273a described with reference to FIG.
  • the creator terminal 200 sets the base information of the style information selected in the window 280 of FIG. 8 in the area 282a-1.
  • the creator terminal 200 displays the melody information of the style information selected in the window 280 of FIG. 8 on the melody information display unit 282b.
  • the creator C1 can change the base note set in the area 282a-1 to his / her preference. For example, the creator C1 changes the base information by operating the selection button of the area 282a-2 and the area 282a-1.
  • the base information is changed, new style information is generated and added to the style information list 280a in the same manner as when the above chord progression information is changed.
  • the changed style information is notified to the information processing apparatus 100.
  • the information processing device 100 executes machine learning of the composition model based on the updated style information.
  • the information processing apparatus 100 receives a composition request for the updated style information from the creator terminal 200
  • the information processing apparatus 100 automatically creates new melody information of the updated style information using the composition model.
  • the information processing apparatus 100 notifies the creator terminal 200 of the new melody information, and displays the new melody information in the window.
  • the information processing apparatus 100 causes the melody information display unit 281b and the like included in the window 281 of FIG. 9 to display new melody information.
  • the creator C1 operates the creator terminal 200, designates a measure to be arranged, and makes an arrangement request to the information processing apparatus 100.
  • the measure to be arranged is referred to as the measure to be arranged.
  • the creator C1 operates the creator terminal 200 to specify the bar 281b-1 to be arranged.
  • the information processing device 100 arranges the melody information of the bar to be arranged among all the measures of the melody information.
  • the information processing apparatus 100 has an arrangement table in which parameters and arrangement rules learned in advance are associated with each other, and when the parameters are specified by the creator C1, the arrangement according to the specified parameters is performed. May be executed.
  • the information processing apparatus 100 stores the score information 740 of the arranged melody information as a history.
  • the above processing can be repeatedly executed, the style information of the creator C1 is accumulated in the score information 740 of the creator C1 preference, and the style information is optimized to the preference of the creator C1.
  • FIG. 11 is a diagram showing an example of an information processing system according to an embodiment.
  • the information processing system includes an information processing device 100, creator terminals 200-1 to 200-3, and a service server 300.
  • the creator terminals 200-1 to 200-3 are illustrated, but when the description is made without particular distinction, the creator terminal 200 is described.
  • the information processing device 100 is connected to the creator terminal 200 via the network N.
  • the information processing device 100 is connected to the service server 300 via the network N.
  • the information processing device 100 provides an interface for generating style information to the creator terminal 200, and acquires style information from the creator terminal 200.
  • the information processing apparatus 100 generates new music information based on the acquired style information and provides it to the creator terminal 200.
  • the creator terminal 200 accepts the provision of the interface from the information processing apparatus 100, and displays the windows described with reference to FIGS. 1 to 7 and the like.
  • the creator terminal 200 receives input of information related to style information from the creator and provides the style information to the information processing apparatus 100.
  • the creator terminal 200 accepts the provision of the interface from the information processing device 100 and displays the style information list shown in FIG. 8 or the like.
  • the creator terminal 200 accepts the selection of style information and the update of the selected style information from the creator, and notifies the information processing apparatus 100 of the updated style information.
  • the service server 300 provides services related to various SNS (Social Networking Service). For example, the service server 300 receives the score information 740 included in the style information from the information processing apparatus 100, and generates an MP3 based on the score information 740 and MIDI (Musical Instrument Digital Interface) information. The service server 300 posts the generated MP3s to various SNS sites, and collects evaluation information from users of the SNS sites.
  • SNS Social Networking Service
  • FIG. 12 is a diagram showing a configuration example of the information processing apparatus 100 according to the embodiment.
  • the information processing apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the creator terminal 200 and the service server 300 via the network N.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 stores various data used for information processing.
  • the storage unit 120 has a user information 121, a style information table 122, a style information management table 123, a produced music information table 124, and composition model data 125.
  • User information 121 stores various information (user information) about the user.
  • FIG. 13 is a diagram showing an example of user information 121 according to the embodiment.
  • User information 121 includes user ID, user meta information, and authority information.
  • the user information 121 stores user meta information and authority information corresponding to each user ID in association with each user ID.
  • the user ID indicates identification information for uniquely identifying the user.
  • the user ID indicates identification information for uniquely identifying a user such as a creator, a general user, or a system administrator.
  • the user meta information is additional information of the user such as the name and address of the user.
  • the authority information for example, values for identifying the authority such as system administrator authority information, creator authority information, and general user authority information are stored.
  • the user information 121 is not limited to the above, and various information may be stored depending on the purpose.
  • Various information about the user may be stored in the user meta information. For example, when the user is a natural person, the user meta information may store demographic attribute information such as the gender and age of the user, psychographic attribute information, and the like.
  • the style information table 122 holds a plurality of style information provided by the creator terminal 200.
  • FIG. 14 is a diagram showing an example of the style information table 122 according to the embodiment. As shown in FIG. 14, the style information table 122 includes a plurality of style information 700A to 700d and the like. The style information table 122 may include style information other than the style information 700A to 700d. The description of the style information 700a to 700d is the same as the description of the style information 700 described with reference to FIG.
  • the style information management table 123 holds information relating the style information to the creator who created the style information.
  • FIG. 15 is a diagram showing an example of the style information management table 123 according to the embodiment. As shown in FIG. 15, the style information management table 123 associates the user ID with the style information ID. The user ID indicates identification information for uniquely identifying the user. The style information ID is information that identifies the style information. For example, in the first row of the style information management table 123, it is shown that the style information of the style information ID 710A and the style information of the style information ID 710B are created by the creator of the user ID "C1".
  • the produced music information table 124 holds information relating the score information to the creator who produced the score information.
  • FIG. 16 is a diagram showing an example of the produced music information table 124 according to the embodiment. As shown in FIG. 16, the produced music information table 124 associates a user ID with a score ID. The user ID indicates identification information for uniquely identifying the user. The score ID is information that identifies the score information.
  • the composition model data 125 is the data of the composition model generated by executing machine learning by inputting a plurality of style information included in the style information table 122. For example, in such a composition model, the relationship between the time-series features of chord progression information, base information, and rhythm information and the time-series features of melody information is learned. When information and rhythm information are input, melody information inferred from the input chord progression information, base information, and rhythm information is predicted, and music information is automatically generated by this.
  • the composition model corresponds to the Markov model and the like.
  • composition model data 125 may be generated.
  • control unit 130 for example, a program stored in the information processing apparatus 100 is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with a RAM (Random Access Memory) or the like as a work area. It will be realized. Further, the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 includes an interface control unit 131, a machine learning unit 132, a composition unit 133, an arrangement unit 134, and a service server cooperation unit 135.
  • the interface control unit 131 is a processing unit that provides the creator terminal 200 with an interface capable of generating music information such as style information. First, the processing of the interface control unit 131 relating to the windows 270 to 274 described with reference to FIGS. 3 to 7 will be described.
  • the interface control unit 131 transmits the information of the windows 270 to 274 described with reference to FIGS. 3 to 7 to the creator terminal 200.
  • the creator terminal 200 displays the windows 270 to 274 described with reference to FIGS. 3 to 7, and accepts input of style information from the creator.
  • the interface control unit 131 receives style information from the creator terminal 200.
  • the style information is associated with a user ID.
  • the interface control unit 131 registers the style information received from the creator terminal 200 in the style information table 122.
  • the interface control unit 131 registers the relationship between the style information ID included in the style information and the user ID in the style information management table 123.
  • the style information received by the interface control unit 131 from the creator terminal 200 includes a plurality of melody information with respect to the fixed chord progression information, base information, and rhythm information.
  • the interface control unit 131 associates the score ID of the specified score information with the user ID. , Register in the production music information table 124. For example, the creator operates the creator terminal 200 to specify a favorite score information.
  • the interface control unit 131 causes the creator terminal 200 to display the information of the windows 280 to 282 described with reference to FIGS. 8 to 10. For example, the interface control unit 131 displays the name corresponding to the style information registered in the style information table 122 in the style information list 280a of the window 280 of FIG.
  • the creator terminal 200 obtains a style information ID corresponding to the selected name. Notify the interface control unit 131.
  • the interface control unit 131 When the interface control unit 131 receives the style information ID, it acquires the style information corresponding to the style information ID from the style information table 122, and transmits the acquired style information to the creator terminal 200. When the interface control unit 131 executes such a process, the chord progression information of the style information is set in the area 281a-1 of the window 281 of FIG.
  • the interface control unit 131 generates new style information when the chord progression information is changed in the window 281 of FIG. 9, and registers the generated new style information in the style information table 122.
  • the interface control unit 131 transmits the style information to the creator terminal 200, so that the base information of the style information is set in the area 282a-2 of the window 282 in FIG.
  • the interface control unit 131 generates new style information even when the base information is changed in the window 282 of FIG. 10, and registers the generated new style information in the style information table 122.
  • the interface control unit 131 when the interface control unit 131 receives a request for composition processing based on the changed style information from the creator terminal 200, the interface control unit 131 outputs the changed style information to the composition unit 153.
  • the interface control unit 131 acquires the melody information corresponding to the changed style information from the composition unit 153, and transmits the acquired melody information to the creator terminal 200.
  • new melody information is displayed on the melody information display unit 281b and the like included in the window 281 of FIG.
  • the interface control unit 131 registers the style information having new melody information in the style information table 122.
  • the interface control unit 131 When the interface control unit 131 accepts the designation of the parameter and the bar to be arranged, the interface control unit 131 outputs the melody information and the information of the parameter and the measure to be arranged to the arrangement unit 154.
  • the interface control unit 131 acquires the arranged melody information from the arrangement unit 154, and transmits the acquired melody information to the creator terminal 200.
  • the interface control unit 131 receives the request for adding the style information having the arranged melody information from the creator terminal 200, the interface control unit 131 registers the style information having the arranged melody information in the style information table 122.
  • the machine learning unit 152 generates composition model data 125 based on the style information registered in the style information table 122. For example, the machine learning unit 152 generates composition model data 125 by machine learning the relationship between the time-series features of chord progression information, base information, and rhythm information and the time-series features of melody information. .. The machine learning unit 152 may generate the composition model data 125 by using the music generation algorithm using the Markov chain, or may generate the composition model data 125 by using the music generation algorithm using deep learning. May be good. The machine learning unit 152 may acquire new style information from the interface control unit 131 and relearn the composition model.
  • the composition unit 133 generates melody information based on the style information and the composition model data 125. For example, when the composition unit 133 acquires the changed style information from the interface control unit 131, the composition unit 133 inputs the time-series feature amounts of the chord progression information, the base information, and the rhythm information included in the style information into the composition model. Predict (compose) the time-series features of melody information. The composition unit 133 outputs the predicted melody information (new music information) to the interface control unit 131.
  • the arrangement unit 134 When the arrangement unit 134 receives the melody information, the parameters, and the information of the bar to be arranged, the arrangement unit 134 arranges the feature amount of the time series in the bar to be arranged of the melody information.
  • the arrangement unit 134 has an arrangement table in which parameters are associated with arrangement rules learned in advance, and arranges according to the parameters specified by the creator.
  • the arrangement unit 134 outputs the arranged melody information to the interface control unit 131.
  • the service server cooperation unit 135 notifies the service server 300 of the style information and provides services related to various SNSs.
  • the service server cooperation unit 135 provides the service server 300 with score information 740 included in the style information of the style information table 122.
  • the service server cooperation unit 135 receives the evaluation information regarding the score information 470 from the service server 300 from the service server 300, and stores the received evaluation information in association with the style information.
  • the interface control unit 131 may display such evaluation information in association with the name of the style information displayed in the style information list 280a of the window 280.
  • FIG. 17 is a diagram showing a configuration example of the creator terminal 200 according to the embodiment.
  • the creator terminal 200 has a communication unit 210, an input unit 220, an output unit 230, a storage unit 240, a control unit 250, and a display unit 260.
  • the communication unit 210 is realized by, for example, a NIC or a communication circuit.
  • the communication unit 210 is connected to the network N by wire or wirelessly, and transmits / receives information to / from other devices such as the information processing device 100 and other terminal devices via the network N.
  • the input unit 220 has a keyboard and a mouse connected to the creator terminal 2000.
  • the input unit 220 accepts input by the user.
  • the input unit 220 accepts user input using a keyboard or mouse.
  • the input unit 220 may have a function of detecting voice.
  • the input unit 220 may include a microphone that detects voice.
  • the input unit 220 may have a touch panel capable of realizing a function equivalent to that of a keyboard or a mouse.
  • the input unit 220 receives various operations from the user via the display screen by the function of the touch panel realized by various sensors.
  • the detection method of the user's operation by the input unit 220 the capacitance method is mainly adopted in the tablet terminal, but other detection methods such as the resistance film method, the surface acoustic wave method, the infrared method, and the electromagnetic wave are used. Any method such as a guidance method may be adopted as long as the user's operation can be detected and the touch panel function can be realized.
  • the creator terminal 200 may have an input unit that also accepts operations by buttons and the like.
  • the creator may use the input unit 220 to input MP3 information for setting in the accompaniment audio information 760.
  • the output unit 230 outputs various information.
  • the output unit 230 has a speaker that outputs sound.
  • the storage unit 240 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 240 stores various information used for displaying the information.
  • the storage unit 240 stores the operation history information 241.
  • the operation history information 241 is information indicating the history of operations performed on the creator terminal 200 by the creator who creates the music when the application is started.
  • the operation history information 241 may include various information related to the creator's operation, such as the content of the operation performed by the creator and the date and time when the operation was performed.
  • the operations include selection of style information presented by the information processing device 100, selection of a composition execution instruction button, reproduction, editing, and production of music information received from the information processing device 100.
  • the control unit 250 is realized by, for example, a CPU, an MPU, or the like executing a program stored inside the creator terminal 200 with a RAM or the like as a work area. Further, the control unit 250 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA.
  • the control unit 250 includes a display control unit 251, a transmission / reception unit 252, a request unit 253, and a reproduction unit 254.
  • the display control unit 251 controls various displays on the display unit 260.
  • the display control unit 251 controls the display of the display unit 260.
  • the display control unit 251 controls the display of the display unit 260 based on the information received from the information processing device 100.
  • the display control unit 251 controls the display of the display unit 260 based on the information generated by the processing by each component of the control unit 250.
  • the display control unit 251 may control the display of the display unit 260 by an application that displays an image.
  • the display control unit 251 displays windows 270 to 274, 280 to 283 (see FIGS. 3 to 10) and the like on the display unit 260 by the application of the automatic composition function by DAW and AI. For example, the information of windows 270 to 274 and 280 to 283 is transmitted from the interface control unit 131.
  • the display control unit 251 displays the newly composed melody information and the arranged melody information received from the information processing apparatus 100 by the request unit 253, which will be described later, in the area 282b of the window 282.
  • the transmission / reception unit 252 communicates with the information processing device 100 to transmit and receive various information.
  • the transmission / reception unit 252 receives the style information transmitted from the information processing apparatus 100.
  • the transmission / reception unit 252 transmits the style information ID selected by the creator to the information processing apparatus 100.
  • the transmission / reception unit 252 receives the style information from the information processing device 100.
  • the transmission / reception unit 252 transmits music information (style information) such as melody arranged and produced by the creator to the information processing device 100.
  • the request unit 253 makes a composition request and an arrangement request to the information processing device 100. For example, in window 282, when new style information is generated and a composition request instruction is received from the creator, composition request information including chord progression information, base information, and rhythm information is transmitted to the information processing apparatus 100. .. As a result, the information processing apparatus 100 generates new melody information and transmits the new melody information to the creator terminal 200.
  • the request unit 253 receives an instruction of the bar to be arranged and the parameter from the creator, the request unit 253 transmits the melody information, the bar to be arranged, and the arrangement request including the parameter to the information processing apparatus 100.
  • the information processing apparatus 100 arranges the bar to be arranged for the melody information, and transmits the arranged new melody information to the creator terminal 200.
  • the reproduction unit 254 reproduces the music information generated by the information processing apparatus 100. Specifically, the reproduction unit 254 sets arbitrary musical instrument information for each of the melody, chord, and bass sound included in the music data, and reproduces each data. The reproduction unit 254 may reproduce each of the melody, the chord, and the bass sound in combination.
  • control unit 250 accepts the performance by the creator when the producer performs the performance together with the composition provided by the automatic composition function. Further, the control unit 250 also accepts the arrangement of the composition provided by the automatic composition function by the creator and the processing related to the production of the music.
  • the display unit 260 displays various information.
  • the display unit 260 is realized by, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the display unit 260 displays various information according to the control by the display control unit 251.
  • the display unit 260 can also display information such as an image (interface) provided by the information processing apparatus 100.
  • FIG. 18 is a flowchart (1) showing a procedure of the information processing apparatus 100 according to the embodiment.
  • the process of FIG. 18 corresponds to the process described with reference to FIGS. 3 to 7.
  • the interface control unit 131 of the information processing apparatus 100 starts data communication with the creator terminal 200 and transmits the interface information (step S101).
  • the interface control unit 131 receives information on the formulation / scale, tempo, and number of measures selected by the creator in the window 270 of FIG. 3 from the creator terminal 200 (step S102).
  • the interface control unit 131 receives the rhythm information input to the creator from the creator terminal 200 in the window 271 of FIG. 4 (step S103).
  • the interface control unit 131 receives the chord progression information input to the creator in the window 272 of FIG. 5 from the creator terminal 200 (step S104).
  • the interface control unit 131 receives the base information input to the creator from the creator terminal 200 in the window 273 of FIG. 6 (step S105).
  • the interface control unit 131 receives the melody information input to the creator from the creator terminal 200 in the window 274 of FIG. 7 (step S105).
  • the process proceeds to step S106. If the melody information is not retried (steps S107, No), the process proceeds to step S108.
  • the interface control unit 131 executes the data storage process (step S108).
  • step S108 the interface control unit 131 generates style information based on the formulation / scale, tempo, bar number information, rhythm information, chord progression information, base information, melody information, etc. received from the creator terminal 200. Then, it is registered in the style information table 122.
  • the style information may be generated on the creator terminal 200 side, and the interface control unit 131 may receive the style information.
  • step S109 When additional recording of melody information is executed (steps S109, Yes), the process proceeds to step S106. On the other hand, the interface control unit 131 ends the process when the additional recording of the melody information is not executed (steps S109, No).
  • FIG. 19 is a flowchart (2) showing a procedure of the information processing apparatus 100 according to the embodiment.
  • the process of FIG. 19 corresponds to the process described with reference to FIGS. 8 to 10 and the like.
  • the interface control unit 131 of the information processing apparatus 100 starts data communication with the creator terminal 200 and transmits the interface information (step S201).
  • the interface control unit 131 receives the style information ID of the selected style name from the creator terminal 200 in the window 280 of FIG.
  • the interface control unit 131 transmits the style information corresponding to the style information ID to the creator terminal 200 (step S202).
  • the interface control unit 131 updates the chord progression information when the change of the chord progression information is received in the window 281 of FIG. 9 (step S203).
  • the interface control unit 131 updates the base information when the change of the base note is received in the window 282 of FIG. 10 (step S204).
  • the composition unit 133 of the information processing apparatus 100 executes the AI composition process based on the updated style information (step S205).
  • the interface control unit 131 transmits the music information (melody information) composed by AI to the creator terminal 200 (step S206).
  • step S207 If the interface control unit 131 has not received the arrangement request from the creator terminal 200 (steps S207 and No), the interface control unit 131 proceeds to step S210. On the other hand, when the interface control unit 131 receives the arrangement request from the creator terminal 200 (steps S207, Yes), the interface control unit 131 proceeds to step S208.
  • the interface control unit 131 accepts the designation of parameters and measures to be arranged (step S208).
  • the arrangement unit 134 of the information processing apparatus 100 executes an arrangement process for the bar to be arranged for the melody information (step S209).
  • the interface control unit 131 transmits the arranged music information (melody information) to the creator terminal 200 (step S210).
  • the interface control unit 131 registers new style information in the style information table 122 (step S220).
  • the interface control unit 131 receives a composition request for another melody information (step S212, Yes)
  • the interface control unit 131 proceeds to step S205.
  • the interface control unit 131 does not accept the composition request of another melody information (step S212, No)
  • the interface control unit 131 ends the process.
  • the information processing apparatus 100 creates an interface capable of generating music information by fixing some elements and editing other elements among a plurality of elements forming music information. Provided to the terminal 200. The information processing apparatus 100 generates new music information based on a plurality of music information created by using the interface. For example, the music information corresponds to the score information 740 of the style information 700.
  • the fixed elements are chord progression information, base information, and rhythm information.
  • the other element becomes melody information, and when a plurality of melody information is generated, a plurality of score information 740 corresponding to the melody information is generated.
  • the creator can easily create style information (a plurality of melody information, chord progress information, base information, rhythm information), and the information processing apparatus 100 can easily receive the style information. can.
  • the information processing device 100 generates new music information by inputting a plurality of music information into the learning model. This makes it possible to easily create new music information based on a plurality of music information. For example, new melody information can be generated based on the chord progression information, the base information, and the rhythm information included in the style information.
  • the information processing device 100 relearns the learning model based on a plurality of music information created by the creator. This makes it possible to generate new music information according to the preference of the creator.
  • the information processing apparatus 100 makes a plurality of style information selectable and displays them on the creator terminal 200, and visually displays each feature amount of the melody information, the chord progression information, the base information, and the rhythm information included in the selected style information. Display as possible. This makes it possible to perform editing work based on the style information that has already been created.
  • the information processing apparatus 100 registers as new style information when each feature amount of style information such as melody information, chord progress information, base information, and rhythm information is updated. This makes it possible to easily create new style information from a clone of style information.
  • the information processing apparatus 100 specifies a range for the melody information of the style information, and when the arrangement request is received, the information processing apparatus 100 executes the arrangement process for the designated range. This makes it possible to easily create melody information in which existing melody information is arranged.
  • the information processing apparatus 100 may execute the arrangement process not only for the melody information but also for the chord progression information, the base information, and the rhythm information when the range is specified.
  • the information processing device 100 stores the style information in association with the user ID each time new style information is generated. This makes it possible to accumulate a plurality of style information generated by the creator by the AI composition work.
  • the plurality of style information stored in the information processing device 100 can be used in other services such as SNS by linking with the service server 300.
  • the service server 300 can collect the evaluation information of the style information by disclosing the style information, and can associate the evaluation information with the style information and display it.
  • the accompaniment audio information 760 is set as the style information, and it is possible to have variations in the performance.
  • FIG. 20 is a diagram showing an example of a conceptual diagram of the configuration of an information processing system. Specifically, FIG. 20 is a schematic diagram showing an outline of the functions of the information processing system of FIG.
  • the server device shown in FIG. 20 corresponds to the information processing device 100.
  • the system administrator application unit shown in FIG. 20 corresponds to an application installed on a terminal used by the system administrator.
  • the mobile application unit for creators shown in FIG. 20 corresponds to the creator terminal 200 in the information processing system, and corresponds to the application installed in the creator terminal 200.
  • the plug-in application unit for creators shown in FIG. 20 corresponds to the creator terminal 200 in the information processing system, and corresponds to the application installed in the creator terminal 200.
  • the system administrator application unit, the creator mobile application unit, and the creator plug-in application unit are illustrated one by one, but these are included in a plurality depending on the number of corresponding terminals. You may.
  • the learning processing unit and control unit of the server device shown in FIG. 20 correspond to the control unit 130 of the information processing device 100.
  • the learning processing unit of the server device corresponds to the composition unit 133 of the information processing device 100.
  • the in-server database unit of the server device corresponds to the storage unit 120 of the information processing device 100.
  • the display operation unit, control unit, DAW application unit, mobile display operation unit, mobile control unit, plug-in display operation unit, and plug-in control unit of the creator application unit shown in FIG. 20 are the control unit 250 of the creator terminal 200. Corresponds to.
  • the SNS server shown in FIG. 20 corresponds to the service server 300.
  • the server device is connected to the system administrator application unit, the creator mobile application unit, and the creator plug-in application unit via a network N such as the Internet.
  • the server device is connected to the SNS server.
  • the server device has a control unit, a learning processing unit, and a database unit in the server.
  • the control unit of the server device has a production music information management function, a style information management function, and an arrangement information management function.
  • the learning processing unit of the server device has a machine learning processing function and a deep learning processing function.
  • the system administrator application unit has a display operation unit, a control unit, and a DAW application unit.
  • the display operation unit has a produced music display function, a style information display / editing function, and an arrangement information display function.
  • the control unit has a style information management function and an arrangement information management.
  • the DAW application unit has a DAW display editing function.
  • the DAW application unit is, for example, music editing software (DAW or the like), and for example, music information can be displayed by the copyrighted work information display function. If the DAW has, for example, an AI-assisted music production function, new music information can be produced while using the style information display / editing function.
  • the system administrator application section has the same configuration, and the user's authority over the system is different.
  • the creator application unit has a mobile display operation unit and a mobile control unit.
  • the mobile display operation unit has a produced music display function, a style information display / editing function, and an arrangement information display function.
  • the mobile control unit has a style information management function and an arrangement information management.
  • the plug-in application unit for creators has a plug-in display operation unit, a plug-in control unit, and a DAW application unit.
  • the plug-in display operation unit has a produced music display function, a style information display / editing function, and an arrangement information display function.
  • the plug-in control unit has a style information management function and an arrangement information management.
  • the DAW application unit is the same as the above description regarding the DAW display editing function.
  • the score information is recorded, but the DAW display editing possessed by the DAW application unit is performed.
  • the unit edits chord progress information, base information, rhythm information, and a plurality of melody information, reads out the information of the DAW application unit by the plug-in control unit, and uploads it to the control unit 130 of the information processing apparatus 100. It is possible to save style information all at once.
  • chord progression information is edited by the creator himself, but the chord progression information is arranged by communicating with the information processing apparatus 100 and requesting the arrangement of the chord progression information. , May be recommended.
  • the melody information is arranged, but for example, the melody information can be fixed and the chord progression information can be changed by the arrangement process.
  • can be arranged into the chord progression
  • the information processing apparatus 100 provides the score information 740 to the service server 300.
  • a composition contest is held among a plurality of creators, and a general user inputs the score information to the contest. You can also post.
  • the service server 300 can aggregate evaluation information, give a ranking, and determine a winner. Further, the service server 300 notifies the information processing apparatus 100 of the score information posted in the contest, and the information processing apparatus 100 generates and stores new style information using the notified score information. May be good.
  • the information processing apparatus 100 displays the window 280 of FIG. 8 and causes the creator to select the style information.
  • the information processing apparatus 100 may display a list classified by style information category, may display a card-type catalog with an image of style information as a background, and may display style information 3. It may be the one that maps to the dimensional graphic and makes the user search.
  • FIG. 21 is a diagram showing an example of catalog display. As shown in FIG. 21, in window 280-1, a card-type catalog with an image of style information as a background is displayed in the area 280-11.
  • the information processing apparatus 100 uses the X-axis based on the score information (melody information, chord progress information, base information, rhythm information feature amount) of the style information.
  • Y-axis, and Z-axis plot the points corresponding to the style information.
  • the X-axis is an axis indicating dark (minor) and bright (major), and the more positive the direction is, the brighter it is.
  • the Y-axis is defined as an axis indicating simple and tension, and the more positive the direction is, the more complicated it is.
  • the Z-axis is an axis indicating that the tempo of BPM is slow or fast, and the more positive the direction is, the faster the tempo is.
  • the information processing apparatus 100 acquires the style information corresponding to the selected points from the style information table 122, and obtains the acquired style information from the creator terminal 200. Send to and display.
  • the characteristics of the style information can be visually grasped, the style information of the creator's preference can be selected, and various editing can be performed.
  • FIG. 22 is a diagram showing an example of mapping by 3D graphic. As shown in FIG. 22, in the window 280-2, a point corresponding to the feature of the style information is set on the three-dimensional space 280-21.
  • FIG. 23 is a hardware configuration diagram showing an example of a computer that realizes the functions of the information processing apparatus 100 and the creator terminal 200.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the information processing device is an information processing method executed by a computer, and can generate the music information by fixing some of the elements forming the music information and editing other elements. Interface is provided, and new music information is generated based on a plurality of music information created by using the interface. As a result, the creator can easily create style information (multiple melody information, chord progress information, base information, rhythm information), and the information processing apparatus can easily receive the style information. ..
  • the information processing device generates the new music information by inputting the plurality of music information into the learning model. This makes it possible to easily create new music information based on a plurality of music information.
  • the information processing device relearns the learning model based on the plurality of music information. This makes it possible to generate new music information according to the preference of the creator.
  • the information processing device provides the interface and acquires a fixed feature amount for some elements and a plurality of feature amounts for other elements included in the plurality of music information. This makes it possible to efficiently collect and use a plurality of music information.
  • the information processing device displays different music information in a selectable manner by the interface, and when the selection of the music information is received from the different music information, the feature amount of a plurality of elements forming the selected music information is visually observed. Display as possible. This makes it possible to perform editing work based on the style information that has already been created.
  • the information processing device generates new music information having the updated feature amount when the feature amount of the element forming the selected music information is updated. This makes it possible to easily create new style information from a clone of style information.
  • the information processing device arranges the feature amount included in the range and obtains new music information having the arranged feature amount. Generate. This makes it possible to easily create melody information in which existing music information (melody information, etc.) is arranged.
  • the information processing device stores the new music information in association with the user's identification information each time new music information is generated. This makes it possible to accumulate a plurality of style information generated by the creator by the AI composition work.
  • the information processing device maps the points corresponding to the music information to the multidimensional space based on the feature amount included in the music information, and displays the mapped points. As a result, the characteristics of the style information can be visually grasped, the style information of the creator's preference can be selected, and various editing can be performed.
  • Information processing device 110 210 Communication unit 120, 240 Storage unit 121 User information 122 Style information table 123 Style information management table 124 Production music information table 125 Composition model data 130, 250 Control unit 131 Interface control unit 132 Machine learning unit 133 Composition section 134 Arrangement section 135 Service server linkage section 200 Producer terminal 220 Input section 230 Output section 241 Operation history information 251 Display control section 252 Transmission / reception section 253 Request section 254 Playback section 260 Display section

Abstract

情報処理装置100は、楽曲情報を形成する一部の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供し、前記インタフェースを用いて作成された複数の楽曲情報に基づいて、機械学習モデルにより新たな楽曲情報を生成する。

Description

情報処理方法、情報処理プログラム及び情報処理装置
 本開示は、情報処理方法、情報処理プログラム及び情報処理装置に関する。
 AI(Artificial Intelligence)の進歩に伴い、芸術分野におけるコンピュータの活用が進められている。
 たとえば、既存の楽曲を学習データとして機械学習を行って楽曲生成のための学習モデルを生成し、新たな楽曲をコンピュータに作曲させる技術が知られている(たとえば、特許文献1)。かかる技術では、マルコフモデルを用いて、既存の楽曲の特徴を模倣したり、より自然な旋律を生成したりすることが可能である。
米国特許第9110817号明細書
 従来技術によれば、作曲作業においてAIによって提案(生成)された楽曲データを利用することができるため、利用者は、より多様な観点に基づいて作曲を行うことができる。
 AIによる自動作曲機能では、利用者は、明るい、暗いなどのイメージを設定することで、自動的に創作された楽曲情報を受け取ることができるが、楽曲情報の編集を容易に行い、利用者の好みに合った楽曲情報の提供を受けたいという要望がある。
 そこで、本開示では、AIによる自動作曲機能の利便性を向上させることができる情報処理方法、情報処理プログラム及び情報処理装置を提案する。
 上記の課題を解決するために、本開示に係る一形態の情報処理方法では、コンピュータは、楽曲情報を形成する一部の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供し、前記インタフェースを用いて作成された複数の楽曲情報に基づいて、機械学習モデルにより新たな楽曲情報を生成する。
実施形態に係る情報処理の流れを示す概念図である。 実施形態に係るスタイル情報のデータ構成の一例を示す図である。 実施形態に係る制作者端末がスタイル情報を生成する際の表示画面の一例を示す図(1)である。 実施形態に係る制作者端末がスタイル情報を生成する際の表示画面の一例を示す図(2)である。 実施形態に係る制作者端末がスタイル情報を生成する際の表示画面の一例を示す図(3)である。 実施形態に係る制作者端末がスタイル情報を生成する際の表示画面の一例を示す図(4)である。 実施形態に係る制作者端末がスタイル情報を生成する際の表示画面の一例を示す図(5)である。 実施形態に係る制作者端末が作曲処理を実行する際の表示画面の一例を示す図(1)である。 実施形態に係る制作者端末が作曲処理を実行する際の表示画面の一例を示す図(2)である。 実施形態に係る制作者端末が作曲処理を実行する際の表示画面の一例を示す図(3)である。 実施形態に係る情報処理システムの一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る利用者情報の一例を示す図である。 実施形態に係るスタイル情報テーブルの一例を示す図である。 実施形態に係るスタイル情報管理テーブルの一例を示す図である。 実施形態に係る制作楽曲情報テーブルの一例を示す図である。 実施形態に係る制作者端末の構成例を示す図である。 実施形態に係る情報処理装置100の手順を示すフローチャート(1)である。 実施形態に係る情報処理装置100の手順を示すフローチャート(2)である。 情報処理システムの構成の概念図の一例を示す図である。 カタログ表示の一例を示す図である。 3次元グラフィックによるマッピングの一例を示す図である。 情報処理装置、制作者端末の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、本願の開示する情報処理方法、情報処理プログラム及び情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
 以下に示す項目順序に従って本開示を説明する。
  1.実施形態
   1-1.実施形態に係る情報処理の一例
   1-2.実施形態に係る情報処理システムの構成
   1-3.実施形態に係る情報処理装置の構成
   1-4.実施形態に係る制作者端末の構成
   1-5.実施形態に係る情報処理の手順
   1-6.実施形態に係る効果
  2.情報処理システムの構成の概念図
   2-1.全体構成について
   2-2.サーバ装置について
   2-3.各アプリ部について
  3.その他の実施形態
  4.ハードウェア構成
  5.むすび
[1.実施形態]
[1-1.実施形態に係る情報処理の一例]
 まず、図1を用いて、実施形態に係る情報処理の一例を説明する。図1は、実施形態に係る情報処理の流れを示す概念図である。実施形態に係る情報処理は、情報処理装置100及び制作者端末200によって実行される。
 本実施形態では、情報処理装置100が著作物としてのコンテンツの創作に関するサービス(単に「サービス」ともいう)を提供する情報処理装置である場合を一例として示す。なお、以下では、楽曲(音楽コンテンツ)をコンテンツの一例として示すが、コンテンツは、楽曲に限らず、映画などの映像コンテンツや書籍(小説等)等の文字コンテンツ等、種々のコンテンツであってもよい。また、ここでいう楽曲は、完成された1つの曲(全体)に限らず、1つの曲(楽曲)を構成する一部の音源や、サンプリングに利用される短い音などの種々の音楽情報が含まれる概念である。
 情報処理装置100は、情報処理装置100が提供するサービスを利用する利用者の制作者端末200との間で、インターネット等のネットワークN(図6参照)を用いて相互に通信を行う。なお、制作者端末200の台数は、図1に図示したものに限られない。
 情報処理装置100は、制作者端末200のAIによる自動作曲機能に関する情報処理を実行するサーバ装置である。たとえば、情報処理装置100は、いわゆるクラウドサーバであり、ネットワークNを介して制作者端末200から指示された情報にしたがって、AIによる自動作曲を実行し、制作者端末200に生成した楽曲情報を提供する。
 制作者端末200は、スマートフォン、PC(personal computer)、タブレット端末等の情報処理端末である。制作者端末200には、各種のプログラムアプリケーションがインストールされる。制作者端末200には、楽曲の創作に関するアプリケーションがインストールされる。たとえば、制作者端末200は、総合的な音楽制作環境を実現するDAW(Digital Audio Workstation)等のアプリに、プラグイン(拡張アプリ)により追加された、AIによる自動作曲機能を有する。たとえば、プラグインは、VST(Steinberg's Virtual Studio Technology)(登録商標)、AudioUnits、AAX(Avid Audio eXtension)等の形態をとることができる。また、制作者端末200は、DAWに限らず、たとえば、iOSなどのモバイルアプリを用いてもよい。
 図1を用いて、情報処理の流れを説明する。たとえば、情報処理装置100は、スタイル情報を生成するためのインタフェースを、制作者端末200に提供する(ステップS11)。スタイル情報は、作曲モデルの機械学習を実行する場合に用いられる学習データである。
 制作者端末200は、DAWを起動し、プラグイン等を用いて、情報処理装置100から提供されたインタフェースを表示する。制作者C1は、制作者端末200を操作して、スタイル情報を生成し、情報処理装置100に提供する(ステップSS12)。
 ここでは、制作者端末200の利用者を、制作者C1として説明するが、これに限定されるものではない。たとえば、制作者端末200の利用者は、システム全体の運用及び管理を行う管理者、楽曲の創作を行う作曲家、アレンジャー、スタジオエンジニア等の制作者、自動作曲機能を介して楽曲情報の提供を受ける一般利用者のいずれかである。
 情報処理装置100は、制作者端末200(図示しない他の端末装置)からスタイル情報を収集し、収集した複数のスタイル情報を用いて、作曲モデルの機械学習を実行する(ステップS13)。たとえば、作曲モデルは、マルコフモデル等に対応する。
 情報処理装置100は、作曲モデルを用いて、新たな楽曲情報を生成し、制作者端末200に楽曲情報を提供する(ステップS14)。
 続いて、スタイル情報の一例について説明する。スタイル情報は、メロディ情報、コード情報、ベース情報、リズム情報等を有する。図2は、実施形態に係るスタイル情報のデータ構成の一例を示す図である。スタイル情報700は、スタイル情報ID710、スタイルタイプID711、公開可否情報712、スタイルパレットシーケンス情報720、スタイルパレット情報730、スコア情報740、スタイルパレットメタ情報750、伴奏オーディオ情報760を有する。
 スタイル情報ID710は、スタイル情報700を識別する情報である。スタイルタイプID711は、スタイル情報700の属する種別を識別する情報である。公開可否情報712は、該当するスタイル情報700を、一般の利用者に公開することを許容するか否かの情報である。公開可否情報712は、2値の情報であってもよい。
 スタイルパレットシーケンス情報720は、スタイルパレット情報730の順序を示す情報である。スタイルパレットシーケンス情報720は、スタイルパレット情報730を一意に示すスタイルパレットIDと、bar indexとを1組とし、この組を複数有することにより、スタイルパレット情報730の楽曲中における順序を管理する情報となる。たとえば、図2に示す例の場合、楽曲の1~4小節はスタイルパレットID731aが対応し、5~8小節はスタイルパレットID731bが対応し、x~y小節はスタイルパレットID731zが対応する、と定義される。
 スタイルパレット情報730は、スタイルパレット情報の識別情報であるスタイルパレットIDに、同じ小節に対するスコア情報740のスコアIDを登録した情報である。
 スタイルパレット情報730では、コード情報のコード進行が類似している複数のスコア情報740のスコアIDが束ねられていてもよい。類似するコード進行は、たとえば、コード進行が全く同一のものである。或いは、類似するコード進行は、各コードをTonic(T)、Sub-dominat(S)、Dominat(D)に分類して、T,S,Dの並びが同一のものでもよい。なお、ハ長調イ短調の場合は、Tは、C/Em/Amであり、Sは、F,Dmであり、Dは、G,Dm7-5である。そして、コード進行C-D-G-CとEm-Dm-Bm7-5-Amは、いずれもT-S-D-Tであるため、同一のコード進行と考えることができる。また、類似するコード進行は、音楽理論を用いるのではく、たとえば、機械学習や深層学習により類似するコード進行を基準に分類することも可能である。
 スコア情報740は、楽曲から抽出された複数の種別(要素)の特徴量を含む。スコア情報740は、スコアID、メロディ情報、コード進行情報、ベース情報及びリズム情報を有する。スコアIDは、スコア情報の識別情報である。メロディ情報は、規定された長さの小節におけるメロディである。コード進行情報は、規定された長さの小節におけるコード進行を示す情報である。ベース情報は、規定された長さの小節におけるベース音の進行を示す情報である。リズム情報は、規定された長さの小節におけるドラム音の進行(ドラムのパターンやテンポ)を示す情報である。
 スタイルパレットメタ情報750は、調号/スケール情報、テンポ情報、小節数情報を含む。調号/スケール情報は、スタイル情報700に対応する楽曲の調号を識別する情報であり、長調(ハ長調、、二長調、イ長調等)であるのか短調(イ短調、ホ短調、ロ短調等)が設定される。テンポ情報は、スタイル情報700に対応する楽曲のテンポを示す情報であり、BPM(Beats Per Minute)等によって設定される。小節数は、小節数情報は、スタイル情報700に対応する小節の数を示す。たとえば、小節数情報には、4小節、8小節等が設定される。
 伴奏オーディオ情報760は、複数のMP3(MPEG-1 Audio Layer-3)情報を有する。MP3情報は、スコア情報740に設定されたメロディ情報、コード進行情報、ベース情報、リズム情報に対応させて、制作者C1が独自に録音した音楽の情報である。
 情報処理装置100は、図2で説明したスタイル情報700を学習データとして用いた機械学習を実行し、作曲モデルを生成する。したがって、情報処理装置100は、楽曲情報そのものを学習するのではなく、楽曲情報から抽出されたメロディ情報、コード進行情報、ベース情報、リズム情報等の複数の種別(要素)の時系列の特徴量で構成されたスタイル情報を学習する。すなわち、情報処理装置100は、楽曲情報から予め抽出された複数の特徴量を学習するため、楽曲情報そのものを学習する場合と比して情報処理の負荷が小さく、ユーザへの楽曲情報も効率的に提供できる。
 たとえば、情報処理装置100は、学習データとなるスタイル情報を、制作者端末200から提供されるものとする。情報処理装置100は、スタイル情報を作成するためのインタフェースを、制作者端末200に提示する。制作者C1は、制作者端末200に表示されたインタフェースを用いて、新たなスタイル情報を生成し、新たなスタイル情報を、情報処理装置100に提供する。
 具体的に、制作者による楽曲創作の過程について説明する。図3~図7は、実施形態に係る制作者端末200がスタイル情報を生成する際の表示画面の一例を示す図である。図3~図7に示す表示画面(ウィンドウ)は、情報処理装置100によって提供されるインタフェースに対応する。制作者が、制作者端末200において、自動作曲機能を起動させると、図3に示すウィンドウ270が制作者端末200に表示される。
 図3のウィンドウ270は、調号/スケール設定部270a、テンポ設定部270b、小節数設定部270cを有する。調号/スケール設定部270aは、調号/スケール情報を設定できる領域である。調号情報は、英米式表記では、C、D、E、F、G、A、B等であり、スケール情報は、minor、major等である。調号/スケール情報では、調号情報と、スケール情報とを組み合わせたものとなり、C-major、D-minor等で示される。テンポ設定部270bは、テンポ情報を設定できる領域である。たとえば、テンポ情報として、120BPM等が指定される。小節数設定部270cは、小節数情報を設定できる領域である。たとえば、小節数情報として、4小節、8小節、16小節等が設定される。制作者C1は、制作者端末200を操作して、調号/スケール情報、テンポ情報、小節数情報を入力する。図3に示すウィンドウ270に続いて、図4に示すウィンドウ271が制作者端末200に表示される。
 図4のウィンドウ271は、リズム情報設定部271aを有する。リズム情報設定部271aは、リズム情報を設定できる領域である。たとえば、リズムの要素には、Hi-Hat(以下、HH)、Snare-Drum(以下、SD)、Bass-Drum(以下、BD)などがある。リズム情報設定部271aでは、16分音符ごとにそれぞれHH、SD、BDの入力ボタンをグリッド状に配置される。制作者C1は、各入力ボタンを任意にON(アクティブ)またはOFF(非アクティブ)に設定することにより、リズムパターンを入力することができる。入力ボタンがONの場合には、音の強さ(以下、velocity)を更に設定することができる。たとえば、velocityは、0~127の値であるが入力ボタンをタップした際には、初期値として100が入力される。制作者C1は、上下にスワイプすることで、velocityの値を増減され、velocityの値を容易に変更することができる。
 リズム情報設定部271aにおいて、横に並んだ連続する入力ボタン四つで、1小節のリズム情報を示す。1つの入力ボタンが、1ビートに対応する。強調表示された入力ボタンを、アクティブとし、強調されていない入力ボタンを非アクティブとする。HH、SD、BDに対応する1ビート毎のアクティブ、非アクティブの情報、velocityの値が、リズム情報の特徴量となる。リズム情報の特徴量は、小節毎に、bar indexに対応付けられる。制作者C1は、制作者端末200を操作して、リズム情報を入力する。制作者端末200は、入力されたリズム情報を、スコア情報740のリズム情報として保存する。図4に示すウィンドウ271に続いて、図5に示すウィンドウ272が制作者端末200に表示される。
 図5のウィンドウ272は、コード進行情報設定部272aを有する。コード進行情報設定部272aは、コード進行情報を設定できる領域である。たとえば、領域272a-1の連続するグリッド状の入力領域四つで、1小節のコード進行情報を示す。領域272a-1の入力領域を選択し、領域272a-2の選択ボタンを押下すると、押下された選択ボタンに対応するコードが、選択した入力領域に設定される。
 コードには、C、Dm、Em、F、G、Am、Bm等があり、小節毎に並べることができる。たとえば、4小節のスタイル情報の場合には、コード進行情報は、|Em|Am|F|G|、|C|Dm|Em|F|等となる。コードは、小節内の拍毎に変更することもできる。
 たとえば、制作者C1は、制作者端末200を操作して、入力領域272a-11を選択した状態で、「Em」の選択ボタン272a-21を押下すると、入力領域272a-11に、コード「Em」が設定される。このように、制作者C1は、C、Dm、Em、F、G、Am、Bmなど、基本的なコードを有する選択ボタンにより簡単に選択することができるが、CM7、C7、Csus4などの複雑なコードも入力することができる。
 領域272a-1に含まれるコードの順番が、コード進行情報の特徴量となる。コード進行情報の特徴量は、小節毎に、bar indexに対応付けられる。制作者端末200は、入力されたコード進行情報を、スコア情報740のコード進行情報として保存する。図5に示すウィンドウ272に続いて、図6に示すウィンドウ273が制作者端末200に表示される。
 図6のウィンドウ273は、ベース情報設定部273aを有する。ベース情報設定部273aは、ベース情報を設定できる領域である。たとえば、領域273a-1の連続する入力領域四つで、1小節のベース情報を示す。領域273a-1の入力領域を選択し、領域273a-2の選択ボタンを押下すると、選択ボタンに対応するコードが、選択した入力領域に設定される。基本的には、ベースノートは、コード名に対応しており、たとえば、Cのコードであれば、ベースノートはC、DmのコードであればベースノートはD、EmのコードであればベースノートはEとなる。
 なお、制作者C1は、ベースノートとして、コード名と異なるものを設定することが可能である。たとえば、Cのコードに対して、Fのベースノートを指定し、Dmのコードに対して、Bのベースノートを指定し、Emのコードに対して、Fのベースノートを指定することができる。たとえば、コードと、ベースノートとが異なる場合には、分数で表記を行い、分母をベースノート、分子をコード名で表記する。すなわち、Cのコードに対して、Fのベースノートを指定すると、表記は「C/F」となる。
 制作者C1は、制作者端末200を操作して、入力領域273a-11を選択した状態で、「F」の選択ボタン273a-21を押下すると、入力領域273a-11に、ベースノート「F」が設定される。同一の入力領域に対して、すでにコード名Cが設定されている場合には、「C/F」が設定される。領域273a-1に含まれるベースノートの順番が、ベース情報の特徴量となる。ベース情報の特徴量は、小節毎に、bar indexに対応付けられる。制作者端末200は、入力されたベース情報を、スコア情報740のベース情報として保存する。図6に示すウィンドウ273に続いて、図7に示すウィンドウ274が制作者端末200に表示される。
 図7のウィンドウ274は、メロディ情報設定部274aを有する。メロディ情報設定部274aは、メロディ情報を設定できる領域である。たとえば、制作者C1が、再生ボタン240cを押下すると、制作者端末200は、図3~図5で設定されたコード進行情報、ベース情報、リズム情報に対応する伴奏を行う。
 制作者C1は、伴奏を聞きつつ、制作者端末200を操作して、メロディ情報設定部274aのピアノの鍵盤の画像を押下することで、押下した時間、押下した鍵盤の位置に応じたメロディ情報を入力(演奏)する。入力されたメロディ情報は、部分領域274bに表示される。部分領域274bにおいて、1小節の範囲は、範囲274b-1となる。メロディ情報は、バーによって、視覚可能に表示され、バーの位置が音階に対応し、バーの長さが、音の長さを示す。各小節における音階、音の長さが、メロディ情報の特徴量となる。メロディ情報の特徴量は、小節毎に、bar indexに対応付けられる。
 制作者端末200は、入力されたメロディ情報を、スコア情報740のメロディ情報として保存する。なお、制作者C1は、リトライ要求を行うことで、メロディ情報を、スコア情報740に登録することなく、再度、メロディ情報を入力することができる。
 ここで、図7のウィンドウ274において、制作者C1は、コード進行情報、ベース情報、リズム情報を固定したままで、複数のメロディ情報を繰り返し生成することができる。制作者端末200は、図3~図7のウィンドウで入力された情報を基にして、図2で説明したスタイル情報700を生成し、生成したスタイル情報700を、情報処理装置100に提供する。
 以下において、制作者端末200が、スタイル情報700を生成する処理の一例について説明する。制作者端末200は、図4~図6で生成されたコード進行情報、ベース情報、リズム情報と、図7で生成した一つのメロディ情報の組を、一つのスコア情報740とし、ユニークなスコアIDを付与する。制作者端末200は、複数のメロディ情報が生成した場合には、各メロディ情報について、スコア情報740をそれぞれ生成し、それぞれのスコア情報740に、スコアIDを付与する。
 制作者端末200は、複数のスコア情報740が生成された場合に、複数のスコア情報740のコード進行情報を基にして、類似するコード進行情報を、一つのスタイルパレット情報730に束ね、ユニークなスタイルパレットIDを付与する。
 制作者端末200は、スタイルパレット情報のスコアIDに対応するスコア情報470を参照し、メロディ情報、コード進行情報、ベース情報、リズム情報に対応するbar indexを特定することで、bar indexと、スタイルパレットIDとの関係を特定し、スタイルパレットシーケンス情報720を生成する。bar indexと、スタイルパレットIDとの関係は、制作者C1が適宜指定してもよい。
 制作者端末200は、図3で入力された調号/スケール情報と、テンポ情報と、小節数情報を、スタイルパレットメタ情報750として設定する。制作者端末200は、スタイル情報を指定して、MP3情報の入力を受け付けた場合に、MP3情報を、伴奏オーディオ情報760に設定する。
 制作者端末200は、スタイル情報700を生成する場合に、ユニークなスタイル情報ID710を付与する。制作者端末200は、制作者C1からの入力に応じて、スタイルタイプID711、公開可否情報712を設定する。
 上記のように、情報処理装置100は、楽曲情報を形成する複数の要素のうち、一部の要素を固定するとともに、他の要素を編集することで、楽曲情報を生成可能なインタフェースを制作者端末200に提供する。情報処理装置100は、インタフェースを用いて作成された複数の楽曲情報に基づいて、新たな楽曲情報を生成する。たとえば、楽曲情報は、スタイル情報700のスコア情報740に対応する。固定される要素は、コード進行情報、ベース情報、リズム情報となる。他の要素は、メロディ情報となり、複数のメロディ情報が生成されると、メロディ情報に応じた複数のスコア情報740が生成される。
 これによって、制作者C1は、容易にスタイル情報を作成することができ、情報処理装置100は、容易にスタイル情報の提供を受けることができる。情報処理装置100は、提供された複数のスタイル情報を用いて、作曲モデルの機械学習を実行する。
 続いて、前述の処理が終了すると、制作者C1は、情報処理装置100とデータ通信を実行することで、AIによる作曲処理を行うことができる。図8~図10は、実施形態に係る制作者端末200が作曲処理を実行する際の表示画面の一例を示す図である。図8~図10に示す表示画面(ウィンドウ)は、情報処理装置100によって提供されるインタフェースに対応する。制作者C1が、制作者端末200において、自動作曲機能を起動させると、図8に示すウィンドウ280が制作者端末200に表示される。
 図8のウィンドウ280は、スタイル情報一覧280aが含まれる。制作者C1は、制作者端末200を操作することで、スタイル情報一覧280aに含まれる複数のスタイル情報から、いずれかのスタイル情報を選択する。図8に示す例では、スタイル情報の名称280a1~280a7が、スタイル情報一覧280aに表示されている。たとえば、スタイル情報の名称280a1~280a7は、スタイル情報IDにそれぞれ対応付けられているものとする。スタイル情報の名称に関連付けて、スタイル情報の作成日時、評価、コメント等を合わせてスタイル情報一覧280aに表示してもよい。制作者C1は、制作者端末200を操作して、スタイル情報の名称を選択する。スタイル情報一覧280aに表示されたスタイル情報の名称280a1~280a7のいずれかが選択されると、図9に示すウィンドウ281が制作者端末200に表示される。
 図9のウィンドウ281は、コード進行情報設定部281aと、メロディ情報表示部281bとを有する。コード進行情報設定部281aの説明は、図5で説明したコード進行情報設定部272aと同様にして、コード進行情報を設定する領域281a-1と、コードの選択ボタンを表示する領域281a-2を有する。制作者端末200は、領域281a-1に、図8のウィンドウ280で選択されたスタイル情報のコード進行情報を設定する。制作者端末200は、メロディ情報表示部281bに、図8のウィンドウ280で選択されたスタイル情報のメロディ情報を表示する。
 制作者C1は、領域281a-1に設定されたコード進行を自分の好みに変更することができる。たとえば、制作者C1は、領域281a-2の選択ボタンと、領域281a-1とを操作することで、|C|Dm|Em|F|というコード進行を、|C|Dm7|Em7|FM7|というコード進行に変更することができる。変更されたコード進行の情報は、制作者端末200から、情報処理装置100に通知される。
 上記のようにコード進行が変更された場合、情報処理装置100は、新たなスタイル情報を瞬時に作り出すことができる。たとえば、図8のウィンドウ280で選択されたスタイル情報700Aには、コード進行情報(|C|Dm|Em|F|)が含まれている場合、図9で説明した処理が実行されることで、コード進行情報(|C|Dm7|Em7|FM7|)を含む新たなスタイル情報710A´が生成される。スタイル情報700Aと、スタイル情報710A´とは、スタイル情報ID、コード進行情報以外の情報について、共通のものとなる。スタイル情報710A´は、スタイル情報一覧280aに追加される。ウィンドウ281においてコード進行情報の変更が完了すると、図10のウィンドウ282が制作者端末200に表示される。
 図10のウィンドウ282は、ベース情報設定部273aと、メロディ情報表示部282bとを有する。ベース情報設定部273aの説明は、図6で説明したベース情報設定部273aと同様にして、ベース情報を設定する領域282a-1と、ベースノートの選択ボタンを表示する領域282a-2を有する。制作者端末200は、領域282a-1に、図8のウィンドウ280で選択されたスタイル情報のベース情報を設定する。制作者端末200は、メロディ情報表示部282bに、図8のウィンドウ280で選択されたスタイル情報のメロディ情報を表示する。
 制作者C1は、領域282a-1に設定されたベースノートを自分の好みに変更することができる。たとえば、制作者C1は、領域282a-2の選択ボタンと、領域282a-1とを操作することで、ベース情報を変更する。ベース情報が変更されると、上記のコード進行情報が変更された場合と同様にして、新たなスタイル情報が生成され、スタイル情報一覧280aに追加される。ウィンドウ282において、ベース情報の変更が完了すると、変更されたスタイル情報が、情報処理装置100に通知される。
 情報処理装置100は、更新されたスタイル情報を基にして、作曲モデルの機械学習を実行する。情報処理装置100は、制作者端末200から、更新されたスタイル情報に関して、作曲依頼を受け付けると、作曲モデルを用いて、更新されたスタイル情報の新たなメロディ情報を自動作成する。情報処理装置100は、新たなメロディ情報を、制作者端末200に通知し、ウィンドウに新たなメロディ情報を表示させる。たとえば、情報処理装置100は、図9のウィンドウ281に含まれるメロディ情報表示部281b等に、新たなメロディ情報を表示させる。
 ここで、情報処理装置100の作曲モデルによって生成された新たなメロディ情報をアレンジすることもできる。制作者C1は、制作者端末200を操作して、アレンジ対象となる小節を指定して、情報処理装置100に対して、アレンジ要求を行う。アレンジ対象となる小節を、アレンジ対象小節と表記する。図9を用いて説明すると、たとえば、制作者C1は、制作者端末200を操作して、アレンジ対象小節281b-1を指定する。
 情報処理装置100は、メロディ情報の全小節のうち、アレンジ対象小節のメロディ情報をアレンジする。たとえば、情報処理装置100は、パラメータと、予め学習されたアレンジルールとを対応付けたアレンジテーブルを有しており、制作者C1によって、パラメータを指定されると、指定されたパラメータに応じたアレンジを実行してもよい。情報処理装置100は、アレンジされたメロディ情報の有するスコア情報740を、履歴として、保存する。
 上記の処理は、繰り返し実行されることができ、制作者C1のスタイル情報には、制作者C1好みのスコア情報740に蓄積され、スタイル情報は、制作者C1の好みに最適化される。
[1-2.実施形態に係る情報処理システムの構成]
 図11は、実施形態に係る情報処理システムの一例を示す図である。図11に示すように、情報処理システムは、情報処理装置100と、制作者端末200-1~200-3と、サービスサーバ300とを有する。図11に示す例では、制作者端末200-1~200-3を図示するが、特に区別なく説明する場合には、制作者端末200と記載する。情報処理装置100は、ネットワークNを介して、制作者端末200に接続される。情報処理装置100は、ネットワークNを介して、サービスサーバ300に接続される。
 情報処理装置100は、スタイル情報を生成するためのインタフェースを、制作者端末200に提供し、制作者端末200から、スタイル情報を取得する。情報処理装置100は、取得したスタイル情報を基にして、新たな楽曲情報を生成し、制作者端末200に提供する。
 制作者端末200は、情報処理装置100からインタフェースの提供を受け付け、図1~図7等で説明したウィンドウを表示する。制作者端末200は、制作者から、スタイル情報に関する情報の入力を受け付け、スタイル情報を、情報処理装置100に提供する。
 制作者端末200は、情報処理装置100からインタフェースの提供を受け付け、図8等で示したスタイル情報一覧を表示する。制作者端末200は、制作者から、スタイル情報の選択、選択されたスタイル情報の更新を受け付け、更新されたスタイル情報を、情報処理装置100に通知する。
 サービスサーバ300は、各種のSNS(Social Networking Service)に関するサービスを提供する。たとえば、サービスサーバ300は、情報処理装置100から、スタイル情報に含まれるスコア情報740の提供を受け付け、スコア情報740と、MIDI(Musical Instrument Digital Interface)情報とを基にして、MP3を生成する。サービスサーバ300は、生成したMP3を各種のSNSサイトに投稿し、SNSサイトの利用者から、評価情報を収集する。
[1-3.実施形態に係る情報処理装置100の構成]
 次に、図12を用いて、図11に示した情報処理装置100の構成について説明する。図12は、実施形態に係る情報処理装置100の構成例を示す図である。図12に示すように、この情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。
 通信部110は、たとえば、NIC(Network Interface Card)等によって実現される。通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、制作者端末200、サービスサーバ300との間で情報の送受信を行う。
 記憶部120は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、情報処理に用いる各種データを記憶する。記憶部120は、利用者情報121と、スタイル情報テーブル122と、スタイル情報管理テーブル123と、制作楽曲情報テーブル124と、作曲モデルデータ125を有する。
 利用者情報121は、利用者に関する各種情報(利用者情報)を記憶する。図13は、実施形態に係る利用者情報121の一例を示す図である。
 利用者情報121は、利用者ID、利用者メタ情報、権限情報を含む。利用者情報121は、各利用者IDに対応する利用者メタ情報や権限情報を各利用者IDに対応付けて記憶する。
 利用者IDは、利用者を一意に特定するための識別情報を示す。たとえば、利用者IDは、制作者、一般利用者、システム管理者等の利用者を一意に特定するための識別情報を示す。利用者メタ情報は、たとえば、利用者の氏名や住所など、利用者の付加情報である。権限情報は、たとえば、システム管理者権限情報、制作者権限情報、一般利用者権限情報といった権限を識別するための値が保存される。なお、利用者情報121は、上記に限らず、目的に応じて種々の情報を記憶してもよい。利用者メタ情報には、利用者に関する各種情報を記憶してもよい。たとえば、利用者メタ情報には、利用者が自然人である場合、利用者の性別や年齢などのデモグラフィック属性情報やサイコグラフィック属性情報等を記憶してもよい。
 スタイル情報テーブル122は、制作者端末200から提供された複数のスタイル情報を保持する。図14は、実施形態に係るスタイル情報テーブル122の一例を示す図である。図14に示すように、スタイル情報テーブル122には、複数のスタイル情報700A~700d等が含まれる。スタイル情報テーブル122は、スタイル情報700A~700d以外のスタイル情報が含まれていてもよい。スタイル情報700a~700dに関する説明は、図2で説明したスタイル情報700に関する説明と同様である。
 スタイル情報管理テーブル123は、スタイル情報と、このスタイル情報を制作した制作者とを関連づける情報を保持する。図15は、実施形態に係るスタイル情報管理テーブル123の一例を示す図である。図15に示すように、スタイル情報管理テーブル123は、利用者IDと、スタイル情報IDとを対応付ける。利用者IDは、利用者を一意に特定するための識別情報を示す。スタイル情報IDは、スタイル情報を識別する情報である。たとえば、スタイル情報管理テーブル123の1行目では、利用者ID「C1」の制作者によって、スタイル情報ID710Aのスタイル情報、スタイル情報ID710Bのスタイル情報が作成されたことが示される。
 制作楽曲情報テーブル124は、スコア情報と、このスコア情報を制作した制作者とを関連づける情報を保持する。図16は、実施形態に係る制作楽曲情報テーブル124の一例を示す図である。図16に示すように、この制作楽曲情報テーブル124は、利用者IDと、スコアIDとを対応付ける。利用者IDは、利用者を一意に特定するための識別情報を示す。スコアIDは、スコア情報を識別する情報である。
 作曲モデルデータ125は、スタイル情報テーブル122に含まれる複数のスタイル情報を入力とした機械学習を実行することで生成される作曲モデルのデータである。たとえば、かかる作曲モデルでは、コード進行情報、ベース情報、リズム情報の時系列の特徴量と、メロディ情報の時系列の特徴量との関係が学習されるため、作曲モデルに、コード進行情報、ベース情報、リズム情報を入力すると、入力したコード進行情報、ベース情報、リズム情報から推測されるメロディ情報が予測され、これによって、楽曲情報が自動的に生成される。作曲モデルは、マルコフモデル等に対応する。
 実施形態では、作曲モデルを用いて、メロディ情報を予測する場合について説明するが、これに限定されるものではなく、コード進行情報、ベース情報、リズム情報を予測するような機械学習を実行することで、作曲モデルデータ125を生成してもよい。
 図12の説明に戻る。制御部130は、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
 制御部130は、インタフェース制御部131、機械学習部132、作曲部133、アレンジ部134、サービスサーバ連携部135を有する。
 インタフェース制御部131は、スタイル情報等の楽曲情報を生成可能なインタフェースを、制作者端末200に提供する処理部である。まず、図3~図7で説明したウィンドウ270~274に関するインタフェース制御部131の処理について説明する。
 インタフェース制御部131は、図3~図7で説明したウィンドウ270~274の情報を、制作者端末200に送信する。制作者端末200は、図3~図7で説明したウィンドウ270~274を表示し、制作者から、スタイル情報の入力を受け付ける。インタフェース制御部131は、制作者端末200から、スタイル情報を受信する。たとえば、スタイル情報には、利用者IDが対応付けられる。
 インタフェース制御部131は、制作者端末200から受信したスタイル情報を、スタイル情報テーブル122に登録する。インタフェース制御部131は、スタイル情報に含まれるスタイル情報IDと、利用者IDとの関係を、スタイル情報管理テーブル123に登録する。
 インタフェース制御部131が、制作者端末200から受信するスタイル情報には、固定されたコード進行情報、ベース情報、リズム情報に対して、複数のメロディ情報が含まれる。
 インタフェース制御部131は、スタイル情報に含まれる複数のスコア情報のうち、いずれかのスコア情報が指定されている場合には、指定されたスコア情報のスコアIDと、利用者IDとを対応付けて、制作楽曲情報テーブル124に登録する。たとえば、制作者は、制作者端末200を操作して、お気に入りのスコア情報を指定する。
 続いて、図8~図10で説明したウィンドウ280~282に関するインタフェース制御部131の処理について説明する。インタフェース制御部131は、図8~図10で説明したウィンドウ280~282の情報を、制作者端末200に表示させる。たとえば、インタフェース制御部131は、スタイル情報テーブル122に登録されたスタイル情報に対応する名称を、図8のウィンドウ280のスタイル情報一覧280aに表示させる。
 制作者端末200は、制作者によって、ウィンドウ280のスタイル情報一覧280aに表示されたスタイル情報の名称のうち、いずれかの名称が選択されると、選択された名称に対応するスタイル情報IDを、インタフェース制御部131に通知する。
 インタフェース制御部131は、スタイル情報IDを受信すると、スタイル情報IDに対応するスタイル情報を、スタイル情報テーブル122から取得し、取得したスタイル情報を、制作者端末200に送信する。インタフェース制御部131が、かかる処理を実行することで、図9のウィンドウ281の領域281a-1に、スタイル情報のコード進行情報が設定される。
 インタフェース制御部131は、図9のウィンドウ281において、コード進行情報が変更された場合には、新たなスタイル情報を生成し、生成した新たなスタイル情報を、スタイル情報テーブル122に登録する。
 また、インタフェース制御部131が、スタイル情報を制作者端末200に送信することで、図10のウィンドウ282の領域282a-2に、スタイル情報のベース情報が設定される。インタフェース制御部131は、図10のウィンドウ282において、ベース情報が変更された場合にも、新たなスタイル情報を生成し、生成した新たなスタイル情報を、スタイル情報テーブル122に登録する。
 ここで、インタフェース制御部131は、制作者端末200から、変更されたスタイル情報による作曲処理の依頼を受け付けた場合には、変更されたスタイル情報を、作曲部153に出力する。インタフェース制御部131は、作曲部153から、変更されたスタイル情報に対応するメロディ情報を取得し、取得したメロディ情報を、制作者端末200に送信する。これによって、図9のウィンドウ281に含まれるメロディ情報表示部281b等に、新たなメロディ情報が表示される。インタフェース制御部131は、新たなメロディ情報を有するスタイル情の追加要求を、制作者端末200から受け付けた場合に、新たなメロディ情報を有するスタイル情を、スタイル情報テーブル122に登録する。
 インタフェース制御部131は、パラメータ、アレンジ対象小節の指定を受け付けた場合、メロディ情報と、パラメータ、アレンジ対象小節の情報とを、アレンジ部154に出力する。インタフェース制御部131は、アレンジ部154から、アレンジされたメロディ情報を取得し、取得したメロディ情報を、制作者端末200に送信する。インタフェース制御部131は、アレンジされたメロディ情報を有するスタイル情報の追加要求を、制作者端末200から受け付けた場合に、アレンジされたメロディ情報を有するスタイル情報を、スタイル情報テーブル122に登録する。
 インタフェース制御部131が、上記の処理を実行することで、新たなスタイル情報が、スタイル情報テーブル122に蓄積されていく。
 機械学習部152は、スタイル情報テーブル122に登録されたスタイル情報を基にして、作曲モデルデータ125を生成する。たとえば、機械学習部152は、コード進行情報、ベース情報、リズム情報の時系列の特徴量と、メロディ情報の時系列の特徴量との関係を機械学習することで、作曲モデルデータ125を生成する。機械学習部152は、マルコフ連鎖を用いた楽曲生成アルゴリズムを利用して作曲モデルデータ125を生成してもよいし、深層学習を用いた楽曲生成アルゴリズムを利用して作曲モデルデータ125を生成してもよい。機械学習部152は、インタフェース制御部131から、新たなスタイル情報を取得して、作曲モデルを再学習してもよい。
 作曲部133は、スタイル情報と、作曲モデルデータ125を基にして、メロディ情報を生成する。たとえば、作曲部133は、インタフェース制御部131から、変更されたスタイル情報を取得すると、スタイル情報に含まれるコード進行情報、ベース情報、リズム情報の時系列の特徴量を、作曲モデルに入力し、メロディ情報の時系列の特徴量を予測(作曲)する。作曲部133は、予測したメロディ情報(新たな楽曲情報)を、インタフェース制御部131に出力する。
 アレンジ部134は、メロディ情報と、パラメータと、アレンジ対象小節の情報とを受け付けると、メロディ情報のアレンジ対象小節において、時系列の特徴量をアレンジする。たとえば、アレンジ部134は、パラメータと、予め学習されたアレンジルールとを対応付けたアレンジテーブルを有しており、制作者によって指定されたパラメータに応じたアレンジを実行する。アレンジ部134は、アレンジしたメロディ情報を、インタフェース制御部131に出力する。
 サービスサーバ連携部135は、スタイル情報を、サービスサーバ300に通知して、各種のSNSに関するサービスを提供する。サービスサーバ連携部135は、スタイル情報テーブル122のスタイル情報に含まれるスコア情報740を、サービスサーバ300に提供する。サービスサーバ連携部135は、サービスサーバ300から、スコア情報470に関する評価情報を、サービスサーバ300から受信し、受信した評価情報を、スタイル情報と関連付けて保存する。インタフェース制御部131は、かかる評価情報を、ウィンドウ280のスタイル情報一覧280aに表示されたスタイル情報の名称に関連付けて、表示させてもよい。
[1-4.実施形態に係る制作者端末200の構成]
 次に、図17を用いて、図11に示す制作者端末200の構成について説明する。図17は、実施形態に係る制作者端末200の構成例を示す図である。図17に示すように、制作者端末200は、通信部210、入力部220、出力部230、記憶部240、制御部250及び表示部260を有する。
 通信部210は、例えば、NICや通信回路等によって実現される。通信部210は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、情報処理装置100や他の端末装置等の他の装置等との間で情報の送受信を行う。
 入力部220は、利用者から各種操作が入力される。入力部220は、制作者端末2000に接続されたキーボードやマウスを有する。入力部220は、利用者による入力を受け付ける。入力部220は、キーボードやマウスによる利用者の入力を受け付ける。入力部220は、音声を検知する機能を有してもよい。この場合、入力部220は、音声を検知するマイクが含まれてもよい。
 入力部220は、表示部260を介して各種情報が入力されてもよい。この場合、入力部220は、キーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部220は、各種センサにより実現されるタッチパネルの機能により、表示画面を介して利用者から各種操作を受け付ける。なお、入力部220による利用者の操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、利用者の操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、制作者端末200は、ボタン等による操作も受け付ける入力部を有してもよい。
 また、制作者は、入力部220を用いて、伴奏オーディオ情報760に設定するためのMP3情報を入力してもよい。
 出力部230は、各種情報を出力する。出力部230は、音声を出力するスピーカーを有する。
 記憶部240は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部240は、情報の表示に用いる各種情報を記憶する。記憶部240は、操作履歴情報241を記憶する。
 操作履歴情報241は、楽曲を創作する制作者がアプリケーションの起動時に制作者端末200に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報241には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。操作として、情報処理装置100から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置100から受信した楽曲情報の再生、編集、制作などがある。
 制御部250は、例えば、CPUやMPU等によって、制作者端末200内部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。また、制御部250は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現されてもよい。制御部250は、表示制御部251、送受信部252、要求部253、及び再生部254を有する。
 表示制御部251は、表示部260に対する各種表示を制御する。表示制御部251は、表示部260の表示を制御する。表示制御部251は、情報処理装置100から受信した情報に基づいて、表示部260の表示を制御する。表示制御部251は、制御部250の各構成要素による処理により生成された情報に基づいて、表示部260の表示を制御する。表示制御部251は、画像を表示するアプリケーションにより表示部260の表示を制御してもよい。
 表示制御部251は、DAW及びAIによる自動作曲機能のアプリケーションにより、ウィンドウ270~274,280~283(図3~図10参照)等を表示部260に表示させる。たとえば、ウィンドウ270~274,280~283の情報は、インタフェース制御部131から送信される。表示制御部251は、後述する要求部253が、情報処理装置100から受信する、新たに作曲されたメロディ情報や、アレンジされたメロディ情報を、ウィンドウ282の領域282b等に表示させる。
 送受信部252は、情報処理装置100との間において通信を行い、各種情報の送信及び受信を行う。自動作曲機能起動時には、送受信部252は、情報処理装置100から送信された、スタイル情報を受信する。送受信部252は、制作者によって選択されたスタイル情報IDを、情報処理装置100に送信する。そして、送受信部252は、情報処理装置100から、スタイル情報を受信する。また、送受信部252は、制作者によって編曲、制作されたメロディ等の楽曲情報(スタイル情報)を情報処理装置100に送信する。
 要求部253は、情報処理装置100に対して、作曲依頼、アレンジ要求を行う。たとえば、ウィンドウ282において、新たなスタイル情報が生成され、制作者から、作曲依頼の指示を受け付けると、コード進行情報、ベース情報、リズム情報を含む作曲依頼の情報を、情報処理装置100に送信する。これによって、情報処理装置100は、新たなメロディ情報を生成し、新たなメロディ情報を、制作者端末200に送信する。
 また、要求部253は、制作者から、アレンジ対象小節、パラメータの指示を受け付けると、メロディ情報と、アレンジ対象小節と、パラメータとを含むアレンジ要求を、情報処理装置100に送信する。これによって、情報処理装置100は、メロディ情報のアレンジ対象小節をアレンジし、アレンジした新たなメロディ情報を、制作者端末200に送信する。
 再生部254は、情報処理装置100が生成した楽曲情報を再生する。具体的には、再生部254は、楽曲データに含まれるメロディやコード、ベース音の各々に任意の楽器情報を設定し、各々のデータを再生する。なお、再生部254は、メロディやコード、ベース音の各々を組み合わせて再生してもよい。
 また、制御部250は、制作者が、自動作曲機能によって提供された作曲とともに演奏を行う場合に、制作者による演奏を受け付ける。また、制御部250は、制作者による、自動作曲機能によって提供された作曲への編曲や、楽曲の制作に関する処理も受け付ける。
 表示部260は、各種情報を表示する。表示部260は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される。表示部260は、表示制御部251による制御に応じて、各種情報を表示する。表示部260は、情報処理装置100から提供される画像(インタフェース)等の情報を表示することも可能である。
[1-5.実施形態に係る情報処理の手順]
 次に、図18を用いて、実施形態に係る各種情報処理の手順について説明する。図18は、実施形態に係る情報処理装置100の手順を示すフローチャート(1)である。図18の処理は、図3~図7で説明した処理に対応する。情報処理装置100のインタフェース制御部131は、制作者端末200とデータ通信を開始し、インタフェースの情報を送信する(ステップS101)。
 インタフェース制御部131は、図3のウィンドウ270において、制作者に選択された調合/スケール、テンポ、小節数の情報を、制作者端末200から受信する(ステップS102)。インタフェース制御部131は、図4のウィンドウ271において、制作者に入力されるリズム情報を制作者端末200から受信する(ステップS103)。インタフェース制御部131は、図5のウィンドウ272において、制作者に入力されるコード進行情報を、制作者端末200から受信する(ステップS104)。
 インタフェース制御部131は、図6のウィンドウ273において、制作者に入力されるベース情報を、制作者端末200から受信する(ステップS105)。インタフェース制御部131は、図7のウィンドウ274において、制作者に入力されるメロディ情報を、制作者端末200から受信する(ステップS105)。メロディ情報のリトライが行われる場合には(ステップS107,Yes)、ステップS106に移行する。メロディ情報のリトライが行われない場合には(ステップS107,No)、ステップS108に移行する。
 インタフェース制御部131は、データ保存処理を実行する(ステップS108)。ステップS108において、インタフェース制御部131は、制作者端末200から受信した調合/スケール、テンポ、小節数の情報、リズム情報、コード進行情報、ベース情報、メロディ情報等を基にして、スタイル情報を生成し、スタイル情報テーブル122に登録する。なお、制作者端末200側でスタイル情報を生成し、インタフェース制御部131が、スタイル情報を受信してもよい。
 メロディ情報の追加録音が実行される場合には(ステップS109,Yes)、ステップS106に移行する。一方、インタフェース制御部131は、メロディ情報の追加録音が実行されない場合には(ステップS109,No)、処理を終了する。
 図19は、実施形態に係る情報処理装置100の手順を示すフローチャート(2)である。図19の処理は、図8~図10等で説明した処理に対応する。情報処理装置100のインタフェース制御部131は、制作者端末200とデータ通信を開始し、インタフェースの情報を送信する(ステップS201)。
 インタフェース制御部131は、図8のウィンドウ280において、選択されたスタイル名のスタイル情報IDを制作者端末200から受信する。インタフェース制御部131は、スタイル情報IDに対応するスタイル情報を、制作者端末200に送信する(ステップS202)。
 インタフェース制御部131は、図9のウィンドウ281において、コード進行情報の変更を受け付けた場合に、コード進行情報を更新する(ステップS203)。インタフェース制御部131は、図10のウィンドウ282において、ベースノートの変更を受け付けた場合に、ベース情報を更新する(ステップS204)。
 情報処理装置100の作曲部133は、更新されたスタイル情報を基にして、AI作曲処理を実行する(ステップS205)。インタフェース制御部131は、AI作曲された楽曲情報(メロディ情報)を、制作者端末200に送信する(ステップS206)。
 インタフェース制御部131は、制作者端末200からアレンジ要求を受け付けていない場合には(ステップS207,No)、ステップS210に移行する。一方、インタフェース制御部131は、制作者端末200からアレンジ要求を受け付けた場合には(ステップS207,Yes)、ステップS208に移行する。
 インタフェース制御部131は、パラメータおよびアレンジ対象小節の指定を受け付ける(ステップS208)。情報処理装置100のアレンジ部134は、メロディ情報のアレンジ対象小節に対してアレンジ処理を実行する(ステップS209)。インタフェース制御部131は、アレンジした楽曲情報(メロディ情報)を制作者端末200に送信する(ステップS210)。
 インタフェース制御部131は、新たなスタイル情報を、スタイル情報テーブル122に登録する(ステップS220)。インタフェース制御部131は、別のメロディ情報の作曲依頼を受け付けた場合には(ステップS212,Yes)、ステップS205に移行する。一方、インタフェース制御部131は、別のメロディ情報の作曲依頼を受け付けない場合には(ステップS212,No)、処理を終了する。
[1-6.実施形態に係る効果]
 上記のように、情報処理装置100は、楽曲情報を形成する複数の要素のうち、一部の要素を固定するとともに、他の要素を編集することで、楽曲情報を生成可能なインタフェースを制作者端末200に提供する。情報処理装置100は、インタフェースを用いて作成された複数の楽曲情報に基づいて、新たな楽曲情報を生成する。たとえば、楽曲情報は、スタイル情報700のスコア情報740に対応する。固定される要素は、コード進行情報、ベース情報、リズム情報となる。他の要素は、メロディ情報となり、複数のメロディ情報が生成されると、メロディ情報に応じた複数のスコア情報740が生成される。これによって、制作者は、容易にスタイル情報(複数のメロディ情報、コード進行情報、ベース情報、リズム情報)を作成することができ、情報処理装置100は、容易にスタイル情報の提供を受けることができる。
 情報処理装置100は、複数の楽曲情報を学習モデルに入力することで、新たな楽曲情報を生成する。これによって、複数の楽曲情報を基にして、新たな楽曲情報を容易に作成することができる。たとえば、スタイル情報に含まれるコード進行情報、ベース情報、リズム情報に基づいて、新たなメロディ情報を生成することができる。
 情報処理装置100は、制作者が作成した、複数の楽曲情報を基にして、学習モデルを再学習する。これによって、制作者の好み応じた新たな楽曲情報を生成することができる。
 情報処理装置100は、複数のスタイル情報を選択可能にして、制作者端末200に表示させ、選択されたスタイル情報に含まれるメロディ情報、コード進行情報、ベース情報、リズム情報の各特徴量を視覚可能に表示する。これによって、既に作成済みのスタイル情報を基本として、編集作業を実行することができる。
 情報処理装置100は、スタイル情報のメロディ情報、コード進行情報、ベース情報、リズム情報の各特徴量が更新された場合に、新たなスタイル情報として登録を行う。これによって、スタイル情報のクローンから、新たなスタイル情報を容易に作成することができる。
 情報処理装置100は、スタイル情報のメロディ情報に対して、範囲を指定され、アレンジ要求を受け付けた場合に、指定された範囲に対してアレンジ処理を実行する。これによって、既存のメロディ情報をアレンジしたメロディ情報を容易に作成することができる。情報処理装置100は、メロディ情報に限らず、コード進行情報、ベース情報、リズム情報に対して範囲が指定された場合に、アレンジ処理を実行してもよい。
 情報処理装置100は、新たなスタイル情報が生成されるたびに、利用者IDと対応付けてスタイル情報を保存する。これによって、AI作曲作業によって、制作者によって生成された複数のスタイル情報を蓄積することができる。
 情報処理装置100に保存された複数のスタイル情報は、サービスサーバ300と連携することで、SNS等の他のサービスで利用することができる。たとえば、サービスサーバ300が、スタイル情報を公開することで、スタイル情報の評価情報を収集することができ、スタイル情報に評価情報を関連付けて、表示させることができる。なお、スタイル情報には、伴奏オーディオ情報760が設定されており、演奏のバリエーションを持たせることができる。
[2.情報処理システムの構成の概念図]
 ここで、図を用いて、情報処理システムにおける各機能やハードウェア構成やデータを概念的に示す。図20は、情報処理システムの構成の概念図の一例を示す図である。具体的には、図20は、図11の情報処理システムの機能概要を示す模式図である。
[2-1.全体構成について]
 図20に示すサーバ装置は、情報処理装置100に対応する。また、図20に示すシステム管理者用アプリ部は、システム管理者が使用する端末にインストールされたアプリに対応する。図20に示す制作者用モバイルアプリ部は、情報処理システムにおける制作者端末200に対応し、制作者端末200にインストールされたアプリに対応する。また、図20に示す制作者用プラグインアプリ部は、情報処理システムにおける制作者端末200に対応し、制作者端末200にインストールされたアプリに対応する。図20の例では、システム管理者用アプリ部、制作者用モバイルアプリ部や制作者用プラグインアプリ部を各々1つずつ図示したが、これらは、対応する端末の数に応じて複数含まれてもよい。
 図20に示すサーバ装置の学習処理部や制御部は、情報処理装置100の制御部130に対応する。たとえば、サーバ装置の学習処理部は、情報処理装置100の作曲部133に対応する。サーバ装置のサーバ内データベース部は、情報処理装置100の記憶部120に対応する。
 図20に示す制作者用アプリ部の表示操作部、制御部、DAWアプリ部、モバイル表示操作部、モバイル制御部、プラグイン表示操作部、プラグイン制御部は、制作者端末200の制御部250に対応する。
 図20に示すSNSサーバは、サービスサーバ300に対応する。
 図20に示すように、サーバ装置は、例えばインターネットなどのネットワークNを介して、システム管理者用アプリ部、制作者者用モバイルアプリ部、および、制作者用プラグインアプリ部に接続される。サーバ装置は、SNSサーバに接続される。
[2-2.サーバ装置について]
 まず、サーバ装置に関連する構成について説明する。
 サーバ装置は、制御部、学習処理部、及びサーバ内データベース部を有している。サーバ装置の制御部は、制作楽曲情報管理機能、スタイル情報管理機能、アレンジ情報管理機能を有する。サーバ装置の学習処理部は、機械学習処理機能及び深層学習処理機能を有する。
[2-3.各アプリ部について]
 次に、システム管理者用アプリ部に関連する構成について説明する。
 システム管理者用アプリ部は、表示操作部と制御部とDAWアプリ部を有している。表示操作部は、制作楽曲表示機能、スタイル情報表示編集機能、アレンジ情報表示機能を有する。制御部は、スタイル情報管理機能、アレンジ情報管理を有する。
 DAWアプリ部は、DAW表示編集機能を有する。DAWアプリ部は、たとえば、音楽編集ソフト(DAW等)であり、著作物情報表示機能にて、例えば音楽情報を表示することができる。DAWが、例えばAIアシスト音楽制作機能を有していれば、スタイル情報表示編集機能を利用しながら新しい音楽情報を制作することができる。なお、システム管理者用アプリ部も同様の構成を有しており、使用者のシステムに対する権限が異なる。
 制作者用モバイルアプリ部について説明する。
 制作者用アプリ部は、モバイル表示操作部とモバイル制御部とを有している。モバイル表示操作部は、制作楽曲表示機能、スタイル情報表示編集機能、アレンジ情報表示機能を有する。モバイル制御部は、スタイル情報管理機能、アレンジ情報管理を有する。
 制作者用プラグインアプリ部について説明する。
 制作者用プラグインアプリ部は、プラグイン表示操作部とプラグイン制御部とDAWアプリ部を有している。プラグイン表示操作部は、制作楽曲表示機能、スタイル情報表示編集機能、アレンジ情報表示機能を有する。プラグイン制御部は、スタイル情報管理機能、アレンジ情報管理を有する。DAWアプリ部は、上記のDAW表示編集機能に関する説明と同様である。
 [3.その他の実施形態]
 上述した実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態(変形例)にて実施されてよい。
 上記の実施形態の説明では、コード進行情報、ベース情報、リズム情報を設定して、メロディ情報の入力を受け付けた場合に、スコア情報として、記録しているが、DAWアプリ部の有するDAW表示編集部が、コード進行情報、ベース情報、リズム情報、複数のメロディ情報を編集しておき、プラグイン制御部によって、DAWアプリ部の情報を読み出し、情報処理装置100の有する制御部130にアップロードすることで、一括してスタイル情報を保存することが可能である。
 図9で説明した例では、コード進行情報を、制作者自身が編集を行っているが、情報処理装置100と通信を行って、コード進行情報のアレンジ要求を行い、アレンジされたコード進行情報を、推奨してもよい。
 上述した実施形態の説明では、メロディ情報のアレンジを行っているが、たとえば、メロディ情報を固定して、アレンジ処理により、コード進行情報に変化をつけることが可能である。たとえば、|C|Dm|Em|F|というコード進行情報を、アレンジ処理を実行して、|C|FM7|G7|F|というコード進行にアレンジすることができる。
 上述した実施形態の説明では、情報処理装置100は、スコア情報740をサービスサーバ300に提供しているが、複数の制作者間で、作曲コンテストをおこない、一般のユーザが、コンテストにスコア情報を投稿することもできる。サービスサーバ300は、評価情報を集計し、ランキングをつけ、優勝者を決定することが可能である。また、サービスサーバ300は、コンテストに投稿されたスコア情報を、情報処理装置100に通知し、情報処理装置100は、通知されたスコア情報を用いて、新たなスタイル情報を生成し、保存してもよい。
 上述した実施形態の説明では、情報処理装置100は、図8のウィンドウ280を表示させて、制作者にスタイル情報を選択させているが、スタイル情報の候補の表示方法は、様々な表示方法があげられる。たとえば、情報処理装置100は、スタイル情報のカテゴリ毎に分類した一覧リストを表示させてもよいし、スタイル情報のイメージを背景にしたカード形式のカタログを表示させてもよいし、スタイル情報を3次元グラフィックにマッピングを行ってユーザに探索させるものであってもよい。
 図21は、カタログ表示の一例を示す図である。図21に示すように、ウィンドウ280-1では、スタイル情報のイメージを背景にしたカード形式のカタログが、領域280―11に表示されている。
 3次元グラフィックにマッピングを行い制作者に探索させる処理では、情報処理装置100は、スタイル情報のスコア情報(メロディ情報、コード進行情報、ベース情報、リズム情報の特徴量)を基にして、X軸、Y軸、Z軸からなる空間に、スタイル情報に対応する点をプロットする。X軸を、暗い(minor)、明るい(major)を示す軸とし、プラス方向に向かうほど、明るいことを示す。Y軸を、単純(simple)、複雑(tension)を示す軸とし、プラス方向に向かうほど、複雑であることを示す。Z軸を、BPMのテンポが遅い、早いを示す軸とし、プラス方向に向かうほど、テンポが速いことを示す。
 情報処理装置100は、3次元グラフィック上にプロットした点が選択された場合には、選択された点に対応するスタイル情報をスタイル情報テーブル122から取得し、取得したスタイル情報を、制作者端末200に送信して、表示させる。これによって、視覚的にスタイル情報の特徴を把握して、制作者の好みのスタイル情報を選択でき、各種の編集を行うことができる。
 図22は、3次元グラフィックによるマッピングの一例を示す図である。図22に示すように、ウィンドウ280-2では、スタイル情報の特徴に対応する点が、3次元空間280-21上に設定されている。
 [4.ハードウェア構成]
 上述してきた各実施形態や変形例に係る情報処理装置100、制作者端末200等の情報機器は、例えば図23に示すような構成のコンピュータ1000によって実現される。図23は、情報処理装置100、制作者端末200の機能を実現するコンピュータの一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インタフェース1500、及び入出力インタフェース1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
 通信インタフェース1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインタフェースである。例えば、CPU1100は、通信インタフェース1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インタフェース1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインタフェースである。例えば、CPU1100は、入出力インタフェース1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インタフェース1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部120内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[5.むすび]
 情報処理装置は、コンピュータが実行する情報処理方法であって、楽曲情報を形成する複数の要素のうち、一部の要素を固定するとともに、他の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供し、前記インタフェースを用いて作成された複数の楽曲情報に基づいて、新たな楽曲情報を生成する。これによって、制作者は、容易にスタイル情報(複数のメロディ情報、コード進行情報、ベース情報、リズム情報)を作成することができ、情報処理装置は、容易にスタイル情報の提供を受けることができる。
 情報処理装置は、前記複数の楽曲情報を学習モデルに入力することで、前記新たな楽曲情報を生成する。これによって、複数の楽曲情報を基にして、新たな楽曲情報を容易に作成することができる。
 情報処理装置は、前記複数の楽曲情報を基にして、前記学習モデルを再学習する。これによって、制作者の好み応じた新たな楽曲情報を生成することができる。
 情報処理装置は、前記インタフェースを提供し、前記複数の楽曲情報に含まれる、一部の要素に対する固定された特徴量と、他の要素に対する複数の特徴量とを取得する。これによって、複数の楽曲情報を効率的に収集して利用することができる。
 情報処理装置は、前記インタフェースによって、異なる楽曲情報を選択可能に表示し、前記異なる楽曲情報から、楽曲情報の選択を受け付けた場合、選択された楽曲情報を形成する複数の要素の特徴量を視覚可能に表示する。これによって、既に作成済みのスタイル情報を基本として、編集作業を実行することができる。
 情報処理装置は、選択された楽曲情報を形成する要素の特徴量が更新された場合に、更新された特徴量を有する新たな楽曲情報を生成する。これによって、スタイル情報のクローンから、新たなスタイル情報を容易に作成することができる。
 情報処理装置は、選択された楽曲情報を形成する要素の特徴量に対して範囲が指定された場合に、前記範囲に含まれる特徴量をアレンジし、アレンジした特徴量を有する新たな楽曲情報を生成する。これによって、既存の楽曲情報(メロディ情報等)をアレンジしたメロディ情報を容易に作成することができる。
 情報処理装置は、新たな楽曲情報が生成されるたびに、新たな楽曲情報を利用者の識別情報と対応させて保存する。これによって、AI作曲作業によって、制作者によって生成された複数のスタイル情報を蓄積することができる。
 情報処理装置は、前記楽曲情報に含まれる特徴量を基にして、前記楽曲情報に対応する点を多次元空間にマッピングし、マッピングした前記点を表示する。これによって、視覚的にスタイル情報の特徴を把握して、制作者の好みのスタイル情報を選択でき、各種の編集を行うことができる。
 100  情報処理装置
 110,210  通信部
 120,240  記憶部
 121  利用者情報
 122  スタイル情報テーブル
 123  スタイル情報管理テーブル
 124  制作楽曲情報テーブル
 125  作曲モデルデータ
 130,250  制御部
 131  インタフェース制御部
 132  機械学習部
 133  作曲部
 134  アレンジ部
 135  サービスサーバ連携部
 200  制作者端末
 220  入力部
 230  出力部
 241  操作履歴情報
 251  表示制御部
 252  送受信部
 253  要求部
 254  再生部
 260  表示部

Claims (10)

  1.  楽曲情報を生成するための情報処理方法であって、
     前記楽曲情報を形成する一部の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供し、
     前記インタフェースを用いて作成された複数の楽曲情報に基づいて、機械学習モデルにより新たな楽曲情報を生成する
     処理を実行する情報処理方法。
  2.  前記複数の楽曲情報を基にして、前記機械学習モデルを再学習する請求項1に記載の情報処理方法。
  3.  前記インタフェースを提供し、前記複数の楽曲情報に含まれる、一部の要素に対する固定された特徴量と、他の要素に対する複数の特徴量とを取得する請求項1に記載の情報処理方法。
  4.  前記インタフェースによって、異なる楽曲情報を選択可能に表示し、前記異なる楽曲情報から、楽曲情報の選択を受け付けた場合、選択された楽曲情報を形成する複数の要素の特徴量を視覚可能に表示する請求項1に記載の情報処理方法。
  5.  選択された楽曲情報を形成する要素の特徴量が更新された場合に、更新された特徴量を有する新たな楽曲情報を生成する請求項4に記載の情報処理方法。
  6.  選択された楽曲情報を形成する要素の特徴量に対して範囲が指定された場合に、前記範囲に含まれる特徴量をアレンジし、アレンジした特徴量を有する新たな楽曲情報を生成する請求項3に記載の情報処理方法。
  7.  新たな楽曲情報が生成されるたびに、新たな楽曲情報を利用者の識別情報と対応させて保存する請求項1に記載の情報処理方法。
  8.  前記楽曲情報に含まれる特徴量を基にして、前記楽曲情報に対応する点を多次元空間にマッピングし、マッピングした前記点を表示する請求項3に記載の情報処理方法。
  9.  コンピュータを、
     楽曲情報を形成する一部の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供するインタフェース制御部と、
     前記インタフェースを用いて作成された複数の楽曲情報に基づいて、機械学習モデルにより新たな楽曲情報を生成する作曲部
     として機能させるための情報処理プログラム。
  10.  楽曲情報を形成する一部の要素を編集することで前記楽曲情報を生成可能なインタフェースを提供するインタフェース制御部と、
     前記インタフェースを用いて作成された複数の楽曲情報に基づいて、機械学習モデルにより新たな楽曲情報を生成する作曲部と
     を有する情報処理装置。
PCT/JP2021/027524 2020-08-31 2021-07-26 情報処理方法、情報処理プログラム及び情報処理装置 WO2022044646A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022545552A JPWO2022044646A1 (ja) 2020-08-31 2021-07-26
US18/005,972 US20230298547A1 (en) 2020-08-31 2021-07-26 Information processing method, information processing program, and information processing device
EP21861074.9A EP4207180A4 (en) 2020-08-31 2021-07-26 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING DEVICE
CN202180050510.8A CN116057622A (zh) 2020-08-31 2021-07-26 信息处理方法、信息处理程序和信息处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-146425 2020-08-31
JP2020146425 2020-08-31

Publications (1)

Publication Number Publication Date
WO2022044646A1 true WO2022044646A1 (ja) 2022-03-03

Family

ID=80353058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027524 WO2022044646A1 (ja) 2020-08-31 2021-07-26 情報処理方法、情報処理プログラム及び情報処理装置

Country Status (5)

Country Link
US (1) US20230298547A1 (ja)
EP (1) EP4207180A4 (ja)
JP (1) JPWO2022044646A1 (ja)
CN (1) CN116057622A (ja)
WO (1) WO2022044646A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244648A (ja) * 1996-11-05 1997-09-19 Casio Comput Co Ltd 自動作曲機
US9110817B2 (en) 2011-03-24 2015-08-18 Sony Corporation Method for creating a markov process that generates sequences
WO2020166094A1 (ja) * 2019-02-12 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9799312B1 (en) * 2016-06-10 2017-10-24 International Business Machines Corporation Composing music using foresight and planning
US20190043239A1 (en) * 2018-01-07 2019-02-07 Intel Corporation Methods, systems, articles of manufacture and apparatus for generating a response for an avatar
US10657934B1 (en) * 2019-03-27 2020-05-19 Electronic Arts Inc. Enhancements for musical composition applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244648A (ja) * 1996-11-05 1997-09-19 Casio Comput Co Ltd 自動作曲機
US9110817B2 (en) 2011-03-24 2015-08-18 Sony Corporation Method for creating a markov process that generates sequences
WO2020166094A1 (ja) * 2019-02-12 2020-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP4207180A4
TSUSHIMA, HIROAKI ET AL.: "Interactive Composition System Based on Chord and Melody Hierarchical Generation Model", IPSJ SIG TECHNICAL REPORT, vol. 2018 -MUS-120, no. 14, 31 July 2018 (2018-07-31), JP , pages 1 - 7, XP009535325, ISSN: 2188-8752 *

Also Published As

Publication number Publication date
US20230298547A1 (en) 2023-09-21
CN116057622A (zh) 2023-05-02
EP4207180A1 (en) 2023-07-05
JPWO2022044646A1 (ja) 2022-03-03
EP4207180A4 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
US7790974B2 (en) Metadata-based song creation and editing
EP2772904B1 (en) Apparatus and method for detecting music chords and generation of accompaniment.
US7792782B2 (en) Internet music composition application with pattern-combination method
JP4033944B2 (ja) 演奏する楽曲に合わせた推薦楽曲選出機能に特徴を有する通信カラオケシステム
CN101014994A (zh) 内容生成设备和内容生成方法
JP5771498B2 (ja) 楽曲再生システム、装置及び楽曲再生方法
CN108182227A (zh) 伴奏音频推荐方法、装置和计算机可读存储介质
WO2021106694A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022044646A1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
CN111223470A (zh) 音频处理方法、装置及电子设备
JP2000148167A (ja) メドレー楽曲の編集方法に特徴を有するカラオケ装置および通信カラオケシステム
JP3917036B2 (ja) カラオケ装置、および、カラオケ装置に用いられるプログラム
Vickers et al. Musical program auralisation: a structured approach to motif design
JP4916945B2 (ja) 楽曲情報付与サーバ、端末、及び楽曲情報付与システム
JP2011133882A (ja) 音声付映像合成システム及び音声付映像合成方法
KR102240872B1 (ko) 주변 환경 기반의 자동 작곡 방법 및 그 장치
JPH11184883A (ja) 楽曲検索システム、楽曲検索方法及び記録媒体
Gomez-Marin et al. Drum rhythm spaces: From polyphonic similarity to generative maps
JP4331230B2 (ja) 通信カラオケシステム、ホスト装置
JP4223277B2 (ja) キーワード検索により所定曲数以下に絞り込まれた複数楽曲の一部を連続再生させながら希望曲を選出可能な選曲装置、選曲用プログラム
KR102344749B1 (ko) 온라인 상에서 음원 데이터를 이용한 노래 제작 시스템 및 방법
WO2021106693A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6611633B2 (ja) カラオケシステム用サーバ
JP2010060634A (ja) カラオケ装置
JP6509291B2 (ja) 楽曲共作支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861074

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545552

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021861074

Country of ref document: EP

Effective date: 20230331