WO2021106693A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2021106693A1
WO2021106693A1 PCT/JP2020/042871 JP2020042871W WO2021106693A1 WO 2021106693 A1 WO2021106693 A1 WO 2021106693A1 JP 2020042871 W JP2020042871 W JP 2020042871W WO 2021106693 A1 WO2021106693 A1 WO 2021106693A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
music
information processing
unit
processing device
Prior art date
Application number
PCT/JP2020/042871
Other languages
English (en)
French (fr)
Inventor
治彦 岸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/756,123 priority Critical patent/US20220406280A1/en
Priority to JP2021561335A priority patent/JPWO2021106693A1/ja
Priority to CN202080080151.6A priority patent/CN114730550A/zh
Publication of WO2021106693A1 publication Critical patent/WO2021106693A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G06F16/639—Presentation of query results using playlists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131—Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/151—Music Composition or musical creation; Tools or processes therefor using templates, i.e. incomplete musical sections, as a basis for composing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/106—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/145—Sound library, i.e. involving the specific use of a musical database as a sound bank or wavetable; indexing, interfacing, protocols or processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • the music information proposed (generated) by AI can be used in the composition work, the user can compose based on a wider variety of viewpoints.
  • the automatic composition function by AI is set for general users, and general users can receive automatically created music information simply by setting an image such as bright or dark.
  • the creator of a song often sets the characteristics of the song, such as chord progression and bass progression, in the process of creating the song. There was a request to receive music information tailored to the characteristics.
  • the information processing device of one form according to the present disclosure is music feature information used as learning data in a composition process using machine learning, and is a plurality of music feature information extracted from the music information.
  • a storage unit that stores a plurality of music feature information in which a characteristic amount of each type and a predetermined identification information are associated with each other, a receiving unit that receives instruction information transmitted from a terminal device, and a music from the storage unit according to the instruction information. It has an extraction unit that extracts feature information and an output unit that outputs presentation information of music feature information extracted by the extraction unit.
  • First Embodiment 1-1 An example of information processing according to the first embodiment 1-2.
  • Configuration of Information Processing System According to First Embodiment 1-3.
  • Configuration of Information Processing Device According to First Embodiment 1-4.
  • Modification example of the first embodiment 2-1 An example of information processing according to a modified example of the first embodiment 2-2.
  • Second Embodiment 3-1 An example of information processing according to the second embodiment 3-2. Configuration of Information Processing System According to Second Embodiment 3-3.
  • Configuration of Information Processing Device According to Second Embodiment 3-4. Configuration of general user terminal according to the second embodiment 3-5. Information processing procedure according to the second embodiment 3-5-1. Style information presentation process 3-5-2. Playlist provision process 3-5-3. Processing of providing music information after recomposition or arrangement 3-6. Effect of the second embodiment 4.
  • Third Embodiment 4-1 An example of information processing according to the third embodiment 4-2.
  • Configuration of Information Processing Device According to Third Embodiment 4-4. Configuration of general user terminal according to the third embodiment 4-5.
  • FIG. 1 is a conceptual diagram showing a flow of information processing according to the first embodiment.
  • the information processing according to the first embodiment is executed by the information processing device 100 and the creator terminal 200.
  • the information processing device 100 is an information processing device that provides a service (also simply referred to as “service”) related to the creation of content as a literary work is shown as an example.
  • a service also simply referred to as “service”
  • music music content
  • the content is not limited to music, and may be various content such as video content such as movies and text content such as books (novels, etc.).
  • Good the music referred to here is not limited to one completed song (whole), but various music information such as some sound sources constituting one song (music) and short sounds used for sampling are included. It is a concept that is included.
  • the information processing device 100 communicates with the creator terminal 200 of the user who uses the service provided by the information processing device 100 using a network N (see FIG. 6) such as the Internet.
  • a network N such as the Internet.
  • the number of creator terminals 200 is not limited to that shown in FIG.
  • the creator terminal 200 is an information processing terminal such as a PC (personal computer) or a tablet terminal.
  • Various program applications are installed on the creator terminal 200.
  • An application related to music creation is installed in the creator terminal 200.
  • the creator terminal 200 has an automatic composition function by AI added by a plug-in (extended application) to an application such as a DAW that realizes a comprehensive music production environment.
  • the plug-in can take the form of VST (Steinberg's Virtual Studio Technology) (registered trademark), Audio Units, AAX (Avid Audio eXtension), and the like.
  • the creator terminal 200 is not limited to the DAW, and for example, a mobile application such as iOS may be used.
  • the creator terminal 200 activates and executes the automatic composition function by DAW and AI, and communicates with the information processing device 100 to receive the music information composed by the information processing device 100. Further, the creator terminal 200 transmits the operation history information indicating the history of the operations executed to the creator terminal 200 when the automatic composition function is activated to the information processing device 100.
  • the user of the creator terminal 200 is an administrator who operates and manages the entire system, a composer who creates music, an arranger, a creator such as a studio engineer, and a general person who receives music information via automatic composition function.
  • a creator such as a studio engineer
  • a general person who receives music information via automatic composition function.
  • One of the users it is assumed that the creator terminal 200 is used by the creator C1.
  • the information processing device 100 is a server device that executes information processing related to the automatic composition function by the AI of the creator terminal 200.
  • the information processing device 100 is a so-called cloud server, executes automatic composition by AI according to information instructed from the creator terminal 200 via the network N, and provides the music information generated to the creator terminal 200. To do.
  • the information processing device 100 generates a composition model for music generation by performing machine learning.
  • the information processing device 100 provides the creator terminal 200 with music information that is automatically composed using a Markov model or the like.
  • the information processing device 100 uses style information (musical piece feature information) as learning data for the composition model.
  • style information is information obtained by associating a plurality of types of features such as chord progression, melody, and bass progression with predetermined identification information extracted from music information as feature quantities of a plurality of types, and is machine learning. It is used in the composition process using.
  • the information processing device 100 obtains a plurality of types of feature amounts from the written music information or the music information created by the creator, and collects each feature amount for each music information into a style information ID (predetermined identification information). By adding, multiple style information is generated and created in a database.
  • FIG. 2 is a diagram showing an example of a data structure of style information according to the first embodiment.
  • the style information includes style information ID 710, which is identification information of style information, style palette sequence information 720 (music order information), style palette information 730 (music format information), score information 740, and lyrics information 750.
  • the score information 740 includes a plurality of types of features extracted from the music.
  • the score information 740 has a score ID, a melody information, a chord progression information, a base information, and a drum information.
  • the score ID is identification information of the score information.
  • Melody information is a melody in a bar of a specified length.
  • the chord progression information is information indicating the chord progression in a bar of a specified length.
  • Bass information is information indicating the progress of a bass note in a bar of a specified length.
  • Drum information is information indicating the progress (drum pattern or tempo) of a drum sound in a bar of a specified length.
  • the lyrics information 750 includes the lyrics ID and the lyrics information.
  • the lyrics ID is identification information of the lyrics information.
  • Lyrics information is information indicating lyrics in a bar of a specified length.
  • the lyrics information is, for example, a phrase or a character keyword that is the basis of the lyrics, and a self-action lyrics using a plurality of lyrics information is also possible.
  • the style palette information 730 is information registered by associating the score ID of the score information 740 and the lyrics ID of the lyrics information 750 for the same measure with the style palette ID which is the identification information of the style palette information.
  • the style palette information 730 may be bundled with a plurality of score information 740 and lyrics information 750 having similar chord progressions. Similar chord progressions are, for example, exactly the same chord progression. Alternatively, similar chord progressions may be such that each chord is classified into Tonic (T), Sub-dominat (S), and Dominat (D), and the sequences of T, S, and D are the same. In the case of C major and A minor, T is C / Em / Am, S is F and Dm, and D is G and Dm7-5. Since the chord progressions CDGC and Em-Dm-Bm7-5-Am are both TSD, they can be considered to have the same chord progression. Further, similar chord progressions can be classified based on similar chord progressions by machine learning or deep learning, for example, instead of using music theory.
  • the style palette sequence information 720 is information indicating the order of the style palette information 730.
  • the style palette sequence information 720 includes a style palette ID uniquely indicating the style palette information 730 and a bar index as one set, and by having a plurality of these sets, information for managing the order of the style palette information 730 in the music. Become. For example, in the case of the example shown in FIG. 2, it is defined that measures 1 to 4 of the music correspond to the style palette ID731a, measures 5 to 8 correspond to the style palette ID731b, and measures xy to y correspond to the style palette ID731z. Will be done.
  • the information processing device 100 performs machine learning using this style information 700 as learning data, and performs composition processing. Therefore, the information processing device 100 does not learn the music information itself, but learns the style information composed of a plurality of types of feature quantities such as chord progression, melody, and bass progression extracted from the music information. That is, since the information processing device 100 learns a plurality of feature quantities extracted in advance from the music information, the load of information processing is smaller than that of learning the music information itself, and the music information to the user is also efficient. Can be provided to.
  • the information processing device 100 presents style information as a candidate for learning data to the creator terminal 200 at the time of composition by the creator.
  • the creator can select style information having a desired feature from the presented style information, and the information processing device 100 gives the creator music information composed based on the style information selected by the creator. Can be provided. As a result, the creator can obtain music information that matches the characteristics of the music selected by himself / herself.
  • 3 to 5 are diagrams showing an example of a display screen of the creator terminal 200 according to the first embodiment.
  • the window 270 shown in FIG. 3 is displayed on the creator terminal 200.
  • the window 270 has a composition parameter setting unit 271, a style information display unit 272, a composition control unit 273, and a production music display editing unit 274.
  • the composition parameter setting unit 271 is an area in which parameters such as note length and complexity can be set.
  • the style information display unit 272 is an area in which style information used for composition can be selected by keyword input or pull-down selection.
  • the composition control unit 273 is an area in which a composition instruction can be given by selecting a composition execution instruction button.
  • the production music display editorial unit 274 is an area in which a plurality of piano rolls on which a melody or lyrics are displayed are displayed.
  • Chord progression candidates may be displayed in any order, such as alphabetical order, order of frequency of use by creators, order of frequency of use by all users, order of generation of style information, and so on.
  • the chord progression may be displayed for all of the style information contained in the information processing apparatus 100. Further, the chord progression may be displayed only for a part of the style information possessed by the information processing apparatus 100. In this case, among the style information ranked by using the predetermined rule, the chord progression of the style information of the predetermined rank is displayed in the style palette selection pull-down 271a in the order of the chord progression.
  • the display area can be selected with the pager.
  • the creator can also enter a desired chord progression in the search keyword input field.
  • the information processing apparatus 100 ranks the style information having the input chord progression as a feature amount using a predetermined rule, and extracts the style information of the preset rank. This order is set, for example, in correspondence with the number of chord progression information that can be listed and displayed in the style palette selection pull-down 371a of the creator terminal 200. Then, the information processing apparatus 100 may display the chord progression information of the extracted style information in a list in the style palette selection pull-down 371a of the creator terminal 200 in descending order.
  • the creator selects a desired chord progression from the chord progressions presented in the style palette selection pull-down 371a, and selects a composition execution instruction button.
  • the creator selects, for example, the chord progression "C-Am-FC”.
  • the information processing apparatus 100 extracts the style information having the selected chord progression "C-Am-FC”, performs machine learning using the extracted style information 700 as learning data, and performs composition processing. Do. Then, the information processing device 100 provides the music information to the creator terminal 200.
  • the melody of the music information provided by the information processing device 100 is displayed on the melody display piano roll 374a of FIG.
  • the creator can receive the music information generated according to the chord progression simply by selecting the desired chord progression from the chord progressions presented in the style palette selection pull-down 371a.
  • the information processing device 100 creates a database of style information having a plurality of types of feature quantities of music information, and presents the style information to the creator. Then, the information processing device 100 causes the composition model to learn the style information selected by the creator as learning data. As a result, the information processing device 100 provides the producer with music information composed according to the characteristics of the music selected by the producer.
  • the information processing device 100 when presenting the style information to the creator, presents the style information of the predetermined rank among the style information ranked by using the predetermined rule. For example, the information processing device 100 receives the operation information in the creator terminal 200 as instruction information, and extracts the style information according to the instruction information.
  • the application DAW or automatic composition function
  • the information processing device 100 acquires operation history information indicating the history of operations performed on the creator terminal 200 by the creator who creates the music from the creator terminal 200. .. Then, the information processing apparatus 100 ranks the style information used for composing the music information in descending order of the number of predetermined operations on the music information based on the operation history information.
  • the predetermined operation is, for example, playback, editing, selection of a composition execution instruction button, or the like. It is considered that the music information that has been played many times and the music information that has been edited many times suits the taste of the creator. Therefore, the information processing device 100 obtains music information that is played or arranged more than a predetermined number from the operation history information, and the style information used for composing the music information is played or modified many times. Rank in order. Alternatively, the information processing apparatus 100 may register these style information as favorite style learning and present the favorite style information again, or may present style information similar to the favorite style information.
  • the information processing device 100 lowers the order of the style information used for the music information.
  • the information processing apparatus 100 may register these style information as style information that the user does not like, and may not present the style information that he / she does not like again.
  • the information processing device 100 presents the style information of the preset ranking among the style information ranked by such a rule to the creator in the order of ranking.
  • the style information that suits the taste of the creator is presented to the creator terminal 200. Therefore, the creator receives the music information that is close to his / her style by selecting the style information that suits his / her taste. be able to.
  • the flow of the style information presentation process will be described with reference to FIG.
  • the creator terminal 200 receives the presentation information of the style information from the information processing device 100 during the music creation, for example, the chord progression of the style information is presented to the style palette selection pull-down 371a.
  • the information processing apparatus 100 composes the music based on the style information having the selected chord progression, and provides the music to the producer terminal 200.
  • the information processing device 100 acquires the operation history information indicating the history of the operations executed by the creator on the general user terminal 300 at the time of starting the application from the creator terminal 200 (step S11).
  • the information processing device 100 ranks the style information used in the music information in descending order of the number of times of reproduction or editing of the music information, and extracts the style information in the preset order (step S12).
  • the information processing device 100 outputs the presented information of the extracted style information to the creator terminal device (step S13).
  • the operation history information of the creator terminal 200 is analyzed by the creator, and the style information suitable for the taste of the creator is presented to the creator terminal 200. , The convenience of the music creation function by the creator is improved.
  • FIG. 6 is a diagram showing an example of the information processing system 1 according to the first embodiment.
  • the information processing system 1 includes creator terminals 200-1 to 200-3 and an information processing device 100.
  • the information processing system 1 functions as an automatic composition function management system.
  • three creator terminals 200-1 to 200-3 are illustrated, but when the description is made without particular distinction, the description is described as the creator terminal 200.
  • the information processing device 100 and the creator terminal 200 are connected to each other via a network N so as to be communicable by wire or wirelessly.
  • the creator terminal 200 transmits the instruction information by the creator and the operation history information of the creator to the creator terminal 200 when the automatic composition function is activated to the information processing device 100.
  • the creator terminal 200 receives the music information composed by the information processing device 100 when the automatic music function is activated.
  • the information processing device 100 has a plurality of style information generated from music information as learning data for machine learning. Then, the information processing device 100 generates a composition model by performing machine learning using these style information, and provides the composed music information to the creator terminal 200. At this time, the information processing device 100 extracts the style information according to the instruction information transmitted from the creator terminal 200, outputs the presented information of the extracted style information to the creator terminal 200, and outputs the extracted style information to the creator terminal 200. Support creation.
  • FIG. 7 is a diagram showing a configuration example of the information processing apparatus 100 according to the first embodiment.
  • the information processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the creator terminal 200 via the network N.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 stores various data used for information processing.
  • the storage unit 120 includes a user information storage unit 121, a style information storage unit 122, an possession information storage unit 123, a production information storage unit 124, and an operation history information storage unit 125.
  • the user information storage unit 121 stores various information (user information) related to the user.
  • FIG. 8 is a diagram showing an example of the user information storage unit 121 according to the first embodiment.
  • the user information storage unit 121 stores user information including user ID, user meta information, and authority information.
  • the user information storage unit 121 stores user meta information and authority information corresponding to each user ID in association with each user ID.
  • the user ID indicates identification information for uniquely identifying the user.
  • the user ID indicates identification information for uniquely identifying a user such as a creator, a general user, or a system administrator.
  • the user meta information is additional information of the user such as the name and address of the user.
  • the authority information for example, values for identifying the authority such as system administrator authority information, creator authority information, and general user authority information are stored.
  • the user information storage unit 121 is not limited to the above, and may store various information depending on the purpose.
  • Various information about the user may be stored in the user meta information. For example, when the user is a natural person, the user meta information may store demographic attribute information such as the gender and age of the user, psychographic attribute information, and the like.
  • the style information storage unit 122 stores information about the composition model.
  • FIG. 9 is a diagram showing an example of the style information storage unit 122 according to the first embodiment.
  • the style information storage unit 122 stores learning model information including a model information ID, a creator ID, a model information meta information, a style information 700, a copyrighted work ID, and shareability information.
  • the style information storage unit 122 stores the creator ID, model information meta information, style information, copyrighted work ID, and shareability information corresponding to each model information ID in association with each model information ID.
  • the model information ID indicates identification information for uniquely identifying the composition model information.
  • the creator ID indicates identification information for uniquely identifying the creator of the corresponding composition model information.
  • the creator ID indicates identification information for uniquely identifying a user such as a system administrator, a creator, or a general user.
  • Model information meta information is, for example, information representing the characteristics of a copyrighted work to be learned.
  • Learning model information Meta information is information such as the tempo of a song, the genre, the atmosphere such as light and darkness, the structure of a song such as verse B verse, chord progression, scale, and church mode.
  • the style information 700 is learning data of a composition model possessed by the information processing device 100. As described with reference to FIG. 2, the style information 700 is information extracted from music information in which a plurality of types of features such as chord progression, melody, and bass progression are associated with predetermined identification information.
  • the sharing availability information indicates, for example, the sharing availability of the corresponding learning model.
  • As the shareability information for example, a value for identifying whether or not the corresponding learning model can be shared is stored.
  • the style information storage unit 122 is not limited to the above, and may store various information depending on the purpose.
  • the composition model information meta information may store various additional information regarding the composition model, such as information regarding the date and time when the composition model was created.
  • the possession information storage unit 123 stores various information related to the style information selected by the creator of the music when the music is created.
  • FIG. 10 is a diagram showing an example of the possession information storage unit 123 according to the first embodiment.
  • the user ID of the creator who creates the music and the style information ID selected by the creator are stored in association with each other.
  • the production information storage unit 124 stores various information related to the produced music.
  • FIG. 11 is a diagram showing an example of the production information storage unit 124 according to the first embodiment. As shown in FIG. 11, the production information storage unit 124 stores the user ID of the creator who created the music and the score ID produced by the creator in association with each other.
  • the operation history information storage unit 125 stores the operation history information by the creator for the creator terminal 200.
  • FIG. 12 is a diagram showing an example of the operation history information storage unit 125 according to the first embodiment.
  • the operation history information storage unit 125 stores the operation history information of the creator for the creator terminal 200.
  • each operation history information is associated with a user ID of each creator.
  • the operation history information is information indicating the history of operations performed on the creator terminal 200 when the automatic composition function is activated.
  • the operation history information may include various information related to the operation of the creator, such as the content of the operation performed by the creator and the date and time when the operation was performed.
  • the operations include selection of style information presented by the information processing device 100, selection of a composition execution instruction button, reproduction and editing of music information received from the information processing device 100, and the like.
  • control unit 130 for example, a program stored inside the creator terminal 200 is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with a RAM (Random Access Memory) or the like as a work area. It will be realized. Further, the control unit 130 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 includes a reception unit 131, an extraction unit 132, a transmission unit 133, a composition unit 134, a registration unit 135, a history acquisition unit 136, and an analysis unit 137, and realizes the functions and operations of information processing described below. Execute.
  • the receiving unit 131 communicates with the creator terminal 200 and receives various information.
  • the receiving unit 131 receives instruction information regarding the output of the presentation information of the style information from the creator terminal 200.
  • the instruction information is operation information related to the terminal device.
  • the instruction information is the composition start information and the information for instructing the automatic composition when the automatic composition function is activated. Further, the instruction information is information for selecting any of the score information. Specifically, the instruction information is information related to the feature amount of the musical piece information such as the chord progress information input by the creator as the feature amount of the musical piece and the lyrics information indicating the lyrics to be searched. Further, the instruction information is selection information or the like for selecting any of the style information presented by the information processing apparatus 100. Further, the instruction information is operation history information for the creator terminal 200 by the creator.
  • the extraction unit 132 extracts style information from the style information storage unit 122 according to the instruction information received by the reception unit 131.
  • the instruction information is information related to the feature amount of the music information such as the chord progress information
  • the extraction unit 132 ranks a plurality of style information using a predetermined rule based on the feature amount indicated by the instruction information. And extract the style information of the preset ranking.
  • the extraction unit 132 obtains music information in which the number of predetermined operations exceeds the threshold value, based on the operation history information of the creator stored in the operation history information storage unit 125. Then, the extraction unit 132 ranks the style information used for the obtained music information in descending order of the number of predetermined operations, and extracts the style information of the preset order.
  • the predetermined operation is playback or editing.
  • the extraction unit 132 obtains music information that has been played or modified more than a predetermined number from the operation history information, and ranks the style information used for composing the music information in descending order of the number of playbacks and corrections. ..
  • the transmission unit 133 transmits various information to the external device. For example, the presentation information of the style information extracted by the extraction unit 132 is output. At this time, the transmission unit 133 transmits the presentation information of the style information extracted by the extraction unit 132 to the creator terminal 200 together with the ranking information indicating the ranking of the style information.
  • the chord progression of the style information is displayed in a list in the style palette selection pull-down so that the chord progression of the style information can be selected in descending order. If the creator selects a desired chord progression from the chord progressions shown in the style palette selection pull-down, the producer can receive the music information composed using the style information having this chord progression. Further, the transmission unit 133 transmits the music information composed by the composition unit 134 (described later) to the creator terminal 200.
  • the composition unit 134 composes music information using machine learning based on the style information.
  • the composition unit 134 receives the selection information instructing the selection of any of the presented style information from the creator terminal 200, the composition unit 134 acquires the selected style information from the style information storage unit 122. Then, the composition unit 134 composes the music information by using machine learning based on the acquired style information.
  • the composition unit 134 may compose music using various existing music generation algorithms.
  • the composition unit 134 may use a music generation algorithm using a Markov chain, or may use a music generation algorithm using deep learning. Further, the composition unit 134 may generate a plurality of music information with respect to the instruction information transmitted from the creator terminal 200. As a result, the producer can receive a plurality of proposals from the composition unit 134, and thus can proceed with the composition work by using more diverse information.
  • the registration unit 135 extracts a feature amount from the performance information or the like transmitted from the creator terminal 200, and registers the extracted feature amount as score information. For example, in the producer terminal 200, the music is edited and the music is produced by playing the music based on the music information transmitted by the composition unit 134. When the registration unit 135 receives the editing result or the production result from the creator terminal 200, the registration unit 135 extracts the feature amount and registers it as score information. The registration unit 135 generates score information and registers it in the storage unit 120 until the music is completed by the creator.
  • the history acquisition unit 136 acquires operation history information indicating the history of operations performed on the creator terminal 200 by the producer during music production.
  • the history acquisition unit 136 may acquire the target operation history information from the operation history information stored in the operation history information storage unit 125. Further, the history acquisition unit 136 may acquire the operation history information by requesting the producer terminal 200 to transmit the operation history information during the music production.
  • the analysis unit 137 analyzes the operation history information and obtains the number of times of each operation.
  • the predetermined operation is, for example, playback or editing. Alternatively, the predetermined operation is an operation in which a part of the composition is reproduced but the automatic composition processing is immediately performed. It is considered that the music information that has been played many times and the music information that has been edited many times suits the taste of the creator. In addition, it is considered that the music information that has been partially reproduced but has been automatically processed immediately does not suit the taste of the creator. Therefore, the analysis unit 137 analyzes the music information that suits the taste of the producer and the music information that does not suit the taste of the producer by obtaining the number of times of each operation.
  • the extraction unit 132 ranks the style information in descending order of the number of predetermined operations based on the analysis result by the analysis unit, and extracts the style information of the preset ranking.
  • the extraction unit 132 ranks the style information used in the music information in descending order of the number of times of reproduction or editing of the music information, and extracts the style information in the preset order. This is because the music information that has been played many times and the music information that has been edited many times are considered to suit the taste of the creator.
  • the extraction unit 132 determines the order of the style information used for this music information. You may lower it.
  • the presentation information of the style information extracted by the extraction unit 132 based on the analysis result of the operation history information is transmitted to the creator terminal 200 by the transmission unit 133.
  • the style information that suits the taste of the creator is presented to the creator terminal 200. Therefore, the creator receives the music information that is close to his / her style by selecting the style information that suits his / her taste. be able to.
  • FIG. 13 is a diagram showing a configuration example of the creator terminal 200 according to the first embodiment.
  • the creator terminal 200 includes a communication unit 210, an input unit 220, an output unit 230, a storage unit 240, a control unit 250, and a display unit 260.
  • the communication unit 210 is realized by, for example, a NIC or a communication circuit.
  • the communication unit 210 is connected to the network N by wire or wirelessly, and transmits / receives information to / from other devices such as the information processing device 100 and other terminal devices via the network N.
  • the input unit 220 has a keyboard and a mouse connected to the creator terminal 2000.
  • the input unit 220 accepts input by the user.
  • the input unit 220 accepts user input using a keyboard or mouse.
  • the input unit 220 may have a function of detecting voice.
  • the input unit 220 may include a microphone that detects voice.
  • the input unit 220 may have a touch panel capable of realizing functions equivalent to those of a keyboard and a mouse.
  • the input unit 220 receives various operations from the user via the display screen by the function of the touch panel realized by various sensors.
  • the detection method of the user's operation by the input unit 220 the capacitance method is mainly adopted in the tablet terminal, but other detection methods such as the resistance film method, the surface acoustic wave method, the infrared method, and the electromagnetic wave are used. Any method such as a guidance method may be adopted as long as the user's operation can be detected and the touch panel function can be realized.
  • the creator terminal 200 may have an input unit that also accepts operations by buttons and the like.
  • the output unit 230 outputs various information.
  • the output unit 230 has a speaker that outputs sound.
  • the storage unit 240 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 240 stores various information used for displaying the information.
  • the storage unit 240 stores the operation history information 241.
  • the operation history information 241 is information indicating the history of operations performed on the creator terminal 200 when the creator who creates the music starts the application.
  • the operation history information may include various information related to the operation of the creator, such as the content of the operation performed by the creator and the date and time when the operation was performed.
  • the operations include selection of style information presented by the information processing device 100, selection of a composition execution instruction button, reproduction, editing, and production of music information received from the information processing device 100.
  • the control unit 250 is realized by, for example, a CPU, an MPU, or the like executing a program stored inside the creator terminal 200 with a RAM or the like as a work area. Further, the control unit 250 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA.
  • the control unit 250 includes a display control unit 251, a transmission / reception unit 252, a selection unit 253, and a reproduction unit 254.
  • the display control unit 251 controls various displays on the display unit 260.
  • the display control unit 251 controls the display of the display unit 260.
  • the display control unit 251 controls the display of the display unit 260 based on the information received from the information processing device 100.
  • the display control unit 251 controls the display of the display unit 260 based on the information generated by the processing by each component of the control unit 250.
  • the display control unit 251 may control the display of the display unit 260 by an application that displays an image.
  • the display control unit 251 displays the window 270 (see FIGS. 3 to 5) and the like on the display unit 260 by the application of the automatic composition function by DAW and AI.
  • the display control unit 251 receives the presentation information of the style palette from the information processing device 100, the display control unit 251 displays the chord progression and lyrics of the presented style palette in the style palette selection pull-down 371a (see FIG. 4) of the window 270. ..
  • the transmission / reception unit 252 communicates with the information processing device 100 to transmit and receive various information.
  • the transmission / reception unit 252 receives the presentation information of the style information transmitted from the information processing device 100.
  • the transmission / reception unit 252 transmits instruction information for selecting style information to the information processing device 100.
  • the transmission / reception unit 252 receives the music information generated by the information processing device 100. Further, the transmission / reception unit 252 transmits music information such as a melody arranged and produced by the creator to the information processing device 100.
  • the selection unit 253 selects any of the style information presented by the information processing device 100. For example, among the chord progressions displayed in the style palette selection pull-down 371a (see FIG. 4) of the window 270, one of the chord progressions is selected by the operation of the input unit 220 by the user. As a result, the selection unit 253 transmits instruction information for selecting the style information corresponding to the selected chord progression from the transmission / reception unit 252 to the information processing device 100.
  • the reproduction unit 254 reproduces the music information generated by the information processing device 100. Specifically, the reproduction unit 254 sets arbitrary musical instrument information for each of the melody, chord, and bass sound included in the music data, and reproduces each data. The reproduction unit 254 may reproduce each of the melody, the chord, and the bass sound in combination.
  • control unit 250 accepts the performance by the creator when the producer performs the performance together with the composition provided by the automatic composition function. In addition, the control unit 250 also accepts the arrangement of the composition provided by the automatic composition function by the creator and the processing related to the production of the composition.
  • the display unit 260 displays various information.
  • the display unit 260 is realized by, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the display unit 260 displays various information according to the control by the display control unit 251.
  • the display unit 260 can also display information such as an image provided by the information processing device 100.
  • FIG. 14 is a sequence diagram showing an information processing procedure according to the first embodiment.
  • the information processing device 100 When the information processing device 100 receives the composition start information (step S102) with the activation of the automatic composition function on the creator terminal 200 (step S102), the information processing device 100 extracts the style information (step S103), and the extracted style information The presented information is transmitted to the creator terminal 200 (step S104).
  • the information processing device 100 extracts, for example, all style information, style information that the creator uses more than a predetermined number of times, or style information that all users use more than a predetermined number of times from the style information storage unit 222. Then, the presentation information of the extracted style information is transmitted.
  • the creator terminal 200 displays a list of style information based on the presented information (step S105).
  • the creator terminal 200 displays, for example, a list of chord progressions of style information as candidates.
  • the creator terminal 200 transmits the selection information indicating the selected style information to the information processing device 100 (step S107).
  • the information processing device 100 extracts selected style information, performs machine learning using the extracted style information as learning data, performs composition processing (step S108), and provides music information to the creator terminal 200 (step S108). Step S109).
  • the information processing device 100 extracts a plurality of types of feature amounts from the composed music information, stores them as new score information including these feature amounts in the storage unit 120, and registers them in the possession information storage unit 123. ..
  • the producer terminal 200 When the producer terminal 200 reproduces the provided music (step S110), the producer terminal 200 accepts an operation for editing or production processing of the music information by the producer (step S111). When the creator plays, for example, by MIDI keyboard, MIDI information is accepted. Then, the creator terminal 200 transmits the music information produced by the editing process and the production processing by the creator to the information processing device 100 (step S112).
  • the information processing device 100 When the information processing device 100 receives the arranged and produced music information, it extracts a feature amount from the music information and registers the score information generated based on the extracted feature amount (step S113). The information processing device 100 may add score information based on music information arranged and produced by the creator to the style information selected by the creator to bring the style information closer to the style of the creator.
  • the creator terminal 200 transmits the operation history information to the information processing device 100 when the automatic composition function is activated (steps S114 and S115).
  • the information processing device 100 analyzes the operation history information to obtain the number of times of each operation (step S116). Then, in order to extract the style information that suits the taste of the creator, the information processing device 100 ranks the style information in descending order of the number of predetermined operations based on the analysis result, and the styles in the preset order. Information is extracted (step S117).
  • the information processing device 100 transmits the presented information of the extracted style information to the creator terminal 200 (step S118).
  • the creator terminal 200 displays a list of style information extracted based on the operation history information (step S119). Then, when the composition is not completed (step S120: No), the producer terminal 200 returns to step S106 and continues the production process of the music by the producer. Further, when the composition by the creator is completed (step S120: Yes), the creator may operate the general user terminal 300 to perform, for example, an arrangement process (step S121), a mix or a mastering process (step S122). ).
  • the information processing device (information processing device 100 in the embodiment) according to the first embodiment is music feature information used as learning data in the composition processing using machine learning, and is based on the music information.
  • a storage unit (storage unit 120 in the embodiment) for storing music feature information (style information 700 in the embodiment) in which a plurality of types of extracted feature amounts and predetermined identification information are associated with each other, and a terminal device (a terminal device (in the embodiment))
  • a receiving unit (131) that receives instruction information transmitted from the creator terminal 200
  • an extraction unit extracts music feature information from the storage unit according to the instruction information, and the like.
  • It has an output unit (transmission unit 133 in the embodiment) that outputs presentation information of music feature information extracted by the extraction unit.
  • the information processing device holds the style information having a plurality of types of feature amounts of the music information, and outputs the presentation information of the extracted music feature information according to the instruction information. That is, the information processing device according to the first embodiment presents the music feature information according to the instruction information to the terminal device, so that the creator can select the desired music feature information from the music feature information. .. Then, the information processing device can provide music information composed based on the music feature information desired by the producer. Therefore, according to the information processing device according to the present embodiment, it is possible to improve the convenience of the music creation function by the user.
  • the instruction information includes information on the feature amount.
  • the extraction unit ranks a plurality of music feature information using a predetermined rule based on the information regarding the feature amount, and extracts the music feature information of the preset ranking.
  • the output unit outputs the presentation information of the music feature information extracted by the extraction unit to the external device together with the ranking information indicating the ranking of the music feature information.
  • the information processing device presents the music feature information having a high rank together with the rank information based on the feature amount of the music instructed by the creator. Therefore, the producer only needs to check the list of the music feature information. You can quickly select music feature information that suits your needs.
  • the instruction information is operation information in the terminal device. Therefore, the information processing apparatus can receive the operation information as instruction information and extract appropriate style information according to the operation information.
  • the music feature information has chord progression information indicating chord progression, melody information indicating melody, and score information having base information indicating bass progression in a bar of a specified length.
  • the information processing device can execute composition based on the music feature information including the chord progression, the melody, and the base information. Then, at the time of composing, the information processing device learns not the music information itself but the feature quantities such as chord progression information, melody information, and base information, so that the music information can be efficiently provided to the user.
  • the score information further includes drum progress information indicating the progress of the drum in a bar of a specified length.
  • the information processing device can execute composition based on the music feature information including the chord progression, the melody, the bass information, and the drum progression information.
  • the music feature information includes music format information registered by associating identification information of score information and identification information of lyrics information for the same measure, and music order information indicating the order of music format information. Since the information processing device can also learn the music format information and its order, it can further provide the music information desired by the user.
  • the receiving unit receives instruction information for selecting one of the score information.
  • the extraction unit ranks the music feature information having the score information selected by the instruction information using a predetermined rule, and extracts the music feature information of the preset ranking.
  • the information processing device presents music feature information having a high ranking based on, for example, the feature amount of the score information instructed by the creator. Therefore, the creator only needs to check the list of music feature information. It is possible to quickly select music feature information that suits the wishes of.
  • the terminal device is a creator terminal device in which an application related to music creation is installed.
  • the instruction information is operation history information indicating a history of operations performed on the creator terminal device when the creator who creates the music starts the application.
  • the extraction unit ranks the music feature information in descending order of the number of predetermined operations, and extracts the music feature information in the preset order.
  • the output unit outputs the presentation information of the music feature information extracted by the extraction unit to the creator terminal device.
  • the information processing device analyzes the operation history information and presents the music information that suits the creator's taste to the creator, so that the producer can quickly select the music feature information that suits his or her own taste. Can be done.
  • the style information 700 includes lyrics information as a feature amount. Therefore, the creator can receive the presentation of the style information suitable for the lyrics only by inputting the desired lyrics into the creator terminal 200.
  • 15 to 18 are diagrams showing an example of a display screen of the creator terminal 200 according to the modified example of the first embodiment.
  • the information processing apparatus 100 receives the lyrics " Receive instructional information to search for "fun”.
  • the information processing device 100 ranks the style information having the lyrics or lyrics information including lyrics similar to the lyrics as a feature amount by using a predetermined rule, and obtains the style information of the preset ranking. Extract. Then, when the information processing device 100 transmits the presentation information of each of the extracted style information to the creator terminal 200, the lyrics information is listed in the style palette selection pull-down 371a on the creator terminal 200. For example, the style palette selection pull-down 371a displays lyrics information including "fun” such as “a fun future ", "the country is fun ", and "have a good time with friends ". Will be done.
  • the creator selects the desired lyrics information from the lyrics information presented in the style palette selection pull-down 371a, and selects the composition execution instruction button.
  • the information processing device 100 extracts the style information having the selected lyrics information, performs machine learning using the extracted style information 700 as learning data, performs composition processing, and sends the music information to the creator terminal 200. I will provide a.
  • the information processing device 100 may automatically generate lyrics according to the generated music and provide music information in which the melody and the lyrics are associated with the producer terminal 200.
  • the melody and the lyrics corresponding to the melody are displayed on the melody display piano roll 374a of FIG.
  • the creator simply selects the desired lyrics information from the lyrics information presented in the style palette selection pull-down 371a after inputting the searched lyrics, and the music information generated according to the selected lyrics information. Can be provided.
  • the creator terminal 200 displays a list of chord progression candidates of the style information presented by the information processing device 100, and creates the music of the creator. May be assisted.
  • the melody and the lyrics corresponding to the melody are displayed on the melody display piano roll 374a of FIG.
  • the receiving unit 131 receives the instruction information instructing the search of the lyrics. Then, the extraction unit 132 ranks the lyrics whose instruction information is the search instruction or the style information having the lyrics information having lyrics similar to the lyrics by using a predetermined rule, and ranks the styles in the preset order. Extract information. For example, the information processing device 100 extracts and presents style information having lyrics information that matches the lyrics (character keywords) to be searched, and classifies the lyrics information in advance by machine learning or deep learning. Style information belonging to the classification including the lyrics to be searched may be presented. In addition, the composition unit 134 automatically generates lyrics according to the generated music.
  • FIG. 19 is a flowchart showing an information processing procedure according to a modified example of the first embodiment.
  • Step S131 shown in FIG. 19 is the same process as step S101 shown in FIG.
  • the creator terminal 200 receives the lyrics search (step S132)
  • the creator terminal 200 transmits instruction information instructing the lyrics search to the information processing device 100 (step S133).
  • the information processing device 100 ranks the style information having the lyrics or lyrics information including lyrics similar to the lyrics as a feature amount using a predetermined rule, and extracts the style information of the preset ranking. (Step S134).
  • Step S135 when the information processing device 100 transmits the presentation information including the lyrics information of each of the extracted style information to the creator terminal 200 (step S135), the lyrics information or the chord progression is displayed in a list on the creator terminal 200 (step S135).
  • Step S136 Steps S137 to S139 shown in FIG. 19 are the same processes as steps S106 to S108 shown in FIG.
  • the information processing device 100 automatically generates lyrics (step S140), and provides the composed music information and the generated lyrics information to the creator terminal 200 (step S141).
  • the information processing device 100 extracts a plurality of types of feature quantities including lyrics from the composed music information and stores them as new score information including these feature quantities in the storage unit 120, and also stores the possession information storage unit 123. Register with.
  • the producer terminal 200 When the producer terminal 200 reproduces the provided music together with the lyrics (step S142), the producer terminal 200 accepts the operation for editing and production processing of the music information and the lyrics information by the producer (step S143).
  • the creator terminal 200 transmits the music information and the lyrics information produced by the editing process and the production processing by the creator to the information processing device 100 (step S144).
  • the information processing device 100 When the information processing device 100 receives the arranged and produced music information, it extracts a feature amount including the lyrics information from the music information, and registers the score information and the lyrics information generated based on the extracted feature amount (step S145). ). The information processing device 100 may add score information and lyrics information based on music information arranged and produced by the creator to the style information selected by the creator to bring the style information closer to the style of the creator.
  • Steps S146 to S149 shown in FIG. 19 are the same processes as steps S115 to S117 shown in FIG.
  • the information processing device 100 transmits the presentation information including the lyrics information of the extracted style information to the creator terminal 200 (step S150).
  • Steps S151 to S154 shown in FIG. 19 are the same processes as steps S119 to S122 shown in FIG.
  • the information processing apparatus receives the instruction information instructing the search of the lyrics by the receiving unit.
  • the extraction unit ranks the music feature information having the lyrics information having the lyrics instructed to be searched by using a predetermined rule, and extracts the music feature information of the preset ranking.
  • the creator can receive the music information generated according to the selected lyrics simply by inputting the searched lyrics and selecting the desired music feature information from the presented music feature information. .. Therefore, according to the information processing device according to the present embodiment, it is possible to improve the convenience of the music creation function by the user.
  • FIG. 20 is a conceptual diagram showing the flow of information processing according to the second embodiment.
  • the information processing according to the second embodiment is executed by the information processing device 2100, the creator terminal 200, and the general user terminal 300.
  • the general user terminal 300 is an information processing terminal such as a tablet terminal. Various program applications are installed on the general user terminal 300. An application for viewing music is installed on the general user terminal 300. The general user terminal 300 receives music information by communicating with the information processing device 100. The user of the general user terminal 300 is a general user who receives the music information.
  • the general user terminal 300 transmits operation history information indicating the history of operations performed by the user to the general user terminal 300 to the information processing device 2100 when the application for viewing music is started.
  • the general user terminal 300 can also activate the automatic composition function by DAW and AI.
  • the general user terminal 300 is not limited to the DAW, and for example, a mobile application such as iOS may be used.
  • the information processing device 2100 provides style information presentation information and music information to the creator terminal 200. Then, the information processing device 2100 presents style information to the creator terminal 200, provides a playback list of music information provided to the general user terminal 300, or provides a general user terminal 300 based on the operation history information of the general user terminal 300. The music information provided to the user terminal 300 is recomposed or arranged.
  • the information processing apparatus 2100 acquires the operation history information in the general user terminal 300 (step S31). Then, the information processing device 2100 analyzes the operation history information and obtains the number of times of each operation by the user.
  • the predetermined operation is, for example, an operation such as playback, skip, and repeat executed when the user views the music information.
  • the information processing device 2100 classifies the produced music registered in the possession information storage unit 113 as a music that the user likes, which has a number of playbacks greater than the threshold value. Further, the information processing device 2100 classifies a musical piece whose number of reproductions is less than the threshold value as a musical piece that the user does not like. Further, the information processing device 2100 classifies the skipped music as a disliked music.
  • the information processing device 2100 ranks the style information used for composing the music information in descending order of the number of predetermined operations on the music information, and extracts the style information of the preset order (step). S32), output to the creator terminal 200 (step S33).
  • the operation history information of the general user terminal 300 by the user is analyzed, and the style information of the music information preferred by the user is presented to the creator terminal 200. To do.
  • the creator can produce a new song requested by the user in almost real time by using the style information used for the currently popular music.
  • the information processing device 2100 analyzes the operation history information, obtains music information in which the number of predetermined operations by the user exceeds the threshold value, and generates a playback list based on the obtained music information (step S34). , Output the playback list to the general user terminal 300 (step S35).
  • the operation history information of the general user terminal 300 by the user is analyzed, a playlist suitable for the user's preference is generated, and the playlist is customized for each user. Distribute and provide playlists.
  • the information processing device 2100 analyzes the operation history information and obtains the music information in which the number of predetermined operations by the user exceeds the threshold value. Then, the information processing device 2100 ranks the style information used for the obtained music information in descending order of the number of predetermined operations, and extracts the style information of the preset rank. The information processing device 2100 recomposes or arranges the music information based on the extracted style information (step S34), and outputs the recomposed or arranged music information to the general user terminal 300 (step S35).
  • the produced music being played is further recomposed or arranged and provided to the user by using the style information used for the produced music preferred by the user. be able to.
  • the recomposition and arrangement may be actively performed by the user transmitting instruction information from the general user terminal 300, or may be automatically performed by the information processing device 2100 based on the operation history information. Good.
  • the configuration of the information processing system 201 including the information processing device 2100, the creator terminal 200, and the general user terminal 300 will be described, and the details of various processes will be described in order.
  • FIG. 21 is a diagram showing an example of the information processing system 201 according to the second embodiment.
  • the information processing system 201 includes creator terminals 200-1 to 200-3, general user terminals 300-1 to 300-3, and an information processing device 2100.
  • the information processing system 201 functions as an automatic composition function management system and a viewing music providing system.
  • three creator terminals 200-1 to 200-3 are illustrated, but when the description is made without particular distinction, it is described as the creator terminal 200.
  • three general user terminals 300-1 to 300-3 are illustrated, but when the description is made without particular distinction, it is described as the general user terminal 300.
  • the information processing device 2100 and the creator terminal 200 are connected to each other via a network N so as to be communicable by wire or wirelessly.
  • the information processing device 2100 and the general user terminal 300 are connected to each other via a network N so as to be communicable by wire or wirelessly.
  • the general user terminal 300 transmits the operation history information to the information processing device 2100.
  • the operation history information is information indicating the history of operations performed by the user on the general user terminal 300 when the application for viewing music is started. Further, the general user terminal 300 receives the playlist generated by the information processing apparatus 2100 and the recomposed or arranged music information when the music is viewed.
  • the information processing device 2100 has a plurality of style information as learning data for machine learning.
  • the information processing device 2100 analyzes the operation history information received from the general user terminal 300.
  • the information processing device 2100 outputs the presentation information of the style information extracted based on the analysis result of the operation history information to the creator terminal 200 to support the creation of the music by the creator.
  • the information processing apparatus 2100 generates a playlist customized for the viewer based on the analysis result of the operation history information, and provides the playlist to the general user terminal 300.
  • the information processing device 2100 further recomposes or arranges the produced music being played by using the style information used for the produced music preferred by the user based on the analysis result of the operation history information, and the user. To provide.
  • FIG. 22 is a diagram showing a configuration example of the information processing apparatus 2100 according to the second embodiment.
  • the storage unit 120 has a user operation history information storage unit 2125.
  • the information processing device 2100 has a control unit 2130 instead of the control unit 130.
  • the user operation history information storage unit 2125 stores the operation history information by the user for the general user terminal 300.
  • FIG. 23 is a diagram showing an example of the user history information storage unit 2125 according to the second embodiment.
  • the user operation history information storage unit 2125 stores the operation history information of the user for the general user terminal 300.
  • each operation history information is associated with a user ID of each user.
  • the user's operation history information may include various information related to the user's operation, such as the content of the operation performed by the user and the date and time when the operation was performed.
  • the operations include playback, skip, and repeat of music information.
  • the control unit 2130 has an extraction unit 2132, a history acquisition unit 2136, an analysis unit 2137, and a generation unit 2138, as compared with the control unit 130 shown in FIG.
  • the history acquisition unit 2136 acquires the operation history information of the user.
  • the history acquisition unit 2136 may acquire the operation history information of the target user from the operation history information stored in the user operation history information storage unit 2125. Further, the history acquisition unit 2136 may acquire the operation history information by requesting the general user terminal 300 to transmit the operation history information of the user while viewing the music.
  • the analysis unit 2137 analyzes the operation history information of the user and obtains the number of times of each operation.
  • the predetermined operation is, for example, an operation such as playing, skipping, or repeating a musical piece.
  • the analysis unit 2137 classifies a song whose number of playbacks is greater than the threshold value as a song that the user likes.
  • the analysis unit 2137 classifies a song whose number of playbacks is less than the threshold value as a song that the user does not like.
  • the analysis unit 2137 classifies the skipped music as a disliked music. In this way, the analysis unit 2137 analyzes the music information that suits the user's taste and the music information that does not suit the user's taste by obtaining the number of times of each operation.
  • the generation unit 2138 obtains music information in which the number of predetermined operations exceeds the threshold value based on the analysis result by the analysis unit 2137, and generates a playback list based on the obtained music information.
  • the transmission unit 133 outputs the playlist to the general user terminal 300.
  • the extraction unit 2132 obtains music information in which the number of predetermined operations exceeds the threshold value based on the analysis result by the analysis unit 2137. Then, the extraction unit 2132 ranks the style information used for the obtained music information in descending order of the number of predetermined operations, and extracts the style report of the preset ranking.
  • the transmission unit 133 transmits the presentation information of the style information extracted by the extraction unit 2132 to the creator terminal 200.
  • the composition unit 134 recomposes or arranges the music information based on the style information extracted by the extraction unit 2132.
  • the transmission unit 133 transmits the recomposed or arranged music information to the general user terminal 300.
  • FIG. 24 is a diagram showing a configuration example of the general user terminal 300 according to the second embodiment.
  • the general user terminal 300 includes a communication unit 310, an input unit 320, an output unit 330, a storage unit 340, a control unit 350, and a display unit 360.
  • the communication unit 310 has the same function as the communication unit 210 shown in FIG.
  • the input unit 320 may have a touch panel as in the input unit 220 shown in FIG. Further, the input unit 320 may include a microphone that detects voice.
  • the output unit 330 has the same function as the output unit 230 shown in FIG.
  • the storage unit 340 has the same function as the storage unit 240 shown in FIG.
  • the storage unit 340 stores the operation history information 341.
  • the operation history information 341 is information indicating the history of operations performed on the general user terminal 300 when the user viewing the music starts the application.
  • the operation history information may include various information related to the operation of the creator, such as the content of the operation performed by the user and the date and time when the operation was performed. Operations include operations such as playing, skipping, and repeating music.
  • the control unit 350 has the same function as the control unit 250 shown in FIG.
  • the control unit 350 includes a display control unit 351, a transmission / reception unit 352, a selection unit 353, and a reproduction unit 354.
  • the display control unit 351 has the same function as the display control unit 251 shown in FIG.
  • the display control unit 351 displays a viewing list, information about the music being watched, and an icon that allows each operation such as play, skip, and repeat to be selected by the music viewing application.
  • the transmission / reception unit 352 has the same function as the transmission / reception unit 252 shown in FIG.
  • the transmission / reception unit 352 receives music information and playlists transmitted from the information processing device 2100.
  • the transmission / reception unit 352 transmits the operation history information 341 of the user to the information processing device 2100.
  • the selection unit 353 selects music information or a playlist, and selects each operation such as play, skip, and repeat.
  • the reproduction unit 354 reproduces the music information and the playlist received from the information processing device 2100.
  • the display unit 360 has the same function as the display unit 260 shown in FIG.
  • FIG. 25 is a sequence diagram showing an information processing procedure according to the second embodiment.
  • FIG. 25 describes the process of presenting style information to the creator.
  • the information processing device 2100 transmits the instructed music to the general user terminal 300. To provide the music (steps S163 and S164).
  • the general user terminal 300 transmits the operation history information of the user to the information processing device 2100 (steps S165 and S166).
  • the information processing device 2100 analyzes the operation history information of the user and obtains the number of times of each operation (step S167). Then, in order to extract the style information preferred by the user, the information processing apparatus 2100 ranks the style information in descending order of the number of predetermined operations based on the analysis result, and obtains the style information in the preset order. Extract (step S168).
  • the information processing device 2100 transmits the presented information of the extracted style information to the creator terminal 200 (step S169).
  • Steps S170 to S178 shown in FIG. 25 are the same processes as steps S105 to S113 shown in FIG.
  • Steps S179 to S181 shown in FIG. 25 are the same processes as steps S120 to S122 shown in FIG.
  • FIG. 26 is a sequence diagram showing an information processing procedure according to the second embodiment.
  • FIG. 26 describes a process of providing a playlist to a user.
  • Steps S191 to S197 shown in FIG. 26 are the same processes as steps S161 to S167 shown in FIG. 25.
  • the information processing apparatus 2100 receives the reproduction instruction information instructing reproduction from the general user terminal 300 (step S198)
  • the information processing apparatus 2100 generates a playlist (step S199).
  • the information processing apparatus 2100 obtains music information in which the number of predetermined operations exceeds the threshold value based on the analysis result of the operation history information of the user, and generates a playback list based on the obtained music information. ..
  • the information processing device 2100 transmits the generated playlist to the general user terminal 300 (step S200).
  • FIG. 27 is a sequence diagram showing an information processing procedure according to the second embodiment.
  • FIG. 27 describes a process of providing a playlist to a user.
  • Steps S201 to S207 shown in FIG. 27 are the same processes as steps S161 to S167 shown in FIG. 25.
  • the information processing device 2100 receives instruction information instructing recomposition or editing from the general user terminal 300 (step S208).
  • the information processing device 2100 obtains music information in which the number of predetermined operations exceeds the threshold value based on the analysis result of the operation history information of the user, and is used for the obtained music information in descending order of the number of predetermined operations. Rank the style information. Then, the information processing apparatus 2100 extracts the style information information of the preset order (step S209).
  • the information processing device 2100 recomposes or arranges the music information based on the style information extracted in step S209 (step S210). Then, the information processing device 2100 transmits the recomposed or arranged music information to the general user terminal 300 (step S211).
  • the instruction information is operation history information indicating the history of operations performed on the user terminal device when the user viewing the music starts the application.
  • the information processing device (information processing device 2100 in the embodiment) further includes an analysis unit (analysis unit 2137 in the embodiment) that analyzes operation history information and obtains the number of times of each operation by the user. This allows the information processing device to analyze the user's preference for music information.
  • the extraction unit (in the embodiment, the extraction unit 2132) ranks the music feature information in descending order of the number of predetermined operations based on the analysis result by the analysis unit, and extracts the music feature information in the preset order. To do.
  • the output unit (transmission unit 133 in the embodiment) outputs the presentation information of the music feature information extracted by the extraction unit to the creator terminal device in which the application related to the creation of the music is installed.
  • the information processing device can present the style information of the music information preferred by the user to the creator terminal.
  • the producer can produce a new song requested by the user in almost real time by using the music feature information used for the currently popular music.
  • the information processing device obtains music information in which the number of predetermined operations exceeds the threshold based on the analysis result by the analysis unit, and generates a playback list based on the obtained music information (transmission in the embodiment). It further has a portion 2138).
  • the output unit outputs the playlist to the user terminal device.
  • the information processing device can generate a playlist that suits the user's taste and distribute and provide a playlist customized for each user.
  • the extraction unit obtains music information in which the number of predetermined operations exceeds the threshold value based on the analysis result by the analysis unit, and the music feature information used for the obtained music information in descending order of the number of predetermined operations. Is ranked, and the music feature information of the preset ranking is extracted.
  • the composer unit recomposes or arranges the music information based on the style information extracted by the extraction unit.
  • the output unit outputs the recomposed or arranged music information to the user terminal device.
  • the information processing device can further recompose or arrange the produced music being played and provide it to the user by using the style information used for the produced music preferred by the user.
  • the convenience of the music creation function by the creator can be improved, and the convenience of the music viewing function by the user can also be improved.
  • FIG. 28 is a conceptual diagram showing the flow of information processing according to the third embodiment.
  • the information processing according to the third embodiment is executed by the information processing device 3100, the creator terminal 200, and the user terminal 3300.
  • the general user terminal 3300 is a tablet terminal or the like like the general user terminal 300, and an application for viewing music is installed.
  • the general user terminal 3300 transmits the action history information indicating the movement history of the general user terminal 3300 to the information processing device 3100.
  • the information processing device 3100 provides style information presentation information and music information to the creator terminal 200, similarly to the information processing device 2100. Further, the information processing device 3100 presents style information to the creator terminal 200 based on the action history information of the general user terminal 3300, provides a playback list of music information provided to the general user terminal 3300, or is general. The music information provided to the user terminal 3300 is recomposed or arranged.
  • the information processing device 3100 acquires the action history information in the general user terminal 3300 (step S41). Then, the information processing device 3100 obtains the music information viewed on the general user terminal 3300, analyzes the action history information, and obtains the position of the user.
  • the information processing device 3100 ranks the style information used for the music information that has been viewed a number of times exceeding the threshold value at a predetermined place, and extracts the style information of the preset rank (step S42). , Output to the creator terminal 200 (step S43).
  • the information processing device 3100 classifies, for example, where the produced music registered in the possession information storage unit 123 is being viewed.
  • the predetermined place is, for example, a local government where the user is located, an event venue where the user is located, or the like.
  • the behavior history information for the general user terminal 3300 is analyzed, and the style information of the music information that is often viewed by general users at a predetermined place is produced by the creator.
  • the creator can, for example, create a new song that is preferred in a specific place in near real time by using the style information of the music information that is preferred in a specific place.
  • the information processing device 3100 analyzes the action history information, obtains music information in which the number of predetermined operations exceeds the threshold value at a predetermined place, and generates a playlist based on the obtained music information (step). S44), the playlist is output to the general user terminal 3300 (step S45).
  • the action history information for the general user terminal 3300 is analyzed, a playlist suitable for the user's preference is generated, and the location where the user is located is specialized. And provide customized playlists for distribution.
  • the information processing device 3100 can distribute and provide different regional hit playlists to users in Tokyo and users in Yokohama. Further, the information processing apparatus 3100 can deliver and provide, for example, a playlist specialized for an event while dynamically creating a playlist.
  • the information processing device 3100 analyzes the action history information, and ranks the style information used for the music information in which the number of predetermined operations exceeds the threshold value in the predetermined place in descending order of the number of predetermined operations. Then, the style information of the preset ranking is extracted. The information processing device 3100 recomposes or arranges the music information based on the extracted style information (step S44), and outputs the recomposed or arranged music information to the general user terminal 3300 (step S45).
  • the produced music being played is further recomposed or arranged by using the style information used for the produced music preferred in the place where the user is located. Can be provided to users. Thereby, for example, a general user can play the produced music being played in a form arranged at the place.
  • the recomposition and arrangement may be actively performed by the user transmitting instruction information from the general user terminal 3300, or may be automatically performed by the information processing device 3100 based on the action history information. Good.
  • the configuration of the information processing system 301 including the information processing device 3100, the creator terminal 200, and the general user terminal 3300 will be described, and the details of various processes will be described in order.
  • FIG. 29 is a diagram showing an example of the information processing system 301 according to the third embodiment.
  • the information processing system 301 includes creator terminals 200-1 to 200-3, general user terminals 3300-1 to 3300-3, and an information processing device 3100.
  • the information processing system 301 functions as an automatic composition function management system and a viewing music providing system.
  • three creator terminals 200-1 to 200-3 are illustrated, but when the description is made without particular distinction, it is described as the creator terminal 200.
  • three general user terminals 3300-1 to 3300-3 are illustrated, but when they are described without particular distinction, they are described as general user terminals 3300.
  • the information processing device 3100 and the creator terminal 200 are connected to each other via a network N so as to be communicable by wire or wirelessly.
  • the information processing device 3100 and the general user terminal 3300 are connected to each other via a network N so as to be communicable by wire or wirelessly.
  • the general user terminal 3300 transmits the action history information indicating the movement history of the general user terminal 3300 to the information processing device 3100.
  • the general user terminal 3300 receives the playlist generated by the information processing device 3100 and the recomposed or arranged music information when the music is viewed.
  • the information processing device 3100 has a plurality of style information as learning data for machine learning.
  • the information processing device 3100 analyzes the action history information received from the general user terminal 3300.
  • the information processing device 3100 outputs the presentation information of the style information extracted based on the analysis result of the action history information to the creator terminal 200 to support the creation of the music by the creator.
  • the information processing apparatus 3100 generates a playlist customized according to the position of the viewer based on the analysis result of the action history information, and provides the playlist to the general user terminal 3300.
  • the information processing device 3100 further recomposes the produced music being played by using the style information used for the produced music preferred in the place where the user is located, based on the analysis result of the action history information. Alternatively, it is arranged and provided to the user.
  • FIG. 30 is a diagram showing a configuration example of the information processing apparatus 3100 according to the third embodiment.
  • the storage unit 120 includes a user behavior history information storage unit 3125 and a position style information storage unit 3126.
  • the information processing device 3100 has a control unit 3130 instead of the control unit 130.
  • the user behavior history information storage unit 3125 stores the history of the position of the general user terminal 3300.
  • FIG. 31 is a diagram showing an example of the user behavior history information storage unit 3125 according to the third embodiment.
  • the user behavior history information storage unit 3125 stores the behavior history information of the general user terminal 3300.
  • each action history information is associated with a user ID of each user.
  • the user's behavior history information is information indicating the history of the position of the general user terminal 300.
  • the user's position history information may include the user's position such as the date and time for each position together with each position information of the user terminal 3300.
  • the position style information storage unit 3126 stores style information corresponding to a predetermined position.
  • FIG. 32 is a diagram showing an example of the position style information storage unit 3126 according to the third embodiment.
  • the position style information storage unit 3126 stores the position style information ID, the position style information, and the style information ID.
  • the position style information ID is identification information for uniquely identifying the position style information.
  • the position style information is information indicating the position.
  • the style information ID is identification information for uniquely identifying the style information.
  • the position style information is information indicating the style information used for the music information that has been favorably viewed at the position indicated by the position style information.
  • the control unit 3130 has an extraction unit 3132, a history acquisition unit 3136, an analysis unit 3137, and a generation unit 3138, as compared with the control unit 130 shown in FIG.
  • the history acquisition unit 3136 acquires the action history information from the general user terminal 3300.
  • the history acquisition unit 3136 may acquire the behavior history information of the target user from the behavior history information stored in the user behavior history information storage unit 3125. Further, the history acquisition unit 3136 may acquire the action history information by requesting the general user terminal 3300 to transmit the action history information.
  • the analysis unit 3137 obtains the music information viewed on the general user terminal 3300, analyzes the behavior history information, and obtains the position of the user. Further, the analysis unit 3137 may analyze the music information that suits the user's taste and the music information that does not suit the user's taste by obtaining the number of times of each operation. For example, the analysis unit 3137 classifies a song whose number of playbacks is greater than the threshold value as a song that the user likes. Further, the analysis unit 3137 classifies the music whose number of playbacks is less than the threshold value as the music that the user does not like. In addition, the analysis unit 3137 classifies the skipped music as a disliked music.
  • the generation unit 2138 obtains music information in which the number of predetermined operations exceeds the threshold value at a predetermined place, and generates a playlist based on the obtained music information.
  • the predetermined operation is playback, repeat, favorite registration, and the like.
  • the extraction unit 3132 Based on the analysis result by the analysis unit 3137, the extraction unit 3132 ranks the style information used for the music information viewed a number of times exceeding the threshold value at a predetermined place by using a predetermined rule. Extract the style information of the preset ranking.
  • the transmission unit 133 transmits the presentation information of the style information extracted by the extraction unit 3132 to the creator terminal 200.
  • the composition unit 134 recomposes or arranges the music information based on the style information extracted by the extraction unit 3132.
  • the transmission unit 133 transmits the recomposed or arranged music information to the general user terminal 3300.
  • FIG. 33 is a diagram showing a configuration example of the general user terminal 3300 according to the third embodiment.
  • the general user terminal 3300 has a control unit 3350 instead of the control unit 350 shown in FIG. 24.
  • the storage unit 340 of the general user terminal 3300 stores the action history information 3341 indicating the movement history of the general user terminal 3300.
  • the action history information 3341 is generated by using the GPS function or the like of the general user terminal 3300.
  • the control unit 3350 has the same function as the control unit 350 shown in FIG. 24.
  • the control unit 3350 has a transmission / reception unit 3352 that transmits the action history information 3341 as well as transmission / reception having the same function as the transmission / reception unit 352 shown in FIG.
  • FIG. 34 is a sequence diagram showing an information processing procedure according to the third embodiment.
  • FIG. 34 describes a process of presenting style information to the creator.
  • Steps S221 to S224 shown in FIG. 34 are the same processes as steps S161 to S164 shown in FIG. 25.
  • the general user terminal 3300 transmits the action history information of the general user terminal 3300 to the information processing device 3100 (steps S225 and S226).
  • the information processing device 3100 obtains the music information viewed on the general user terminal 3300, analyzes the action history information, and obtains the position of the user (step S227). Then, based on the analysis result, the information processing apparatus 3100 ranks the style information used for the music information that has been viewed a number of times exceeding the threshold value at a predetermined place by using a predetermined rule, and ranks the style information in advance. The style information of the set rank is extracted (step S228). As a result, the information processing device 3100 extracts the style information of the music information preferred in the place where the user is located.
  • the information processing device 3100 transmits the presented information of the extracted style information to the creator terminal 200 (step S229).
  • Steps S230 to S241 shown in FIG. 34 are the same processes as steps S169 to S181 shown in FIG. 25.
  • FIG. 35 is a sequence diagram showing an information processing procedure according to the third embodiment.
  • FIG. 35 describes a process of providing a playlist to a user.
  • Steps S251 to S257 shown in FIG. 35 are the same processes as steps S2211 to S227 shown in FIG. 34.
  • the information processing apparatus 3100 receives the reproduction instruction information instructing reproduction from the general user terminal 3300 (step S258), the information processing apparatus 3100 generates a playlist (step S259).
  • the information processing apparatus 3100 obtains music information in which the number of predetermined operations exceeds the threshold value at a predetermined place based on the analysis result, and generates a playlist based on the obtained music information. Then, the information processing device 3100 transmits the generated playlist to the general user terminal 300 (step S260).
  • FIG. 36 is a sequence diagram showing an information processing procedure according to the third embodiment.
  • FIG. 36 describes a process of providing music information after recomposition or arrangement to a user.
  • Steps S261 to S267 shown in FIG. 36 are the same processes as steps S221 to S227 shown in FIG. 34.
  • the information processing device 3100 receives instruction information instructing recomposition or editing from the general user terminal 300 (step S268). Based on the analysis result, the information processing device 3100 ranks the style information used for the music information that has been viewed a number of times exceeding the threshold value at a predetermined place by using a predetermined rule, and is set in advance. The style information of the threshold value is extracted (step S269).
  • the information processing device 3100 recomposes or arranges the music information based on the style information extracted in step S269 (step S370). Then, the information processing device 3100 transmits the recomposed or arranged music information to the general user terminal 300 (step S371).
  • the instruction information is the action history information indicating the movement history of the user terminal device (general user terminal 3300 in the embodiment).
  • the information processing device (information processing device 3100 in the embodiment) is an analysis unit (analysis unit in the embodiment) that obtains the music information viewed on the user terminal device and analyzes the action history information to obtain the position of the user. It also has 3137). As a result, the information processing device can analyze the music information that is preferred and viewed in the place where the user is.
  • the extraction unit determines the music feature information used for the music information that has been viewed a number of times exceeding the threshold value at a predetermined place based on the analysis result by the analysis unit. Ranking is performed using rules, and music feature information with a preset ranking is extracted.
  • the output unit outputs the presentation information of the music feature information extracted by the extraction unit to the creator terminal device in which the application related to the creation of the music is installed. In this way, the information processing device can present the music feature information of the music information that is often viewed by general users at a predetermined place to the producer terminal. As a result, the producer can produce a new song that is preferred in a specific place in almost real time by using the music feature information of the music information that is preferred in the specific place.
  • the information processing device obtains music information in which the number of predetermined operations exceeds the threshold value at a predetermined place from the analysis result by the analysis unit, and generates a playback list based on the obtained music information (implementation).
  • it further has a transmission unit 3138).
  • the output unit outputs the playlist to the user terminal device located at a predetermined location.
  • the information processing device generates a playlist that suits the user's taste, and distributes and provides a customized playlist that is specific to the location where the user is located.
  • the extraction unit ranks the music feature information used for the music information in which the number of predetermined operations exceeds the threshold value at a predetermined location from the analysis result by the analysis unit in descending order of the number of predetermined operations. , Extracts the music feature information of the preset order.
  • the composition unit recomposes or arranges the music information based on the music feature information extracted by the extraction unit.
  • the output unit outputs the recomposed or arranged music information to the user terminal device located at a predetermined location.
  • the information processing device further recomposes or arranges the produced music being played and provides it to the user by using the music feature information used for the produced music preferred in the place where the user is located. can do.
  • the third embodiment it is possible to improve the convenience of the music creation function by the creator, and also the convenience of the music viewing function by the user according to the place where the user is located. Can be improved.
  • FIG. 37 is a diagram showing an example of a conceptual diagram of the configuration of the information processing system. Specifically, FIG. 37 is a schematic diagram showing a functional outline of a system which is an example of application of the information processing systems 1,201 and 301.
  • the server device shown in FIG. 37 corresponds to the information processing devices 100, 2100, and 3100 in the information processing systems 1,201 and 301.
  • the system administrator application unit shown in FIG. 37 corresponds to an application installed on a terminal used by the system administrator.
  • the creator application unit shown in FIG. 37 corresponds to the creator terminal 200 in the information processing system 1 and corresponds to the application installed in the creator terminal 200.
  • the general user application unit shown in FIG. 37 corresponds to the general user terminals 300 and 3300 in the information processing systems 201 and 301, and corresponds to the application installed on the general user terminals 300 and 3300.
  • the system administrator application unit, the music creator application unit, and the general user application unit are illustrated one by one, but a plurality of these are included according to the number of corresponding terminals. May be good.
  • the learning processing unit and control unit of the server device shown in FIG. 37 correspond to the control units 130, 2130, and 3130 of the information processing devices 100, 2100, and 3100.
  • the learning processing unit of the server device corresponds to the composition unit 134 of the information processing devices 100, 2100, and 3100.
  • the in-server database unit of the server device corresponds to the storage unit 120 of the information processing devices 100, 2100, and 3100.
  • the display operation unit and control unit of the music maker application unit shown in FIG. 37 correspond to the control unit 250 of the maker terminal 200.
  • the display operation unit of the music maker application unit corresponds to the display control unit 251 of the maker terminal 200.
  • the display operation unit and control unit of the general user application unit shown in FIG. 37 correspond to the control unit 350 of the general user terminals 300 and 3300.
  • the display operation unit of the general user application unit corresponds to the display control unit 351 of the general user terminals 300 and 3300.
  • the display operation science unit and the control unit of the system administrator application unit and the general user application unit correspond to the control unit of the terminal device used by each user.
  • the server device is connected to the system administrator application unit, the music creator application unit, and the general user application unit via a network N such as the Internet.
  • the server device has a control unit, a learning processing unit, and a database unit in the server.
  • the control unit of the server device has a production music information management function, a style information management function, a user operation history information management function, and a user action history information.
  • the learning processing unit of the server device has a machine learning processing function and a deep learning processing function.
  • the music creator application unit has a display operation unit and a control unit.
  • the display operation unit of the music creator application unit has a production music information display function and a style information display / editing function.
  • the music creator application unit has a style information sharing function and a user operation history information transmission function.
  • the music creator application unit is, for example, music editing software (DAW, etc.), and can display, for example, music information with the copyrighted work information display function. If the DAW has, for example, an AI-assisted music production function, new music information can be produced while using the style information display / editing function.
  • the system administrator application section has the same configuration, and the user's authority over the system is different.
  • the general user application unit has a display operation unit and a control unit.
  • the display operation unit of the general user application unit has a production music information display function and a style information display / editing function.
  • the music maker application unit has a style information sharing function, a user operation history information transmission function, and a user behavior history information transmission function.
  • FIG. 38 shows an example of the user interface when the music creation application is displayed on the screen of the creator terminal 200.
  • the user interface IF11 displays the music data received by the music creation application.
  • the music data in the music creation application is composed of three different types of data: melody, chord, and bass sound.
  • the user interface IF11 shown in FIG. 38 displays data related to a melody among three different types of data.
  • Setting information ST11 displays information related to the style palette, which is an example of setting information in the automatic composition function.
  • the style palette is designated information for designating style information that is learning data for machine learning.
  • Setting information ST12 displays information related to harmony, which is an example of setting information in the automatic composition function.
  • the information about the harmony is, for example, information for determining the probability that the constituent sounds included in the chord appear in the melody in the music data composed by the information processing apparatus 100. For example, if the user sets the information about harmony to "strict", the probability that the constituent notes included in the chord will appear in the melody is high in the automatic composition data. On the other hand, when the user sets the information about harmony to "loose", the probability that the constituent notes included in the chord will appear in the melody in the automatic composition data is reduced. In the example of FIG. 38, the user has applied the information about harmony more than "strict".
  • Setting information ST13 displays note length information, which is an example of setting information in the automatic composition function.
  • the note length information is, for example, information for determining the note length in the music data composed by the information processing apparatus 100. For example, when the user sets the note length information to "long", in the music data of the self-operated song, the note with a relatively long sound length (for example, a whole note, a half note, etc.) ) Will appear more likely. On the other hand, when the user sets the note length information to "short”, in the music data of the self-operated song, the note with a relatively short note length (for example, an eighth note or a sixteenth note) Etc.) will appear more likely.
  • Setting information ST14 displays information for determining the type and amount of material music other than the material music included in the designated information (style palette specified by the user), which is an example of the setting information in the automatic composition function.
  • Such information is, for example, information for determining whether or not to strictly perform learning based on the music included in the style palette specified by the user in the music data composed by the information processing device 100. For example, when the user sets such information to "never", there is a low tendency for music other than the music included in the style palette to be used in automatic composition learning. On the other hand, when the user sets such information to "only”, there is a high tendency that songs other than the songs included in the style palette are used in automatic composition learning.
  • the music data MDT1 displays specific music data transmitted from the information processing device 100.
  • the music data MDT1 includes information indicating a chord progression such as Cm, information indicating a pitch and a note length in a bar, a transition of a note pitch (in other words, a melody), and the like.
  • the music data MDT1 may include, for example, four types of different contents. That is, the information processing device 100 may transmit a plurality of music data instead of transmitting only one type of automatic music data. As a result, the user can select his / her favorite music data from the generated candidates for the plurality of music data, or combine the plurality of music data to compose the favorite music.
  • the user interface IF11 shown in FIG. 38 displays data related to the melody among the three different types of data included in the music data, that is, the melody, the chord, and the bass sound. Displayed on the interface. This point will be described with reference to FIG. 39.
  • the creator terminal 200 has a user interface IF 12 that displays data related to chords and a user interface IF 13 that displays data related to bass sounds on the screen. It may be displayed in.
  • note information different from the music data MDT1 in the user interface IF 11 is displayed on the user interface IF 12 and the user interface IF 13.
  • the user interface IF12 displays note information (for example, constituent sounds of chord Cm) related to chords corresponding to the melody of the music data.
  • the user interface IF13 displays note information (for example, "C" sound in the case of chord Cm) related to the bass sound corresponding to the melody or chord of the music data.
  • the user can select the information to be copied from the displayed user interface IF11, user interface IF12, and user interface IF13, or edit a part of the bass sound, for example.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 40 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing devices 1002100, 3100, the creator terminal 200, and the general user terminals 300, 3300.
  • the information processing apparatus 100 according to the embodiment will be described as an example.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the information processing program according to the present disclosure and the data in the storage unit 120 are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • Music feature information used as learning data in composition processing using machine learning and stores a plurality of music feature information in which a plurality of types of feature amounts extracted from the music information and predetermined identification information are associated with each other.
  • the memory A receiver that receives instruction information transmitted from the terminal device, An extraction unit that extracts the music feature information from the storage unit according to the instruction information, An output unit that outputs presentation information of the music feature information extracted by the extraction unit, and an output unit.
  • the instruction information includes information on the feature amount.
  • the extraction unit Based on the information regarding the feature amount, the extraction unit ranks a plurality of the music feature information using a predetermined rule, extracts the music feature information in a preset order, and extracts the music feature information.
  • the music feature information is characterized by having chord progression information indicating chord progression, melody information indicating melody, and score information having base information indicating bass progression in a bar of a specified length (3).
  • the information processing apparatus further includes drum progress information indicating the progress of the drum in the bar of the specified length.
  • the music feature information has lyrics information indicating lyrics in a bar having a specified length.
  • the music feature information has music format information registered in association with the identification information of the score information and the identification information of the lyrics information for the same measure, and music order information indicating the order of the music format information.
  • the information processing apparatus according to (6).
  • the receiving unit receives instruction information for selecting any of the score information, and receives the instruction information.
  • the extraction unit is characterized in that the music feature information having the score information selected by the instruction information is ranked according to a predetermined rule, and the music feature information having a preset ranking is extracted.
  • the information processing apparatus according to (4).
  • the receiving unit receives instruction information instructing the search of lyrics, and receives the instruction information.
  • the extraction unit ranks the music feature information having the lyrics information including the lyrics in which the instruction information has instructed the search by using a predetermined rule, and extracts the music feature information of the preset ranking.
  • the information processing apparatus according to (6).
  • the terminal device is a creator terminal device in which an application related to music creation is installed.
  • the instruction information is operation history information indicating a history of operations performed on the creator terminal device when the creator who creates the music starts the application.
  • the extraction unit Based on the operation history information, the extraction unit obtains music information in which the number of predetermined operations exceeds the threshold value, and obtains music feature information used for the obtained music information in descending order of the number of times of the predetermined operation. Ranking, extracting the music feature information of the preset ranking, The information processing device according to (3), wherein the output unit outputs the presentation information of the music feature information extracted by the extraction unit to the creator terminal device.
  • the terminal device is a user terminal device in which an application for viewing music is installed.
  • the instruction information is operation history information indicating a history of operations performed on the user terminal device when a user viewing a musical piece starts the application.
  • the information processing device further includes an analysis unit that analyzes the operation history information and obtains the number of times of each operation. (12) Based on the analysis result by the analysis unit, the extraction unit obtains music information in which the number of predetermined operations exceeds the threshold value, and the music characteristics used for the obtained music information in descending order of the number of times of the predetermined operation. The information is ranked, and the music feature information of the preset ranking is extracted.
  • the information processing according to (11), wherein the output unit outputs the presentation information of the music feature information extracted by the extraction unit to a creator terminal device in which an application related to music creation is installed. apparatus.
  • the analysis unit Based on the analysis result by the analysis unit, it further has a generation unit that obtains music information in which the number of predetermined operations exceeds the threshold value and generates a playlist based on the obtained music information.
  • the information processing device according to (11), wherein the output unit outputs the playlist to the user terminal device.
  • the extraction unit Based on the analysis result by the analysis unit, the extraction unit obtains the music information in which the number of predetermined operations exceeds the threshold value, and the music used for the obtained music information in descending order of the number of times of the predetermined operation. The feature information is ranked, and the music feature information of the preset rank is extracted.
  • the composition unit recomposes or arranges the music information based on the music feature information extracted by the extraction unit.
  • the information processing device according to (11), wherein the output unit outputs recomposed or arranged music information to the user terminal device.
  • the terminal device is a user terminal device in which an application for viewing music is installed.
  • the instruction information is action history information indicating the movement history of the user terminal device.
  • the information processing device is characterized by further having an analysis unit that obtains music information viewed on the user terminal device, analyzes the action history information, and obtains the position of the user (3). The information processing device described.
  • the extraction unit Based on the analysis result by the analysis unit, the extraction unit ranks the music feature information used for the music information viewed a number of times exceeding the threshold value at a predetermined place by using a predetermined rule. Then, the music feature information of the preset order is extracted, and the music feature information is extracted.
  • a generation unit Based on the analysis result by the analysis unit, a generation unit that obtains music information in which the number of predetermined operations exceeds the threshold value at a predetermined place and generates a playlist based on the obtained music information.
  • the information processing device wherein the output unit outputs the playlist to the user terminal device located at the predetermined location.
  • the output unit outputs the playlist to the user terminal device located at the predetermined location.
  • the extraction unit Based on the analysis result by the analysis unit, extracts the music feature information used for the music information in which the number of predetermined operations exceeds the threshold value at a predetermined location in descending order of the number of predetermined operations. Ranking, extracting the music feature information of the preset ranking, The composition unit recomposes or arranges the music information based on the extracted music feature information by the extraction unit.
  • the information processing device according to (15), wherein the output unit outputs recomposed or arranged music information to the user terminal device located at the predetermined location.
  • Information processing system 100 2100, 3100 Information processing device 110, 210, 310 Communication unit 120, 240, 340 Storage unit 121 User information storage unit 122 Style information storage unit 123 Owned information storage unit 124 Production information storage unit Unit 125 Operation history information storage unit 130, 250, 350, 2130, 3130, 3350 Control unit 131 Reception unit 132, 2132, 3132 Extraction unit 133 Transmission unit 134 Composition unit 135 Registration unit 136, 2136, 3136 History acquisition unit 137, 2137 , 3137 Analysis unit 200 Producer terminal 220, 320 Input unit 230, 330 Output unit 241,341 Operation history information 251,351 Display control unit 252,352,3352 Transmission / reception unit 253,353 Selection unit 254,354 Playback unit 260,360 Display unit 300, 3300 General user terminal 2125 User operation history information 2138, 3138 Generation unit 3125 User behavior history information storage unit 2136 Position style information storage unit 3341 Behavior history information

Abstract

本開示に係る情報処理装置は、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、端末装置から送信された指示情報を受信する受信部と、指示情報にしたがって、記憶部から楽曲特徴情報を抽出する抽出部と、抽出部によって抽出された楽曲特徴情報の提示情報を出力する出力部と、を有する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
　ＡＩ（Artificial　Intelligence）の進歩に伴い、芸術分野におけるコンピュータの活用が進められている。例えば、既存の楽曲を学習データとして機械学習を行って楽曲生成のためのモデルを生成し、新たな楽曲をコンピュータに作曲させる技術が知られている（例えば、特許文献１）。かかる技術では、マルコフモデルを用いて、既存の楽曲の特徴を模倣したり、より自然な旋律を生成したりすることが可能である。
米国特許第９１１０８１７号明細書
　従来技術によれば、作曲作業においてＡＩによって提案（生成）された楽曲情報を利用することができるため、ユーザは、より多様な観点に基づいて作曲を行うことができる。
　ＡＩによる自動作曲機能は、一般利用者向けに設定されており、一般利用者は、明るい、暗いなどのイメージを設定するだけで、自動的に創作された楽曲情報を受け取ることができる。これに対し、楽曲を創作する制作者は、楽曲の創作の過程で、コード進行やベース進行等の曲の特徴を具体的に設定することが多いため、制作者からは、イメージではなく曲の特徴に合わせた楽曲情報の提供を受けたいという要望があった。
　そこで、本開示では、利用者による楽曲作成機能の利便性を向上させることができることできる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、端末装置から送信された指示情報を受信する受信部と、指示情報にしたがって、記憶部から楽曲特徴情報を抽出する抽出部と、抽出部によって抽出された楽曲特徴情報の提示情報を出力する出力部と、を有する。
第１の実施形態に係る情報処理の流れを示す概念図である。 第１の実施形態に係るスタイル情報のデータ構成の一例を示す図である。 第１の実施形態に係る利用者端末の表示画面の一例を示す図である。 第１の実施形態に係る利用者端末の表示画面の一例を示す図である。 第１の実施形態に係る利用者端末の表示画面の一例を示す図である。 第１の実施形態に係る情報処理システムの一例を示す図である。 第１の実施形態に係る情報処理装置の構成例を示す図である。 第１の実施形態に係る利用者情報記憶部の一例を示す図である。 第１の実施形態に係るスタイル情報記憶部の一例を示す図である。 第１の実施形態に係る所有情報記憶部の一例を示す図である。 第１の実施形態に係る制作情報記憶部の一例を示す図である。 第１の実施形態に係る操作履歴情報記憶部の一例を示す図である。 第１の実施形態に係る制作者端末の構成例を示す図である。 第１の実施形態に係る情報処理の手順を示すシーケンス図である。 第１の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。 第１の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。 第１の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。 第１の実施形態の変形例に係る制作者端末の表示画面の一例を示す図である。 第１の実施形態の変形例に係る情報処理の手順を示すフローチャートである。 第２の実施形態に係る情報処理の流れを示す概念図である。 第２の実施形態に係る情報処理システムの一例を示す図である。 第２の実施形態に係る情報処理装置の構成例を示す図である。 第２の実施形態に係る利用者履歴情報記憶部の一例を示す図である。 第２の実施形態に係る一般利用者端末の構成例を示す図である。 第２の実施形態に係る情報処理の手順を示すシーケンス図である。 第２の実施形態に係る情報処理の手順を示すシーケンス図である。 第２の実施形態に係る情報処理の手順を示すシーケンス図である。 第３の実施形態に係る情報処理の流れを示す概念図である。 第３の実施形態に係る情報処理システムの一例を示す図である。 第３の実施形態に係る情報処理装置の構成例を示す図である。 第３の実施形態に係る利用者行動履歴情報記憶部の一例を示す図である。 第３の実施形態に係る位置スタイル情報記憶部の一例を示す図である。 第３の実施形態に係る一般利用者端末の構成例を示す図である。 第３の実施形態に係る情報処理の手順を示すシーケンス図である。 第３の実施形態に係る情報処理の手順を示すシーケンス図である。 第３の実施形態に係る情報処理の手順を示すシーケンス図である。 情報処理システムの構成の概念図の一例を示す図である。 実施形態に係るユーザインターフェイスの一例を示す図である。 実施形態に係るユーザインターフェイスの一例を示す図である。 情報処理装置、一般利用者端末の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．第１の実施形態に係る情報処理の一例
　　　１－２．第１の実施形態に係る情報処理システムの構成
　　　１－３．第１の実施形態に係る情報処理装置の構成
　　　１－４．第１の実施形態に係る制作者端末の構成
　　　１－５．第１の実施形態に係る情報処理の手順
　　　１－６．第１の実施形態に係る効果
　　２．第１の実施形態の変形例
　　　２－１．第１の実施形態の変形例に係る情報処理の一例
　　　２－２．第１の実施形態の変形例に係る情報処理の手順
　　　２－３．第１の実施形態の変形例に係る効果
　　３．第２の実施形態
　　　３－１．第２の実施形態に係る情報処理の一例
　　　３－２．第２の実施形態に係る情報処理システムの構成
　　　３－３．第２の実施形態に係る情報処理装置の構成
　　　３－４．第２の実施形態に係る一般利用者端末の構成
　　　３－５．第２の実施形態に係る情報処理の手順
　　　　３－５－１．スタイル情報の提示処理
　　　　３－５－２．再生リストの提供処理
　　　　３－５－３．再作曲または編曲後の楽曲情報の提供処理
　　　３－６．第２の実施形態に係る効果
　　４．第３の実施形態
　　　４－１．第３の実施形態に係る情報処理の一例
　　　４－２．第３の実施形態に係る情報処理システムの構成
　　　４－３．第３の実施形態に係る情報処理装置の構成
　　　４－４．第３の実施形態に係る一般利用者端末の構成
　　　４－５．第４の実施形態に係る情報処理の手順
　　　　４－５－１．スタイル情報の提示処理
　　　　４－５－２．再生リストの提供処理
　　　　４－５－３．再作曲または編曲後の楽曲情報の提供処理
　　　４－６．第３の実施形態に係る効果
　　５．情報処理システムの構成の概念図
　　　５－１．全体構成について
　　　５－２．サーバ装置について
　　　５－３．楽曲制作者用アプリ部について
　　　５－４．一般利用者用アプリについて
　　　５－５．ＵＩ（ユーザインターフェイス）
　　６．その他の実施形態
　　　６－１．その他の構成例
　　　６－２．その他
　　７．ハードウェア構成
［１．第１の実施形態］
［１－１．第１の実施形態に係る情報処理の一例］
　まず、図１を用いて、第１の実施形態に係る情報処理の一例を説明する。図１は、第１の実施形態に係る情報処理の流れを示す概念図である。第１の実施形態に係る情報処理は、情報処理装置１００及び制作者端末２００によって実行される。
　本第１の実施形態では、情報処理装置１００が著作物としてのコンテンツの創作に関するサービス（単に「サービス」ともいう）を提供する情報処理装置である場合を一例として示す。なお、以下では、楽曲（音楽コンテンツ）をコンテンツの一例として示すが、コンテンツは、楽曲に限らず、映画などの映像コンテンツや書籍（小説等）等の文字コンテンツ等、種々のコンテンツであってもよい。また、ここでいう楽曲は、完成された１つの曲（全体）に限らず、１つの曲（楽曲）を構成する一部の音源や、サンプリングに利用される短い音などの種々の音楽情報が含まれる概念である。
　情報処理装置１００は、情報処理装置１００が提供するサービスを利用する利用者の制作者端末２００との間で、インターネット等のネットワークＮ（図６参照）を用いて相互に通信を行う。なお、制作者端末２００の台数は、図１に図示したものに限られない。
　制作者端末２００は、ＰＣ（personal　computer）やタブレット端末等の情報処理端末である。制作者端末２００には、各種のプログラムアプリケーションがインストールされる。制作者端末２００には、楽曲の創作に関するアプリケーションがインストールされる。例えば、制作者端末２００は、総合的な音楽制作環境を実現するＤＡＷ等のアプリに、プラグイン（拡張アプリ）により追加された、ＡＩによる自動作曲機能を有する。例えば、プラグインは、ＶＳＴ（Steinberg's　Virtual　Studio　Technology）（登録商標）、ＡｕｄｉｏＵｎｉｔｓ、ＡＡＸ（Avid　Audio　eXtension）等の形態をとることができる。また、制作者端末２００は、ＤＡＷに限らず、例えば、ｉＯＳなどのモバイルアプリを用いてもよい。
　制作者端末２００は、ＤＡＷ及びＡＩによる自動作曲機能を起動実行し、情報処理装置１００との間で通信を行うことによって、情報処理装置１００において作曲された楽曲情報の提供を受ける。また、制作者端末２００は、自動作曲機能の起動時に制作者端末２００に対して実行した操作の履歴を示す操作履歴情報を情報処理装置１００に送信する。
　制作者端末２００の利用者は、システム全体の運用及び管理を行う管理者、楽曲の創作を行う作曲家、アレンジャー、スタジオエンジニア等の制作者、自動作曲機能を介して楽曲情報の提供を受ける一般利用者のいずれかである。本第１の実施形態では、制作者Ｃ１によって制作者端末２００が使用されているものとして説明する。
　情報処理装置１００は、制作者端末２００のＡＩによる自動作曲機能に関する情報処理を実行するサーバ装置である。例えば、情報処理装置１００は、いわゆるクラウドサーバであり、ネットワークＮを介して制作者端末２００から指示された情報にしたがって、ＡＩによる自動作曲を実行し、制作者端末２００に生成した楽曲情報を提供する。
　情報処理装置１００は、機械学習を行うことで、楽曲生成のための作曲モデルを生成する。例えば、情報処理装置１００は、マルコフモデル等を用いて自動作曲された楽曲情報を制作者端末２００に提供する。
　情報処理装置１００は、作曲モデルの学習データとして、スタイル情報（楽曲特徴情報）を用いる。スタイル情報は、楽曲情報から、複数の種別の特徴量として抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報であり、機械学習を用いた作曲処理において使用される。情報処理装置１００は、著作楽曲情報、或いは、制作者によって創作された楽曲情報から複数の種別の特徴量を求め、楽曲情報毎に、各特徴量をまとめてスタイル情報ＩＤ（所定の識別情報）を付与することで、複数のスタイル情報を生成し、データベース化する。
　図２は、第１の実施形態に係るスタイル情報のデータ構成の一例を示す図である。スタイル情報は、スタイル情報の識別情報であるスタイル情報ＩＤ７１０、スタイルパレットシーケンス情報７２０（楽曲順序情報）、スタイルパレット情報７３０（楽曲形式情報）、スコア情報７４０及び歌詞情報７５０を有する。
　スコア情報７４０は、楽曲から抽出された複数の種別の特徴量を含む。スコア情報７４０は、スコアＩＤ、メロディ情報、コード進行情報、ベース情報及びドラム情報を有する。スコアＩＤは、スコア情報の識別情報である。メロディ情報は、規定された長さの小節におけるメロディである。コード進行情報は、規定された長さの小節におけるコード進行を示す情報である。ベース情報は、規定された長さの小節におけるベース音の進行を示す情報である。ドラム情報は、規定された長さの小節におけるドラム音の進行（ドラムのパターンやテンポ）を示す情報である。
　歌詞情報７５０は、歌詞ＩＤ及び歌詞情報を含む。歌詞ＩＤは、歌詞情報の識別情報である。歌詞情報は、規定された長さの小節における、歌詞を示す情報である。歌詞情報は、例えば、歌詞の元となるフレーズや文字キーワードであり、複数の歌詞情報を用いた自動作詞も可能である。
　スタイルパレット情報７３０は、スタイルパレット情報の識別情報であるスタイルパレットＩＤに、同じ小節に対するスコア情報７４０のスコアＩＤと歌詞情報７５０の歌詞ＩＤとを対応付けて登録した情報である。
　スタイルパレット情報７３０には、複数のスコア情報７４０及び歌詞情報７５０より、コード情報のコード進行が類似しているものが束ねられていてもよい。類似するコード進行は、例えば、コード進行が全く同一のものである。或いは、類似するコード進行は、各コードをＴｏｎｉｃ（Ｔ）、Ｓｕｂ－ｄｏｍｉｎａｔ（Ｓ）、Ｄｏｍｉｎａｔ（Ｄ）に分類して、Ｔ，Ｓ，Ｄの並びが同一のものでもよい。なお、ハ長調イ短調の場合は、Ｔは、Ｃ／Ｅｍ／Ａｍであり、Ｓは、Ｆ，Ｄｍであり、Ｄは、Ｇ，Ｄｍ７－５である。そして、コード進行Ｃ－Ｄ－Ｇ－ＣとＥｍ－Ｄｍ－Ｂｍ７－５－Ａｍは、いずれもＴ－Ｓ－Ｄ－Ｔであるため、同一のコード進行と考えることができる。また、類似するコード進行は、音楽理論を用いるのではく、例えば、機械学習や深層学習により類似するコード進行を基準に分類することも可能である。
　スタイルパレットシーケンス情報７２０は、スタイルパレット情報７３０の順序を示す情報である。スタイルパレットシーケンス情報７２０は、スタイルパレット情報７３０を一意に示すスタイルパレットＩＤと、ｂａｒ　ｉｎｄｅｘとを１組とし、この組を複数有することにより、スタイルパレット情報７３０の楽曲中における順序を管理する情報となる。例えば、図２に示す例の場合、楽曲の１～４小節はスタイルパレットＩＤ７３１ａが対応し、５～８小節はスタイルパレットＩＤ７３１ｂが対応し、ｘ～ｙ小節はスタイルパレットＩＤ７３１ｚが対応する、と定義される。
　情報処理装置１００は、このスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行う。したがって、情報処理装置１００は、楽曲情報そのものを学習するのではなく、楽曲情報から抽出されたコード進行、メロディ、ベース進行等の複数の種別の特徴量で構成されたスタイル情報を学習する。すなわち、情報処理装置１００は、楽曲情報から予め抽出された複数の特徴量を学習するため、楽曲情報そのものを学習する倍と比して情報処理の負荷が小さく、ユーザへの楽曲情報も効率的に提供できる。
　また、情報処理装置１００は、制作者による作曲時に、学習データの候補となるスタイル情報を制作者端末２００に提示する。制作者は、提示されたスタイル情報の中から所望の特徴を有するスタイル情報を選択することができ、情報処理装置１００は、制作者が選択したスタイル情報に基づいて作曲した楽曲情報を制作者に提供することができる。これによって、制作者は、自身が選択した曲の特徴に合う楽曲情報を得ることができる。
　具体的に、制作者による楽曲創作の過程について説明する。図３～図５は、第１の実施形態に係る制作者端末２００の表示画面の一例を示す図である。制作者が、制作者端末２００において、自動作曲機能を起動させると、図３に示すウインドウ２７０が制作者端末２００に表示される。
　なお、ウインドウ２７０は、作曲パラメータ設定部２７１、スタイル情報表示部２７２、作曲制御部２７３及び制作楽曲表示編集部２７４を有する。作曲パラメータ設定部２７１は、音符長さや複雑度などのパラメータが設定できる領域である。スタイル情報表示部２７２は、キーワード入力やプルダウン選択によって作曲に使用するスタイル情報を選択できる領域である。作曲制御部２７３は、作曲実行指示ボタンの選択によって作曲指示が可能である領域である。制作楽曲表示編集部２７４は、メロディや歌詞が表示される複数のピアノロールが表示される領域である。
　そして、図４に示すように、スタイルパレット選択プルダウン２７１ａが選択されると、情報処理装置１００が有する各スタイル情報のコード進行が候補として一覧表示される。
　コード進行の候補は、アルファベット順、制作者の利用回数が多い順、全利用者による利用回数が多い順、スタイル情報の生成順等、いずれの順序で表示されてもよい。コード進行は、情報処理装置１００が有するスタイル情報の全てについて表示されてもよい。また、コード進行は、情報処理装置１００が有するスタイル情報の一部についてのみ表示されてもよい。この場合、コード進行は、所定ルールを用いて順位付けされたスタイル情報のうち、所定順位のスタイル情報のコード進行が、順位順に、スタイルパレット選択プルダウン２７１ａに表示される。
　そして、コード進行の候補が多い場合には、ページャーにて表示領域を選択可能とする。また、制作者が検索キーワード入力欄に、所望のコード進行を入力することもできる。この場合、情報処理装置１００は、入力されたコード進行を特徴量として有するスタイル情報に対して、所定のルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。この順位は、例えば、制作者端末２００のスタイルパレット選択プルダウン３７１ａに一覧表示可能であるコード進行情報の数に対応させて設定される。そして、情報処理装置１００は、抽出したスタイル情報のコード進行情報を、順位の高い順に、制作者端末２００のスタイルパレット選択プルダウン３７１ａに一覧表示させてもよい。
　制作者は、スタイルパレット選択プルダウン３７１ａに提示されたコード進行から所望のコード進行を選択し、作曲実行指示ボタンを選択する。制作者は、例えば、コード進行「Ｃ－Ａｍ－Ｆ－Ｃ」を選択する。これによって、情報処理装置１００では、選択されたコード進行「Ｃ－Ａｍ－Ｆ－Ｃ」を有するスタイル情報を抽出し、抽出したスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行う。そして、情報処理装置１００は、制作者端末２００に楽曲情報を提供する。
　これに応じて、制作者端末２００の画面には、図５のメロディ表示ピアノロール３７４ａに、情報処理装置１００から提供された楽曲情報のメロディが表示される。このように、制作者は、スタイルパレット選択プルダウン３７１ａに提示されたコード進行から所望のコード進行を選択するだけで、このコード進行に合わせて生成された楽曲情報の提供を受けることができる。
　上記のように、情報処理装置１００は、楽曲情報の複数の種別の特徴量を有するスタイル情報をデータベース化し、制作者に、スタイル情報を提示する。そして、情報処理装置１００は、制作者によって選択されたスタイル情報を、学習データとして作曲モデルに学習させる。これによって、情報処理装置１００は、制作者が選択した楽曲の特徴に合わせて作曲された楽曲情報を制作者に提供する。
　また、情報処理装置１００は、スタイル情報を制作者に提示する際、所定ルールを用いて順位付けされたスタイル情報のうち、所定順位のスタイル情報を提示する。例えば、情報処理装置１００は、制作者端末２００における操作情報を、指示情報として受け取り、指示情報にしたがって、スタイル情報を抽出する。情報処理装置１００は、アプリケーション（ＤＡＷや自動作曲機能）の起動時に、楽曲を創作する制作者が制作者端末２００に対して実行した操作の履歴を示す操作履歴情報を制作者端末２００から取得する。そして、情報処理装置１００は、操作履歴情報を基に、楽曲情報に対して所定の操作の回数が多い順に、楽曲情報の作曲に使用されたスタイル情報を順位付けする。
　所定の操作は、例えば、再生、編集、作曲実行指示ボタンの選択等である。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものだと考えられる。このため、情報処理装置１００は、操作履歴情報から、再生や編曲の回数が所定数よりも多い楽曲情報を求め、この楽曲情報の作曲に使用されたスタイル情報を、再生や修正の回数が多い順に順位付けする。或いは、情報処理装置１００は、これらのスタイル情報を気に入りのスタイル学習として登録し、気に入りのスタイル情報を再度提示し、または、気に入りのスタイル情報と類似するスタイル情報を提示してもよい。
　また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられる。このため、情報処理装置１００は、この楽曲情報に使用されたスタイル情報の順位を下げる。或いは、情報処理装置１００は、これらのスタイル情報を気に入らないスタイル情報と登録して、気に入らないスタイル情報の提示を再度行わないようにしてもよい。
　情報処理装置１００は、このようなルールで順位付けされたスタイル情報のうち、予め設定された順位のスタイル情報を順位順に制作者に提示する。この結果、制作者の嗜好に合うスタイル情報が制作者端末２００に提示されるため、制作者は、自分の嗜好に合うスタイル情報を選択することで、自分のスタイルに近い楽曲情報の提供を受けることができる。以下、本実施形態に係る情報処理のうち、スタイル情報提示処理の流れを、図１を用いて説明する。
　楽曲創作中に、制作者端末２００は、情報処理装置１００からスタイル情報の提示情報を受けると、例えば、スタイル情報のコード進行をスタイルパレット選択プルダウン３７１ａに提示する。制作者が、提示されたコード進行から所望のコード進行を選択すると、情報処理装置１００は、選択されたコード進行を有するスタイル情報を基に、作曲を行い、制作者端末２００に楽曲提供する。
　そして、情報処理装置１００は、制作者端末２００から、制作者がアプリケーションの起動時に一般利用者端末３００に対して実行した操作の履歴を示す操作履歴情報を取得する（ステップＳ１１）。情報処理装置１００は、楽曲情報に対する再生や編集の回数が多い順に、楽曲情報で使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する（ステップＳ１２）。そして、情報処理装置１００は、抽出したスタイル情報の提示情報を制作者端末装置に出力する（ステップＳ１３）。
　このように、本第１の実施形態に係る情報処理では、制作者による制作者端末２００に対する操作履歴情報を分析して、制作者の嗜好に合うスタイル情報を制作者端末２００に提示することで、制作者による楽曲作成機能の利便性を向上させている。
　以上、本第１の実施形態に係る情報処理の全体の流れの概要を説明した。図６以降では、情報処理装置１００及び制作者端末２００を含む情報処理システム１の構成を説明するとともに、種々の処理の詳細を順に説明する。
［１－２．第１の実施形態に係る情報処理システムの構成］
　図６は、第１の実施形態に係る情報処理システム１の一例を示す図である。図６に示すように、情報処理システム１は、制作者端末２００－１～２００－３と、情報処理装置１００とを有する。情報処理システム１は、自動作曲機能管理システムとして機能する。図６の例では、３台の制作者端末２００－１～２００－３を図示するが、特に区別なく説明する場合には、制作者端末２００と記載する。
　情報処理装置１００と、制作者端末２００とはネットワークＮを介して、有線または無線により通信可能に接続される。
　制作者端末２００は、制作者による指示情報、及び、自動作曲機能起動時における制作者の制作者端末２００に対する操作履歴情報を、情報処理装置１００に送信する。制作者端末２００は、自動作曲機能起動時において、情報処理装置１００において作曲された楽曲情報の提供を受ける。
　情報処理装置１００は、楽曲情報から生成された複数のスタイル情報を、機械学習の学習データとして有する。そして、情報処理装置１００は、これらのスタイル情報を用いて機械学習を行うことで、作曲モデルを生成し、作曲した楽曲情報を制作者端末２００に提供する。この際、情報処理装置１００は、制作者端末２００から送信された指示情報にしたがって、スタイル情報を抽出し、抽出したスタイル情報の提示情報を制作者端末２００に出力して、制作者による楽曲の創作を支援する。
［１－３．第１の実施形態に係る情報処理装置１００の構成］
　次に、図７を用いて、図６に示す情報処理装置１００の構成について説明する。図７は、第１の実施形態に係る情報処理装置１００の構成例を示す図である。図７に示すように、情報処理装置１００は、通信部１１０、記憶部１２０及び制御部１３０を有する。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、制作者端末２００との間で情報の送受信を行う。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、情報処理に用いる各種データを記憶する。記憶部１２０は、利用者情報記憶部１２１、スタイル情報記憶部１２２、所有情報記憶部１２３、制作情報記憶部１２４及び操作履歴情報記憶部１２５を有する。
　利用者情報記憶部１２１は、利用者に関する各種情報（利用者情報）を記憶する。図８は、第１の実施形態に係る利用者情報記憶部１２１の一例を示す図である。
　利用者情報記憶部１２１には、利用者ＩＤ、利用者メタ情報、権限情報を含む利用者情報が記憶される。利用者情報記憶部１２１は、各利用者ＩＤに対応する利用者メタ情報や権限情報を各利用者ＩＤに対応付けて記憶する。
　利用者ＩＤは、利用者を一意に特定するための識別情報を示す。例えば、利用者ＩＤは、制作者、一般利用者、システム管理者等の利用者を一意に特定するための識別情報を示す。利用者メタ情報は、例えば、利用者の氏名や住所など、利用者の付加情報である。権限情報は、例えば、システム管理者権限情報、制作者権限情報、一般利用者権限情報といった権限を識別するための値が保存される。なお、利用者情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。利用者メタ情報には、利用者に関する各種情報を記憶してもよい。例えば、利用者メタ情報には、利用者が自然人である場合、利用者の性別や年齢などのデモグラフィック属性情報やサイコグラフィック属性情報等を記憶してもよい。
　スタイル情報記憶部１２２は、作曲モデルに関する情報を記憶する。図９は、第１の実施形態に係るスタイル情報記憶部１２２の一例を示す図である。
　スタイル情報記憶部１２２には、モデル情報ＩＤ、作成者ＩＤ、モデル情報メタ情報、スタイル情報７００、著作物ＩＤ、共有可否情報を含む学習モデル情報が記憶される。スタイル情報記憶部１２２は、各モデル情報ＩＤに対応する作成者ＩＤやモデル情報メタ情報やスタイル情報や著作物ＩＤや共有可否情報を各モデル情報ＩＤに対応付けて記憶する。
　モデル情報ＩＤは、作曲モデル情報を一意に特定するための識別情報を示す。作成者ＩＤは、対応する作曲モデル情報の作成者を一意に特定するための識別情報を示す。例えば、作成者ＩＤは、システム管理者、制作者、一般利用者等の利用者を一意に特定するための識別情報を示す。
　モデル情報メタ情報は、例えば、学習対象となる著作物の特徴を表す情報である。学習モデル情報メタ情報は、楽曲のテンポ、ジャンル、明暗などの雰囲気、ＡメロＢメロサビなどの曲の構造、コード進行、スケール、チャーチモードなどの情報である。
　スタイル情報７００は、情報処理装置１００が有する作曲モデルの学習データである。図２において説明したように、スタイル情報７００は、楽曲情報から抽出された、コード進行、メロディ、ベース進行等の複数の種別の特徴量と所定の識別情報とを対応付けた情報である。
　共有可否情報は、例えば、対応する学習モデルの共有可否を示す。共有可否情報は、例えば、対応する学習モデルの共有が可能であるか否かを特定識別するための値が保存される。
　なお、スタイル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、作曲モデル情報メタ情報には、作曲モデルが作成された日時に関する情報等、作曲モデルに関する種々の付加情報を記憶してもよい。
　所有情報記憶部１２３は、楽曲を創作する制作者が楽曲創作時に選択したスタイル情報に関する各種情報を記憶する。図１０は、第１の実施形態に係る所有情報記憶部１２３の一例を示す図である。所有情報記憶部１２３には、楽曲を創作する制作者の利用者ＩＤと、この制作者が選択したスタイル情報ＩＤとが対応付けて記憶される。
　制作情報記憶部１２４は、制作された楽曲に関する各種情報を記憶する。図１１は、第１の実施形態に係る制作情報記憶部１２４の一例を示す図である。図１１に示すように、制作情報記憶部１２４は、楽曲を創作した制作者の利用者ＩＤと、制作者によって制作されたスコアＩＤとが対応付けて記憶される。
　操作履歴情報記憶部１２５は、制作者端末２００に対する制作者による操作履歴情報を記憶する。図１２は、第１の実施形態に係る操作履歴情報記憶部１２５の一例を示す図である。
　図１２に示すように、操作履歴情報記憶部１２５は、制作者による制作者端末２００に対する操作履歴情報を記憶する。例えば、各操作履歴情報は、各制作者の利用者ＩＤに対応付けられる。操作履歴情報は、制作者が自動作曲機能起動時に制作者端末２００に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。例えば、操作として、情報処理装置１００から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置１００から受信した楽曲情報の再生や編集などがある。
　図７に戻って説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、制作者端末２００内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　制御部１３０は、受信部１３１、抽出部１３２、送信部１３３、作曲部１３４、登録部１３５、履歴取得部１３６及び分析部１３７を有し、以下に説明する情報処理の機能や作用を実現または実行する。
　受信部１３１は、制作者端末２００との間において通信を行い、各種情報の受信を行う。受信部１３１は、制作者端末２００から、スタイル情報の提示情報の出力に関する指示情報を受信する。指示情報は、端末装置に関する操作情報である。
　具体的には、指示情報は、自動作曲機能の起動にともなう作曲開始情報や自動作曲を指示する情報である。また、指示情報は、スコア情報のいずれかを選択する情報である。具体的には、指示情報は、楽曲の特徴量として制作者が入力したコード進行情報や、検索対象の歌詞を示す歌詞情報等の楽曲情報の特徴量に関する情報である。また、指示情報は、情報処理装置１００が提示したスタイル情報のいずれかを選択する選択情報等である。また、指示情報は、制作者による制作者端末２００に対する操作履歴情報である。
　抽出部１３２は、受信部１３１が受信した指示情報にしたがって、スタイル情報記憶部１２２からスタイル情報を抽出する。抽出部１３２は、指示情報が、コード進行情報等の楽曲情報の特徴量に関する情報である場合、指示情報で示された特徴量を基に、所定ルールを用いて複数のスタイル情報の順位付けを行い、予め設定された順位のスタイル情報を抽出する。
　例えば、抽出部１３２は、操作履歴情報記憶部１２５に記憶された制作者の操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求める。そして、抽出部１３２は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。所定の操作は、再生や編集である。抽出部１３２は、操作履歴情報から、再生や修正の回数が所定数よりも多い楽曲情報を求め、この楽曲情報の作曲に使用されたスタイル情報を、再生や修正の回数が多い順に順位付けする。
　送信部１３３は、各種情報を外部装置に送信する。例えば、抽出部１３２によって抽出されたスタイル情報の提示情報を出力する。この際、送信部１３３は、抽出部１３２によって抽出されたスタイル情報の提示情報を、スタイル情報の順位を示す順位情報とともに制作者端末２００に送信する。
　これによって、制作者端末２００では、スタイルパレット選択プルダウンに、順位が高い順に、スタイル情報のコード進行を選択可能に一覧表示される。制作者は、スタイルパレット選択プルダウンに示されたコード進行の中から所望のコード進行を選択すれば、このコード進行を有するスタイル情報を用いて作曲された楽曲情報の提供を受けることができる。また、送信部１３３は、作曲部１３４（後述）が作曲した楽曲情報を制作者端末２００に送信する。
　作曲部１３４は、スタイル情報を基に、機械学習を用いて楽曲情報を作曲する。作曲部１３４は、制作者端末２００から、提示したスタイル情報のいずれかの選択を指示する選択情報を受け付けると、スタイル情報記憶部１２２から、選択されたスタイル情報を取得する。そして、作曲部１３４は、取得したスタイル情報を基に、機械学習を用いて楽曲情報を作曲する。作曲部１３４は、種々の既存の楽曲生成アルゴリズムを利用して作曲を行ってもよい。
　例えば、作曲部１３４は、マルコフ連鎖を用いた楽曲生成アルゴリズムを利用してもよいし、深層学習を用いた楽曲生成アルゴリズムを利用してもよい。また、作曲部１３４は、制作者端末２００から送信された指示情報に対して、複数の楽曲情報を生成してもよい。これにより、制作者は、複数の提案を作曲部１３４から受けることができるため、より多様な情報を利用して作曲作業を進めることができる。
　登録部１３５は、制作者端末２００から送信された演奏情報等から特徴量を抽出し、抽出した特徴量をスコア情報として登録する。例えば、制作者端末２００では、作曲部１３４によって送信された楽曲情報に基づいて、楽曲の編集や、演奏による楽曲の制作が行なわれる。登録部１３５は、編集結果或いは制作結果を制作者端末２００から受信すると、特徴量を抽出して、スコア情報として登録する。登録部１３５は、制作者によって楽曲が完成されるまで、スコア情報を生成し、記憶部１２０に登録する。
　履歴取得部１３６は、楽曲制作中における製作者が制作者端末２００に対して実行した操作の履歴を示す操作履歴情報を取得する。履歴取得部１３６は、操作履歴情報記憶部１２５に記憶された操作履歴情報から、対象となる操作履歴情報を取得してもよい。また、履歴取得部１３６は、制作者端末２００から、楽曲制作中における操作履歴情報の送信を要求することで、操作履歴情報を取得してもよい。
　分析部１３７は、操作履歴情報を分析して各操作の回数を求める。所定の操作は、例えば、再生や編集である。或いは、所定の操作は、一部再生を行ったが直ちに自動作曲処理を行ったという操作である。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものだと考えられる。また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられる。このため、分析部１３７は、各操作の回数を求めることで、制作者の嗜好に合う楽曲情報や、制作者の嗜好に合わない楽曲情報を分析する。
　そして、抽出部１３２は、分析部による分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。抽出部１３２は、楽曲情報に対する再生や編集の回数が多い順に、この楽曲情報で使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。何度も再生をした楽曲情報や、何度も編集を行った楽曲情報は、制作者の嗜好に合うものと考えられるためである。また、一部再生を行ったが直ちに自動作曲処理を行った楽曲情報は、制作者の嗜好に合わないものと考えられるため、抽出部１３２は、この楽曲情報に使用されたスタイル情報の順位を下げてもよい。
　このように、操作履歴情報の分析結果を基に抽出部１３２によって抽出されたスタイル情報の提示情報は、送信部１３３によって制作者端末２００に送信される。この結果、制作者の嗜好に合うスタイル情報が制作者端末２００に提示されるため、制作者は、自分の嗜好に合うスタイル情報を選択することで、自分のスタイルに近い楽曲情報の提供を受けることができる。
［１－４．第１の実施形態に係る制作者端末２００の構成］
　次に、図１３を用いて、図６に示す制作者端末２００の構成について説明する。図１３は、第１の実施形態に係る制作者端末２００の構成例を示す図である。図１３に示すように、制作者端末２００は、通信部２１０、入力部２２０、出力部２３０、記憶部２４０、制御部２５０及び表示部２６０を有する。
　通信部２１０は、例えば、ＮＩＣや通信回路等によって実現される。通信部２１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、情報処理装置１００や他の端末装置等の他の装置等との間で情報の送受信を行う。
　入力部２２０は、利用者から各種操作が入力される。入力部２２０は、制作者端末２０００に接続されたキーボードやマウスを有する。入力部２２０は、利用者による入力を受け付ける。入力部２２０は、キーボードやマウスによる利用者の入力を受け付ける。入力部２２０は、音声を検知する機能を有してもよい。この場合、入力部２２０は、音声を検知するマイクが含まれてもよい。
　入力部２２０は、表示部２６０を介して各種情報が入力されてもよい。この場合、入力部２２０は、キーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部２２０は、各種センサにより実現されるタッチパネルの機能により、表示画面を介して利用者から各種操作を受け付ける。なお、入力部２２０による利用者の操作の検知方式には、タブレット端末では主に静電容量方式が採用されるが、他の検知方式である抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式など、利用者の操作を検知できタッチパネルの機能が実現できればどのような方式を採用してもよい。また、制作者端末２００は、ボタン等による操作も受け付ける入力部を有してもよい。
　出力部２３０は、各種情報を出力する。出力部２３０は、音声を出力するスピーカーを有する。
　記憶部２４０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部２４０は、情報の表示に用いる各種情報を記憶する。記憶部２４０は、操作履歴情報２４１を記憶する。
　操作履歴情報２４１は、楽曲を創作する制作者がアプリケーションの起動時に制作者端末２００に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、制作者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。操作として、情報処理装置１００から提示されたスタイル情報の選択、作曲実行指示ボタンの選択、情報処理装置１００から受信した楽曲情報の再生、編集、制作などがある。
　制御部２５０は、例えば、ＣＰＵやＭＰＵ等によって、制作者端末２００内部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部２５０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。制御部２５０は、表示制御部２５１、送受信部２５２、選択部２５３、及び再生部２５４を有する。
　表示制御部２５１は、表示部２６０に対する各種表示を制御する。表示制御部２５１は、表示部２６０の表示を制御する。表示制御部２５１は、情報処理装置１００から受信した情報に基づいて、表示部２６０の表示を制御する。表示制御部２５１は、制御部２５０の各構成要素による処理により生成された情報に基づいて、表示部２６０の表示を制御する。表示制御部２５１は、画像を表示するアプリケーションにより表示部２６０の表示を制御してもよい。
　表示制御部２５１は、ＤＡＷ及びＡＩによる自動作曲機能のアプリケーションにより、ウインドウ２７０（図３～図５参照）等を表示部２６０に表示させる。また、表示制御部２５１は、情報処理装置１００からスタイルパレットの提示情報を受信すると、提示されたスタイルパレットのコード進行や歌詞を、ウインドウ２７０のスタイルパレット選択プルダウン３７１ａ（図４参照）に表示させる。
　送受信部２５２は、情報処理装置１００との間において通信を行い、各種情報の送信及び受信を行う。自動作曲機能起動時には、送受信部２５２は、情報処理装置１００から送信された、スタイル情報の提示情報を受信する。送受信部２５２は、スタイル情報を選択する指示情報を、情報処理装置１００に送信する。そして、送受信部２５２は、情報処理装置１００が生成した楽曲情報を受信する。また、送受信部２５２は、制作者によって編曲、制作されたメロディ等の楽曲情報を情報処理装置１００に送信する。
　選択部２５３は、情報処理装置１００から提示されたスタイル情報のいずれかを選択する。例えば、ウインドウ２７０のスタイルパレット選択プルダウン３７１ａ（図４参照）に表示されたコード進行のうち、利用者による入力部２２０の操作によっていずれかのコード進行が選択される。これによって、選択部２５３は、この選択されたコード進行に対応するスタイル情報を選択する指示情報を、送受信部２５２から情報処理装置１００に送信する。
　再生部２５４は、情報処理装置１００が生成した楽曲情報を再生する。具体的には、再生部２５４は、楽曲データに含まれるメロディやコード、ベース音の各々に任意の楽器情報を設定し、各々のデータを再生する。なお、再生部２５４は、メロディやコード、ベース音の各々を組み合わせて再生してもよい。
　また、制御部２５０は、制作者が、自動作曲機能によって提供された作曲とともに演奏を行う場合に、制作者による演奏を受け付ける。また、制御部２５０は、制作者による、自動作曲機能によって提供された作曲への編曲や、楽曲の制作に関する処理も受け付ける。
　表示部２６０は、各種情報を表示する。表示部２６０は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。表示部２６０は、表示制御部２５１による制御に応じて、各種情報を表示する。表示部２６０は、情報処理装置１００から提供される画像等の情報を表示することも可能である。
［１－５．第１の実施形態に係る情報処理の手順］
　次に、図１４を用いて、第１の実施形態に係る各種情報処理の手順について説明する。図１４は、第１の実施形態に係る情報処理の手順を示すシーケンス図である。
　情報処理装置１００は、制作者端末２００での自動作曲機能の起動に伴い（ステップＳ１０１）、作曲開始情報を受信すると（ステップＳ１０２）、スタイル情報を抽出し（ステップＳ１０３）、抽出したスタイル情報の提示情報を制作者端末２００に送信する（ステップＳ１０４）。情報処理装置１００は、例えば、スタイル情報記憶部２２２から、全てのスタイル情報、制作者の利用回数が所定回数を超えるスタイル情報、或いは、全利用者による利用回数が所定回数を超えるスタイル情報を抽出し、抽出したスタイル情報の提示情報を送信する。
　そして、制作者端末２００は、提示情報を基にスタイル情報を一覧表示する（ステップＳ１０５）。制作者端末２００は、例えば、スタイル情報のコード進行を候補として一覧表示する。そして、制作者端末２００は、制作者によってスタイル情報が選択されると（ステップＳ１０６）、選択されたスタイル情報を示す選択情報を、情報処理装置１００に送信する（ステップＳ１０７）。
　情報処理装置１００は、選択されたスタイル情報を抽出し、抽出したスタイル情報を学習データとして用いた機械学習を行って作曲処理を行い（ステップＳ１０８）、制作者端末２００に楽曲情報を提供する（ステップＳ１０９）。なお、情報処理装置１００は、作曲した楽曲情報から複数の種別の特徴量を抽出してこれらの特徴量を含む新たなスコア情報として記憶部１２０に格納するとともに、所有情報記憶部１２３に登録する。
　制作者端末２００は、提供を受けた楽曲を再生すると（ステップＳ１１０）、制作者による楽曲情報に対する編集や制作処理のための操作を受け付ける（ステップＳ１１１）。制作者が、例えば、ＭＩＤＩ　ｋｅｙｂｏａｒｄにより演奏する場合、ＭＩＤＩ情報を受け付ける。そして、制作者端末２００は、制作者による編集処理や制作処理によって制作された楽曲情報を情報処理装置１００に送信する（ステップＳ１１２）。
　情報処理装置１００は、編曲、制作された楽曲情報を受け付けると、楽曲情報から特徴量を抽出し、抽出した特徴量を基に生成したスコア情報を登録する（ステップＳ１１３）。情報処理装置１００は、制作者が選択したスタイル情報に、制作者によって編曲、制作された楽曲情報に基づくスコア情報を追加し、スタイル情報を制作者のスタイルに近づかせてもよい。
　制作者端末２００は、自動作曲機能の起動時に、操作履歴情報を情報処理装置１００に送信する（ステップＳ１１４，Ｓ１１５）。情報処理装置１００は、操作履歴情報を分析して各操作の回数を求める（ステップＳ１１６）。そして、情報処理装置１００は、制作者の嗜好に合うスタイル情報を抽出するために、分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する（ステップＳ１１７）。情報処理装置１００は、抽出したスタイル情報の提示情報を制作者端末２００に送信する（ステップＳ１１８）。
　そして、制作者端末２００は、操作履歴情報を基に抽出されたスタイル情報を一覧表示する（ステップＳ１１９）。そして、制作者端末２００は、作曲が終了していない場合には（ステップＳ１２０：Ｎｏ）、ステップＳ１０６に戻り、制作者による楽曲の制作処理を継続する。また、制作者による作曲が終了すると（ステップＳ１２０：Ｙｅｓ）、制作者は、一般利用者端末３００を操作し、例えば、アレンジ処理（ステップＳ１２１）、ミックスやマスタリング処理を行ってもよい（ステップＳ１２２）。
［１－６．第１の実施形態に係る効果］
　上述のように、第１の実施形態に係る情報処理装置（実施形態では情報処理装置１００）は、機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報（実施の形態ではスタイル情報７００）を記憶する記憶部（実施形態では記憶部１２０）と、端末装置（実施形態では制作者端末２００）から送信された指示情報を受信する受信部（１３１）と、指示情報にしたがって、記憶部から楽曲特徴情報を抽出する抽出部（実施形態では抽出部１３２）と、抽出部によって抽出された楽曲特徴情報の提示情報を出力する出力部（実施形態では送信部１３３）と、を有する。
　このように、第１の実施形態に係る情報処理装置では、楽曲情報の複数の種別の特徴量を有するスタイル情報を保持し、指示情報にしたがって、抽出した楽曲特徴情報の提示情報を出力する。すなわち、第１の実施形態に係る情報処理装置が、端末装置に、指示情報に応じた楽曲特徴情報を提示することで、制作者は、その中から所望の楽曲特徴情報を選択することができる。そして、情報処理装置は、制作者が所望した楽曲特徴情報に基づいて作曲された楽曲情報を提供することができる。したがって、本実施の形態に係る情報処理装置によれば、利用者による楽曲作成機能の利便性を向上させることができる。
　また、指示情報は、特徴量に関する情報を含む。抽出部は、特徴量に関する情報を基に、所定ルールを用いて複数の楽曲特徴情報の順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。出力部は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する。これにより、情報処理装置は、制作者が指示した楽曲の特徴量を基に、順位が高い楽曲特徴情報を順位情報とともに提示するため、制作者は、楽曲特徴情報の一覧を確認するだけで、自身の希望に合う楽曲特徴情報を迅速に選択することができる。
　また、指示情報は、端末装置における操作情報である。このため、情報処理装置は、操作情報を、指示情報として受け取り、操作情報にしたがった適切なスタイル情報を抽出することができる。
　楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する。これにより、情報処理装置は、コード進行、メロディ、ベース情報を含む楽曲特徴情報を基に、作曲を実行することができる。そして、情報処理装置は、作曲時において、楽曲情報そのものではなく、コード進行情報、メロディ情報、ベース情報といった特徴量を学習するため、利用者へ楽曲情報を効率的に提供できる。
　スコア情報は、規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む。これにより、情報処理装置は、コード進行、メロディ、ベース情報、ドラム進行情報を含む楽曲特徴情報を基に、作曲を実行することができる。
　楽曲特徴情報は、同じ小節に対するスコア情報の識別情報と歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、楽曲形式情報の順序を示す楽曲順序情報とを有する。情報処理装置は、楽曲形式情報とその順序も学習できるため、さらに利用者が所望する楽曲情報を提供できる。
　受信部は、スコア情報のいずれかを選択する指示情報を受信する。抽出部は、指示情報が選択したスコア情報を有する楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。これにより、情報処理装置は、例えば制作者が指示したスコア情報の特徴量を基に、順位が高い楽曲特徴情報を提示するため、制作者は、楽曲特徴情報の一覧を確認するだけで、自身の希望に合う楽曲特徴情報を迅速に選択することができる。
　また、端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置である。指示情報は、楽曲を創作する制作者がアプリケーションの起動時に制作者端末装置に対して実行した操作の履歴を示す操作履歴情報である。抽出部は、操作履歴情報を基に、所定の操作の回数が多い順に楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。出力部は、抽出部によって抽出された楽曲特徴情報の提示情報を制作者端末装置に出力する。これにより、情報処理装置は、操作履歴情報を分析して、制作者の嗜好に合う楽曲情報を制作者に提示するため、制作者は、自身の嗜好に合う楽曲特徴情報を迅速に選択することができる。
［２．第１の実施形態の変形例］
［２－１．第１の実施形態の変形例に係る情報処理の一例］
　次に、第１の実施形態の変形例に係る情報処理について説明する。スタイル情報７００（図２参照）は、特徴量として歌詞情報を含む。このため、制作者は、制作者端末２００に所望の歌詞を入力するだけで、この歌詞に合ったスタイル情報の提示を受けることができる。図１５～図１８は、第１の実施形態の変形例に係る制作者端末２００の表示画面の一例を示す図である。
　具体的には、図１５に示すように、制作者がウインドウ２７０の検索キーワード入力欄２７２ｂに、所望の歌詞（例えば、「楽しい」）を入力した場合には、情報処理装置１００は、歌詞「楽しい」を検索する指示情報を受信する。
　そして、情報処理装置１００は、この歌詞或いはこの歌詞に類似する歌詞を含む歌詞情報を特徴量として有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。そして、情報処理装置１００は、抽出した各スタイル情報の提示情報を制作者端末２００に送信すると、制作者端末２００では、歌詞情報が、スタイルパレット選択プルダウン３７１ａに一覧表示される。例えば、スタイルパレット選択プルダウン３７１ａには、「楽しい未来が・・・」、「その国は楽しい・・・」、「友達と楽しい時間を・・・」等の「楽しい」を含む歌詞情報が表示される。
　制作者は、スタイルパレット選択プルダウン３７１ａに提示された歌詞情報から所望の歌詞情報を選択し、作曲実行指示ボタンを選択する。図１６の例では、「友達と楽しい時間を・・・」が選択される。これによって、情報処理装置１００では、選択された歌詞情報を有するスタイル情報を抽出し、抽出したスタイル情報７００を学習データとして用いた機械学習を行い、作曲処理を行い、制作者端末２００に楽曲情報を提供する。
　この際、情報処理装置１００は、生成した楽曲に合わせて歌詞も自動生成し、メロディと歌詞とを対応付けた楽曲情報を制作者端末２００に提供してもよい。この場合、制作者端末２００の画面には、図１６のメロディ表示ピアノロール３７４ａに、メロディと、メロディに対応する歌詞とが表示される。
　このように、制作者は、検索した歌詞を入力した後に、スタイルパレット選択プルダウン３７１ａに提示された歌詞情報から所望の歌詞情報を選択するだけで、選択した歌詞情報に合わせて生成された楽曲情報の提供を受けることができる。
　また、利用者が歌詞を入力した場合、図１７に示すように、制作者端末２００は、情報処理装置１００から提示されたスタイル情報のコード進行の候補を一覧表示して、制作者の楽曲創作を支援してもよい。この場合、制作者端末２００の画面には、図１８のメロディ表示ピアノロール３７４ａに、メロディと、メロディに対応する歌詞とが表示される。
　このように、情報処理装置１００では、受信部１３１が、歌詞の検索を指示する指示情報を受信する。そして、抽出部１３２は、指示情報が検索を指示した歌詞或いはこの歌詞に類似する歌詞を有する歌詞情報を有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。例えば、情報処理装置１００は、検索対象の歌詞（文字キーワード）と、歌詞が一致する歌詞情報を有するスタイル情報を抽出して提示する他、機械学習や深層学習によりあらかじめ歌詞情報を分類しておき検索対象の歌詞を含む分類に属するスタイル情報を提示してもよい。また、作曲部１３４は、生成した楽曲に合わせて歌詞も自動生成する。
［２－２．第１の実施形態の変形例に係る情報処理の手順］
　次に、図１９を用いて、第１の実施形態の変形例に係る各種情報処理の手順について説明する。図１９は、第１の実施形態の変形例に係る情報処理の手順を示すフローチャートである。
　図１９に示すステップＳ１３１は、図１４に示すステップＳ１０１と同じ処理である。制作者端末２００は、歌詞の検索を受け付けると（ステップＳ１３２）、この歌詞の検索を指示する指示情報を情報処理装置１００に送信する（ステップＳ１３３）。
　情報処理装置１００は、この歌詞或いはこの歌詞に類似する歌詞を含む歌詞情報を特徴量として有するスタイル情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する（ステップＳ１３４）。
　そして、情報処理装置１００は、抽出した各スタイル情報の歌詞情報を含む提示情報を制作者端末２００に送信すると（ステップＳ１３５）、制作者端末２００では、歌詞情報或いはコード進行が一覧表示される（ステップＳ１３６）。図１９に示すステップＳ１３７～ステップＳ１３９は、図１４に示すステップＳ１０６～ステップＳ１０８と同じ処理である。情報処理装置１００は、歌詞の自動生成を行い（ステップＳ１４０）、作曲した楽曲情報と生成した歌詞情報とを制作者端末２００に提供する（ステップＳ１４１）。なお、情報処理装置１００は、作曲した楽曲情報から歌詞を含む複数の種別の特徴量を抽出してこれらの特徴量を含む新たなスコア情報として記憶部１２０に格納するとともに、所有情報記憶部１２３に登録する。
　制作者端末２００は、提供を受けた楽曲を歌詞とともに再生すると（ステップＳ１４２）、制作者による、楽曲情報や歌詞情報に対する編集や制作処理のための操作を受け付ける（ステップＳ１４３）。制作者端末２００は、制作者による編集処理や制作処理によって制作された楽曲情報及び歌詞情報を情報処理装置１００に送信する（ステップＳ１４４）。
　情報処理装置１００は、編曲、制作された楽曲情報を受け付けると、楽曲情報から歌詞情報を含む特徴量を抽出し、抽出した特徴量を基に生成したスコア情報及び歌詞情報を登録する（ステップＳ１４５）。情報処理装置１００は、制作者が選択したスタイル情報に、制作者によって編曲、制作された楽曲情報に基づくスコア情報及び歌詞情報を追加し、スタイル情報を制作者のスタイルに近づかせてもよい。
　図１９に示すステップＳ１４６～ステップＳ１４９は、図１４に示すステップＳ１１５～ステップＳ１１７と同じ処理である。情報処理装置１００は、抽出したスタイル情報の歌詞情報を含む提示情報を制作者端末２００に送信する（ステップＳ１５０）。図１９に示すステップＳ１５１～ステップＳ１５４は、図１４に示すステップＳ１１９～ステップＳ１２２と同じ処理である。
［２－３．第１の実施形態の変形例に係る効果］
　上述したように、第１の実施形態の変形例では、情報処理装置は、受信部は、歌詞の検索を指示する指示情報を受信する。抽出部は、指示情報が検索を指示した歌詞を有する歌詞情報を有する楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。これにより、制作者は、検索した歌詞を入力し、提示された楽曲特徴情報から所望の楽曲特徴情報を選択するだけで、選択した歌詞に合わせて生成された楽曲情報の提供を受けることができる。したがって、本実施の形態に係る情報処理装置によれば、利用者による楽曲作成機能の利便性を向上させることができる。
［３．第２の実施形態］
［３－１．第２の実施形態に係る情報処理の一例］
　次に、図２０を用いて、第２の実施形態に係る情報処理の一例を説明する。図２０は、第２の実施形態に係る情報処理の流れを示す概念図である。第２の実施形態に係る情報処理は、情報処理装置２１００、制作者端末２００及び一般利用者端末３００によって実行される。
　一般利用者端末３００は、タブレット端末等の情報処理端末である。一般利用者端末３００には、各種のプログラムアプリケーションがインストールされる。一般利用者端末３００には、楽曲を視聴するアプリケーションがインストールされる。一般利用者端末３００は、情報処理装置１００との間で通信を行うことによって楽曲情報の提供を受ける。一般利用者端末３００の利用者は、楽曲情報の提供を受ける一般利用者である。
　一般利用者端末３００は、楽曲視聴用のアプリケーションの起動時に、利用者が一般利用者端末３００に対して実行した操作の履歴を示す操作履歴情報を情報処理装置２１００に送信する。また、一般利用者端末３００は、ＤＡＷ及びＡＩによる自動作曲機能の起動も可能である。一般利用者端末３００は、ＤＡＷに限らず、例えば、ｉＯＳなどのモバイルアプリを用いてもよい。
　情報処理装置２１００は、情報処理装置１００と同様に、スタイル情報の提示情報や楽曲情報を制作者端末２００に提供する。そして、情報処理装置２１００は、一般利用者端末３００の操作履歴情報を基に、制作者端末２００に対するスタイル情報の提示、一般利用者端末３００に提供する楽曲情報の再生リストの提供、または、一般利用者端末３００に提供する楽曲情報の再作曲或いは編曲を行う。
　図２０を参照して、具体的に、第２の実施形態に係る情報処理の流れについて説明する。図２０に示すように、情報処理装置２１００は、一般利用者端末３００における操作履歴情報を取得する（ステップＳ３１）。そして、情報処理装置２１００は、操作履歴情報を分析して、利用者による各操作の回数を求める。
　所定の操作は、例えば、利用者による楽曲情報の視聴の際に実行された再生、スキップ、リピートなどの操作である。例えば、情報処理装置２１００は、所有情報記憶部１１３に登録された制作楽曲において再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、情報処理装置２１００は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、情報処理装置２１００は、スキップされた楽曲を嫌いな楽曲と分類する。
　そして、情報処理装置２１００は、楽曲情報への所定の操作の回数が多い順に、楽曲情報の作曲に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出して（ステップＳ３２）、制作者端末２００に出力する（ステップＳ３３）。
　このように、第２の実施形態に係る情報処理では、利用者による一般利用者端末３００に対する操作履歴情報を分析し、利用者に好まれている楽曲情報のスタイル情報を制作者端末２００に提示する。これによって、制作者は、現在流行っている楽曲に使用されているスタイル情報を用いて、利用者が要求する新曲をほぼリアルタイムで制作することができる。
　また、情報処理装置２１００は、操作履歴情報を分析し、利用者による所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成して（ステップＳ３４）、一般利用者端末３００に再生リストを出力する（ステップＳ３５）。
　このように、第２の実施形態に係る情報処理では、利用者による一般利用者端末３００に対する操作履歴情報を分析し、利用者の好みに合う再生リストを生成して、利用者毎にカスタマイズされた再生リストを配信提供する。
　そして、情報処理装置２１００は、操作履歴情報を分析し、利用者による所定の操作の回数が閾値を超えた楽曲情報を求める。そして、情報処理装置２１００は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する。情報処理装置２１００は、抽出したスタイル情報を基に楽曲情報を再作曲または編曲し（ステップＳ３４）、再作曲または編曲された楽曲情報を一般利用者端末３００に出力する（ステップＳ３５）。
　このように、第２の実施形態に係る情報処理では、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。この再作曲及び編曲は、利用者が一般利用者端末３００から指示情報を送信することによって能動的に行われてもよいし、情報処理装置２１００が操作履歴情報を基に自動的に行ってもよい。次に、情報処理装置２１００、制作者端末２００及び一般利用者端末３００を含む情報処理システム２０１の構成を説明するとともに、種々の処理の詳細を順に説明する。
［３－２．第２の実施形態に係る情報処理システムの構成］
　図２１は、第２の実施形態に係る情報処理システム２０１の一例を示す図である。図２１に示すように、情報処理システム２０１は、制作者端末２００－１～２００－３と、一般利用者端末３００－１～３００－３と、情報処理装置２１００とを有する。情報処理システム２０１は、自動作曲機能管理システム及び視聴楽曲提供システムとして機能する。図２１の例では、３台の制作者端末２００－１～２００－３を図示するが、特に区別なく説明する場合には、制作者端末２００と記載する。また、図２１の例では、３台の一般利用者端末３００－１～３００－３を図示するが、特に区別なく説明する場合には、一般利用者端末３００と記載する。
　情報処理装置２１００と、制作者端末２００とはネットワークＮを介して、有線または無線により通信可能に接続される。情報処理装置２１００と、一般利用者端末３００とはネットワークＮを介して、有線または無線により通信可能に接続される。
　一般利用者端末３００は、操作履歴情報を情報処理装置２１００に送信する。操作履歴情報は、楽曲視聴用のアプリケーションの起動時に、利用者が一般利用者端末３００に対して実行した操作の履歴を示す情報である。また、一般利用者端末３００は、楽曲視聴時に、情報処理装置２１００において生成された再生リストや、再作曲または編曲された楽曲情報の提供を受ける。
　情報処理装置２１００は、情報処理装置１００と同様に、複数のスタイル情報を、機械学習の学習データとして有する。情報処理装置２１００は、一般利用者端末３００から受信した操作履歴情報を分析する。情報処理装置２１００は、操作履歴情報の分析結果を基に抽出したスタイル情報の提示情報を制作者端末２００に出力して、制作者による楽曲の創作を支援する。また、情報処理装置２１００は、操作履歴情報の分析結果を基に、視聴者にカスタマイズした再生リストを生成し、一般利用者端末３００に提供する。また、情報処理装置２１００は、操作履歴情報の分析結果を基に、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供する。
［３－３．第２の実施形態に係る情報処理装置１００の構成］
　次に、図２２を用いて、図２１に示す情報処理装置２１００の構成について説明する。図２２は、第２の実施形態に係る情報処理装置２１００の構成例を示す図である。図２２に示すように、情報処理装置２１００では、記憶部１２０は、利用者操作履歴情報記憶部２１２５を有する。そして、情報処理装置２１００は、制御部１３０に代えて、制御部２１３０を有する。
　利用者操作履歴情報記憶部２１２５は、一般利用者端末３００に対する利用者による操作履歴情報を記憶する。図２３は、第２の実施形態に係る利用者履歴情報記憶部２１２５の一例を示す図である。
　図２３に示すように、利用者操作履歴情報記憶部２１２５は、利用者による一般利用者端末３００に対する操作履歴情報を記憶する。例えば、各操作履歴情報は、各利用者の利用者ＩＤに対応付けられる。例えば、利用者の操作履歴情報には、利用者が行った操作の内容や操作が行われた日時等、利用者の操作に関する各種情報が含まれてもよい。例えば、操作として、楽曲情報の再生、スキップ、リピートなどがある。
　制御部２１３０は、図７に示す制御部１３０と比して、抽出部２１３２、履歴取得部２１３６、分析部２１３７及び生成部２１３８を有する。
　履歴取得部２１３６は、利用者の操作履歴情報を取得する。履歴取得部２１３６は、利用者操作履歴情報記憶部２１２５に記憶された操作履歴情報から、対象となる利用者の操作履歴情報を取得してもよい。また、履歴取得部２１３６は、一般利用者端末３００に対し、楽曲視聴中における利用者の操作履歴情報の送信を要求することで、操作履歴情報を取得してもよい。
　分析部２１３７は、利用者の操作履歴情報を分析して各操作の回数を求める。所定の操作は、例えば、楽曲の再生、スキップ、リピートなどの操作である。例えば、分析部２１３７は、再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、分析部２１３７は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、分析部２１３７は、スキップされた楽曲を嫌いな楽曲と分類する。このように、分析部２１３７は、各操作の回数を求めることで、利用者の嗜好に合う楽曲情報や、利用者の嗜好に合わない楽曲情報を分析する。
　生成部２１３８は、分析部２１３７による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。送信部１３３は、再生リストを一般利用者端末３００に出力する。
　抽出部２１３２は、分析部２１３７による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求める。そして、抽出部２１３２は、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル報を抽出する。送信部１３３は、抽出部２１３２によって抽出されたスタイル情報の提示情報を、制作者端末２００に送信する。
　そして、作曲部１３４は、抽出部２１３２によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。送信部１３３は、再作曲または編曲された楽曲情報を一般利用者端末３００に送信する。
［３－４．第２の実施形態に係る一般利用者端末３００の構成］
　次に、図２４を用いて、図２１に示す一般利用者端末３００の構成について説明する。図２４は、第２の実施形態に係る一般利用者端末３００の構成例を示す図である。図２４に示すように、一般利用者端末３００は、通信部３１０、入力部３２０、出力部３３０、記憶部３４０、制御部３５０及び表示部３６０を有する。
　通信部３１０は、図１３に示す通信部２１０と同様の機能を有する。入力部３２０は、図１３に示す入力部２２０と同様に、タッチパネルを有してもよい。また、入力部３２０は、音声を検知するマイクが含まれてもよい。出力部３３０は、図１３に示す出力部２３０と同様の機能を有する。
　記憶部３４０は、図１３に示す記憶部２４０と同様の機能を有する。記憶部３４０は、操作履歴情報３４１を記憶する。操作履歴情報３４１は、楽曲を視聴する利用者がアプリケーションの起動時に一般利用者端末３００に対して実行した操作の履歴を示す情報である。例えば、操作履歴情報には、利用者が行った操作の内容や操作が行われた日時等、制作者の操作に関する各種情報が含まれてもよい。操作として、楽曲の再生、スキップ、リピートなどの操作などがある。
　制御部３５０は、図１３に示す制御部２５０と同様の機能を有する。制御部３５０は、表示制御部３５１、送受信部３５２、選択部３５３及び再生部３５４を有する。
　表示制御部３５１は、図１３に示す表示制御部２５１と同様の機能を有する。表示制御部３５１は、楽曲視聴用のアプリケーションにより、視聴リスト、視聴中の楽曲に関する情報や、再生、スキップ、リピート等の各操作を選択できるアイコンを表示する。
　送受信部３５２は、図１３に示す送受信部２５２と同様の機能を有する。送受信部３５２は、情報処理装置２１００から送信された楽曲情報や再生リストを受信する。送受信部３５２は、利用者の操作履歴情報３４１を情報処理装置２１００に送信する。
　選択部３５３は、楽曲情報或いは再生リストの選択や、再生、スキップ、リピート等の各操作の選択を行う。再生部３５４は、情報処理装置２１００から受信した楽曲情報や再生リストを再生する。表示部３６０は、図１３に示す表示部２６０と同様の機能を有する。
［３－５．第２の実施形態に係る情報処理の手順］
［３－５－１．スタイル情報の提示処理］
　次に、図２５を用いて、第２の実施形態に係る各種情報処理の手順について説明する。図２５は、第２の実施形態に係る情報処理の手順を示すシーケンス図である。図２５では、制作者に対するスタイル情報の提示処理について説明する。
　一般利用者端末３００から、視聴者による視聴楽曲の選択によって（ステップＳ１６１）、視聴楽曲指示情報が送信されると（ステップＳ１６２）、情報処理装置２１００は、指示された楽曲を一般利用者端末３００に送信して、楽曲を提供する（ステップＳ１６３，Ｓ１６４）。
　そして、一般利用者端末３００は、利用者の操作履歴情報を情報処理装置２１００に送信する（ステップＳ１６５，Ｓ１６６）。情報処理装置２１００は、利用者の操作履歴情報を分析して各操作の回数を求める（ステップＳ１６７）。そして、情報処理装置２１００は、利用者が好むスタイル情報を抽出するために、分析結果を基に、所定の操作の回数が多い順にスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出する（ステップＳ１６８）。
　情報処理装置２１００は、抽出したスタイル情報の提示情報を制作者端末２００に送信する（ステップＳ１６９）。図２５に示すステップＳ１７０～ステップＳ１７８は、図１４に示すステップＳ１０５～ステップＳ１１３と同じ処理である。図２５に示すステップＳ１７９～ステップＳ１８１は、図１４に示すステップＳ１２０～ステップＳ１２２と同じ処理である。
［３－５－２．再生リストの提供処理］
　次に、図２６を用いて、第２の実施形態に係る各種情報処理の手順について説明する。図２６は、第２の実施形態に係る情報処理の手順を示すシーケンス図である。図２６では、利用者に対する再生リストの提供処理について説明する。
　図２６に示すステップＳ１９１～ステップＳ１９７は、図２５に示すステップＳ１６１～ステップＳ１６７と同じ処理である。情報処理装置２１００は、一般利用者端末３００から再生を指示する再生指示情報を受信すると（ステップＳ１９８）、再生リストを生成する（ステップＳ１９９）。ステップＳ１９９において、情報処理装置２１００は、利用者の操作履歴情報に対する分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。そして、情報処理装置２１００は、生成した再生リストを一般利用者端末３００に送信する（ステップＳ２００）。
［３－５－３．再作曲または編曲後の楽曲情報の提供処理］
　次に、図２７を用いて、第２の実施形態に係る各種情報処理の手順について説明する。図２７は、第２の実施形態に係る情報処理の手順を示すシーケンス図である。図２７では、利用者に対する再生リストの提供処理について説明する。
　図２７に示すステップＳ２０１～ステップＳ２０７は、図２５に示すステップＳ１６１～ステップＳ１６７と同じ処理である。情報処理装置２１００は、一般利用者端末３００から再作曲または編集を指示する指示情報を受信する（ステップＳ２０８）。情報処理装置２１００は、利用者の操作履歴情報に対する分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、所定の操作の回数が多い順に、求めた楽曲情報に使用されたスタイル情報を順位付けする。そして、情報処理装置２１００は、予め設定された順位のスタイル情報報を抽出する（ステップＳ２０９）。
　情報処理装置２１００は、ステップＳ２０９において抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する（ステップＳ２１０）。そして、情報処理装置２１００は、再作曲または編曲された楽曲情報を一般利用者端末３００に送信する（ステップＳ２１１）。
［３－６．第２の実施形態に係る効果］
　上述したように、第２の実施形態では、指示情報は、楽曲を視聴する利用者がアプリケーションの起動時に利用者端末装置に対して実行した操作の履歴を示す操作履歴情報である。情報処理装置（実施形態では情報処理装置２１００）は、操作履歴情報を分析して利用者による各操作の回数を求める分析部（実施形態では分析部２１３７）をさらに有する。これにより、情報処理装置は、利用者の楽曲情報に対する好みを分析することができる。
　また、抽出部（実施形態では抽出部２１３２）は、分析部による分析結果を基に、所定の操作の回数が多い順に楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。出力部（実施形態では送信部１３３）は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する。これにより、情報処理装置は、利用者に好まれている楽曲情報のスタイル情報を制作者端末に提示することができる。この結果、制作者は、現在流行っている楽曲に使用されている楽曲特徴情報を用いて、利用者が要求する新曲をほぼリアルタイムで制作することができる。
　また、情報処理装置は、分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部（実施形態では送信部２１３８）をさらに有する。出力部は、再生リストを利用者端末装置に出力する。これにより、情報処理装置は、利用者の好みに合う再生リストを生成して、利用者毎にカスタマイズされた再生リストを配信提供することができる。
　また、抽出部は、分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の楽曲特徴情報を抽出する。作曲部は、抽出部によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。出力部は、再作曲または編曲された楽曲情報を利用者端末装置に出力する。これにより、情報処理装置は、利用者が好む制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。
　上記のように、第２の実施形態によれば、制作者による楽曲作成機能の利便性を向上させることができるとともに、利用者による楽曲視聴機能の利便性も向上させることができる。
［４．第３の実施形態］
［４－１．第３の実施形態に係る情報処理の一例］
　次に、図２８を用いて、第３の実施形態に係る情報処理の一例を説明する。図２８は、第３の実施形態に係る情報処理の流れを示す概念図である。第３の実施形態に係る情報処理は、情報処理装置３１００、制作者端末２００及び利用者端末３３００によって実行される。
　一般利用者端末３３００は、一般利用者端末３００と同様に、タブレット端末等であり、楽曲を視聴するアプリケーションがインストールされる。一般利用者端末３３００は、一般利用者端末３３００の移動の履歴を示す行動履歴情報を情報処理装置３１００に送信する。
　情報処理装置３１００は、情報処理装置２１００と同様に、スタイル情報の提示情報や楽曲情報を制作者端末２００に提供する。また、情報処理装置３１００は、一般利用者端末３３００の行動履歴情報を基に、制作者端末２００に対するスタイル情報の提示、一般利用者端末３３００に提供する楽曲情報の再生リストの提供、または、一般利用者端末３３００に提供する楽曲情報の再作曲或いは編曲を行う。
　図２８を参照して、具体的に、第３の実施形態に係る情報処理の流れについて説明する。図２８に示すように、情報処理装置３１００は、一般利用者端末３３００における行動履歴情報を取得する（ステップＳ４１）。そして、情報処理装置３１００は、一般利用者端末３３００において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める。
　そして、情報処理装置３１００は、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報を順位付けし、予め設定された順位のスタイル情報を抽出して（ステップＳ４２）、制作者端末２００に出力する（ステップＳ４３）。情報処理装置３１００は、例えば、所有情報記憶部１２３に登録された制作楽曲がどの場所で視聴されているかなど、分類する。所定の場所は、例えば、利用者が位置する自治体や、利用者が位置するイベント会場等である。
　このように、第３の実施形態に係る情報処理では、一般利用者端末３３００に対する行動履歴情報を分析し、所定の場所で一般の利用者に多く視聴されている楽曲情報のスタイル情報を制作者端末２００に提示する。これによって、制作者は、例えば、特定の場所で好まれている楽曲情報のスタイル情報を用いて、特定の場所で好まれるような新曲をほぼリアルタイムで制作することができる。
　また、情報処理装置３１００は、行動履歴情報を分析し、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成して（ステップＳ４４）、一般利用者端末３３００に再生リストを出力する（ステップＳ４５）。
　このように、第３の実施形態に係る情報処理では、一般利用者端末３３００に対する行動履歴情報を分析し、利用者の好みに合う再生リストを生成して、利用者が位置する場所に特化してカスタマイズされた再生リストを配信提供する。例えば、情報処理装置３１００は、東京にいる利用者と横浜にいる利用者とに対して、それぞれ異なる地域ヒット再生リストを配信提供することができる。また、情報処理装置３１００は、例えば、イベントに特化した再生リストを動的に作りながら配信提供することができる。
　そして、情報処理装置３１００は、行動履歴情報を分析し、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用されたスタイル情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位のスタイル情報を抽出する。情報処理装置３１００は、抽出したスタイル情報を基に楽曲情報を再作曲または編曲し（ステップＳ４４）、再作曲または編曲された楽曲情報を一般利用者端末３３００に出力する（ステップＳ４５）。
　このように、第３の実施形態に係る情報処理では、利用者が位置する場所において好まれている制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。これによって、例えば、一般利用者は、再生中の制作楽曲を、その場所にアレンジした形で再生することができる。この再作曲及び編曲は、利用者が一般利用者端末３３００から指示情報を送信することによって能動的に行われてもよいし、情報処理装置３１００が行動履歴情報を基に自動的に行ってもよい。次に、情報処理装置３１００、制作者端末２００及び一般利用者端末３３００を含む情報処理システム３０１の構成を説明するとともに、種々の処理の詳細を順に説明する。
［４－２．第３の実施形態に係る情報処理システムの構成］
　図２９は、第３の実施形態に係る情報処理システム３０１の一例を示す図である。図２９に示すように、情報処理システム３０１は、制作者端末２００－１～２００－３と、一般利用者端末３３００－１～３３００－３と、情報処理装置３１００とを有する。情報処理システム３０１は、自動作曲機能管理システム及び視聴楽曲提供システムとして機能する。図２９の例では、３台の制作者端末２００－１～２００－３を図示するが、特に区別なく説明する場合には、制作者端末２００と記載する。また、図２９の例では、３台の一般利用者端末３３００－１～３３００－３を図示するが、特に区別なく説明する場合には、一般利用者端末３３００と記載する。
　情報処理装置３１００と、制作者端末２００とはネットワークＮを介して、有線または無線により通信可能に接続される。情報処理装置３１００と、一般利用者端末３３００とはネットワークＮを介して、有線または無線により通信可能に接続される。
　一般利用者端末３３００は、一般利用者端末３３００の移動履歴を示す行動履歴情報を情報処理装置３１００に送信する。一般利用者端末３３００は、楽曲視聴時に、情報処理装置３１００において生成された再生リストや、再作曲または編曲された楽曲情報の提供を受ける。
　情報処理装置３１００は、情報処理装置１００と同様に、複数のスタイル情報を、機械学習の学習データとして有する。情報処理装置３１００は、一般利用者端末３３００から受信した行動履歴情報を分析する。情報処理装置３１００は、行動履歴情報の分析結果を基に抽出したスタイル情報の提示情報を制作者端末２００に出力して、制作者による楽曲の創作を支援する。また、情報処理装置３１００は、行動履歴情報の分析結果を基に、視聴者の位置に合わせてカスタマイズした再生リストを生成し、一般利用者端末３３００に提供する。また、情報処理装置３１００は、行動履歴情報の分析結果を基に、利用者が位置する場所において好まれている制作楽曲に用いられたスタイル情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供する。
［４－３．第３の実施形態に係る情報処理装置３１００の構成］
　次に、図３０を用いて、図２９に示す情報処理装置３１００の構成について説明する。図３０は、第３の実施形態に係る情報処理装置３１００の構成例を示す図である。図３０に示すように、情報処理装置３１００では、記憶部１２０は、利用者行動履歴情報記憶部３１２５及び位置スタイル情報記憶部３１２６を有する。そして、情報処理装置３１００は、制御部１３０に代えて、制御部３１３０を有する。
　利用者行動履歴情報記憶部３１２５は、一般利用者端末３３００の位置の履歴を記憶する。図３１は、第３の実施形態に係る利用者行動履歴情報記憶部３１２５の一例を示す図である。
　図３１に示すように、利用者行動履歴情報記憶部３１２５は、一般利用者端末３３００の行動履歴情報を記憶する。例えば、各行動履歴情報は、各利用者の利用者ＩＤに対応付けられる。利用者の行動履歴情報は、一般利用者端末３００の位置の履歴を示す情報である。例えば、利用者の位置履歴情報には、利用者端末３３００の各位置情報とともに、各位置に対する日時等、利用者の位置が含まれてもよい。
　位置スタイル情報記憶部３１２６は、所定の位置に対応するスタイル情報を記憶する。図３２は、第３の実施形態に係る位置スタイル情報記憶部３１２６の一例を示す図である。
　図３１に示すように、位置スタイル情報記憶部３１２６は、位置スタイル情報ＩＤ、位置スタイル情報、及び、スタイル情報ＩＤが記憶される。位置スタイル情報ＩＤは、位置スタイル情報を一意に特定するための識別情報である。位置スタイル情報は、位置を示す情報である。スタイル情報ＩＤは、スタイル情報を一意に特定するための識別情報である。このように、位置スタイル情報は、位置スタイル情報が示す位置において、好まれて視聴されていた楽曲情報に使用されたスタイル情報を示す情報である。
　制御部３１３０は、図７に示す制御部１３０と比して、抽出部３１３２、履歴取得部３１３６、分析部３１３７及び生成部３１３８を有する。
　履歴取得部３１３６は、一般利用者端末３３００から、行動履歴情報を取得する。履歴取得部３１３６は、利用者行動履歴情報記憶部３１２５に記憶された行動履歴情報から、対象となる利用者の行動履歴情報を取得してもよい。また、履歴取得部３１３６は、一般利用者端末３３００に対し、行動履歴情報の送信を要求することで、行動履歴情報を取得してもよい。
　分析部３１３７は、一般利用者端末３３００において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める。また、分析部３１３７は、各操作の回数を求めることで、利用者の嗜好に合う楽曲情報や、利用者の嗜好に合わない楽曲情報を分析してもよい。例えば、分析部３１３７は、再生回数が閾値よりも多い楽曲を利用者が好きな楽曲であると分類する。また、分析部３１３７は、再生回数が閾値よりも少ない楽曲を利用者が好きでない楽曲であると分類する。また、分析部３１３７は、スキップされた楽曲を嫌いな楽曲と分類する。
　生成部２１３８は、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。所定の操作は、再生、リピート、お気に入り登録等である。
　抽出部３１３２は、分析部３１３７による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する。送信部１３３は、抽出部３１３２によって抽出されたスタイル情報の提示情報を、制作者端末２００に送信する。
　そして、作曲部１３４は、抽出部３１３２によって抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する。送信部１３３は、再作曲または編曲された楽曲情報を一般利用者端末３３００に送信する。
［４－４．第３の実施形態に係る一般利用者端末３３００の構成］
　次に、図３３を用いて、図２９に示す一般利用者端末３３００の構成について説明する。図３３は、第３の実施形態に係る一般利用者端末３３００の構成例を示す図である。図３３に示すように、一般利用者端末３３００は、図２４に示す制御部３５０に代えて、制御部３３５０を有する。また、一般利用者端末３３００の記憶部３４０は、この一般利用者端末３３００の移動履歴を示す行動履歴情報３３４１を記憶する。行動履歴情報３３４１は、一般利用者端末３３００のＧＰＳ機能等を利用して生成される。
　制御部３３５０は、図２４に示す制御部３５０と同様の機能を有する。制御部３３５０は、図２４に示す送受信部３５２と同様の機能を有する送受信とともに行動履歴情報３３４１を送信する送受信部３３５２を有する。
［４－５．第４の実施形態に係る情報処理の手順］
［４－５－１．スタイル情報の提示処理］
　次に、図３４を用いて、第３の実施形態に係る各種情報処理の手順について説明する。図３４は、第３の実施形態に係る情報処理の手順を示すシーケンス図である。図３４では、制作者に対するスタイル情報の提示処理について説明する。
　図３４に示すステップＳ２２１～ステップＳ２２４は、図２５に示すステップＳ１６１～ステップＳ１６４と同じ処理である。一般利用者端末３３００は、一般利用者端末３３００の行動履歴情報を情報処理装置３１００に送信する（ステップＳ２２５，Ｓ２２６）。
　情報処理装置３１００は、一般利用者端末３３００において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める（ステップＳ２２７）。そして、情報処理装置３１００は、分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する（ステップＳ２２８）。これによって、情報処理装置３１００は、利用者が位置する場所において好まれている楽曲情報のスタイル情報を抽出する。
　情報処理装置３１００は、抽出したスタイル情報の提示情報を制作者端末２００に送信する（ステップＳ２２９）。図３４に示すステップＳ２３０～ステップＳ２４１は、図２５に示すステップＳ１６９～ステップＳ１８１と同じ処理である。
［４－５－２．再生リストの提供処理］
　次に、図３５を用いて、第３の実施形態に係る各種情報処理の手順について説明する。図３５は、第３の実施形態に係る情報処理の手順を示すシーケンス図である。図３５では、利用者に対する再生リストの提供処理について説明する。
　図３５に示すステップＳ２５１～ステップＳ２５７は、図３４に示すステップＳ２２１１～ステップＳ２２７と同じ処理である。情報処理装置３１００は、一般利用者端末３３００から再生を指示する再生指示情報を受信すると（ステップＳ２５８）、再生リストを生成する（ステップＳ２５９）。ステップＳ２５９において、情報処理装置３１００は、分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する。そして、情報処理装置３１００は、生成した再生リストを一般利用者端末３００に送信する（ステップＳ２６０）。
［４－５－３．再作曲または編曲後の楽曲情報の提供処理］
　次に、図３６を用いて、第３の実施形態に係る各種情報処理の手順について説明する。図３６は、第３の実施形態に係る情報処理の手順を示すシーケンス図である。図３６では、利用者に対する再作曲または編曲後の楽曲情報の提供処理について説明する。
　図３６に示すステップＳ２６１～ステップＳ２６７は、図３４に示すステップＳ２２１～ステップＳ２２７と同じ処理である。情報処理装置３１００は、一般利用者端末３００から再作曲または編集を指示する指示情報を受信する（ステップＳ２６８）。情報処理装置３１００は、分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用されたスタイル情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位のスタイル情報を抽出する（ステップＳ２６９）。
　情報処理装置３１００は、ステップＳ２６９において抽出されたスタイル情報を基に楽曲情報を再作曲または編曲する（ステップＳ３７０）。そして、情報処理装置３１００は、再作曲または編曲された楽曲情報を一般利用者端末３００に送信する（ステップＳ３７１）。
［４－６．第３の実施形態に係る効果］
　上述したように、第３の実施形態では、指示情報は、利用者端末装置（実施形態では一般用利用者端末３３００）の移動履歴を示す行動履歴情報である。情報処理装置（実施形態では情報処理装置３１００）は、利用者端末装置において視聴された楽曲情報を求めるとともに、行動履歴情報を分析して、利用者の位置を求める分析部（実施形態では分析部３１３７）をさらに有する。これにより、情報処理装置は、利用者がいる場所で好まれて視聴されている楽曲情報を分析することができる。
　また、抽出部（実施形態では抽出部３１３２）は、分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の楽曲特徴情報を抽出する。出力部（実施形態では送信部１３３）は、抽出部によって抽出された楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する。このように、情報処理装置は、所定の場所で一般の利用者に多く視聴されている楽曲情報の楽曲特徴情報を制作者端末に提示することができる。これによって、制作者は、特定の場所で好まれている楽曲情報の楽曲特徴情報を用いて、特定の場所で好まれるような新曲をほぼリアルタイムで制作することができる。
　また、情報処理装置は、分析部による分析結果から、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部（実施形態では送信部３１３８）をさらに有する。出力部は、再生リストを、所定の場所に位置する利用者端末装置に出力する。これにより、情報処理装置は、利用者の好みに合う再生リストを生成して、利用者が位置する場所に特化してカスタマイズされた再生リストを配信提供する。
　また、抽出部は、分析部による分析結果から、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の楽曲特徴情報を抽出する。作曲部は、抽出部によって、抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲する。出力部は、再作曲または編曲された楽曲情報を、所定の場所に位置する利用者端末装置に出力する。これにより、情報処理装置は、利用者が位置する場所において好まれている制作楽曲に用いられた楽曲特徴情報を用いて、再生中の制作楽曲をさらに再作曲もしくは編曲して、利用者に提供することができる。
　上記のように、第３の実施形態によれば、制作者による楽曲作成機能の利便性を向上させることができるとともに、利用者が位置する場所に合わせて利用者による楽曲視聴機能の利便性も向上させることができる。
［５．情報処理システムの構成の概念図］
　ここで、図を用いて、情報処理システムにおける各機能やハードウェア構成やデータを概念的に示す。図３７は、情報処理システムの構成の概念図の一例を示す図である。具体的には、図３７は、情報処理システム１，２０１，３０１の適用の一例であるシステムの機能概要を示す模式図である。
［５－１．全体構成について］
　図３７に示すサーバ装置は、情報処理システム１，２０１，３０１における情報処理装置１００，２１００，３１００に対応する。また、図３７に示すシステム管理者用アプリ部は、システム管理者が使用する端末にインストールされたアプリに対応する。また、図３７に示す制作者用アプリ部は、情報処理システム１における制作者端末２００に対応し、制作者端末２００にインストールされたアプリに対応する。また、図３７に示す一般利用者用アプリ部は、情報処理システム２０１，３０１における一般利用者端末３００，３３００に対応し、一般利用者端末３００，３３００にインストールされたアプリに対応する。図３７の例では、システム管理者用アプリ部、楽曲制作者用アプリ部や一般利用者用アプリ部を各々１つずつ図示したが、これらは、対応する端末の数に応じて複数含まれてもよい。
　図３７に示すサーバ装置の学習処理部や制御部は、情報処理装置１００，２１００，３１００の制御部１３０，２１３０，３１３０に対応する。例えば、サーバ装置の学習処理部は、情報処理装置１００，２１００，３１００の作曲部１３４に対応する。サーバ装置のサーバ内データベース部は、情報処理装置１００，２１００，３１００の記憶部１２０に対応する。
　図３７に示す楽曲制作者用アプリ部の表示操作部や制御部は、制作者端末２００の制御部２５０に対応する。例えば、楽曲制作者用アプリ部の表示操作部は、制作者端末２００の表示制御部２５１に対応する。図３７に示す一般利用者用アプリ部の表示操作部や制御部は、一般利用者端末３００，３３００の制御部３５０に対応する。例えば、一般利用者用アプリ部の表示操作部は、一般利用者端末３００，３３００の表示制御部３５１に対応する。システム管理者用アプリ部及び一般利用者用アプリ部の表示操作理部や制御部は、それぞれの使用者が使用する端末装置の制御部に対応する。
　図３７に示すように、サーバ装置は、例えばインターネットなどのネットワークＮを介して、システム管理者用アプリ部、楽曲制作者者用アプリ部、および、一般利用者用アプリ部に接続される。
［５－２．サーバ装置について］
　まず、サーバ装置に関連する構成について説明する。
　サーバ装置は、制御部、学習処理部、及びサーバ内データベース部を有している。サーバ装置の制御部は、制作楽曲情報管理機能、スタイル情報管理機能、利用者操作履歴情報管理機能、利用者行動履歴情報を有する。サーバ装置の学習処理部は、機械学習処理機能及び深層学習処理機能を有する。
［５－３．楽曲制作者用アプリ部について］
　次に、楽曲制作者用アプリ部に関連する構成について説明する。
　楽曲制作者用アプリ部は、表示操作部と制御部とを有している。楽曲制作者用アプリ部の表示操作部は、制作楽曲情報表示機能、スタイル情報表示編集機能を有する。楽曲制作者用アプリ部は、スタイル情報共有機能及び利用者操作履歴情報送信機能を有する。
　楽曲制作者用アプリ部は、例えば音楽編集ソフト（ＤＡＷ等）であり、著作物情報表示機能にて、例えば音楽情報を表示することができる。ＤＡＷが、例えばＡＩアシスト音楽制作機能を有していれば、スタイル情報表示編集機能を利用しながら新しい音楽情報を制作することができる。なお、システム管理者用アプリ部も同様の構成を有しており、使用者のシステムに対する権限が異なる。
［５－４．一般利用者用アプリについて］
　次に、一般利用者用アプリ部に関連する構成について説明する。
　一般利用者用アプリ部は、表示操作部と制御部とを有している。一般利用者用アプリ部の表示操作部は、制作楽曲情報表示機能、スタイル情報表示編集機能を有する。楽曲制作者用アプリ部は、スタイル情報共有機能、利用者操作履歴情報送信、機能、及び利用者行動履歴情報送信機能を有する。
［５－５．ＵＩ（ユーザインターフェイス）］
　ここで、図３８及び図３９を用いて、アプリ（楽曲創作アプリ）による情報表示他自動作曲機能の詳細について説明する。図３８及び図３９は、実施形態に係るユーザインターフェイスの一例を示す図である。
　図３８には、楽曲創作アプリが制作者端末２００の画面上に表示された際のユーザインターフェイスの一例を示す。
　図３８に示す例では、ユーザインターフェイスＩＦ１１は、楽曲創作アプリが受信した楽曲データを表示する。なお、詳細は後述するが、楽曲創作アプリにおける楽曲データは、メロディとコードとベース音の３種類の異なるデータから構成される。図３８に示すユーザインターフェイスＩＦ１１は、３種類の異なるデータのうち、メロディに関するデータを表示する。
　設定情報ＳＴ１１は、自動作曲機能における設定情報の一例である、スタイルパレットに関する情報を表示する。スタイルパレットとは、機械学習の学習データとなるスタイル情報を指定するための指定情報である。
　設定情報ＳＴ１２は、自動作曲機能における設定情報の一例である、ハーモニーに関する情報を表示する。ハーモニーに関する情報とは、例えば、情報処理装置１００によって作曲される楽曲データにおける、コードに含まれる構成音がメロディに登場する確率を決定するための情報である。例えば、ユーザがハーモニーに関する情報を「厳格（strict）」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が高くなる。一方、ユーザがハーモニーに関する情報を「ゆるい（loose）」に設定すると、自動作曲された楽曲データにおいて、コードに含まれる構成音がメロディに登場する確率が低くなる。図３８の例では、ユーザは、ハーモニーに関する情報を「厳格（strict）」よりに適用させたことを示している。
　設定情報ＳＴ１３は、自動作曲機能における設定情報の一例である、音符の長さ情報を表示する。音符の長さ情報とは、例えば、情報処理装置１００によって作曲される楽曲データにおける、音符の長さを決定するための情報である。例えば、ユーザが音符の長さ情報を「長い（long）」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的長い音符（例えば、全音符や２分音符等）が登場する確率が高くなる。一方、ユーザが音符の長さ情報を「短い（short）」に設定すると、自動作曲された楽曲データにおいて、発音される音の長さが比較的短い音符（例えば、８分音符や１６分音符等）が登場する確率が高くなる。
　設定情報ＳＴ１４は、自動作曲機能における設定情報の一例である、指定情報（ユーザが指定したスタイルパレット）に含まれる素材楽曲以外の素材楽曲の種別及び量を決定するための情報を表示する。かかる情報は、例えば、情報処理装置１００によって作曲される楽曲データにおいて、ユーザが指定したスタイルパレットに含まれる楽曲に基づいて学習を厳格に行うか否かを決定するための情報である。例えば、ユーザがかかる情報を「利用しない（never）」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が低くなる。一方、ユーザがかかる情報を「利用する（only）」に設定すると、自動作曲における学習において、スタイルパレットに含まれる楽曲以外の楽曲が利用される傾向が高くなる。
　楽曲データＭＤＴ１は、情報処理装置１００から送信された具体的な楽曲データを表示する。図３８の例では、楽曲データＭＤＴ１は、Ｃｍ等のコード進行を示す情報や、小節内の音高や音符の長さを示す情報、音符の高さの移り変わり（言い換えればメロディ）等を含む。また、図２６に示すように、楽曲データＭＤＴ１は、例えば４種類の異なる内容を含んでもよい。すなわち、情報処理装置１００は、自動作曲された楽曲データとして１種類だけを送信するのではなく、複数の楽曲データを送信してもよい。これにより、ユーザは、生成された複数の楽曲データの候補から、自身が好む楽曲データを選択したり、複数の楽曲データを組み合わせて好みの楽曲を作曲したりすることができる。
　なお、図３８に示すユーザインターフェイスＩＦ１１は、楽曲データに含まれるメロディ、コード、ベース音の３種類の異なるデータのうち、メロディに関するデータを表示しているが、他のデータについては、他のユーザインターフェイスに表示される。この点について、図３９を用いて説明する。
　図３９に示すように、制作者端末２００は、メロディに関するデータを表示するユーザインターフェイスＩＦ１１に加えて、コードに関するデータを表示するユーザインターフェイスＩＦ１２や、ベース音に関するデータを表示するユーザインターフェイスＩＦ１３を画面上に表示してもよい。図３９での図示は省略しているが、ユーザインターフェイスＩＦ１２やユーザインターフェイスＩＦ１３には、ユーザインターフェイスＩＦ１１における楽曲データＭＤＴ１とは異なる音符情報が表示される。具体的には、ユーザインターフェイスＩＦ１２には、楽曲データのメロディに対応するコードに関する音符情報（例えば、コードＣｍの構成音等）が表示される。また、ユーザインターフェイスＩＦ１３には、楽曲データのメロディやコードに対応するベース音に関する音符情報（例えば、コードＣｍであれば「Ｃ」音等）が表示される。
　利用者は、表示されたユーザインターフェイスＩＦ１１、ユーザインターフェイスＩＦ１２、ユーザインターフェイスＩＦ１３の中から、コピーする情報を選択したり、例えばベース音の一部を編集したりといった作業を行うことができる。
［６．その他の実施形態］
　上述した実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。
［６－１．その他の構成例］
　上記の各構成は一例であり、情報処理システム１，２０１，３０１は、上述した情報処理が実現可能であればどのようなシステム構成であってもよい。
［６－２．その他］
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
［７．ハードウェア構成］
　上述してきた各実施形態や変形例に係る情報処理装置１００，２１００，３１００、制作者端末２００、一般利用者端末３００，３３００等の情報機器は、例えば図４０に示すような構成のコンピュータ１０００によって実現される。図４０は、情報処理装置１００２１００，３１００、制作者端末２００、一般利用者端末３００，３３００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、
　端末装置から送信された指示情報を受信する受信部と、
　前記指示情報にしたがって、前記記憶部から前記楽曲特徴情報を抽出する抽出部と、
　前記抽出部によって抽出された前記楽曲特徴情報の提示情報を出力する出力部と、
　を有することを特徴とする情報処理装置。
（２）
　前記指示情報は、前記特徴量に関する情報を含み、
　前記抽出部は、前記特徴量に関する情報を基に、所定ルールを用いて複数の前記楽曲特徴情報の順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、前記楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する
　ことを特徴とする（１）に記載の情報処理装置。
（３）
　前記指示情報は、前記端末装置における操作情報である
　ことを特徴とする（２）に記載の情報処理装置。
（４）
　前記楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する
　ことを特徴とする（３）に記載の情報処理装置。
（５）
　前記スコア情報は、前記規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む
　ことを特徴とする（４）に記載の情報処理装置。
（６）
　前記楽曲特徴情報は、前記規定された長さの小節における、歌詞を示す歌詞情報を有することを特徴とする（４）に記載の情報処理装置。
（７）
　前記楽曲特徴情報は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、前記楽曲形式情報の順序を示す楽曲順序情報とを有する
　ことを特徴とする（６）に記載の情報処理装置。
（８）
　前記受信部は、前記スコア情報のいずれかを選択する指示情報を受信し、
　前記抽出部は、前記指示情報が選択した前記スコア情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
　ことを特徴とする（４）に記載の情報処理装置。
（９）
　前記受信部は、歌詞の検索を指示する指示情報を受信し、
　前記抽出部は、前記指示情報が検索を指示した歌詞を含む歌詞情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
　ことを特徴とする（６）に記載の情報処理装置。
（１０）
　前記端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置であり、
　前記指示情報は、楽曲を創作する制作者が前記アプリケーションの起動時に前記制作者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
　前記抽出部は、前記操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を前記制作者端末装置に出力する
　ことを特徴とする（３）に記載の情報処理装置。
（１１）
　前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
　前記指示情報は、楽曲を視聴する利用者が前記アプリケーションの起動時に前記利用者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
　当該情報処理装置は、前記操作履歴情報を分析して各操作の回数を求める分析部
　をさらに有することを特徴とする（３）に記載の情報処理装置。
（１２）
　前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
　ことを特徴とする（１１）に記載の情報処理装置。
（１３）
　前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部をさらに有し、
　前記出力部は、前記再生リストを前記利用者端末装置に出力する
　ことを特徴とする（１１）に記載の情報処理装置。
（１４）
　前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
　をさらに有し、
　前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた前記楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記作曲部は、前記抽出部によって抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
　前記出力部は、再作曲または編曲された楽曲情報を前記利用者端末装置に出力する
　ことを特徴とする（１１）に記載の情報処理装置。
（１５）
　前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
　前記指示情報は、前記利用者端末装置の移動履歴を示す行動履歴情報であり、
　当該情報処理装置は、前記利用者端末装置において視聴された楽曲情報を求めるとともに、前記行動履歴情報を分析して、利用者の位置を求める分析部
　をさらに有することを特徴とする（３）に記載の情報処理装置。
（１６）
　前記抽出部は、前記分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された前記楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
　ことを特徴とする（１５）に記載の情報処理装置。
（１７）
　前記分析部による分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部と、
　前記出力部は、前記再生リストを、前記所定の場所に位置する前記利用者端末装置に出力する
　ことを特徴とする（１５）に記載の情報処理装置。
（１８）
　前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
　をさらに有し、
　前記抽出部は、前記分析部による分析結果を基に、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された前記楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
　前記作曲部は、前記抽出部によって、前記抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
　前記出力部は、再作曲または編曲された楽曲情報を、前記所定の場所に位置する前記利用者端末装置に出力する
　ことを特徴とする（１５）に記載の情報処理装置。
（１９）
　コンピュータが実行する情報処理方法であって、
　端末装置から送信された指示情報を受信し、
　楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
　抽出した前記楽曲特徴情報の提示情報を出力する
　ことを特徴とする情報処理方法。
（２０）
　端末装置から送信された指示情報を受信し、
　楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
　抽出した前記楽曲特徴情報の提示情報を出力する
　をコンピュータに実行させることを特徴とする情報処理プログラム。
　１，２０１，３０１　情報処理システム
　１００，２１００，３１００　情報処理装置
　１１０，２１０，３１０　通信部
　１２０，２４０，３４０　記憶部
　１２１　利用者情報記憶部
　１２２　スタイル情報記憶部
　１２３　所有情報記憶部
　１２４　制作情報記憶部
　１２５　操作履歴情報記憶部
　１３０，２５０，３５０，２１３０，３１３０，３３５０　制御部
　１３１　受信部
　１３２，２１３２，３１３２　抽出部
　１３３　送信部
　１３４　作曲部
　１３５　登録部
　１３６，２１３６，３１３６　履歴取得部
　１３７，２１３７，３１３７　分析部
　２００　制作者端末
　２２０，３２０　入力部
　２３０，３３０　出力部
　２４１，３４１　操作履歴情報
　２５１，３５１　表示制御部
　２５２，３５２，３３５２　送受信部
　２５３，３５３　選択部
　２５４，３５４　再生部
　２６０，３６０　表示部
　３００，３３００　一般利用者端末
　２１２５　利用者操作履歴情報
　２１３８，３１３８　生成部
　３１２５　利用者行動履歴情報記憶部
　２１３６　位置スタイル情報記憶部
　３３４１　行動履歴情報

Claims (20)

  1. 　機械学習を用いた作曲処理において学習データとして使用される楽曲特徴情報であって、楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた楽曲特徴情報を複数記憶する記憶部と、
    　端末装置から送信された指示情報を受信する受信部と、
    　前記指示情報にしたがって、前記記憶部から前記楽曲特徴情報を抽出する抽出部と、
    　前記抽出部によって抽出された前記楽曲特徴情報の提示情報を出力する出力部と、
    　を有することを特徴とする情報処理装置。
  2. 　前記指示情報は、前記特徴量に関する情報を含み、
    　前記抽出部は、前記特徴量に関する情報を基に、所定ルールを用いて複数の前記楽曲特徴情報の順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、前記楽曲特徴情報の順位を示す順位情報とともに外部装置に出力する
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記指示情報は、前記端末装置における操作情報である
    　ことを特徴とする請求項２に記載の情報処理装置。
  4. 　前記楽曲特徴情報は、規定された長さの小節における、コード進行を示すコード進行情報、メロディを示すメロディ情報、ベースの進行を示すベース情報を有するスコア情報を有する
    　ことを特徴とする請求項３に記載の情報処理装置。
  5. 　前記スコア情報は、前記規定された長さの小節における、ドラムの進行を示すドラム進行情報をさらに含む
    　ことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記楽曲特徴情報は、前記規定された長さの小節における、歌詞を示す歌詞情報を有することを特徴とする請求項４に記載の情報処理装置。
  7. 　前記楽曲特徴情報は、同じ小節に対する前記スコア情報の識別情報と前記歌詞情報の識別情報とを対応付けて登録する楽曲形式情報と、前記楽曲形式情報の順序を示す楽曲順序情報とを有する
    　ことを特徴とする請求項６に記載の情報処理装置。
  8. 　前記受信部は、前記スコア情報のいずれかを選択する指示情報を受信し、
    　前記抽出部は、前記指示情報が選択した前記スコア情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
    　ことを特徴とする請求項４に記載の情報処理装置。
  9. 　前記受信部は、歌詞の検索を指示する指示情報を受信し、
    　前記抽出部は、前記指示情報が検索を指示した歌詞を含む歌詞情報を有する前記楽曲特徴情報に対し、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出する
    　ことを特徴とする請求項６に記載の情報処理装置。
  10. 　前記端末装置は、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置であり、
    　前記指示情報は、楽曲を創作する制作者が前記アプリケーションの起動時に前記制作者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
    　前記抽出部は、前記操作履歴情報を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を前記制作者端末装置に出力する
    　ことを特徴とする請求項３に記載の情報処理装置。
  11. 　前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
    　前記指示情報は、楽曲を視聴する利用者が前記アプリケーションの起動時に前記利用者端末装置に対して実行した操作の履歴を示す操作履歴情報であり、
    　当該情報処理装置は、前記操作履歴情報を分析して各操作の回数を求める分析部
    　をさらに有することを特徴とする請求項３に記載の情報処理装置。
  12. 　前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
    　ことを特徴とする請求項１１に記載の情報処理装置。
  13. 　前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部をさらに有し、
    　前記出力部は、前記再生リストを前記利用者端末装置に出力する
    　ことを特徴とする請求項１１に記載の情報処理装置。
  14. 　前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
    　をさらに有し、
    　前記抽出部は、前記分析部による分析結果を基に、所定の操作の回数が閾値を超えた前記楽曲情報を求め、前記所定の操作の回数が多い順に、求めた楽曲情報に使用された楽曲特徴情報を順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記作曲部は、前記抽出部によって抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
    　前記出力部は、再作曲または編曲された楽曲情報を前記利用者端末装置に出力する
    　ことを特徴とする請求項１１に記載の情報処理装置。
  15. 　前記端末装置は、楽曲を視聴するアプリケーションがインストールされた利用者端末装置であり、
    　前記指示情報は、前記利用者端末装置の移動履歴を示す行動履歴情報であり、
    　当該情報処理装置は、前記利用者端末装置において視聴された楽曲情報を求めるとともに、前記行動履歴情報を分析して、利用者の位置を求める分析部
    　をさらに有することを特徴とする請求項３に記載の情報処理装置。
  16. 　前記抽出部は、前記分析部による分析結果を基に、所定の場所で、閾値を超えた回数視聴された楽曲情報に使用された前記楽曲特徴情報に対して、所定ルールを用いて順位付けを行い、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記出力部は、前記抽出部によって抽出された前記楽曲特徴情報の提示情報を、楽曲の創作に関するアプリケーションがインストールされた制作者端末装置に出力する
    　ことを特徴とする請求項１５に記載の情報処理装置。
  17. 　前記分析部による分析結果を基に、所定の場所で、所定の操作の回数が閾値を超えた楽曲情報を求め、求めた楽曲情報を基に再生リストを生成する生成部と、
    　前記出力部は、前記再生リストを、前記所定の場所に位置する前記利用者端末装置に出力する
    　ことを特徴とする請求項１５に記載の情報処理装置。
  18. 　前記楽曲特徴情報を基に、機械学習を用いて楽曲情報を作曲する作曲部
    　をさらに有し、
    　前記抽出部は、前記分析部による分析結果を基に、所定の場所において、所定の操作の回数が閾値を超えた楽曲情報に使用された前記楽曲特徴情報を、所定の操作の回数が多い順に順位付けし、予め設定された順位の前記楽曲特徴情報を抽出し、
    　前記作曲部は、前記抽出部によって、前記抽出された楽曲特徴情報を基に楽曲情報を再作曲または編曲し、
    　前記出力部は、再作曲または編曲された楽曲情報を、前記所定の場所に位置する前記利用者端末装置に出力する
    　ことを特徴とする請求項１５に記載の情報処理装置。
  19. 　コンピュータが実行する情報処理方法であって、
    　端末装置から送信された指示情報を受信し、
    　楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
    　抽出した前記楽曲特徴情報の提示情報を出力する
    　ことを特徴とする情報処理方法。
  20. 　端末装置から送信された指示情報を受信し、
    　楽曲情報から抽出された複数の種別の特徴量と所定の識別情報とが対応付けられた複数の楽曲特徴情報から、前記指示情報にしたがって前記楽曲特徴情報を抽出し、
    　抽出した前記楽曲特徴情報の提示情報を出力する
    　をコンピュータに実行させることを特徴とする情報処理プログラム。
PCT/JP2020/042871 2019-11-26 2020-11-17 情報処理装置、情報処理方法及び情報処理プログラム WO2021106693A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/756,123 US20220406280A1 (en) 2019-11-26 2020-11-17 Information processing apparatus, information processing method, and information processing program
JP2021561335A JPWO2021106693A1 (ja) 2019-11-26 2020-11-17
CN202080080151.6A CN114730550A (zh) 2019-11-26 2020-11-17 信息处理装置、信息处理方法和信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019212913 2019-11-26
JP2019-212913 2019-11-26

Publications (1)

Publication Number Publication Date
WO2021106693A1 true WO2021106693A1 (ja) 2021-06-03

Family

ID=76130191

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042871 WO2021106693A1 (ja) 2019-11-26 2020-11-17 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20220406280A1 (ja)
JP (1) JPWO2021106693A1 (ja)
CN (1) CN114730550A (ja)
WO (1) WO2021106693A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296286A (ja) * 1988-05-25 1989-11-29 Casio Comput Co Ltd 自動作曲機
JP2019159146A (ja) * 2018-03-14 2019-09-19 カシオ計算機株式会社 電子機器、情報処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296286A (ja) * 1988-05-25 1989-11-29 Casio Comput Co Ltd 自動作曲機
JP2019159146A (ja) * 2018-03-14 2019-09-19 カシオ計算機株式会社 電子機器、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2021106693A1 (ja) 2021-06-03
US20220406280A1 (en) 2022-12-22
CN114730550A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US9372860B2 (en) Method, system and device for content recommendation
US8513512B2 (en) Personalized music remixing
US20060224260A1 (en) Scan shuffle for building playlists
JP2008165759A (ja) 情報処理装置及び方法並びにプログラム
US20090063971A1 (en) Media discovery interface
KR20060044616A (ko) 콘텐츠 제공장치, 콘텐츠 제공 시스템, 웹 사이트 변경장치, 웹 사이트 변경 시스템, 콘텐츠 제공 방법 및 웹사이트 변경 방법
US20190026366A1 (en) Method and device for playing video by each segment of music
US20180197158A1 (en) Methods and Systems for Purposeful Playlist Music Selection or Purposeful Purchase List Music Selection
JP2016194614A (ja) 楽曲推薦システム、プログラム及び楽曲推薦方法
JP4730619B2 (ja) 情報処理装置および方法、並びにプログラム
WO2021106694A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2012173021A1 (ja) 情報処理装置、情報処理方法、および、プログラム
JP4492190B2 (ja) 情報処理装置および方法、プログラム
WO2021106693A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20100008945A (ko) 사용자의 입력을 반영한 자동 음악 선곡 장치 및 방법
JP2013003685A (ja) 情報処理装置、情報処理方法、および、プログラム
JPH11184883A (ja) 楽曲検索システム、楽曲検索方法及び記録媒体
Lehtiniemi et al. Evaluation of automatic mobile playlist generator
JP5834514B2 (ja) 情報処理装置、情報処理システム、情報処理方法、および、プログラム
TWI808038B (zh) 媒體檔案選擇方法及服務系統與電腦程式產品
WO2024075422A1 (ja) 楽曲生成方法、およびプログラム
WO2022044646A1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
WO2021100493A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
JP2003173192A (ja) カラオケシステム、カラオケデータ提供サーバ、カラオケデータ提供サーバの制御方法及び記憶媒体
JP6611633B2 (ja) カラオケシステム用サーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892888

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561335

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20892888

Country of ref document: EP

Kind code of ref document: A1