WO2015115666A1 - 楽曲解析装置および歌唱評価装置 - Google Patents

楽曲解析装置および歌唱評価装置 Download PDF

Info

Publication number
WO2015115666A1
WO2015115666A1 PCT/JP2015/053016 JP2015053016W WO2015115666A1 WO 2015115666 A1 WO2015115666 A1 WO 2015115666A1 JP 2015053016 W JP2015053016 W JP 2015053016W WO 2015115666 A1 WO2015115666 A1 WO 2015115666A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
music
lyrics
analysis
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/053016
Other languages
English (en)
French (fr)
Inventor
松本　秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of WO2015115666A1 publication Critical patent/WO2015115666A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/081—Genre classification, i.e. descriptive metadata for classification or selection of musical pieces according to style

Definitions

  • the present invention relates to a technique for estimating music attributes.
  • Patent Document 1 a classification code that specifies a musical genre such as enka or pop is set in advance for each song, and BGV (background video) displayed when the song is sung is set according to the classification code of the song.
  • BGV background video
  • Patent Document 2 discloses a configuration in which the singing scoring standard is changed according to the genre of music.
  • an object of the present invention is to estimate music attributes without requiring information for designating attributes for each music.
  • the music analysis apparatus of the present invention includes a lyrics analysis unit that specifies words included in the lyrics of the music, and an attribute estimation unit that estimates music attributes from the words specified by the lyrics analysis unit. It comprises.
  • the attributes of the music are estimated according to the words and phrases specified by the lyrics analysis unit from the lyrics of the music, so it is possible to estimate the attributes of the music without requiring information for specifying the attributes for each music It is.
  • the attribute estimation unit estimates the attribute of the music from the phrase specified by the lyrics analysis unit, using reference information that specifies the affinity for each of the plurality of attributes for each phrase.
  • reference information that specifies the affinity for each of the plurality of attributes for each phrase.
  • the attribute estimation unit uses the recognition model for each attribute that represents the tendency of the words and phrases used in the lyrics of the music of each attribute, and determines the attributes of the music from the phrases specified by the lyrics analysis unit.
  • the attribute of a song is estimated using a recognition model for each attribute that represents the tendency of the phrase used for the lyrics of the song of each attribute, it is actually used for the lyrics of many songs of each attribute. Appropriate estimation of the attribute reflecting the tendency of the phrase to be performed is realized.
  • the attribute estimation unit estimates the attribute of each of the plurality of analysis sections into which the music is divided according to each phrase specified by the lyrics analysis unit from the lyrics in the analysis section.
  • the attribute since the attribute is estimated for each analysis section into which the music is divided, it is possible to estimate the attribute that appropriately reflects the temporal change of the tune and the subject in the music.
  • the attribute estimation unit estimates the attribute of the music according to the music information (for example, performance tempo and tone) of the music.
  • the music information for example, performance tempo and tone
  • the attribute estimation unit estimates the attribute of the music according to the music information (for example, performance tempo and tone) of the music.
  • the present invention further provides a singing evaluation apparatus.
  • a singing evaluation apparatus includes a lyrics analysis unit that identifies a phrase included in the lyrics of a song, an attribute estimation unit that estimates a song attribute from the phrase specified by the lyrics analysis unit, and an attribute estimation unit And a singing evaluation unit that evaluates the singing voice by an evaluation method according to the attribute estimated by.
  • a singing evaluation apparatus includes a lyric analysis unit that identifies words included in the lyrics of a song, an attribute estimation unit that estimates the attributes of the song from the phrases specified by the lyric analysis unit, and a singing voice
  • a singing evaluation unit that causes a display device to display a comment according to the evaluation result and the attribute estimated by the attribute estimation unit.
  • a singing evaluation apparatus includes a lyrics analysis unit that identifies words included in the lyrics of a song, an attribute estimation unit that estimates attributes of the song from the phrases specified by the lyrics analysis unit, and attribute estimation A control unit that controls the operation of the lighting device or a display image by the display device according to the attribute estimated by the unit.
  • FIG. 1 is a configuration diagram of a singing evaluation apparatus 100 according to the first embodiment of the present invention.
  • the singing evaluation device 100 is an information processing device that evaluates (scores) the skill of singing by a user, and is realized by a computer system including an arithmetic processing device 12, a storage device 14, a sound collection device 16, and a display device 18.
  • the singing evaluation apparatus 100 is suitably used as a karaoke apparatus that reproduces accompaniment sounds of music, for example.
  • the sound collection device 16 is a device (microphone) that collects ambient sounds.
  • the sound collection device 16 of the first embodiment collects a singing voice V sung by a user on a specific music (hereinafter referred to as “target music”).
  • the target music is, for example, a music selected by the user from a plurality of music.
  • the display device 18 (for example, a liquid crystal display panel) displays an image instructed from the arithmetic processing device 12. For example, the evaluation result of the singing voice V is displayed on the display device 18.
  • a sound emitting device for example, a speaker.
  • the arithmetic processing device 12 controls each element of the song evaluation device 100 in an integrated manner by executing a program stored in the storage device 14. Specifically, as illustrated in FIG. 1, the arithmetic processing device 12 evaluates the skill of singing the target music according to the music analysis unit 22 that estimates the attribute of the target music and the estimation result by the music analysis unit 22.
  • the singing evaluation unit 24 is realized.
  • the attribute estimated by the music analysis unit 22 is, for example, information that directly or indirectly represents the tone (atmosphere) or the subject of the target music.
  • information such as “broken heart”, “sad”, “inseparable”, “happy”, “fun”, “hope”, “city”, “city”, “old”, “future”, “parting”, and “meeting” are estimated as attributes of the target music.
  • musical genres such as “enka”, “pops”, and “love songs” as attributes.
  • a configuration in which each function of the arithmetic processing device 12 is distributed to a plurality of devices, or a configuration in which a dedicated electronic circuit realizes a part of the function of the arithmetic processing device 12 may be employed.
  • the storage device 14 stores programs executed by the arithmetic processing device 12 and various data used by the arithmetic processing device 12.
  • a known recording medium such as a semiconductor recording medium and a magnetic recording medium or a combination of a plurality of types of recording media is arbitrarily employed as the storage device 14.
  • the storage device 14 of the first embodiment stores music information D for each of a plurality of music pieces.
  • the music information D of an arbitrary piece of music includes melodic information DA that specifies the main melodic note sequence (a time series of a plurality of notes constituting the singing part of the music) of the music, and the lyrics of the music (at the time of the phrase) And lyric information DB designating a series).
  • the storage device 14 of the first embodiment stores reference information R used for estimating the attributes of the target music by the music analysis unit 22.
  • FIG. 2 is a schematic diagram of the reference information R.
  • the affinity H of one word / phrase W for the attribute a [k] is an index of the degree to which the word / phrase W is compatible (harmonized) as the lyrics of the music of the attribute a [k]. Specifically, the affinity H increases so that the possibility that the word W appears in the lyrics of the music with the attribute a [k] (that is, the word W becomes more familiar with the musical atmosphere of the music).
  • the affinity H for each word W is statistically set for each of the K attributes a [1] to a [K].
  • FIG. 3 is a configuration diagram of the music analysis unit 22.
  • the music analysis unit 22 of the first embodiment includes a lyrics analysis unit 32 and an attribute estimation unit 34.
  • the lyrics analyzing unit 32 analyzes the lyrics designated by the lyrics information DB of the target music. Specifically, the lyrics analyzing unit 32 specifies a plurality of words / phrases W included in the lyrics of the target music. For specifying each word / phrase W by the lyric analysis unit 32, known natural language processing such as morphological analysis is arbitrarily employed.
  • the lyric analysis unit 32 selects a predetermined word / phrase W that can be used for the lyric of the music among a plurality of morphemes (the smallest unit having linguistic meaning) obtained by dividing the lyrics specified by the lyric information DB.
  • the attribute estimation unit 34 estimates the attribute A of the target song from the plurality of words W specified by the lyrics analysis unit 32 for the lyrics of the target song.
  • the reference information R stored in the storage device 14 is used for attribute estimation by the attribute estimation unit 34.
  • FIG. 4 is a flowchart of a process in which the attribute estimation unit 34 estimates the attribute A of the target music (hereinafter referred to as “attribute estimation process”).
  • attribute estimation process the attribute estimation unit 34 counts the number of appearances C for each of the plurality of words W specified by the lyrics analysis unit 32 from the lyrics of the target music (SA1). That is, the appearance frequency C of each word / phrase W corresponds to the number (number of times) of the word / phrase W included in the lyrics of the target music.
  • the attribute estimation unit 34 calculates an estimated index X [k] (X [1] to X [K]) for each of the K attributes a [1] to a [K] registered in the reference information R ( SA2).
  • the attribute a [k] having a large number of appearances C of the word / phrase W having a high affinity H specified by the reference information R. ] Is set to a larger numerical value as the estimated index X [k].
  • the estimated index X [k] of the attribute a [k] increases as the number of appearances C of the word W (word W having a high affinity H) familiar with the musical atmosphere of the attribute a [k] in the lyrics of the target song increases. Tends to be set to a large number. Therefore, each estimation index X [1] can be used for estimating the attribute A of the target music piece.
  • the attribute estimation unit 34 estimates the attribute A of the target music in accordance with the K estimated indexes X [1] to X [K] calculated by the above procedure (SA3). Specifically, the attribute estimation unit 34 of the first embodiment selects one attribute a [k] having the maximum estimated index X [k] among the K attributes a [1] to a [K]. Confirmed as attribute A of the target song.
  • SA3 the K estimated indexes X [1] to X [K] calculated by the above procedure (SA3). Specifically, the attribute estimation unit 34 of the first embodiment selects one attribute a [k] having the maximum estimated index X [k] among the K attributes a [1] to a [K]. Confirmed as attribute A of the target song.
  • SA3 the attribute estimation unit 34 of the first embodiment selects one attribute a [k] having the maximum estimated index X [k] among the K attributes a [1] to a [K]. Confirmed as attribute A of the target song.
  • the singing evaluation unit 24 evaluates the skill of the singing by the user by analyzing the singing voice V according to the attribute A of the target music estimated by the music analysis unit 22.
  • the singing evaluation unit 24 compares the musical note string specified by the melody information DA of the music information D of the target music with the singing voice V picked up by the sound pickup device 16, and matches the two.
  • An evaluation index (score) S corresponding to the degree of (difference) is calculated.
  • FIG. 5 is a flowchart of an operation in which the singing evaluation unit 24 evaluates the singing voice V (hereinafter referred to as “singing evaluation processing”).
  • the singing evaluation unit 24 calculates basic values s [1] to s [N] for each of a plurality (N) of different musical evaluation items (SB1).
  • the basic value is calculated regardless of the attribute of the target music when the target music is sung.
  • N evaluation items are musical viewpoints to evaluate the skill of singing, such as accuracy of pitch, propriety of inflection, singing technique (bar, fall, vibrato, kobushi, shakuri, long tone) Includes presence or absence.
  • a known technique is arbitrarily adopted for detection of the evaluation item.
  • Japanese Patent Application Laid-Open No. 2008-268370 discloses a technique for detecting a sung section using the Kobushi technique.
  • Japanese Unexamined Patent Application Publication No. 2004-102146 discloses a technique for detecting vibrato
  • Japanese Unexamined Patent Application Publication No. 2012-8596 discloses a technique for detecting a long tone.
  • Japanese Unexamined Patent Application Publication No. 2007-334364 discloses a technique for detecting vibrato, intonation, voice quality, timing, and sneezing, respectively.
  • a known technique is arbitrarily employed for singing evaluation for each evaluation item (calculation of basic values s [1] to s [N]).
  • Japanese Patent No. 5585320 discloses singing evaluation based on singing voice and music information (music data).
  • the singing evaluation unit 24 specifies N weighted values w [1] to w [N] corresponding to different evaluation items (SB2).
  • the weight information E is a data table that specifies N weight values w [1] to w [N] for each of the K attributes a [1] to a [K]. is there.
  • Each of the N weighted values w [1] to w [N] is individually set for each attribute a [k] according to the importance of each evaluation item in the singing of the music of each attribute a [k]. .
  • the weight value w [n] of the evaluation item of each singing technique is set to a relatively large value.
  • the weight value w [n] of the evaluation item of pitch accuracy is set to a relatively large numerical value.
  • the weight value w [n] of these evaluation items is a numerical value of 1 to 10.
  • numerical values such as sneezing, kobushi and vibrato are set large, and numerical values of rhythm are set small.
  • numerical values such as sneezing, vibrato, and pitch are set large, and numerical values for kobushi are set small.
  • numerical values such as pitch and long tone are set large, and numerical values of sneezing, kobushi, and inflection are set small.
  • the singing evaluation unit 24 stores N weight values w [1] to w [N] corresponding to the attribute A estimated by the attribute estimation unit 34 among the K attributes a [1] to a [K]. It is specified from the 14 weight value information E.
  • the singing evaluation unit 24 sings according to the N basic values s [1] to s [N] calculated in step SB1 and the N weighted values w [1] to w [N] specified in step SB2.
  • FIG. 8 A specific example of the basic value s [n] calculated in step SB1 is shown in FIG.
  • the basic value s [n] shown in FIG. 8 is a numerical value of 1 to 5.
  • the singing evaluation unit 24 evaluates the singing voice V by a variable evaluation method (evaluation standard) corresponding to the attribute A estimated for the target music piece.
  • the singing evaluation unit 24 displays the evaluation index S calculated by the above procedure on the display device 18 (SB4).
  • the attribute A of the target music is estimated according to the plurality of words W specified by the lyrics analysis unit 32 from the lyrics of the target music, so that information specifying the attribute for each music is specified.
  • the attribute A of the target music is simply estimated by using the reference information R that specifies the affinity H of each word / phrase W for each of the K attributes a [1] to a [K]. There is an advantage that you can.
  • Second Embodiment A second embodiment of the present invention will be described below.
  • standard referred by description of 1st Embodiment is diverted, and each detailed description is abbreviate
  • FIG. 9 is a configuration diagram of the music analysis unit 22 in the second embodiment.
  • the attribute estimation unit 34 of the music analysis unit 22 of the second embodiment uses the K recognition models M [1] to M [K] corresponding to the different attributes a [k] to determine the attribute A of the target music.
  • One recognition model M [k] corresponding to an arbitrary attribute a [k] is a statistical model representing the tendency of the word / phrase W used for the lyrics of a song having the attribute a [k].
  • GMM Global System forture Model
  • the K recognition models M [1] to M [K] are generated in advance by machine learning using a lot of learning information L corresponding to different music pieces.
  • the learning information L includes attribute information (label) LA that specifies the attribute a [k] of the music, and lyrics information LB that specifies the lyrics of the music.
  • a plurality of attributes a [k] can be specified for an arbitrary piece of music.
  • a large number of learning information L is classified for each attribute a [k] specified by the attribute information LA, and the tendency of the word / phrase W extracted from the lyrics information LB of each learning information L classified into the attribute a [k] is statistically calculated.
  • a recognition model M [k] for each attribute a [k] is generated.
  • the K recognition models M [1] to M [K] (actually variables that define each recognition model M [k]) prepared in advance by the machine learning exemplified above are stored in the storage device 14, This is used for estimating the attribute A of the target music piece by the attribute estimation unit 34.
  • a known machine learning technique is arbitrarily employed for generating the recognition model M [k].
  • Japanese Patent Laid-Open No. 2006-139185 is available.
  • Japanese Unexamined Patent Publication No. 2006-139185, paragraph [0011] discloses a technique related to generation of a recognition model.
  • Each recognition model M [k] of the second embodiment is used to calculate the estimated index Y [k] of the attribute a [k] according to the plurality of words W specified by the lyrics analysis unit 32 from the lyrics of the target music. It is a statistical model.
  • the estimated index Y [k] calculated by any one recognition model M [k] is an index of the probability (likelihood) that the target music corresponds to the attribute a [k].
  • the higher the degree that the plurality of phrases W of the target song match the tendency expressed by the recognition model M [k] (the tendency of the phrase W used in the lyrics of the song with the attribute a [k]) the higher the estimated index.
  • Y [k] is set to a large value. That is, the estimated index (likelihood) Y [k] is also considered as the affinity of the word / phrase W for the attribute a [k].
  • FIG. 10 is a flowchart of attribute estimation processing in which the attribute estimation unit 34 of the second embodiment estimates the attribute A of the target music piece.
  • the attribute estimation unit 34 applies the plurality of words W specified by the lyrics analysis unit 32 to each of the K recognition models M [1] to M [K], thereby different attributes.
  • K estimated indices Y [1] to Y [K] corresponding to a [k] are calculated (SC1).
  • the degree to which a plurality of phrases W used in the lyrics of the target music matches the tendency of the recognition model M [k] is high (the target music is attribute a [k from the viewpoint of the tendency of the words used in the lyrics). ] Is higher, the estimated index Y [k] is set to a larger numerical value.
  • the attribute estimation unit 34 estimates the attribute A of the target music according to the K estimation indexes Y [1] to Y [K] (SC2). Specifically, the attribute estimation unit 34 of the second embodiment selects one attribute a [k] having the maximum estimated index Y [k] among the K attributes a [1] to a [K]. Confirmed as attribute A of the target song.
  • the above is a specific example of the attribute estimation process in the second embodiment.
  • the content of the song evaluation process by the song evaluation unit 24 is the same as that of the first embodiment.
  • the attribute A of the target song is determined by using the recognition model M [k] for each attribute a [k] representing the tendency of the words used in the lyrics of the song of each attribute a [k]. Since it is estimated, it is possible to realize an appropriate estimation of the attribute A reflecting the actual tendency of the word / phrase W used in the lyrics of a large number of music pieces with the attribute a [k].
  • FIG. 11 is an explanatory diagram of the operation of the song evaluation apparatus 100 according to the third embodiment.
  • the attribute estimation unit 34 individually estimates the attribute A for each of a plurality of analysis sections P (in the example of FIG. 11, a total of four analysis sections P1 to P4 in FIG. 11). Specifically, the attribute estimation unit 34 applies each word / phrase W identified by the lyric analysis unit 32 from the lyrics in one arbitrary analysis interval P to the attribute estimation process, so that the attribute A of the analysis interval is determined.
  • a method similar to that of the first embodiment or the second embodiment may be adopted for the estimation of the attribute A.
  • the analysis section P is, for example, each section (number 1, number 2, etc. of the music) in which the target music is divided on the time axis with an interlude as a boundary.
  • the attribute A “exciting” is estimated for the analysis section P1 of the target music
  • the attribute A “parting” is estimated for the analysis section P2
  • the attribute A “toned” is estimated for the analysis section P3.
  • the case where the attribute A of “sad” is estimated for the section P4 is illustrated.
  • the evaluation method of the singing voice V can be changed for each analysis section P according to the estimation result of the attribute A.
  • the same effect as in the first embodiment is realized. Further, in the third embodiment, since the attribute A is estimated for each analysis section P, it is possible to estimate the attribute A that appropriately reflects the change in the tune and the subject in the music over time.
  • the attribute estimation unit 34 of the fourth embodiment estimates the attribute A of the target song according to the performance tempo of the target song. Specifically, the attribute estimation unit 34 variably controls the range of the attribute a [k] that can be selected as the attribute A of the target music (the candidate range of the attribute A) according to the performance tempo.
  • the attribute estimation unit 34 determines whether the performance tempo of the target music is high or low, and as shown in FIG. 12, when the performance tempo is low, K attributes a [1] including a negative attribute a [k] are included. While the attribute A is selected from ⁇ a [K], the negative attribute a [k] is excluded from the selection target when the performance tempo is high. That is, the negative attribute a [k] is not selected as the attribute A for the target music piece having a high performance tempo.
  • the same effect as in the first embodiment is realized. Further, in the fourth embodiment, since the performance tempo of the target music is added to the estimation of the attribute A of the target music in addition to each word W of the lyrics of the target music, for example, only each word W is used for the estimation of the attribute A. There is an advantage that the attribute A of the target musical piece can be estimated with high accuracy compared to the configuration to be performed.
  • one attribute a [k] corresponding to the estimated index (X [k], Y [k]) among the K attributes a [1] to a [K] is targeted.
  • a combination of a plurality of attributes a [k] can be estimated as the attribute A of the target music piece.
  • a configuration in which one or more attributes a [k] whose estimated index Y [k] exceeds a predetermined threshold is selected as the attribute A of the target music is adopted.
  • the song evaluation process by the song evaluation unit 24 is executed according to the plurality of attributes a [k]. For example, assuming that a total of three combinations of the attribute a [k1], the attribute a [k2], and the attribute a [k3] are estimated as the attribute A of the target music, the singing evaluation unit 24 uses the attribute a [ k1], a weight value w [n] corresponding to the attribute a [k2], a weight value w [n] corresponding to the attribute a [k3], and a weight value w [n] corresponding to the attribute a [k3].
  • the evaluation index S is calculated as a definite weight value w [n] of the base value s [n].
  • each weight value w [n] applied to the calculation of the evaluation index S (the weighted sum of the basic values s [n]) is changed according to the attribute A of the target song.
  • the configuration for changing the singing evaluation method according to the attribute A of the target song is not limited to the above examples.
  • the evaluation index S is calculated by adopting an evaluation method corresponding to the attribute A of the target music among different types of evaluation methods (singing evaluation processing), and the basic value s [n] for each evaluation item A configuration in which a variable applied to the calculation is variably set according to the attribute A of the target music, and a combination of the basic value s [n] applied to the calculation of the evaluation index S among the N basic values s [n] ( In other words, a configuration in which the evaluation item added to the singing evaluation) is changed according to the attribute A of the target music piece may be employed.
  • the arithmetic processing unit 12 selects an image (BGV) displayed on the display device 18 when the target song is sung according to the attribute A of the target song. For example, when the attribute A “sad” is estimated for the target song, a sad impression BGV is selected and displayed. Further, in the configuration in which the BGV (moving image) displayed on the display device 18 is sequentially selected from a plurality of candidates at each time point in the music, the selection target at each time is controlled according to the attribute A of the target music. Is also possible. A configuration in which an image displayed on a terminal device such as a mobile phone or a smartphone owned by each user is controlled according to the attribute A may be employed.
  • the arithmetic processing unit 12 causes the display device 18 to display a comment (an evaluation comment or a guidance comment) according to the attribute A of the target song.
  • a comment an evaluation comment or a guidance comment
  • the singing evaluation unit 24 presents an evaluation comment selected according to the attribute A from a plurality of candidates prepared in advance together with the evaluation index S to the user. For example, when the evaluation index S exceeds a predetermined value and the attribute A “satisfied” is estimated for the target song, an evaluation comment “Nice songs are also good!” Is displayed on the display device 18 together with the evaluation index S. Is displayed.
  • the singing evaluation unit 24 presents, together with the evaluation index S, the evaluation comment selected according to the attribute A from the plurality of candidates prepared in advance to the user, in the same manner as the presentation of the evaluation comment described above.
  • the evaluation index S is lower than a predetermined value
  • the target music is attribute A such as “not cut” or “sad” (especially emotional to be sung with particular attention to inflection compared to other elements such as pitch)
  • a guidance comment such as “Let's sing with emotion while paying attention to inflection” is displayed on the display device 18 together with the evaluation index S.
  • the arithmetic processing unit 12 (the singing evaluation unit 24) is used for the production of various lighting devices (for example, mirror balls or lasers that realize various visual effects) that are installed in the acoustic space together with the singing evaluation unit 100. It is also possible to control the operation of the device) according to the attribute A. For example, when the attribute A “not cut” is estimated, warm color (red, etc.) illumination light is emitted, and when the attribute A “fresh” is estimated, cold color (blue, etc.) illumination light is emitted. When the attribute A of “violent” is estimated, the brightness or hue of the illumination light is changed.
  • the attribute A of the target music is estimated according to the performance tempo, but the music information (musical element) added to the estimation of the attribute A is not limited to the performance tempo.
  • music information such as the performance part configuration (musical instrument combination), rhythm pattern, music tone, music length, music composition, etc. of the target music can be added to the estimation of the attribute A.
  • the song evaluation apparatus 100 which applies the attribute A which the music analysis part 22 estimated to the song evaluation process was illustrated, this invention is also used as a music analysis apparatus which estimates the attribute A of object music. Can be realized.
  • the music analysis apparatus is an information processing apparatus including the music analysis unit 22 (the lyrics analysis unit 32 and the attribute estimation unit 34) exemplified in the above-described embodiments.
  • the singing evaluation apparatus 100 of each form mentioned above is equivalent to the structure which added the singing evaluation part 24 to the music analysis apparatus.
  • the music analysis apparatus is realized by hardware (electronic circuit) such as DSP (Digital Signal Processor) dedicated to analysis of music attributes, and a general-purpose such as CPU (Central Processing Unit). This is also realized by cooperation between the arithmetic processing unit and the program.
  • a program causes a computer to function as a lyric analysis unit that identifies a phrase included in the lyrics of a song, and an attribute estimation unit that estimates a song attribute from the phrase specified by the lyrics analysis unit .
  • the program of the present invention can be provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but a known arbitrary one such as a semiconductor recording medium or a magnetic recording medium This type of recording medium can be included.
  • the program of the present invention can be provided in the form of distribution via a communication network and installed in a computer.
  • the present invention is also specified as an operation method (music analysis method) of the music analysis apparatus according to each aspect exemplified above.
  • a music analysis method includes a lyric analysis process for specifying a phrase included in the lyric of the music, and an attribute estimation process for estimating the attribute of the music from the phrase specified in the lyric analysis process. .

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

　歌詞解析部（３２）は、対象楽曲の歌詞に包含される複数の語句（Ｗ）を特定する。属性推定部（３４）は、歌詞解析部（３２）が特定した複数の語句（Ｗ）から対象楽曲の属性（Ａ）を推定する。具体的には、属性推定部（３４）は、複数の属性の各々に対する親和度を語句（Ｗ）毎に指定する参照情報（Ｒ）を利用して、歌詞解析部（３２）が特定した複数の語句（Ｗ）から対象楽曲の属性（Ａ）を推定する。

Description

楽曲解析装置および歌唱評価装置
　本発明は、楽曲の属性を推定する技術に関する。
　楽曲の属性（例えばジャンル）をカラオケ等の歌唱に応用した技術が従来から提案されている。例えば特許文献１には、演歌やポップス等の音楽的なジャンルを指定する分類コードを楽曲毎に事前に設定し、楽曲の歌唱時に表示されるＢＧＶ（background video）を当該楽曲の分類コードに応じて選択する構成が開示されている。また、特許文献２には、歌唱の採点基準を楽曲のジャンルに応じて変更する構成が開示されている。
日本国特開２００３－２４８４８９号公報 日本国特開２０１１－０９５４３７号公報
　しかし、特許文献１や特許文献２の技術では、楽曲のジャンルを事前に楽曲毎に設定する必要がある。
　以上の事情を考慮して、本発明は、楽曲毎に属性を指定する情報を必要とせずに楽曲の属性を推定することを目的とする。
　以上の課題を解決するために、本発明の楽曲解析装置は、楽曲の歌詞に包含される語句を特定する歌詞解析部と、歌詞解析部が特定した語句から楽曲の属性を推定する属性推定部とを具備する。以上の構成では、歌詞解析部が楽曲の歌詞から特定した語句に応じて楽曲の属性が推定されるから、楽曲毎に属性を指定する情報を必要とせずに楽曲の属性を推定することが可能である。
　本発明の好適な態様において、属性推定部は、複数の属性の各々に対する親和度を語句毎に指定する参照情報を利用して、歌詞解析部が特定した語句から楽曲の属性を推定する。以上の態様では、複数の属性の各々に対する親和度を語句毎に指定する参照情報を利用することで楽曲の属性を簡便に推定できるという利点がある。なお、「語句」は、意味を持つ言語の最小単位である単語や複数の単語で構成される句（フレーズ）や文を含意する。なお、語句の言語は任意であり、日本語に限定されない。
　本発明の好適な態様において、属性推定部は、各属性の楽曲の歌詞に使用される語句の傾向を表す属性毎の認識モデルを利用して、歌詞解析部が特定した語句から楽曲の属性を推定する。以上の態様では、各属性の楽曲の歌詞に使用される語句の傾向を表す属性毎の認識モデルを利用して楽曲の属性が推定されるから、各属性の多数の楽曲の歌詞に実際に使用される語句の傾向を反映した属性の適切な推定が実現される。
　本発明の好適な態様において、属性推定部は、楽曲を区分した複数の解析区間の各々について、当該解析区間内の歌詞から歌詞解析部が特定した各語句に応じて属性を推定する。以上の態様では、楽曲を区分した解析区間毎に属性が推定されるから、楽曲内における曲調や題材の経時的な変化を適切に反映した属性を推定することが可能である。
　本発明の好適な態様において、属性推定部は、楽曲の音楽情報（例えば演奏テンポや曲調）に応じて楽曲の属性を推定する。以上の態様では、楽曲の歌詞に包含される各語句に加えて楽曲の演奏テンポが属性の推定に加味されるから、例えば楽曲の歌詞の語句のみを属性の推定に利用する構成と比較して、楽曲の属性を高精度に推定できるという利点がある。
　また、本発明では更に歌唱評価装置が提供される。
　本発明の一態様に係る歌唱評価装置は、楽曲の歌詞に包含される語句を特定する歌詞解析部と、歌詞解析部が特定した語句から楽曲の属性を推定する属性推定部と、属性推定部が推定した属性に応じた評価方法で歌唱音声を評価する歌唱評価部とを具備する。
　本発明の一態様に係る歌唱評価装置は、楽曲の歌詞に包含される語句を特定する歌詞解析部と、歌詞解析部が特定した語句から楽曲の属性を推定する属性推定部と、歌唱音声を評価した結果と属性推定部が推定した属性とに応じたコメントを表示装置に表示させる歌唱評価部とを具備する。
　本発明の一態様に係る歌唱評価装置は、楽曲の歌詞に包含される語句を特定する歌詞解析部と、歌詞解析部が特定した語句から前記楽曲の属性を推定する属性推定部と、属性推定部が推定した属性に応じて照明機器の動作または表示装置による表示画像を制御する制御部とを具備する。
本発明の第１実施形態に係る歌唱評価装置の構成図である。 参照情報の説明図である。 楽曲解析部の構成図である。 属性推定処理のフローチャートである。 歌唱評価処理のフローチャートである。 加重値情報の説明図である。 加重値情報の具体例である。 基礎値の具体例である。 第２実施形態における楽曲解析部の構成図である。 第２実施形態における属性推定処理のフローチャートである。 第３実施形態における解析区間の説明図である。 第４実施形態の動作の説明図である。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る歌唱評価装置１００の構成図である。歌唱評価装置１００は、利用者による歌唱の巧拙を評価（採点）する情報処理装置であり、演算処理装置１２と記憶装置１４と収音装置１６と表示装置１８とを具備するコンピュータシステムで実現される。歌唱評価装置１００は、例えば楽曲の伴奏音を再生するカラオケ装置として好適に利用される。
　収音装置１６は、周囲の音響を収音する装置（マイクロホン）である。第１実施形態の収音装置１６は、特定の楽曲（以下「対象楽曲」という）を利用者が歌唱した歌唱音声Ｖを収音する。対象楽曲は、例えば複数の楽曲のうち利用者が選択した楽曲である。表示装置１８（例えば液晶表示パネル）は、演算処理装置１２から指示された画像を表示する。例えば歌唱音声Ｖの評価結果が表示装置１８に表示される。なお、歌唱音声Ｖの評価結果を放音装置（例えばスピーカ）から音声で出力することも可能である。
　演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで歌唱評価装置１００の各要素を統括的に制御する。具体的には、演算処理装置１２は、図１に例示される通り、対象楽曲の属性を推定する楽曲解析部２２と、楽曲解析部２２による推定結果に応じて対象楽曲の歌唱の巧拙を評価する歌唱評価部２４とを実現する。楽曲解析部２２が推定する属性は、例えば対象楽曲の曲調（雰囲気）や題材を直接的または間接的に表象する情報である。例えば「失恋」「悲しい」「切ない」「うれしい」「楽しい」「希望」「田舎」「都会」「昔」「未来」「別れ」「出会い」といった情報が対象楽曲の属性として推定される。なお、「演歌」「ポップス」「ラブソング」等の音楽的なジャンルを属性として推定することも可能である。なお、演算処理装置１２の各機能を複数の装置に分散した構成や、演算処理装置１２の機能の一部を専用の電子回路が実現する構成も採用され得る。
　記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体および磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用される。第１実施形態の記憶装置１４は、複数の楽曲の各々について楽曲情報Ｄを記憶する。任意の１個の楽曲の楽曲情報Ｄは、当該楽曲の主旋律の音符列（楽曲の歌唱パートを構成する複数の音符の時系列）を指定する旋律情報ＤAと、当該楽曲の歌詞（語句の時系列）を指定する歌詞情報ＤBとを含んで構成される。
　また、第１実施形態の記憶装置１４は、楽曲解析部２２による対象楽曲の属性の推定に利用される参照情報Ｒを記憶する。図２は、参照情報Ｒの模式図である。図２に例示される通り、参照情報Ｒは、Ｋ個の属性ａ[1]～ａ[K]の各々について語句Ｗ毎の親和度Ｈ（Ｈ[1,1]，Ｈ[1,2]，……）を指定するデータテーブルである。任意の１個の属性ａ[k]（ｋ＝１～Ｋ）については、多数の楽曲の歌詞に包含され得る複数の語句Ｗの各々の親和度Ｈが指定される。属性ａ[k]に対する１個の語句Ｗの親和度Ｈは、当該属性ａ[k]の楽曲の歌詞として当該語句Ｗが親和（調和）する度合の指標である。具体的には、属性ａ[k]の楽曲の歌詞に当該語句Ｗが出現する可能性が高い（すなわち当該語句Ｗが楽曲の音楽的な雰囲気に馴染む）ほど親和度Ｈが増加するように、Ｋ個の属性ａ[1]～ａ[K]の各々について語句Ｗ毎の親和度Ｈが統計的に設定される。
　図３は、楽曲解析部２２の構成図である。図３に例示される通り、第１実施形態の楽曲解析部２２は、歌詞解析部３２と属性推定部３４とを包含する。歌詞解析部３２は、対象楽曲の歌詞情報ＤBが指定する歌詞を解析する。具体的には、歌詞解析部３２は、対象楽曲の歌詞に包含される複数の語句Ｗを特定する。歌詞解析部３２による各語句Ｗの特定には、形態素解析等の公知の自然言語処理が任意に採用される。例えば、歌詞解析部３２は、歌詞情報ＤBで指定される歌詞を分割した複数の形態素（言語的な意味を持つ最小単位）のうち楽曲の歌詞に使用され得る所定の語句Ｗを選択する。
　属性推定部３４は、歌詞解析部３２が対象楽曲の歌詞について特定した複数の語句Ｗから対象楽曲の属性Ａを推定する。属性推定部３４による属性の推定には、記憶装置１４に記憶された参照情報Ｒが利用される。
　図４は、属性推定部３４が対象楽曲の属性Ａを推定する処理（以下「属性推定処理」という）のフローチャートである。属性推定処理を開始すると、属性推定部３４は、歌詞解析部３２が対象楽曲の歌詞から特定した複数の語句Ｗの各々について出現回数Ｃを集計する（ＳA1）。すなわち、各語句Ｗの出現回数Ｃは、対象楽曲の歌詞に包含される当該語句Ｗの個数（回数）に相当する。
　属性推定部３４は、参照情報Ｒに登録されたＫ個の属性ａ[1]～ａ[K]の各々について推定指標Ｘ[k]（Ｘ[1]～Ｘ[K]）を算定する（ＳA2）。第１実施形態における任意の１個の推定指標Ｘ[k]は、参照情報Ｒのうち当該推定指標Ｘ[k]に対応する属性ａ[k]に指定された各語句Ｗの親和度Ｈを加重値とした出現回数Ｃの加重和（Ｘ[k]＝Σ｛ＨＣ｝）である。以上の説明から理解される通り、Ｋ個の属性ａ[1]～ａ[K]のうち、参照情報Ｒにて指定された親和度Ｈが大きい語句Ｗの出現回数Ｃが多い属性ａ[k]の推定指標Ｘ[k]ほど大きい数値に設定される。すなわち、対象楽曲の歌詞において属性ａ[k]の音楽的な雰囲気に馴染む語句Ｗ（親和度Ｈが大きい語句Ｗ）の出現回数Ｃが多いほど、属性ａ[k]の推定指標Ｘ[k]は大きい数値に設定されるという傾向がある。したがって、各推定指標Ｘ[1]を対象楽曲の属性Ａの推定に利用することが可能である。
　属性推定部３４は、以上の手順で算定したＫ個の推定指標Ｘ[1]～Ｘ[K]に応じて対象楽曲の属性Ａを推定する（ＳA3）。具体的には、第１実施形態の属性推定部３４は、Ｋ個の属性ａ[1]～ａ[K]のうち推定指標Ｘ[k]が最大となる１個の属性ａ[k]を対象楽曲の属性Ａとして確定する。以上が属性推定処理の具体例である。
　図１の歌唱評価部２４は、楽曲解析部２２が推定した対象楽曲の属性Ａに応じた歌唱音声Ｖの解析で利用者による歌唱の巧拙を評価する。概略的には、歌唱評価部２４は、対象楽曲の楽曲情報Ｄの旋律情報ＤAで指定される音符列と収音装置１６が収音した歌唱音声Ｖとを相互に対比し、両者間の合致（相違）の度合に応じた評価指標（点数）Ｓを算定する。
　図５は、歌唱評価部２４が歌唱音声Ｖを評価する動作（以下「歌唱評価処理」という）のフローチャートである。歌唱評価処理を開始すると、歌唱評価部２４は、相異なる複数（Ｎ個）の音楽的な評価項目の各々について基礎値ｓ[1]～ｓ[N]を算定する（ＳB1）。基礎値は対象楽曲が歌唱された際に、対象楽曲の属性に関係なく算出される。Ｎ個の評価項目は、歌唱の巧拙を評価するための音楽的な観点であり、例えば音高の正確性，抑揚の適否，歌唱技法（小節，フォール，ビブラート，コブシ，しゃくり，ロングトーン）の有無等を包含する。評価項目の検出には公知の技術が任意に採用される。例えば、日本国特開２００８－２６８３７０号公報には、コブシの技法を用いて歌唱された区間を検出する技術が開示される。また、日本国特開２００４－１０２１４６にはビブラートを検出する技術が、日本国特開２０１２－８５９６号公報には、ロングトーンを検出する技術がそれぞれ開示される。さらに、日本国特開２００７－３３４３６４には、ビブラート、抑揚、声質、タイミング、しゃくりをそれぞれ検出する技術が開示される。評価項目毎の歌唱の評価（基礎値ｓ[1]～ｓ[N]の算定）には公知の技術が任意に採用される。公知技術としては、例えば、日本国特許５５８５３２０号公報がある。日本国特許５５８５３２０号公報には、歌唱音声と楽曲情報（楽曲データ）に基づく歌唱評価が開示される。
　歌唱評価部２４は、相異なる評価項目に対応するＮ個の加重値ｗ[1]～ｗ[N]を特定する（ＳB2）。各加重値ｗ[n]（ｎ＝１～Ｎ）の算定には図６の加重値情報Ｅが利用される。図６に例示される通り、加重値情報Ｅは、Ｋ個の属性ａ[1]～ａ[K]の各々についてＮ個の加重値ｗ[1]～ｗ[N]を指定するデータテーブルである。Ｎ個の加重値ｗ[1]～ｗ[N]の各々は、各属性ａ[k]の楽曲の歌唱における各評価項目の重要度に応じて属性ａ[k]毎に個別に設定される。例えば、小節やビブラート等の歌唱技法が重要視される演歌等の楽曲の属性ａ[k]については各歌唱技法の評価項目の加重値ｗ[n]が相対的に大きい数値に設定され、音高の正確性が重要視される楽曲の属性ａ[k]については音高の正確性の評価項目の加重値ｗ[n]が相対的に大きい数値に設定される。以上のように属性ａ[k]毎の評価項目の軽重を反映した加重値情報Ｅが事前に用意されたうえで記憶装置１４に格納される。
　図６の荷重値情報Ｅの具体例を図７に例示する。図７では、属性ａ[k]として、音楽的ジャンルである演歌、ポップス、唱歌等が示されており、評価項目として、しゃくり、コブシ、ビブラート、音程、リズム、ロングトーン等が示されている。なお、これらの評価項目の加重値ｗ[n]は１～１０のいずれかの数値としている。図７において、演歌では、しゃくり、コブシ、ビブラート等の数値が大きく設定され、リズムの数値が小さく設定されている。ポップスでは、しゃくり、ビブラート、音程等の数値が大きく設定され、コブシの数値が小さく設定されている。唱歌では、音程、ロングトーン等の数値が大きく設定され、しゃくり、コブシ、抑揚の数値が小さく設定されている。
　歌唱評価部２４は、Ｋ個の属性ａ[1]～ａ[K]のうち属性推定部３４が推定した属性Ａに対応するＮ個の加重値ｗ[1]～ｗ[N]を記憶装置１４の加重値情報Ｅから特定する。
　歌唱評価部２４は、ステップＳB1で算定したＮ個の基礎値ｓ[1]～ｓ[N]とステップＳB2で特定したＮ個の加重値ｗ[1]～ｗ[N]とに応じて歌唱音声Ｖの評価指標Ｓを算定する（ＳB3）。具体的には、歌唱評価部２４は、評価項目毎の加重値ｗ[n]を適用した基礎値ｓ[n]の加重和を最終的な評価指標Ｓ（Ｓ＝Σ｛ｗ[n]ｓ[n]｝）として算定する。したがって、Ｎ個の評価項目のうち対象楽曲の属性Ａについて重要視される各評価項目に関する評価が高い（基礎値ｓ[n]が大きい）ほど評価指標Ｓは大きい数値に設定される。
　ステップＳB1で算定する基礎値ｓ[n]の具体例を図８に示す。なお、図８で示される基礎値ｓ[n]は１～５のいずれかの数値としている。推定された対象楽曲の属性が演歌であるとすると、図７の加重値ｗ[n]及び図８の基礎値ｓ[n]を用いて、最終的な評価指標Ｓは以下のように算定される。
　Ｓ＝８×５＋１０×３＋１０×４＋５×３＋３×５＋５×５＋９×２＋・・・
　以上の説明から理解される通り、歌唱評価部２４は、対象楽曲について推定された属性Ａに応じた可変の評価方法（評価基準）で歌唱音声Ｖを評価する。歌唱評価部２４は、以上の手順で算定した評価指標Ｓを表示装置１８に表示させる（ＳB4）。
　以上に説明した通り、第１実施形態では、歌詞解析部３２が対象楽曲の歌詞から特定した複数の語句Ｗに応じて対象楽曲の属性Ａが推定されるから、楽曲毎に属性を指定する情報を必要とせずに対象楽曲の属性Ａを推定できるという利点がある。第１実施形態では特に、Ｋ個の属性ａ[1]～ａ[K]の各々について各語句Ｗの親和度Ｈを指定する参照情報Ｒを利用することで対象楽曲の属性Ａを簡便に推定できるという利点がある。
　また、第１実施形態では、対象楽曲について推定された属性Ａに応じた可変の評価方法で利用者の歌唱が評価されるから、対象楽曲の属性Ａに応じた適切な評価（例えば属性Ａの楽曲の歌唱にて特に重要な評価項目を重視した評価）を実現することが可能である。
＜第２実施形態＞
　本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
　図９は、第２実施形態における楽曲解析部２２の構成図である。第２実施形態の楽曲解析部２２の属性推定部３４は、相異なる属性ａ[k]に対応するＫ個の認識モデルＭ[1]～Ｍ[K]を利用して対象楽曲の属性Ａを推定する。任意の属性ａ[k]に対応する１個の認識モデルＭ[k]は、属性ａ[k]の楽曲の歌詞に使用される語句Ｗの傾向を表す統計モデルである。例えばGMM（Gaussian Mixture Model）等の混合分布を利用した統計モデルが認識モデルＭ[k]として好適に利用される。
　Ｋ個の認識モデルＭ[1]～Ｍ[K]は、相異なる楽曲に対応する多数の学習情報Ｌを利用した機械学習で事前に生成される。学習情報Ｌは、楽曲の属性ａ[k]を指定する属性情報（ラベル）ＬAと、当該楽曲の歌詞を指定する歌詞情報ＬBとを含んで構成される。任意の１個の楽曲には複数の属性ａ[k]が指定され得る。属性情報ＬAで指定される属性ａ[k]毎に多数の学習情報Ｌが分類され、属性ａ[k]に分類された各学習情報Ｌの歌詞情報ＬBから抽出される語句Ｗの傾向を統計的に解析することで属性ａ[k]毎の認識モデルＭ[k]が生成される。以上に例示した機械学習で事前に用意されたＫ個の認識モデルＭ[1]～Ｍ[K]（実際には各認識モデルＭ[k]を規定する変数）が記憶装置１４に記憶され、属性推定部３４による対象楽曲の属性Ａの推定に利用される。なお、認識モデルＭ[k]の生成には公知の機械学習技術が任意に採用される。公知技術としては、例えば、日本国特開２００６－１３９１８５号公報がある。日本国特開２００６－１３９１８５号公報の段落［００１１］に、認識モデルの生成に関連する技術が開示される。
　第２実施形態の各認識モデルＭ[k]は、歌詞解析部３２が対象楽曲の歌詞から特定した複数の語句Ｗに応じて属性ａ[k]の推定指標Ｙ[k]を算定するための統計モデルである。任意の１個の認識モデルＭ[k]で算定される推定指標Ｙ[k]は、対象楽曲が属性ａ[k]に該当する確度（尤度）の指標である。すなわち、対象楽曲の複数の語句Ｗが、認識モデルＭ[k]で表現される傾向（属性ａ[k]の楽曲の歌詞に使用される語句Ｗの傾向）に合致する度合が高いほど推定指標Ｙ[k]は大きい数値に設定される。すなわち、推定指標（尤度）Ｙ[k]は、属性ａ[k]に対する語句Ｗの親和度としても観念される。
　図１０は、第２実施形態の属性推定部３４が対象楽曲の属性Ａを推定する属性推定処理のフローチャートである。属性推定処理を開始すると、属性推定部３４は、歌詞解析部３２が特定した複数の語句ＷをＫ個の認識モデルＭ[1]～Ｍ[K]の各々に適用することで、相異なる属性ａ[k]に対応するＫ個の推定指標Ｙ[1]～Ｙ[K]を算定する（ＳC1）。前述の通り、対象楽曲の歌詞に使用される複数の語句Ｗが認識モデルＭ[k]の傾向に合致する度合が高い（歌詞に使用される語句の傾向の観点から対象楽曲が属性ａ[k]に該当する確度が高い）ほど、推定指標Ｙ[k]は大きい数値に設定される。
　属性推定部３４は、Ｋ個の推定指標Ｙ[1]～Ｙ[K]に応じて対象楽曲の属性Ａを推定する（ＳC2）。具体的には、第２実施形態の属性推定部３４は、Ｋ個の属性ａ[1]～ａ[K]のうち推定指標Ｙ[k]が最大となる１個の属性ａ[k]を対象楽曲の属性Ａとして確定する。以上が第２実施形態における属性推定処理の具体例である。歌唱評価部２４による歌唱評価処理の内容は第１実施形態と同様である。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、各属性ａ[k]の楽曲の歌詞に使用される語句の傾向を表す属性ａ[k]毎の認識モデルＭ[k]を利用して対象楽曲の属性Ａが推定されるから、属性ａ[k]の多数の楽曲の歌詞に使用される語句Ｗの実際の傾向を反映した属性Ａの適切な推定を実現することが可能である。
＜第３実施形態＞
　図１１は、第３実施形態における歌唱評価装置１００の動作の説明図である。図１１に例示される通り、属性推定部３４は、対象楽曲を区分した複数の解析区間Ｐ（（図１１の例示では解析区間Ｐ1～Ｐ4の計４個）の各々について属性Ａを個別に推定する。具体的には、属性推定部３４は、任意の１個の解析区間Ｐ内の歌詞から歌詞解析部３２が特定した各語句Ｗを属性推定処理に適用することで当該解析区間の属性Ａを推定する。属性Ａの推定には第１実施形態または第２実施形態と同様の方法が採用され得る。
　解析区間Ｐは、例えば間奏を境界として対象楽曲を時間軸上で区分した各区間（楽曲の１番，２番等）である。図１１では、対象楽曲の解析区間Ｐ1について「ウキウキ」という属性Ａが推定され、解析区間Ｐ2について「別れ」という属性Ａが推定され、解析区間Ｐ3について「とまどい」という属性Ａが推定され、解析区間Ｐ4について「悲しい」という属性Ａが推定された場合が例示されている。以上の通り、第３実施形態では解析区間Ｐ毎に属性Ａが推定されるから、歌唱音声Ｖの評価方法は属性Ａの推定結果に応じて解析区間Ｐ毎に変化し得る。
　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、解析区間Ｐ毎に属性Ａが推定されるから、楽曲内における曲調や題材の経時的な変化を適切に反映した属性Ａを推定することが可能である。
＜第４実施形態＞
　第４実施形態の属性推定部３４は、対象楽曲の演奏テンポに応じて対象楽曲の属性Ａを推定する。具体的には、属性推定部３４は、対象楽曲の属性Ａとして選択し得る属性ａ[k]の範囲（属性Ａの候補の範囲）を演奏テンポに応じて可変に制御する。
　例えば、「悲しい」「別れ」等の否定的（消極的）な属性Ａの楽曲は演奏テンポが比較的に遅いという傾向がある。属性推定部３４は、対象楽曲の演奏テンポの高低を判定し、図１２に例示される通り、演奏テンポが低い場合には否定的な属性ａ[k]を含むＫ個の属性ａ[1]～ａ[K]から属性Ａを選択する一方、演奏テンポが高い場合には否定的な属性ａ[k]を選択対象から除外する。すなわち、演奏テンポが高い対象楽曲については否定的な属性ａ[k]は属性Ａとして選択されない。
　第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態では、対象楽曲の歌詞の各語句Ｗに加えて対象楽曲の演奏テンポが対象楽曲の属性Ａの推定に加味されるから、例えば各語句Ｗのみを属性Ａの推定に利用する構成と比較して対象楽曲の属性Ａを高精度に推定できるという利点がある。
＜変形例＞
　以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は適宜に併合され得る。
（１）前述の各形態では、Ｋ個の属性ａ[1]～ａ[K]のうち推定指標（Ｘ[k]，Ｙ[k]）に応じた１個の属性ａ[k]を対象楽曲の属性Ａとして選択したが、複数の属性ａ[k]の組合せを対象楽曲の属性Ａとして推定することも可能である。例えば、推定指標Ｘ[k]または推定指標Ｙ[k]の降順で上位に位置する所定個の属性ａ[k]の組合せを対象楽曲の属性Ａとして選択する構成や、推定指標Ｘ[k]または推定指標Ｙ[k]が所定の閾値を上回る１個以上の属性ａ[k]を対象楽曲の属性Ａとして選択する構成が採用される。
　以上の例示のように複数の属性ａ[k]を選択する構成では、複数の属性ａ[k]に応じて歌唱評価部２４による歌唱評価処理が実行される。例えば、属性ａ[k1]と属性ａ[k2]と属性ａ[k3]との計３個の組合せが対象楽曲の属性Ａとして推定された場合を想定すると、歌唱評価部２４は、属性ａ[k1]に対応する加重値ｗ[n]と属性ａ[k2]に対応する加重値ｗ[n]と属性ａ[k3]に対応する加重値ｗ[n]との平均値または加算値を各基礎値ｓ[n]の確定的な加重値ｗ[n]として評価指標Ｓを算定する。
（２）前述の各形態では、評価指標Ｓの算定（各基礎値ｓ[n]の加重和）に適用される各加重値ｗ[n]を対象楽曲の属性Ａに応じて変化させたが、歌唱の評価方法を対象楽曲の属性Ａに応じて変化させるための構成は以上の例示に限定されない。例えば、相異なる複数種の評価方法（歌唱評価処理）のうち対象楽曲の属性Ａに応じた評価方法を採択して評価指標Ｓを算定する構成や、評価項目毎の基礎値ｓ[n]の算定に適用される変数を対象楽曲の属性Ａに応じて可変に設定する構成、Ｎ個の基礎値ｓ[n]のうち評価指標Ｓの算定に適用される基礎値ｓ[n]の組合せ（すなわち歌唱評価に加味される評価項目）を対象楽曲の属性Ａに応じて変化させる構成も採用され得る。
（３）前述の各形態では、楽曲解析部２２が推定した属性Ａを歌唱評価処理に適用する構成を例示したが、対象楽曲について推定された属性Ａの利用方法は以上の例示に限定されない。具体的には、以下の各態様が好適に採用される。
［Ａ］演算処理装置１２は、対象楽曲の歌唱時に表示装置１８に表示される画像（ＢＧＶ）を、対象楽曲の属性Ａに応じて選択する。例えば、対象楽曲について「悲しい」という属性Ａが推定された場合には悲しい印象のＢＧＶが選択および表示される。また、表示装置１８に表示されるＢＧＶ（動画像）を楽曲内の各時点で複数の候補から順次に選択する構成では、各時点での選択対象を対象楽曲の属性Ａに応じて制御することも可能である。各利用者が所有する携帯電話機やスマートフォン等の端末装置に表示される画像を属性Ａに応じて制御する構成も採用され得る。
［Ｂ］演算処理装置１２（歌唱評価部２４）は、対象楽曲の属性Ａに応じたコメント（評価コメントや指導コメント）を表示装置１８に表示させる。例えば、対象楽曲の歌唱の評価結果に関連する評価コメントを利用者に提示する構成が好適である。具体的には、歌唱評価部２４は、事前に用意された複数の候補から属性Ａに応じて選択した評価コメントを評価指標Ｓとともに利用者に提示する。例えば、評価指標Ｓが所定値を上回り、かつ、対象楽曲について「渋い」という属性Ａが推定された場合には、「渋い曲もいいね！」といった評価コメントが評価指標Ｓとともに表示装置１８に表示される。
　また、対象楽曲の歌唱の指導に関連する指導コメントを利用者に提示する構成も採用される。具体的には、前述の評価コメントの提示と同様に、歌唱評価部２４は、事前に用意された複数の候補から属性Ａに応じて選択した評価コメントを評価指標Ｓとともに利用者に提示する。例えば、評価指標Ｓが所定値を下回り、かつ、対象楽曲について「切ない」や「悲しい」等の属性Ａ（音程等の他の要素と比較して抑揚に特に注意して歌唱すべき感情的な楽曲の属性）が推定された場合には「抑揚に注意しながら感情を込めて歌いましょう」といった指導コメントが評価指標Ｓとともに表示装置１８に表示される。
［Ｃ］演算処理装置１２（歌唱評価部２４）は、歌唱評価装置１００ともに音響空間に設置される各種の照明機器（例えば各種の視覚効果を実現するミラーボールやレーザー等を含む光による演出用の機器）の動作を属性Ａに応じて制御することも可能である。例えば、「切ない」という属性Ａが推定された場合には暖色系（赤色等）の照明光を出射し、「さわやか」という属性Ａが推定された場合には寒色系（青色等）の照明光を出射し、「激しい」という属性Ａが推定された場合には照明光の明度や色相を変動させる。
（４）第４実施形態では、演奏テンポに応じて対象楽曲の属性Ａを推定したが、属性Ａの推定に加味される音楽情報（音楽的な要素）は演奏テンポに限定されない。例えば、対象楽曲の演奏パート構成（楽器の組合せ）やリズムパターン，曲調，楽曲長，楽曲構成等の音楽情報を属性Ａの推定に加味することも可能である。
（５）前述の各形態では、楽曲解析部２２が推定した属性Ａを歌唱評価処理に適用する歌唱評価装置１００を例示したが、対象楽曲の属性Ａを推定する楽曲解析装置としても本発明は実現され得る。楽曲解析装置は、前述の各形態で例示した楽曲解析部２２（歌詞解析部３２，属性推定部３４）を具備する情報処理装置である。前述の各形態の歌唱評価装置１００は、楽曲解析装置に歌唱評価部２４を付加した構成に相当する。
　以上の各態様に係る楽曲解析装置は、楽曲の属性の解析に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明の好適な態様に係るプログラムは、楽曲の歌詞に包含される語句を特定する歌詞解析部、および、歌詞解析部が特定した語句から楽曲の属性を推定する属性推定部としてコンピュータを機能させる。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
　また、以上に例示した各態様に係る楽曲解析装置の動作方法（楽曲解析方法）としても本発明は特定される。本発明の好適な態様に係る楽曲解析方法は、楽曲の歌詞に包含される語句を特定する歌詞解析過程と、歌詞解析過程で特定した語句から楽曲の属性を推定する属性推定過程とを包含する。
　本出願は、２０１４年２月３日出願の日本特許出願（特願２０１４－０１８５１８）に基づくものであり、その内容はここに参照として取り込まれる。
　本発明によれば、楽曲毎に属性を指定する情報を必要とせずに楽曲の属性を推定することが可能である。
１００……歌唱評価装置、１２……演算処理装置、１４……記憶装置、１６……収音装置、１８……表示装置、２２……楽曲解析部、２４……歌唱評価部、３２……歌詞解析部、３４……属性推定部。 

Claims (8)

  1. 　楽曲の歌詞に包含される語句を特定する歌詞解析部と、
    　複数の属性の各々に対する親和度を語句毎に指定する参照情報を利用して、前記歌詞解析部が特定した語句から前記楽曲の属性を推定する属性推定部と
    　を具備する楽曲解析装置。
  2. 　楽曲の歌詞に包含される語句を特定する歌詞解析部と、
    　各属性の楽曲の歌詞に使用される語句の傾向を表す属性毎の認識モデルを利用して、前記歌詞解析部が特定した語句から前記楽曲の属性を推定する属性推定部と
    　を具備する楽曲解析装置。
  3. 　前記属性推定部は、前記楽曲を区分した複数の解析区間の各々について、当該解析区間内の歌詞から前記歌詞解析部が特定した各語句に応じて属性を推定する
    　請求項１又は請求項２の楽曲解析装置。
  4. 　請求項１又は請求項２の楽曲解析装置と、
    　前記属性推定部が推定した属性に応じた評価方法で歌唱音声を評価する歌唱評価部と
    　を具備する歌唱評価装置。
  5. 　請求項１又は請求項２の楽曲解析装置と、
    　歌唱音声を評価した結果と前記属性推定部が推定した属性とに応じたコメントを表示装置に表示させる歌唱評価部と
    　を具備する歌唱評価装置。
  6. 　請求項１又は請求項２の楽曲解析装置と、
    　前記属性推定部が推定した属性に応じて照明機器の動作または表示装置による表示画像を制御する制御部と
    　を具備する歌唱評価装置。 
  7. 　楽曲の歌詞に包含される語句を特定し、
    　複数の属性の各々に対する親和度を語句毎に指定する参照情報を利用して、特定した語句から前記楽曲の属性を推定する
    　楽曲解析方法。
  8. 　楽曲の歌詞に包含される語句を特定し、
    　各属性の楽曲の歌詞に使用される語句の傾向を表す属性毎の認識モデルを利用して、特定した語句から前記楽曲の属性を推定する
    　楽曲解析方法。
PCT/JP2015/053016 2014-02-03 2015-02-03 楽曲解析装置および歌唱評価装置 Ceased WO2015115666A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-018518 2014-02-03
JP2014018518A JP2015145955A (ja) 2014-02-03 2014-02-03 楽曲解析装置および歌唱評価装置

Publications (1)

Publication Number Publication Date
WO2015115666A1 true WO2015115666A1 (ja) 2015-08-06

Family

ID=53757231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053016 Ceased WO2015115666A1 (ja) 2014-02-03 2015-02-03 楽曲解析装置および歌唱評価装置

Country Status (2)

Country Link
JP (1) JP2015145955A (ja)
WO (1) WO2015115666A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731947A (zh) * 2022-11-14 2023-03-03 腾讯音乐娱乐科技（深圳）有限公司 一种音乐对象的评估方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630472A (zh) * 2020-12-10 2022-06-14 逸驾智能科技有限公司 灯光控制方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190394A (ja) * 1995-01-09 1996-07-23 Taito Corp カラオケ装置に曲内容に連動したグラフィックを表示する方法とその装置
JPH09212480A (ja) * 1996-01-31 1997-08-15 Yamaha Corp 雰囲気情報生成装置およびカラオケ装置
JPH11327551A (ja) * 1998-05-15 1999-11-26 Nippon Telegr & Teleph Corp <Ntt> 楽曲の編曲スタイル決定方法及び装置及び楽曲の編曲スタイル決定プログラムを格納した記憶媒体
JP2007200495A (ja) * 2006-01-27 2007-08-09 Nec Corp 音楽再生装置、音楽再生方法及び音楽再生用プログラム
JP2009204870A (ja) * 2008-02-27 2009-09-10 Xing Inc カラオケ装置
JP2011095437A (ja) * 2009-10-29 2011-05-12 Daiichikosho Co Ltd カラオケ採点システム
JP2012058278A (ja) * 2010-09-03 2012-03-22 Yamaha Corp 音声評価装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026622A (ja) * 2006-07-21 2008-02-07 Yamaha Corp 評価装置
JP5772054B2 (ja) * 2011-02-23 2015-09-02 ヤマハ株式会社 歌唱評価装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190394A (ja) * 1995-01-09 1996-07-23 Taito Corp カラオケ装置に曲内容に連動したグラフィックを表示する方法とその装置
JPH09212480A (ja) * 1996-01-31 1997-08-15 Yamaha Corp 雰囲気情報生成装置およびカラオケ装置
JPH11327551A (ja) * 1998-05-15 1999-11-26 Nippon Telegr & Teleph Corp <Ntt> 楽曲の編曲スタイル決定方法及び装置及び楽曲の編曲スタイル決定プログラムを格納した記憶媒体
JP2007200495A (ja) * 2006-01-27 2007-08-09 Nec Corp 音楽再生装置、音楽再生方法及び音楽再生用プログラム
JP2009204870A (ja) * 2008-02-27 2009-09-10 Xing Inc カラオケ装置
JP2011095437A (ja) * 2009-10-29 2011-05-12 Daiichikosho Co Ltd カラオケ採点システム
JP2012058278A (ja) * 2010-09-03 2012-03-22 Yamaha Corp 音声評価装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GO KIKUCHI: "A Study on Scene Presumption of Music based on Lyrics using PMM", PROCEEDINGS OF THE 2011 IEICE GENERAL CONFERENCE JOHO SYSTEM 1, 28 February 2011 (2011-02-28), pages 26 *
NAOKI NISHIKAWA: "Musical Mood Trajectory Estimation using Lyrics and Audio Features", DAI 73 KAI (HEISEI 23 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (2) JINKO CHINO TO NINCHI KAGAKU, 2 March 2011 (2011-03-02), pages 2 - 297, 2-298, XP055217654 *
SHUHEI HIROTA: "Kashi karano Ongakuteki Yoso no Chushutsu", PROCEEDINGS OF THE ELEVENTH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 15 March 2005 (2005-03-15), pages 799 - 802 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731947A (zh) * 2022-11-14 2023-03-03 腾讯音乐娱乐科技（深圳）有限公司 一种音乐对象的评估方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2015145955A (ja) 2015-08-13

Similar Documents

Publication Publication Date Title
EP3631789A1 (en) System and method for automatically generating musical output
CN107146497A (zh) 一种钢琴考级评分系统
CN102880693A (zh) 一种基于个体发声能力的音乐推荐方法
CN108986843A (zh) 音频数据处理方法及装置、介质和计算设备
JP2017058441A (ja) 評価装置およびプログラム
KR100895009B1 (ko) 음악추천 시스템 및 그 방법
CN101930732A (zh) 基于用户输入语音的乐曲生成方法及装置、智能终端
JP2008026622A (ja) 評価装置
Huang et al. Research on music emotion intelligent recognition and classification algorithm in music performance system
WO2015115666A1 (ja) 楽曲解析装置および歌唱評価装置
JP2014041319A (ja) 音楽表現力の教育装置及び方法並びに音楽演奏評価装置
JP2015172736A (ja) 音声解析装置
JP2015191194A (ja) 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム
WO2014142200A1 (ja) 音声処理装置
CN110134823B (zh) 基于归一化音符显马尔可夫模型的midi音乐流派分类方法
JP5830840B2 (ja) 音声評価装置
JP2016180965A (ja) 評価装置およびプログラム
JP5618743B2 (ja) 歌唱音声評価装置
JP2015194767A (ja) 音声評価装置
JP6135229B2 (ja) 歌唱評価装置
JP6954780B2 (ja) カラオケ装置
JP2015191188A (ja) 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム
Yang Structure analysis of beijing opera arias
Liu et al. Emotion Recognition of Violin Music based on Strings Music Theory for Mascot Robot System.
JP2015191183A (ja) 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15742795

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15742795

Country of ref document: EP

Kind code of ref document: A1