WO2014030188A1 - コンテンツ再生方法、コンテンツ再生装置およびプログラム - Google Patents

コンテンツ再生方法、コンテンツ再生装置およびプログラム Download PDF

Info

Publication number
WO2014030188A1
WO2014030188A1 PCT/JP2012/005278 JP2012005278W WO2014030188A1 WO 2014030188 A1 WO2014030188 A1 WO 2014030188A1 JP 2012005278 W JP2012005278 W JP 2012005278W WO 2014030188 A1 WO2014030188 A1 WO 2014030188A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
emotion value
music
integrated
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/005278
Other languages
English (en)
French (fr)
Inventor
岩村　宏
洋一 奥山
誠 松丸
一智 渡部
聡 大橋
田中　淳一
高弘 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to PCT/JP2012/005278 priority Critical patent/WO2014030188A1/ja
Priority to JP2014531390A priority patent/JP5980931B2/ja
Publication of WO2014030188A1 publication Critical patent/WO2014030188A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571—Chords; Chord sequences
    • G10H2210/576—Chord progression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set

Definitions

  • the present invention relates to a content reproduction method, a content reproduction apparatus, and a program for reproducing content in consideration of user's emotion.
  • an emotion imparting system that imparts emotions to music (content) by changing musical characteristics such as tempo and sound pressure level by signal processing (for example, non-patent literature). 1).
  • an emotion detection device that detects a user's emotion based on user voice input from a microphone (for example, Patent Document 1). When these are combined, it can be assumed that the user's emotion is detected and the detection result is reflected in the music reproduction (musical characteristics are changed by signal processing). For example, when it is detected that the user's mood is elevated, it is conceivable that the user's emotion is given to the music by increasing the tempo of the music or increasing the sound pressure level.
  • the user's needs when viewing music are not necessarily just playing music according to the user's emotions. For example, if it detects that the user's mood is uplifting, it does not increase the tempo of the song or increase the sound pressure level, but instead slows down the tempo of the song or lowers the sound pressure level. By doing so, there may be a need to calm down.
  • no technology has been proposed for reflecting emotions such as “I want to be like this” or “I want to do this” in content playback.
  • a technology for easily setting (inputting) emotions such as “I want to be like this” and “I want to do this” and a technology for outputting the emotion values as objective information such as quantifying the emotion values have not been proposed yet.
  • the present invention can reflect emotions such as “I want to be this” and “I want to do this” in the reproduction of the content, and can easily set the emotions and provide objective information. It is an object of the present invention to provide a content reproduction method, a content reproduction device, and a program that can be output as a program.
  • the content reproduction method of the present invention includes a unique emotion value calculating step for calculating a specific emotion value specified as a specific emotion value for each content based on a feature amount for each content, and a relative adjustment for adjusting the emotion value.
  • the content reproduction apparatus includes a unique emotion value calculating means for calculating a specific emotion value specified as a specific emotion value for each content based on a feature amount for each content, and a relative adjustment for adjusting the emotion value.
  • An input means for inputting a quantity for inputting a quantity
  • a playback means for editing and reproducing the content in accordance with the input of the input means
  • an integrated emotion value output means for outputting an integrated emotion value in which the specific emotion value is adjusted according to the relative adjustment amount And.
  • the content is edited and reproduced in accordance with the input of the relative adjustment amount, so that the user can reflect emotions such as “I want to be this” and “I want to do this” in the reproduction of the content.
  • emotion setting can be easily performed. That is, the user only needs to adjust the playback state of the content to match the emotion he desires, and as a result, emotion setting (input of relative adjustment amount) can be easily performed.
  • the unique emotion value is adjusted according to the input relative adjustment amount and the integrated emotion value is output, the user can objectively grasp the emotion he / she desires with numerical values or the like.
  • Content refers to various data and expression methods such as music (music) data, photo data, video data, text (text) data, and the like.
  • feature amount for each content refers to, for example, tempo (BPM (Beats Per Minute)), sound pressure level, chord progression, beat position, and bar position when the content is music data.
  • tempo BPM (Beats Per Minute)
  • sound pressure level sound pressure level
  • chord progression chord progression
  • beat position bar position
  • bar position when the content is music data.
  • the output form of the “integrated emotion value” may be output as a character, video (image), or sound in addition to the numerical value.
  • the output means may be display output, audio output, communication, and the like.
  • an external information acquisition step of acquiring external information that is environment information and / or biological information is further executed, and the playback step edits and integrates the content according to the relative adjustment amount and the external information.
  • the emotion value output step is characterized by outputting an integrated emotion value in which the unique emotion value is adjusted according to the relative adjustment amount and the external information.
  • “Environmental information” refers to temperature, illuminance, acceleration, GPS (Global Positioning System) information, weather, and the like.
  • “Environmental information” refers to temperature, illuminance, acceleration, GPS (Global Positioning System) information, weather, and the like.
  • acquisition method measurement / detection by a content reproduction apparatus, acquisition from a Web server via the Internet, acquisition from an information providing server via e-mail, or the like can be considered.
  • “biological information” refers to an electroencephalogram, a heartbeat, a pulse, a body temperature, and the like.
  • the reproduction step is characterized by adjusting the feature amount and / or adding / suppressing information to the content as content editing.
  • the content reproduction step is characterized by adjusting the feature amount of the music data and / or adding / suppressing an audio signal to the music data.
  • the reproduction step is characterized by adjusting at least the tempo and the sound pressure level as adjustment of the feature amount of the music data.
  • the reproduction step is characterized in that at least accompaniment data is added / suppressed as addition / suppression of an audio signal to music data.
  • the user performs a tone control by adjusting the feature amount (tempo, sound pressure level, etc.) and / or adding / suppressing an audio signal (accompaniment data, etc.) to the music data, and the user requests it. Emotions can be effectively reflected in music data.
  • a pattern storing step for storing a preset pattern for each instrument to be used as accompaniment data and a mix level adjustment pattern for each instrument is further executed, and the reproduction step refers to the mix level adjustment pattern, Accompaniment data is added / suppressed by changing the output sound pressure level of the instrument-specific accompaniment data generated from the preset pattern in accordance with the relative adjustment amount and external information.
  • the unique emotion value and the integrated emotion value are numerical values of a sense of relaxation or activity
  • the input step is to input a relative adjustment amount between the degree of relaxation and the degree of activity.
  • the content to be played next is edited and played back by the difference between the unique emotion value of the content and the adjusted integrated emotion value. It is characterized by doing.
  • the “predetermined order” may be an order according to a playlist or an order according to random reproduction. Alternatively, the order may be in accordance with content feature amounts such as tempo, sound pressure level, and title.
  • the reproduction step selects the content to be reproduced next in accordance with the adjusted integrated emotion value, and reproduces the selected content.
  • the program of the present invention causes a computer to execute each step in the content reproduction method.
  • the user can reflect emotions such as “I want to be like this” and “I want to do this” in the playback of the content, and the emotion can be easily set and output as objective information.
  • a content reproduction method can be realized.
  • the state of the content is changed based on the user operation with respect to the unique emotion value represented by the absolute value calculated based on the analysis result of the content, and the user's “ The emotion of “I want to be like this” or “I want to do this” is quantified as an integrated emotion value, and this is output.
  • “music data” is illustrated as an example of content. Further, the case where an “feeling value” represents an active feeling or a relaxed feeling will be exemplified.
  • FIG. 1 is a block diagram showing the configuration of the content reproduction apparatus 1 according to the first embodiment.
  • the content reproduction apparatus 1 includes a music tone controller 11, a content analysis unit 13, a content adjustment / reproduction unit 14, and an integrated emotion value output unit 15.
  • a media player, a music player with a network function, or the like can be applied.
  • the music tone controller 11 inputs a relative adjustment amount between the maximum degree of relaxation and the maximum degree of activity (input step). That is, the user can change the music tone of the music data by operating the music tone controller 11 so as to match the feeling (relaxed feeling or active feeling) desired by the user.
  • an operator rotary encoder, button, etc.
  • a rotary encoder when a rotary encoder is used as the music tone controller 11, specifications such as gradually increasing the degree of relaxation by turning the controller to the left and gradually increasing the degree of activity by turning to the right can be considered.
  • the content analysis unit 13 analyzes music data and extracts music feature quantities. Further, based on the extracted music feature amount, a unique emotion value that is an emotion value unique to the song data (an absolute value indicating a feeling of relaxation or an active feeling) is calculated (inherent emotion value calculating step). Details will be described later with reference to FIG.
  • music data refers to audio data provided by optical disc or music distribution.
  • the “musical feature amount” refers to tempo (BPM), sound pressure level, chord progression, beat position (beat position time information), measure position (measure position time information), and the like.
  • BPM tempo
  • sound pressure level tempo
  • chord progression beat position
  • measure position measure position
  • the unique emotion value calculation process described later requires at least information on the tempo (BPM) and the sound pressure level.
  • tone control described later information on at least chord progression, beat position, and bar position is required.
  • the music analysis data may be acquired from the MIDI data when the music data is, for example, MIDI (Musical Instrument Digital Interface) data.
  • the music analysis data may be obtained based on information obtained by tapping the user according to the music.
  • Manual input data such as setting the tempo of a song may be used.
  • data that has been analyzed in advance is stored in the internal database of the content playback device 1 or in an external device or Web server that is accessible from the content playback device 1, and the data is acquired by matching with the music ID or the like. May be.
  • the content adjustment / playback unit 14 edits the music data (musical tone control) according to the operation (input relative adjustment amount) of the music tone controller 11, and plays back the music data after editing (playback step).
  • editing of the music data adjustment of the music feature amount and addition / suppression of accompaniment data (audio signal) to the music data are performed. Details will be described later with reference to FIGS.
  • the integrated emotion value output unit 15 calculates an integrated emotion value by adjusting the unique emotion value of the music data analyzed by the content analysis unit 13 according to the operation of the music tone controller 11, and outputs this (integrated) Emotion value output step). Specifically, an adjustment emotion value for changing the content state is calculated according to the relative adjustment amount input from the music tone controller 11, and this is added to the unique emotion value to calculate an integrated emotion value.
  • the “integrated emotion value” is an absolute value, but in addition to the numerical value, it may be output in an output form such as a character, video (image), or audio.
  • an output form such as a character, video (image), or audio.
  • the output means may be display output, audio output, communication (including wired / wireless network communication, electronic mail, etc.), and the like.
  • the “integrated emotion value” is represented by “0 to 100 (0: relaxed feeling MAX, 100: active feeling MAX)”.
  • FIG. 2 is a detailed configuration diagram of the content analysis unit 13.
  • the content analysis unit 13 includes an average sound pressure level detector 31, a BPM detector 32, a BPM normalization unit 33, a weighting unit 34, and an addition unit 35.
  • the average sound pressure level detector 31 includes a band filter group 31a, a weighting unit 31b, and an adding unit 31c.
  • the band filter group 31 a includes a band pass filter 37 for each frequency band and an average / normalization circuit 38. That is, the band filter group 31a obtains the sound pressure level as a normalized value of “1” to “0” with the rhythm intensity for each frequency band.
  • the frequency band is divided into the three frequency bands of the low band, the middle band, and the high band is illustrated, but the band division position and the number of divisions can be changed as appropriate.
  • the weighting unit 31b gives weights set for each frequency band.
  • the weighting of the low range is increased with respect to the mid range and the high range.
  • the adding unit 31c adds the weighted values (the average sound pressure level is represented by 0 to 1).
  • the sound pressure level in the low range is high, the rhythm is intense and the sense of activity is often felt. Therefore, the sound pressure level is obtained for each frequency band, and the weighted average is taken to obtain a more appropriate sense of activity. It can be calculated.
  • the BPM detector 32 detects the BPM of the music data.
  • the average BPM of the music data may be detected as the BPM, or the maximum BPM or the minimum BPM may be detected.
  • the BPM normalization unit 33 normalizes the BPMs 60 to 240 to 0 to 1 according to a predetermined conversion algorithm.
  • the threshold value for setting BPM to “0” or “1” (“60” and “240” in the example in the figure) can be changed as appropriate.
  • the weighting unit 34 weights the average sound pressure level detected by the average sound pressure level detector 31 and the value after normalization by the BPM normalization unit 33 so that the sum is “1”. In this embodiment, the weight of the BPM detection result is set larger than the average sound pressure level detection result.
  • the adder 35 adds the values after weighting by the weighting unit 34 (the unique emotion value is represented by 0 to 1).
  • a relational expression may be obtained and calculated using the relational expression.
  • the unique emotion value may be calculated in consideration of music feature quantities (genre, key (key), musical instrument organization, etc.) other than BPM and sound pressure level.
  • FIG. 3 is a detailed configuration diagram of the content adjustment / playback unit 14.
  • the content adjustment / playback unit 14 includes an additional sound generation unit 41, an additional sound adjustment unit 42, an accompaniment suppression unit 43, and an additional sound synthesis unit 44.
  • chord progression is information (hereinafter referred to as “chord progression information”) that indicates a chord at each elapsed time from the beginning of the music. Corresponds to a chord mark. As long as the chords at each time are known, the format of “chord progression” is not limited to this. For example, chord and chord change point time information or chord information for each beat may be used. “Cord” is a general chord in music terms, and indicates a chord name such as A, C # m7, E7, for example. As shown in FIG.
  • the constituent sounds are A, C #, and E.
  • accompaniment suitable for the music can be realized.
  • the “beat position” refers to the time at each beat position from the music start time.
  • bar position refers to the time at each bar head position from the beginning of the music.
  • the additional sound generation unit 41 includes a preset pattern storage unit 41a, an additional sound pattern generation unit 41b, a sound source data storage unit 41c, an instrument-specific tone selection unit 41d, and an instrument-specific accompaniment data generation unit 41e.
  • the preset pattern storage unit 41a stores preset patterns as shown in FIG. 4C for each instrument (for each part) and for each tune (for example, for active adjustment and for relaxation adjustment) (pattern storage step).
  • the “preset pattern” includes sound generation time information, sound generation time information, and relative pitch information indicating how many sounds in the chord are to be generated.
  • volume (sound pressure level) information of each sound may be included.
  • the additional sound pattern generation unit 41b compares the information on the chord progression, beat position and measure position acquired from the content analysis unit 13 with the preset pattern, and generates an additional sound pattern suitable for each part of the music. For example, FIG. 4D automatically generates an additional sound pattern for two bars from the preset pattern for one bar shown in FIG. 4C according to the chord progression information shown in FIG. Results are shown. As described above, even if the preset pattern is only one bar, an additional sound pattern having a variation for one song can be generated by combining with the chord progression information.
  • the sound source data storage unit 41c stores timbres for each instrument as sound source data.
  • the instrument-specific timbre selection unit 41d selects a timbre for each instrument. Tone selection for each instrument may be determined in advance by organizing the instrument, or automatically selected according to the tune genre (key) obtained from song analysis and song tag information obtained from song tag information You may do it. Alternatively, several instrument organization patterns may be prepared so that the user can select them. For example, if the genre of the song is rock, use a composition such as a rock drum set and electric bass or electric guitar. If the genre is jazz, use a composition such as a jazz drum set and wood bass or a clear tone electric guitar. , Etc. can be considered. Further, instead of matching with the genre of the original music, a musical instrument organization corresponding to the music tone to be changed (relative adjustment amount input by the music tone controller 11) may be used.
  • the musical instrument accompaniment data generation unit 41e reads the timbre selected by the musical instrument by the musical instrument selection unit 41d from the sound source data storage unit 41c, and according to the additional sound pattern generated by the additional sound pattern generation unit 41b, For accompaniment data. That is, the additional sound pattern generation unit 41b generates data corresponding to the performance score of each instrument, and the instrument-specific accompaniment data generation unit 41e generates accompaniment data for actually playing each instrument according to the score.
  • the additional sound adjusting unit 42 includes a volume / sound quality adjusting unit 42a for each instrument.
  • the volume / sound quality adjustment unit 42a for each musical instrument adjusts the volume and sound quality so that it can be heard naturally after synthesizing the additional sound according to the volume of the original music.
  • the volume and sound quality of each musical instrument may be adjusted in advance by musical instrument organization. For example, it is conceivable to adjust the peak level of each instrument, or to adjust the average volume level of each instrument.
  • equalizing control such as boost / attenuating by changing the center frequency of each instrument may be performed so that the sound of each instrument is not buried in the whole.
  • the original music and the accompaniment may be divided into a plurality of frequency bands from low to high, and the above equalizing control may be performed in each divided band. Further, since it is common for the volume to vary depending on the intro, rust, and ending portions of the music, the above equalizing control may be dynamically performed in the music.
  • the accompaniment suppression unit 43 suppresses the accompaniment volume according to the relative adjustment amount input by the music tone controller 11. For example, when the relative adjustment amount increases the degree of relaxation, the melody component is extracted from the original music and the other accompaniment components are suppressed.
  • the additional sound synthesis unit 44 includes a mix level adjustment pattern storage unit 44a, a mix balance control unit 44b, and a tempo control unit 44c.
  • the mix level adjustment pattern storage unit 44a stores a mix level adjustment pattern in which the mix level (output sound pressure level) changes according to the relative adjustment amount for each instrument (pattern storage step). As shown in FIGS. 8 and 10, the mix level adjustment pattern is a graph in which the horizontal axis is the relative adjustment amount and the vertical axis is the mix level.
  • the mix balance control unit 44b controls the mix balance of the musical accompaniment data described later with respect to the original music in accordance with the relative adjustment amount input by the music tone controller 11. In this case, since a new sound is added to the original music, the sound volume level becomes too high and may be clipped. Therefore, the mix balance control unit 44b also adjusts the maximum level value so that the volume level does not clip after the accompaniment data is added. For example, as a simple method, a method of monitoring the peak level after accompaniment and attenuating the entire level so as not to clip can be considered. Further, a compressor or a limiter generally used when suppressing only the peak level may be used. Furthermore, since the volume is generally different depending on the intro, rust, and ending portions of the music, the above level attenuation control may be performed dynamically in the music.
  • the tempo control unit 44c decreases the tempo (BPM), for example, when the degree of relaxation is high, or increases the tempo when the degree of activity is high, according to the relative adjustment amount input by the music tone controller 11.
  • This tempo control may be performed for each of the original music and the accompaniment data, or may be performed after the additional sound synthesis.
  • the method is not particularly limited, for example, a phase vocoder that is well known as a method of changing the tempo without changing the pitch may be used.
  • the accompaniment suppression of the original music (music data) (S06), the adjustment of the mix balance of the original music and accompaniment data (S07) and the tempo control based on the mix level adjustment pattern for each instrument. (S08) is performed.
  • the tune control according to the operation of the tune controller 11 is performed.
  • accompaniment data of piano, brass, flute, 3 patterns of bass 1 to 3 and 2 patterns of drums 1 and 2 are generated for the original music.
  • the accompaniment data by instrument is based on, for example, a preset pattern shown in FIG. 6A for a piano, a preset pattern shown in FIG. 6B for a brass, and a preset pattern shown in FIG. 6C for a flute.
  • 7 shows the preset pattern shown in the first bar of FIG. 7A
  • the base 2 shows the preset pattern shown in the second bar of FIG.
  • the base 3 shows the preset pattern shown in the third bar of FIG. 7A.
  • the preset pattern shown in the first bar of FIG. 7 (b) for the drum 1 and the preset pattern shown in the third bar of FIG. 7 (b) for the drum 2 is generated according to the bar position. Further, sound source data for each instrument is selected in accordance with the musical instrument organization, and this is applied to the additional sound pattern, thereby generating accompaniment data for each instrument.
  • the mix balance control unit 44b controls the mix level according to the mix level adjustment pattern (active side) shown in FIG. That is, the mix level of the original music is made constant as shown in FIG. 9A, and the mix level of each accompaniment data is changed according to the relative adjustment amount as shown in FIGS. .
  • the mix level of each instrument may be changed in association with the volume change of the original song as well as the relative adjustment amount input by the song controller 11.
  • the volume for each frequency band of the original music may be obtained, and the volume for each band of the accompaniment data to be added may be controlled.
  • accompaniment data may be added after suppressing the rhythm component of the original song, such as cutting the low range of the original song or extracting and cutting the drum component.
  • accompaniment data of guitar and strings is generated for the original music.
  • the accompaniment data for each instrument uses, for example, the preset pattern shown in FIG. 9 (a) for the guitar and the preset pattern shown in FIG. 9 (b) for the strings, and the chord progression, beat position and bar position as described above.
  • an additional sound pattern is generated.
  • sound source data for each instrument is selected in accordance with the musical instrument organization, and this is applied to the additional sound pattern, thereby generating accompaniment data for each instrument.
  • the mix balance control unit 44b controls the mix level in accordance with the mix level adjustment pattern (relaxed side) shown in FIG. That is, the mix level of the original music is fixed as shown in FIG. 10A, and the mix level of each accompaniment data is changed according to the relative adjustment amount as shown in FIG. Moreover, the accompaniment suppression part 43 changes the suppression level of an accompaniment component according to a relative adjustment amount, as shown to the same figure (b).
  • the mix level of each instrument may be changed in association with not only the relative adjustment amount input by the tune controller 11 but also the volume change of the original tune.
  • the volume for each frequency band of the original music may be obtained, and the volume for each band of the accompaniment data to be added may be controlled.
  • the melody component when controlling to a relaxing tone, the melody component may be extracted from the original song and other accompaniment components may be suppressed.
  • a method for suppressing the accompaniment component for example, a center channel extraction method (a method for separating a melody component by utilizing the fact that the melody component is often localized at the center) may be used.
  • a center channel extraction method a method for separating a melody component by utilizing the fact that the melody component is often localized at the center
  • a low-frequency cut method may be used, but a general low-pass filter may be used to cut about 200 Hz.
  • a method for extracting the centrally located melody component a method of detecting the phase difference by converting the audio signal to the frequency axis by Fourier transform is used, so the low frequency side of this Fourier transform coefficient is suppressed. Also good. For example, when the sampling frequency of the audio signal is 44.1 kHz and the block length of the Fourier transform is 4096 samples, 1 bin of the Fourier transform coefficient corresponds to about 10 Hz band, so the coefficient of about 20 bin on the low frequency side Should be suppressed. By such control, the original music can be changed more smoothly and smoothly according to the operation of the music tone controller 11 or the like.
  • the two types of mix level adjustment patterns shown in FIGS. 8 and 10 may be associated with one axis of Relax to Center to Active. According to this configuration, the original music can be smoothly changed from a relaxed feeling to an active feeling by operating one music tone controller 11.
  • a mix level adjustment pattern shown in FIG. 11 may be used.
  • piano + brass + flute + bass 1 + drum 1 is MIX1
  • piano + brass + flute + bass 2 + drum 1 is MIX2
  • piano + brass + flute + bass 3 + drum 2 is MIX3
  • guitar + A collection of accompaniment data by instrument, such as strings MIX4 is generated as MIX additional sounds, and the mix level of each MIX additional sound is changed according to the operation of the tune controller 11 as shown in FIG. You may control.
  • MIX additional sound is automatically generated using music analysis, but a plurality of MIX additional sounds are prepared in advance, and the mix level of each MIX additional sound is controlled. Also good.
  • the tune control (content editing) of the music data is performed in accordance with the input of the relative adjustment amount by the tune controller 11, so that the user wants to do this.
  • Such feelings can be reflected in the reproduction of music data.
  • emotion setting can be easily performed. That is, the user only has to change the tune to match the emotion he / she desires, so that emotion setting (input of relative adjustment amount) can be easily performed.
  • the unique emotion value is adjusted according to the input relative adjustment amount and the integrated emotion value is output, the user can objectively grasp the emotion he / she desires.
  • music tone control music features (BPM, sound pressure level, etc.) are adjusted and / or accompaniment data is added / suppressed. It can be reflected in the data.
  • accompaniment data is added / suppressed by referring to the mix level adjustment pattern for each instrument and changing the output sound pressure level of the accompaniment data for each instrument according to the input relative adjustment amount. The music data can be edited more naturally and with a simple process.
  • the selection / reproduction of music data is not particularly mentioned.
  • the integrated emotion value is temporarily changed from “50” to “80” by the operation of the music tone controller 11 during the reproduction of “music data A”.
  • the “music data B” scheduled to be reproduced next on the playlist is also in a tune that matches the integrated emotion value “80” regardless of the unique emotion value of the “music data B”. You may replay it.
  • the tune control (content editing) of emotion value “20” integrated emotion value “80” ⁇ unique emotion value “60” is performed. I do. According to this configuration, it is possible to continue playing the music data while maintaining the emotion value desired by the user without changing the playback order.
  • music data to be reproduced next may be selected according to the adjusted integrated emotion value.
  • the music data DB has a specific emotion value close to “80” as the music data to be reproduced next. Select. Not only that the unique emotion value is close to the integrated emotion value, but also that the specific genre of the music being played is the same as the genre or the artist is the same, and other specific music features are similar, etc.
  • the music data to be played back may be selected. According to this configuration, the music data can be continuously reproduced while maintaining the emotion value desired by the user without editing the music data as much as possible.
  • music data that is separated from the adjusted integrated emotion value by a predetermined amount may be selected. According to this configuration, it is possible to continue playing music data while gradually changing the emotion value.
  • the music tone is changed by operating the music tone controller 11.
  • the music tone is also changed by external information acquired by the living body / environment sensor 12. Only differences from the first embodiment will be described below.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the modification applied about the component similar to 1st Embodiment is applied similarly about this embodiment.
  • FIG. 12 is a block diagram showing a configuration of the content reproduction apparatus 1 according to the second embodiment.
  • the content reproduction apparatus 1 of this embodiment adds a living body / environment sensor 12 and takes into account external information that is a detection result of the living body / environment sensor 12.
  • the music tone control and the adjustment / output of the integrated emotion value are performed.
  • the biological / environmental sensor 12 detects external information that is environmental information and / or biological information.
  • “Environmental information” refers to temperature, illuminance, acceleration, GPS (Global Positioning System) information, weather, and the like.
  • “biological information” refers to an electroencephalogram, a heartbeat, a pulse, a body temperature, and the like.
  • the content adjustment / playback unit 14 edits music data (musical tone control) in accordance with the operation of the music tone controller 11 and external information acquired by the living body / environment sensor 12, and after editing The music data is played back (playback step). That is, in consideration of the external information acquired by the living body / environment sensor 12, the accompaniment suppression of the original music (S06), the mix balance adjustment of the original music and accompaniment data (S07), and the tempo shown in the flowchart of FIG. Control (S08) is performed.
  • the music tone control for example, when an illuminance sensor is used as the living body / environment sensor 12, it is conceivable to detect that the illuminance of the room has dropped and to control the music tone to have a strong relaxation. Further, when a pulse sensor is used as the living body / environment sensor 12, it is conceivable to store the normal pulse of the user and control the music tone to have a relaxed feeling when measuring a pulse faster than normal. . These music tone controls have the effect of calming the user's feelings.
  • the integrated emotion value output unit 15 calculates an integrated emotion value by adjusting the unique emotion value unique to the music data according to the input relative adjustment amount and the acquired external information. This is output (integrated emotion value output step).
  • the adjustment amount of the unique emotion value based on the input relative adjustment amount and the acquired external information is hereinafter referred to as “adjustment emotion value”. That is, the integrated emotion value is calculated by adding the unique emotion value and the adjusted emotion value.
  • the horizontal axis of the mix level adjustment pattern shown in FIGS. 8 and 10 is represented by an adjustment emotion value.
  • the user can enjoy various music tone changes. Can do.
  • External information is not acquired by the biological / environmental sensor 12 mounted on the content reproduction apparatus 1, but may be acquired from a predetermined server via a network such as the Internet. good.
  • the result of measurement / detection by an external device may be acquired as external information.
  • FIGS. 1 a third embodiment of the present invention will be described with reference to FIGS.
  • the present embodiment is characterized in that emotion values are shared by transmitting the “integrated emotion value” to another content reproduction apparatus 1. Only differences from the second embodiment will be described below.
  • an emotion value for sharing is referred to as a “shared emotion value”.
  • the “shared emotion value” is also expressed as an absolute value, like the “unique emotion value” and the “integrated emotion value”.
  • FIG. 13 is a block diagram showing a configuration of the content reproduction apparatus 1 according to the third embodiment.
  • the content playback apparatus 1 of the present embodiment has a shared emotion value receiving unit 16, a shared emotion value transmitting unit 17, a list display unit 18, a share control unit 19, and The share request / acceptance unit 20 is added.
  • the shared emotion value receiving unit 16 receives a shared emotion value from another content playback device 1 (external device) via the network NT (shared emotion value receiving step). Further, the shared emotion value transmission unit 17 transmits the shared emotion value (the integrated emotion value at the time of transmission) to the other content reproduction device 1 (external device) via the network NT (shared emotion value transmission step). .
  • the integrated emotion value output unit 15 of the present embodiment in the state before receiving the shared emotion value, as in the second embodiment, the unique emotion value unique to the music data based on the music analysis result, the relative adjustment amount, and the external information
  • the total value with the adjusted emotion value based on is calculated as an integrated emotion value.
  • the integrated emotion value is set to the same value as the shared emotion value.
  • the relative adjustment amount and / or external information is input and / or acquired after receiving the shared emotion value
  • the received shared emotion value and the relative adjustment input and / or acquired after receiving the shared emotion value is calculated as an integrated emotion value.
  • the shared emotion value transmission unit 17 transmits the integrated emotion value at the time of transmission as a shared emotion value.
  • the content adjustment / playback unit 14 edits the music data (tune control) according to the difference between the integrated emotion value so far and the received shared emotion value. )I do. That is, the point that the music data is edited in conjunction with the integrated emotion value calculated (set at that time) by the integrated emotion value output unit 15 is the same as in each of the above embodiments.
  • the list display unit 18 displays a list of user names of other content playback devices 1 and integrated emotion values set in each content playback device 1. The user selects a user who wants to share the emotion value from the list. The list is displayed only when the user has authenticated the publication, and is not displayed unless the user has authenticated.
  • the share control unit 19 sets the public emotion value disclosure condition (of the content playback device 1) and determines whether or not to authenticate a public request from another user. Control according to the settings.
  • the share request / acceptance unit 20 includes, for example, a share request button and a share accept button, and requests and / or accepts sharing of emotion values with other content reproduction apparatuses 1 (share request / acceptance step). When the user issues a share request, the user presses a share request button, and when the user accepts an external share request, the user presses a share acceptance button.
  • the content reproduction system SY includes a plurality of content reproduction apparatuses 1 configured to be communicable.
  • a configuration in which “content playback apparatus A” and “content playback apparatus B” communicate 1: 1 is conceivable.
  • a user who operates “content reproduction apparatus A” is “user A”
  • a user who operates “content reproduction apparatus B” is “user B”.
  • “user A” has set a low emotional value
  • “user B” who knows this in the list display unit 18 himself (“content playback device B”) tries to cheer up “user A”.
  • the integrated emotion value is adjusted to a high value and transmitted to the “content reproduction apparatus A” as a shared emotion value.
  • “Content reproduction apparatus A” calculates the difference between the received shared emotion value and the current integrated emotion value, and adjusts the content state (musical tone) so as to be the same value.
  • “User A” can receive the shared emotion value as it is, but if “I don't feel like that right now”, adjust the integrated emotion value of myself (“Contents playback device A”) again to reduce the shared emotion value. The value can also be sent back to the “content reproduction device B”.
  • emotion sharing can be performed by operating the music tone controller 11 without using a language. Further, instead of the operation of the music controller 11, the external information acquired by the living body / environment sensor 12 is used to express emotions (emotion values estimated based on the user's surrounding environment and biological information) regardless of the user's intention. Sharing is also possible.
  • FIG. 14B or FIG. 14C it is conceivable that emotions are shared among three or more content reproduction apparatuses 1.
  • the “content reproduction device A” transmits and receives the shared emotion value individually with the “content reproduction device B”, “content reproduction device C”, and “content reproduction device D”.
  • the system configuration in the case of performing is shown.
  • the configuration of FIG. 14C is such that “content playback device A”, “content playback device B”, “content playback device C”, and “content playback device D” are all compared to other content playback devices 1. This shows a system configuration that can transmit shared emotion values all at once.
  • the integrated emotion value of each individual is released on the network NT under certain conditions, and other users can view it.
  • a user who can be viewed by the publishing side is authenticated in accordance with the request of the user, or the user is invited and authenticated in advance.
  • the integrated emotion value may be disclosed to all users, and the browsing side may refer only to the integrated emotion value of the user registered by himself / herself. For example, a friend, a lover, or a family may conceivably authenticate a user who can be viewed by the public side.
  • a system in which the browsing side can refer only to the integrated emotion value of the user registered by himself / herself is a case where an entertainer publishes an emotion value and a fan registers the entertainer in his / her list.
  • friends can exchange emotions with friends, lovers, and family members, share celebrity emotions with fans, Or can be collected.
  • “content reproduction device A” transmits the shared emotion value “80” to “content reproduction device B” (S11). Upon receiving this, “content reproduction device B” rewrites the integrated emotion value to “80” (S12). Further, the music data is edited according to the difference “30” between the preset integrated emotion value “50” and the received shared emotion value “80” (S13). The editing of the music data of the difference “30” means performing music tone control that increases the sense of activity.
  • the “content playback device A” when the adjustment emotion value “ ⁇ 20” is input according to the operation of the music tone controller 11 or the external information acquired by the living body / environment sensor 12, the “content playback device A” The integrated emotion value of “ ⁇ ” is “60”, and the music data for “ ⁇ 20” is edited (S16).
  • the editing of the music data for “ ⁇ 20” means that the music tone control for increasing the feeling of relaxation is performed.
  • the “content reproduction device B” receives the shared emotion value “60” and rewrites the integrated emotion value to “60” (S18). Further, the music data is edited according to the difference “ ⁇ 20” between the integrated emotion value “80” originally set and the received shared emotion value “60” (S19).
  • a shared emotion value is received from another content playback device 1, and the music is set according to the difference between the shared emotion value and a preset integrated emotion value. Since the data is edited and played back, you can experience the feelings of the other party from the tone of the song data. Further, by transmitting the integrated emotion value set in the content reproduction device 1 to another content reproduction device 1 as a shared emotion value, it is possible to rewrite the mutual emotion values and exchange emotions. In other words, by feeling the other party's feelings once based on the sent shared emotion value, this time by sending the emotion "I want you to do this" to the other party as an integrated emotion value by entering the relative adjustment amount and external information, Senders can control each other's feelings.
  • the integrated emotion value when a shared emotion value is received from another content playback device 1 in a state where the integrated emotion value is set, the integrated emotion value is integrated to be the same value as the received shared emotion value.
  • a new integrated emotion value may be calculated based on the preset integrated emotion value and the received emotion value. For example, when the shared emotion value “80” is received from another content playback device 1 in a state where the integrated emotion value “60” is set, the average value “70” is calculated as a new integrated emotion value. You may do it.
  • the music playback controller 11 and the living body / environment sensor 12 are mounted on the content reproduction apparatus 1. However, these may be omitted.
  • the integrated emotion value the unique emotion value of the content
  • the music data is edited according to the difference between the received shared emotion value and the unique emotion value of the content.
  • music (music) data is exemplified as “content”, but other content types (media) such as photo data, video data, and text (text) data may be used.
  • content type is photo data, video data, text data, or the like
  • the content analysis unit 13 may calculate resolution, color (character color), font, display size, etc. as the “content feature amount”.
  • content editing in addition to adjusting the content feature amount for content, information addition / suppression (addition / suppression of images, addition / suppression of text, etc.) may be performed.
  • a personal computer In addition to the media player and the network function-equipped music player described above, a personal computer, a tablet terminal such as a smartphone, a mobile phone, or the like may be used as the content playback apparatus 1.
  • the content is transferred to another content with the same specific emotion value or integrated emotion value (The content may be converted into another type of content or another content within the same content type.
  • various expression methods such as displaying a unique emotion value or an integrated emotion value as image data can be realized.
  • playback of other music data is instructed during playback of any music data, or if any music data cannot be played back for some reason, the other music data is the same as any music data. It is also possible to respond such as playing in a tune corresponding to the emotion value or the integrated emotion value.
  • the content reproducing apparatus 1 that transmits / receives does not necessarily have to reproduce the same type of content.
  • the shared emotion value is transmitted from “content reproduction device A” capable of reproducing music data to “content reproduction device B” capable of reproducing image data
  • the shared emotion value is reflected in the editing of the image data. Also good.
  • each function and each processing step of the content reproduction apparatus 1 shown in each of the above embodiments can be provided by being stored in various storage media (CD-ROM, flash memory, etc.). That is, a program for causing a computer to function as each function of the content reproduction apparatus 1, a program for causing the computer to execute each processing step of the content reproduction apparatus 1, and a storage medium recording the program are also included in the scope of the present invention. It is what Other modifications can be made as appropriate without departing from the scope of the present invention.
  • instrument-specific accompaniment data generation unit 42 additional sound adjustment unit 42a ... Volume / sound quality adjustment unit by instrument 43 ... Accompaniment suppression unit 44 ... Heating in synthesizing unit 44a ... mix level adjustment pattern storage unit 44b ; mix balance controller 44c ... tempo control unit NT ... network SY ... content reproducing system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

コンテンツ再生方法、コンテンツ再生装置およびプログラム
　本発明は、ユーザーの感情を考慮してコンテンツの再生を行うコンテンツ再生方法、コンテンツ再生装置およびプログラムに関する。
　この種の技術として、テンポや音圧レベル等の音楽的特徴を信号処理によって変化させることで、楽曲（コンテンツ）に対して感情付与を行う感情付与システムが提案されている（例えば、非特許文献１）。また、マイクから入力されたユーザー音声に基づいて、ユーザーの感情を検出する感情検出装置も知られている（例えば、特許文献１）。これらを組み合わせると、ユーザーの感情を検出し、その検出結果を楽曲再生に反映する（音楽的特徴を信号処理によって変化させる）ことが想定できる。例えば、ユーザーの気分が高揚していることを検出した場合は、楽曲のテンポを早めたり音圧レベルを高めたりすることで、楽曲に対しユーザーの感情を付与することが考えられる。
音楽音響信号を対象とした感情付与システム／大野昌剛,庄司正（龍谷大院・理工学研）,三浦雅展（龍谷大・理工）／日本音響学会講演論文集,pp893-896,2011年9月 特開２００２－９１４８２号公報
　ところが、楽曲を視聴する際のユーザーのニーズは、必ずしもユーザーの感情に合わせた楽曲再生だけではない。例えば、ユーザーの気分が高揚していることを検出した場合は、楽曲のテンポを早めたり音圧レベルを高めたりするのではなく、逆に楽曲のテンポを遅くしたり音圧レベルを低くしたりすることで、気分を落ち着かせたいといったニーズも考えられる。ところが、従来、ユーザーが「こうなりたい」、「こうしたい」といった感情をコンテンツの再生に反映させる技術は提案されていない。また、ユーザーが「こうなりたい」、「こうしたい」といった感情を容易に設定（入力）する技術や、その感情値を数値化するなど客観的な情報として出力する技術も、未だ提案されていない。
　本発明は、上記の問題点に鑑み、ユーザーが「こうなりたい」、「こうしたい」といった感情を、コンテンツの再生に反映させることができると共に、その感情を容易に設定し、且つ客観的な情報として出力可能なコンテンツ再生方法、コンテンツ再生装置およびプログラムを提供することを目的とする。
　本発明のコンテンツ再生方法は、コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有の感情値として特定する固有感情値を算出する固有感情値算出ステップと、感情値の調整を行うための相対調整量を入力する入力ステップと、入力ステップの入力に伴い、コンテンツを編集して再生する再生ステップと、相対調整量に応じて、固有感情値を調整した統合感情値を出力する統合感情値出力ステップと、を実行することを特徴とする。
　本発明のコンテンツ再生装置は、コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有の感情値として特定する固有感情値を算出する固有感情値算出手段と、感情値の調整を行うための相対調整量を入力する入力手段と、入力手段の入力に伴い、コンテンツを編集して再生する再生手段と、相対調整量に応じて、固有感情値を調整した統合感情値を出力する統合感情値出力手段と、を備えたことを特徴とする。
　これらの構成によれば、相対調整量の入力に伴ってコンテンツを編集して再生するため、ユーザーが「こうなりたい」、「こうしたい」といった感情を、コンテンツの再生に反映させることができる。また、コンテンツの再生結果を確認しながら相対調整量を入力できるため、感情設定を容易に行うことができる。つまり、ユーザーは、自分が求める感情に合うようにコンテンツの再生状態を調整すればよく、結果的に感情設定（相対調整量の入力）を容易に行うことができる。また、入力された相対調整量に応じて固有感情値を調整し、統合感情値を出力するため、ユーザーは、自分が求める感情を、数値等で客観的に把握することができる。
　なお、「コンテンツ」とは、楽曲（音楽）データ、写真データ、映像データ、文章（テキスト）データなど、各種データおよび表現方法を指す。
　また、「コンテンツ毎の特徴量」とは、例えばコンテンツが楽曲データの場合、テンポ（ＢＰＭ（Beats　Per　Minute））、音圧レベル、コード進行、拍位置、小節位置などを指す。また、写真データ、映像データ、文章データ等の場合、解像度、色合い（文字色）、フォント、表示サイズなどを指す。
　また、「固有感情値」および「統合感情値」は、絶対値で表される。但し、「統合感情値」の出力形態は、数値以外に、文字、映像（画像）、音声として出力しても良い。また、その出力手段は、表示出力、音声出力、通信などが考えられる。
　上記のコンテンツ再生方法において、環境情報および／または生体情報である外部情報を取得する外部情報取得ステップをさらに実行し、再生ステップは、相対調整量および外部情報に応じて、コンテンツを編集し、統合感情値出力ステップは、相対調整量および外部情報に応じて、固有感情値を調整した統合感情値を出力することを特徴とする。
　この構成によれば、相対調整量だけでなく、外部情報（環境情報および／または生体情報）を加味して、コンテンツの編集、および固有感情値の調整（統合感情値の出力）を行うことができる。
　なお、「環境情報」とは、温度、照度、加速度、ＧＰＳ（Global　Positioning　System）情報、天気などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、またはＷｅｂサーバーからインターネットを介して取得する、情報提供サーバーから電子メールを介して取得する、などが考えられる。一方、「生体情報」とは、脳波、心拍、脈拍、体温などを指す。その取得方法としては、コンテンツ再生装置で計測・検出を行う、または外部装置で計測・検出した結果を受信する、などが考えられる。
　上記のコンテンツ再生方法において、再生ステップは、コンテンツの編集として、コンテンツに対する特徴量の調整および／または情報の付加／抑制を行うことを特徴とする。
　この構成によれば、コンテンツに対し、特徴量の調整および／またはコンテンツに対する情報の付加／抑制を行うことで、ユーザーが求める感情を、効果的にコンテンツに反映させることができる。
　上記のコンテンツ再生方法において、コンテンツが、楽曲データである場合、コンテンツ再生ステップは、楽曲データの特徴量の調整、および／または楽曲データに対する音声信号の付加／抑制を行うことを特徴とする。
　上記のコンテンツ再生方法において、再生ステップは、楽曲データの特徴量の調整として、少なくともテンポと音圧レベルを調整することを特徴とする。
　上記のコンテンツ再生方法において、再生ステップは、楽曲データに対する音声信号の付加／抑制として、少なくとも伴奏データの付加／抑制を行うことを特徴とする。
　これらの構成によれば、楽曲データに対し、特徴量（テンポ、音圧レベルなど）の調整および／または音声信号（伴奏データなど）の付加／抑制を行うことで曲調制御を行い、ユーザーが求める感情を、効果的に楽曲データに反映させることができる。
　上記のコンテンツ再生方法において、伴奏データとして用いるための楽器別のプリセットパターンと、楽器別のミックスレベル調整パターンを記憶するパターン記憶ステップをさらに実行し、再生ステップは、ミックスレベル調整パターンを参照し、相対調整量および外部情報に応じて、プリセットパターンから生成された楽器別の伴奏データの出力音圧レベルを可変することにより、伴奏データの付加／抑制を行うことを特徴とする。
　この構成によれば、楽器別のミックスレベル調整パターンを参照し、入力された相対調整量および取得した外部情報に応じて、楽器別の伴奏データの出力音圧レベルを可変することで、複雑な楽曲データの編集を、より自然に且つ簡易な処理で行うことができる。
　上記のコンテンツ再生方法において、固有感情値および統合感情値は、リラックス感またはアクティブ感を数値化したものであり、入力ステップは、リラックス度とアクティブ度の間で、相対調整量を入力することを特徴とする。
　この構成によれば、ユーザーが求めるリラックス感またはアクティブ感を、コンテンツの再生に反映させることができる。
　上記のコンテンツ再生方法において、再生ステップは、所定の順序にしたがってコンテンツを再生する場合、次に再生するコンテンツを、当該コンテンツの固有感情値と、調整された統合感情値の差分だけ編集して再生することを特徴とする。
　この構成によれば、再生順序を変えることなく、ユーザーが求める感情値を保ったまま、コンテンツの再生を続けることができる。例えば、次に再生するコンテンツの固有感情値が「６０」で、調整された統合感情値が「８０」の場合、感情値「２０」（統合感情値「８０」－固有感情値「６０」）分のコンテンツの編集を行う。
　なお、「所定の順序」とは、プレイリストにしたがった順序でも良いし、ランダム再生にしたがった順序でも良い。その他、テンポ、音圧レベル、タイトルなどのコンテンツ特徴量にしたがった順序でも良い。
　上記のコンテンツ再生方法において、再生ステップは、調整された統合感情値に応じて、次に再生するコンテンツを選択し、選択した当該コンテンツを再生することを特徴とする。
　この構成によれば、次に再生するコンテンツとして、その固有感情値が調整された統合感情値に近いものを選択することで、コンテンツをできるだけ編集することなく、ユーザーが求める感情値を保ったまま、コンテンツの再生を続けることができる。また、次に再生するコンテンツとして、その固有感情値が調整された統合感情値から所定量だけ離れているものを選択することで、徐々に感情値を変化させながら、コンテンツの再生を続けることができる。
　本発明のプログラムは、コンピューターに、上記のコンテンツ再生方法における各ステップを実行させることを特徴とする。
　このプログラムを用いることにより、ユーザーが「こうなりたい」、「こうしたい」といった感情を、コンテンツの再生に反映させることができると共に、その感情を容易に設定し、且つ客観的な情報として出力可能なコンテンツ再生方法を実現できる。
第１実施形態に係るコンテンツ再生装置の構成を示すブロック図である。 コンテンツ解析部の詳細構成図である。 コンテンツ調整・再生部の詳細構成図である。 コード進行情報、プリセットパターン、および付加音パターンの一例を示す図である。 曲調制御処理を示すフローチャートである。 ピアノ、ブラスおよびフルートのプリセットパターンの一例を示す図である。 ベースおよびドラムのプリセットパターンの一例を示す図である。 アクティブ感のある曲調に制御する場合の、ミックスレベル調整パターンの一例を示す図である。 ギターおよびストリングスのプリセットパターンの一例を示す図である。 リラックス感のある曲調に制御する場合の、ミックスレベル調整パターンの一例を示す図である。 変形例に係る、ミックスレベル調整パターンの一例を示す図である。 第２実施形態に係るコンテンツ再生装置の構成を示すブロック図である。 第３実施形態に係るコンテンツ再生装置の構成を示すブロック図である。 第３実施形態に係るコンテンツ再生システムのシステム構成例を示す図である。 共有感情値送受信処理を示すフローチャートである。
　［第１実施形態］
　以下、本発明の一実施形態に係るコンテンツ再生方法、コンテンツ再生装置およびプログラムについて、添付図面を参照しながら詳細に説明する。本実施形態は、コンテンツの解析結果に基づき算出した、絶対値で表した固有感情値に対し、ユーザー操作に基づいてコンテンツの状態を変化させ、それをフィードバックすることにより、簡単に、ユーザーの「こうなりたい」「こうしたい」という感情を、統合感情値として数値化し、これを出力するものである。本実施形態では、コンテンツの一例として、「楽曲データ」を例示する。また、「感情値」として、アクティブ感またはリラックス感を表す場合について例示する。
　図１は、第１実施形態に係るコンテンツ再生装置１の構成を示すブロック図である。コンテンツ再生装置１は、曲調コントローラー１１、コンテンツ解析部１３、コンテンツ調整・再生部１４および統合感情値出力部１５を備えている。なお、コンテンツ再生装置１としては、メディアプレイヤー、ネットワーク機能搭載音楽プレーヤー等を適用可能である。
　曲調コントローラー１１は、リラックス度最大とアクティブ度最大の間で、相対調整量を入力する（入力ステップ）。つまり、ユーザーは曲調コントローラー１１を操作することにより、自分が求める感情（リラックス感またはアクティブ感）に合うように、楽曲データの曲調を変化させることができる。なお、曲調コントローラー１１としては、複数の状態や連続的な状態変化を指示可能な操作子（ロータリーエンコーダー、ボタンなど）を適用できる。例えば、曲調コントローラー１１としてロータリーエンコーダーを用いた場合、コントローラーを左方向に回すことにより徐々にリラックス度を大きくし、右方向に回すことにより徐々にアクティブ度を大きくする、などの仕様が考えられる。
　コンテンツ解析部１３は、楽曲データを解析し、楽曲特徴量を抽出する。また、抽出した楽曲特徴量に基づき、楽曲データ固有の感情値（リラックス感またはアクティブ感を示す絶対値）である固有感情値を算出する（固有感情値算出ステップ）。詳細については、図２を参照して後述する。
　なお、「楽曲データ」とは、光ディスクや音楽配信により提供されるオーディオデータを指す。また、「楽曲特徴量」とは、テンポ（ＢＰＭ）、音圧レベル、コード進行、拍位置（拍位置時刻情報）、小節位置（小節位置時刻情報）などを指す。なお、後述する固有感情値の算出処理では、少なくともテンポ（ＢＰＭ）および音圧レベルに関する情報が必要となる。また、後述する曲調制御では、少なくともコード進行、拍位置および小節位置に関する情報が必要となる。
　また、コンテンツ解析部１３による楽曲解析方法としては、特許第４２４４１３３号など、既知の技術を適用可能である。また、楽曲解析データは、例えば楽曲データがＭＩＤＩ（Musical　Instrument　Digital　Interface）データの場合、当該ＭＩＤＩデータから取得しても良いし、例えばユーザーが曲に合わせてタップして得られた情報を元に曲のテンポとして設定するなど、手動入力されたデータを用いても良い。さらに、予め解析済みのデータを、コンテンツ再生装置１の内部データベース、またはコンテンツ再生装置１からアクセス可能な外部装置やＷｅｂサーバーに保存しておき、楽曲ＩＤ等によりマッチングを取ってそのデータを取得しても良い。
　コンテンツ調整・再生部１４は、曲調コントローラー１１の操作（入力された相対調整量）に応じて、楽曲データの編集（曲調制御）を行ない、編集後の楽曲データを再生する（再生ステップ）。楽曲データの編集としては、楽曲特徴量の調整、および楽曲データに対する伴奏データ（音声信号）の付加／抑制を行う。詳細については、図３～図１１を参照して後述する。
　統合感情値出力部１５は、曲調コントローラー１１の操作に応じて、コンテンツ解析部１３により解析された楽曲データの固有感情値を調整することにより、統合感情値を算出し、これを出力する（統合感情値出力ステップ）。具体的には、曲調コントローラー１１から入力された相対調整量に応じてコンテンツ状態を変化させる調整感情値を算出し、これを固有感情値と合算することにより、統合感情値を算出する。
　なお、「統合感情値」は、絶対値であるが、数値以外に、文字、映像（画像）、音声などの出力形態で出力することが考えられる。例えば文字の場合、「アクティブ感ＭＡＸ」、「リラックス感ＭＡＸ」、色の場合、「赤」～「青」の連続変化などの表記・表現が考えられる。また、その出力手段は、表示出力、音声出力、通信（有線／無線ネットワーク通信、電子メール等を含む）などが考えられる。なお、本実施形態において、「統合感情値」は、「０～１００（０：リラックス感ＭＡＸ、１００：アクティブ感ＭＡＸ）」で表すものとする。
　図２は、コンテンツ解析部１３の詳細構成図である。コンテンツ解析部１３は、平均音圧レベル検出器３１と、ＢＰＭ検出器３２と、ＢＰＭ正規化部３３と、重み付け部３４と、加算部３５と、から成る。
　平均音圧レベル検出器３１は、帯域フィルタ群３１ａと、重み付け部３１ｂと、加算部３１ｃと、を含む。また、帯域フィルタ群３１ａは、周波数帯域別のバンドパスフィルタ３７と、平均・正規化回路３８と、を含む。つまり、帯域フィルタ群３１ａは、音圧レベルを周波数帯域別のリズム強度とし、「１」～「０」の正規化された値として求める。なお、同図では、低域・中域・高域の３つの周波数帯域に分割した場合を例示したが、帯域の分割位置および分割数については、適宜変更可能である。
　重み付け部３１ｂは、周波数帯域別に設定された重み付けを付与する。本実施形態では、固有感情値として、アクティブ感（リラックス感）を算出するため、中域・高域に対し、低域の重み付けを大きくしている。加算部３１ｃは、重み付け後の値を加算する（平均音圧レベルを、０～１で表す）。一般的に低域の音圧レベルが高い場合はリズムが激しく、よりアクティブ感を感じる場合が多いため、周波数帯域別に音圧レベルを求め、その加重平均を取ることで、より適切なアクティブ感を算出できる。
　一方、ＢＰＭ検出器３２は、楽曲データのＢＰＭを検出する。なお、曲中でテンポが変化する楽曲データについては、ＢＰＭとして、その楽曲データの平均ＢＰＭを検出しても良いし、最大ＢＰＭまたは最小ＢＰＭを検出しても良い。ＢＰＭ正規化部３３は、ＢＰＭ６０～２４０を、所定の換算アルゴリズムにしたがって０～１に正規化する。なお、ＢＰＭを「０」または「１」とする閾値（同図の例では、「６０」と「２４０」）については、適宜変更可能である。
　重み付け部３４は、平均音圧レベル検出器３１により検出された平均音圧レベルと、ＢＰＭ正規化部３３による正規化後の値に対し、合計が「１」となるような重み付けを行う。本実施形態では、平均音圧レベルの検出結果よりも、ＢＰＭの検出結果の重み付けを大きく設定している。加算部３５は、重み付け部３４による重み付け後の値を加算する（固有感情値を、０～１で表す）。
　このように、ＢＰＭと平均音圧レベルの加重和を用いて固有感情値を算出することで、楽曲のテンポだけでなく、音量や楽器編成の厚さ等を考慮した適切なアクティブ感を算出できる。
　なお、ＢＰＭや音圧レベル等の物理特徴量のみで固有感情値を算出するのではなく、ＢＰＭや音圧レベル等の複数の物理特徴量と、主観評価により評点した楽曲のアクティブ感を回帰分析することにより関係式を求め、その関係式を用いて算出しても良い。また、ＢＰＭや音圧レベル以外の楽曲特徴量（ジャンル、調（キー）、楽器編成など）を考慮して、固有感情値を算出しても良い。
　図３は、コンテンツ調整・再生部１４の詳細構成図である。コンテンツ調整・再生部１４は、付加音生成部４１と、付加音調整部４２と、伴奏抑圧部４３と、付加音合成部４４と、から成る。
　付加音生成部４１は、コンテンツ解析部１３から、楽曲データの解析結果であるコード進行、拍位置および小節位置に関する情報を取得する。図４（ａ），（ｂ）に示すように、「コード進行」とは、楽曲開始時点からの各経過時刻におけるコードを示す情報（以下、「コード進行情報」と称する）であり、一般的なコード符に相当する。各時刻のコードが分かれば良いので、「コード進行」のフォーマットはこの限りではない。例えば、コードとコードの変化点時刻情報や、各拍におけるコード情報でも良い。また、「コード」とは、音楽用語における一般的なコードであり、例えば、Ａ、Ｃ＃ｍ7、Ｅ７等のコードネームを指す。図４（ｂ）に示すように、コードがＡであれば、その構成音はＡ,Ｃ＃、Ｅであり、その構成音を用いることにより、楽曲に合った伴奏を実現できる。一方、「拍位置」とは、楽曲開始時点からの各拍位置の時刻を指す。また、「小節位置」とは、楽曲開始時点からの各小節頭位置の時刻を指す。
　付加音生成部４１は、プリセットパターン記憶部４１ａと、付加音パターン生成部４１ｂと、音源データ記憶部４１ｃと、楽器別音色選択部４１ｄと、楽器別伴奏データ生成部４１ｅと、を含む。
　プリセットパターン記憶部４１ａは、図４（ｃ）に示すようなプリセットパターンを楽器別（パート別）、且つ曲調別（例えば、アクティブ調整用とリラックス調整用）に記憶する（パターン記憶ステップ）。「プリセットパターン」とは、発音時刻情報、発音時間情報、コード内の第何音を発音するかの相対的音高情報、を持つ。合わせて、各音の音量（音圧レベル）情報を持っても良い。
　付加音パターン生成部４１ｂは、コンテンツ解析部１３から取得したコード進行、拍位置および小節位置に関する情報と、プリセットパターンを照らし合わせ、楽曲の各部分に合った付加音パターンを生成する。例えば、図４（ｄ）は、図４（ｃ）に示した１小節分のプリセットパターンを、図４（ａ）に示したコード進行情報にしたがって、２小節分の付加音パターンを自動生成した結果を示している。このように、プリセットパターンが１小節分だけだとしても、コード進行情報と組み合わせることにより、一曲分のバリエーションがある付加音パターンを生成できる。
　音源データ記憶部４１ｃは、楽器別の音色を音源データとして記憶する。楽器別音色選択部４１ｄは、楽器別に音色を選択する。楽器別の音色選択は、予め楽器編成を決めておいても良いし、楽曲解析によって得られた楽曲の調（キー）や、楽曲のタグ情報から得られた曲のジャンルにより、自動的に選択しても良い。または、幾つかの楽器編成パターンを用意し、その中からユーザーが選択できるようにしてもよい。例えば、曲のジャンルがロックであれば、ロックドラムセットとエレキベース、エレキギター等の編成を用い、ジャンルがジャズであれば、ジャズドラムセットとウッドベース、クリアトーンのエレキギター等の編成を用いる、などが考えられる。また、原曲のジャンルと合わせるのではなく、変えたい曲調（曲調コントローラー１１により入力された相対調整量）に応じた楽器編成を用いても良い。
　楽器別伴奏データ生成部４１ｅは、楽器別音色選択部４１ｄによって、楽器別に選択された音色を音源データ記憶部４１ｃから読み込み、付加音パターン生成部４１ｂにより生成された付加音パターンにしたがって、その音色の伴奏データを生成する。つまり、付加音パターン生成部４１ｂでは各楽器の演奏譜面に相当するデータを生成し、楽器別伴奏データ生成部４１ｅでは、その譜面にしたがって各楽器を実際に演奏するための伴奏データを生成する。
　付加音調整部４２は、楽器別音量・音質調整部４２ａを含む。楽器別音量・音質調整部４２ａは、原曲の音量に合わせ、付加音を合成した後で自然に聞こえるよう、音量や音質を調整する。なお、調整方法としては、楽器編成により、予め各楽器の音量・音質を調整しておいても良い。例えば、各楽器のピークレベルを合わせる、各楽器の平均音量レベルを合わせる、などが考えられる。一方、音質調整に関しては、各楽器の音が全体に埋もれてしまわないよう、各楽器の中心周波数を変えてブースト・アッテネートするなどのイコライジング制御を行っても良い。あるいは、原曲、伴奏それぞれを低域～高域に渡って複数の周波数帯域に分割し、各分割帯域で上記のようなイコライジング制御を行っても良い。また、楽曲のイントロ～サビ～エンディングの各箇所によっても音量が異なることが一般的であるため、上記のようなイコライジング制御を、曲中で動的に行っても良い。
　伴奏抑圧部４３は、曲調コントローラー１１により入力された相対調整量に応じて、伴奏の音量を抑圧する。例えば、相対調整量がリラックス度を高めるものである場合、原曲からメロディー成分を抽出し、それ以外の伴奏成分を抑圧する。
　付加音合成部４４は、ミックスレベル調整パターン記憶部４４ａと、ミックスバランス制御部４４ｂと、テンポコントロール部４４ｃと、を含む。ミックスレベル調整パターン記憶部４４ａは、楽器別に、相対調整量に応じてミックスレベル（出力音圧レベル）が変化するミックスレベル調整パターンを記憶する（パターン記憶ステップ）。図８および図１０に示すように、ミックスレベル調整パターンは、横軸を相対調整量、縦軸をミックスレベルとしたグラフである。
　ミックスバランス制御部４４ｂは、曲調コントローラー１１により入力された相対調整量に応じて、後述する楽器別伴奏データの、原曲に対するミックスバランスを制御する。この場合、原曲に対して新たに音を足すため、音量レベルが高くなり過ぎ、クリップしてしまうことがある。そのため、ミックスバランス制御部４４ｂは、伴奏データの付加後に音量レベルがクリップしないよう、最大レベル値の調整も行う。例えば、単純な方法として、伴奏付加後のピークレベルを監視し、クリップしないよう全体のレベルを減衰する方法が考えられる。また、ピークレベルのみを抑え込む時に一般的に用いられる、コンプレッサーやリミッターを用いても良い。さらに、楽曲のイントロ～サビ～エンディングの各箇所によっても音量が異なることが一般的であるため、上記のようなレベル減衰制御を、曲中で動的に行っても良い。
　テンポコントロール部４４ｃは、曲調コントローラー１１により入力された相対調整量に応じて、例えばリラックス度が高い場合はテンポ（ＢＰＭ）を落としたり、アクティブ度が高い場合はテンポを上げたりする。このテンポコントロールは、原曲、伴奏データのそれぞれに対して行っても良いし、付加音合成後に行っても良い。その方法は特に限定しないが、例えば、音程を変えずにテンポを変える手法としてよく知られている、位相ボコーダーを用いるなどすればよい。
　次に、図５のフローチャートを参照し、曲調制御処理の流れについて説明する。まず、原曲（楽曲データ）に対し、楽曲解析を行い（Ｓ０１）、曲調別且つ楽器別に用意されたプリセットパターンから付加音パターンを生成する（Ｓ０２）。続いて、予め用意された楽器編成、楽曲解析によって決定された楽器編成、ユーザーによって選択された楽器編成、または曲調に応じた楽器編成にしたがって、楽器別の音色を選択し（Ｓ０３）、Ｓ０２で生成した付加音パターンと、予め用意された音源データを用いて、楽器別伴奏データを生成する（Ｓ０４）、さらに、生成した楽器別伴奏データが自然に聞こえるように、原曲の音量等に合わせて、楽器別伴奏データの音量や音質を調整する（Ｓ０５）。以上の工程により、伴奏データを生成する。
　一方、曲調コントローラー１１の操作に応じて、原曲（楽曲データ）の伴奏抑圧（Ｓ０６）、楽器別のミックスレベル調整パターンに基づく、原曲と伴奏データのミックスバランスの調整（Ｓ０７）およびテンポコントロール（Ｓ０８）を行う。以上の工程により、曲調コントローラー１１の操作にしたがった曲調制御を行う。
　次に、曲調制御の具体例について説明する。まず、図６～図８を参照し、アクティブ感のある曲調に制御する場合について説明する。本例では、原曲に対し、ピアノ、ブラス、フルート、３パターンのベース１～３、２パターンのドラム１，２の伴奏データを生成するものとする。これらの楽器別伴奏データは、例えば、ピアノに図６（ａ）に示すプリセットパターンを、ブラスに図６（ｂ）に示すプリセットパターンを、フルートに図６（ｃ）に示すプリセットパターンを、ベース１に図７（ａ）の１小節目に示すプリセットパターンを、ベース２に図７（ａ）の２小節目に示すプリセットパターンを、ベース３に図７（ａ）の３小節目に示すプリセットパターンを、ドラム１に図７（ｂ）の１小節目に示すプリセットパターンを、ドラム２に図７（ｂ）の３小節目に示すプリセットパターンを用い、前述したようにコード進行、拍位置および小節位置に合わせて付加音パターンを生成する。さらに、楽器編成に応じて楽器別の音源データを選択し、これを付加音パターンに適用することで、楽器別伴奏データを生成する。
　ミックスバランス制御部４４ｂは、これらの楽器別伴奏データに対し、図８に示すミックスレベル調整パターン（アクティブ側）にしたがって、ミックスレベルを制御する。つまり、同図（ａ）に示すように、原曲のミックスレベルは一定にし、同図（ｂ）～（ｇ）に示すように、相対調整量に応じて各伴奏データのミックスレベルを変化させる。
　なお、各楽器（各パート）のミックスレベルを、曲調コントローラー１１によって入力された相対調整量だけでなく、原曲の音量変化に対応付けて変化させても良い。この場合、原曲の周波数帯域別音量を求め、付加する各伴奏データの帯域別音量を制御しても良い。
　また、原曲の低域をカットする、ドラム成分を抽出してカットするなど、原曲のリズム成分を抑圧してから伴奏データを付加しても良い。
　これにより、曲調コントローラー１１の操作等に応じて、原曲をよりアクティブな感じに、且つ滑らかに変化させることができる。
　続いて、図９，図１０を参照し、リラックス感のある曲調に制御する場合について説明する。本例では、原曲に対し、ギターおよびストリングスの伴奏データを生成するものとする。これらの楽器別伴奏データは、例えば、ギターに図９（ａ）に示すプリセットパターンを、ストリングスに図９（ｂ）に示すプリセットパターンを用い、前述したようにコード進行、拍位置および小節位置に合わせて付加音パターンを生成する。さらに、楽器編成に応じて楽器別の音源データを選択し、これを付加音パターンに適用することで、楽器別伴奏データを生成する。
　ミックスバランス制御部４４ｂは、これらの楽器別伴奏データに対し、図１０に示すミックスレベル調整パターン（リラックス側）にしたがって、ミックスレベルを制御する。つまり、同図（ａ）に示すように、原曲のミックスレベルは一定にし、同図（ｃ）に示すように、相対調整量に応じて各伴奏データのミックスレベルを変化させる。また、伴奏抑圧部４３は、同図（ｂ）に示すように、相対調整量に応じて伴奏成分の抑制レベルを変化させる。
　なお、本例においても、各楽器（各パート）のミックスレベルを、曲調コントローラー１１によって入力された相対調整量だけでなく、原曲の音量変化に対応付けて変化させても良い。この場合、原曲の周波数帯域別音量を求め、付加する各伴奏データの帯域別音量を制御しても良い。
　また、リラックス感のある曲調に制御する場合は、特に原曲の低域をカットする、ドラム成分を抽出してカットするなど、原曲のリズム成分（伴奏成分の一部）を抑圧してから伴奏データを付加することが好ましい。この構成によれば、リラックス感をより効果的に高めることができる。
　また、リラックス感のある曲調に制御する場合は、原曲からメロディー成分を抽出し、それ以外の伴奏成分を抑圧しても良い。伴奏成分を抑圧する方法としては、例えば、センターチャンネル抽出方法（メロディー成分は中央に定位している場合が多いことを利用してメロディー成分を分離する方法）を用いることが考えられる。但しこのままでは、中央に定位していることも多いベースギターやベースドラムのリズム成分が残ってしまうため、前述したように、低域をカットした方が効果的である。低域カットの方法も問わないが、一般的なローパスフィルターを用いて、～２００Hz程度をカットすれば良い。あるいは、中央定位しているメロディー成分を抽出する方法として、オーディオ信号をフーリエ変換によって周波数軸に変換し、位相差を検出する方法が用いられるため、このフーリエ変換係数の低域側を抑圧しても良い。例えば、オーディオ信号のサンプリング周波数が４４．１ｋHzであり、フーリエ変換のブロック長が４０９６サンプルであった場合は、フーリエ変換係数の１binが約１０Hz帯域に相当するため、低域側の２０bin程度の係数を抑圧すればよい。このような制御により、曲調コントローラー１１の操作等に応じて、原曲をよりリラックスな感じに、且つ滑らかに変化させることができる。
　なお、曲調制御の変形例として、図８，図１０に示した２種類のミックスレベル調整パターンをRelax～Center～Activeの一軸に対応付けても良い。この構成によれば、一つの曲調コントローラー１１の操作で、原曲をリラックスな感じからアクティブな感じまで、滑らかに変化させることができる。
　また、図４～図１０に示したプリセットパターンまたはミックスレベル調整パターンを複数用意することにより、リラックス感～アクティブ感以外の曲調変化も実現できる。また、曲調コントローラー１１の操作軸を一軸ではなく複数軸とすることにより、より様々な曲調変化を楽しむことができる。
　また、曲調制御の更なる変形例として、図１１に示すミックスレベル調整パターンを用いても良い。同図の例では、例えば、ピアノ＋ブラス＋フルート＋ベース１＋ドラム１をＭＩＸ１、ピアノ＋ブラス＋フルート＋ベース２＋ドラム１をＭＩＸ２、ピアノ＋ブラス＋フルート＋ベース３+ドラム２をＭＩＸ３、ギター＋ストリングスをＭＩＸ４、とするなど、楽器別伴奏データの集合体をＭＩＸ付加音として生成し、各ＭＩＸ付加音のミックスレベルを、図１１（ｃ）に示すように、曲調コントローラー１１の操作に応じて制御しても良い。
　つまり、図１１（ａ）に示すように、原曲のミックスレベルは一定にし、同図（ｂ）に示すように、リラックス側において、原曲の伴奏成分を抑圧する。また、同図（ｃ）に示すように、各ＭＩＸ付加音のミックスレベルを変化させる。
　なお、図１１の例では、楽曲解析を用いてＭＩＸ付加音を自動生成することを前提としているが、予め複数のＭＩＸ付加音を用意しておき、各ＭＩＸ付加音のミックスレベルを制御しても良い。
　以上説明したとおり、第１実施形態によれば、曲調コントローラー１１による相対調整量の入力に伴って楽曲データの曲調制御（コンテンツの編集）を行うため、ユーザーが「こうなりたい」、「こうしたい」といった感情を、楽曲データの再生に反映させることができる。また、ユーザーは、曲調の変化を確認しながら相対調整量を入力できるため、感情設定を容易に行うことができる。つまり、ユーザーは、自分が求める感情に合うように曲調を変化させればよく、これにより感情設定（相対調整量の入力）を容易に行うことができる。また、入力された相対調整量に応じて固有感情値を調整し、統合感情値を出力するため、ユーザーは、自分が求める感情を客観的に把握することができる。
　また、曲調制御として、楽曲特徴量（ＢＰＭ、音圧レベルなど）の調整、および／または伴奏データの付加／抑制を行うため、ユーザーが求める感情（アクティブ感～リラックス感）を、効果的に楽曲データに反映させることができる。また、伴奏データの付加／抑制は、楽器別のミックスレベル調整パターンを参照し、入力された相対調整量に応じて、楽器別伴奏データの出力音圧レベルを可変することによって行うため、複雑な楽曲データの編集を、より自然に且つ簡易な処理で行うことができる。
　なお、上記の実施形態では、楽曲データの選択・再生について特に言及しなかったが、「楽曲データＡ」の再生中に、曲調コントローラー１１の操作によって統合感情値が仮に「５０」から「８０」となるように調整された場合、プレイリスト上で次に再生する予定の「楽曲データＢ」も、「楽曲データＢ」の固有感情値に依らず、統合感情値「８０」に合った曲調で再生しても良い。つまり、仮に「楽曲データＢ」の固有感情値が「６０」であった場合、感情値「２０」（統合感情値「８０」－固有感情値「６０」）分の曲調制御（コンテンツの編集）を行う。この構成によれば、再生順序を変えることなく、ユーザーが求める感情値を保ったまま、楽曲データの再生を続けることができる。
　また、調整された統合感情値に応じて、次に再生する楽曲データを選択しても良い。例えば、「楽曲データＡ」の再生中に、統合感情値が「８０」に調整された場合、次に再生する楽曲データとして、楽曲データＤＢの中で、固有感情値が「８０」に近いものを選択する。なお、固有感情値が統合感情値に近いことだけでなく、再生中の楽曲とジャンルが同じ、またはアーティストが同じなど、他の特定の楽曲特徴量が類似していることなどを条件として、次に再生する楽曲データを選択しても良い。この構成によれば、楽曲データをできるだけ編集することなく、ユーザーが求める感情値を保ったまま、楽曲データの再生を続けることができる。その他、変形例として、調整された統合感情値に近い楽曲データを選択するのではなく、調整された統合感情値から所定量だけ離れている楽曲データを選択しても良い。この構成によれば、徐々に感情値を変化させながら、楽曲データの再生を続けることができる。
　［第２実施形態］
　次に、図１２を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、曲調コントローラー１１の操作によって曲調を変化させたが、本実施形態では、これ以外に、生体・環境センサー１２で取得した外部情報によっても曲調を変化させる。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
　図１２は、第２実施形態に係るコンテンツ再生装置１の構成を示すブロック図である。本実施形態のコンテンツ再生装置１は、図１に示した第１実施形態の構成と比較して、生体・環境センサー１２を追加し、生体・環境センサー１２の検出結果である外部情報を加味して、曲調制御および統合感情値の調整・出力を行う構成となっている。
　生体・環境センサー１２は、環境情報および／または生体情報である外部情報を検出する。「環境情報」とは、温度、照度、加速度、ＧＰＳ（Global　Positioning　System）情報、天気などを指す。一方、「生体情報」とは、脳波、心拍、脈拍、体温などを指す。
　また、本実施形態に係るコンテンツ調整・再生部１４は、曲調コントローラー１１の操作、および生体・環境センサー１２により取得した外部情報に応じて、楽曲データの編集（曲調制御）を行ない、編集後の楽曲データを再生する（再生ステップ）。つまり、生体・環境センサー１２により取得した外部情報を考慮して、図５のフローチャート等に示した、原曲の伴奏抑圧（Ｓ０６）、原曲と伴奏データのミックスバランスの調整（Ｓ０７）およびテンポコントロール（Ｓ０８）を行う。
　曲調制御の具体例としては、例えば生体・環境センサー１２として照度センサーを用いた場合、部屋の照度が下がったことを検出して、リラックス感の強い曲調に制御することが考えられる。また、生体・環境センサー１２として脈拍センサーを用いた場合は、ユーザーの平常時の脈拍を記憶しておき、平常時より速い脈拍を計測したときにリラックス感の強い曲調に制御することが考えられる。これらの曲調制御により、ユーザーの気持ちを落ち着かせる効果がある。
　また、本実施形態に係る統合感情値出力部１５は、入力された相対調整量、および取得した外部情報に応じて、楽曲データ固有の固有感情値を調整することにより、統合感情値を算出し、これを出力する（統合感情値出力ステップ）。なお、入力された相対調整量、および取得した外部情報に基づく、固有感情値の調整量を、以下「調整感情値」と称する。つまり、統合感情値は、固有感情値と調整感情値とを合算することにより算出される。また、本実施形態において、図８および図１０に示したミックスレベル調整パターンの横軸は、調整感情値により表される。
　以上説明したとおり、第２実施形態によれば、曲調コントローラー１１による操作だけでなく、生体・環境センサー１２の検出結果が統合感情値に反映されるため、ユーザーは、様々な曲調変化を楽しむことができる。
　なお、外部情報（環境情報および／または生体情報）は、コンテンツ再生装置１に搭載された生体・環境センサー１２で取得するのではなく、所定のサーバーからインターネット等のネットワークを介して取得しても良い。また、外部装置（各種計測・検出装置）で計測・検出した結果を、外部情報として取得しても良い。
　［第３実施形態］
　次に、図１３～図１５を参照し、本発明の第３実施形態について説明する。本実施形態は、上記の「統合感情値」を他のコンテンツ再生装置１に送信することで、感情値の共有を行うことを特徴とする。以下、第２実施形態と異なる点のみ説明する。なお、以下の説明では、共有するための感情値を「共有感情値」と称する。また、「共有感情値」も、「固有感情値」および「統合感情値」と同様に、絶対値で表される。
　図１３は、第３実施形態に係るコンテンツ再生装置１の構成を示すブロック図である。本実施形態のコンテンツ再生装置１は、図１２に示した第２実施形態の構成と比較して、共有感情値受信部１６、共有感情値送信部１７、リスト表示部１８、シェア制御部１９およびシェア要求・容認部２０を追加した構成となっている。
　共有感情値受信部１６は、他のコンテンツ再生装置１（外部装置）から、ネットワークＮＴを介して、共有感情値を受信する（共有感情値受信ステップ）。また、共有感情値送信部１７は、他のコンテンツ再生装置１（外部装置）に対し、ネットワークＮＴを介して、共有感情値（送信時における統合感情値）を送信する（共有感情値送信ステップ）。
　ここで、統合感情値の算出（統合感情値算出ステップ）について説明する。本実施形態の統合感情値出力部１５は、共有感情値の受信前の状態において、第２実施形態と同様に、楽曲解析結果に基づく楽曲データ固有の固有感情値と、相対調整量および外部情報に基づく調整感情値との合算値を、統合感情値として算出する。但し、共有感情値を受信すると、統合感情値を、当該共有感情値と同じ値とする。また、共有感情値を受信した後、相対調整量および／または外部情報を入力および／または取得した場合は、受信した共有感情値と、当該共有感情値の受信後に入力および／または取得した相対調整量および／または外部情報に基づく調整感情値との合算値を、統合感情値として算出する。共有感情値送信部１７は、送信時点における統合感情値を共有感情値として送信する。
　一方、本実施形態に係るコンテンツ調整・再生部１４は、共有感情値を受信した場合、それまでの統合感情値と、受信した共有感情値との差分に応じて、楽曲データの編集（曲調制御）を行う。つまり、統合感情値出力部１５により算出されている（その時点で設定されている）統合感情値に連動して楽曲データの編集を行う点は、上記の各実施形態と同様である。
　リスト表示部１８は、他のコンテンツ再生装置１のユーザー名と、各コンテンツ再生装置１に設定されている統合感情値の一覧を表示する。ユーザーは、当該リストから、感情値を共有したいユーザーを選択する。なお、リストには、ユーザーが公開を認証している場合のみ表示され、認証していなければ表示されない。
　シェア制御部１９は、自分の（コンテンツ再生装置１の）統合感情値の公開条件の設定を行うと共に、他ユーザーからの公開要求に対して認証するかしないかを、シェア要求・容認部２０の設定にしたがって制御する。シェア要求・容認部２０は、例えばシェア要求ボタンとシェア容認ボタンから成り、他のコンテンツ再生装置１との感情値の共有を要求および／または容認する（共有要求・容認ステップ）。ユーザーは、自分からシェア要求を出す場合はシェア要求ボタンを押下し、外部からのシェア要求を容認する場合は、シェア容認ボタンを押下する。
　次に、図１４を参照し、コンテンツ再生システムＳＹのシステム構成例について説明する。コンテンツ再生システムＳＹは、通信可能に構成された複数台のコンテンツ再生装置１から成る。最も単純なシステム構成としては、図１４（ａ）に示すように、「コンテンツ再生装置Ａ」と「コンテンツ再生装置Ｂ」が１：１で通信を行う構成が考えられる。
　ここで、本システム構成における感情のやりとりの具体例について説明する。なお、「コンテンツ再生装置Ａ」を操作するユーザーを「ユーザーＡ」、「コンテンツ再生装置Ｂ」を操作するユーザーを「ユーザーＢ」とする。例えば、「ユーザーＡ」が低い感情値を設定しており、そのことをリスト表示部１８で知った「ユーザーＢ」が、「ユーザーＡ」を元気づけようと、自分（「コンテンツ再生装置Ｂ」）の統合感情値を高い値に調整し、共有感情値として「コンテンツ再生装置Ａ」に送信する。「コンテンツ再生装置Ａ」は、受信した共有感情値と現在の統合感情値の差違を算出し、同じ値となるように、コンテンツ状態（曲調）を調整する。「ユーザーＡ」は、その共有感情値をそのまま受け取ることもできるが、「今はそんな気分ではない」という場合、再び自分（「コンテンツ再生装置Ａ」）の統合感情値を低く調整し、共有感情値として「コンテンツ再生装置Ｂ」に送り返すこともできる。このような感情の共有（やりとり）を、言語を介さず、曲調コントローラー１１の操作で行うことができる。また、曲調コントローラー１１の操作に代え、生体・環境センサー１２で取得した外部情報を用いて、ユーザーの意思に関係なく、感情（ユーザーの周囲環境や生体情報に基づいて推測される感情値）の共有を行うことも可能である。
　なお、システム構成としては、図１４（ｂ）または図１４（ｃ）に示すように、３台以上のコンテンツ再生装置１間で、感情の共有を行うことも考えられる。例えば、図１４（ｂ）の構成は、「コンテンツ再生装置Ａ」が、「コンテンツ再生装置Ｂ」、「コンテンツ再生装置Ｃ」、「コンテンツ再生装置Ｄ」と、それぞれ個別に共有感情値の送受信を行う場合のシステム構成を示している。また、図１４（ｃ）の構成は、「コンテンツ再生装置Ａ」、「コンテンツ再生装置Ｂ」、「コンテンツ再生装置Ｃ」、「コンテンツ再生装置Ｄ」が、いずれも他のコンテンツ再生装置１に対して共有感情値を一括送信可能なシステム構成を示している。
　なお、図１４に示したいずれのシステム構成においても、各個人の統合感情値は、ネットワークＮＴ上で、ある条件の下に公開され、他のユーザーはそれを閲覧することができる。ある条件とは、公開する側が閲覧可能なユーザーをそのユーザーのリクエストに応じて認証、あるいはそのユーザーを招待して予め認証しておくことが考えられる。逆に、全ユーザーに対して統合感情値が公開されており、閲覧する側が、自分で登録したユーザーの統合感情値のみ参照できるようにしても良い。公開する側が閲覧可能なユーザーを予め認証するのは、例えば友人・恋人同士・家族などが考えられる。また、閲覧する側が、自分で登録したユーザーの統合感情値のみ参照できるシステムは、例えば、芸能人が感情値を公開し、ファンがその芸能人を自分のリストに登録する場合などが考えられる。このように、共有感情値の送受信を行うことで、友人・恋人同士・家族間で感情をやりとりしたり、芸能人の感情をファンが共有したり、あるいは芸能人の投げかけに対してファンの感情値を収集したりすることができる。
　次に、図１５のフローチャートを参照し、共有感情値送受信処理の流れについて説明する。ここでは、図１４（ａ）に示したシステム構成において、共有感情値を送受信する場合を例示する。また、前提条件として、「コンテンツ再生装置Ｂ」は、統合感情値「５０」に設定されているものとする。さらに、「コンテンツ再生装置Ａ」、「コンテンツ再生装置Ｂ」共に、楽曲データを再生中であるものとする。
　まず、「コンテンツ再生装置Ａ」は、共有感情値「８０」を「コンテンツ再生装置Ｂ」に送信する（Ｓ１１）。「コンテンツ再生装置Ｂ」は、これを受信すると、統合感情値を「８０」に書き換える（Ｓ１２）。また、予め設定されている統合感情値「５０」と、受信した共有感情値「８０」との差分「３０」に応じて、楽曲データの編集を行う（Ｓ１３）。差分「３０」の楽曲データの編集とは、アクティブ感を大きくする曲調制御を行うことを意味する。
　その後、現在の統合感情値「８０」を共有感情値として、「コンテンツ再生装置Ａ」に送信すると（Ｓ１４）、「コンテンツ再生装置Ａ」は、これを受信する（Ｓ１５）。「コンテンツ再生装置Ａ」は、元々統合感情値「８０」が設定されていたため、共有感情値「８０」を受信しても楽曲データの編集は行わない。
　続いて、「コンテンツ再生装置Ａ」において、曲調コントローラー１１の操作や、生体・環境センサー１２が取得した外部情報に応じて、調整感情値「－２０」が入力されると、「コンテンツ再生装置Ａ」の統合感情値は「６０」となり、「－２０」分の楽曲データの編集を行う（Ｓ１６）。「－２０」分の楽曲データの編集とは、リラックス感を大きくする曲調制御を行うことを意味する。また、この状態で共有感情値を送信すると（Ｓ１７）、「コンテンツ再生装置Ｂ」は、共有感情値「６０」を受信し、統合感情値を「６０」に書き換える（Ｓ１８）。また、元々設定されていた統合感情値「８０」と、受信した共有感情値「６０」との差分「－２０」に応じて、楽曲データの編集を行う（Ｓ１９）。
　以上説明したとおり、第３実施形態によれば、他のコンテンツ再生装置１から、共有感情値を受信し、当該共有感情値と、予め設定されている統合感情値との差分に応じて、楽曲データを編集して再生するため、楽曲データの曲調から相手の感情を体感できる。また、コンテンツ再生装置１に設定されている統合感情値を、共有感情値として他のコンテンツ再生装置１に送信することにより、お互いの統合感情値を書き換え、感情のやりとりを行うことができる。つまり、送信された共有感情値により、一旦相手の気持ちを体感し、今度は相対調整量の入力や外部情報により、相手に「こうなって欲しい」といった感情を統合感情値として送信することで、送受信者が、互いの感情をコントロールできる。
　また、他のコンテンツ再生装置１との感情値の共有を、要求および容認するシェア要求・容認部２０を備えているため、所望するコンテンツ再生装置１とのみ、感情のやりとりを行うことができる。また、容認していないコンテンツ再生装置１から共有感情値を受信することがないため、セキュリティ効果を高めることができる。
　なお、上記の第３実施形態では、ある統合感情値に設定されている状態で、他のコンテンツ再生装置１から共有感情値を受信した場合、受信した共有感情値と同じ値となるように統合感情値を書き換えたが、予め設定されている統合感情値と、受信した感情値とに基づいて、新たな統合感情値を算出しても良い。例えば、統合感情値「６０」に設定されている状態で、他のコンテンツ再生装置１から共有感情値「８０」を受信した場合、それらの平均値「７０」を、新たな統合感情値として算出しても良い。
　また、上記の第３実施形態では、コンテンツ再生装置１に、曲調コントローラー１１および生体・環境センサー１２が搭載されているものとしたが、これらを省略した構成としても良い。この場合、統合感情値＝コンテンツの固有感情値となり、受信した共有感情値とコンテンツの固有感情値との差分に応じて、楽曲データの編集を行なうこととなる。
　また、上記の各実施形態では、「コンテンツ」として、楽曲（音楽）データを例示したが、写真データ、映像データ、文章（テキスト）データなど、他のコンテンツ種類（メディア）を用いても良い。また、コンテンツ種類が写真データ、映像データ、文章データ等の場合、コンテンツ解析部１３は、「コンテンツ特徴量」として、解像度、色合い（文字色）、フォント、表示サイズなどを算出しても良い。また、「コンテンツの編集」としては、コンテンツに対するコンテンツ特徴量の調整の他、コンテンツに対する情報の付加／抑制（画像の付加／抑制、文章の付加／抑制など）を行っても良い。
　また、コンテンツ再生装置１としては、上述したメディアプレイヤー、ネットワーク機能搭載音楽プレーヤー以外に、パーソナルコンピューター、スマートフォン等のタブレット端末、携帯電話等を用いても良い。
　また、任意のコンテンツの再生中、当該コンテンツを再生できなくなった場合、またはユーザーによりコンテンツ変更の指示があった場合、当該任意のコンテンツを、同じ固有感情値または統合感情値の別のコンテンツ（別種類のコンテンツ、あるいは同じコンテンツ種類内の別コンテンツ）に変換して提示しても良い。これにより、音が出せない状況の場合は、画像データとして、固有感情値または統合感情値を表示するなど、多様な表現方法を実現できる。また、任意の楽曲データの再生中に他の楽曲データの再生が指示された場合、あるいは任意の楽曲データが何らかの原因で再生不能となった場合、他の楽曲データを任意の楽曲データと同じ固有感情値または統合感情値に対応した曲調で再生する、などの対応も可能である。
　さらに、共有感情値の送受信を行う場合、送受信するコンテンツ再生装置１は、必ずしも同じ種類のコンテンツを再生でなくても良い。例えば、楽曲データを再生可能な「コンテンツ再生装置Ａ」から、画像データを再生可能な「コンテンツ再生装置Ｂ」に共有感情値を送信した場合、その共有感情値を画像データの編集に反映させても良い。
　また、上記の各実施形態に示したコンテンツ再生装置１の各機能および各処理工程をプログラムとして提供することも可能である。また、そのプログラムを各種記憶媒体（ＣＤ－ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピューターをコンテンツ再生装置１の各機能として機能させるためのプログラム、コンピューターにコンテンツ再生装置１の各処理工程を実行させるためのプログラムおよびそれを記録した記憶媒体も、本発明の権利範囲に含まれるものである。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
　１…コンテンツ再生装置　１１…曲調コントローラー　１２…生体・環境センサー　１３…コンテンツ解析部　１４…コンテンツ調整・再生部　１５…統合感情値出力部　１６…共有感情値受信部　１７…共有感情値送信部　１８…リスト表示部　１９…シェア制御部　２０…シェア要求・容認部　３１…平均音圧レベル検出器　３２…ＢＰＭ検出器　３３…ＢＰＭ正規化部　３４…重み付け部　３５…加算部　３７…バンドパスフィルタ　３８…平均・正規化回路　４１…付加音生成部　４１ａ…プリセットパターン記憶部　４１ｂ…付加音パターン生成部　４１ｃ…音源データ記憶部　４１ｄ…楽器別音色選択部　４１ｅ…楽器別伴奏データ生成部　４２…付加音調整部　４２ａ…楽器別音量・音質調整部　４３…伴奏抑圧部　４４…付加音合成部　４４ａ…ミックスレベル調整パターン記憶部　４４ｂ…ミックスバランス制御部　４４ｃ…テンポコントロール部　ＮＴ…ネットワーク　ＳＹ…コンテンツ再生システム

Claims (12)

  1. 　コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有の感情値として特定する固有感情値を算出する固有感情値算出ステップと、
    　感情値の調整を行うための相対調整量を入力する入力ステップと、
    　前記入力ステップの入力に伴い、前記コンテンツを編集して再生する再生ステップと、
    　前記相対調整量に応じて、前記固有感情値を調整した統合感情値を出力する統合感情値出力ステップと、を実行することを特徴とするコンテンツ再生方法。
  2. 　環境情報および／または生体情報である外部情報を取得する外部情報取得ステップをさらに実行し、
    　前記再生ステップは、前記相対調整量および前記外部情報に応じて、前記コンテンツを編集し、
    　前記統合感情値出力ステップは、前記相対調整量および前記外部情報に応じて、前記固有感情値を調整した統合感情値を出力することを特徴とする請求項１に記載のコンテンツ再生方法。
  3. 　前記再生ステップは、前記コンテンツの編集として、前記コンテンツに対する前記特徴量の調整および／または前記情報の付加／抑制を行うことを特徴とする請求項１に記載のコンテンツ再生方法。
  4. 　前記コンテンツが、楽曲データである場合、
    　前記コンテンツ再生ステップは、前記楽曲データの特徴量の調整、および／または前記楽曲データに対する音声信号の付加／抑制を行うことを特徴とする請求項３に記載のコンテンツ再生方法。
  5. 　前記再生ステップは、前記楽曲データの特徴量の調整として、少なくともテンポと音圧レベルを調整することを特徴とする請求項４に記載のコンテンツ再生方法。
  6. 　前記再生ステップは、前記楽曲データに対する音声信号の付加／抑制として、少なくとも伴奏データの付加／抑制を行うことを特徴とする請求項５に記載のコンテンツ再生方法。
  7. 　前記伴奏データとして用いるための楽器別のプリセットパターンと、楽器別のミックスレベル調整パターンを記憶するパターン記憶ステップをさらに実行し、
    　前記再生ステップは、前記ミックスレベル調整パターンを参照し、前記相対調整量および前記外部情報に応じて、前記プリセットパターンから生成された楽器別の伴奏データの出力音圧レベルを可変することにより、前記伴奏データの付加／抑制を行うことを特徴とする請求項６に記載のコンテンツ再生方法。
  8. 　前記固有感情値および前記統合感情値は、リラックス感またはアクティブ感を数値化したものであり、
    　前記入力ステップは、リラックス度とアクティブ度の間で、前記相対調整量を入力することを特徴とする請求項１ないし７のいずれか１項に記載のコンテンツ再生方法。
  9. 　前記再生ステップは、所定の順序にしたがってコンテンツを再生する場合、次に再生するコンテンツを、当該コンテンツの固有感情値と、調整された前記統合感情値の差分だけ編集して再生することを特徴とする請求項１ないし８のいずれか１項に記載のコンテンツ再生方法。
  10. 　前記再生ステップは、調整された前記統合感情値に応じて、次に再生するコンテンツを選択し、選択した当該コンテンツを再生することを特徴とする請求項１ないし８のいずれか１項に記載のコンテンツ再生方法。
  11. 　コンテンツ毎の特徴量に基づいて、コンテンツ毎に固有の感情値として特定する固有感情値を算出する固有感情値算出手段と、
    　感情値の調整を行うための相対調整量を入力する入力手段と、
    　前記入力手段の入力に伴い、前記コンテンツを編集して再生する再生手段と、
    　前記相対調整量に応じて、前記固有感情値を調整した統合感情値を出力する統合感情値出力手段と、を備えたことを特徴とするコンテンツ再生装置。
  12. 　コンピューターに、請求項１ないし１０のいずれか１項に記載のコンテンツ再生方法における各ステップを実行させるためのプログラム。
PCT/JP2012/005278 2012-08-23 2012-08-23 コンテンツ再生方法、コンテンツ再生装置およびプログラム Ceased WO2014030188A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/005278 WO2014030188A1 (ja) 2012-08-23 2012-08-23 コンテンツ再生方法、コンテンツ再生装置およびプログラム
JP2014531390A JP5980931B2 (ja) 2012-08-23 2012-08-23 コンテンツ再生方法、コンテンツ再生装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/005278 WO2014030188A1 (ja) 2012-08-23 2012-08-23 コンテンツ再生方法、コンテンツ再生装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2014030188A1 true WO2014030188A1 (ja) 2014-02-27

Family

ID=50149528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005278 Ceased WO2014030188A1 (ja) 2012-08-23 2012-08-23 コンテンツ再生方法、コンテンツ再生装置およびプログラム

Country Status (2)

Country Link
JP (1) JP5980931B2 (ja)
WO (1) WO2014030188A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228859A (ja) * 2016-06-20 2017-12-28 株式会社ハタプロ 通信システム、出力制御方法、プログラム
CN108364629A (zh) * 2018-03-12 2018-08-03 南京工程学院 一种智能调节电子琴、其控制系统及其控制方法
US10918325B2 (en) 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
JP2022502803A (ja) * 2018-09-21 2022-01-11 カーティス、スティーブ 感情データをソーシャルネットワークプラットフォームに統合し、ソーシャルネットワークプラットフォーム上で感情データを共有するシステムおよび方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10337379A (ja) * 1997-06-06 1998-12-22 Namco Ltd 情報記憶媒体及びゲーム装置
JPH1195770A (ja) * 1997-09-17 1999-04-09 Matsushita Electric Ind Co Ltd カラオケ装置及びカラオケ再生方法
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
JP2005049773A (ja) * 2003-07-31 2005-02-24 Denso Corp 音楽再生装置
JP2006301471A (ja) * 2005-04-25 2006-11-02 Sony Corp 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP2008242037A (ja) * 2007-03-27 2008-10-09 Yamaha Corp 楽曲データ自動生成装置及び音楽再生制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182531A (ja) * 2003-12-19 2005-07-07 Fuji Xerox Co Ltd 感情共有伝達システム
JP2006023524A (ja) * 2004-07-08 2006-01-26 Sony Corp 音響信号の分析装置および再生装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10337379A (ja) * 1997-06-06 1998-12-22 Namco Ltd 情報記憶媒体及びゲーム装置
JPH1195770A (ja) * 1997-09-17 1999-04-09 Matsushita Electric Ind Co Ltd カラオケ装置及びカラオケ再生方法
JP2001282847A (ja) * 2000-04-03 2001-10-12 Nec Corp 感性適応型情報提示装置及びプログラムを記録した機械読み取り可能な記録媒体
JP2005049773A (ja) * 2003-07-31 2005-02-24 Denso Corp 音楽再生装置
JP2006301471A (ja) * 2005-04-25 2006-11-02 Sony Corp 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP2008242037A (ja) * 2007-03-27 2008-10-09 Yamaha Corp 楽曲データ自動生成装置及び音楽再生制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228859A (ja) * 2016-06-20 2017-12-28 株式会社ハタプロ 通信システム、出力制御方法、プログラム
US10918325B2 (en) 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
CN108364629A (zh) * 2018-03-12 2018-08-03 南京工程学院 一种智能调节电子琴、其控制系统及其控制方法
CN108364629B (zh) * 2018-03-12 2023-11-10 南京工程学院 一种智能调节电子琴、其控制系统及其控制方法
JP2022502803A (ja) * 2018-09-21 2022-01-11 カーティス、スティーブ 感情データをソーシャルネットワークプラットフォームに統合し、ソーシャルネットワークプラットフォーム上で感情データを共有するシステムおよび方法

Also Published As

Publication number Publication date
JP5980931B2 (ja) 2016-08-31
JPWO2014030188A1 (ja) 2016-07-28

Similar Documents

Publication Publication Date Title
KR101094687B1 (ko) 노래학습 기능을 갖는 노래방 시스템
EP2661743B1 (en) Input interface for generating control signals by acoustic gestures
CN102576524A (zh) 接收、分析并编辑音频来创建音乐作品的系统和方法
CN108074557A (zh) 音调调整方法、装置及存储介质
JP2006084749A (ja) コンテンツ生成装置およびコンテンツ生成方法
JP5970934B2 (ja) 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記録媒体
JP2012234167A (ja) 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記憶媒体
JP2009244789A (ja) ガイドボーカル生成機能を備えるカラオケシステム
WO2009104269A1 (ja) 楽曲判別装置、楽曲判別方法、楽曲判別プログラム及び記録媒体
JP5980931B2 (ja) コンテンツ再生方法、コンテンツ再生装置およびプログラム
JP4926756B2 (ja) カラオケ効果音出力システム
JP5313196B2 (ja) 難易度算出装置、難易度算出方法及びコンピュータプログラム
JP6102076B2 (ja) 評価装置
JP6288197B2 (ja) 評価装置及びプログラム
JP6065703B2 (ja) 基準データ作成システム、及び演奏端末装置
JP6501344B2 (ja) 聴取者評価を考慮したカラオケ採点システム
JP2008216486A (ja) 音楽再生システム
JP6611633B2 (ja) カラオケシステム用サーバ
JP5678935B2 (ja) 楽器演奏評価装置、楽器演奏評価システム
JP6944357B2 (ja) 通信カラオケシステム
JP5980930B2 (ja) コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
KR20090023912A (ko) 음악 데이터 처리 시스템
JP6316099B2 (ja) カラオケ装置
JP5218509B2 (ja) カラオケ装置、カラオケシステム
JP5382361B2 (ja) 楽曲演奏装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12883304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014531390

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12883304

Country of ref document: EP

Kind code of ref document: A1