WO2023054237A1 - 効果音出力装置 - Google Patents

効果音出力装置 Download PDF

Info

Publication number
WO2023054237A1
WO2023054237A1 PCT/JP2022/035620 JP2022035620W WO2023054237A1 WO 2023054237 A1 WO2023054237 A1 WO 2023054237A1 JP 2022035620 W JP2022035620 W JP 2022035620W WO 2023054237 A1 WO2023054237 A1 WO 2023054237A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
sound effect
sound
output
power
Prior art date
Application number
PCT/JP2022/035620
Other languages
English (en)
French (fr)
Inventor
佑介 岡田
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2023551460A priority Critical patent/JPWO2023054237A1/ja
Publication of WO2023054237A1 publication Critical patent/WO2023054237A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices

Definitions

  • the present invention relates to a sound effect output device.
  • Patent Document 1 discloses a karaoke sound effect system.
  • the type of sound effect is set according to the genre of the song, and according to the scale of the selected live venue.
  • the output mode of sound effects (number of people clapping or cheering) is set.
  • One example of the problem to be solved by the present invention is to add more natural sound effects to music for listeners.
  • the invention according to claim 1 is a sound effect output device for outputting a sound effect to be mixed in a music, wherein the sound effect is output to the music at a timing based on the time change of the excitement of the music.
  • the sound effects are output such that the sound effects are mixed.
  • a sound effect output method for outputting a sound effect to be mixed in a musical piece, which is executed by a computer, wherein the sound effect is added to the musical piece at a timing based on the time change of the climax of the musical piece. output the sound effect so that the
  • the invention according to claim 7 causes a computer to execute the sound effect output method according to claim 6.
  • the invention according to claim 8 stores the sound effect output program according to claim 7.
  • FIG. 1 is a sound effect mixer 100 according to an embodiment of the present invention
  • 4A and 4B are diagrams showing examples of music output by a music output unit 120 and sound effect output by a sound effect output unit 130.
  • FIG. FIG. 5 is a diagram showing an example of processing operations in the sound effect mixing device 100
  • 4A and 4B are diagrams showing examples of music output by a music output unit 120 and sound effect output by a sound effect output unit 130.
  • FIG. 4A and 4B are diagrams showing examples of music output by a music output unit 120 and sound effect output by a sound effect output unit 130.
  • FIG. FIG. 5 is a diagram showing an example of processing operations in the sound effect mixing device 100;
  • a sound effect output device is a sound effect output device for outputting sound effects to be mixed in music, wherein the sound effects are added to the music at timing based on the time change of excitement of the music. Output the sound effects to be mixed. Therefore, in this embodiment, it is possible to output sound effects according to the excitement of the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.
  • the sound effect may be output so that the first sound effect is mixed with the portion where the music is lively.
  • the sound effects may be output so that the sound effects are mixed when the power of the low frequency range of the music exceeds a first threshold.
  • the power of the second range higher than the first range of the song rises and exceeds the fourth threshold while the power of the first range of the song exceeds the third threshold
  • the sound effect is output. You can make it work. By doing so, it is possible to make the listeners feel more the atmosphere of being in a live venue.
  • the sound effect may be output so that the sound effect is mixed at the point where the excitement of the music ends.
  • the sound effect may be output such that the first sound effect is mixed when the power of the low frequency range of the music falls below the second threshold.
  • the power of the first sound range of the music may be output when the second power of the music falls below the fifth threshold while the power of the first sound range remains above the third threshold.
  • the sound effect to be mixed in the music may be selected from among multiple patterns of sound source data for the sound effect based on the melody of the music. Further, the sound quality of sound effects mixed in the music may be changed based on the tone of the music. Also, the volume of the sound effect mixed in the music may be determined based on the tone of the music. By doing so, it becomes possible to mix the sound effects so as to blend in with the music. As a result, it is possible to make the listeners feel the atmosphere of being in a live venue.
  • a sound effect output method is a sound effect output method for outputting a sound effect mixed in a musical composition, which is executed by a computer, and comprises: The sound effects are output so that the sound effects are mixed with the musical piece at the same timing. Therefore, in this embodiment, it is possible to output sound effects according to the excitement of the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.
  • a sound effect output program causes a computer to execute the above sound effect output method. By doing so, it is possible to make the listeners feel more the atmosphere of being in a live venue by using a computer.
  • a computer-readable storage medium stores the above sound effect output program.
  • the above-mentioned sound effect output program can be distributed as a single unit instead of being incorporated into a device, and it becomes possible to easily upgrade the program.
  • FIG. 1 shows a sound effect mixer 100 according to one embodiment of the present invention.
  • the sound effect mixing device 100 mixes (appends) sound effects to music and outputs them so that listeners can enjoy the atmosphere of listening to music at a live venue. Therefore, the sound effect mixing device 100 includes a storage unit 110 that stores music data and sound source data for sound effects, a music output unit 120 that outputs music, a sound effect output unit 130 that outputs sound effects, and a mixing unit 140 for mixing the music output from the music output unit 120 with the sound effect output from the sound effect output unit 130 .
  • the sound of the music with the sound effects mixed by the mixing unit 140 is output from a sound output device such as a speaker.
  • the storage unit 110 stores music data and sound source data for sound effects.
  • the storage unit 110 is a storage device such as a hard disk or flash memory.
  • the music output unit 120 outputs music.
  • the music output unit 120 for example, acquires music data stored in the storage unit 110, a CD (Compact Disc), the cloud, or the like, generates a music signal from the acquired data, and outputs the generated music signal to output
  • the sound effect output unit 130 outputs sound effects.
  • the sound effect output unit 130 for example, acquires the sound source data for the sound effect stored in the storage unit 110, generates a sound effect signal from the acquired sound source data, and outputs the generated sound effect signal. .
  • sound effects there are primary sound effects such as cheers and applause that occur at the beginning and end of songs at live venues, secondary sound effects such as environmental sounds that are always occurring at live venues, and sound effects at live venues. There is a third sound effect such as hand clapping performed in time with the rhythm and beat of the music.
  • FIG. 2 is a diagram showing an example of music output by the music output unit 120 and sound effect output by the sound effect output unit 130 .
  • the first sound effects (cheers, applause, etc.) are added during the music or at the beginning and end of the music.
  • the second sound effect (environmental sound) is output before the output of the music starts, and is output while the music is being played.
  • the third sound effect (such as hand clapping) is output in synchronization with the beat and tempo of the music while the music is being output, as will be described in detail below.
  • the mixing unit 140 mixes the sound effects output from the sound effect output unit 130 with the music output from the music output unit 120, and outputs the music with the sound effects mixed.
  • the mixing unit 140 is, for example, a device that adds a plurality of signals and outputs the added signal. and output the added signal.
  • the sound effect mixing device 100 has a control section 150 that controls the output of music from the music output section 120 and the output of sound effects from the sound effect output section 130 .
  • the control unit 150 is configured by a computer having, for example, a CPU (Central Processing Unit).
  • the control unit 150 includes, for example, a music feature amount acquisition unit 151 that acquires the feature amount of a song, and a mode selection unit 152 that selects one mode from a plurality of modes related to the tone and genre of the song, the scale of the live venue, and the like. Then, based on the music feature amount acquired by the music feature amount acquisition unit 151 and the mode selected by the mode selection unit 152, the music output unit 120 outputs music and the sound effect output unit 130 outputs sound effects. and an output control unit 153 that controls the output.
  • the sound effect output device of the above embodiment includes, for example, a sound effect output section 130 and a control section 150 .
  • the music feature amount acquisition unit 151 acquires the feature amount of a song.
  • Music features include, for example, music volume, music beat position, number of beats per unit time (e.g., BPM (Beats Per Minute)), music beat, music beat clarity, music beat , the number of types of chords used in the music, the number of chords per unit time, the clarity of the chords, the power of each band, the position of the chorus of the music, and the like.
  • the music feature quantity acquisition unit 151 may acquire the feature quantity of the music by analyzing the music, or the feature quantity of the music obtained by prior analysis is stored in the storage unit 110 or the cloud. , and the music feature amount acquisition unit 151 may acquire the feature amounts of songs stored in the storage unit 110 or on the cloud. Further, the music feature amount acquisition unit 151 may acquire the music feature amount from the tag information attached to the music data stored in the storage unit 110, CD, or the like.
  • the output control unit 153 may control the sound volume output from the sound effect output unit 130 based on the sound volume of the music acquired by the music feature amount acquisition unit 151 . By doing so, it is possible to prevent the volume of the mixed sound effects from becoming too loud or too small compared to the volume of the music, so that more natural sound effects for the listener can be added to the music. It becomes possible to give it, and it becomes possible to make the listeners feel the atmosphere of being in a live venue. Further, the output control unit 153 detects the tone of the music based on the feature amount of the music acquired by the music feature amount acquiring unit 151, and outputs the sound effect output unit 130 based on the detected tone. It is good to control the volume of the sound effects that appear.
  • the output control unit 153 detects the level and tone of the music based on the feature amount of the music acquired by the music feature amount acquisition unit 151, and based on the detected level and tone, the output control unit 153 outputs sound effects.
  • the output of sound effects from 130 may be controlled.
  • the storage unit 110 may store sound effects for each level and tune of music, and the output control unit 153 may output the sound effects based on the detected level and tune. good.
  • the storage unit 110 stores sound effects for large-scale venues such as stadiums, outdoor festivals, and arenas, sound effects for medium-scale venues such as halls and medium-to-large-scale live houses, and small-scale live houses.
  • a sound effect for a small venue such as a music bar is stored, and the output control unit 153 converts the sound effect output from the sound effect output unit 130 to a sound effect for a large venue based on the detected melody.
  • the mode selection unit 152 selects one mode from a plurality of modes related to the melody and genre of music, the size of the live venue, and the like. At this time, the mode selection unit 152 may select the mode based on the user's input, or may select the mode based on the feature amount of the music, the tag information of the music, and the like.
  • the multiple modes should include modes prepared for each size of the live venue. For example, it is better to prepare a mode for large-scale venues, a mode for medium-scale venues, and a mode for small-scale venues. Then, the output control unit 153 determines the sound effect to be output from the sound effect output unit 130 based on the mode selected by the mode selection unit 152 (that is, for example, when the large-scale mode is selected). is determined as the sound effect to be output), and control is performed so that the determined sound effect is output from the sound effect output unit 130 . By doing so, sound effects matching the music are added, and it becomes possible to output more natural sound effects according to the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.
  • the multiple modes should include modes prepared for each melody or genre. For example, it is good to prepare a mode for upbeat tunes, a mode for calm tunes, a mode for classical music, a mode for jazz, and the like. Then, the storage unit 110 stores the sound effect for each mode, and the output control unit 153 selects the sound effect output from the sound effect output unit 130 based on the mode selected by the mode selection unit 152. (that is, when the mode for a good tune is selected, the sound effect for a good tune is determined as the sound effect to be output), and the determined effect is output from the sound effect output unit 130. It is good to control so that sound is output. By doing so, sound effects matching the music are added, and it becomes possible to output more natural sound effects according to the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue.
  • FIG. 3 is a diagram showing an example of the processing operation in the sound effect mixing device 100 according to this embodiment.
  • the music feature amount 151 acquires a music feature amount, or the mode selection unit 152 selects a mode (step S301).
  • the output control unit 153 causes the music output unit 120 to output music and the sound effect output unit 130 to output sound effects based on the acquired feature amount or the selected mode (step S302).
  • the mixing unit 140 mixes the music output from the music output unit 120 with the sound effect output from the sound effect output unit 130 (step S303).
  • the sound effect mixing device 100 mixes the sound effects with the music at the timing based on the time change of the excitement of the music.
  • the output control unit 153 controls the effect from the sound effect output unit 130 so that the sound effect is mixed with the music at the timing based on the index indicating the excitement of the music. Controls sound output. Therefore, in this embodiment, it is possible to output sound effects according to the excitement of the music. As a result, it is possible to add sound effects that are more natural to the listener to the music, and to make the listener feel the atmosphere of being in a live venue. At this time, it is preferable to use the power of the bass range (for example, the range of 300 Hz or less) of the music as an index indicating the excitement of the music.
  • the output control unit 153 preferably controls the output of sound effects from the sound effect output unit 130 so that, for example, the first sound effect is mixed in the exciting part of the music.
  • a portion where the power of the low frequency range of the music exceeds a predetermined value may be defined as a portion where the music is lively. That is, for example, the output control unit 153 controls the output of the sound effect from the sound effect output unit 130 so that the first sound effect is mixed when the power of the low frequency range of the music increases and exceeds the first threshold value. It is good to control the output of
  • the output control unit 153 may control the output of the sound effect from the sound effect output unit 130, for example, so that the first sound effect is mixed at the point where the excitement of the music ends.
  • a point where the power of the low frequency range of the music is below a predetermined value may be regarded as a point where the excitement of the music ends. That is, for example, the output control unit 153 reduces the power of the bass range of the music after it exceeds the first threshold, and when it falls below the second threshold, the power of the first sound effect is mixed.
  • the second threshold value may be the same value as the first threshold value, or may be a value different from the first value.
  • a 2nd threshold value is a value below a 1st threshold value, for example.
  • the power of the first sound range of the music and the power of the second sound range, which is higher than the first sound range of the music may be used as an index indicating the excitement of the music.
  • a low range e.g., a range of 300 Hz or less
  • a middle range e.g., a range between 300 Hz and 4.5 kHz
  • a portion where both the power of the first sound range of the music and the power of the second sound range of the music exceed a predetermined value is regarded as the place where the music is excited. That is, for example, when the power of the second range of music rises while the power of the first range of music exceeds the third threshold and exceeds the fourth threshold, the output control unit 153 sets the 1 is mixed, and when the power of the first sound range of the music rises while the power of the second sound range of the music exceeds the fourth threshold and exceeds the third threshold, the first sound effect is generated.
  • the sound effect is mixed, and when the power of the first sound range rises and exceeds the third threshold and at the same time the power of the second sound range rises and exceeds the fourth threshold, the first sound effect is generated. It is preferable to control the output of sound effects from the sound effect output unit 130 so that they are mixed.
  • the third threshold and the fourth threshold are appropriately set.
  • the output control unit 153 changes the power of the music from the state in which the first power of the music exceeds the third threshold and the power of the second range of music exceeds the fourth threshold to the power of the first power of the music. While the third threshold is exceeded, the power of the second sound range of the music decreases, and when the power falls below the fifth threshold, the sound effect output unit 130 outputs the power so that the first sound effect is mixed. It is good to control the output of the sound effect of .
  • the fifth threshold may be the same value as the fourth threshold, or may be a different value from the fourth threshold.
  • a 5th threshold value is a value below a 4th threshold value, for example.
  • the power of the second range of the song exceeds the fifth threshold. If the power of the first sound range of the music falls while remaining above the threshold and falls below the sixth threshold, it is preferable not to mix the first sound effect. In other words, if the power of the first sound range of the song falls below the sixth threshold before the power of the second sound range of the song falls below the fifth threshold, then the first sound effect should not be mixed. good.
  • the sixth threshold may be the same value as the third threshold, or may be a different value from the third threshold.
  • the sixth threshold is, for example, a value less than or equal to the third threshold.
  • the length of the sound effect mixed at the timing based on the time change of the excitement of the music may be fixed at a predetermined value, or the characteristic amount of the music such as the melody and genre of the music, and the characteristics of the music. You may make it change according to how exciting.
  • the audience cheers and applauds at the beginning and end of the performance.
  • the timing at which the cheers and applause occur varies depending on the scale of the live venue, the tone and genre of the music played at the live venue, and the like.
  • the sound effect mixing device 100 determines how to add the first sound effect (cheers, applause) to the music based on the melody and genre of the music.
  • the tune and genre of the music are preferably acquired by the music feature quantity acquisition unit 151 .
  • selecting a mode by the mode selection unit 152 also determines the tune and genre of music. Therefore, in the sound effect mixing apparatus 100 according to the present embodiment, the first sound effect (cheers, applause) is added to the music based on the set mode (that is, the mode selected by the mode selection unit). The method may be determined.
  • the output control unit 153 selects the first effect based on the melody of the music (for example, the melody of the beginning of the song), the genre, or the mode selected by the mode selection unit. The time when the sound overlaps with the beginning of the music is determined, and based on this determination, the output of the music by the music output unit 120 and the output of the sound effect by the sound effect output unit 130 are controlled. In particular, in the sound effect mixing apparatus 100 according to the present embodiment, the output control unit 153 controls the first output so as to overlap the beginning of the music based on the melody of the music, the genre, or the mode selected by the mode selection unit.
  • the output of music by the music output unit and the output of sound effects by the sound effect output unit are controlled.
  • the sound effect output unit 130 is controlled so as to output the first sound effect so as to overlap with the beginning of the music, as shown in FIG.
  • the sound effect output unit 130 performs control so that the first sound effect is output before the start of outputting the music, as shown in FIG. 5, so as not to overlap with the music. be done.
  • the timing of outputting the sound effect added to the beginning of the song may be determined based on the volume of the song or the speed at which the volume of the song changes.
  • the sound effect mixing device 100 determines the timing of outputting the sound effect added to the end of the music based on the time until the end of the music and the volume of the music. For example, as shown in FIGS. 4 and 5, after a predetermined time te before the end of the music, when the level of the music falls below a predetermined volume value, the level of the music is added to the ending portion of the music. Outputs the sound effect of 1. By doing so, it is possible to add the first sound effects such as cheers and applause to the music at the same timing as the cheers and applause performed when the audience feels that the music is over at the live venue. .
  • the change in volume at the end of a song differs depending on the song. Therefore, the timing of outputting the effect sound added to the end of the music may be based on the change speed of the volume of the music. By doing so, it is possible to output a sound effect suitable for a change in volume at the end of a piece of music.
  • the predetermined volume value that serves as the threshold may be determined based on the tone of the music (for example, the tone of the end of the music), the genre, and/or the size of the venue. By doing so, it is possible to add sound effects that are more natural to the listener to the music, and to allow the listener to more enjoy the atmosphere of being in a live venue.
  • music tunes and genres are divided into two groups, a first group and a second group.
  • the music output unit 120 and the sound effect output unit 130 may be controlled so as to start outputting the first sound effect.
  • the output control unit 153 determines that the output of the first sound effect by the sound effect output unit 130 is finished, as shown in FIG. It is preferable to control the music output section 120 and the music output section 130 so that the output of the music is started later.
  • Calm songs are often played in smaller venues than upbeat songs. Therefore, for example, when the tone or genre of the music is included in the first group, the output control unit 153 sets the volume of the music to the first level after a predetermined time te before the end of the music.
  • the sound effect output unit 140 is controlled so as to start outputting the first sound effect when the volume becomes equal to or less than the volume value, and the tune and genre of the music are those included in the second group. control the sound effect output unit 140 so as to start outputting the first sound effect after a predetermined time te before the end of the music and when the volume of the music falls below the second volume value. You can make it work.
  • the storage unit 110 stores multiple types of sound source data for the first sound effect, and the output control unit 153 randomly selects from the multiple types of sound source data each time the first sound effect is output. It is also possible to select one sound source data and output this sound source data as the first sound effect. By doing so, the cheers and applause are different at the beginning and the end of the music, and the cheers and applause are different for each music. It is possible to add natural sound effects to music, allowing listeners to experience the atmosphere of being at a live venue.
  • the storage unit 110 stores a plurality of types of sound source data for the first sound effect for each venue size, and the output control unit 153 outputs the first sound effect, Sound source data may be randomly selected from a plurality of types of sound source data for venues of a scale based on the mode selected by the mode selection unit 152, and this sound source data may be output as the first sound effect.
  • Sound source data may be randomly selected from a plurality of types of sound source data for venues of a scale based on the mode selected by the mode selection unit 152, and this sound source data may be output as the first sound effect.
  • cheers and applause suitable for the size of the venue are added to the music, and it is possible to add more natural sound effects to the music for the listeners. It is possible to make the atmosphere more enjoyable.
  • the storage unit 110 stores a plurality of patterns of sound source data for the first sound effect for each tune. to detect the melody of a piece of music, based on the detected melody, one pattern of sound source data is selected from a plurality of patterns of sound source data, and the selected pattern of sound source data is used as a first sound effect. It may be output as
  • the sound source data pattern includes, for example, a pattern in which applause stands out more than cheers, and a pattern in which cheers stand out more than applause.
  • the output control unit 153 detects the tone of the music based on the feature amount of the music acquired by the music feature amount acquiring unit 151, and outputs the sound effect output unit 130 based on the detected tone.
  • the sound quality of the first sound effect may be changed.
  • the output control unit 153 detects the melody of the music based on the feature amount of the music acquired by the music feature amount acquisition unit 151, and based on the detected melody, the effect output from the sound effect output unit 130 It would be nice to control the volume of the sound. At this time, the output control unit 130 preferably decreases the volume of the sound effect, for example, after the volume of the first sound effect gradually increases. Further, at this time, the output control unit 153 determines the volume transition when the volume of the first sound effect is increased and the volume transition when the volume of the first sound effect is decreased based on the tune of the music. It's good to try.
  • the sound source data for the first sound effect added to the music In addition to the sound source data for the first sound effect added to the music, the sound source data for the first sound effect added to the beginning of the music and the first sound effect added to the end of the music It is also possible to prepare sound source data for use. At this time, the sound source data of the first sound effect added to the music, the first sound effect added to the beginning of the music, and the first sound effect added to the end of the music, respectively. , a plurality of types of sound source data may be prepared.
  • the output control unit 153 causes the song output unit 120 to output the first sound effect added to the ending part of the previous song after the output of the first sound effect is finished. It is better to output the next music by At this time, the time ti between the previous song and the next song may be constant or may be randomly selected.
  • the output control unit 153 when songs of a genre included in the second group are continuously output, the output control unit 153, as shown in FIG. When the output of the sound effect is finished, the music output unit 120 should output the next music.
  • the output control unit 153 causes the sound effect output unit 130 to output the first sound effect while the songs are continuous. Instead, the sound effect output unit 130 may output the first sound effect only at the end of the last piece of music. At this time, the output control unit 153 may cause the music output unit 120 to output the music so that there is no interval between consecutive music.
  • the output level of the first sound effect may be gradually increased from zero until a certain period of time elapses from the start of the output of the first sound effect, for example. That is, the first sound effect may be faded in.
  • FIG. 6 is a diagram showing an example of processing operations in the sound effect mixing device 100 according to this embodiment.
  • the output control unit 153 first outputs the music by the music output unit 120 (step S602).
  • the output control unit 153 randomly selects one sound source data from the plurality of types of first sound effect sound source data.
  • the sound effect output unit 130 outputs the sound source data as the first sound effect (Step S605).
  • step S606 Until the time elapses before the predetermined time te before the end of the music (step S606, NO; step S610, NO), the power of the low frequency range of the music increases, and when it exceeds the first threshold (step S607, YES ), the output control unit 153 randomly selects one sound source data from a plurality of types of sound source data for the first sound effect (step S608), and the sound effect output unit 130 converts this sound source data into the first sound effect data. output as sound (step S609), and after that, when the power of the bass range of the music drops and falls below the second threshold (step S611, YES), the output control unit 153 outputs a plurality of types of first effects. One sound source data is randomly selected from the sound source data for sound (step S612), and the sound source data is output as the first sound effect by the sound effect output unit 130 (step S613).
  • step S606 when the volume of the song falls below the first volume value (step S614, YES), the output control unit 153 , one sound source data is randomly selected from a plurality of types of sound source data for the first sound effect (step S615), and the sound effect output unit 130 outputs this sound source data as the first sound effect (step S616). ).
  • the output control unit 153 One sound source data is randomly selected from a plurality of types of sound source data for the first sound effect (step S617), and the sound effect output unit 130 outputs this sound source data as the first sound effect (step S618).
  • the output control unit 153 causes the music output unit 120 to output music (step S620).
  • step S621, YES when the volume of the song falls below the second volume value (step S622, YES), the output control unit 153 , one sound source data is randomly selected from a plurality of types of sound source data for the first sound effect (step S623), and the sound effect output unit 130 outputs this sound source data as the first sound effect (step S624). ).
  • the output control unit 153 determines the volume of the first sound effect output by the sound effect output unit 130 and the transition of the volume of the first sound effect based on the volume of the music and the speed of change in the volume of the music. You can make it work.
  • REFERENCE SIGNS LIST 100 sound effect mixing device 110 storage unit 120 music output unit 130 sound effect output unit 140 mixing unit 150 control unit 151 music feature amount acquisition unit 152 mode selection unit 153 output control unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

聴者にとってより自然な効果音を楽曲に付与する。　楽曲中に混合される効果音を出力する際に、前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する。

Description

効果音出力装置
　本発明は、効果音出力装置に関する。
　楽曲に効果音を付与し、ライブ会場の雰囲気を味わえるようにする技術が知られている。例えば、特許文献１には、カラオケ効果音システムが開示されており、このカラオケ効果音設定システムでは、楽曲のジャンルに応じて効果音の種別が設定され、選択されたライブ会場の規模に応じて効果音の出力態様（手拍子や歓声を発する人数）が設定されている。
特開２０１６－７０９９９号公報
　ライブ会場では、楽曲の演奏中に、楽曲の盛り上がりに応じて、観客による歓声や拍手が発生する。また、ライブ会場では、楽曲が演奏される際に、演奏の始まりの部分や、終わりの部分において、観客による歓声や拍手が発生する。この歓声や拍手が発生するタイミングは、ライブ会場の規模やライブ会場で演奏される楽曲の曲調やジャンルなどにより変化する。 しかしながら、特許文献１では、楽曲の盛り上がりに応じた歓声や拍手や、楽曲の曲調やジャンルなどに応じた歓声や拍手が生じるタイミングの変化は考慮されていない。
　本発明が解決しようとする課題としては、聴者にとってより自然な効果音を楽曲に付与することが一例として挙げられる。
　上記課題を解決するために、請求項１に記載の発明は、楽曲中に混合される効果音を出力する効果音出力装置であって、前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する。
　請求項６に記載の発明は、コンピュータにより実行される、楽曲中に混合される効果音を出力する効果音出力方法であって、前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する。
　請求項７に記載の発明は、請求項６に記載の効果音出力方法を、コンピュータに実行させる。
　請求項８に記載の発明は、請求項７に記載の効果音出力プログラムを記憶している。
本発明の一実施例に係る効果音混合装置１００である。 楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。 効果音混合装置１００における処理動作の一例を示す図である。 楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。 楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。 効果音混合装置１００における処理動作の一例を示す図である。
　本発明の一実施形態に係る効果音出力装置は、楽曲中に混合される効果音を出力する効果音出力装置であって、前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する。このため、本実施形態では、楽曲の盛り上がりに応じた効果音の出力を行うことが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　前記楽曲が盛り上がった箇所に第１の効果音が混合されるように、前記効果音を出力するようにしても良い。例えば、前記楽曲の低音域のパワーが第１の閾値を超えたときに前記効果音が混合されるように、前記効果音を出力するようにしても良い。また、前記楽曲の第１の音域のパワーが第３の閾値を超えた状態で前記楽曲の前記第１の音域より高い第２の音域のパワーが上昇して第４の閾値を超えたときに、または、前記楽曲の第２の音域のパワーが第４の閾値を超えた状態で前記楽曲の第１の音域のパワーが上昇して第３の閾値を超えたときに、前記効果音を出力するようにしても良い。このようにすることで、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　前記楽曲の盛り上がりが終わった箇所に前記効果音が混合されるように、前記効果音を出力するようにしても良い。例えば、前記楽曲の低音域のパワーが第２の閾値を下回ったときに第１の効果音が混合されるように、前記効果音の出力するようにしても良い。また、前記楽曲の第１の音域のパワーが第３の閾値を超え、前記楽曲の前記第１の音域より高い第２の音域のパワーが第４の閾値を超えた状態から、前記楽曲の第１の音域のパワーが第３の閾値を超えた状態のまま、前記楽曲の第２のパワーが下降し、第５の閾値を下回ったときに、前記効果音を出力するようにしても良い。このようにすることで、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　楽曲中に混合される効果音は、前記楽曲の曲調に基づいて、当該効果音用の複数パターンの音源データのうちから選択されるようにしても良い。また、前記楽曲の曲調に基づいて、楽曲中に混合される効果音の音質を変化させるようにしても良い。また、楽曲中に混合される効果音の音量は、前記楽曲の曲調に基づいて決定されるようにしても良い。このようにすることで、効果音を楽曲になじむように混合することが可能になる。結果、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　また、本発明の一実施形態にかかる効果音出力方法は、コンピュータにより実行される、楽曲中に混合される効果音を出力する効果音出力方法であって、前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する。このため、本実施形態では、楽曲の盛り上がりに応じた効果音の出力を行うことが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　また、本発明の一実施形態に係る効果音出力プログラムは、上記の効果音出力方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の効果音出力プログラムを記憶している。このようにすることで、上記の効果音出力プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。
＜効果音混合装置１００＞
　図１は、本発明の一実施例に係る効果音混合装置１００である。効果音混合装置１００は、聴者がライブ会場で楽曲を聴いているような雰囲気を味わえるようにするために、楽曲に効果音を混合（付与）して出力する。そこで、効果音混合装置１００は、楽曲のデータや効果音用の音源データなどを記憶する記憶部１１０と、楽曲を出力する楽曲出力部１２０と、効果音を出力する効果音出力部１３０と、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する混合部１４０と、を有する。混合部１４０により効果音が混合された楽曲の音は、スピーカなどの音出力装置から出力される。
　記憶部１１０は、楽曲のデータや効果音用の音源データを記憶する。記憶部１１０は、ハードディスクやフラッシュメモリなどの記憶装置である。
　楽曲出力部１２０は、楽曲を出力する。楽曲出力部１２０は、例えば、記憶部１１０やＣＤ（Ｃｏｍｐｃｔ　Ｄｉｓｃ）、クラウド上などに記憶された楽曲のデータを取得し、この取得したデータから楽曲の信号を生成し、生成された楽曲の信号を出力する。
　効果音出力部１３０は、効果音を出力する。効果音出力部１３０は、例えば、記憶部１１０に記憶された効果音用の音源データを取得し、この取得した音源データから効果音の信号を生成し、生成された効果音の信号を出力する。
　効果音としては、ライブ会場において楽曲に始まりや終わりに生じる歓声や拍手などの第１の効果音、ライブ会場において常時発生している環境音（ざわつき）などの第２の効果音、ライブ会場において楽曲のリズムや拍に合わせて行われる手拍子などの第３の効果音がある。
　図２は、楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。図２に示した例では、第１の効果音（歓声や拍手など）は、楽曲中や、楽曲の始まりの部分と終わりの部分に付与される。第２の効果音（環境音）は、楽曲の出力が始まる前から出力され、楽曲が再生されている間はずっと出される。第３の効果音（手拍子など）は、下記で詳述するように、楽曲が出力されている間に、楽曲の拍やテンポに同期して出力される。
　混合部１４０は、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合し、効果音が混合された楽曲を出力する。混合部１４０は、例えば、複数の信号を加算して、加算された信号を出力する装置であり、楽曲出力部１２０から出力された楽曲の信号と効果音出力部１３０から出力された効果音の信号とを加算し、加算された信号を出力する。
　さらに、効果音混合装置１００は、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する制御部１５０を有する。制御部１５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などを有するコンピュータにより構成される。
　制御部１５０は、例えば、楽曲の特徴量を取得する楽曲特徴量取得部１５１と、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択するモード選択部１５２と、楽曲特徴量取得部１５１により取得された楽曲の特徴量やモード選択部１５２により選択されたモードに基づいて、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する出力制御部１５３と、を有する。上記実施形態の効果音出力装置は、例えば、効果音出力部１３０と制御部１５０を含む。
　楽曲特徴量取得部１５１は、楽曲の特徴量を取得する。楽曲の特徴量は、例えば、楽曲の音量、楽曲の拍の位置、単位時間あたりの拍の数（例えば、ＢＰＭ（Ｂｅａｔｓ　Ｐｅｒ　Ｍｉｎｕｔｅ））、楽曲の拍子、楽曲の拍の明瞭度、楽曲の拍の位置における音量レベルの均等度、楽曲に使用される和音の種類の数、単位時間あたりの和音の数、和音の明瞭度、各帯域のパワー、楽曲のサビの位置などである。
　楽曲特徴量取得部１５１は、楽曲を解析することで、楽曲の特徴量を取得するようにしても良いし、事前の解析で得られていた楽曲の特徴量が記憶部１１０やクラウド上に記憶されるようにし、楽曲特徴量取得部１５１は、記憶部１１０やクラウド上に記憶された楽曲の特徴量を取得するようにしても良い。また、楽曲特徴量取得部１５１は、記憶部１１０やＣＤなどに記憶された楽曲のデータに付与されたタグ情報から、楽曲の特徴量を取得するようにしても良い。
　例えば、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の音量に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。このようにすることで、楽曲の音量に比べて、混合された効果音の音量が大きくなりすぎることや、小さくなりすぎることを防ぐことが可能になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。
　また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲のレベルや曲調を検出し、この検出されたレベルや曲調に基づいて、効果音出力部１３０からの効果音の出力を制御するようにしても良い。このとき、例えば、記憶部１１０が、楽曲のレベルや曲調ごとに効果音を記憶するようにし、出力制御部１５３は、検出されたレベルや曲調に基づいて、効果音を出力するようにしても良い。また、例えば、記憶部１１０が、スタジアムや野外フェス、アリーナなどの大規模会場用の効果音や、ホールや中大規模のライブハウスなどの中規模会場用の効果音、小規模のライブハウスや音楽バーなどの小規模会場用の効果音を記憶するようにし、出力制御部１５３は、検出された曲調に基づいて、効果音出力部１３０から出力される効果音を、大規模会場用の効果音、中規模会場用の効果音、小規模会場用の効果音のいずれにするかを決定するようにしても良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　モード選択部１５２は、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択する。このとき、モード選択部１５２は、ユーザの入力に基づいてモードを選択するようにしても良いし、楽曲の特徴量や楽曲のタグ情報などに基づいてモードを選択するようにしても良い。
　例えば、複数のモードには、ライブ会場の規模ごとに用意されたモードを含むようにすると良い。例えば、大規模会場用のモードや、中規模会場用のモード、小規模会場用のモードを用意すると良い。そして、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、例えば、大規模用のモードが選択された場合は、出力される効果音として、大規模用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　例えば、複数のモードには、曲調やジャンルごとに用意されたモードを含むようにすると良い。例えば、ノリのいい曲用のモードや、落ち着いた曲用のモード、クラシック用のモード、ジャズ用のモードなどを用意すると良い。そして、記憶部１１０が、各モード用の効果音を記憶するようにし、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、ノリのいい曲用のモードが選択された場合は、出力される効果音として、ノリのいい曲用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
＜効果音混合装置１００における処理動作＞
　図３は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲特徴量１５１が楽曲の特徴量を取得する、または、モード選択部１５２がモードを選択する（ステップＳ３０１）。出力制御部１５３は、取得した特徴量または選択されたモードに基づいて、楽曲出力部１２０により楽曲を出力し、効果音出力部１３０により効果音の出力する（ステップＳ３０２）。混合部１４０が、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する（ステップＳ３０３）。
＜効果音出力部１３０による効果音の出力＞
　ライブ会場では、楽曲の演奏中に、楽曲の盛り上がりに応じて、観客による歓声や拍手が発生する。
　そこで、本実施例に係る効果音混合装置１００では、楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音を混合する。つまり、本実施例に係る効果音混合装置１００において、出力制御部１５３は、楽曲の盛り上がりを示す指標に基づいたタイミングで楽曲に効果音を混合されるように、効果音出力部１３０からの効果音の出力を制御する。このため、本実施例では、楽曲の盛り上がりに応じた効果音の出力を行うことが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。このとき、楽曲の盛り上がりを示す指標として、楽曲の低音域（例えば、３００Ｈｚ以下の音域）のパワーを用いると良い。
　ライブ会場では、楽曲が盛り上がった箇所で、観客も盛り上がり、歓声や拍手が発生する。そこで、出力制御部１５３は、例えば、楽曲が盛り上がった箇所に第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御すると良い。このとき、例えば、楽曲の低音域のパワーが所定の値を超えた箇所を、楽曲が盛り上がった箇所とすると良い。つまり、出力制御部１５３は、例えば、楽曲の低音域のパワーが上昇し、第１の閾値を超えたときに第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御すると良い。
　また、ライブ会場では、楽曲の盛り上がりが終わった箇所で歓声や拍手が発生する。そこで、出力制御部１５３は、例えば、楽曲の盛り上がりが終わった箇所に第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御しても良い。このとき、例えば、楽曲の低音域のパワーが所定の値を下回った箇所を、楽曲の盛り上がりが終わった箇所とすると良い。つまり、出力制御部１５３は、例えば、楽曲の低音域のパワーが第１の閾値を超えた後に下降し、第２の閾値を下回ったときに第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御すると良い。ここで、第２の閾値は、第１の閾値と同じ値であっても良いし、第１の値と異なる値であっても良い。第２の閾値は、例えば、第１の閾値以下の値である。
　また、楽曲の盛り上がりを示す指標として、楽曲の第１の音域のパワーと、楽曲の第１の音域より高い第２の音域のパワーと、を用いるようにしても良い。このとき、第１の音域として、例えば、低音域（例えば、３００Ｈｚ以下の音域）を用い、第２の音域として、例えば、中音域（例えば、３００Ｈｚと４．５ｋＨｚとの間の音域）を用いると良い。
　このとき、楽曲の第１の音域のパワーと楽曲の第２の音域のパワーの両方が所定の値を超えた箇所を、楽曲が盛り上がった箇所とすると良い。つまり、出力制御部１５３は、例えば、楽曲の第１の音域のパワーが第３の閾値を超えた状態で楽曲の第２の音域のパワーが上昇して第４の閾値を超えたときに第１の効果音が混合され、楽曲の第２の音域のパワーが第４の閾値を超えた状態で楽曲の第１の音域のパワーが上昇して第３の閾値を超えたときに第１の効果音が混合され、第１の音域のパワーが上昇して第３の閾値を超えると同時に第２の音域のパワーが上昇して前記第４の閾値を超えたときに第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御すると良い。ここで、第３の閾値、第４の閾値は、適宜設定される。
　また、楽曲の第２の音域のパワーが所定の値を下回った箇所を、楽曲の盛り上がりが終わった箇所とすると良い。つまり、出力制御部１５３は、例えば、楽曲の第１のパワーが第３の閾値を超え、楽曲の第２の音域のパワーが第４の閾値を超えた状態から、楽曲の第１のパワーが第３の閾値を超えた状態のまま、楽曲の第２の音域のパワーが下降し、第５の閾値を下回ったときに第１の効果音が混合されるように、効果音出力部１３０からの効果音の出力を制御すると良い。第５の閾値は、第４の閾値と同じ値であっても良いし、第４の値と異なる値であっても良い。第５の閾値は、例えば、第４の閾値以下の値である。
　このとき、楽曲の第１のパワーが第３の閾値を超え、楽曲の第２の音域のパワーが第４の閾値を超えた状態から、楽曲の第２の音域のパワーが第５の閾値を超えた状態のまま、楽曲の第１の音域のパワーが下降し、第６の閾値を下回った場合は、第１の効果音を混合しないようにすると良い。つまり、楽曲の第２の音域のパワーが第５の閾値を下回る前に、楽曲の第１の音域のパワーが第６の閾値を下回った場合は、第１の効果音を混合しないようにすると良い。第６の閾値は、第３の閾値と同じ値であっても良いし、第３の値と異なる値であっても良い。第６の閾値は、例えば、第３の閾値以下の値である。
　上記の楽曲の盛り上がりの時間変化に基づいたタイミングで混合される効果音の長さは、所定の値で固定するようにしても良いし、楽曲の曲調やジャンルなどの楽曲の特徴量や楽曲の盛り上がり方などに応じて変化させるようにしても良い。
　また、ライブ会場では、楽曲が演奏される際に、演奏の始まりの部分や、終わりの部分において、観客による歓声や拍手が発生する。この歓声や拍手が発生するタイミングは、ライブ会場の規模やライブ会場で演奏される楽曲の曲調やジャンルなどにより変化する。
　そこで、本実施例に係る効果音混合装置１００では、楽曲の曲調やジャンルに基づいて、第１の効果音（歓声、拍手）の楽曲への付与の仕方を決定する。このとき、楽曲の曲調やジャンルは、楽曲特徴量取得部１５１により取得されるようにすると良い。また、モードが曲調やジャンルごとに用意されている場合、モード選択部１５２によりモードを選択することでも、楽曲の曲調やジャンルが決まる。よって、本実施例に係る効果音混合装置１００では、設定されたモード（つまり、モード選択部により選択されたモード）に基づいて、第１の効果音（歓声、拍手）の楽曲への付与の仕方を決定するようにしても良い。
　例えば、本実施例に係る効果音混合装置１００では、出力制御部１５３は、楽曲の曲調（例えば、曲頭の曲調）やジャンルまたはモード選択部により選択されたモードに基づいて、第１の効果音が楽曲の始まりの部分に重複する時間を決定し、この決定に基づいて、楽曲出力部１２０による楽曲の出力と効果音出力部１３０による効果音の出力を制御する。特に、本実施例に係る効果音混合装置１００では、出力制御部１５３は、楽曲の曲調やジャンルまたはモード選択部により選択されたモードに基づいて、楽曲の始まりの部分に重複するように第１の効果音を出力するのか否かを決定し、この決定に基づいて、楽曲出力部による楽曲の出力と効果音出力部による効果音の出力を制御する。例えば、本実施例において、効果音出力部１３０は、図４に示すように、楽曲の始まりの部分に重複するように、第１の効果音が出力されるように制御される。また、本実施例において、効果音出力部１３０は、図５に示すように、楽曲の出力が開始される前に、楽曲に重複しないように、第１の効果音が出力されるように制御される。このようにすることで、本実施例では、楽曲の曲調やジャンルに応じた効果音の出力を行うことが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　また、楽曲の始まりの部分に付与される効果音を出力するタイミングは、楽曲の音量や楽曲の音量の変化スピードに基づいて決定されるようにしても良い。
　また、本実施例に係る効果音混合装置１００では、楽曲の終わりの部分に付与される効果音を出力するタイミングを、楽曲の終了までの時間および前記楽曲の音量に基づいて決定する。例えば、図４、５に示すように、楽曲の終了の所定の時間ｔｅ前の時間以降に、楽曲のレベルが所定の音量値以下になったときに、楽曲の終わりの部分に付与される第１の効果音を出力する。このようにすることで、ライブ会場において楽曲が終わったと観客が感じたときに行う歓声や拍手と同様のタイミングで、楽曲に歓声や拍手などの第１の効果音を付与することが可能になる。
　楽曲の終了する際の音量の変化は、楽曲によって異なる。そこで、楽曲の終わりの部分に付与される効果音を出力するタイミングは、楽曲の音量の変化スピードに基づくようにしても良い。このようにすることで、楽曲の終了する際の音量の変化に適した効果音の出力を行うことが可能になる。
　このとき、閾値となる所定の音量値は、楽曲の曲調（例えば、曲末の曲調）やジャンルおよび／または会場の規模に基づいて決定するようにしても良い。このようにすることで、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　例えば、音楽の曲調やジャンルを二つのグループ、第１のグループと第２のグループに分け、出力制御部１５３は、楽曲の曲調やジャンルが第１のグループに含まれる曲調やジャンルであるときは、図４に示すように、第１の効果音の出力を開始するように、楽曲出力部１２０と効果音出力部１３０を制御するようにすると良い。また、出力制御部１５３は、楽曲の曲調やジャンルが第２のグループに含まれるジャンルであるときは、図５に示すように、効果音出力部１３０による第１の効果音の出力が終了した後に、楽曲の出力が開始されるように、楽曲出力部１２０と楽曲出力部１３０を制御するようにすると良い。
　落ち着いた楽曲は、ノリのいい楽曲よりも小さい会場で演奏されることが多い。そこで、出力制御部１５３は、例えば、楽曲の曲調やジャンルが第１のグループに含まれる曲調やジャンルであるときは、楽曲の終了の所定時間ｔｅ前の時間以降かつ楽曲の音量が第１の音量値以下になったときに第１の効果音の出力を開始するように、効果音出力部１４０を制御するようにし、楽曲の曲調やジャンルが第２のグループに含まれる曲調やジャンルであるときは、楽曲の終了の所定時間ｔｅ前の時間以降かつ楽曲の音量が第２の音量値以下になったときに第１の効果音の出力を開始するように、効果音出力部１４０を制御するようにしても良い。
　また、記憶部１１０に第１の効果音用の複数種類の音源データを記憶するようにし、出力制御部１５３は、第１の効果音を出力するごとに、この複数種類の音源データからランダムに１つの音源データを選択し、この音源データを第１の効果音として出力するようにしても良い。このようにすることで、楽曲の始まりと終わりとで、歓声や拍手が変わり、また、楽曲ごとに、歓声や拍手が変わるため、楽曲に付与される効果音がより自然になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　このとき、記憶部１１０には、会場の規模ごとに、第１の効果音用の複数種類の音源データを記憶するようし、出力制御部１５３は、第１の効果音を出力するごとに、モード選択部１５２により選択されたモードに基づいた規模の会場用の複数種類の音源データからランダムに選択し、この音源データを第１の効果音として出力するようにしても良い。このようにすることで、会場の規模にあった歓声や拍手が楽曲に付与されることになり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。
　記憶部１１０には、曲調ごとに、第１の効果音用の複数パターンの音源データを記憶するようし、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、複数パターンの音源データのうちから１つのパターンの音源データを選択し、この選択されたパターンの音源データを第１の効果音として出力するようにしても良い。音源データのパターンは、例えば、拍手が歓声よりも目立つパターンや、歓声が拍手よりも目立つパターンを含む。
　また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０から出力される第１の効果音の音質を変化させるようにしても良い。
　出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。このとき、出力制御部１３０は、効果音の音量を、例えば、第１の効果音の音量が徐々に上がった後に、徐々に下がるようにすると良い。また、このとき、出力制御部１５３は、第１の効果音の音量が上がる際の音量の遷移や、第１の効果音の音量の下がる際の音量の遷移を、楽曲の曲調に基づいて決定するようにすると良い。
　楽曲中に付与される第１の効果音の音源データとは別に、楽曲の始まる部分に付与される第１の効果音用の音源データ、楽曲の終わりの部分に付与される第１の効果音用の音源データを用意するようにしても良い。また、このとき、楽曲中に付与される第１の効果音の音源データ、楽曲の始まる部分に付与される第１の効果音、楽曲の終わりの部分に付与される第１の効果音のそれぞれに対して、複数種類の音源データを用意するようにしても良い。
　楽曲を連続して出力するときは、出力制御部１５３は、図４に示すように、前の楽曲に終わりの部分に付与された第１の効果音の出力が終わった後に、楽曲出力部１２０により次の楽曲の出力をするようにすると良い。このとき、前の楽曲と次の楽曲の間の時間ｔｉは、一定であっても良いし、ランダムに選択されるようにしても良い。
　また、例えば、第２のグループに含まれるジャンルの楽曲が連続して出力されるときは、出力制御部１５３は、図５に示すように、前の楽曲に終わりの部分に付与された第１の効果音の出力が終わったときに、楽曲出力部１２０により次の楽曲の出力をするようにすると良い。または、第２のグループに含まれるジャンルの楽曲が連続して出力されるときに、出力制御部１５３は、楽曲が連続している間は、効果音出力部１３０により第１の効果音を出力せず、最後の楽曲の終わりの部分にのみ、効果音出力部１３０により第１の効果音を出力するようにしても良い。このとき、出力制御部１５３は、連続する楽曲間には間隔が入らないように、楽曲出力部１２０により楽曲を出力するようにしても良い。
　また、第１の効果音の出力レベルは、例えば、第１の効果音が出力開始から一定時間経過するまでの間に、ゼロから漸増するようにしても良い。つまり、第１の効果音は、フェイドインするようにしても良い。
　図６は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。出力制御部１５３は、楽曲の曲調やジャンルが第１のグループに含まれる曲調やジャンルであるならば（ステップＳ６０１、ＹＥＳ）、まず、楽曲出力部１２０により、楽曲を出力する（ステップＳ６０２）。楽曲が出力されてから所定の時間ｔｂが経過したときに（ステップＳ６０３、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６０４）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ６０５）。
　楽曲の終了の所定時間ｔｅ前の時間を超えるまでは（ステップＳ６０６、ＮＯ；ステップＳ６１０、ＮＯ）、楽曲の低音域のパワーが上昇し、第１の閾値を超えたときに（ステップＳ６０７、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６０８）、効果音出力部１３０により、この音源データを第１の効果音として出力し（ステップＳ６０９）、その後、楽曲の低音域のパワーが下降し、第２の閾値を下回ったときに（ステップＳ６１１、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６１２）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ６１３）。
　そして、楽曲の終了の所定時間ｔｅ前の時間を超えた後（ステップＳ６０６、ＹＥＳ）、楽曲の音量が第１の音量値以下になったときに（ステップＳ６１４、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６１５）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ６１６）。
　一方、出力制御部１５３は、楽曲の曲調やジャンルが第１のグループに含まれる曲調やジャンルでなく、第２のグループに含まれる曲調やジャンルであるならば（ステップＳ６０１、ＮＯ）、まず、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６１７）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ６１８）。第１の効果音の出力が終了したとき（ステップＳ６１９、ＹＥＳ）、出力制御部１５３は、楽曲出力部１２０により、楽曲を出力する（ステップＳ６２０）。
　そして、楽曲の終了の所定時間ｔｅ前の時間を超えた後（ステップＳ６２１、ＹＥＳ）、楽曲の音量が第２の音量値以下になったときに（ステップＳ６２２、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ６２３）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ６２４）。
　また、出力制御部１５３は、楽曲の音量と楽曲の音量の変化スピードに基づいて、効果音出力部１３０により出力される第１の効果音の音量や第１の効果音の音量の遷移を決定するようにしても良い。
　以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
　１００　効果音混合装置
　１１０　記憶部
　１２０　楽曲出力部
　１３０　効果音出力部
　１４０　混合部
　１５０　制御部
　１５１　音楽特徴量取得部
　１５２　モード選択部
　１５３　出力制御部

Claims (13)

  1. 　楽曲中に混合される効果音を出力する効果音出力装置であって、
    　前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する、効果音出力装置。
  2. 　前記楽曲が盛り上がった箇所に第１の効果音が混合されるように、前記効果音を出力する、請求項１に記載の効果音出力装置。
  3. 　前記楽曲の低音域のパワーが上昇し、第１の閾値を超えたときに前記効果音が混合されるように、前記効果音を出力する、請求項２に記載の効果音出力装置。
  4. 　前記楽曲の第１の音域のパワーが第３の閾値を超えた状態で前記楽曲の前記第１の音域より高い第２の音域のパワーが上昇して第４の閾値を超えたときに、前記楽曲の第２の音域のパワーが第４の閾値を超えた状態で前記楽曲の第１の音域のパワーが上昇して第３の閾値を超えたときに、または、前記第１の音域のパワーが上昇して前記第３の閾値を超えると同時に前記第２の音域のパワーが上昇して前記第４の閾値を超えたときに、前記効果音を出力する、請求項２に記載の効果音出力装置。
  5. 　前記楽曲の盛り上がりが終わった箇所に前記効果音が混合されるように、前記効果音を出力する、請求項１から３のいずれか一項に記載の効果音出力装置。
  6. 　前記楽曲の低音域のパワーが下降し、第２の閾値を下回ったときに第１の効果音が混合されるように、前記効果音の出力する、請求項４に記載の効果音出力装置。
  7. 　前記楽曲の第１の音域のパワーが第３の閾値を超え、前記楽曲の前記第１の音域より高い第２の音域のパワーが第４の閾値を超えた状態から、前記楽曲の第１の音域のパワーが第３の閾値を超えた状態のまま、前記楽曲の第２のパワーが下降し、第５の閾値を下回ったときに、前記効果音を出力する、請求項５に記載の効果音出力装置。
  8. 　楽曲中に混合される効果音は、前記楽曲の曲調に基づいて、当該効果音用の複数パターンの音源データのうちから選択される、請求項１から７のいずれか一項に記載の効果音出力装置。
  9. 　前記楽曲の曲調に基づいて、楽曲中に混合される効果音の音質を変化させる、請求項１から８のいずれか一項に記載の効果音出力装置。
  10. 　楽曲中に混合される効果音の音量は、前記楽曲の曲調に基づいて決定される、請求項１から８のいずれか一項に記載の効果音出力装置。
  11. 　コンピュータにより実行される、楽曲中に混合される効果音を出力する効果音出力方法であって、
    　前記楽曲の盛り上がりの時間変化に基づいたタイミングで楽曲に効果音が混合されるように、前記効果音を出力する、効果音出力方法。
  12. 　請求項１１に記載の効果音出力方法を、コンピュータに実行させる効果音出力プログラム。
  13. 　請求項１２に記載の効果音出力プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
PCT/JP2022/035620 2021-09-30 2022-09-26 効果音出力装置 WO2023054237A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023551460A JPWO2023054237A1 (ja) 2021-09-30 2022-09-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021160743 2021-09-30
JP2021-160743 2021-09-30

Publications (1)

Publication Number Publication Date
WO2023054237A1 true WO2023054237A1 (ja) 2023-04-06

Family

ID=85782614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035620 WO2023054237A1 (ja) 2021-09-30 2022-09-26 効果音出力装置

Country Status (2)

Country Link
JP (1) JPWO2023054237A1 (ja)
WO (1) WO2023054237A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467700U (ja) * 1990-10-25 1992-06-16
JP2015219320A (ja) * 2014-05-15 2015-12-07 株式会社エクシング プログラム、カラオケ装置及びカラオケシステム
JP2016070999A (ja) * 2014-09-27 2016-05-09 株式会社第一興商 カラオケ効果音設定システム
WO2017195292A1 (ja) * 2016-05-11 2017-11-16 Ｐｉｏｎｅｅｒ ＤＪ株式会社 楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラム
JP2021162708A (ja) * 2020-03-31 2021-10-11 パイオニア株式会社 効果音出力装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0467700U (ja) * 1990-10-25 1992-06-16
JP2015219320A (ja) * 2014-05-15 2015-12-07 株式会社エクシング プログラム、カラオケ装置及びカラオケシステム
JP2016070999A (ja) * 2014-09-27 2016-05-09 株式会社第一興商 カラオケ効果音設定システム
WO2017195292A1 (ja) * 2016-05-11 2017-11-16 Ｐｉｏｎｅｅｒ ＤＪ株式会社 楽曲構造解析装置、楽曲構造解析方法および楽曲構造解析プログラム
JP2021162708A (ja) * 2020-03-31 2021-10-11 パイオニア株式会社 効果音出力装置

Also Published As

Publication number Publication date
JPWO2023054237A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
JP6452229B2 (ja) カラオケ効果音設定システム
JP4175337B2 (ja) カラオケ装置
WO2023054237A1 (ja) 効果音出力装置
JP2023016956A (ja) 電子楽器、伴奏音指示方法、プログラム、及び伴奏音自動生成装置
WO2023054236A1 (ja) 音声出力装置
JP2021162708A (ja) 効果音出力装置
JP2021162707A (ja) 効果音出力装置
JPH05333890A (ja) カラオケ装置
JP2021113895A (ja) 伴奏音生成装置、電子楽器、伴奏音生成方法および伴奏音生成プログラム
US10424279B2 (en) Performance apparatus, performance method, recording medium, and electronic musical instrument
JP2021162710A (ja) 効果音混合装置
JP2005107285A (ja) 楽曲再生装置
JP2021162711A (ja) 効果音出力装置
JP2021162709A (ja) 効果音出力装置
JP2023050570A (ja) 効果音混合装置
JP6901955B2 (ja) カラオケ装置
JP5551983B2 (ja) カラオケ演奏制御システム
JP7117229B2 (ja) カラオケ装置
JP2010156783A (ja) テンポ制御機能を備えるカラオケ演奏システム
JP4168391B2 (ja) カラオケ装置、音声処理方法及びプログラム
KR20060129978A (ko) 곡 데이터 편집 기능 및 mp3기능이 내장된 휴대용 플레이어
JP2001100771A (ja) カラオケ装置
JP2023032143A (ja) カラオケ装置
JP2023033753A (ja) カラオケ装置
JP2000122672A (ja) カラオケ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22876104

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023551460

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22876104

Country of ref document: EP

Kind code of ref document: A1