WO2024070231A1 - 出力制御装置、出力制御方法、およびプログラム - Google Patents

出力制御装置、出力制御方法、およびプログラム Download PDF

Info

Publication number
WO2024070231A1
WO2024070231A1 PCT/JP2023/028544 JP2023028544W WO2024070231A1 WO 2024070231 A1 WO2024070231 A1 WO 2024070231A1 JP 2023028544 W JP2023028544 W JP 2023028544W WO 2024070231 A1 WO2024070231 A1 WO 2024070231A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound signal
time constant
slope
amplitude
unit
Prior art date
Application number
PCT/JP2023/028544
Other languages
English (en)
French (fr)
Inventor
隼人 大下
隆志 森
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2024070231A1 publication Critical patent/WO2024070231A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GREPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00Means for the representation of music
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to an output control device, an output control method, and a program.
  • Patent document 1 is known as a conventional technology for displaying the level of an audio signal.
  • the display control device described in patent document 1 is a display control device for controlling a level meter that displays changes in the level of an audio signal, and includes a setting unit that variably sets the display delay time of the level meter relative to attenuation changes in the level of the audio signal, and a control unit that controls the level value to be displayed on the level meter based on the display delay time set in the setting unit and the level of the audio signal (see claim 1).
  • Patent document 1 also describes that the device further includes a storage unit that stores display delay time information that predefines a display delay time appropriate for each type (musical instrument type) indicating the source of the audio signal, and that the setting unit sets a display delay time according to the type indicating the source of the audio signal based on the display delay time information stored in the storage unit (see claim 2, paragraph 0018).
  • a storage unit that stores display delay time information that predefines a display delay time appropriate for each type (musical instrument type) indicating the source of the audio signal, and that the setting unit sets a display delay time according to the type indicating the source of the audio signal based on the display delay time information stored in the storage unit (see claim 2, paragraph 0018).
  • Patent Document 1 describes that when the level of an audio signal attenuates, the level value is controlled so as to show the attenuation change in level later than the actual attenuation change in level based on the display delay time, whereas when the level of the audio signal increases, the level value is controlled so as to show the increase in level following the increase in the actual level in a shorter time than when the signal attenuates (see claim 4).
  • Patent Document 1 variably sets the delay time for the level meter display in response to changes in the type of instrument or audio signal level, it is sometimes unable to adjust the output value appropriately to match the volume (sense of loudness) perceived by humans for audio signals that change in a wide variety of ways.
  • one aspect of the present disclosure aims to appropriately adjust the output value according to the sense of volume.
  • an output control device that includes a slope determination unit that determines the slope of the amplitude change of a sound signal whose amplitude changes on a time axis, a setting unit that sets a time constant based on the slope determined by the slope determination unit, and a control unit that controls an output value related to the sound signal based on the time constant set by the setting unit.
  • One aspect of the present disclosure is an output control device that includes an instrument identification unit that identifies an instrument based on a sound signal whose amplitude changes on a time axis, a setting unit that sets a time constant based on the instrument identified by the instrument identification unit, and a control unit that controls an output value related to the sound signal based on the time constant set by the setting unit, where the time constant is set based on the slope of the amplitude change of the sound signal corresponding to the instrument.
  • One aspect of the present disclosure is an output control device that includes a determination unit that determines the slope of the amplitude change of a sound signal whose amplitude changes on a time axis or identifies an instrument based on the sound signal, a setting unit that sets a time constant for each predetermined section of the sound signal based on the slope of the amplitude change of the sound signal determined by the determination unit or the slope of the amplitude change of the sound signal corresponding to the instrument identified by the determination unit, and a control unit that controls an output value related to the sound signal based on the time constant for each predetermined section set by the setting unit.
  • Another aspect of the present disclosure is an output control method including the steps of acquiring a sound signal whose amplitude changes on a time axis, determining a slope of the amplitude change of the sound signal, setting a time constant based on the slope, and controlling an output value related to the sound signal based on the time constant.
  • Another aspect of the present disclosure is a program that causes a computer to execute the steps of acquiring a sound signal whose amplitude changes on a time axis, determining the slope of the amplitude change of the sound signal, setting a time constant based on the slope, and controlling an output value related to the sound signal based on the time constant.
  • Another aspect of the present disclosure is an output control method that includes the steps of acquiring a sound signal whose amplitude changes on a time axis, identifying an instrument based on the sound signal, setting a time constant based on the instrument, and controlling an output value related to the sound signal based on the time constant, where the time constant is set based on the slope of the amplitude change of the sound signal corresponding to the instrument.
  • Another aspect of the present disclosure is a program that causes a computer to execute the steps of acquiring a sound signal whose amplitude changes on a time axis, identifying an instrument based on the sound signal, setting a time constant based on the instrument, and controlling an output value related to the sound signal based on the time constant, where the time constant is set based on the slope of the amplitude change of the sound signal corresponding to the instrument.
  • Another aspect of the present disclosure is an output control method including the steps of acquiring a sound signal whose amplitude changes on a time axis, determining the slope of the amplitude change of the sound signal or identifying an instrument based on the sound signal, setting a time constant for each predetermined section of the sound signal based on the slope of the amplitude change of the sound signal or the slope of the amplitude change of the sound signal corresponding to the instrument, and controlling an output value related to the sound signal based on the time constant for each predetermined section.
  • Another aspect of the present disclosure is a program that causes a computer to execute the steps of acquiring a sound signal whose amplitude changes on a time axis, determining the slope of the amplitude change of the sound signal or identifying an instrument based on the sound signal, setting a time constant for each predetermined section of the sound signal based on the slope of the amplitude change of the sound signal or the slope of the amplitude change of the sound signal corresponding to the instrument, and controlling an output value related to the sound signal based on the time constant for each predetermined section.
  • the output value can be adjusted appropriately according to the sense of volume.
  • FIG. 1 is a block diagram showing a sound output system according to a first embodiment.
  • 1 is a block diagram showing an example of a sound output system according to a first embodiment.
  • 5 is a diagram showing an example of the relationship between the amplitude [dB] and time [sec] of a sound signal in the embodiment.
  • FIG. 5 is a diagram showing an example of the relationship between the amplitude [dB] of a sound signal, a meter value, and time [sec] in the embodiment.
  • FIG. 13 is a diagram showing another example of the relationship between the amplitude [dB] of a sound signal, the meter value, and time [sec] in the embodiment.
  • FIG. 13 is a diagram showing another example of the relationship between the amplitude [dB] of a sound signal, the meter value, the reference value, and time [sec] in the embodiment.
  • FIG. 4 is a flowchart showing an example of a process of the output control device according to the first embodiment;
  • FIG. 13 is a block diagram showing an example of a sound output system according to a second embodiment.
  • 4 is a diagram showing an example of the relationship between the amplitude [dB] of a sound signal output from a musical instrument, a meter value, a reference value, and time [sec] in the embodiment.
  • FIG. 4 is a flowchart showing an example of a process of the output control device according to the first embodiment
  • FIG. 13 is a block diagram showing an example of a sound output system according to a second embodiment.
  • 4 is a diagram showing an example of the relationship between the amplitude [dB] of a sound signal output from a musical instrument, a meter value, a reference value,
  • FIG. 13 is a diagram showing an example of the relationship between the amplitude [dB], meter value, reference value, and time [sec] of a sound signal output from another musical instrument in the embodiment.
  • FIG. 1 is a diagram showing an example of a relationship between the type of musical instrument, the rising time constant, and the falling time constant according to an embodiment.
  • FIG. FIG. 11 is a block diagram showing another example of the output control device according to the second embodiment.
  • FIG. 13 is a diagram showing an example of the relationship between a musical instrument identified by a sound signal, an ascending time constant, and a descending time constant with respect to a time period in the embodiment.
  • FIG. 13 is a block diagram showing an example of the configuration of a sound output system according to a third embodiment.
  • FIG. 13 is a block diagram showing a sound output system according to a modified example of the embodiment.
  • FIG. 13 is a block diagram showing a sound output system according to another modified example of the embodiment.
  • FIG. 1 is a block diagram showing a sound output system 1 in the first embodiment.
  • the sound output system 1 includes, for example, an output control device 100, a sound signal output device 200, and an output device 300.
  • the output control device 100 is an information processing device with a built-in computer.
  • the output control device 100 inputs a sound signal output from the sound signal output device 200 and outputs a control signal to the output device 300.
  • the sound signal is a signal for outputting sound and a signal whose amplitude changes on the time axis.
  • the sound signal output device 200 is, for example, a playback device that reads content stored in a recording medium and outputs a sound signal such as music.
  • the content stored in the recording medium is, for example, static demo content, which is a sound signal recorded in advance.
  • the sound signal output device 200 outputs a sound signal to the output control device 100.
  • the output device 300 outputs an output value related to the sound signal according to the control signal output from the output control device 100.
  • the output device 300 is, but is not limited to, a display device and an automatic volume adjustment device as described later.
  • the output device 300 may be a device other than a display device or an automatic volume adjustment device, so long as it is a device that outputs an output value related to a sound signal based on a control signal output from the output control device 100.
  • the output control device 100 in the sound output system 1 includes, for example, a tilt determination unit 110, a setting unit 120, and a control unit 130.
  • the functional units such as the tilt determination unit 110, the setting unit 120, and the control unit 130 are realized by, for example, a CPU (Central Processing Unit) that executes a program, a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), etc.
  • the output control device 100 acquires a sound signal whose amplitude changes on the time axis.
  • the tilt determination unit 110 determines the tilt of the amplitude change of the acquired sound signal.
  • the setting unit 120 sets a time constant based on the tilt determined by the tilt determination unit 110.
  • the control unit 130 controls the output value of the sound signal based on the time constant set by the setting unit 120.
  • the display device 310 is, for example, a volume peak meter display device such as a display device mounted on a digital mixer or a display device provided in an information processing device in which a DAW (Digital Audio Workstation) is installed, but is not limited to this and may be a device that displays meter values related to sound signals other than peak values.
  • the display device 310 includes, for example, a display unit 312 that displays the meter values, and a display control unit 314 that controls the display operation of the display unit 312.
  • the display unit 312 is, for example, a liquid crystal display device that displays the meter values.
  • the display control unit 314 is an electronic circuit that drives the display unit 312 based on a display control signal supplied from the output control device 100.
  • the automatic volume adjustment device 320 is an electronic device that adjusts the volume of a sound output device (not shown) that inputs a sound signal and outputs sound.
  • the automatic volume adjustment device 320 includes, for example, a volume operation unit 322 and an automatic adjustment unit 324.
  • the volume operation unit 322 has an operator such as an operation slider or an operation dial that is operated by a user of the sound output device.
  • the volume operation unit 322 adjusts the volume value of the sound signal to a volume value according to the operation of the operator.
  • the automatic adjustment unit 324 automatically controls the volume value of the sound signal in accordance with a volume control signal supplied from the output control device 100.
  • FIG. 3 is a diagram showing an example of the relationship between the amplitude [dB] and time [sec] of a sound signal in an embodiment.
  • the amplitude envelope of the sound signal follows the temporal change in the amplitude of the sound signal.
  • the amplitude (amplitude envelope) of the sound signal rises with a steep slope A1, and then falls with a gentle slope A2.
  • the slope determination unit 110 determines the slope of the amplitude change of the sound signal as shown in FIG. 3.
  • the setting unit 120 sets a time constant for the sound signal based on the slope of the amplitude change of the sound signal.
  • the time constant for the sound signal is a value indicating the delay time of the output value of the sound signal relative to the amplitude of the sound signal.
  • the setting unit 120 can increase the delay time of the output value of the sound signal relative to the amplitude of the sound signal by setting the time constant to a large value.
  • the setting unit 120 can decrease the delay time of the output value of the sound signal relative to the amplitude of the sound signal by setting the time constant to a small value.
  • the control unit 130 generates a display control signal that displays the amplitude of the sound signal based on the time constant set by the setting unit 120.
  • the control unit 130 outputs the generated display control signal to the display device 310.
  • the control unit 130 generates a volume control signal that controls the volume based on the time constant set by the setting unit 120.
  • the control unit 130 outputs the generated volume control signal to the automatic volume adjustment device 320.
  • FIG. 4 is a diagram showing an example of the relationship between the amplitude [dB] of a sound signal, the meter value, and time [sec] in an embodiment.
  • the meter value is a value used to display the peak value of the sound signal by the display device 310.
  • the meter value is an example of an output value related to a sound signal.
  • Figure 5 is a diagram showing another example of the relationship between the amplitude [dB] of a sound signal, the meter value, and time [sec] in an embodiment.
  • the rising time constant ⁇ r2 and the falling time constant ⁇ f2 are set large, as shown in Figure 5, even if the amplitude of the sound signal rises sharply, the meter value rises with a lag behind the sound signal, and when the amplitude of the sound signal then falls gently, the meter value can be made to gradually fall closer to the sound signal.
  • FIG. 6 is a diagram showing another example of the relationship between the amplitude [dB] of a sound signal, the meter value, the reference value, and time [sec] in an embodiment. If the rising time constant ⁇ r and the falling time constant ⁇ f are set to the same value so that the meter value follows the sound signal earlier than the meter value shown in FIG. 5, as shown in FIG. 6, it can be seen that the meter value follows with a slight delay both when the sound signal is rising and when it is falling.
  • the setting unit 120 can calculate the rising time constant ⁇ r and the falling time constant ⁇ f.
  • the setting unit 120 can set the rising time constant ⁇ r and the falling time constant ⁇ f to the same value, or can set the rising time constant ⁇ r and the falling time constant ⁇ f to different values.
  • the control unit 130 has a reference value calculation unit 132.
  • the reference value calculation unit 132 calculates a reference value for the volume of the sound signal based on the time constant set by the setting unit 120.
  • the reference value calculation unit 132 calculates a reference value from the sound signal after the sound signal has been changed by the time constant.
  • the reference value is, for example, the maximum amplitude or the mean squared amplitude of the sound signal within a predetermined time period, but is not limited to this, and may be any value calculated by a known calculation method using the sound signal.
  • the control unit 130 generates a volume control signal for setting the volume value, and outputs the generated volume control signal to the automatic volume adjustment device 320.
  • the reference value shown in FIG. 6 is a value calculated by the reference value calculation unit 132 based on the sound signal.
  • FIG. 7 is a flowchart showing an example of processing of the output control device 100 in the first embodiment.
  • the flowchart shown in FIG. 7 is executed repeatedly for each predetermined section on the time axis, for example.
  • the output control device 100 acquires a sound signal (step S100).
  • the slope determination unit 110 determines the slope of the amplitude change of the sound signal by detecting the change on the time axis of the amplitude of the sound signal acquired and input in step S100 (step S102).
  • the setting unit 120 determines whether the slope direction of the amplitude change of the sound signal is upward (step S104).
  • step S104 If the slope direction of the amplitude change of the sound signal is upward (step S104: YES), the setting unit 120 sets the ascending time constant ⁇ r based on the slope of the amplitude change of the sound signal (step S106). If the slope direction of the amplitude change of the sound signal is downward (step S104: NO), the setting unit 120 sets the descending time constant ⁇ f based on the slope of the amplitude change of the sound signal (step S108). Next, the control unit 130 controls the output value based on the rising time constant ⁇ r or the falling time constant ⁇ f (step S110).
  • the slope of the amplitude change of the sound signal is determined, a time constant is set based on the determined slope, and the output value related to the sound signal is controlled based on the set time constant.
  • a time constant is set based on the slope of the amplitude change of the sound signal, and the output value related to the sound signal is controlled based on the time constant, so that the output value can be changed according to the steepness of the amplitude change of the sound signal.
  • the output value can be appropriately adjusted according to the sense of volume felt by humans when the amplitude of the sound signal rises and when the amplitude falls.
  • the output control device 100 can reduce the time constant of the output value when the slope of the amplitude change of the sound signal is steep, and can reduce the delay in the meter display relative to the sound signal. As a result, the output control device 100 can suppress the deviation of the sense of volume relative to the meter display. Furthermore, according to the output control device 100, when a suddenly changing sound is output, if the reference value for the sound signal is small, it may not match the sense of volume. In response to this, the output control device 100 can reduce the time constant of the output value when the slope of the amplitude change of the sound signal is steep, and can increase the reference value for the sound signal.
  • the slope when the amplitude of the sound signal rises and the slope when the amplitude of the sound signal falls are determined, and an ascending time constant ⁇ r and a descending time constant ⁇ f are set, and the output value is controlled based on the ascending time constant ⁇ r when the amplitude of the sound signal is rising, and the output value is controlled based on the descending time constant ⁇ f when the amplitude of the sound signal is falling.
  • the time constant can be appropriately set to change the output value.
  • the second embodiment will be described below.
  • the same parts as those in the above-mentioned embodiment are denoted by the same reference numerals and detailed description will be omitted.
  • the output control device 100A in the second embodiment is different from the above-mentioned embodiment in that the output control device 100A identifies an instrument based on a sound signal and sets a time constant based on the identified instrument.
  • FIG. 8 is a block diagram showing an example of a sound output system 1A in the second embodiment.
  • the sound output system 1A in the second embodiment includes, for example, a musical instrument 200A connected to an output control device 100A.
  • the musical instrument 200A generates a sound signal in response to a performance by a user, and outputs the generated sound signal to the output control device 100A.
  • the musical instrument 200A is a device having abstract content (the tone of the instrument) with no determined performance content.
  • the output control device 100A includes, for example, an instrument identification unit 110A, a setting unit 120A, and a control unit 130A.
  • the functional units such as the instrument identification unit 110A, the setting unit 120A, and the control unit 130A are realized by, for example, a CPU that executes a program.
  • the instrument identification unit 110A identifies an instrument based on the sound signal output from the instrument 200A. For example, the instrument identification unit 110A may identify the tone by performing a predetermined signal processing on the sound signal and identify the instrument based on the identified tone, and may identify the instrument by comparing a pre-stored sound signal or a processing result based on the sound signal with a sound signal input from the instrument 200A or a processing result based on the sound signal.
  • the setting unit 120A sets the time constant based on the instrument identified by the instrument identification unit 110A.
  • FIG. 9 is a diagram showing an example of the relationship between the amplitude [dB], meter value, reference value, and time [sec] of the sound signal output from the instrument 200A in the embodiment
  • FIG. 10 is a diagram showing an example of the relationship between the amplitude [dB], meter value, reference value, and time [sec] of the sound signal output from another instrument 200A in the embodiment.
  • the sound signal shown in FIG. 9 is, for example, a signal based on a sound generated when a piano key is pressed, and the amplitude of the sound signal increases sharply and then gradually decreases.
  • the setting unit 120A sets the time constant to a large value.
  • the setting unit 120A sets the time constant to a small value. The time constant is set based on the slope of the amplitude change of the sound signal corresponding to the instrument 200A.
  • FIG. 11 is a diagram showing an example of the relationship between the type of musical instrument, the rising time constant ⁇ r, and the falling time constant ⁇ f in the embodiment.
  • the relationship shown in FIG. 11 is stored as table data, for example, in a storage device (not shown) in the output control device 100A.
  • the setting unit 120A sets the rising time constant ⁇ r and the falling time constant ⁇ f corresponding to the instrument identified by the instrument identification unit 110A.
  • the instrument identification unit 110A may determine the type of instrument, but is not limited to this, and may identify the playing method of the instrument 200A, and the setting unit 120A may set the rising time constant ⁇ r and the falling time constant ⁇ f corresponding to the playing method of the instrument 200A identified by the instrument identification unit 110A.
  • the playing method of the instrument 200A includes, for example, picking and finger plucking of the guitar, but is not limited to this, and if the playing method has a certain tendency in the slope of the amplitude change of the sound signal, the time constant corresponding to the playing method may be set. Furthermore, if there is a factor that has a certain tendency in the slope of the amplitude change of the sound signal, such as the playing method of the musical instrument 200A, the environment in which the musical instrument 200A is played (indoors, outdoors), the method of processing the sound signal, etc., a time constant corresponding to that factor may be set.
  • FIG. 12 is a block diagram showing another example of the output control device 100A in the second embodiment.
  • the setting unit 120A includes, for example, a time constant setting unit 122, a melody determination unit 124, and a time constant adjustment unit 126.
  • the time constant setting unit 122 sets a time constant corresponding to the identified instrument 200A based on the identification result of the instrument 200A by the instrument identification unit 110A.
  • the melody determination unit 124 determines the melody based on the sound signal output from the instrument 200A.
  • the melody includes at least one element of the duration, strength, pitch, number of simultaneous sounds, number of consecutive sounds, and sounding time interval of the sound signal.
  • the melody determination unit 124 determines the melody of the sound signal by determining the elements contained in the sound signal.
  • the time constant adjustment unit 126 adjusts the time constant set by the time constant setting unit 122 based on the melody determined by the melody determination unit 124. If the melody has a steep slope of the amplitude change of the sound signal, the time constant adjustment unit 126 reduces the time constant set by the time constant setting unit 122. If the melody has a steep slope of the amplitude change of the sound signal, the time constant adjustment unit 126 increases the time constant set by the time constant setting unit 122.
  • the time constant adjustment unit 126 outputs the time constant adjusted using the melody to the control unit 130A. As a result, the control unit 130A generates a display control signal so that the meter value takes the melody into consideration.
  • the control unit 130A also generates a volume control signal so that the reference value takes the melody into consideration. For example, the control unit 130A selects optimal conditions based on the melody and calculates the reference value of the sound signal.
  • the control unit 130A may calculate the maximum or average value of the sound signal as the reference value of the sound signal according to the melody, may adjust the position and length of the section for calculating the reference value of the sound signal according to the melody, and may change the threshold value for the reference value of the sound signal and the method of calculating the threshold value.
  • the output control device 100A of the second embodiment identifies the musical instrument 200A based on the sound signal, and sets a time constant based on the identified musical instrument 200A.
  • the output control device 100A can set a time constant appropriately in accordance with the tendency for the steepness of the amplitude change of the sound signal to differ depending on the musical instrument 200A.
  • the output control device 100A can adjust the output value appropriately in accordance with the sense of volume.
  • the output control device 100 changes the time constant depending on the type of instrument, thereby reducing the delay in the meter display for instruments with steep sound signal changes and lengthening the delay in the meter display for instruments with slow sound signal changes. In this way, the output control device 100 can match the meter display to the sense of volume of the instrument.
  • the output control device 100A can set a time constant for each musical instrument 200A. This allows the output control device 100A to control the meter value according to the sense of volume for each musical instrument 200A even when a meter value is displayed for each musical instrument 200A. Furthermore, according to the output control device 100A, even when the volume is adjusted for each musical instrument 200A, the volume can be automatically adjusted according to the sense of volume for each musical instrument 200A.
  • the output control device 100A can set a time constant based on the instrument 200A identified by the instrument identification unit 110A and the melody of the sound signal.
  • the steepness of the amplitude change of the sound signal differs depending on the instrument 200A, but the slope of the amplitude change of the sound signal varies depending on the playing method of the instrument 200A, so the time constant can be adjusted depending on the melody.
  • the third embodiment will be described below.
  • the same parts as those in the above-mentioned embodiment are denoted by the same reference numerals and detailed description will be omitted.
  • the output control device 100B in the third embodiment differs from the above-mentioned embodiment in that a time constant is set for each predetermined section of the sound signal, and an output value related to the sound signal is controlled based on the time constant for each predetermined section.
  • FIG. 13 is a diagram showing an example of the relationship between the musical instrument identified by the sound signal, the rising time constant ⁇ r, and the falling time constant ⁇ f with respect to the time period in the embodiment.
  • the sound signal output device 200B outputs dynamic content that changes over time.
  • the dynamic content includes, for example, a sound signal such as a live video of a musical instrument being played.
  • the output control device 100B identifies the musical instrument A based on the sound signal for each of a plurality of time periods A, B, C, and sets the rising time constants ⁇ rA, ⁇ rB, ⁇ rC and the falling time constants ⁇ fA, ⁇ fB, ⁇ fC.
  • FIG. 14 is a block diagram showing an example of the configuration of a sound output system 1B in the third embodiment.
  • the output control device 100B includes, for example, a determination unit 110B, a setting unit 120B, and a control unit 130B.
  • the determination unit 110B acquires the sound signal output from the sound signal output device 200B.
  • the determination unit 110B determines the slope of the amplitude change of the sound signal, or identifies an instrument based on the sound signal.
  • the setting unit 120B sets, for each predetermined section of the sound signal, a time constant based on the slope of the amplitude change of the sound signal identified by the determination unit 110B, or a time constant corresponding to an instrument.
  • the setting unit 120B includes, for example, a time constant setting unit 122, a melody determination unit 124, a time constant adjustment unit 126, and a section determination unit 128.
  • the section determination unit 128 determines a time section in the sound signal. For example, the section determination unit 128 determines the timing when the tone of the sound signal changes, the timing when the instrument changes, or the timing when the melody of the sound signal changes. The section determination unit 128 determines the time section based on the determined timing.
  • the time constant adjustment unit 126 sets a time constant based on the determination result of the determination unit 110B using the time constant setting unit 122 at the timing determined by the section determination unit 128, and adjusts the time constant set by the time constant setting unit 122 using the melody determined by the melody determination unit 124. In this way, the setting unit 120B switches the rising time constant ⁇ r and the falling time constant ⁇ f of the sound signal in the time section.
  • the time interval in the sound signal may be a variable value determined by the timing at which the tone, instrument, or melody changes as described above, but may also be a fixed value. For example, if the duration and order of songs played in a live performance where musical instruments are played are known, the interval determination unit 128 may store the start and end timings of the songs as fixed values and determine that the start and end timings have arrived.
  • the time constant adjustment unit 126 can switch the time constant using a fixed value. This allows the setting unit 120B to switch the time constant with simpler processing than using a variable value.
  • the control unit 130B generates a display control signal based on the rising time constant ⁇ r and the falling time constant ⁇ f for each time interval, and outputs the generated display control signal to the display device 310. Similarly, the control unit 130B generates a volume control signal based on the rising time constant ⁇ r and the falling time constant ⁇ f for each time interval, and outputs the generated volume control signal to the automatic volume adjustment device 320.
  • the determination unit 110B may perform at least one of a process of determining the slope of the amplitude change of the sound signal and a process of identifying an instrument.
  • the setting unit 120B may calculate the average value of the time constant based on the slope of the amplitude change and the time constant corresponding to the instrument, or may select one of the time constant based on the slope of the amplitude change and the time constant corresponding to the instrument.
  • the output value can be controlled by dynamically setting an optimal time constant according to the gradient of the amplitude change of the sound signal or the instrument.
  • FIG. 15 is a block diagram showing a sound output system 1C according to a modified example of the embodiment.
  • the sound output system 1C includes a plurality of sound signal output devices 200-1, 200-2, and 200-3.
  • the sound signal output devices 200-1, 200-2, and 200-3 may be, for example, different sound signal storage devices, different musical instruments, and studios or live venues in different locations.
  • the output control device 100C simultaneously inputs sound signals A, B, and C from the plurality of sound signal output devices 200-1, 200-2, and 200-3, respectively.
  • the output control device 100C sets a time constant ⁇ A based on the sound signal A, sets a time constant ⁇ B based on the sound signal B, and sets a time constant ⁇ C based on the sound signal C, by the setting unit 120.
  • the control unit 130B outputs a plurality of display control signals to the automatic volume adjustment device 320A using the calculated plurality of time constants ⁇ A, ⁇ B, and ⁇ C, respectively.
  • the control unit 130B outputs a plurality of display control signals to the display device 310 using each of the plurality of time constants ⁇ A, ⁇ B, and ⁇ C.
  • the automatic volume adjustment device 320A includes a balance adjustment unit 326 and a fine adjustment unit 328.
  • the balance adjustment unit 326 acquires a volume control signal based on a time constant ⁇ A, a volume control signal based on a time constant ⁇ B, and a volume control signal based on a time constant ⁇ C, and adjusts the volume balance between the three sound signals. "Adjusting the volume balance” may mean, for example, adjusting the difference between a plurality of reference values.
  • the balance adjustment unit 326 may adjust the volume balance by referring to table data created according to a preset volume balance adjustment rule.
  • the balance adjustment unit 326 adjusts the volume balance based on, for example, information indicating the type of instrument.
  • the balance adjustment unit 326 may adjust the volume of a specific instrument (e.g., drums) among the multiple instruments to be increased.
  • the balance adjustment unit 326 also adjusts the volume balance based on, for example, information indicating the genre of music. Specifically, the balance adjustment unit 326 adjusts the volume of vocals to be increased in a specific genre.
  • the fine adjustment unit 328 fine-tunes the volume balance automatically adjusted by the balance adjustment unit 326 based on, for example, a user operation. This allows the automatic volume adjustment device 320A to fine-tune the volume to suit the user's sense of volume.
  • the display device 310A includes a balance adjustment unit 316 and a fine adjustment unit 318.
  • the balance adjustment unit 316 acquires a display control signal based on a time constant ⁇ A, a display control signal based on a time constant ⁇ B, and a display control signal based on a time constant ⁇ C, and adjusts the balance between the three meter values. "Adjusting the balance between the three meter values” may mean, for example, suppressing a meter value that momentarily stands out among the three meter values.
  • the balance adjustment unit 316 may adjust the balance of the multiple meter values by referring to table data created according to a preset meter value adjustment rule.
  • the balance adjustment unit 316 may adjust the balance of the meter values based on, for example, information indicating the type of instrument. Specifically, the balance adjustment unit 316 may adjust the meter value of a specific instrument among the multiple instruments to be larger or smaller so that the meter value is easier to see.
  • the fine adjustment unit 328 finely adjusts the meter value based on, for example, a user's operation. This allows the automatic volume adjustment device 320A to finely adjust the meter value to match the user's sense of volume.
  • FIG. 16 is a block diagram showing a sound output system 1D according to another modified example of the embodiment.
  • the sound output system 1D comprises a plurality of sound signal output devices 200, a sound signal distribution service providing device 400, and a sound signal distribution application processing unit 500.
  • the sound signal distribution service providing device 400 is a cloud service providing device that provides a sound signal distribution service.
  • the sound signal distribution service providing device 400 comprises, for example, a sound signal collection unit 410, a sound signal processing unit 420, a sound signal distribution unit 430, and a sound signal database unit 440.
  • the sound signal collection unit 410 collects sound signals from one or more sound signal output devices 200 via the network NW.
  • the sound signal collection unit 410 may include a communication interface such as a NIC (Network Interface Card) or a wireless communication module (not shown in FIG. 1).
  • the network NW includes, for example, the Internet, a WAN (Wide Area Network), a LAN (Local Area Network), a cellular network, etc.
  • the sound signal processing unit 420 processes the sound signal collected by the sound signal collection unit 410.
  • the sound signal processing unit 420 automatically processes the sound signal by performing a predetermined process. For example, the sound signal processing unit 420 performs processing such as adjusting the sound quality by removing noise from the sound signal and correcting the variation in sound pickup (volume level), and adjusting the pitch.
  • the sound signal processing unit 420 may obtain sound source parameters such as the volume level and pitch by analyzing the sound signal.
  • the sound source parameters are, for example, parameters that indicate the variation in sound pickup, and parameters that indicate attributes such as the atmosphere and style of the sound signal. Furthermore, the sound signal processing unit 420 may use a machine learning model to even out the variation in sound pickup of multiple sound signals.
  • the sound signal database unit 440 is realized by a HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), ROM (Read Only Memory), RAM (Random Access Memory), or a hybrid storage device using a combination of these.
  • the sound signal database unit 440 stores in a database the sound signals collected by the sound signal collection unit 410, the processed data obtained by processing the sound signals by the sound signal processing unit 420, and the sound source parameters analyzed by the sound signal processing unit 420.
  • the sound signal distribution unit 430 receives a request from the sound signal distribution application processing unit 500 and extracts sound signals and processed data that match the request from the sound signal database unit 440.
  • the sound signal distribution unit 430 distributes the extracted sound signals and processed data to the sound signal distribution application processing unit 500 as response data to the request.
  • the sound signal distribution application processing unit 500 is a functional unit that is realized by executing a sound signal distribution application installed in a user terminal device such as a smartphone by a CPU or the like.
  • the sound signal distribution application processing unit 500 accesses the sound signal distribution service providing device 400 and generates a search query for the sound signal distribution service providing device 400 based on a user operation.
  • the sound signal distribution service providing device 400 transmits the search query to the sound signal distribution service providing device 400.
  • the sound signal distribution service providing device 400 extracts sound signals and processed data that match the search query registered in the sound signal database unit 440 based on the search query, and transmits the search results to the sound signal distribution application processing unit 500.
  • the sound signal distribution application processing unit 500 can present the search results to the user, download the sound signals and processed data based on the search results, and output them to the output control device 100.
  • the sound signal distribution application processing unit 500 may transmit information specifying the sound signal processing method, sound signal style, etc. desired by the user to the sound signal distribution service providing device 400, and download the sound signal and processed data of a processing method or style that matches the specified information.
  • the sound signal distribution application processing unit 500 may also upload information specifying the sound signal processing method, sound signal style, etc., and a sound signal that it holds to the sound signal distribution service providing device 400, have the sound signal distribution service providing device 400 process the sound signal based on the information specifying the uploaded sound signal, and download the processed sound signal.
  • the output control device 100 When the output control device 100 inputs the sound signal and processed data output from the sound signal distribution application processing unit 500, it sets a time constant for the sound signal and processed data and outputs a display control signal and a volume control signal to the display device 310 and the automatic volume adjustment device 320. This allows the output control device 100 to set a time constant suitable for the sound signal and processed data downloaded via the network NW.
  • the sound output system 1D may provide the sound source parameters created by the sound signal distribution service providing device 400 to the sound signal distribution application processing unit 500, and the sound signal distribution application processing unit 500 may process the sound signal based on the sound source parameters. This allows the sound signal distribution application processing unit 500 to output the sound signal that it has processed to the output control device 100.
  • the sound output system, output control device, sound signal output device, and output device (display device and automatic volume control device) in the above-mentioned embodiment may be realized in whole or in part by a computer.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into the computer system and executed to realize the function.
  • computer system here includes hardware such as an OS and peripheral devices.
  • computer-readable recording medium refers to portable media such as flexible disks, optical magnetic disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into the computer system.
  • the term "computer-readable recording medium” may include a medium that dynamically holds a program for a short period of time, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line, and a medium that holds a program for a certain period of time, such as a volatile memory inside a computer system that is the server or client in such a case.
  • the above-mentioned program may be a program for realizing part of the above-mentioned function, or may be a program that can realize the above-mentioned function in combination with a program already recorded in the computer system, or may be a program that is realized using a programmable logic device such as an FPGA.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。

Description

出力制御装置、出力制御方法、およびプログラム
 本発明は、出力制御装置、出力制御方法、およびプログラムに関する。
 従来、オーディオ信号のレベルを表示する技術として特許文献1が知られている。特許文献1に記載された表示制御装置は、オーディオ信号のレベル変化を表示するレベルメータを制御するための表示制御装置であって、オーディオ信号のレベルの減衰変化に対するレベルメータの表示遅れ時間を可変設定する設定部と、設定部に設定された表示遅れ時間とオーディオ信号のレベルに基づいてレベルメータに表示するレベル値を制御する制御部とを備える(請求項1を参照)。
 また、特許文献1には、オーディオ信号の供給源を示す種類(楽器種類)毎に、その種類に適した表示遅れ時間を予め規定した表示遅れ時間情報を記憶する記憶部を更に備え、設定部は、記憶部に記憶された表示遅れ時間情報に基づいて、オーディオ信号の供給源を示す種類に応じた表示遅れ時間を設定することが記載されている(請求項2、段落0018を参照)。
 さらに、特許文献1には、オーディオ信号のレベルが減衰するときは、表示遅れ時間に基づいて実際のレベルの減衰変化よりも遅れて該レベルの減衰変化を示すようにレベル値を制御する一方、該オーディオ信号のレベルが増加するときは、減衰するときよりも短い時間で実際のレベルの増加変化に追従して該レベルの増加変化を示すようにレベル値を制御することが記載されている(請求項4を参照)。
特開2016-174225号公報
 しかし、特許文献1の技術は、楽器種類またはオーディオ信号のレベルの変化に対するレベルメータの表示遅れ時間を可変設定しているが、多種多様に変化するオーディオ信号に対し、人間が感じる音量(音量感)に合わせて適切に出力値を調整することができない場合があった。
 以上の事情を考慮して、本開示のひとつの態様は、音量感に合わせて適切に出力値を調整することを目的とする。
 本開示は上述した課題を解決するためになされたもので、本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。
 本開示の一態様は、時間軸で振幅が変化する音信号に基づいて楽器を識別する楽器識別部と、前記楽器識別部により識別された前記楽器に基づいて時定数を設定する設定部と、記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備え、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御装置である。
 本開示の一態様は、時間軸で振幅が変化する音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別する判定部と、前記音信号の所定区間ごとに、前記判定部により判定された前記音信号の振幅変化の傾き、または前記判定部により識別された前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定する設定部と、前記設定部により設定された前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備える、出力制御装置である。
 本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定するステップと、前記傾きに基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を含む、出力制御方法である。
 本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定するステップと、前記傾きに基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させる、プログラムである。
 本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号に基づいて楽器を識別するステップと、前記楽器に基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を有し、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御方法である。
 本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号に基づいて楽器を識別するステップと、前記楽器に基づいて時定数を設定するステップと、前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させ、前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、プログラムである。
 本開示の他の態様は、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を含む、出力制御方法である。
 本開示の他の態様は、コンピュータに、時間軸で振幅が変化する音信号を取得するステップと、前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を実行させる、プログラムである。
 本発明の一態様によれば、音量感に合わせて適切に出力値を調整することができる。
第1の実施の形態における音出力システムを示すブロック図である。 第1の実施の形態における音出力システムの一例を示すブロック図である。 実施の形態における音信号の振幅[dB]と時間[sec]との関係の一例を示す図である。 実施の形態における音信号の振幅[dB]とメータ値と時間[sec]との関係の一例を示す図である。 実施の形態における音信号の振幅[dB]とメータ値と時間[sec]との関係の他の一例を示す図である。 実施の形態における音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の他の一例を示す図である。 第1の実施の形態における出力制御装置の処理の一例を示すフローチャートである。 第2の実施の形態における音出力システムの一例を示すブロック図である。 実施の形態における楽器から出力された音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の一例を示す図である。 実施の形態における他の楽器から出力された音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の一例を示す図である。 実施の形態における楽器の種類と、上昇時時定数と、下降時時定数との関係の一例を示す図である。 第2の実施の形態における出力制御装置の他の一例を示すブロック図である。 実施の形態における時間的な区間に対する、音信号により識別された楽器、上昇時時定数および下降時時定数の関係の一例を示す図である。 第3の実施の形態における音出力システムの構成の一例を示すブロック図である。 実施の形態の変形例に係る音出力システムを示すブロック図である。 実施の形態の他の変形例に係る音出力システムを示すブロック図である。
 以下、本発明を適用した出力制御装置、出力制御方法、およびプログラムを、図面を参照して説明する。
(第1の実施の形態)
 図1は、第1の実施の形態における音出力システム1を示すブロック図である。音出力システム1は、例えば、出力制御装置100と、音信号出力装置200と、出力装置300とを備える。出力制御装置100は、コンピュータを内蔵した情報処理装置である。出力制御装置100は、音信号出力装置200から出力された音信号を入力し、制御信号を出力装置300に出力する。音信号は、音を出力するための信号であって時間軸で振幅が変化する信号である。音信号出力装置200は、例えば、記録媒体に記憶されたコンテンツを読み取って音楽等の音信号を出力する再生装置である。第1の実施の形態において記録媒体に記憶されたコンテンツは、例えば静的なデモコンテンツであって、事前に録音した音信号である。音信号出力装置200は、出力制御装置100に音信号を出力する。出力装置300は、出力制御装置100から出力された制御信号に従って音信号に関する出力値を出力する。出力装置300は、後述するように表示装置および音量自動調整装置であるが、これに限定されない。出力装置300は、出力制御装置100から出力された制御信号に基づいて音信号に関する出力値を出力する装置であれば、表示装置および音量自動調整装置以外の装置であってよい。
 図2は、第1の実施の形態における音出力システム1の一例を示すブロック図である。音出力システム1における出力制御装置100は、例えば、傾き判定部110と、設定部120と、制御部130とを備える。傾き判定部110、設定部120、および制御部130といった機能部は、例えばプログラムを実行するCPU(Central Processing Unit)、GPU(Graphics Processing Unit)やDSP(Digital Signal Processor)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field  Programmable  Gate  Array)等により実現される。出力制御装置100は、時間軸で振幅が変化する音信号を取得する。傾き判定部110は、取得した音信号の振幅変化の傾きを判定する。設定部120は、傾き判定部110により判定された傾きに基づいて時定数を設定する。制御部130は、設定部120により設定された時定数に基づいて音信号に関する出力値を制御する。
 表示装置310は、例えば、デジタルミキサに搭載された表示装置、DAW(Digital Audio Workstation)をインストールした情報処理装置が備える表示装置などの音量のピークメータ表示装置であるが、これに限定されず、ピーク値以外の音信号に関するメータ値を表示する装置であってよい。表示装置310は、例えば、メータ値を表示する表示部312と、表示部312の表示動作を制御する表示制御部314とを備える。表示部312は、例えばメータ値を表示する液晶表示装置である。表示制御部314は、出力制御装置100から供給された表示制御信号に基づいて表示部312を駆動する電子回路である。
 音量自動調整装置320は、音信号を入力して音を出力する音出力装置(不図示)の音量を調整する電子機器である。音量自動調整装置320は、例えば、音量操作部322と、自動調整部324とを備える。音量操作部322は、音出力装置のユーザの操作される操作スライダまたは操作ダイヤルといった操作子を有する。音量操作部322は、音信号の音量値を、操作子に対する操作に応じた音量値に調整する。自動調整部324は、出力制御装置100から供給された音量制御信号に従って音信号の音量値を自動的に制御する。
 図3は、実施の形態における音信号の振幅[dB]と時間[sec]との関係の一例を示す図である。ピアノの音を示す音信号の振幅が図3のように変化したとき、音信号の振幅包絡線は、音信号の振幅の時間的な変化に追従する。音信号の振幅(振幅包絡線)は、急峻な傾斜度A1で上昇し、その後、緩やかな傾斜度A2で下降する。傾き判定部110は、図3に示したような音信号の振幅変化の傾きを判定する。設定部120は、音信号の振幅変化の傾きに基づいて音信号についての時定数を設定する。音信号についての時定数は、音信号の振幅に対する、音信号に関する出力値の遅れ時間を示す値である。設定部120は、時定数を大きく設定することで音信号の振幅に対する音信号に関する出力値の遅れ時間を長くすることができる。設定部120は、時定数を小さく設定することで音信号の振幅に対する音信号に関する出力値の遅れ時間を短くすることができる。
 制御部130は、設定部120により設定された時定数に基づいて音信号の振幅を表示する表示制御信号を生成する。制御部130は、生成した表示制御信号を表示装置310に出力する。制御部130は、設定部120により設定された時定数に基づいて音量を制御する音量制御信号を生成する。制御部130は、生成した音量制御信号を音量自動調整装置320に出力する。
 図4は、実施の形態における音信号の振幅[dB]とメータ値と時間[sec]との関係の一例を示す図である。メータ値は、表示装置310により音信号のピーク値を表示するために用いる値である。メータ値は、音信号に関する出力値の一例である。上昇時時定数τr1を小さく設定し、下降時時定数τf1を大きく設定した場合、図4に示すように、音信号の振幅が急峻に上昇した時にメータ値を音信号に合わせて追従させることができる。一方、音信号の振幅が緩やかに下降した時にメータ値を音信号に合わせて追従させることができる。
 図5は、実施の形態における音信号の振幅[dB]とメータ値と時間[sec]との関係の他の一例を示す図である。上昇時時定数τr2および下降時時定数τf2を大きく設定した場合、図5に示すように、音信号の振幅が急峻に上昇してもメータ値は音信号に遅れて上昇し、その後に音信号の振幅が緩やかに下降するとメータ値は次第に音信号に近づくように下降させることができる。
 図6は、実施の形態における音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の他の一例を示す図である。図5に示したメータ値よりも早めに音信号に追従するように上昇時時定数τrおよび下降時時定数τfを同じ値に設定した場合、図6に示すように、音信号の上昇時および下降時の双方において少し遅れてメータ値が追従することが分かる。
 図4、図5、および図6に示したように、設定部120は、上昇時時定数τrおよび下降時時定数τfのそれぞれを算出することができる。設定部120は、上昇時時定数τrおよび下降時時定数τfを同じ値に設定することもでき、上昇時時定数τrおよび下降時時定数τfのそれぞれを異なる値に設定することもできる。
 制御部130は、基準値算出部132を有する。基準値算出部132は、設定部120により設定された時定数に基づいて、音信号の音量に関する基準値を算出する。基準値算出部132は、音信号を時定数によって変化させた後の音信号から基準値を算出する。基準値は、例えば、音信号の所定時間内における振幅最大値または振幅2乗平均値であるが、これに限定されず、音信号を用いた既知の計算方法で計算された値であればよい。制御部130は、音量値を設定するための音量制御信号を生成し、生成した音量制御信号を音量自動調整装置320に出力する。図6に示した基準値は、基準値算出部132により音信号に基づいて算出された値である。
 図7は、第1の実施の形態における出力制御装置100の処理の一例を示すフローチャートである。図7に示すフローチャートは、例えば、時間軸における所定区間ごとに繰り返して実行される。まず出力制御装置100は、音信号を取得する(ステップS100)。傾き判定部110は、ステップS100において取得入力した音信号の振幅の時間軸における変化を検出することにより音信号の振幅変化の傾きを判定する(ステップS102)。設定部120は、音信号の振幅変化の傾き方向が上昇であるか否かを判定する(ステップS104)。設定部120は、音信号の振幅変化の傾き方向が上昇である場合(ステップS104:YES)、音信号の振幅変化の傾斜度に基づいて上昇時時定数τrを設定する(ステップS106)。設定部120は、音信号の振幅変化の傾き方向が下降である場合(ステップS104:NO)、音信号の振幅変化の傾斜度に基づいて下降時時定数τfを設定する(ステップS108)。次に制御部130は、上昇時時定数τrまたは下降時時定数τfに基づいて出力値を制御する(ステップS110)。これにより出力制御装置100は、入力された音信号の振幅変化の傾きに基づいて上昇時時定数τrおよび下降時時定数τfを設定し、設定した上昇時時定数τrおよび下降時時定数τfに基づいて音信号の出力値を制御することができる。
 以上説明したように、第1の実施の形態における出力制御装置100によれば、音信号の振幅変化の傾きを判定し、判定された傾きに基づいて時定数を設定し、設定された時定数に基づいて音信号に関する出力値を制御する。この出力制御装置100によれば、音信号の振幅変化の傾きに基づいて時定数を設定し、時定数に基づいて音信号に関する出力値を制御するので、音信号の振幅変化の急峻さに合わせて出力値を変化させることができる。この結果、出力制御装置100によれば、音信号の振幅が上昇する時と振幅が下降する時とで人間の感じる音量感に合わせて適切に出力値を調整することができる。
 具体的に、急峻に変化する音が出力される場合に、音信号に対してメータの表示が短時間で追従しないと音量感に合わない可能性がある。これに対し出力制御装置100は、音信号の振幅変化の傾きが急峻である場合には出力値の時定数を小さくすることができ、音信号に対するメータの表示の遅れを少なくすることができる。この結果、出力制御装置100によれば、メータの表示に対する音量感のずれを抑制することができる。また、出力制御装置100によれば、急峻に変化する音が出力される場合に、音信号に対して基準値が小さいと音量感に合わない可能性がある。これに対し出力制御装置100は、音信号の振幅変化の傾きが急峻である場合には出力値の時定数を小さくすることができ、音信号に対する基準値を大きくすることができる。
 また、第1の実施の形態の出力制御装置100によれば、音信号の振幅が上昇するときの傾き、および音信号の振幅が下降するときの傾きを判定し、上昇時時定数τrおよび下降時時定数τfを設定し、音信号の振幅が上昇しているときには上昇時時定数τrに基づいて出力値を制御し、音信号の振幅が下降しているときには下降時時定数τfに基づいて出力値を制御する。この出力制御装置100によれば、音信号の振幅変化の急峻さが上昇時と下降時で異なる場合でも、適切に時定数を設定して出力値を変化させることができる。
(第2の実施の形態)
 以下、第2の実施の形態について説明する。なお、上述した実施の形態と同じ部分については同一符号を付することで詳細な説明を省略する。第2の実施の形態における出力制御装置100Aは、音信号に基づいて楽器を識別し、識別された楽器に基づいて時定数を設定する点で、上述した実施の形態とは相違する。
 図8は、第2の実施の形態における音出力システム1Aの一例を示すブロック図である。第2の実施の形態における音出力システム1Aは、例えば、出力制御装置100Aに接続された楽器200Aを備える。楽器200Aは、例えば、ユーザの演奏に応じて音信号を生成し、生成した音信号を出力制御装置100Aに出力する。楽器200Aは、演奏の内容が決まっていない、抽象的なコンテンツ(楽器の音色)を有する装置である。出力制御装置100Aは、例えば、楽器識別部110Aと、設定部120Aと、制御部130Aとを備える。楽器識別部110A、設定部120A、および制御部130Aといった機能部は、例えばプログラムを実行するCPU等により実現される。
 楽器識別部110Aは、楽器200Aから出力された音信号に基づいて楽器を識別する。楽器識別部110Aは、例えば、音信号に対して所定の信号処理を行うことで音色を識別し、識別した音色に基づいて楽器を識別してよく、予め記憶しておいた音信号または音信号に基づく処理結果と、楽器200Aから入力した音信号または音信号に基づく処理結果とを比較することで楽器を識別してよい。
 設定部120Aは、楽器識別部110Aより識別された楽器に基づいて時定数を設定する。図9は、実施の形態における楽器200Aから出力された音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の一例を示す図であり、図10は、実施の形態における他の楽器200Aから出力された音信号の振幅[dB]とメータ値と基準値と時間[sec]との関係の一例を示す図である。図9に示した音信号は、例えば、ピアノの鍵盤を押したときに発生する音に基づく信号であり、音信号の振幅が急峻に高くなった後に音信号の振幅が次第に低くなる。図10に示した音信号は、例えばドラムを演奏したときに発生する信号であり、音信号の振幅が急峻に高くなったり急峻に低くなったりする。設定部120Aは、図9に示すように音信号の振幅変化の傾きが小さい楽器が識別された場合、時定数を大きく設定する。設定部120Aは、図10に示すように音信号の振幅変化の傾きが高い楽器が識別された場合、時定数を小さく設定する。時定数は、楽器200Aに対応した音信号の振幅変化の傾きに基づいて設定される。
 図11は、実施の形態における楽器の種類と、上昇時時定数τrと、下降時時定数τfとの関係の一例を示す図である。図11に示した関係は、例えば、出力制御装置100Aにおける記憶装置(不図示)にテーブルデータとして記憶される。設定部120Aは、楽器識別部110Aにより識別された楽器に対応した上昇時時定数τrおよび下降時時定数τfを設定する。楽器識別部110Aは、楽器の種類を判別してよいが、これ限定されず、楽器200Aの演奏方法を識別し、設定部120Aは、楽器識別部110Aにより識別された楽器200Aの演奏方法に対応した上昇時時定数τrおよび下降時時定数τfを設定してよい。楽器200Aの演奏方法は、例えばギターのピック弾きと指弾きがあるが、これに限定されず、音信号の振幅変化の傾きに一定の傾向がある演奏方法であれば、当該演奏方法に対応した時定数を設定してよい。また、楽器200Aの演奏方法に限定されず、楽器200Aを演奏する環境(室内、室外)、音信号の加工方法などの音信号の振幅変化の傾きに一定の傾向がある要素であれば、当該要素に対応した時定数を設定してよい。
 図12は、第2の実施の形態における出力制御装置100Aの他の一例を示すブロック図である。設定部120Aは、例えば、時定数設定部122と、旋律判定部124と、時定数調整部126とを備える。時定数設定部122は、楽器識別部110Aによる楽器200Aの識別結果に基づいて、識別された楽器200Aに対応した時定数を設定する。旋律判定部124は、楽器200Aから出力された音信号に基づいて旋律を判定する。旋律は、音信号の継続長、強弱、音程、同時発音数、連続発音数、発音時間間隔の少なくとも一つの要素を含む。
 旋律判定部124は、音信号に含まれる要素を判定することによって音信号の旋律を判定する。時定数調整部126は、時定数設定部122により設定された時定数を、旋律判定部124により判定された旋律に基づいて調整する。時定数調整部126は、音信号の振幅変化の傾きが高い旋律である場合、時定数設定部122により設定された時定数を小さくする。時定数調整部126は、音信号の振幅変化の傾きが低い旋律である場合、時定数設定部122により設定された時定数を大きくする。時定数調整部126は、旋律を用いて調整した時定数を制御部130Aに出力する。これにより制御部130Aは、旋律を考慮したメータ値となるように表示制御信号を生成する。
 また、制御部130Aは、旋律を考慮した基準値となるように音量制御信号を生成する。制御部130Aは、例えば、旋律に基づいて最適な条件を選択して音信号の基準値を算出する。制御部130Aは、旋律に応じて音信号の最大値または平均値を音信号の基準値として算出してよく、旋律に応じて音信号の基準値を算出する区間の位置および長さを調整してよく、音信号の基準値に対する閾値および閾値の算出方法を変更してよい。
 以上説明したように、第2の実施の形態の出力制御装置100Aによれば、音信号に基づいて楽器200Aを識別し、識別された楽器200Aに基づいて時定数を設定する。これにより出力制御装置100Aによれば、音信号の振幅変化の急峻さが楽器200Aにより異なるという傾向があり、この傾向に合わせて適切に時定数を設定することができる。この結果、出力制御装置100Aによれば、音量感に合わせて適切に出力値を調整することができる。
 具体的に、装置内部に複数の楽器(音色)の音データを有する電子楽器が知られている。このような電子楽器によって複数の楽器のうち急峻な音がでる楽器に切り換えて演奏されている場合には、急峻に音が変化することを想定して音楽を聴くことが多い。これに対し、出力制御装置100によれば、急峻に変化する楽器が演奏される場合に、音信号に対して音量についての基準値が小さいと出力された音が音量感に合わない可能性がある。これに対し出力制御装置100は、音信号の振幅変化の傾きが急峻となる楽器が演奏される場合には出力値の時定数を小さくすることができ、音信号に対する基準値を大きくすることができる。また、出力制御装置100は、楽器の種類によって時定数を変化させることによって、急峻に音信号が変化する楽器の場合にはメータの表示遅れを少なくし、ゆっくり音信号が変化する楽器の場合にはメータの表示遅れを長くする。これにより出力制御装置100は、メータの表示を楽器の音量感に合わせることができる。
 さらに、複数の楽器200Aが出力制御装置100Aに接続された場合に、出力制御装置100Aは、楽器200Aごとに時定数を設定することができる。これにより出力制御装置100Aは、楽器200Aごとにメータ値を表示した場合でも、楽器200Aごとの音量感に合わせてメータ値を制御することができる。また出力制御装置100Aによれば、楽器200Aごとに音量を調整した場合でも、楽器200Aごとの音量感に合わせて音量を自動で調整することができる。
 また、出力制御装置100Aによれば、楽器識別部110Aにより識別された楽器200Aおよび音信号の旋律に基づいて時定数を設定することができる。この出力制御装置100Aによれば、楽器200Aによって音信号の振幅変化の急峻さが異なるが、楽器200Aの演奏方法によって音信号の振幅変化の傾きが様々であるため、旋律によって時定数を調整することができる。
 (第3の実施の形態)
 以下、第3の実施の形態について説明する。なお、上述した実施の形態と同じ部分については同一符号を付することで詳細な説明を省略する。第3の実施の形態における出力制御装置100Bは、音信号の所定区間ごとに時定数を設定し、所定区間ごとの時定数に基づいて音信号に関する出力値を制御する点で、上述した実施の形態とは相違する。
 図13は、実施の形態における時間的な区間に対する、音信号により識別された楽器、上昇時時定数τrおよび下降時時定数τfの関係の一例を示す図である。音信号出力装置200Bは、時間的に変化する動的なコンテンツを出力する。動的なコンテンツは、例えば、楽器を演奏するライブ映像などの音信号を含む。出力制御装置100Bは、複数の時間的な区分A,B,Cごとに、音信号に基づいて楽器Aを識別し、上昇時時定数τrA、τrB、τrC、および下降時時定数τfA、τfB、τfCを設定する。
 図14は、第3の実施の形態における音出力システム1Bの構成の一例を示すブロック図である。出力制御装置100Bは、例えば、判定部110Bと、設定部120Bと、制御部130Bとを備える。判定部110Bは、音信号出力装置200Bから出力された音信号を取得する。判定部110Bは、音信号の振幅変化の傾きを判定し、または音信号に基づいて楽器を識別する。設定部120Bは、音信号の所定区間ごとに、判定部110Bにより識別された音信号の振幅変化の傾きに基づく時定数、または楽器に対応した時定数を設定する。
 設定部120Bは、例えば、時定数設定部122と、旋律判定部124と、時定数調整部126と、区間判定部128とを備える。区間判定部128は、音信号における時間的な区間を判定する。区間判定部128は、例えば、音信号の音色が切り替わるタイミング、楽器が切り替わるタイミング、または音信号の旋律が切り替わるタイミングを判定する。区間判定部128は、判定したタイミングによって時間的な区間を判定する。時定数調整部126は、区間判定部128により判定したタイミングにおいて、判定部110Bの判定結果に基づく時定数を時定数設定部122により設定し、時定数設定部122により設定した時定数を旋律判定部124により判定した旋律によって調整する。これにより設定部120Bは、時間的な区間における音信号の上昇時時定数τrおよび下降時時定数τfを切り換える。
 音信号における時間的な区間は、上述の音色、楽器または旋律が切り替わるタイミングにより判定された変動値であってよいが、固定値であってもよい。例えば、楽器を演奏するライブにおいて演奏される楽曲の時間および楽曲の順序が既知である場合、区間判定部128は、楽曲の開始タイミングおよび終了タイミングを固定値として記憶し、開始タイミングおよび終了タイミングが到来したことを判定してよい。時定数調整部126は、固定値によって時定数を切り換えることができる。これにより、設定部120Bは、変動値を用いるよりも簡単な処理で時定数を切り換えることができる。
 制御部130Bは、時間的な区間ごとの上昇時時定数τrおよび下降時時定数τfに基づいて表示制御信号を生成し、生成した表示装置310に出力する。同様に、制御部130Bは、時間的な区間ごとの上昇時時定数τrおよび下降時時定数τfに基づいて音量制御信号を生成し、生成した音量制御信号を音量自動調整装置320に出力する。
 なお、判定部110Bは、音信号の振幅変化の傾きを判定する処理、および楽器を識別する処理の少なくとも一方を行ってよい。設定部120Bは、音信号の所定区間ごとに、判定部110Bにより音信号の振幅変化の傾きを判定する処理、および楽器を識別する処理の双方を行った場合、振幅変化の傾きに基づく時定数と楽器に対応した時定数の平均値を算出してよく、振幅変化の傾きに基づく時定数と楽器に対応した時定数との一方を選択してもよい。
 第3の実施の形態における出力制御装置100Bによれば、例えばライブ映像などの時間的に変化する動的なコンテンツが入力された場合でも、音信号の振幅変化の傾きまたは楽器に応じて動的に最適な時定数を設定して出力値を制御することができる。
(変形例)
 以下、上述した実施の形態の変形例について説明する。
 図15は、実施の形態の変形例に係る音出力システム1Cを示すブロック図である。音出力システム1Cは、複数の音信号出力装置200-1、200-2、および200-3を備える。音信号出力装置200-1、200-2、および200-3のそれぞれは、例えば、異なる音信号記憶装置であってよく、異なる楽器であってもよく、異なる場所のスタジオまたはライブ会場であってよい。出力制御装置100Cは、複数の音信号出力装置200-1、200-2、および200-3からそれぞれ音信号A、音信号B、および音信号Cを同時に入力する。出力制御装置100Cは、設定部120により、音信号Aに基づいて時定数τAを設定し、音信号Bに基づいて時定数τBを設定し、および音信号Cに基づいて時定数τCを設定する。制御部130Bは、計算した複数の時定数τA、τB、およびτCのそれぞれを用いて複数の表示制御信号を音量自動調整装置320Aに出力する。制御部130Bは、複数の時定数τA、τB、およびτCのそれぞれを用いて複数の表示制御信号を表示装置310に出力する。
 音量自動調整装置320Aは、バランス調整部326と、微調整部328とを備える。バランス調整部326は、時定数τAに基づく音量制御信号と、時定数τBに基づく音量制御信号、および時定数τCに基づく音量制御信号を取得し、3つの音信号の間の音量バランスを調整する。「音量バランスを調整する」とは、例えば、複数の基準値間の差を調整することであってよい。バランス調整部326は、例えば、予め設定された音量バランスの調整ルールに従って作成されたテーブルデータを参照して音量バランスを調整してよい。バランス調整部326は、例えば楽器の種類を示す情報に基づいて音量バランスを調整する。具体的に、バランス調整部326は、複数の楽器のうち特定の楽器(例えばドラム)の音量を大きくするように調整してよい。また、バランス調整部326は、例えば音楽のジャンルを示す情報に基づいて音量バランスを調整する。具体的に、バランス調整部326は、特定のジャンルにおいてはボーカルの音量を大きくするように調整する。微調整部328は、例えば、ユーザの操作に基づいて、バランス調整部326により自動的に調整された音量バランスを微調整する。これにより音量自動調整装置320Aは、ユーザの音量感に合わせて音量を微調整することができる。
 表示装置310Aは、バランス調整部316と、微調整部318とを備える。バランス調整部316は、時定数τAに基づく表示制御信号と、時定数τBに基づく表示制御信号、および時定数τCに基づく表示制御信号を取得し、3つのメータ値の間のバランスを調整する。「3つのメータ値の間のバランスを調整する」とは、例えば、3つのメータ値のうち瞬間的に突出したメータ値を抑制することであってよい。バランス調整部316は、例えば、予め設定されたメータ値の調整ルールに従って作成されたテーブルデータを参照して、複数のメータ値のバランスを調整してよい。バランス調整部316は、例えば楽器の種類を示す情報に基づいてメータ値のバランスを調整する。具体的に、バランス調整部316は、メータ値を見やすくするように、複数の楽器のうち特定の楽器のメータ値を大きくまたは小さくするように調整してよい。微調整部328は、例えば、ユーザの操作に基づいてメータ値を微調整する。これにより音量自動調整装置320Aは、ユーザの音量感に合わせてメータ値を微調整することができる。
 図16は、実施の形態の他の変形例に係る音出力システム1Dを示すブロック図である。音出力システム1Dは、複数の音信号出力装置200と、音信号配信サービス提供装置400と、音信号配信アプリケーション処理部500とを備える。音信号配信サービス提供装置400は、音信号配信サービスを提供するクラウドサービス提供装置である。音信号配信サービス提供装置400は、例えば、音信号収集部410と、音信号加工部420と、音信号配信部430と、音信号データベース部440とを備える。
 音信号収集部410は、ネットワークNWを介して一または複数の音信号出力装置200から音信号を収集する。音信号収集部410は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェイスを備えてよい(図1では不図示)。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
 音信号加工部420は、音信号収集部410により収集した音信号を加工する。音信号加工部420は、所定の処理を行うことで音信号を自動的に加工する。例えば、音信号のノイズ除去や収音のバラツキ(音量レベル)補正などの音質の調整、ピッチの調整などの加工処理を行う。音信号加工部420は、音信号を解析することにより、音量レベルおよびピッチなどの音源パラメータを取得してよい。音源パラメータは、例えば、収音のバラツキを示すパラメータ、音信号の雰囲気、スタイル等の属性を示すパラメータである。さらに音信号加工部420は、機械学習モデルを用いて複数の音信号の収音バラツキを揃えてよい。
 音信号データベース部440は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)、或いはこれらを複数用いたハイブリッド型記憶装置により実現される。音信号データベース部440は、音信号収集部410により収集された音信号、音信号加工部420により音信号を加工した加工データ、および音信号加工部420により解析された音源パラメータ等をデータベース化して記憶する。
 音信号配信部430は、音信号配信アプリケーション処理部500からの要求を受け付け、要求に合致する音信号、および加工データを音信号データベース部440から抽出する。音信号配信部430は、抽出した音信号および加工データを、要求に対する応答データとして音信号配信アプリケーション処理部500に配信する。
 音信号配信アプリケーション処理部500は、例えばスマートフォンなどのユーザ端末装置にインストールされた音信号配信アプリケーションをCPU等により実行することにより実現される機能部である。音信号配信アプリケーション処理部500は、例えば、音信号配信サービス提供装置400にアクセスし、ユーザの操作に基づいて音信号配信サービス提供装置400に検索クエリを生成する。音信号配信サービス提供装置400は、検索クエリを音信号配信サービス提供装置400に送信する。音信号配信サービス提供装置400は、検索クエリに基づいて音信号データベース部440に登録されている検索クエリに合致した音信号および加工データを抽出し、検索結果を音信号配信アプリケーション処理部500に送信する。これにより音信号配信アプリケーション処理部500は、検索結果をユーザに提示し、検索結果に基づいて音信号および加工データをダウンロードして出力制御装置100に出力することができる。
 音信号配信アプリケーション処理部500は、ユーザが所望する音信号の加工方法、音信号のスタイル等を指定する情報を音信号配信サービス提供装置400に送信し、指定した情報に合致する加工方法またはスタイルの音信号および加工データをダウンロードしてよい。また、音信号配信アプリケーション処理部500は、音信号の加工方法、音信号のスタイル等を指定する情報、および自身が保有する音信号を音信号配信サービス提供装置400にアップロードし、アップロードした音信号を指定する情報に基づいて音信号配信サービス提供装置400に加工させ、加工済の音信号をダウンロードしてよい。
 出力制御装置100は、音信号配信アプリケーション処理部500から出力された音信号および加工データを入力すると、音信号および加工データについて時定数を設定して表示制御信号および音量制御信号を表示装置310および音量自動調整装置320に出力する。これにより出力制御装置100は、ネットワークNWを介してダウンロードした音信号および加工データに適した時定数を設定することができる。
 音出力システム1Dは、音信号配信サービス提供装置400により作成した音源パラメータを音信号配信アプリケーション処理部500に提供し、音信号配信アプリケーション処理部500によって音源パラメータに基づいて音信号を加工してよい。これにより音信号配信アプリケーション処理部500は、自身で加工した音信号を出力制御装置100に出力することができる。
 上述した実施形態における音出力システム、出力制御装置、音信号出力装置、および出力装置(表示装置および音量自動調整装置)の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1、1A、1B、1C、1D…音出力システム、100、100A、100B、100C…出力制御装置、110…判定部、110A…楽器識別部、110B…判定部、120…設定部、120A…設定部、120B…設定部、122…時定数設定部、124…旋律判定部、126…時定数調整部、128…区間判定部、130、130A、130B…制御部、132…基準値算出部、200、200A、200B、200-1、200-2…音信号出力装置…楽器、300…出力装置、310、310A…表示装置、312…表示部、314…表示制御部、316…バランス調整部、318…微調整部、320、320A…音量自動調整装置、322…音量操作部、324…自動調整部、326…バランス調整部、328…微調整部、400…音信号配信サービス提供装置、410…音信号収集部、420…音信号加工部、430…音信号配信部、440…音信号データベース部、500…音信号配信アプリケーション処理部

Claims (15)

  1.  時間軸で振幅が変化する音信号の振幅変化の傾きを判定する傾き判定部と、
     前記傾き判定部により判定された前記傾きに基づいて時定数を設定する設定部と、
     前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、
     を備える、出力制御装置。
  2.  前記傾き判定部は、前記音信号の振幅が上昇するときの傾き、および前記音信号の振幅が下降するときの傾きを判定し、
     前記設定部は、前記時定数として、前記音信号の振幅が上昇するときの傾きに基づく上昇時時定数、および前記音信号の振幅が下降するときの傾きに基づく下降時時定数を設定し、
     前記制御部は、前記音信号の振幅が上昇しているときには前記上昇時時定数に基づいて前記出力値を制御し、前記音信号の振幅が下降しているときには前記下降時時定数に基づいて前記出力値を制御する、
     請求項1に記載の出力制御装置。
  3.  時間軸で振幅が変化する音信号に基づいて楽器を識別する楽器識別部と、
     前記楽器識別部により識別された前記楽器に基づいて時定数を設定する設定部と、
     前記設定部により設定された前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、を備え、
     前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御装置。
  4.  前記設定部は、前記楽器識別部により識別された前記楽器、および前記音信号の旋律に基づいて前記時定数を設定する、請求項3に記載の出力制御装置。
  5.  前記音信号の旋律は、前記音信号の継続長、強弱、音程、同時発音数、連続発音数、発音時間間隔の少なくとも一つを含む、請求項4に記載の出力制御装置。
  6.  前記制御部は、前記出力値として前記音信号の振幅を表示するメータ値を制御する、請求項1から5のうち何れか1項に記載の出力制御装置。
  7.  前記制御部は、前記出力値として音量値を制御する、請求項1から5のうち何れか1項に記載の出力制御装置。
  8.  前記制御部は、前記設定部により設定された前記時定数に基づいて、前記音信号の基準値を、前記音量値として算出する、請求項7に記載の出力制御装置。
  9.  時間軸で振幅が変化する音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別する判定部と、
     前記音信号の所定区間ごとに、前記判定部により判定された前記音信号の振幅変化の傾き、または前記判定部により識別された前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定する設定部と、
     前記設定部により設定された前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御する制御部と、
     を備える、出力制御装置。
  10.  時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号の振幅変化の傾きを判定するステップと、
     前記傾きに基づいて時定数を設定するステップと、
     前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
     を含む、出力制御方法。
  11.  コンピュータに、
     時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号の振幅変化の傾きを判定するステップと、
     前記傾きに基づいて時定数を設定するステップと、
     前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
     を実行させる、プログラム。
  12.  時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号に基づいて楽器を識別するステップと、
     前記楽器に基づいて時定数を設定するステップと、
     前記時定数に基づいて前記音信号に関する出力値を制御するステップと、を有し、
     前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、出力制御方法。
  13.  コンピュータに、
     時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号に基づいて楽器を識別するステップと、
     前記楽器に基づいて時定数を設定するステップと、
     前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
     を実行させ、
     前記時定数は、前記楽器に対応した前記音信号の振幅変化の傾きに基づいて設定される、プログラム。
  14.  時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、
     前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、
     前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
     を含む、出力制御方法。
  15.  コンピュータに、
     時間軸で振幅が変化する音信号を取得するステップと、
     前記音信号の振幅変化の傾きを判定し、または前記音信号に基づいて楽器を識別するステップと、
     前記音信号の所定区間ごとに、前記音信号の振幅変化の傾き、または前記楽器に対応した前記音信号の振幅変化の傾きに基づいて時定数を設定するステップと、
     前記所定区間ごとの前記時定数に基づいて前記音信号に関する出力値を制御するステップと、
     を実行させる、プログラム。
PCT/JP2023/028544 2022-09-29 2023-08-04 出力制御装置、出力制御方法、およびプログラム WO2024070231A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-156021 2022-09-29
JP2022156021A JP2024049662A (ja) 2022-09-29 2022-09-29 出力制御装置、出力制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024070231A1 true WO2024070231A1 (ja) 2024-04-04

Family

ID=90477146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028544 WO2024070231A1 (ja) 2022-09-29 2023-08-04 出力制御装置、出力制御方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2024049662A (ja)
WO (1) WO2024070231A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4921892B1 (ja) * 1969-02-24 1974-06-05
JPS6195112U (ja) * 1984-11-29 1986-06-19
WO2011142139A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 増幅装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4921892B1 (ja) * 1969-02-24 1974-06-05
JPS6195112U (ja) * 1984-11-29 1986-06-19
WO2011142139A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 増幅装置

Also Published As

Publication number Publication date
JP2024049662A (ja) 2024-04-10

Similar Documents

Publication Publication Date Title
JP6178456B2 (ja) デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
US8378964B2 (en) System and method for automatically producing haptic events from a digital audio signal
US9330546B2 (en) System and method for automatically producing haptic events from a digital audio file
CN105390144B (zh) 一种音频处理方法和音频处理装置
JP6201460B2 (ja) ミキシング管理装置
WO2024070231A1 (ja) 出力制御装置、出力制御方法、およびプログラム
JP6288197B2 (ja) 評価装置及びプログラム
JP6102076B2 (ja) 評価装置
WO2018066383A1 (ja) 情報処理装置および方法、並びにプログラム
JP7235396B2 (ja) 音高に依存しない音色対数スペクトルをメディア信号から抽出する方法、コンピュータ可読記憶媒体及び装置
JP5980931B2 (ja) コンテンツ再生方法、コンテンツ再生装置およびプログラム
JP2008092093A (ja) 楽音再生装置及びプログラム
JP2014153516A (ja) 判定装置
CN113766307A (zh) 用于音轨分析以支持音频个性化的技术
WO2023062865A1 (ja) 情報処理装置および方法、並びにプログラム
US20220101820A1 (en) Signal Processing Device, Stringed Instrument, Signal Processing Method, and Program
JP6089651B2 (ja) 音処理装置、音処理装置の制御方法、プログラム
JP5731661B2 (ja) 記録装置、記録方法、及び記録制御用のコンピュータプログラム、並びに再生装置、再生方法、及び再生制御用のコンピュータプログラム
WO2014142201A1 (ja) 分離用データ処理装置およびプログラム
JP4275054B2 (ja) 音声信号判別装置、音質調整装置、放送受信機、プログラム、及び記録媒体
JP5980930B2 (ja) コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生システムおよびプログラム
JP6003861B2 (ja) 音響データ作成装置、プログラム
JP2006148609A (ja) 音質調整装置、放送受信機、プログラム、及び記録媒体
JP2003199185A (ja) 音響再生装置、音響再生プログラムおよび音響再生方法
CN115775551A (zh) 实时修音方法、装置以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871473

Country of ref document: EP

Kind code of ref document: A1