WO2012124043A1 - 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム - Google Patents

振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム Download PDF

Info

Publication number
WO2012124043A1
WO2012124043A1 PCT/JP2011/055941 JP2011055941W WO2012124043A1 WO 2012124043 A1 WO2012124043 A1 WO 2012124043A1 JP 2011055941 W JP2011055941 W JP 2011055941W WO 2012124043 A1 WO2012124043 A1 WO 2012124043A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
vibration
band
signal
change point
Prior art date
Application number
PCT/JP2011/055941
Other languages
English (en)
French (fr)
Inventor
勝利 稲垣
高橋　努
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/055941 priority Critical patent/WO2012124043A1/ja
Publication of WO2012124043A1 publication Critical patent/WO2012124043A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present invention relates to a vibration signal generation apparatus and method for generating a vibration signal having a relatively low frequency supplied to an electro-mechanical vibration converter employed in, for example, a body sensation acoustic device, a computer program, and a body sensation acoustic system About.
  • the audio frequency band (0 Hz to 20 kHz) signal is divided into a plurality of frequency bands, the frequency of each of the divided frequency bands is converted into a predetermined low frequency signal, and the converted plurality of signals Has been proposed (see Patent Literature 2).
  • a fast Fourier transform is performed on a swing signal including a high-frequency vibration, the highest frequency is calculated among the frequency components, a conversion constant is determined from the calculated highest frequency, and the frequency is determined by the determined conversion constant.
  • An apparatus has been proposed in which a component is converted into a lower predetermined frequency band and then subjected to inverse fast Fourier transform to generate a low-frequency fluctuation signal (see Patent Document 3).
  • the present invention has been made in view of the above problems, for example, and can generate a vibration signal only from an audio signal and can generate a vibration signal that harmonizes with the audio signal. It is an object to provide a method, a computer program, and a body sensation sound system.
  • the vibration signal generation device of the present invention is a frequency component corresponding to a first frequency band that is a frequency band narrower than the audible band, from an acoustic signal including a frequency component in the audible band.
  • a vibration change point calculating means for calculating a vibration change point that is a point on the time axis in which a time variation of the extracted first frequency component satisfies a predetermined condition.
  • the frequency component of the acoustic signal at the vibration change point is converted into a frequency component that falls within a second frequency band that is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band, and the converted frequency Vibration signal generating means for generating a vibration signal composed of components.
  • the vibration change point calculation means including, for example, a memory, a processor, etc., generates an audible signal from an acoustic signal including a frequency component within an audible band (that is, 20 Hz to 20000 Hz).
  • the “first frequency band” is typically set as a frequency band corresponding to the musical instrument and / or voice corresponding to the rhythm to be reflected in the generated vibration signal.
  • the first frequency band is set to 200 Hz to 800 Hz, for example.
  • the rhythm of the trumpet is reflected in the vibration signal, the first frequency band is set to 200 Hz to 1 kHz, for example.
  • the “first frequency band” may be arbitrarily set by the user.
  • the manufacturer prepares a plurality of preset values, and the user selects one preset value from the plurality of preset values. It may be set by
  • the “predetermined condition” corresponds to (i) that the amount of change in the amplitude of the frequency component included in the first frequency band of the acoustic signal is greater than a predetermined value, and (ii) the minimum frequency of the second frequency band described later. Separated from each other for a predetermined period (for example, 0.02 seconds, that is, one cycle when the minimum frequency is 50 Hz) (that is, a certain period of time has elapsed since the previous vibration change point), It is.
  • the “vibration change point” is a period of time determined by the amount of change in the amplitude of the frequency component included in the first frequency band of the acoustic signal being larger than a predetermined value and determined according to the lowest frequency of the second frequency band. It means points on the time axis that are separated from each other.
  • a point where the amount of change in the amplitude of the frequency component included in the first frequency band of the acoustic signal is larger than a predetermined amount corresponds to a so-called “sound generation position” in the acoustic signal. Therefore, the “vibration change point” can be rephrased as a sound generation position among the sound generation positions, which is “distant from each other for a period determined according to the lowest frequency of the second frequency band”.
  • the “sound generation position” refers to the timing at which one sound is emitted by an instrument that emits the one sound in a music composed of a plurality of continuous sounds on the time axis.
  • Such a “vibration change point” may be obtained as follows, for example. That is, (i) First, a fast Fourier transform is performed on an acoustic signal, and a frequency component (that is, a first frequency component) included in the first frequency band among frequency components constituting the acoustic signal at one time is obtained. Extract. (Ii) Next, the sum of the increase in power of each of the extracted first frequency components is obtained, and the vibration change is performed on the condition that the change rate from another time different from the one time is larger than a predetermined value. Candidate points. (Iii) Finally, among the plurality of vibration change point candidates, points that are separated from each other by a period determined according to the lowest frequency of the second frequency band are determined as vibration change points.
  • the vibration signal generation means including a memory, a processor, and the like uses the second frequency which is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band as the frequency component of the acoustic signal at the calculated vibration change point.
  • the frequency component is converted into a frequency component that falls within the band, and a vibration signal composed of the converted frequency component is generated.
  • the “second frequency band” is typically set as a frequency band that can be appropriately converted into mechanical vibration by an electro-mechanical vibration converter. Specifically, the second frequency band is set to 60 Hz to 130 Hz, for example. Such a “second frequency band” may be appropriately set according to the performance of the target electro-mechanical vibration converter.
  • the frequency that can be appropriately converted into mechanical vibration by the electro-mechanical vibration converter is a relatively low frequency.
  • the electro-mechanical vibration converter is more appropriate ( Alternatively, it is difficult to convert it into mechanical vibrations that can be experienced by the user.
  • a method of converting a relatively high frequency component included in a music piece into a frequency component in a frequency band suitable for an electro-mechanical vibration converter is often employed.
  • the converted frequency component may not be in harmony with the underlying music.
  • the frequency component of the acoustic signal at the calculated vibration change point is converted into the frequency component that falls within the second frequency band by the vibration generating means, and the vibration composed of the converted frequency component.
  • a signal is generated.
  • the vibration signal generation means converts the frequency component of the acoustic signal at the calculated vibration change point into a frequency component that falls within the second frequency band by lowering the scale corresponding to the frequency component by several octaves. Then, the generated vibration signal can be harmonized with the underlying acoustic signal.
  • the vibration signal generation device of the present invention it is possible to generate a vibration signal from only the acoustic signal and to generate a vibration signal that harmonizes with the underlying acoustic signal.
  • the vibration signal generation means calculates a scale of the acoustic signal at the calculated vibration change point as a frequency component of the acoustic signal at the calculated vibration change point. Then, the frequency corresponding to the calculated scale is converted into a vibration frequency that is a frequency that falls within the second frequency band, and the vibration signal is generated.
  • the vibration signal can be generated relatively easily, which is very advantageous in practice.
  • the scale of the acoustic signal may be obtained as a scale corresponding to the frequency having the maximum power among the frequencies of the acoustic signal subjected to the fast Fourier transform, for example.
  • the scale corresponding to the frequency having the maximum power may be obtained after adding the power of the frequency corresponding to the harmonic of the one frequency to the power of the one frequency.
  • the vibration signal generating means may convert the frequency corresponding to the calculated musical scale to the vibration frequency by lowering the calculated musical scale by a predetermined octave.
  • “decreasing a predetermined octave” means that the calculated scale is converted into the same scale having a frequency lower than the frequency corresponding to the calculated scale. Specifically, for example, when the calculated scale is C7 (2093.0 Hz), it means that C7 is converted to C2 (65.4 Hz).
  • the said frequency conversion means becomes equal to the relationship of the frequency corresponding to the said calculated musical scale with respect to the said 1st frequency band, and the relationship of the said vibration frequency with respect to the said 2nd frequency band.
  • the frequency corresponding to the calculated scale may be converted into the vibration frequency.
  • the vibration signal generation means includes analysis means for analyzing a frequency component of the acoustic signal at the calculated vibration change point, and is based on an analysis result by the analysis means. Then, the vibration signal is generated by converting the frequency component of the acoustic signal at the calculated vibration change point.
  • the frequency component of the acoustic signal at the vibration change point calculated relatively easily can be analyzed, which is very advantageous in practice.
  • the vibration signal generation method of the present invention is a frequency component corresponding to a first frequency band that is a frequency band narrower than the audible band, from an acoustic signal including a frequency component in the audible band.
  • the frequency component of the acoustic signal at the vibration change point is converted into a frequency component that falls within a second frequency band that is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band, and the converted frequency
  • a vibration signal generation step for generating a vibration signal composed of components.
  • the vibration signal generation method of the present invention it is possible to generate a vibration signal only from an acoustic signal and to generate a vibration signal in harmony with the acoustic signal, as in the above-described vibration signal generation device of the present invention. Can do.
  • various aspects similar to the various aspects of the vibration signal generation apparatus of the present invention described above can be employed.
  • a computer program causes a computer to generate a frequency corresponding to a first frequency band that is a frequency band narrower than the audible band from an acoustic signal including a frequency component within the audible band.
  • a vibration change point calculating means for extracting a first frequency component that is a component, and calculating a vibration change point that is a point on the time axis in which the time variation of the extracted first frequency component satisfies a predetermined condition;
  • the frequency component of the acoustic signal at the vibration change point is converted into a frequency component that falls within a second frequency band that is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band, and the converted It functions as vibration signal generation means for generating a vibration signal composed of frequency components.
  • the computer program of the present invention is compared with the above-described vibration signal generating device if the computer program included in the vibration signal generating device is downloaded after being transmitted via the communication means. Can be realized easily. As a result, as in the case of the vibration signal generation device of the present invention described above, it is possible to generate a vibration signal from only the acoustic signal and to generate a vibration signal that matches the acoustic signal.
  • the computer program of the present invention can also adopt various aspects similar to the various aspects of the vibration signal generating apparatus of the present invention described above.
  • the recording medium of the present invention stores the computer program of the present invention in order to solve the above problems.
  • the above-described computer program of the present invention is generated from the recording medium such as CD-ROM (Compact Disc Only Memory), DVD-ROM (DVD Read Only Memory), etc. If it is read and executed by a computer provided in the apparatus, the above-described vibration signal generating apparatus of the present invention can be realized relatively easily. As a result, as in the case of the vibration signal generation device of the present invention described above, it is possible to generate a vibration signal from only the acoustic signal and to generate a vibration signal that matches the acoustic signal.
  • the body sensation sound system of the present invention is a body sensation sound system comprising a terminal device, a server device, and an electro-mechanical vibration conversion device connected to each other via a network.
  • the apparatus includes storage means for storing a plurality of music data and music information indicating a list of the plurality of music data
  • the terminal device includes a receiving means capable of receiving a user input, and the network.
  • a first communication means for transmitting to the server device via the network a music specifying signal that is a signal for specifying the server, wherein the server device A frequency component corresponding to a first frequency band that is a frequency band narrower than the audible band, from an acoustic signal corresponding to one piece of music data specified by the music specifying signal and including a frequency component within the audible band.
  • Vibration change point calculating means for extracting a certain first frequency component and calculating a vibration change point that is a point on the time axis in which the time variation of the extracted first frequency component satisfies a predetermined condition; and the calculated vibration
  • the frequency component of the acoustic signal at the changing point is converted into a frequency component that falls within a second frequency band that is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band, and the converted frequency component
  • a vibration signal generating means for generating a vibration signal comprising: a second signal for transmitting the generated vibration signal to the electro-mechanical vibration converter via the network; Further comprising a signal means.
  • the terminal device, the server device, and the electro-mechanical vibration converter are connected to each other via a network such as the Internet or a LAN (Local Area Network).
  • the terminal device includes an accepting unit and a first communication unit.
  • the server device includes storage means, vibration change point calculation means, vibration signal generation means, and second communication means.
  • a vibration signal can be generated only from an acoustic signal, and a vibration signal in harmony with the acoustic signal can be generated, similarly to the vibration signal generation apparatus of the present invention described above. .
  • FIG. 1 is a block diagram illustrating a configuration of a vibration signal generation device according to the present embodiment.
  • FIG. 1 for convenience of explanation, only members directly related to the present invention are shown, and the other members are not shown.
  • the vibration signal generation device 10 includes a vibration change point calculation unit 11, a vibration frequency calculation unit 12, a vibration signal generation unit 13, and a signal input unit 14.
  • the signal input unit 14 is configured to be able to accept music data stored or recorded in, for example, a flash memory, a hard disk drive, an optical disk, or the like, or audio data input via a microphone (not shown).
  • the vibration change point calculation unit 11 corresponds to a first frequency band (hereinafter, referred to as “vibration conversion band” as appropriate) that is a frequency band narrower than the audible band from music data or the like input via the signal input unit 14.
  • a first frequency component that is a frequency component to be extracted is extracted.
  • the vibration change point calculation unit 11 further calculates a vibration change point of the extracted first frequency component.
  • the vibration frequency calculation unit 12 uses the second frequency which is a frequency band having a maximum frequency lower than the maximum frequency of the first frequency band as a frequency component such as music data at the vibration change point calculated by the vibration change point calculation unit 11.
  • the frequency component is converted into a frequency component that falls within the band (hereinafter referred to as “vibration frequency band” as appropriate).
  • the vibration signal generation unit 13 generates a vibration signal composed of the frequency component converted by the vibration frequency calculation unit.
  • the “vibration change point calculation unit 11” according to the present embodiment is an example of the “vibration change point calculation unit” according to the present invention.
  • the “vibration frequency calculation unit 12” and the “vibration signal generation unit 13” according to the present embodiment are examples of the “vibration signal generation unit” according to the present invention.
  • vibration signal generation processing Next, vibration signal generation processing in the vibration signal generation device 10 configured as described above will be specifically described with reference to the flowchart of FIG. Here, it is assumed that music data is input via the signal input unit 14.
  • the vibration change point calculation unit 11 first sets the change point of the audio signal (see FIG. 3A) corresponding to the music data input via the signal input unit 14 to the first frequency band by the user. Is calculated in the vibration conversion band set as (see the broken line in FIG. 3B) (step S101). The “change point” is calculated as a point on the time axis (that is, calculated as “time”).
  • FIG. 4 is a conceptual diagram illustrating an example of a change point calculation method according to the present embodiment.
  • the vibration change point calculation unit 11 performs, for example, a fast Fourier transform (FFT) on the audio signal, and the frequency at a certain time (here, time t1) as shown in FIG. And the FFT power are obtained. Subsequently, the vibration change point calculation unit 11 is a frequency component (FIG. 5), which is an example of the “first frequency component” according to the present invention, corresponding to the set vibration conversion band (here, frequency f2 to frequency f3). 4 (b) is extracted.
  • FFT fast Fourier transform
  • the vibration change point calculator 11 increases the FFT power (for example, the FFT power at time t1 and the time t1-1) related to each of the extracted frequency components (here, each of the frequency f2 to the frequency f3).
  • the change point of the audio signal is calculated based on the rate of increase of the sum of the obtained increases in FFT power.
  • the vibration change point calculation unit 11 calculates the change point of the audio signal based on the following relational expression.
  • P (t1, f) means the sum of the increase in FFT power of each of frequency f2 to frequency f3 (that is, the frequency component corresponding to the vibration conversion band) at time t1
  • N (t1) is It means the degree of change calculated from the FFT power around P (t1, fx) (here 2 ⁇ x ⁇ 3) at time t1.
  • the vibration change point calculation unit 11 extracts vibration change points whose intervals are equal to or greater than a specific interval from the calculated plurality of change points (see the broken line in FIG. 3C).
  • the vibration frequency calculation unit 12 calculates the scale of the audio signal at the extracted vibration change point (reference numerals “D5”, “D4”,..., “D # 4” in FIG. 3C). (Refer to step S103).
  • FIG. 5 is a conceptual diagram illustrating an example of a scale calculation method according to the present embodiment.
  • the vibration frequency calculation unit 12 first corrects the FFT power of each frequency component in consideration of the overtone component. Specifically, for example, the FFT power of the frequency f1 is calculated by the following equation.
  • the vibration frequency calculation unit 12 obtains a scale corresponding to the frequency component having the largest FFT power among the corrected frequency components, and sets it as the scale of the audio signal at one vibration change point.
  • the vibration frequency calculation unit 12 refers to a scale conversion table as shown in FIG. 6, for example, and lowers the scale of the audio signal at the vibration change point by a predetermined octave to fall within the vibration frequency band.
  • the frequency is converted into a vibration frequency (see symbols “D2”, “D2”,..., “D # 2” in FIG. 3D) (step S104).
  • the vibration signal generation unit 13 generates a vibration signal composed of the converted vibration frequency (see FIG. 3E) (step S105). If the generated vibration signal is supplied to an electro-mechanical vibration converter (not shown), a user can be provided with a body vibration in harmony with the audio signal. Note that the amplitude of the generated vibration signal is determined according to the amplitude of the input audio signal.
  • FIG. 7A is a conceptual diagram illustrating an example of a frequency conversion method according to the first modification.
  • the vibration frequency is obtained using the scale conversion table, but in the present modification, the vibration frequency is obtained based on the following relational expression.
  • FIG. 7A is a conceptual diagram illustrating an example of a frequency conversion method according to the second modification.
  • the frequency of the audio signal at the vibration change point is divided by a power of 2 (2 n ) until it falls within the vibration frequency band.
  • FIG. 8 is a block diagram showing the configuration of the acoustic experience system according to the first example.
  • the arrow in a figure has shown the flow of a signal (same in subsequent figures).
  • the body sensation sound system 100 includes a vibration signal generation device 10, a user interface unit 20, a memory 30, an electro-mechanical vibration converter 40, a delay circuit (Delay) 50, and an output terminal (Audio OUT) 60.
  • a vibration signal generation device 10 a user interface unit 20
  • a memory 30 a memory 30
  • an electro-mechanical vibration converter 40 a delay circuit (Delay) 50
  • an output terminal (Audio OUT) 60 has been.
  • the user interface unit 20 includes, for example, a display unit (not shown) that provides a user with a music selection screen, a mode selection screen, etc., buttons and the like (not shown) for the user to perform input operations, have.
  • a display unit not shown
  • buttons and the like not shown for the user to perform input operations, have.
  • the “mode selection screen” names corresponding to a plurality of frequency bands (for example, “vocal tracking”, “base tracking”, “frequency band designation”) are displayed.
  • the frequency band is set as a fixed value in advance by the manufacturer or the like for “vocal tracking” and “base tracking” (so-called preset values).
  • the “frequency band designation” allows the user to freely set the frequency band.
  • a signal indicating the selected piece of music data is transmitted to the memory 30. Then, one piece of music data is transmitted from the memory 30 to the signal input unit 14 of the vibration signal generation device 10.
  • the frequency band corresponding to the selected one name is set as the “vibration conversion band”. Is done. Then, a signal indicating the vibration conversion band is transmitted from the user interface unit 20 to the vibration change point calculation unit 11 of the vibration signal generation device 10.
  • the signal input unit 14 transmits one piece of music data to the vibration change point calculation unit 11.
  • the signal input unit 14 further transmits one piece of music data to the output terminal 60 via the delay circuit 50.
  • the vibration change point calculation unit 11 that has received one piece of music data calculates a vibration change point based on the received one piece of music data and a signal indicating a vibration change band.
  • the vibration change point calculation unit 11 transmits a piece of music data and a signal indicating the calculated vibration change point to the vibration frequency calculation unit 12.
  • the vibration frequency calculation unit 12 converts the frequency component of one piece of music data at the vibration change point into a vibration frequency based on the received one piece of music data and a signal indicating the vibration change point.
  • the vibration frequency calculation unit 12 transmits a piece of music data and a signal indicating the converted vibration frequency to the vibration signal generation unit 13.
  • the vibration signal generation unit 13 generates a vibration signal based on the received music data and a signal indicating the vibration frequency.
  • the vibration signal generation unit 13 transmits the generated vibration signal to the electro-mechanical vibration converter 40.
  • one piece of music data output from the output terminal 60 is delayed by a period caused by the delay circuit 50, the reproduction position of one piece of music data and the vibration generated by the electromechanical vibration converter 40 are used. And can be synchronized.
  • a specific example of the body sensation sound system according to the first embodiment is, for example, a chair or a bed provided with the electro-mechanical vibration converter 40.
  • FIG. 9 is a block diagram illustrating a configuration of an acoustic experience system according to the second embodiment.
  • the description which overlaps with 1st Example is abbreviate
  • the body sensation sound system 200 includes a host computer 201 such as a personal computer and a vibration unit 202.
  • the vibration signal is transmitted from the vibration signal generation unit 13 of the vibration signal generation device 10 to the electro-mechanical vibration converter 40 by wireless communication via the wireless transmission unit 71 and the wireless reception unit 72.
  • the memory 30 instead of the memory 30, one or a plurality of music data is stored in a hard disk drive (HDD) 31.
  • HDD hard disk drive
  • FIG. 10 is a block diagram illustrating a configuration of the acoustic experience system according to the third example.
  • the description which overlaps with 1st Example is abbreviate
  • the body sensation sound system 300 includes a player dock 301, a vibration unit 302 with a music playback function, and an audio player 303.
  • the audio player 303 can play back one or a plurality of music data stored in the hard disk drive 31 alone.
  • the audio player 303 transmits one piece of music data stored in the hard disk drive 31 and selected by the user to the signal input unit 14 and the music / vibration multiplex 81 of the player dock 301.
  • the audio player 303 further transmits a signal indicating the vibration conversion band to the vibration change point calculation unit 11 of the player dock 301.
  • the music / vibration multiplex 81 multiplexes the received music data and the vibration signal generated by the vibration signal generation unit 13.
  • the music / vibration multiplex 81 is a piece of music data that is multiplexed with the music / vibration demultiplex 82 of the vibration unit 302 with a music reproduction function by wireless communication via the wireless transmission unit 71 and the wireless reception unit 72. And a vibration signal is transmitted.
  • the music / vibration demultiplexer 82 demultiplexes one piece of multiplexed music data and vibration signal into one piece of music data and vibration signal.
  • the music / vibration demultiplexer 82 transmits a vibration signal to the electro-mechanical vibration converter 40 and transmits one piece of music data to the output terminal 60.
  • the communication between the audio player 303 and the player dock 301 is not limited to wired communication, and may be wireless communication.
  • FIG. 11 is a block diagram illustrating a configuration of the acoustic experience system according to the fourth example.
  • the description which overlaps with 1st Example is abbreviate
  • the body sensation acoustic system 400 includes a vibration signal generation device 10, a user interface unit 20, an electromechanical vibration converter 40, and an input terminal (microphone IN) 90.
  • a specific example of the body sensation sound system 400 is an auxiliary device for a hearing impaired person such as a hearing aid.
  • audio data instead of music data is input to the signal input unit 14 of the vibration signal generation device 10 via the input terminal 90.
  • a frequency band that is difficult for the user to hear is set as a vibration conversion band, and a signal indicating the set vibration conversion band is transmitted to the vibration change point calculation unit 11 of the vibration signal generation device 10.
  • FIG. 12 is a block diagram illustrating a configuration of an acoustic experience system according to the fifth example.
  • the description which overlaps with 1st Example is abbreviate
  • the body sensation sound system 500 includes a terminal device 501, a server device 502, and a vibration unit 503 connected to each other via a network 504.
  • the interface unit 20 of the terminal device 501 acquires music information indicating a list of one or more music data stored in the hard disk drive 31 of the server device 502 via the communication unit 512, the network 504, and the communication unit 522. .
  • the interface unit 20 displays the acquired music information to the user.
  • the interface unit 20 When the interface unit 20 receives an input indicating one piece of music data among the pieces of music data indicated by the piece of music information, the interface unit 20 sends a music specifying signal for specifying one piece of music data to the server device 502, the communication unit 512, The data is transmitted via the network 504 and the communication unit 522. The interface unit 20 further transmits a signal indicating the vibration conversion band to the server device 502.
  • the control unit 521 of the server device 502 transmits one piece of music data specified by the received music specifying signal to the reproduction unit 511 of the terminal device 501 via the communication unit 522, the network 504, and the communication unit 512. To do.
  • the control unit 521 further transmits a signal indicating one piece of music data and a vibration conversion band to the vibration signal generation device 10.
  • the control unit 521 transmits the vibration signal generated by the vibration signal generation device 10 to the electro-mechanical vibration conversion unit 40 of the vibration unit 503 via the communication unit 522, the network 504, and the communication unit 531.
  • the “interface unit 20” according to the present embodiment is an example of the “accepting unit” and the “display unit” according to the present invention.
  • the “hard disk drive 31”, “communication unit 512”, and “communication unit 522” according to the present embodiment are examples of “storage unit”, “first communication unit”, and “second communication unit” according to the present invention, respectively. It is.

Abstract

　振動信号生成装置（１０）は、可聴帯域内の周波数成分を含んでなる音響信号から、可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、該抽出された第１周波数成分の振動変化点を算出する振動変化点算出手段（１１）と、該算出された振動変化点における音響信号の周波数成分を、第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、該変換された周波数成分からなる振動信号を生成する振動信号生成手段（１２、１３）と、を備える。

Description

振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム
　本発明は、例えば体感音響装置等に採用される電気－機械振動変換器に供給される比較的低い周波数を有する振動信号を生成する振動信号生成装置及び方法、コンピュータプログラム並びに体感音響システムの技術分野に関する。
　この種の装置として、例えば、体感振動信号の約１６Ｈｚ（ヘルツ）～約１５０Ｈｚの範囲内の周波数帯域において、振動の強弱、長短、周波数、波形及び重なりを、例えば音階、和声学、リズム等の音楽作曲上の規則に基づき時系列に組み合わせた体感振動単独で音楽のように表現できるものを、電気－機械振動変換器によって人体に感じさせる装置が提案されている（特許文献１参照）。
　或いは、オーディオ周波数帯域（０Ｈｚ～２０ｋＨｚ）の信号を複数の周波数帯域に分割し、該分割された複数の周波数帯域各々の周波数を所定の低周波数の信号に変換し、該変換された複数の信号を合成して、該合成された信号により振動部を振動させる装置が提案されている（特許文献２参照）。
　或いは、高い周波数の振動を含む揺動信号を高速フーリエ変換して、周波数成分のうち最高周波数を算出し、該算出された最高周波数から変換定数を決定して、該決定された変換定数により周波数成分をより低い所定の周波数帯域に変換した後に、逆高速フーリエ変換して、低い周波数の揺動信号を生成する装置が提案されている（特許文献３参照）。
特許第３３４１２３８号 実開平３－７５６９４号公報 特許第４０６２５７０号
　しかしながら、特許文献１に記載の技術では、楽譜情報が必須であり、オーディオ信号のみから振動信号を生成することが困難であるという技術的問題点がある。特許文献２及び３に記載の技術では、生成される振動信号の周波数が、基となるオーディオ信号と調和しない可能性があるという技術的問題点がある。
　本発明は、例えば上記問題点に鑑みてなされたものであり、オーディオ信号のみから振動信号を生成することができ、且つ、オーディオ信号と調和する振動信号を生成することができる振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システムを提供することを課題とする。
　本発明の振動信号生成装置は、上記課題を解決するために、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、を備える。
　本発明の振動信号生成装置によれば、例えばメモリ、プロセッサ等を備えてなる振動変化点算出手段は、可聴帯域（即ち、２０Ｈｚ～２００００Ｈｚ）内の周波数成分を含んでなる音響信号から、該可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、該抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する。
　ここで、「第１周波数帯域」は、典型的には、生成される振動信号に反映すべきリズムに対応する楽器及び／又は声に応じた周波数帯域として設定される。具体的には例えば、女性の声のリズムを振動信号に反映させる場合、第１周波数帯域は、例えば２００Ｈｚ～８００Ｈｚに設定される。或いは、トランペットのリズムを振動信号に反映させる場合、第１周波数帯域は、例えば２００Ｈｚ～１ｋＨｚに設定される。
　尚、「第１周波数帯域」は、ユーザにより任意に設定されてもよいし、例えば製造者が複数のプリセット値を用意しておき、ユーザが該複数のプリセット値から一のプリセット値を選択することによって設定されてもよい。
　「所定条件」は、（ｉ）音響信号のうち第１周波数帯域に含まれる周波数成分の振幅の変化量が所定値より大きいこと、及び（ｉｉ）後述する第２周波数帯域の最低周波数に応じて定められる期間（例えば、最低周波数が５０Ｈｚである場合は、０．０２秒、即ち、一周期）以上相互に離れていること（つまり、直前の振動変化点から一定期間経過していること）、である。
　従って、「振動変化点」とは、音響信号のうち第１周波数帯域に含まれる周波数成分の振幅の変化量が所定値より大きく、且つ、第２周波数帯域の最低周波数に応じて定められる期間以上相互に離れている時間軸上の点を意味する。
　ここで、「音響信号のうち第１周波数帯域に含まれる周波数成分の振幅の変化量が所定量より大きい点」は、音響信号における所謂「発音位置」に相当する点である。従って、「振動変化点」は、発音位置のうち、「第２周波数帯域の最低周波数に応じて定められる期間以上相互に離れている」発音位置と、言い換えることができる。尚、「発音位置」とは、複数の音が時間軸上で連続することにより構成される楽曲において、一の音が、該一の音を発する楽器により発せられたタイミングを言う。
　このような「振動変化点」は、例えば次のように求めればよい。即ち、（ｉ）先ず、音響信号に対して高速フーリエ変換を施し、一の時刻において音響信号を構成する周波数成分のうち、第１周波数帯域に含まれる周波数成分（即ち、第１周波数成分）を抽出する。（ｉｉ）次に、該抽出された第１周波数成分各々のパワーの増加分の和を求め、一の時刻とは異なる他の時刻からの変化率が所定値より大きいことを条件に、振動変化点の候補とする。（ｉｉｉ）最後に、複数の振動変化点の候補のうち、互いに、第２周波数帯域の最低周波数に応じて定められる期間以上離れている点を、振動変化点として決定する。
　例えばメモリ、プロセッサ等を備えてなる振動信号生成手段は、算出された振動変化点における音響信号の周波数成分を、第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、該変換された周波数成分からなる振動信号を生成する。
　「第２周波数帯域」は、典型的には、電気－機械振動変換器により適切に機械振動に変換可能な周波数帯域として設定される。第２周波数帯域は、具体的には例えば６０Ｈｚ～１３０Ｈｚ等に設定されている。このような「第２周波数帯域」は、対象とする電気－機械振動変換器の性能に応じて適宜設定すればよい。
　本願発明者の研究によれば、以下の事項が判明している。即ち、電気－機械振動変換器により適切に機械振動に変換可能な周波数は比較的低い周波数である。このため、ユーザの好みの楽曲、又は、例えばストレス解消等に効果的な楽曲であっても、低周波数成分が含まれていない又は比較的少ない楽曲では、電気－機械振動変換器により適切な（或いは、ユーザが体感可能な程度の）機械振動に変換することは困難である。これに対して、楽曲に含まれる比較的高い周波数成分を、電気－機械振動変換器に適する周波数帯域内の周波数成分に変換する方法が採用されることが多い。しかしながら、変換された周波数成分が、基となった楽曲と調和しないおそれがある。
　しかるに本発明では、振動生成手段により、上述の如く、算出された振動変化点における音響信号の周波数成分が、第２周波数帯域内に収まる周波数成分に変換され、該変換された周波数成分からなる振動信号が生成される。ここで、振動信号生成手段が、例えば、算出された振動変化点における音響信号の周波数成分を、該周波数成分に対応する音階を数オクターブだけ下げることによって、第２周波数帯域に収まる周波数成分に変換すれば、生成される振動信号を、基となる音響信号と調和させることができる。
　以上の結果、本発明の振動信号生成装置によれば、音響信号のみから振動信号を生成することができ、且つ、基となる音響信号と調和する振動信号を生成することができる。
　本発明の振動信号生成装置の一態様では、前記振動信号生成手段は、前記算出された振動変化点における前記音響信号の周波数成分として、前記算出された振動変化点における前記音響信号の音階を算出し、前記算出された音階に対応する周波数を、前記第２周波数帯域内に収まる周波数である振動周波数に変換して、前記振動信号を生成する。
　この態様によれば、比較的容易にして振動信号を生成することができ、実用上非常に有利である。ここで、音響信号の音階は、例えば、高速フーリエ変換が施された音響信号の周波数のうち、最大パワーを有する周波数に対応する音階として求めればよい。尚、一の周波数のパワーに、該一の周波数の倍音に対応する周波数のパワーを加算した上で、最大パワーを有する周波数に対応する音階を求めてもよい。
　音階を算出する態様では、前記振動信号生成手段は、前記算出された音階を所定オクターブ下げることによって、前記算出された音階に対応する周波数を前記振動周波数に変換してよい。
　このように構成すれば、比較的容易にして、基となる音響信号と調和する振動信号を生成することができる。ここで、「所定オクターブ下げる」とは、算出された音階を、該算出された音階に対応する周波数よりも低い周波数を有する同じ音階に変換することを意味する。具体的には例えば、算出された音階がＣ７（２０９３．０Ｈｚ）である場合に、Ｃ７がＣ２（６５．４Ｈｚ）に変換されることを意味する。
　或いは、音階を算出する態様では、前記周波数変換手段は、前記第１周波数帯域に対する前記算出された音階に対応する周波数の関係と、前記第２周波数帯域に対する前記振動周波数の関係と、が等しくなるように、前記算出された音階に対応する周波数を前記振動周波数に変換してよい。
　このように構成すれば、比較的容易にして、基となる音響信号と調和する振動信号を生成することができる。
　ここで、「第１周波数帯域に対する算出された音階に対応する周波数の関係と、第２周波数帯域に対する振動周波数の関係と、が等しくなる」とは、具体的には例えば、第１周波数帯域が２００Ｈｚ～８００Ｈｚであり、算出された音階に対応する周波数が４４０Ｈｚ（Ａ４）であり、第２周波数帯域が６０Ｈｚ～１３０Ｈｚである場合、（８００－４４０）：（４４０－２００）＝（１３０－（振動周波数））：（（振動周波数）－６０）という関係が成立することを意味する。この場合、振動周波数は８８Ｈｚとなる。
　本発明の振動信号生成装置の他の態様では、前記振動信号生成手段は、前記算出された振動変化点における前記音響信号の周波数成分を解析する解析手段を含み、前記解析手段による解析結果に基づいて、前記算出された振動変化点における前記音響信号の周波数成分を変換して、前記振動信号を生成する。
　この態様によれば、比較的容易にして算出された振動変化点における音響信号の周波数成分を解析することができ、実用上非常に有利である。
　本発明の振動信号生成方法は、上記課題を解決するために、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出工程と、前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成工程と、を備える。
　本発明の振動信号生成方法によれば、上述した本発明の振動信号生成装置と同様に、音響信号のみから振動信号を生成することができ、且つ、音響信号と調和する振動信号を生成することができる。尚、本発明の振動信号生成方法においても、上述した本発明の振動信号生成装置の各種態様と同様の各種態様を採ることができる。
　本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、として機能させる。
　本発明のコンピュータプログラムによれば、当該コンピュータプログラムを、振動信号生成装置に備えられたコンピュータに、通信手段を介してダウンロードさせた後に実行させれば、上述した本発明の振動信号生成装置を比較的容易にして実現することができる。これにより、上述した本発明の振動信号生成装置の場合と同様に、音響信号のみから振動信号を生成することができ、且つ、音響信号と調和する振動信号を生成することができる。尚、本発明のコンピュータプログラムにおいても、上述した本発明の振動信号生成装置の各種態様と同様の各種態様を採ることができる。
　本発明の記録媒体は、上記課題を解決するために、本発明のコンピュータプログラムを格納する。
　本発明の記録媒体によれば、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤＶＤ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等である当該記録媒体から、上述した本発明のコンピュータプログラムを、振動信号生成装置に備えられたコンピュータに読み込んで実行させれば、上述した本発明の振動信号生成装置を比較的容易にして実現することができる。これにより、上述した本発明の振動信号生成装置の場合と同様に、音響信号のみから振動信号を生成することができ、且つ、音響信号と調和する振動信号を生成することができる。
　本発明の体感音響システムは、上記課題を解決するために、ネットワークを介して相互に接続された端末装置、サーバ装置及び電気－機械振動変換装置を備えてなる体感音響システムであって、前記サーバ装置は、複数の楽曲データ、及び前記複数の楽曲データの一覧を示す楽曲情報を格納する格納手段を有し、前記端末装置は、ユーザの入力を受付可能な受付手段と、前記ネットワークを介して前記楽曲情報を取得して、前記ユーザに対して表示する表示手段と、前記受付手段により受け付けられた前記ユーザの入力に応じて、前記楽曲情報により示される複数の楽曲データのうち一の楽曲データを特定する信号である楽曲特定信号を、前記ネットワークを介して、前記サーバ装置に送信する第１通信手段と、を有し、前記サーバ装置は、前記楽曲特定信号により特定される一の楽曲データに対応し、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、前記生成された振動信号を、前記ネットワークを介して、前記電気－機械振動変換装置に送信する第２通信手段と、を更に有する。
　本発明の体感音響システムによれば、端末装置、サーバ装置及び電気－機械振動変換器は、例えばインターネット、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワークを介して相互に接続されている。端末装置は、受付手段及び第１通信手段を備えて構成されている。サーバ装置は、格納手段、振動変化点算出手段、振動信号生成手段及び第２通信手段を備えて構成されている。
　本発明の体感音響システムよれば、上述した本発明の振動信号生成装置と同様に、音響信号のみから振動信号を生成することができ、且つ、音響信号と調和する振動信号を生成することができる。
　本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
本発明の実施形態に係る振動信号生成装置の構成を示すブロック図である。 本発明の実施形態に係る振動信号生成処理を示すフローチャートである。 本発明の実施形態に係る振動信号生成処理の概念を示す概念図である。 本発明の実施形態に係る変化点算出方法の一例を示す概念図である。 本発明の実施形態に係る音階算出方法の一例を示す概念図である。 本発明の実施形態に係る音階変換テーブルの一例を示す概念図である。 本発明の実施形態の変形例に係る周波数変換方法の一例を示す概念図である。 第１実施例に係る音響体感システムの構成を示すブロック図である。 第２実施例に係る音響体感システムの構成を示すブロック図である。 第３実施例に係る音響体感システムの構成を示すブロック図である。 第４実施例に係る音響体感システムの構成を示すブロック図である。 第５実施例に係る音響体感システムの構成を示すブロック図である。
　以下、本発明に係る振動信号生成装置の実施形態を、図面に基づいて説明する。
　（振動信号生成装置の構成）
　本実施形態に係る振動信号生成装置の構成を、図１を参照して説明する。図１は、本実施形態に係る振動信号生成装置の構成を示すブロック図である。尚、図１では、説明の便宜上、本発明と直接関連のある部材のみを示し、その他の部材については図示を省略している。
　図１において、振動信号生成装置１０は、振動変化点算出部１１、振動周波数算出部１２、振動信号生成部１３及び信号入力部１４を備えて構成されている。
　信号入力部１４は、例えばフラッシュメモリ、ハードディスクドライブ、光ディスク等に格納又は記録された楽曲データ、或いはマイク（図示せず）を介して入力された音声データを受付可能に構成されている。
　振動変化点算出部１１は、信号入力部１４を介して入力された楽曲データ等から、可聴帯域よりも狭い周波数帯域である第１周波数帯域（以降、適宜“振動変換帯域”と称する）に対応する周波数成分である第１周波数成分を抽出する。振動変化点算出部１１は、更に、該抽出された第１周波数成分の振動変化点を算出する。
　振動周波数算出部１２は、振動変化点算出部１１により算出された振動変化点における楽曲データ等の周波数成分を、第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域（以降、適宜“振動周波数帯域”と称する）内に収まる周波数成分に変換する。
　振動信号生成部１３は、振動周波数算出部により変換された周波数成分からなる振動信号を生成する。
　本実施形態に係る「振動変化点算出部１１」は、本発明に係る「振動変化点算出手段」の一例である。本実施形態に係る「振動周波数算出部１２」及び「振動信号生成部１３」は、本発明に係る「振動信号生成手段」の一例である。
　（振動信号生成処理）
　次に、上述の如く構成された振動信号生成装置１０における振動信号生成処理について、図２のフローチャートを参照して具体的に説明する。ここでは、信号入力部１４を介して楽曲データが入力されるものとする。
　図２において、先ず、振動変化点算出部１１は、信号入力部１４を介して入力された楽曲データに対応するオーディオ信号（図３（ａ）参照）の変化点を、ユーザにより第１周波数帯域として設定された振動変換帯域において算出する（図３（ｂ）中の破線参照）（ステップＳ１０１）。尚、「変化点」は、時間軸上の点として算出される（即ち、“時刻”として算出される）。
　ここで、オーディオ信号の変化点の算出方法について、図４を参照して説明を加える。図４は、本実施形態に係る変化点算出方法の一例を示す概念図である。
　振動変化点算出部１１は、先ず、オーディオ信号に対して、例えば高速フーリエ変換（Ｆｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を施し、図４（ａ）に示すようなある時刻（ここでは、時刻ｔ１）における周波数とＦＦＴパワーとの関係を求める。続いて、振動変化点算出部１１は、設定された振動変換帯域（ここでは、周波数ｆ２～周波数ｆ３）に対応する、本発明に係る「第１周波数成分」の一例である、周波数成分（図４（ｂ）中の網掛け部分）を抽出する。
　次に、振動変化点算出部１１は、抽出された周波数成分各々（ここでは、周波数ｆ２～周波数ｆ３の各々）に係るＦＦＴパワーの増加分（例えば、時刻ｔ１のＦＦＴパワーと、時刻ｔ１－１のＦＦＴパワーとの差分）の和を求め、例えば該求められたＦＦＴパワーの増加分の和の増加率に基づいて、オーディオ信号の変化点を算出する。
　具体的には例えば、振動変化点算出部１１は、次の関係式に基づいてオーディオ信号の変化点を算出する。
Ｐ（ｔ１，ｆ）／Ｐ（ｔ１－１，ｆ）＞Ｎ（ｔ１）
ここで、Ｐ（ｔ１，ｆ）は、時刻ｔ１における周波数ｆ２～周波数ｆ３（即ち、振動変換帯域に対応する周波数成分）各々のＦＦＴパワーの増加分の和を意味し、Ｎ（ｔ１）は、時刻ｔ１において、Ｐ（ｔ１，ｆｘ）（ここでは、２≦ｘ≦３）の周囲のＦＦＴパワーから算出される変化度合いを意味する。
　再び図２に戻り、振動変化点算出部１１は、算出された複数の変化点から、互いの間隔が特定間隔以上となるような振動変化点を抽出する（図３（ｃ）中の破線参照）（ステップＳ１０２）。ここで、「特定間隔」は、例えば、後述する変換テーブルで規定される振動周波数帯域の下限値に応じて設定されている。具体的には例えば、振動周波数帯域の下限値が５０Ｈｚである場合、特定間隔は、０．０２秒（＝１秒÷５０Ｈｚ）等と設定される。
　次に、振動周波数算出部１２は、抽出された振動変化点におけるオーディオ信号の音階を算出する（図３（ｃ）中の符号“Ｄ５”、“Ｄ４”、・・・、“Ｄ＃４”参照）（ステップＳ１０３）。
　ここで、オーディオ信号の音階の算出方法について、図５を参照して説明を加える。図５は、本実施形態に係る音階算出方法の一例を示す概念図である。
　例えば、時刻ｔ１における周波数成分の分布が図５（ａ）のようであったとする。振動周波数算出部１２は、先ず、倍音成分を考慮して、各周波数成分のＦＦＴパワーを補正する。具体的には例えば、周波数ｆ１のＦＦＴパワーは、次式により算出される。
　（ｆ１（ｔ１）のＦＦＴパワー（補正後））＝（ｆ１（ｔ１）のＦＦＴパワー）＋（ｆ１ｘ２（ｔ１）のＦＦＴパワー）ｘ０．９＋（ｆ１ｘ３（ｔ１）のＦＦＴパワー）ｘ０．８
ここで、“ｆ１ｘ２”及び“ｆ１ｘ３”は、夫々、周波数ｆ１の２倍音及び３倍音を意味する。数値“０．９”及び“０．８”は、「重み」である。尚、重み付けはしなくてもよい。
　次に、振動周波数算出部１２は、補正された周波数成分のうち、最も大きいＦＦＴパワーを有する周波数成分に対応する音階を求め、一の振動変化点におけるオーディオ信号の音階とする。
　再び図２に戻り、振動周波数算出部１２は、例えば図６に示すような音階変換テーブルを参照して、振動変化点におけるオーディオ信号の音階を、所定オクターブだけ下げて、振動周波数帯域内に収まる周波数である振動周波数に変換する（図３（ｄ）中の符号“Ｄ２”、“Ｄ２”、・・・、“Ｄ＃２”参照）（ステップＳ１０４）。
　次に、振動信号生成部１３は、変換された振動周波数からなる振動信号を生成する（図３（ｅ）参照）（ステップＳ１０５）。生成された振動信号が、電気－機械振動変換器（図示せず）に供給されれば、オーディオ信号に調和した体感振動がユーザに提供される。尚、生成される振動信号の振幅は、入力されたオーディオ信号の振幅に応じて決定される。
　＜第１変形例＞
　次に、本実施形態の第１変形例について、図７（ａ）を参照して説明する。図７（ａ）は、第１変形例に係る周波数変換方法の一例を示す概念図である。
　上述した実施形態では、音階変換テーブルを用いて振動周波数を求めていたが、本変形例では、次の関係式に基づいて振動周波数が求められる。
　（ｆｉｎ１－ｆｉｎ）：（ｆｉｎ－ｆｉｎ２）＝（ｆｏｕｔ１－ｆｏｕｔ）：（ｆｏｕｔ－ｆｏｕｔ２）
ここで、“ｆｉｎ１”及び“ｆｉｎ２”は、夫々、振動変換帯域の上限値及び下限値である。“ｆｏｕｔ１”及び“ｆｏｕｔ２”は、夫々、振動周波数帯域の上限値及び下限値である。“ｆｉｎ”は、振動変化点におけるオーディオ信号の周波数であり、“ｆｏｕｔ”は振動周波数である。
　＜第２変形例＞
　次に、本実施形態の第２変形例について、図７（ｂ）を参照して説明する。図７（ａ）は、第２変形例に係る周波数変換方法の一例を示す概念図である。
　本変形例では、振動変化点におけるオーディオ信号の周波数が、振動周波数帯域内になるまで、２のべき乗（２ｎ）で除算される。このように構成すれば、オーディオ信号に例えば和音等が含まれている場合であっても、比較的容易に振動信号を生成することができ、実用上非常に有利である。
　以下、本発明に係る振動信号生成装置を体感音響システムに適用した場合の実施例について、図面に基づいて説明する。
　＜第１実施例＞
　第１実施例に係る体感音響システムについて、図８を参照して説明する。図８は、第１実施例に係る音響体感システムの構成を示すブロック図である。尚、図中の矢印は、信号の流れを示している（以降の図において同じ）。
　図８において、体感音響システム１００は、振動信号生成装置１０、ユーザインターフェース部２０、メモリ３０、電気－機械振動変換器４０、遅延回路（Ｄｅｌａｙ）５０及び出力端子（Ａｕｄｉｏ　ＯＵＴ）６０を備えて構成されている。
　ユーザインターフェース部２０は、ユーザに対して、例えば楽曲選択画面、モード選択画面等を提供する表示部（図示せず）と、該ユーザが入力操作を行うためのボタン等（図示せず）と、を有している。「楽曲選択画面」には、例えばフラッシュメモリ等であるメモリ３０に予め格納されている一又は複数の楽曲データの一覧が表示される。
　「モード選択画面」には、複数の周波数帯域に対応する名称（ここでは例えば、“ボーカル追従”、“ベース追従”、“周波数帯指定”）が表示される。尚、「ボーカル追従」及び「ベース追従」は、製造者等により予め固定値として周波数帯域が設定されている（所謂、プリセット値）。他方、「周波数帯域指定」は、ユーザが自由に周波数帯域を設定可能である。
　ユーザにより楽曲選択画面に表示された楽曲データの一覧から一の楽曲データが選択されると、メモリ３０に対して、該選択された一の楽曲データを示す信号が送信される。そして、メモリ３０から、振動信号生成装置１０の信号入力部１４に対して、一の楽曲データが送信される。
　他方、ユーザによりモード選択画面に表示された複数の周波数帯域に対応する名称のうち一の名称が選択されると、該選択された一の名称に対応する周波数帯域が「振動変換帯域」として設定される。そして、ユーザインターフェース部２０から、振動信号生成装置１０の振動変化点算出部１１に対して、振動変換帯域を示す信号が送信される。
　振動信号生成装置１０において、信号入力部１４は、振動変化点算出部１１に対して、一の楽曲データを送信する。信号入力部１４は、更に、出力端子６０に対して、遅延回路５０を介して一の楽曲データを送信する。
　一の楽曲データを受信した振動変化点算出部１１は、受信された一の楽曲データ及び振動変化帯域を示す信号に基づいて、振動変化点を算出する。振動変化点算出部１１は、振動周波数算出部１２に対して、一の楽曲データ、及び算出された振動変化点を示す信号を送信する。
　振動周波数算出部１２は、受信された一の楽曲データ及び振動変化点を示す信号に基づいて、振動変化点における一の楽曲データの周波数成分を振動周波数に変換する。振動周波数算出部１２は、振動信号生成部１３に対して、一の楽曲データ、及び変換された振動周波数を示す信号送信する。
　振動信号生成部１３は、受信された一の楽曲データ、及び振動周波数を示す信号に基づいて、振動信号を生成する。振動信号生成部１３は、電気－機械振動変換器４０に対して、生成された振動信号を送信する。
　ここで、出力端子６０から出力される一の楽曲データは、遅延回路５０に起因する期間だけ遅延されるので、一の楽曲データの再生位置と、電気－機械振動変換器４０により発生される振動と、を同期させることができる。
　尚、第１実施例に係る体感音響システムの一具体例は、電気－機械振動変換器４０を備える、例えば椅子やベッド等である。
　＜第２実施例＞
　第２実施例に係る体感音響システムについて、図９を参照して説明する。図９は、第２実施例に係る音響体感システムの構成を示すブロック図である。尚、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。
　図９において、体感音響システム２００は、例えばパーソナルコンピュータ等であるホストコンピュータ２０１、及び振動ユニット２０２を備えて構成されている。
　第２実施例では、振動信号生成装置１０の振動信号生成部１３から、電気－機械振動変換器４０に対して、無線送信部７１及び無線受信部７２を介する無線通信によって、振動信号が送信される。また、メモリ３０に代えて、ハードディスクドライブ（ＨＤＤ）３１に一又は複数の楽曲データが格納されている。
　＜第３実施例＞
　第３実施例に係る体感音響システムについて、図１０を参照して説明する。図１０は、第３実施例に係る音響体感システムの構成を示すブロック図である。尚、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。
　図１０において、体感音響システム３００は、プレーヤドック３０１、音楽再生機能付き振動ユニット３０２及びオーディオプレーヤ３０３を備えて構成されている。尚、オーディオプレーヤ３０３は、単体でも、ハードディスクドライブ３１に格納されている一又は複数の楽曲データを再生可能である。
　オーディオプレーヤ３０３は、プレーヤドック３０１の信号入力部１４及び音楽・振動マルチプレックス８１に対して、ハードディスクドライブ３１に格納され、ユーザにより選択された一の楽曲データを送信する。オーディオプレーヤ３０３は、更に、プレーヤドック３０１の振動変化点算出部１１に対して、振動変換帯域を示す信号を送信する。
　音楽・振動マルチプレックス８１は、受信された一の楽曲データ、及び振動信号生成部１３により生成された振動信号をマルチプレックスする。音楽・振動マルチプレックス８１は、音楽再生機能付き振動ユニット３０２の音楽・振動デマルチプレックス８２に対して、無線送信部７１及び無線受信部７２を介する無線通信によって、マルチプレックスされた一の楽曲データ及び振動信号を送信する。
　音楽・振動デマルチプレックス８２は、マルチプレックスされた一の楽曲データ及び振動信号を、一の楽曲データと振動信号とにデマルチプレックスする。音楽・振動デマルチプレックス８２は、電気－機械振動変換器４０に対して、振動信号を送信すると共に、出力端子６０に対して、一の楽曲データを送信する。
　尚、オーディオプレーヤ３０３及びプレーヤドック３０１間における通信は、有線通信に限らず無線通信であってもよい。
　＜第４実施例＞
　第４実施例に係る体感音響システムについて、図１１を参照して説明する。図１１は、第４実施例に係る音響体感システムの構成を示すブロック図である。尚、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。
　図１１において、体感音響システム４００は、振動信号生成装置１０、ユーザインターフェース部２０、電気－機械振動変換器４０及び入力端子（マイク　ＩＮ）９０を備えて構成されている。尚、体感音響システム４００の一具体例は、例えば補聴器等の聴覚障害者の補助機器である。
　第４実施例では、楽曲データに代えて音声データが、入力端子９０を介して、振動信号生成装置１０の信号入力部１４に入力される。また、ユーザにより、該ユーザが聞き取ることが難しい周波数帯域が、振動変換帯域として設定され、該設定された振動変換帯域を示す信号が、振動信号生成装置１０の振動変化点算出部１１に送信される。
　＜第５実施例＞
　第５実施例に係る体感音響システムについて、図１２を参照して説明する。図１２は、第５実施例に係る音響体感システムの構成を示すブロック図である。尚、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ説明する。
　図１２において、体感音響システム５００は、ネットワーク５０４を介して相互に接続された端末装置５０１、サーバ装置５０２及び振動ユニット５０３を備えて構成されている。
　端末装置５０１のインターフェース部２０は、通信部５１２、ネットワーク５０４及び通信部５２２を介して、サーバ装置５０２のハードディスクドライブ３１に格納されている一又は複数の楽曲データの一覧を示す楽曲情報を取得する。インターフェース部２０は、ユーザに対して、該取得された楽曲情報を表示する。
　インターフェース部２０は、楽曲情報により示された楽曲データのうち一の楽曲データを示す入力を受け付けた場合、サーバ装置５０２に対して、一の楽曲データを特定する楽曲特定信号を、通信部５１２、ネットワーク５０４及び通信部５２２を介して送信する。インターフェース部２０は、更に、サーバ装置５０２に対して、振動変換帯域を示す信号を送信する。
　サーバ装置５０２の制御部５２１は、端末装置５０１の再生部５１１に対して、受信された楽曲特定信号により特定される一の楽曲データを、通信部５２２、ネットワーク５０４及び通信部５１２を介して送信する。制御部５２１は、更に、振動信号生成装置１０に対して、一の楽曲データ及び振動変換帯域を示す信号を送信する。
　制御部５２１は、振動ユニット５０３の電気－機械振動変換部４０に対して、振動信号生成装置１０により生成された振動信号を、通信部５２２、ネットワーク５０４及び通信部５３１を介して送信する。
　本実施例に係る「インターフェース部２０」は、本発明に係る「受付手段」及び「表示手段」の一例である。本実施例に係る「ハードディスクドライブ３１」、「通信部５１２」及び「通信部５２２」は、夫々、本発明に係る「格納手段」、「第１通信手段」及び「第２通信手段」の一例である。
　本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システムもまた本発明の技術的範囲に含まれるものである。
　１０…振動信号生成装置、１１…振動変化点算出部、１２…振動周波数算出部、１３…振動信号生成部、１４…信号入力部、２０…ユーザインターフェース部、４０…電気－機械振動変換器、１００、２００、３００、４００、５００…体感音響システム

Claims (9)

  1. 　可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、
    　前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、
    　を備えることを特徴とする振動信号生成装置。
  2. 　前記振動信号生成手段は、前記算出された振動変化点における前記音響信号の周波数成分として、前記算出された振動変化点における前記音響信号の音階を算出し、前記算出された音階に対応する周波数を、前記第２周波数帯域内に収まる周波数である振動周波数に変換して、前記振動信号を生成することを特徴とする請求項１に記載の振動信号生成装置。
  3. 　前記振動信号生成手段は、前記算出された音階を所定オクターブ下げることによって、前記算出された音階に対応する周波数を前記振動周波数に変換することを特徴とする請求項２に記載の振動信号生成装置。
  4. 　前記周波数変換手段は、前記第１周波数帯域に対する前記算出された音階に対応する周波数の関係と、前記第２周波数帯域に対する前記振動周波数の関係と、が等しくなるように、前記算出された音階に対応する周波数を前記振動周波数に変換することを特徴とする請求項２に記載の振動信号生成装置。
  5. 　前記振動信号生成手段は、
    　前記算出された振動変化点における前記音響信号の周波数成分を解析する解析手段を含み、
    　前記解析手段による解析結果に基づいて、前記算出された振動変化点における前記音響信号の周波数成分を変換して、前記振動信号を生成する
    　ことを特徴とする請求項１に記載の振動信号生成装置。
  6. 　可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出工程と、
    　前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成工程と、
    　を備えることを特徴とする振動信号生成方法。
  7. 　コンピュータを、
    　可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、
    　前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、
    　として機能させることを特徴とするコンピュータプログラム。
  8. 　請求項７に記載のコンピュータプログラムを格納することを特徴とする記録媒体。
  9. 　ネットワークを介して相互に接続された端末装置、サーバ装置及び電気－機械振動変換装置を備えてなる体感音響システムであって、
    　前記サーバ装置は、複数の楽曲データ、及び前記複数の楽曲データの一覧を示す楽曲情報を格納する格納手段を有し、
    　前記端末装置は、
    　ユーザの入力を受付可能な受付手段と、
    　前記ネットワークを介して前記楽曲情報を取得して、前記ユーザに対して表示する表示手段と、
    　前記受付手段により受け付けられた前記ユーザの入力に応じて、前記楽曲情報により示される複数の楽曲データのうち一の楽曲データを特定する信号である楽曲特定信号を、前記ネットワークを介して、前記サーバ装置に送信する第１通信手段と、
    　を有し、
    　前記サーバ装置は、
    　前記楽曲特定信号により特定される一の楽曲データに対応し、可聴帯域内の周波数成分を含んでなる音響信号から、前記可聴帯域よりも狭い周波数帯域である第１周波数帯域に対応する周波数成分である第１周波数成分を抽出し、前記抽出された第１周波数成分の時間変動が所定条件を満たす時間軸上の点である振動変化点を算出する振動変化点算出手段と、
    　前記算出された振動変化点における前記音響信号の周波数成分を、前記第１周波数帯域の最大周波数よりも低い最大周波数を有する周波数帯域である第２周波数帯域内に収まる周波数成分に変換して、前記変換された周波数成分からなる振動信号を生成する振動信号生成手段と、
    　前記生成された振動信号を、前記ネットワークを介して、前記電気－機械振動変換装置に送信する第２通信手段と、
    　を更に有する
    　ことを特徴とする体感音響システム。
PCT/JP2011/055941 2011-03-14 2011-03-14 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム WO2012124043A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/055941 WO2012124043A1 (ja) 2011-03-14 2011-03-14 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/055941 WO2012124043A1 (ja) 2011-03-14 2011-03-14 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム

Publications (1)

Publication Number Publication Date
WO2012124043A1 true WO2012124043A1 (ja) 2012-09-20

Family

ID=46830177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/055941 WO2012124043A1 (ja) 2011-03-14 2011-03-14 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム

Country Status (1)

Country Link
WO (1) WO2012124043A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669873A (zh) * 2020-12-25 2021-04-16 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064895A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理方法、装置及びプログラム記録媒体
JP2004538496A (ja) * 1999-12-20 2004-12-24 ハンセウルソフト カンパニー リミテッド ネットワーク基盤の音楽演奏／歌の伴奏サービスシステム及びその方法
JP2009094561A (ja) * 2007-10-03 2009-04-30 Panasonic Corp 音響再生装置、音響再生システム、および音響再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004538496A (ja) * 1999-12-20 2004-12-24 ハンセウルソフト カンパニー リミテッド ネットワーク基盤の音楽演奏／歌の伴奏サービスシステム及びその方法
JP2002064895A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理方法、装置及びプログラム記録媒体
JP2009094561A (ja) * 2007-10-03 2009-04-30 Panasonic Corp 音響再生装置、音響再生システム、および音響再生方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669873A (zh) * 2020-12-25 2021-04-16 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法
CN112669873B (zh) * 2020-12-25 2024-05-03 瑞声光电科技(常州)有限公司 一种基于音乐频率的振动频率设计方法

Similar Documents

Publication Publication Date Title
EP2136286B1 (en) System and method for automatically producing haptic events from a digital audio file
US20130131851A1 (en) System and method for automatically producing haptic events from a digital audio signal
US20070242040A1 (en) System and method for automatically producing haptic events from a digital audio signal
WO2016027366A1 (ja) 振動信号生成装置及び振動信号生成方法
CN110459196A (zh) 一种调整歌曲演唱难度的方法、装置及系统
JP2006251375A (ja) 音声処理装置およびプログラム
JP2018004870A (ja) 音声合成装置および音声合成方法
KR102212409B1 (ko) 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
JP6915913B2 (ja) 非可聴音発生装置
WO2012124043A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、並びに体感音響システム
JP6300328B2 (ja) 環境音生成装置及びそれを用いた環境音生成システム、環境音生成プログラム、音環境形成方法及び記録媒体
WO2013186901A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
WO2013021457A1 (ja) 振動振幅値算出装置及び方法、振動信号生成装置、並びにコンピュータプログラム
JP4433734B2 (ja) 音声分析合成装置、音声分析装置、及びプログラム
WO2013150649A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
JP2010176042A (ja) 歌唱音声録音カラオケシステム
WO2013186902A1 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
JP5714774B2 (ja) 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
WO2023189193A1 (ja) 復号装置、復号方法および復号プログラム
WO2023189973A1 (ja) 変換装置、変換方法および変換プログラム
WO2022264537A1 (ja) 触覚信号生成装置、触覚信号生成方法、プログラム
JP2010002937A (ja) 音声分析合成装置、音声分析装置、音声合成装置、及びプログラム
WO2021210338A1 (ja) 再生制御方法、制御システムおよびプログラム
CN117351992A (zh) 情感关怀设备及其方法
WO2014142201A1 (ja) 分離用データ処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11860910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11860910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP