WO2021085506A1 - 振動制御装置，振動制御プログラム及び振動制御方法 - Google Patents

振動制御装置，振動制御プログラム及び振動制御方法 Download PDF

Info

Publication number
WO2021085506A1
WO2021085506A1 PCT/JP2020/040520 JP2020040520W WO2021085506A1 WO 2021085506 A1 WO2021085506 A1 WO 2021085506A1 JP 2020040520 W JP2020040520 W JP 2020040520W WO 2021085506 A1 WO2021085506 A1 WO 2021085506A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
vibration
energy
waveform
frequency
Prior art date
Application number
PCT/JP2020/040520
Other languages
English (en)
French (fr)
Inventor
雅司 昆陽
公輔 山口
南 曹
諭 田所
Original Assignee
国立大学法人東北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019195595A external-priority patent/JP7055406B2/ja
Priority claimed from JP2020165991A external-priority patent/JP2022057633A/ja
Application filed by 国立大学法人東北大学 filed Critical 国立大学法人東北大学
Priority to CN202080063178.4A priority Critical patent/CN114424146A/zh
Priority to KR1020227007563A priority patent/KR20220091459A/ko
Priority to EP20882659.4A priority patent/EP4052809A4/en
Publication of WO2021085506A1 publication Critical patent/WO2021085506A1/ja
Priority to US17/690,983 priority patent/US20220198891A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D19/00—Control of mechanical oscillations, e.g. of amplitude, of frequency, of phase
    • G05D19/02—Control of mechanical oscillations, e.g. of amplitude, of frequency, of phase characterised by the use of electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response

Definitions

  • the techniques described herein relate to vibration control devices, vibration control programs and vibration control methods.
  • vibration feedback has become more sophisticated in fields such as smartphones, game consoles, virtual reality (VR) devices, and robot maneuvering support.
  • a vibration device capable of presenting a realistic tactile sensation by reproducing vibration in a wide frequency band has been developed.
  • the techniques described herein are aimed at producing vibrations in the high frequency band that are easily perceived by humans.
  • the vibration control device is a vibration control device that controls vibration by a vibration device by a signal, and includes an energy control unit that converts the waveform of the signal while maintaining the energy of the signal.
  • FIG. 1 it is a block diagram illustrating a low frequency component separation process in the energy control process shown in FIG. (A) to (c) are graphs illustrating an example of generating vibration according to ISM without emphasizing the waveform.
  • (A) to (c) are graphs illustrating a first example of emphasizing and separating a high frequency component of 3000 Hz or higher from a sound source.
  • (A) to (c) are graphs illustrating a second example of emphasizing and separating high frequency components of 3000 Hz or higher from a sound source.
  • (A) to (c) are graphs explaining an example of emphasizing and separating a low frequency component of 1000 Hz or less from a sound source.
  • FIG. 1 is a block diagram schematically showing a configuration example of a vibration generation system 100 as an embodiment.
  • the vibration generation system 100 includes a vibration control device 1, a Digital Analog Converter (DAC) 2, a high frequency vibration 31, a low frequency vibration 32, an earphone (L) 41, and an earphone (R) 42.
  • DAC Digital Analog Converter
  • L earphone
  • R earphone
  • the DAC 2 may be referred to as Universal Serial Bus (USB) audio, and converts the digital signal input from the vibration control device 1 into an analog signal. Then, the DAC2 outputs the converted analog signal to the high frequency vibration 31, the low frequency vibration 32, the earphone (L) 41, and the earphone (R) 42.
  • An amplifier in other words, an amplifier) (not shown) for driving the high frequency vibration 31, the low frequency vibration 32, the earphone (L) 41, and the earphone (R) 42 is provided in the subsequent stage of the DAC2. You can.
  • the low frequency vibration 32 shown in FIG. 1 is an example of the first vibration device, and generates vibration due to a signal component having a frequency lower than a predetermined frequency.
  • the high-frequency vibration 31 shown in FIG. 1 is an example of a second vibration device, and generates vibration due to a signal component having a predetermined frequency or higher.
  • the low frequency vibration 32 may not be provided in the vibration generation system 100. In that case, vibration due to a signal component less than a predetermined frequency may be generated from the high frequency vibration 31, or vibration due to a signal component less than a predetermined frequency may not be generated in the vibration generation system 100.
  • the predetermined frequency for separating the signal component of the vibration output from the low frequency vibration 32 and the signal component of the signal output from the high frequency vibration 31 may be a frequency in the range of 80 Hz to 400 Hz.
  • the earphone (L) 41 generates a sound input to the human left ear among stereo sound sources.
  • the earphone (R) 42 generates a sound input to the human left ear among stereo sound sources.
  • the earphone (L) 41 and the earphone (R) 42 may not be provided in the vibration generation system 100. Further, the earphone (L) 41 and the earphone (R) 42 may be shared to generate a monaural sound source. Further, in the vibration generation system 100, a speaker may be provided instead of the earphone (L) 41 and the earphone (R) 42, or a sound source having three or more channels may be output.
  • the vibration control device 1 includes a Central Processing Unit (CPU) 11, a memory 12, and a storage device 13.
  • CPU Central Processing Unit
  • the vibration control device 1 in the example of the present embodiment may perform tactile signal conversion of acoustic information such as music, movies, and voice.
  • acoustic information such as music, movies, and voice.
  • vibration becomes audible as sound, which causes noise.
  • a low-pass filter is often applied at about several hundred Hz to cut the high frequency band.
  • the waveform in the high frequency band is converted into another frequency in the low frequency band and output.
  • the vibration control device 1 in the example of the present embodiment may modulate the high frequency vibration generated when the robot comes into contact with an object to a frequency band that can be perceived by humans.
  • the vibration control device 1 in the example of the present embodiment may modulate the high frequency vibration generated when the robot comes into contact with an object to a frequency band that can be perceived by humans.
  • the vibration control device 1 in the example of the present embodiment may be applied to a chair, a suit, a headset or the like including a vibration device.
  • the memory 12 is a storage device including a Read Only Memory (ROM) and a Random Access Memory (RAM).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the storage device 13 is a device that stores data in a readable and writable manner, and for example, a Hard Disk Drive (HDD), a Solid State Drive (SSD), or a Storage Class Memory (SCM) may be used.
  • the storage device 13 stores the generated teacher data, the learning model, and the like.
  • the CPU 11 is a processing device that performs various controls and calculations, and realizes various functions by executing an Operating System (OS) or a program stored in the memory 12. That is, as shown in FIG. 1, the CPU 11 may function as a frequency removal control unit 111, a time division control unit 112, an energy control unit 113, and a signal output unit 114.
  • OS Operating System
  • the CPU 11 may function as a frequency removal control unit 111, a time division control unit 112, an energy control unit 113, and a signal output unit 114.
  • the CPU 11 is an example of a computer, and exemplarily controls the operation of the entire vibration control device 1.
  • the device for controlling the operation of the entire vibration control device 1 is not limited to the CPU 11, and may be, for example, any one of MPU, DSP, ASIC, PLD, FPGA, and a dedicated processor. Further, the device for controlling the operation of the entire vibration control device 1 may be a combination of two or more of the CPU, MPU, DSP, ASIC, PLD, FPGA and the dedicated processor.
  • MPU is an abbreviation for Micro Processing Unit
  • DSP is an abbreviation for Digital Signal Processor
  • ASIC is an abbreviation for Application Specific Integrated Circuit
  • PLD is an abbreviation for Programmable Logic Device
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the frequency removal control unit 111 removes the first signal component having a frequency equal to or lower than a predetermined frequency.
  • the time division control unit 112 divides the second signal component other than the first signal component removed by the frequency removal control unit 111 at predetermined time intervals.
  • the energy control unit 113 converts the waveform of the second signal component while maintaining the energy of the second signal component at predetermined time divided by the time division control unit 112.
  • the signal output unit 114 outputs the first signal component removed by the frequency removal control unit 111 in addition to the second signal component after the waveform is converted by the energy control unit 113.
  • FIG. 2 is a graph showing waveforms of signals before and after conversion by the vibration control device 1 shown in FIG.
  • the high-frequency band we focus on the vibration energy that correlates with the human perceived characteristics, not the waveform itself, and replace it with another waveform that has the same vibration energy.
  • the band can be changed.
  • the waveform shown by reference numeral A1 is converted into the waveform shown by reference numeral A2.
  • a vibration energy model (see, for example, Reference 4) is known as a perceptual characteristic of human vibration for high-frequency vibration of about 100 Hz or higher. From this, it is known that the vibration cannot be separated even if the carrier frequency of the amplitude-modulated wave is replaced while maintaining the high-frequency vibration energy (see, for example, References 2 and 3). However, even if the vibration energy is maintained, as described above, the envelope component of vibration may be perceived as a difference in tactile information, and the perceived range has not been investigated. Further, in Cited Document 2, although a method of converting a signal based on vibration energy by time division has been devised, a method of maintaining a low frequency component has not been studied.
  • FIG. 3 is a graph showing the possibility of discriminating vibration by humans.
  • FIG. 4 is a sample waveform of vibration used in the forced three-choice discrimination experiment performed to determine the discrimination possibility shown in the graph shown in FIG.
  • the graph shown in FIG. 3 can be obtained by investigating the perceptual segregation characteristics of humans while maintaining the vibration energy.
  • Reference numeral B1 in FIG. 4 and reference numeral B2 show the same waveform
  • reference numeral B3 in FIG. 4 shows different waveforms.
  • the subject is made to compare the constant amplitude motion shown by reference numerals B1 and B2 in FIG. 4 with the amplitude modulation stimulus shown by reference numeral B3, and is asked to answer which amplitude modulation wave is.
  • the correct answer rate obtained in the forced three-choice discrimination experiment is represented by Sensitivity (d': d-prime), which is a discrimination performance index based on signal detection theory, and when d'is 1 or less, the correct answer is given. It means that the rate is less than about 60%.
  • the upper limit of the frequency at which the envelope component can be discriminated is about 80 to 125 Hz. It is also shown that it is not necessary to keep the envelope component above the upper limit of the frequency, and the stimulus cannot be separated if the carrier frequency of the amplitude-modulated wave is replaced while maintaining the vibration energy.
  • the vibration energy is converted while maintaining the vibration energy.
  • FIG. 5 is a graph showing the waveforms of signals before and after conversion for each segment by the vibration control device 1 shown in FIG.
  • vibration is time-divisioned in a section of, for example, about 80 to 200 Hz, and each segment is used.
  • the vibration energy is obtained and replaced with vibration having a different carrier frequency.
  • the energy of the converted signal is the same as the energy of the original vibration signal within the same time segment. It has been converted to be.
  • the time division width (in other words, the division width) may be set to such an extent that energy fluctuations of 80 to 125 Hz or less can be expressed (in other words, to the extent that the peaks of fluctuations match) (countermeasure [1]). ).
  • the frequency of the division width may be 80 to 125 Hz or more, but if the division width is too short, the estimation accuracy of the vibration energy having a period longer than the division width deteriorates. Therefore, by the following measure [2], the waveform of the vibration whose energy cannot be estimated is output as it is.
  • a component having a frequency below a predetermined frequency may be taken out and presented as a stimulating vibration as it is (countermeasure [2]).
  • the predetermined frequency may be 80 to 125 Hz or higher, but the component of the predetermined frequency component or higher may be represented by the energy control unit 113 of the second signal component.
  • the frequency selection can be given arbitraryness. However, if the predetermined frequency is set too high, a noise problem may occur or a wide band vibration device may be required.
  • the predetermined frequency may be about 80 to 400 Hz. 400 Hz is the upper limit from the standpoint of noise problems and the performance of the vibration device.
  • the setting of the predetermined frequency also involves the selection of the carrier frequency when converting the vibration. Since the peak of the vibration frequency at which human perception sensitivity is improved is around 200 to 250 Hz, it is practical to use about 150 to 400 Hz as a carrier frequency that does not cause noise while increasing the sensitivity.
  • the carrier frequency may be a constant multiple of the division width. Further, a plurality of different carrier frequencies may be used, and a high frequency region of 400 Hz or higher may be included.
  • the predetermined frequency that separates the low frequency and the high frequency and the frequency of the division width for calculating the energy do not necessarily have to match.
  • the corrected energy which is the vibration energy corrected to improve the human perceptibility
  • the corrected energy can be expressed by the following equation.
  • A is the amplitude of the separated basis signal g k.
  • T f is an amplitude threshold, which is the minimum amplitude perceived by a human in a signal of frequency f.
  • b f is an exponential value and is a non-linear characteristic of a signal having a frequency f.
  • FIG. 6 is a graph showing the amplitude threshold value T f used for calculating the correction energy.
  • FIG. 7 is a graph showing the exponential value b f used in the calculation of the correction energy.
  • Exponent value b f in FIG. 7 is an example of using a value obtained by linear interpolation 400Hz following exponent value b f that previously reported.
  • FIG. 8 is a diagram illustrating the use of the window function in the vibration control device 1 shown in FIG.
  • the high frequency signal H (t) is input.
  • the high-frequency signal H (t) is the frame i, i + 1, i + 2
  • the signal for each ⁇ h i, h i + 1 , h i + 2 are respectively the frame divided as ....
  • the signal h of each divided frame is separated into a plurality of base signals g 1 , g 2 , g 3, ....
  • the scalar values E i , E i + 1 , E i + 2 , ..., Which are the combined correction energies of ..., are output.
  • the scalar values E i , E i + 1 , E i + 2 , ... Of the vibration energy calculated in each frame i are converted into a vibration waveform having the same vibration energy but having a different carrier frequency.
  • a windowing process using a window function is performed on the amplitudes ai (t), ai + 1 (t), ai + 2 (t), ... Of the waveform.
  • frame synthesis is performed for the 1st to Nth frames, and the amplitude A (t) of the vibration waveform is output.
  • amplitude A second vibration waveform S 2 having a carrier frequency such that (t) (t) is output.
  • FIG. 9 is a graph illustrating an example of synthesis of low frequency and high frequency in the vibration control device 1 shown in FIG.
  • FIG. 10 is a graph showing a specific example of the waveform of the signal before and after conversion by the vibration control device 1 shown in FIG.
  • the waveform of the violin sound before conversion (see reference numeral F1) and the waveform after conversion (see reference numeral F2) are represented by the amplitude for each time.
  • the sound of high-frequency vibration such as a violin generates a large amount of auditory noise with conventional tactile vibration, and the vibration that can be perceived by humans disappears when a low-pass filter is applied. Therefore, the correction energy is calculated so that the waveform has a single wavelength having a low carrier frequency for each time.
  • FIG. 11 is a block diagram illustrating a functional configuration example of the ISM unit 101 in the vibration control device 1 shown in FIG.
  • the ISM unit 101 functions as a time division control unit 112, an energy control unit 113, an energy vibration conversion unit 114a, and a vibration generation unit 114b.
  • the ISM unit 101 controls the vibration including the high frequency component due to the high frequency vibration 31 by the signal. From the perceptual characteristics of human vibration energy, the high frequency component of the signal X (t) is assumed to be about 100 Hz or higher, but it may be converted to a low frequency component of less than 100 Hz. This makes it possible to emphasize low frequency components.
  • the method of controlling vibration based on the time division of energy of the present invention is collectively called ISM.
  • Time division control section 112 the vibration signal X (t) of dividing time into N frames, and inputs a signal h i of the i-th frame is time-divided into energy control unit 113.
  • the number of frames N may be determined by a predetermined period and the overlap rate of the windowing process.
  • the energy control unit 113 calculates the correction energy e i for the signal h i of the i-th frame, and inputs the calculated correction energy to the energy vibration conversion unit 114a.
  • the energy vibration conversion unit 114a generates a signal A (t) obtained by synthesizing each of the correction energies e 1 to e N of the 1st to Nth frames, and inputs the signal A (t) to the second vibration generation unit 114b.
  • the vibration generation unit 114b outputs a signal waveform S (t) based on the combined signal A (t).
  • the signal removal unit 111a and the low frequency pass filter 111b shown in FIG. 12 correspond to the frequency removal control unit 111 shown in FIG. Further, the energy vibration conversion unit 114a, the second vibration generation unit 114b, and the first vibration generation unit 114c shown in FIG. 12 correspond to the signal output unit 114 shown in FIG.
  • the signal removing unit 111a removes components of a predetermined frequency or less from the acquired signal X (t) before conversion to generate a high frequency signal H (t), and inputs the high frequency signal H (t) to the time division control unit 112 (step). S1).
  • Time division control section 112 the high-frequency signal H (t) is split time into N frames, and inputs a signal h i of the i-th frame is time-divided into energy control unit 113 (step S2).
  • the number of frames N may be determined by a predetermined period and the overlap rate of the windowing process.
  • the energy control unit 113 calculates the correction energy e i for the signal h i of the i-th frame, and inputs the calculated correction energy to the energy vibration conversion unit 114a (step S3).
  • the energy vibration conversion unit 114a generates a signal A (t) obtained by synthesizing each of the correction energies e 1 to e N of the 1st to Nth frames, and inputs the signal A (t) to the second vibration generation unit 114b (step S4).
  • Second vibrating generator 114b based on the combined signal A (t), and outputs a second vibration waveform S 2 (t) (step S5).
  • the low frequency pass filter 111b inputs the low frequency signal L (t) obtained by overfiltering the components of a predetermined frequency or less from the acquired signal X (t) before conversion to the first vibration generation unit 114c (step). S6).
  • First vibrating generator 114c based on the low-frequency signal L (t), and outputs a first vibration waveform S 1 (t) (step S7).
  • step S3 of FIG. 12 the details of the energy control process shown in step S3 of FIG. 12 will be described with reference to the block diagrams (steps S11 to S14) shown in FIG.
  • the energy control unit 113 functions as a base signal separation control unit 113a, a frequency calculation unit 113b, an energy correction parameter calculation unit 113c, and a correction energy calculation unit 113d.
  • Baseband signal separation controller 113a separates a signal h i of the i-th frame, which is divided in a time input signal into a plurality of baseband signal g, the separated k-th baseband signal g k in the frequency calculation section 113b Input (step S11).
  • signals may be separated by short-time Fourier analysis, wavelet analysis, Empirical Mode Decomposition (EMD) method, or the like.
  • Frequency calculator 113b calculates the frequency f k of the k-th baseband signal g k, and inputs to the energy correction parameter calculator 113c (step S12).
  • the energy correction parameter calculation unit 113c calculates the exponential value b k and the amplitude threshold value T k described with reference to FIG. 6 based on the frequency f k , and inputs them to the correction energy calculation unit 113d (step S13).
  • the correction energy calculation unit 113d calculates the correction energy I pc for each basis signal g k based on the index value b k and the amplitude threshold value T k according to the mathematical formula shown in Equation 1, and corrects the energy of all the basis signals g k . Is output as the scalar value e i (step S14).
  • the energy control unit 113 functions as a base signal separation control unit 113a, a frequency calculation unit 113b, an energy correction parameter calculation unit 113c, and a correction energy calculation unit 113d, and is low to the low frequency component synthesis unit 113g. It may have a function of separating frequency components.
  • Baseband signal separation controller 113a separates a signal h i of the i-th frame, which is divided in a time input signal into a plurality of baseband signal g, the separated k-th baseband signal g k in the frequency calculation section 113b Input (step S101).
  • signals may be separated by short-time Fourier analysis, wavelet analysis, EMD method, or the like.
  • Frequency calculator 113b calculates the frequency f k of the k-th baseband signal g k, and inputs to the energy correction parameter calculator 113c (step S102).
  • the energy correction parameter calculation unit 113c calculates the exponential value b k and the amplitude threshold value T k described with reference to FIG. 6 based on the frequency f k , and inputs them to the correction energy calculation unit 113d (step S103).
  • the correction energy calculation unit 113d calculates the correction energy I pc for each basis signal g k based on the index value b k and the amplitude threshold value T k according to the mathematical formula shown in Equation 1, and corrects the energy of all the basis signals g k . Is output as the scalar value e i (step S104).
  • Low-frequency component synthesizer 113g the frequency f k of the baseband signal g k synthesizes a smaller base signal than the predetermined frequency, to generate a low-frequency component L (t) (step S105).
  • the energy control units 1131 and 1132 as modifications applied when adjusting the energy of the base signal existing in the predetermined frequency band to convert the waveform are shown in FIGS. 15 to 20. Will be described using.
  • FIGS. 15A to 15C are graphs illustrating an example of generating vibration according to ISM without emphasizing the waveform.
  • the band corresponding to the waveform of the cymbal (drum) of the high frequency component from the music of the piano trio and the band corresponding to the waveform of the piano and the bass are shown.
  • the horizontal axis represents time [s]
  • the vertical axis represents frequency [Hz]
  • the dark spectrum is the spectrum in which the power is large and light. Indicates that the power is low.
  • FIG. 15A as the distribution of the sound source spectrum, the waveform of the cymbal of the high frequency component shown by the broken line and the waveform of the piano and the bass of the low frequency component shown by the alternate long and short dash line are shown.
  • FIG. 15 (b) shows the spectral distribution (200 Hz center) when converted by ISM.
  • ISM spectral distribution
  • FIG. 15 (c) shows an example of converting to a signal using the representative frequency of the base signal without converting to a signal having a frequency of 200 Hz based on the intensity. This makes it possible to visualize which frequency band is emphasized.
  • FIGS. 16 (a) to 16 (c) are graphs illustrating a first example of emphasizing and separating high frequency components from a sound source.
  • FIG. 16 shows an example in which a cymbal (drum) having a high frequency component is emphasized and separated from a piece of music of a piano trio.
  • the horizontal axis represents time [s]
  • the vertical axis represents frequency [Hz]
  • the dark spectrum is the spectrum in which the power is large and light. Indicates that the power is low.
  • FIG. 16A the waveform of the high-frequency component cymbal shown by the broken line and the waveform of the low-frequency component piano and bass shown by the alternate long and short dash line are shown as the distribution of the sound source spectrum.
  • FIG. 16B shows the spectral distribution (200 Hz center) when converted by ISM.
  • the intensity is +20 dB (100 times) only for the intensity of 3000 Hz or higher.
  • FIG. 16 (c) shows an example of converting into a signal using the representative frequency of the base signal without converting into a signal having a frequency of 200 Hz based on the intensity. This makes it possible to visualize which frequency band is emphasized. In FIG. 16 (c), the power of the cymbal spectrum is increased.
  • FIGS. 17A to 17C are graphs illustrating a second example of emphasizing and separating high frequency components from a sound source.
  • FIG. 17 shows an example in which a cymbal (drum) of a high-frequency component is emphasized and separated from a piece of music of a piano trio.
  • the horizontal axis represents time [s]
  • the vertical axis represents frequency [Hz]
  • the dark spectrum is the spectrum in which the power is large and light. Indicates that the power is low.
  • FIG. 17A the waveform of the high-frequency component cymbal shown by the broken line and the waveform of the low-frequency component piano and bass shown by the alternate long and short dash line are shown as the distribution of the sound source spectrum.
  • FIG. 17 (b) shows the spectral distribution (200 Hz center) when converted by ISM.
  • the intensity of 3000 Hz or higher is +20 dB (100 times), while the intensity of 1000 Hz or lower is ⁇ 10 dB (1/10 times).
  • FIG. 17 (c) shows an example of converting to a signal using the representative frequency of the base signal without converting to a signal having a frequency of 200 Hz based on the intensity. This makes it possible to visualize which frequency band is emphasized. In FIG. 17 (c), the power of the cymbal spectrum is increased.
  • FIGS. 18A to 18C are graphs illustrating an example of emphasizing and separating low frequency components from a sound source.
  • FIG. 18 shows an example of emphasizing and separating a piano and a bass having low frequency components from the music of a piano trio.
  • the horizontal axis represents time [s]
  • the vertical axis represents frequency [Hz]
  • the dark spectrum is the spectrum in which the power is large and light. Indicates that the power is low.
  • FIG. 18A the waveform of the high-frequency component cymbal shown by the broken line and the waveform of the low-frequency component piano and bass shown by the alternate long and short dash line are shown as the distribution of the sound source spectrum.
  • FIG. 18B shows the spectral distribution (200 Hz center) when converted by ISM.
  • the intensity of 1000 Hz or less is +10 dB (10 times).
  • FIG. 18C shows an example of converting to a signal using the representative frequency of the base signal without converting to a signal having a frequency of 200 Hz based on the intensity. This makes it possible to visualize which frequency band is emphasized.
  • (c) of FIG. 18 the power of the spectrum of the piano and the bass is increased.
  • the energy control unit 1131 includes the gain calculation unit 113e in addition to the basal signal separation control unit 113a, the frequency calculation unit 113b, the energy correction parameter calculation unit 113c, and the correction energy calculation unit 113d shown in FIG. Functions as.
  • Baseband signal separation controller 113a separates a signal h i of the i-th frame, which is divided in a time input signal into a plurality of baseband signal g, the separated k-th baseband signal g k in the frequency calculation section 113b Input (step S41).
  • signals may be separated by short-time Fourier analysis, wavelet analysis, EMD method, or the like.
  • Frequency calculator 113b calculates the frequency f k of the k-th baseband signal g k, and inputs to the energy correction parameter calculator 113c (step S42).
  • the energy correction parameter calculation unit 113c calculates the exponential value b k and the amplitude threshold value T k described with reference to FIG. 6 based on the frequency f k , and inputs them to the correction energy calculation unit 113d (step S43).
  • the gain calculation unit 113e outputs a predetermined gain value G k for each frequency band according to the frequency f k of the calculated base signal g k (step S44). If you want to emphasize the energy, it is set to G k > 1, and if you want to suppress the energy, it is set to 0 ⁇ G k ⁇ 1. Energy adjustment by emphasis or suppression may be performed for one frequency band or for a plurality of frequency bands. Further, the energy adjustment may be performed for the entire frequency band input to the energy control unit 1131.
  • the energy control unit 1132 includes the gain calculation unit 113e in addition to the basal signal separation control unit 113a, the frequency calculation unit 113b, the energy correction parameter calculation unit 113c, and the correction energy calculation unit 113d shown in FIG. And functions as a signal source identification unit 113f.
  • Baseband signal separation controller 113a separates a signal h i of the i-th frame, which is divided in a time input signal into a plurality of baseband signal g, the separated k-th baseband signal g k in the frequency calculation section 113b Input (step S51).
  • signals may be separated by short-time Fourier analysis, wavelet analysis, EMD method, or the like.
  • Frequency calculator 113b calculates the frequency f k of the k-th baseband signal g k, and inputs to the energy correction parameter calculator 113c (step S52).
  • Energy correction parameter calculator 113c based on the frequency f k, calculates an exponent value b k and amplitude threshold T k described with reference to FIG. 6, is input to the correction energy calculating unit 113d (step S53).
  • Signal source identifying unit 113f on the basis of the set signal feature, to estimate the identification candidates from a history of the input signal h i and h i, to identify belongs to which signal source baseband signal g k is the identification result Is output as an ID (identifier) or the like (step S54).
  • the signal source identification unit 113f may prepare a classifier in advance by machine learning or the like. For example, the features of many instruments learning deep learning, if the current input signal h i (or input signal h i is the case too short history of each plurality of input signals h i) includes any instrument candidate A group (eg, piano, bass, drum) may be estimated and which instrument contains the base signal g k may be identified.
  • Gain calculating unit 113e in accordance with the ID specified by the signal source identifying unit 113f, and outputs the gain value G k another predetermined frequency band (step S55). If you want to emphasize the energy, it is set to G k > 1, and if you want to suppress the energy, it is set to 0 ⁇ G k ⁇ 1. Energy adjustment by emphasis or suppression may be performed for one frequency band or for a plurality of frequency bands. Further, the energy adjustment may be performed for the entire frequency band input to the energy control unit 1132.
  • step S4 of FIG. 11 the details of the energy synthesis process shown in step S4 of FIG. 11 will be described with reference to the block diagrams (steps S21 to S23) shown in FIG.
  • the energy vibration conversion unit 114a functions as an energy equivalent conversion unit 1141a, a window hanging processing unit 1142a, and a frame synthesis unit 1143a.
  • the energy equivalent conversion unit 1141a converts the scalar value e i of the vibration energy calculated in each frame i into a vibration waveform having the same vibration energy but having a different carrier frequency, and the same.
  • the amplitude ai (t) of the waveform is output to the window-hanging processing unit 1142a (step S21).
  • the window-hanging processing unit 1142a performs window-hanging processing using the window function shown in FIG. 8 on the amplitude ai (t) of each input frame i, and inputs the processing result to the frame compositing unit 1143a ( Step S22).
  • the frame synthesizing unit 1143a synthesizes frames for the input from the window hanging processing unit 1142a for the 1st to Nth frames, and outputs the amplitude A (t) of the vibration waveform (step S23).
  • step S5 of FIG. 11 the details of the corrected vibration waveform generation process shown in step S5 of FIG. 11 will be described with reference to the block diagrams (steps S31 and S32) shown in FIG.
  • the second vibration generation unit 114b functions as the amplitude vibration conversion unit 1141b and the waveform output unit 1142b.
  • the second vibration generation unit 114b has an input signal A (t) and outputs a sine wave having a carrier frequency.
  • the phase of the generated waveform may be controlled so that the vibrations are smoothly connected.
  • the amplitude vibration conversion unit 1141b converts the input amplitude A (t) into vibration (step S31).
  • the waveform output unit 1142b outputs a sine wave S 2 (t) having a carrier frequency so that the amplitude becomes A (t) (step S32).
  • the time division control unit 112 divides the signal for controlling the vibration by the vibration device at predetermined time intervals.
  • the energy control units 1131, 1132 convert the waveform of the second signal component at predetermined time divided by the time division control unit 112.
  • the energy control units 1131, 1132 perform waveform conversion by adjusting the energy for signals in a specific frequency band, and perform waveform conversion while maintaining energy for signals other than the specific frequency band. Further, the energy control units 1131, 1132 adjust the energy for the signal extracted based on the specific signal feature amount and convert the waveform, while maintaining the energy for the signal not extracted with the specific feature amount. However, it may be converted into a waveform having a frequency different from that of the signal.
  • vibration in a high frequency band that is easily perceived by humans can be generated, and vibration corresponding to an arbitrary signal source can be emphasized or suppressed and output. Then, the energy can be adjusted according to the sensitivity and preference of the individual to vibration. In addition, it is possible to suppress the generation of auditory noise generated by vibration in the high frequency band.
  • the energy control units 1131, 1132 adjust by multiplying the gain value determined according to the specific frequency band by the energy of the signal in the specific frequency band. Thereby, the vibration corresponding to any signal source can be easily emphasized or suppressed.
  • the gain value may be determined based on not only the frequency but also other characteristics of the signal such as ID. Thereby, the vibration corresponding to a specific signal source can be easily emphasized or suppressed.
  • the frequency of the predetermined division cycle of the time division control unit 112 is an arbitrary value with 80 Hz as the lower limit. As a result, the signal component in the high frequency band to be converted can be efficiently extracted.
  • the signal output unit 114 has a first signal component that does not convert the waveform of the signal of a predetermined frequency or less included in the vibration by the energy control unit 1131, 1132 and a second signal component that converts the waveform by the energy control unit 1131, 1132. Outputs the signal components of. As a result, the signal component in the low frequency band, which is not the conversion target, can be output to the vibration device as it is.
  • the predetermined frequency for separating the first signal component and the second signal component is in the range of 80 Hz to 400 Hz. As a result, the waveform of the high frequency component can be appropriately converted.
  • vibration is generated by the low frequency vibration 32 of the plurality of vibration devices. Further, with respect to the second signal component output by the signal output unit 114, vibration is generated by the high frequency vibration 31 of the plurality of vibration devices. This makes it possible for humans to experience the vibration in the high frequency band and the vibration in the low frequency band realistically.
  • the low frequency vibration 32 may not be provided in the vibration generation system 100. In that case, vibration due to a signal component less than a predetermined frequency may be generated from the high frequency vibration 31, or vibration due to a signal component less than a predetermined frequency may not be generated in the vibration generation system 100.
  • the vibration generation system 100 shown in FIG. 1 is provided with high-frequency vibration 31 and low-frequency vibration 32, but is not limited thereto.
  • the number of vibrations provided in the vibration generation system 100 can be varied.
  • FIG. 23 is a block diagram showing a configuration example of DAC2 when a plurality of vibration devices 310 and 320 are used in the vibration generation system 100 shown in FIG.
  • the DAC2 shown in FIG. 1 functions as a high-frequency gain adjuster 21a, a low-frequency gain adjuster 21b, a high-frequency vibration device drive circuit 22a, and a low-frequency vibration device drive circuit 22b.
  • the high frequency vibration 31 and the low frequency vibration 32 shown in FIG. 1 function as a high frequency vibration device 310 and a low frequency vibration device 320, respectively.
  • High frequency gain adjuster 21a is a second vibration waveform S 2 input from the vibration control apparatus 1 (t), through the high-frequency vibration device driving circuit 22a, and outputs the high-frequency vibration device 310.
  • the low frequency gain adjuster 21b is a first vibration waveform S 1 inputted from the vibration control apparatus 1 (t), through the low-frequency vibration device driving circuit 22b, outputs a low-frequency vibration device 320 ..
  • FIG. 24 is a block diagram showing a configuration example of a DAC when a single vibration device is used in the vibration generation system 100 shown in FIG.
  • the DAC2 shown in FIG. 1 functions as a high frequency gain adjuster 21a, a low frequency gain adjuster 21b, and a vibration device drive circuit 22. Further, the high frequency vibration 31 and the low frequency vibration 32 shown in FIG. 1 function as the vibration device 30.
  • the high-frequency gain adjuster 21a and the low-frequency gain adjuster 21b drive the second vibration waveform S 2 (t) and the first vibration waveform S 1 (t) input from the vibration control device 1 into a common vibration device, respectively. It is output to the common vibration device 30 via the circuit 22.
  • Vibration generation system 1 Vibration control device 11: CPU 101: ISM unit 111: Frequency removal control unit 111a: Signal removal unit 111b: Low frequency pass filter 111d: Correction energy calculation unit 112: Time division control unit 113, 1131, 1132: Energy control unit 113a: Base signal separation control unit 113b: Frequency calculation unit 113c: Energy correction parameter calculation unit 113d: Correction energy calculation unit 113e: Gain calculation unit 113f: Signal source identification unit 113g: Low frequency component synthesis unit 114: Signal output unit 114a: Energy vibration conversion unit 114b: First 2 Vibration generation unit 114c: First vibration generation unit 1141a: Energy equivalent conversion unit 1142a: Window hanging processing unit 1143a: Frame synthesis unit 1141b: Amplitude vibration conversion unit 1142b: Waveform output unit 12: Memory 13: Storage device 2: DAC 21a: High frequency gain adjuster 21b: Low frequency gain regulator 22: Vibration device drive circuit 22a: High frequency vibration device drive circuit 22b: Low

Abstract

バイブレーション装置による振動を信号によって制御する振動制御装置であって、信号のエネルギーを維持しながら信号の波形を変換するエネルギー制御部（１１３）を備える。

Description

振動制御装置，振動制御プログラム及び振動制御方法
　本明細書に記載する技術は、振動制御装置，振動制御プログラム及び振動制御方法に関する。
　近年、スマートフォンやゲーム機，Virtual Reality（ＶＲ）機器，ロボット操縦支援等の分野において、振動フィードバックの高度化が進んでいる。具体的には、幅広い周波数帯域の振動を再現することにより、リアルな触覚を提示できる振動デバイスが開発されている。
Hideto Takenouchi, Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 2017 IEEE/SICE International Symposium on System Integration「Extracting Haptic Information from High-Frequency Vibratory signals Measured on a Remote Robot to Transmit Collisions with Environments」pp. 968-973、２０１７年１２月 Nan Cao, Hikaru Nagano, Masashi Konyo, Shogo Okamoto, Satoshi Tadokoro「A Pilot Study: Introduction of Time-Domain Segment to Intensity-Based Perception Model of High-Frequency Vibration」、２０１８年６月 Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 27th IEEE International Symposium on Robot and Human Interactive Communication「Sound reduction of vibration feedback by perceptually similar modulation」、２０１８年８月 Sliman Bensmaia, Mark Hollins, Jeffrey Yau, Attention, 「Vibrotactile intensity and frequency information in the Pacinian system: A psychophysical model」、Perception, & Psychophysics, Vol. 67, No. 5, pp 828-841、 ２００５年７月
　しかしながら、例えば３００Ｈｚ以上の高周波の振動を提示しようとすると、デバイスの問題や知覚感度の問題，聴覚ノイズの問題が発生しうる。高周波帯域では振動子の振幅が小さくなるため、共振を利用するタイプのデバイスでは高周波帯域及び低周波帯域の振動を共に発生させることは容易でない。また、ヒトは２００～３００Ｈｚをピークにそれ以上の振動周波数に対しては知覚感度が弱くなるため、振動を知覚させるためには十分な振幅が必要となる。更に、周波数が３００Ｈｚ程度を超えると音として振動が聞こえるようなる。例えば、音楽や映画コンテンツと組み合わせて振動を発生させようとすると、音楽や映画コンテンツの音源を妨げる騒音と認識されるおそれがある。
　１つの側面では、本明細書に記載する技術は、ヒトが知覚しやすい高周波帯域の振動を生成することを目的とする。
　１つの側面において、振動制御装置は、バイブレーション装置による振動を信号によって制御する振動制御装置であって、前記信号のエネルギーを維持しながら当該信号の波形を変換するエネルギー制御部を備える。
　１つの側面として、ヒトが知覚しやすい高周波帯域の振動を生成できる。
実施形態としての振動発生システムの構成例を模式的に示すブロック図である。 図１に示した振動制御装置による変換前後の信号の波形を示すグラフである。 ヒトによる振動の弁別可能性を示すグラフである。 図３に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。 図１に示した振動制御装置によるセグメント毎の変換前後の信号の波形を示すグラフである。 補正エネルギーの計算に用いられる振幅閾値Ｔｆを表すグラフである。 補正エネルギーの計算に用いられる指数閾値ｂを表すグラフである。 図１に示した振動制御装置における窓関数の利用を説明する図である。 図１に示した振動制御装置における低周波と高周波との合成例を説明するグラフである。 図１に示した振動制御装置による変換前後の信号の波形の具体例を示すグラフである。 図１に示した振動制御装置におけるIntensity Segmentation Method（ＩＳＭ）部の機能構成例を説明するブロック図である。 図１に示した振動制御装置における振動波形の生成処理の第１の実施例を説明するブロック図である。 図１１に示したエネルギー制御処理の詳細を説明するブロック図である。 図１に示した振動制御装置における振動波形の生成処理の第２の実施例として、図１１に示したエネルギー制御処理における低周波成分の分離処理を説明するブロック図である。 （ａ）～（ｃ）は波形を強調せずにＩＳＭに従い振動を生成する例を説明するグラフである。 （ａ）～（ｃ）は音源から３０００Ｈｚ以上の高周波成分を強調して分離する第１の例を説明するグラフである。 （ａ）～（ｃ）は音源から３０００Ｈｚ以上の高周波成分を強調して分離する第２の例を説明するグラフである。 （ａ）～（ｃ）は音源から１０００Ｈｚ以下の低周波成分を強調して分離する例を説明するグラフである。 図１１に示したエネルギー制御処理の第１変形例を説明するブロック図である。 図１１に示したエネルギー制御処理の第２変形例を説明するブロック図である。 図１１に示したエネルギー合成処理の詳細を説明するブロック図である。 図１１に示した補正した振動波形の生成処理の詳細を説明するブロック図である。 図１に示した振動発生システムにおいて複数の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。 図１に示した振動発生システムにおいて単一の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。
　以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
　また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。
　〔Ａ〕実施形態
　図１は、実施形態としての振動発生システム１００の構成例を模式的に示すブロック図である。
　振動発生システム１００は、振動制御装置１，Digital Analog Converter（ＤＡＣ）２，高周波バイブレーション３１，低周波バイブレーション３２，イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２を備える。
　ＤＡＣ２は、Universal Serial Bus（ＵＳＢ）オーディオと称されてもよく、振動制御装置１から入力されたデジタル信号をアナログ信号に変換する。そしで、ＤＡＣ２は、変換後のアナログ信号を高周波バイブレーション３１，低周波バイブレーション３２，イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２に出力する。なお、ＤＡＣ２の後段には、高周波バイブレーション３１，低周波バイブレーション３２，イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２を駆動させるための不図示の増幅器（別言すれば、アンプ）が設けられてよい。
　図１に示す低周波バイブレーション３２は、第１のバイブレーション装置の一例であり、所定周波数未満の信号成分による振動を発生させる。図１に示す高周波バイブレーション３１は、第２のバイブレーション装置の一例であり、所定周波数以上の信号成分による振動を発生させる。なお、低周波バイブレーション３２は振動発生システム１００において備えられなくてもよい。その場合には、高周波バイブレーション３１から所定周波数未満の信号成分による振動が発生されてもよいし、所定周波数未満の信号成分による振動は振動発生システム１００において発生させられなくてもよい。
　低周波バイブレーション３２から出力される振動の信号成分と、高周波バイブレーション３１から出力される信号の信号成分とを分離する所定周波数は、８０Ｈｚから４００Ｈｚまでの範囲内の周波数であってよい。
　イヤフォーン（Ｌ）４１は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。イヤフォーン（Ｒ）４２は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。なお、イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２は、振動発生システム１００において備えられなくてもよい。また、イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２は、共用されてモノラル音源を発生させてもよい。更に、振動発生システム１００においては、イヤフォーン（Ｌ）４１及びイヤフォーン（Ｒ）４２の代わりにスピーカが備えられてもよいし、３チャネル以上の音源の出力がされてもよい。
　振動制御装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２及び記憶装置１３を備える。
　本実施形態の一例における振動制御装置１は、音楽や映画，音声等の音響情報の触覚信号変換を行なってよい。周波数が３００～４００Ｈｚ程度を超えると音として振動が聞こえるようになるため、騒音となる。このため、従来技術における音楽や動画等の振動体感装置では、数百Ｈｚ程度でローパスフィルタをかけて、高周波帯域をカットすることが多い。一方、本実施形態の一例における振動制御装置１では、高周波帯域の波形を低周波帯の別の周波数に変換して出力する。
　また、本実施形態の一例における振動制御装置１は、ロボットが物体に接触した際に発生する高周波振動をヒトが知覚できる周波数帯に変調してよい。ロボットが物体に接触した際の振動を遠隔操縦者に伝達することで、物体との衝突の強さや摩擦の状況を把握することができる。建設ロボットのような金属筐体を把持するロボットでは、物体に接触した際にヒトが知覚できない帯域の振動が発生することがある。そこで、本実施形態の一例における振動制御装置１では、出力信号の周波数帯を変調する。
　更に、本実施形態の一例における振動制御装置１は、バイブレーション装置を含む椅子やスーツ，ヘッドセット等に適用されてよい。
　メモリ１２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。
　記憶装置１３は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。記憶装置１３は、生成した教師データや学習モデル等を記憶する。
　ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ１１は、図１に示すように、周波数除去制御部１１１，時間分割制御部１１２，エネルギー制御部１１３，信号出力部１１４として機能してよい。
　ＣＰＵ１１は、コンピュータの一例であり、例示的に、振動制御装置１全体の動作を制御する。振動制御装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ，専用プロセッサのいずれか１つであってもよい。また、振動制御装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ及び専用プロセッサのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
　周波数除去制御部１１１は、所定周波数以下の周波数を有する第１の信号成分を除去する。
　時間分割制御部１１２は、周波数除去制御部１１１によって除去された第１の信号成分以外の第２の信号成分を所定時間毎に分割する。
　エネルギー制御部１１３は、時間分割制御部１１２によって分割された所定時間毎に、第２の信号成分のエネルギーを維持しながら第２の信号成分の波形を変換する。
　信号出力部１１４は、エネルギー制御部１１３による波形の変換後の第２の信号成分に加えて、周波数除去制御部１１１によって除去された第１の信号成分を出力する。
　図２は、図１に示した振動制御装置１による変換前後の信号の波形を示すグラフである。
　高周波振動に対するヒトの知覚特性を考慮し、高周波帯域においては波形そのものではなく、ヒトの知覚特性に相関がある振動エネルギーに着目して、同等な振動エネルギーを持つ別の波形に置き換えることで、周波数帯域を変更可能とする。図２に示す例では、符号Ａ１に示す波形が符号Ａ２に示す波形に変換されている。
　連続する任意の振動信号に対して、ヒトの知覚特性を考慮した適切な間隔で時分割し、分割したセグメント毎に振動エネルギーに変換することで、ヒトが感じる触覚を同等に保ったまま、或いは、感じにくい高周波帯域を感じられるように、任意の信号波形に変換することを可能にする。
　変換後の振動の周波数を適切に選択することで、振動子の応答レンジに合わせて効率的に駆動したり、聴覚ノイズを低下させたり、任意の音源に変換させたりすることが可能になる。
　ヒトの振動に対する知覚は１ｋＨｚ程度までであると言われている。そのため、１ｋＨｚ以上の振動は無視されることが多い。一方、１ｋＨｚ以上の振動であっても、その振幅がヒトによって感じられる程度の帯域で変動する振幅変調波の場合は、その包絡線成分を知覚し得ることが知られている。
　一方、ヒトの振動の１００Ｈｚ程度以上の高周波振動に対する知覚特性として、振動エネルギーモデル（例えば、引用文献４を参照）が知られている。このことから、高周波振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えても振動を分別できないことが判っている（例えば、引用文献２及び引用文献３を参照）。しかし、振動エネルギーを保ったとしても、上述したように、振動の包絡成分が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。また、引用文献２では、時分割で振動エネルギーに基づいて信号を変換する方法が考案されているものの、低周波成分を維持する方法については検討されていない。
　図３は、ヒトによる振動の弁別可能性を示すグラフである。図４は、図３に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
　従来から知られている振動エネルギーモデル（例えば、引用文献４を参照）を前提とし、振動エネルギーを保ったままで、ヒトの知覚分別特性を調査すると図３に示すグラフが得られる。図４の符号Ｂ１にと符号Ｂ２とは同じ波形を示しており、図４の符号Ｂ３は異なる波形を示している。被験者に対して、図４の符号Ｂ１及びＢ２に示す一定振幅動と符号Ｂ３に示す振幅変調刺激とを比較させ、振幅変調波がどれかを答えさせる。図３においては強制三選択肢弁別実験で得られた正答率が、信号検出理論に基づく弁別性能指標であるSensitivity（ｄ’：d-prime）で表されており、ｄ’が１以下になると正答率が約６割を下回ることを意味している。
　図３に示すグラフによれば、包絡線成分を弁別可能な周波数の上限値は８０～１２５Ｈｚ程度である。また、この周波数上限値以上の包絡成分は保つ必要が無く、振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えてれば刺激を分別できないことを示している。
　前述のように、振動エネルギーを保ったとしても、エネルギーが低周波域で変動する場合は、その変動が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。そこで、知覚できる低周波の変動の上限値が８０～１２５Ｈｚ程度にあることが発見されたことに基づき、２つの対策（後述する対策［１］及び対策［２］を参照）により低周波成分を維持しながら、振動エネルギーの変換を行なうこととする。
　図５は、図１に示した振動制御装置１によるセグメント毎の変換前後の信号の波形を示すグラフである。
　ヒトの高周波知覚は、波形そのものよりも振動エネルギーに基づいているため、振動エネルギーを保てば同じ感覚と感じられる。ただし、振動エネルギーの変動が８０～１２５Ｈｚ程度以下で起こっている場合は、その振動エネルギーの変動を再現する必要がある。
　そこで、本実施形態の一例では、所定の周波数（例えば、８０～１２５Ｈｚ程度）以下の振動エネルギーの変動を維持する手段として、例えば、８０～２００Ｈｚ程度の区間で、振動を時分割し、セグメント毎に振動エネルギーを求め、異なりキャリア周波数をもつ振動に置換する。
　図５に示す例では、符号Ｃ１に示す元の振動信号と、符号Ｃ２に示す変換後の信号とにおいて、同じ時間セグメント内で、変換後の信号のエネルギーが元の振動信号のエネルギーと同じになるように変換されている。
　時分割の幅（別言すれば、分割幅）は、８０～１２５Ｈｚ以下のエネルギー変動が表現できる程度（別言すれば、変動の山が合う程度）に設定されればよい（対策［１］）。分割幅の周波数は、８０～１２５Ｈｚ以上であってもよいが、分割幅を短くし過ぎると分割幅よりも長い周期の振動エネルギーの推定精度が悪くなる。そこで、下記の対策［２］によって、エネルギーを推定できない振動は波形をそのまま出力する。
　また、所定の周波数以下の成分を取り出して、そのまま刺激振動として提示してもよい（対策［２］）。なお、所定の周波数は８０～１２５Ｈｚ以上であってもよいが、所定の周波数成分以上の成分は、第２信号成分のエネルギー制御部１１３によって表現されてもよい。これにより、周波数選択に任意性を持たせることができる。ただし、所定の周波数を高周波に設定しすぎると、騒音の問題が発生したり、広帯域のバイブレーション装置が必要になったりするおそれがある。
　上記対策［１］及び対策［２］によれば、所定の周波数は、８０～４００Ｈｚ程度であってもよい。４００Ｈｚは、騒音問題とバイブレーション装置の性能の観点からの上限である。
　所定の周波数の設定には、振動を変換する際のキャリア周波数の選定も関わる。ヒトの知覚感度が良くなる振動周波数のピークは２００～２５０Ｈｚあたりにあることから、感度を高めつつ、騒音にならないキャリア周波数としては、１５０～４００Ｈｚ程度が実用的である。キャリア周波数は、分割幅の定数倍であってよい。また、キャリア周波数は異なる周波数を複数用いてもよく、４００Ｈｚ以上の高周波域を含めてもよい。
　また、低周波と高周波とを分ける所定周波数と、エネルギーを計算する分割幅の周波数とは、必ずしも一致させなくてもよい。
　引用文献４によれば、ヒトの知覚可能性を向上されるために補正された振動エネルギーである補正エネルギーは、次の式で表せる。
Figure JPOXMLDOC01-appb-M000001
 　Ａは、分離された基底信号ｇｋの振幅である。Ｔｆは、振幅閾値であり、周波数ｆの信号においてヒトが感じられる最小の振幅である。ｂｆは、指数値であり、周波数ｆの信号における非線形特性である。
　図６は、補正エネルギーの計算に用いられる振幅閾値Ｔｆを表すグラフである。
　図６に示すように、振幅閾値は周波数によって異なり、およそ１０２～１０３Ｈｚの範囲では比較的小さな振幅でもヒトが感じることができるが、それ以外の範囲では比較的大きな振幅でなければヒトが感じることができない。
　図７は、補正エネルギーの計算に用いられる指数値ｂｆを表すグラフである。
　図７の指数値ｂｆは、従来報告されている４００Ｈｚ以下の指数値ｂｆを線形補間した値を用いる例である。
　図８は、図１に示した振動制御装置１における窓関数の利用を説明する図である。
　符号Ｄ１に示すように、高域信号Ｈ（ｔ）が入力される。符号Ｄ２に示すように、高域信号Ｈ（ｔ）がフレームｉ，ｉ＋１，ｉ＋２，・・・毎に信号ｈｉ，ｈｉ＋１，ｈｉ＋２，・・・としてそれぞれフレーム分割される。符号Ｄ３に示すように、分割された各フレームの信号ｈが、複数の基底信号ｇ１，ｇ２，ｇ３・・・に分離される。符号Ｄ４に示すように、基底信号ｇ１，ｇ２，ｇ３・・・がもつ周波数ｆ１，ｆ２，ｆ３・・・に基づき、全ての基底信号ｇ１，ｇ２，ｇ３・・・の補正エネルギーを合成したスカラ値Ｅｉ，Ｅｉ＋１，Ｅｉ＋２，・・・が出力される。符号Ｄ５に示すように、各フレームｉで算出された振動エネルギーのスカラ値Ｅｉ，Ｅｉ＋１，Ｅｉ＋２，・・・が、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換され、その波形の振幅ａｉ（ｔ），ａｉ＋１（ｔ），ａｉ＋２（ｔ），・・・に対して窓関数を用いた窓掛け処理が実施される。符号Ｄ６に示すように、１～Ｎ番目のフレームについてフレーム合成が行なわれ、振動波形の振幅Ａ（ｔ）が出力される。符号Ｄ７に示すように、振幅がＡ（ｔ）となるようなキャリア周波数をもつ第２振動波形Ｓ２（ｔ）が出力される。
　図９は、図１に示した振動制御装置１における低周波と高周波との合成例を説明するグラフである。
　図８の窓関数を利用して高域信号Ｈ（ｔ）から生成した符号Ｅ１に示す第２振動波形Ｓ２（ｔ）は、低域信号Ｌ（ｔ）をそのまま出力した符号Ｅ２に示す第１振動波形Ｓ１（ｔ）と合成される。これにより、符号Ｅ３に示す、合成波形Ｓ１（ｔ）＋Ｓ２（ｔ）が出力される。
　図１０は、図１に示した振動制御装置１による変換前後の信号の波形の具体例を示すグラフである。
　図１０においては、バイオリンの音の変換前の波形（符号Ｆ１参照）と変換後の波形（符号Ｆ２参照）とが、時間毎の振幅によって表されている。
　バイオリンのような高周波振動の音は、従来の触覚振動では聴覚ノイズが大きく発生してしまい、またローパスフィルタをかけるとヒトが認知できる振動が消えてしまう。そこで、波形が時間毎に低周波のキャリア周波数をもつ単一波長となるように、補正エネルギーが算出される。
　図１１は、図１に示した振動制御装置１におけるＩＳＭ部１０１の機能構成例を説明するブロック図である。
　ＩＳＭ部１０１は、時間分割制御部１１２，エネルギー制御部１１３，エネルギー振動変換部１１４ａ及び振動生成部１１４ｂとして機能する。本実施形態では、ＩＳＭ部１０１によって、高周波バイブレーション３１による高周波成分を含む振動を信号によって制御する。なお、ヒトの振動エネルギーの知覚特性から、信号Ｘ（ｔ）の高周波成分は１００Ｈｚ程度以上が想定されるが、１００Ｈｚ未満の低周波成分に対して変換してもよい。これにより低周波成分を強調することができる。本発明のエネルギーの時間分割に基づいて振動を制御する手法を総称してＩＳＭと呼ぶ。
　時間分割制御部１１２は、振動の信号Ｘ（ｔ）をＮ個のフレームに時間分割して、時間分割されたｉ番目のフレームの信号ｈｉをエネルギー制御部１１３に入力する。なお、フレーム数Ｎは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
　エネルギー制御部１１３は、ｉ番目のフレームの信号ｈｉについて補正エネルギーｅｉを算出し、算出した補正エネルギーをエネルギー振動変換部１１４ａに入力する。
　エネルギー振動変換部１１４ａは、１～Ｎ番目のフレームの補正エネルギーｅ１～ｅＮのそれぞれを合成した信号Ａ（ｔ）を生成して、第２振動生成部１１４ｂに入力する。
　振動生成部１１４ｂは、合成された信号Ａ（ｔ）に基づき、信号波形Ｓ（ｔ）を出力する。
　〔Ｂ〕動作例
　図１に示した振動制御装置１における振動波形の生成処理の第１の実施例を、図１２に示すブロック図（ステップＳ１～Ｓ７）に従って説明する。
　図１２に示す信号除去部１１１ａ及び低域通過濾波器１１１ｂは、図１に示した周波数除去制御部１１１に対応する。また、図１２に示すエネルギー振動変換部１１４ａ，第２振動生成部１１４ｂ及び第１振動生成部１１４ｃは、図１に示した信号出力部１１４に対応する。
　信号除去部１１１ａは、取得された変換前の信号Ｘ（ｔ）から所定の周波数以下の成分を除去して高域信号Ｈ（ｔ）を生成して、時間分割制御部１１２に入力する（ステップＳ１）。
　時間分割制御部１１２は、高域信号Ｈ（ｔ）をＮ個のフレームに時間分割して、時間分割されたｉ番目のフレームの信号ｈｉをエネルギー制御部１１３に入力する（ステップＳ２）。なお、フレーム数Ｎは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
　エネルギー制御部１１３は、ｉ番目のフレームの信号ｈｉについて補正エネルギーｅｉを算出し、算出した補正エネルギーをエネルギー振動変換部１１４ａに入力する（ステップＳ３）。
　エネルギー振動変換部１１４ａは、１～Ｎ番目のフレームの補正エネルギーｅ１～ｅＮのそれぞれを合成した信号Ａ（ｔ）を生成して、第２振動生成部１１４ｂに入力する（ステップＳ４）。
　第２振動生成部１１４ｂは、合成された信号Ａ（ｔ）に基づき、第２振動波形Ｓ２（ｔ）を出力する（ステップＳ５）。
　一方、低域通過濾波器１１１ｂは、取得された変換前の信号Ｘ（ｔ）から所定の周波数以下の成分を過濾した低域信号Ｌ（ｔ）を第１振動生成部１１４ｃに入力する（ステップＳ６）。
　第１振動生成部１１４ｃは、低域信号Ｌ（ｔ）に基づき、第１振動波形Ｓ１（ｔ）を出力する（ステップＳ７）。
　次に、図１２のステップＳ３に示したエネルギー制御処理の詳細を、図１３に示すブロック図（ステップＳ１１～Ｓ１４）に従って説明する。
　図１３に示すように、エネルギー制御部１１３は、基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄとして機能する。
　基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ１１）。例えば、短時間フーリエ解析やウェーブレット解析，Empirical Mode Decomposition（ＥＭＤ）法などによって、信号が分離されてよい。
　周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ１２）。
　エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図６を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ１３）。
　補正エネルギー算出部１１３ｄは、指数値ｂｋ及び振幅閾値Ｔｋに基づき、数１で示した数式に従って、補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ１４）。
　次に、図１に示した振動制御装置１における振動波形の生成処理の第２の実施例として、図１１に示したエネルギー制御処理における低周波成分の分離処理を、図１４に示すブロック図（ステップＳ１０１～Ｓ１０５）に従って説明する。
　図１４に示すように、エネルギー制御部１１３は、基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄとして機能するとともに、低周波成分合成部１１３ｇへ低周波成分を分離する機能を有してよい。
　基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ１０１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。
　周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ１０２）。
　エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図６を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ１０３）。
　補正エネルギー算出部１１３ｄは、指数値ｂｋ及び振幅閾値Ｔｋに基づき、数１で示した数式に従って、補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ１０４）。
　低周波成分合成部１１３ｇは、基底信号ｇｋの周波数ｆｋが所定の周波数よりも小さい基底信号を合成し、低周波成分Ｌ（ｔ）を生成する（ステップＳ１０５）。
　複数の周波数帯域の信号を含む音源について、特定の周波数帯域の振動エネルギーを強調して振動として提示したい場合がある。そのような場合に、予め定められた周波数帯域に存在する基底信号のエネルギーを調整して波形の変換を行なう際に適用される変形例としてのエネルギー制御部１１３１及び１１３２について、図１５～図２０を用いて説明する。
　図１５の（ａ）～（ｃ）は、波形を強調せずにＩＳＭに従い振動を生成する例を説明するグラフである。図１５においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）の波形に対応する帯域と、ピアノ及びベースの波形に対応する帯域が示されている。図１５の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
　図１５の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
　図１５の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図１５の（ｂ）においては、ＩＳＭの効果で、シンバル、ピアノ及びベースの全てがインテンシティとして抽出されている。
　図１５の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
　図１６の（ａ）～（ｃ）は音源から高周波成分を強調して分離する第１の例を説明するグラフである。図１６においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）を強調して分離する例が示されている。図１６の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
　図１６の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
　図１６の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図１６の（ｂ）においては、３０００Ｈｚ以上のインテンシティに限って＋２０ｄＢ（１００倍）されている。
　図１６の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図１６の（ｃ）においては、シンバルのスペクトルのパワーが大きくなっている。
　図１７の（ａ）～（ｃ）は、音源から高周波成分を強調して分離する第２の例を説明するグラフである。図１７においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）を強調して分離する例が示されている。図１７の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
　図１７の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
　図１７の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図１７の（ｂ）においては、３０００Ｈｚ以上のインテンシティが＋２０ｄＢ（１００倍）されている一方、１０００Ｈｚ以下のインテンシティが－１０ｄＢ（１／１０倍）されている。
　図１７の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図１７の（ｃ）においては、シンバルのスペクトルのパワーが大きくなっている。
　図１８の（ａ）～（ｃ）は、音源から低周波成分を強調して分離する例を説明するグラフである。図１８においては、ピアノトリオの楽曲から低周波成分のピアノ及びベースを強調して分離する例が示されている。図１８の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
　図１８の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
　図１８の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図１８の（ｂ）においては、１０００Ｈｚ以下のインテンシティが＋１０ｄＢ（１０倍）されている。
　図１８の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図１８の（ｃ）においては、ピアノ及びベースのスペクトルのパワーが大きくなっている。
　図１１に示したエネルギー制御処理の第１変形例を、図１９に示すブロック図（ステップＳ４１～Ｓ４５）に従って説明する。
　図１９に示すように、エネルギー制御部１１３１は、図１３に示した基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄに加えて、ゲイン算出部１１３ｅとして機能する。
　基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ４１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。
　周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ４２）。
　エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図６を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ４３）。
　ゲイン算出部１１３ｅは、算出された基底信号ｇｋの周波数ｆｋに応じて、予め定められた周波数帯別のゲイン値Ｇｋを出力する（ステップＳ４４）。エネルギーを強調したい場合にはＧｋ＞１に設定され、エネルギーを抑制したい場合には０≦Ｇｋ＜１に設定される。強調又は抑制によるエネルギーの調整は、１つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部１１３１に入力された周波数帯域全体に対して実施されてもよい。
　補正エネルギー算出部１１３ｄは、分離された基底信号ｇｋの振幅Ａに対して、以下の数２に示す数式に従って、ゲイン調整した補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ４５）。
Figure JPOXMLDOC01-appb-M000002
　図１１に示したエネルギー制御処理の第２変形例を、図２０に示すブロック図（ステップＳ５１～Ｓ５５）に従って説明する。
　図２０に示すように、エネルギー制御部１１３２は、図１３に示した基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄに加えて、ゲイン算出部１１３ｅ及び信号源識別部１１３ｆとして機能する。
　基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ５１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。
　周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ５２）。
　エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図６を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ５３）。
　信号源識別部１１３ｆは、設定された信号特徴に基づき、入力信号ｈｉ及びｈｉの履歴等から識別候補を推定し、基底信号ｇｋがどの信号源に属するかを識別して、識別結果をＩＤ（識別子）等で出力する（ステップＳ５４）。信号源識別部１１３ｆは、機械学習等によって予め識別器を用意しておいてもよい。例えば、ディープラーニングで多くの楽器の特徴が学習され、現在の入力信号ｈｉ（又は入力信号ｈｉが短すぎる場合には各複数の入力信号ｈｉの履歴）にどの楽器が含まれるか候補群（例えば、ピアノ，ベース，ドラム）が推定され、基底信号ｇｋがどの楽器に含まれるかが識別されてよい。
　ゲイン算出部１１３ｅは、信号源識別部１１３ｆによって特定されたＩＤに応じて、予め定められた周波数帯別のゲイン値Ｇｋを出力する（ステップＳ５５）。エネルギーを強調したい場合にはＧｋ＞１に設定され、エネルギーを抑制したい場合には０≦Ｇｋ＜１に設定される。強調又は抑制によるエネルギーの調整は、１つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部１１３２に入力された周波数帯域全体に対して実施されてもよい。
　補正エネルギー算出部１１３ｄは、分離された基底信号ｇｋの振幅Ａに対して、数２に示した数式に従って、ゲイン調整した補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ５６）。
　次に、図１１のステップＳ４に示したエネルギー合成処理の詳細を、図２１に示すブロック図（ステップＳ２１～Ｓ２３）に従って説明する。
　エネルギー振動変換部１１４ａは、エネルギー等価変換部１１４１ａ，窓掛け処理部１１４２ａ及びフレーム合成部１１４３ａとして機能する。
　図２１に示すように、エネルギー等価変換部１１４１ａは、各フレームｉで算出された振動エネルギーのスカラ値ｅｉを、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換し、その波形の振幅ａｉ（ｔ）を窓掛け処理部１１４２ａに対して出力する（ステップＳ２１）。
　窓掛け処理部１１４２ａは、入力された各フレームｉの振幅ａｉ（ｔ）に対して図８に示した窓関数を用いた窓掛け処理を行ない、処理結果をフレーム合成部１１４３ａに入力する（ステップＳ２２）。
　フレーム合成部１１４３ａは、１～Ｎ番目のフレームについての窓掛け処理部１１４２ａからの入力についてフレーム合成を行ない、振動波形の振幅Ａ（ｔ）を出力する（ステップＳ２３）。
　次に、図１１のステップＳ５に示した補正した振動波形の生成処理の詳細を、図２２に示すブロック図（ステップＳ３１及びＳ３２）に従って説明する。
　図２２に示すように、第２振動生成部１１４ｂは、振幅振動変換部１１４１ｂ及び波形出力部１１４２ｂとして機能する。第２振動生成部１１４ｂは、入力された信号Ａ（ｔ）を持ち、キャリア周波数を持つ正弦波を出力する。生成される波形は、振動が滑らかに繋がるように位相が制御されてよい。
　振幅振動変換部１１４１ｂは、入力された振幅Ａ（ｔ）を振動に変換する（ステップＳ３１）。
　波形出力部１１４２ｂは、振幅がＡ（ｔ）になるように、キャリア周波数をもつ正弦波Ｓ２（ｔ）を出力する（ステップＳ３２）。
　〔Ｃ〕効果
　実施形態の一例における振動制御装置１，信号制御プログラム及び信号制御方法によれば、例えば、以下の作用効果を奏することができる。
　時間分割制御部１１２は、バイブレーション装置による振動を制御する信号を所定時間毎に分割する。エネルギー制御部１１３１，１１３２は、時間分割制御部１１２によって分割された所定時間毎に、第２の信号成分の波形を変換する。エネルギー制御部１１３１，１１３２は、特定の周波数帯域の信号についてはエネルギーを調整して波形の変換を行なう一方、特定の周波数帯域以外の信号についてはエネルギーを維持しながら波形の変換を行なう。また、エネルギー制御部１１３１，１１３２は、特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して波形の変換を行なう一方、特定の特徴量で抽出されない信号についてはエネルギーを維持しながら信号とは別の周波数をもつ波形に変換を行なってもよい。これにより、ヒトが知覚しやすい高周波帯域の振動を生成できると共に、任意の信号源に対応する振動を強調又は抑制して出力できる。そして、個人の振動に対する感度や好みに応じたエネルギーの調整を実施できる。また、高周波帯域の振動によって発生する聴覚ノイズの発生を抑止できる。
　エネルギー制御部１１３１，１１３２は、特定の周波数帯域に応じて定められたゲイン値を、特定の周波数帯域の信号のエネルギーに乗じることによって、調整を行なう。これにより、任意の信号源に対応する振動の強調又は抑制を容易に実施できる。
　ゲイン値を周波数だけでなくＩＤ等の信号のその他の特徴に基づいて決定してもよい。これにより、特定の信号源に対応する振動の強調又は抑制を容易に実施できる。
　時間分割制御部１１２の所定分割周期の周波数は、８０Ｈｚを下限とする任意の値である。これにより、変換対象である高周波帯域の信号成分を効率的に抽出できる。
　信号出力部１１４は、振動に含まれる所定の周波数以下の信号についてエネルギー制御部１１３１，１１３２による波形の変換を行わない第１の信号成分と、エネルギー制御部１１３１，１１３２により波形を変換する第２の信号成分とを出力する。これにより、変換対象ではない低周波帯域の信号成分はそのままバイブレーション装置に出力することができる。
　第１の信号成分と第２の信号成分とを分離する前記所定の周波数は、８０Ｈｚから４００Ｈｚまでの範囲である。これにより、適切に高周波成分の波形を変換できる。
　信号出力部１１４によって出力された第１の信号成分については、複数のバイブレーション装置のうちの低周波バイブレーション３２によって振動が生成される。また、信号出力部１１４によって出力された第２の信号成分については、複数のバイブレーション装置のうちの高周波バイブレーション３１によって振動が生成される。これにより、高周波帯域の振動と低周波帯域の振動とをヒトにリアルに体感させることができる。なお、低周波バイブレーション３２は振動発生システム１００において備えられなくてもよい。その場合には、高周波バイブレーション３１から所定周波数未満の信号成分による振動が発生されてもよいし、所定周波数未満の信号成分による振動は振動発生システム１００において発生させられなくてもよい。
　〔Ｄ〕その他
　開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
　図１に示した振動発生システム１００では、高周波バイブレーション３１と低周波バイブレーション３２とを備えることとしたが、これに限定されるものではない。振動発生システム１００に備えられるバイブレーションの数は、種々変更することができる。
　図２３は、図１に示した振動発生システム１００において複数の振動装置３１０，３２０を用いる場合のＤＡＣ２の構成例を示すブロック図である。
　図２３に示す例では、図１に示したＤＡＣ２は、高域ゲイン調整器２１ａ，低域ゲイン調整器２１ｂ，高域用振動装置駆動回路２２ａ及び低域用振動装置駆動回路２２ｂとして機能する。また、図１に示した高周波バイブレーション３１及び低周波バイブレーション３２は、高域用振動装置３１０及び低域用振動装置３２０としてそれぞれ機能する。
　高域ゲイン調整器２１ａは、振動制御装置１から入力された第２振動波形Ｓ２（ｔ）を、高域用振動装置駆動回路２２ａを介して、高域用振動装置３１０に出力する。また、低域ゲイン調整器２１ｂは、振動制御装置１から入力された第１振動波形Ｓ１（ｔ）を、低域用振動装置駆動回路２２ｂを介して、低域用振動装置３２０に出力する。
　図２４は、図１に示した振動発生システム１００において単一の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。
　図２４に示す例では、図１に示したＤＡＣ２は、高域ゲイン調整器２１ａ，低域ゲイン調整器２１ｂ及び振動装置駆動回路２２として機能する。また、図１に示した高周波バイブレーション３１及び低周波バイブレーション３２は、振動装置３０として機能する。
　高域ゲイン調整器２１ａ及び低域ゲイン調整器２１ｂは、振動制御装置１から入力された第２振動波形Ｓ２（ｔ）及び第１振動波形Ｓ１（ｔ）をそれぞれ、共通の振動装置駆動回路２２を介して、共通の振動装置３０に出力する。
１００　　　：振動発生システム
１　　　　　：振動制御装置
１１　　　　：ＣＰＵ
１０１　　　：ＩＳＭ部
１１１　　　：周波数除去制御部
１１１ａ　　：信号除去部
１１１ｂ　　：低域通過濾波器
１１１ｄ　　：補正エネルギー算出部
１１２　　　：時間分割制御部
１１３，１１３１，１１３２：エネルギー制御部
１１３ａ　　：基底信号分離制御部
１１３ｂ　　：周波数算出部
１１３ｃ　　：エネルギー補正パラメータ算出部
１１３ｄ　　：補正エネルギー算出部
１１３ｅ　　：ゲイン算出部
１１３ｆ　　：信号源識別部
１１３ｇ　　：低周波成分合成部
１１４　　　：信号出力部
１１４ａ　　：エネルギー振動変換部
１１４ｂ　　：第２振動生成部
１１４ｃ　　：第１振動生成部
１１４１ａ　：エネルギー等価変換部
１１４２ａ　：窓掛け処理部
１１４３ａ　：フレーム合成部
１１４１ｂ　：振幅振動変換部
１１４２ｂ　：波形出力部
１２　　　　：メモリ
１３　　　　：記憶装置
２　　　　　：ＤＡＣ
２１ａ　　　：高域ゲイン調整器
２１ｂ　　　：低域ゲイン調整器
２２　　　　：振動装置駆動回路
２２ａ　　　：高域用振動装置駆動回路
２２ｂ　　　：低域用振動装置駆動回路
３０　　　　：振動装置
３１　　　　：高周波バイブレーション
３２　　　　：低周波バイブレーション
３１０　　　：高域用振動装置
３２０　　　：低域用振動装置
 

Claims (17)

  1. 　バイブレーション装置による振動を信号によって制御する振動制御装置であって、
    　前記信号のエネルギーを維持しながら当該信号の波形を変換するエネルギー制御部
    を備える、振動制御装置。
  2. 　前記信号の成分を所定時間毎に分割する時間分割制御部を更に備え、
    　前記エネルギー制御部は、前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換する、
    請求項１に記載の振動制御装置。
  3. 　バイブレーション装置による振動を信号によって制御する振動制御装置であって、
    　前記信号を所定時間毎に分割する時間分割制御部と、
    　前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換するエネルギー制御部と、
    を備え、
    　前記エネルギー制御部は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御装置。
  4. 　バイブレーション装置による振動を信号によって制御する振動制御装置であって、
    　前記信号を所定時間毎に分割する時間分割制御部と、
    　前記時間分割制御部によって分割された前記所定時間毎に、前記信号の波形を変換するエネルギー制御部と、
    を備え、
    　前記エネルギー制御部は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御装置。
  5. 　前記エネルギー制御部は、前記特定の周波数帯域に応じて定められたゲイン値を、前記特定の周波数帯域の信号のエネルギーに乗じることによって、前記調整を行なう、
    請求項３又は４に記載の振動制御装置。
  6. 　前記ゲイン値は、前記特定の周波数帯域毎に定められた識別子に応じて決定される、
    請求項５に記載の振動制御装置。
  7. 　前記時間分割制御部の所定の分割周期は、８０Ｈｚを下限とする周波数である、
    請求項２～６のいずれか１項に記載の振動制御装置。
  8. 　所定の周波数以下の周波数を有する第１の信号成分を前記信号から除去する周波数除去制御部を更に備え、
    　前記エネルギー制御部は、前記周波数除去制御部によって除去された前記第１の信号成分以外の前記信号における第２の信号成分について、前記信号の波形を変換する、
    請求項１～７のいずれか１項に記載の振動制御装置。
  9. 　前記エネルギー制御部による波形の変換を行わない前記第１の信号成分と、前記エネルギー制御部により波形を変換する前記第２の信号成分とを出力する信号出力部
    を更に備える、請求項８に記載の振動制御装置。
  10. 　前記第１の信号成分と前記第２の信号成分とを分離する前記所定の周波数は、８０Ｈｚから４００Ｈｚまでの範囲である、
    請求項８又は９に記載の振動制御装置。
  11. 　前記信号出力部によって出力された前記第１の信号成分については、複数の前記バイブレーション装置のうちの第１のバイブレーション装置によって振動が生成され、
    　前記信号出力部によって出力された前記第２の信号成分については、前記複数のバイブレーション装置のうちの第２のバイブレーション装置によって振動が生成される、
    請求項９に記載の振動制御装置。
  12. 　バイブレーション装置による振動を信号によって制御するコンピュータに、
    　前記信号のエネルギーを維持しながら当該信号の波形を変換する、
    処理を実行させる、振動制御プログラム。
  13. 　バイブレーション装置による振動を信号によって制御するコンピュータに、
    　前記信号を所定時間毎に分割し、
    　分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    　前記波形を変換する処理は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御プログラム。
  14. 　バイブレーション装置による振動を信号によって制御するコンピュータに、
    　前記信号を所定時間毎に分割し、
    　分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    　前記波形を変換する処理は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御プログラム。
  15. 　バイブレーション装置による振動を信号によって制御する振動制御方法であって、
    　前記信号のエネルギーを維持しながら当該信号の波形を変換する、
    振動制御方法。
  16. 　バイブレーション装置による振動を信号によって制御する振動制御方法であって、
    　前記信号を所定時間毎に分割し、
    　分割された前記所定時間毎に、前記の信号の波形を変換し、
    　前記波形を変換する処理は、前記信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して行なう一方、前記特定の周波数帯域以外の信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御方法。
  17. 　バイブレーション装置による振動を信号によって制御するコンピュータに、
    　前記信号を所定時間毎に分割し、
    　分割された前記所定時間毎に、前記信号の波形を変換する、
    処理を実行させ、
    　前記波形を変換する処理は、前記信号のうち特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して前記波形の変換を行なう一方、前記特定の特徴量で抽出されない信号についてはエネルギーを維持しながら前記信号とは別の周波数をもつ波形に変換を行なう、
    振動制御方法。
     
     
PCT/JP2020/040520 2019-10-28 2020-10-28 振動制御装置，振動制御プログラム及び振動制御方法 WO2021085506A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080063178.4A CN114424146A (zh) 2019-10-28 2020-10-28 振动控制装置、振动控制程序以及振动控制方法
KR1020227007563A KR20220091459A (ko) 2019-10-28 2020-10-28 진동 제어 장치, 진동 제어 프로그램 및 진동 제어 방법
EP20882659.4A EP4052809A4 (en) 2019-10-28 2020-10-28 VIBRATION CONTROL APPARATUS, PROGRAM AND METHOD
US17/690,983 US20220198891A1 (en) 2019-10-28 2022-03-09 Vibration control apparatus, vibration control program, and vibration control method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-195595 2019-10-28
JP2019195595A JP7055406B2 (ja) 2019-10-28 2019-10-28 振動制御装置，振動制御プログラム，振動制御方法及び振動制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2020165991A JP2022057633A (ja) 2020-09-30 2020-09-30 振動制御装置，振動制御プログラム及び振動制御方法
JP2020-165991 2020-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/690,983 Continuation US20220198891A1 (en) 2019-10-28 2022-03-09 Vibration control apparatus, vibration control program, and vibration control method

Publications (1)

Publication Number Publication Date
WO2021085506A1 true WO2021085506A1 (ja) 2021-05-06

Family

ID=75716284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040520 WO2021085506A1 (ja) 2019-10-28 2020-10-28 振動制御装置，振動制御プログラム及び振動制御方法

Country Status (6)

Country Link
US (1) US20220198891A1 (ja)
EP (1) EP4052809A4 (ja)
KR (1) KR20220091459A (ja)
CN (1) CN114424146A (ja)
TW (1) TW202133950A (ja)
WO (1) WO2021085506A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254733A1 (ja) * 2021-06-04 2022-12-08 国立大学法人東北大学 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法
WO2023233491A1 (ja) * 2022-05-30 2023-12-07 国立大学法人東北大学 振動提示装置、振動発生システム、振動提示プログラム、振動提示プログラムが格納された記録媒体及び振動発生方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181304A (ja) * 2002-11-29 2004-07-02 Alps Electric Co Ltd 振動発生装置
JP2012020284A (ja) * 2004-11-30 2012-02-02 Immersion Corp 振動触覚ハプティック効果を発生させるための共振装置を制御するためのシステムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806654B1 (en) * 2012-01-20 2019-09-04 FINEWELL Co., Ltd. Portable telephone having cartilage conduction section

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004181304A (ja) * 2002-11-29 2004-07-02 Alps Electric Co Ltd 振動発生装置
JP2012020284A (ja) * 2004-11-30 2012-02-02 Immersion Corp 振動触覚ハプティック効果を発生させるための共振装置を制御するためのシステムおよび方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HIDETO TAKENOUCHINAN CAOHIKARU NAGANOMASASHI KONYOSATOSHI TADOKORO: "Extracting Haptic Information from High-Frequency Vibratory signals Measured on a Remote Robot to Transmit Collisions with Environments", THE 2017 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION, December 2017 (2017-12-01), pages 968 - 973, XP033312938, DOI: 10.1109/SII.2017.8279348
NAN CAOHIKARU NAGANOMASASHI KONYOSATOSHI TADOKORO: "Sound reduction of vibration feedback by perceptually similar modulation", 27TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION, August 2018 (2018-08-01)
NAN CAOHIKARU NAGANOMASASHI KONYOSHOGO OKAMOTOSATOSHI TADOKORO, A PILOT STUDY: INTRODUCTION OF TIME-DOMAIN SEGMENT TO INTENSITY-BASED PERCEPTION MODEL OF HIGH-FREQUENCY VIBRATION, June 2018 (2018-06-01)
See also references of EP4052809A4
SLIMAN BENSMAIAMARK HOLLINSJEFFREY YAU, PERCEPTION, & PSYCHOPHYSICS, vol. 67, no. 5, July 2005 (2005-07-01), pages 828 - 841

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254733A1 (ja) * 2021-06-04 2022-12-08 国立大学法人東北大学 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法
WO2023233491A1 (ja) * 2022-05-30 2023-12-07 国立大学法人東北大学 振動提示装置、振動発生システム、振動提示プログラム、振動提示プログラムが格納された記録媒体及び振動発生方法

Also Published As

Publication number Publication date
EP4052809A4 (en) 2023-12-06
CN114424146A (zh) 2022-04-29
US20220198891A1 (en) 2022-06-23
EP4052809A1 (en) 2022-09-07
KR20220091459A (ko) 2022-06-30
TW202133950A (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
JP5957446B2 (ja) 音響処理システム及び方法
WO2021085506A1 (ja) 振動制御装置，振動制御プログラム及び振動制御方法
JP6371516B2 (ja) 音響信号処理装置および方法
JP7055406B2 (ja) 振動制御装置，振動制御プログラム，振動制御方法及び振動制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US20120300941A1 (en) Apparatus and method for removing vocal signal
US9106993B2 (en) Sound processing apparatus
WO2018193162A2 (en) Audio signal generation for spatial audio mixing
JP2022057633A (ja) 振動制御装置，振動制御プログラム及び振動制御方法
JP7319608B2 (ja) 振動体感装置，方法，振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体
US11532240B2 (en) Audio-only interference training for cognitive disorder screening and treatment
Mu et al. A timbre matching approach to enhance audio quality of psychoacoustic bass enhancement system
US9881633B2 (en) Audio signal processing device, audio signal processing method, and audio signal processing program
WO2022254733A1 (ja) 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法
JP6409417B2 (ja) 音響処理装置
JP6337698B2 (ja) 音響処理装置
EP3613043A1 (en) Ambience generation for spatial audio mixing featuring use of original and extended signal
WO2022254732A1 (ja) 振動分配制御装置，振動分配制御プログラム及び振動分配制御方法
Tsai et al. Neural Network-Based Low-Frequency Perception Enhancement Used in Biomedical Hearing Applications
CN116194882A (zh) 使用谱质心来创作沉浸式触觉体验的系统和方法
JP2012163676A (ja) 音響処理装置
WO2018193161A1 (en) Spatially extending in the elevation domain by spectral extension

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020882659

Country of ref document: EP

Effective date: 20220530