WO2019181955A1 - 音声／振動変換装置 - Google Patents

音声／振動変換装置 Download PDF

Info

Publication number
WO2019181955A1
WO2019181955A1 PCT/JP2019/011502 JP2019011502W WO2019181955A1 WO 2019181955 A1 WO2019181955 A1 WO 2019181955A1 JP 2019011502 W JP2019011502 W JP 2019011502W WO 2019181955 A1 WO2019181955 A1 WO 2019181955A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
unit
sound
audio
frequency
Prior art date
Application number
PCT/JP2019/011502
Other languages
English (en)
French (fr)
Inventor
史善 吉岡
哲三 永久
佐藤　克彦
池谷　直泰
柴田　晃秀
岩田　浩
Original Assignee
日本電産株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電産株式会社 filed Critical 日本電産株式会社
Publication of WO2019181955A1 publication Critical patent/WO2019181955A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • the present invention relates to a voice / vibration conversion device.
  • Patent Document 1 An apparatus that gives a haptic effect to a user by converting an audio signal into vibration has been proposed, and an example of the apparatus is disclosed in Patent Document 1.
  • the audio data captured in the memory is spectrally decomposed by FFT (Fast Fourier Transform) processing and then decomposed into high / medium / low frequency signals.
  • FFT Fast Fourier Transform
  • Patent Document 1 the same data is used at high / medium / low frequencies as the audio data for spectrum decomposition regardless of the frequency band.
  • the acquisition time D [s] of data subject to spectrum calculation is expressed by the following equation (1).
  • fs [Hz] sampling frequency
  • BL sample size.
  • the sample size BL is the number of data and takes a value of 2 to the power of n (128, 256, 512, 1024, 2048, etc.).
  • D BL / fs (1)
  • the timing at which sound is generated is originally the timing at which vibration should be generated by the vibration device, but in reality, there is a delay from the generation of sound to the generation of vibration.
  • the audio data capture time affects the delay time. That is, as the acquisition time becomes longer, the delay time becomes longer.
  • the allowable delay time from the sound generation to the vibration generation becomes shorter as the sound frequency becomes higher. That is, the allowable delay time has become a severe condition. Therefore, in Patent Document 1, the acquisition time D becomes long, the delay time exceeds a permissible value for high-frequency sound, and there is a possibility that the user who feels the tactile vibration effect may feel uncomfortable.
  • an object of the present invention is to provide an audio / vibration conversion device that can suppress a sense of incongruity of a tactile vibration effect given to a user.
  • An exemplary sound / vibration converter of the present invention includes a vibration device, a sound capturing unit that captures a sound signal, a spectrum calculation unit that performs spectrum calculation based on the sound signal captured by the sound capturing unit, and the spectrum.
  • a vibration component that forms tactile vibration based on at least a part of a calculation result by the calculation unit; and a vibration device drive unit that drives the vibration device based on a vibration configuration result by the vibration component, and the spectrum
  • the calculation unit includes a plurality of calculation processing units, and the sound capturing time of the sound signal is different for each of the calculation processing units, and the vibration composing unit has a spectrum calculation result as the calculation processing unit has a shorter sound capturing time.
  • the tactile vibration is configured for a high frequency at.
  • the exemplary sound / vibration conversion device of the present invention it is possible to suppress a sense of incongruity of the tactile vibration effect given to the user.
  • FIG. 1 is a schematic diagram showing an embodiment of a system having an audio device and an audio / vibration conversion device.
  • FIG. 2 is a block diagram illustrating a specific configuration example of the microcomputer in the voice / vibration conversion device.
  • FIG. 3A is a block diagram illustrating an embodiment of a specific configuration of an audio memory, an FFT calculation unit, and a vibration determination unit.
  • FIG. 3B is a block diagram illustrating another embodiment of a specific configuration of the audio memory, the FFT calculation unit, and the vibration determination unit.
  • FIG. 4 is a flowchart illustrating an example of the flow of audio processing.
  • FIG. 5 is a graph illustrating an example of an audio signal captured in the first memory unit.
  • FIG. 6A is a graph showing a result of performing FFT processing by the first FFT processing unit on an audio signal captured in a predetermined capturing section.
  • FIG. 6B is a graph showing a result of performing FFT processing by the first FFT processing unit on an audio signal captured in a predetermined capturing section.
  • FIG. 6C is a graph showing a result of performing FFT processing on the audio signal captured in the predetermined capturing section by the first FFT processing unit.
  • FIG. 7 is a graph illustrating an example of an audio signal captured in the third memory unit.
  • FIG. 8 is a graph showing a result of performing the FFT process by the third FFT processing unit on the audio signal captured in the predetermined capturing section.
  • FIG. 9 is a table showing the results of an experiment regarding the dependence of the delay from the time when sound is generated until the time when vibration is generated by the vibration device on the sound frequency.
  • FIG. 10 is a schematic diagram showing a system according to a modified example including an audio device and an audio / vibration conversion device.
  • FIG. 11 is a schematic diagram illustrating an audio device according to a modification.
  • FIG. 1 is a schematic diagram showing an embodiment of a system having an audio device and an audio / vibration conversion device.
  • a smartphone 10 illustrated in FIG. 1 is an example of an audio device.
  • the audio device is not limited to a smartphone, and various types such as a tablet computer and a PC (personal computer) can be adopted.
  • the voice / vibration conversion device 20 is a device that converts the analog voice signal AS input from the smartphone 10 into tactile vibration, and is externally attached to the smartphone 10.
  • the audio / vibration conversion device 20 is connected to the earphone jack 101 of the smartphone 10 and takes in the analog audio signal AS output from the earphone jack 101.
  • a terminal 201 that can be attached to and detached from the earphone jack 101 is provided in the housing of the sound / vibration conversion device 20.
  • the terminal 201 and the earphone jack 101 may be directly connected or may be connected via a cable.
  • An analog audio signal AS is input to the microcomputer 1 described later via the terminal 201.
  • a terminal that can be attached to and detached from the earphone jack 101 may be provided at the tip of a cable drawn out from the housing of the voice / vibration conversion device 20.
  • the analog audio signal AS output from the earphone jack 101 is, for example, audio of a game executed on the smartphone 10.
  • the sound includes sound effects during the game, BGM (background music), and the like.
  • BGM background music
  • the user can feel the tactile vibration according to the sound by the sound / vibration conversion device 20 while listening to the sound of the game from the speaker of the smartphone 10.
  • the operation part in the voice / vibration conversion device 20 when providing the operation part in the voice / vibration conversion device 20, it is possible to send an operation signal from the voice / vibration conversion device 20 to the smartphone 10 and operate the game by the voice / vibration conversion device 20. Thereby, the user can feel the tactile vibration by operating the game while holding the voice / vibration conversion device 20 by hand.
  • the voice / vibration conversion device 20 includes a microcomputer 1, a vibration device driving unit 2, and a vibration device 3.
  • the microcomputer 1 receives the input analog audio signal AS, performs spectrum calculation based on the acquired audio signal, generates vibration information VI based on the spectrum calculation result, and outputs the vibration information VI to the vibration device driving unit 2.
  • the microcomputer 1 forms tactile vibration by generating vibration information VI.
  • the vibration device drive unit 2 generates a drive signal Dr based on the vibration information VI and outputs the drive signal Dr to the vibration device 3.
  • the vibration device 3 generates vibration based on the drive signal Dr.
  • FIG. 2 is a block diagram showing a specific configuration example of the microcomputer 1 in the voice / vibration conversion device 20.
  • the microcomputer 1 includes a voice capturing unit 11, an FFT calculation unit 12, and a vibration configuration unit 13.
  • acquisition part 11, the FFT calculation part 12, and the vibration structure part 13 are not restricted to the form contained in one microcomputer, Each may be comprised by separate hardware.
  • the audio capturing unit 11 includes an A / D conversion unit 111 and an audio memory 112.
  • the A / D conversion unit 111 A / D converts the analog audio signal AS input via the terminal 201 to generate a digital audio signal DS.
  • the audio memory 112 stores the digital audio signal DS after conversion by the A / D conversion unit 111. In other words, the sound capturing unit 11 captures the analog sound signal AS into the sound memory 112 as a digital signal.
  • the FFT calculator 12 performs spectrum processing by performing FFT processing on the digital audio signal DS stored in the audio memory 112. Thereby, the spectrum for every frequency of sound can be acquired. In addition, it is also possible to use algorithms other than FFT for spectrum calculation.
  • the vibration configuration unit 13 includes a vibration determination unit 131 and a vibration information output unit 132.
  • the vibration determination unit 131 determines whether to configure vibration based on the calculation result by the FFT calculation unit 12.
  • the vibration information output unit 132 outputs the vibration information VI to the vibration device driving unit 2 based on the determination result by the vibration determination unit 131.
  • the vibration device driving unit 2 includes a gate driver (not shown), and generates a drive signal Dr that is a signal obtained by amplifying the vibration information VI by operating the gate driver based on the vibration information VI.
  • the vibration device 3 is configured by, for example, an LRA (Linear Resonant Actuator).
  • the LRA includes a vertical linear actuator and a horizontal linear actuator.
  • the vibrating body vibrates in a direction perpendicular to the mounting surface of the substrate on which the coil is mounted.
  • the vibration device 3 may be configured by, for example, an eccentric vibration actuator.
  • the vibration device driving unit 2 is not essential, and the output from the vibration information output unit 132 may be directly input to the vibration device 3.
  • the vibration constituting unit 13 constitutes tactile vibration and also functions as a vibration device driving unit that drives the vibration device 3.
  • FIG. 3A is a block diagram illustrating an embodiment of a specific configuration of the audio memory 112, the FFT calculation unit 12, and the vibration determination unit 131.
  • the audio memory 112 includes a first memory unit 112A, a second memory unit 112B, and a third memory unit 112C.
  • the same digital audio signal DS output from the A / D conversion unit 111 is stored in each of the first memory unit 112A, the second memory unit 112B, and the third memory unit 112C. That is, a digital audio signal DS having a waveform that changes in the same manner along the time axis is stored.
  • the FFT calculation unit 12 includes a first FFT processing unit 12A, a second FFT processing unit 12B, and a third FFT processing unit 12C.
  • the first FFT processing unit 12A calculates a spectrum by performing FFT processing on the digital audio signal DS stored in the first memory unit 112A.
  • the second FFT processing unit 12B calculates a spectrum by performing FFT processing on the digital audio signal DS stored in the second memory unit 112B.
  • the third FFT processing unit 12C calculates a spectrum by performing an FFT process on the digital audio signal DS stored in the third memory unit 112C.
  • the vibration determination unit 131 includes a high-frequency signal determination unit 131A, a medium-frequency signal determination unit 131B, and a low-frequency signal determination unit 131C.
  • the high frequency signal determination unit 131A determines whether or not the spectrum of the high frequency band calculated by the first FFT processing unit 12A exceeds a predetermined first threshold value. If the first threshold value is exceeded, it is determined that vibration is configured, and otherwise, it is determined that vibration is not configured.
  • the medium frequency signal determination unit 131B determines whether the spectrum of the medium frequency band calculated by the second FFT processing unit 12B exceeds a predetermined second threshold value. If the second threshold value is exceeded, it is determined that vibration is configured, and if not, it is determined that vibration is not configured.
  • the low frequency signal determination unit 131C determines whether or not the spectrum of the low frequency band calculated by the third FFT processing unit 12C exceeds a predetermined third threshold. If the third threshold value is exceeded, it is determined that vibration is configured, and if not, it is determined that vibration is not configured.
  • the high-frequency signal determination unit 131A sends a signal in the determined frequency band to the vibration information output unit 132.
  • the vibration information output unit 132 reduces the frequency of the transmitted signal by a predetermined magnification, and outputs the signal having the reduced frequency to the vibration device driving unit 2 as vibration information VI. Thereby, the vibration device 3 generates vibration at high / medium / low frequency according to the vibration configuration result.
  • the vibration device 3 when a high-frequency sound generated when metals in a game collide with each other, it is determined that the high-frequency signal determination unit 131A constitutes vibration for high-frequency sound, and the vibration device 3 generates a high-frequency sound. Vibration occurs. For example, when a low drum sound is generated, it is determined that the low frequency signal determination unit 131 ⁇ / b> C constitutes vibration for low frequency sound, and the vibration device 3 generates low frequency vibration. Thereby, the user can feel the tactile vibration according to the frequency of the sound generated in the game or the like, and can improve the realism of the game or the like.
  • the vibration information output unit 132 stores vibration signals of various frequencies to be output to the vibration device driving unit 2 in advance, and selects the vibration signal according to the determination result sent from the vibration determination unit 131.
  • the vibration information VI may be output to the vibration device drive unit 2.
  • first to third threshold values used for determination in the vibration determination unit 131 may be the same value or different values.
  • FIG. 4 is a flowchart showing an example of the flow of audio processing in the present embodiment.
  • step S1 of FIG. 4 the same digital audio signal DS is stored in each of the first memory unit 112A, the second memory unit 112B, and the third memory unit 112C. That is, the digital audio signal DS is taken into the audio memory 112.
  • the first FFT processing unit 12A converts the digital audio signal DS having a data frequency of 256 with a sampling frequency of 48 [kHz] into the first memory unit 112A.
  • FIG. 5 is a graph showing an example of an audio signal taken into the first memory unit 112A.
  • the horizontal axis represents time t
  • the capturing period Wh corresponding to one unit of the sound capturing time of 5.3 [msec] is illustrated as a frame.
  • 6A to 6C show the results of performing the FFT process by the first FFT processing unit 12A on the audio signals captured in the capturing sections T1 to T3 illustrated in FIG. 5, respectively.
  • 6A-6C show the spectrum with respect to frequency.
  • the high frequency band is set to 1000 to 10000 [Hz]
  • spectrum calculation in the high frequency band can be performed.
  • the minimum frequency 1000 [Hz] in the high frequency band corresponds to a cycle 1 [msec], and the voice capturing time 5.3 [msec] is equal to or longer than 1 [msec].
  • the peak of the spectrum is equal to or higher than the first threshold value TH1 in the high frequency band 1000 to 10000 [Hz].
  • the determination unit 131 ⁇ / b> A determines that it constitutes vibration. Thereby, the vibration device 3 is driven to generate haptic vibration suitable for high-frequency sound.
  • the peak of the spectrum does not exceed the first threshold value TH1, so that no vibration is formed.
  • step S22 the second FFT processing unit 12B is captured at the timing when the digital audio signal DS having a data frequency of 512 at the sampling frequency of 48 [kHz] is captured by the second memory unit 112B.
  • the medium frequency band is set to 200 to 1000 [Hz]
  • spectrum calculation in the medium frequency band can be performed.
  • the lowest frequency 200 [Hz] of the medium frequency band corresponds to a cycle of 5 [msec]
  • the voice capturing time 10.6 [msec] is 5 [msec] or more.
  • step S3 the medium frequency signal determination unit 131B configures vibration according to whether or not the peak is equal to or higher than the second threshold in the medium frequency band of the spectrum calculated by the second FFT processing unit 12B. It is determined whether or not. If it is determined that vibration is to be configured, the vibration device 3 is driven to generate a haptic vibration suitable for medium frequency sound.
  • FIG. 7 is a graph showing an example of an audio signal taken into the third memory unit 112C.
  • the horizontal axis represents time t, and a capturing period Wl corresponding to one unit of the sound capturing time of 21.3 [msec] is illustrated as a frame.
  • FIG. 8 shows the result of the FFT processing performed by the third FFT processing unit 12C on the audio signal captured in the capturing section T11 illustrated in FIG.
  • FIG. 8 shows the spectrum with respect to frequency.
  • the low frequency band is 50 to 200 [Hz]
  • spectrum calculation in the low frequency band can be performed.
  • the lowest frequency 50 [Hz] of the low frequency band corresponds to a cycle 20 [msec]
  • the voice capturing time 21.3 [msec] is 20 [msec] or more.
  • the vibration device 3 is driven to generate a haptic vibration suitable for low-frequency sound.
  • the high frequency signal FFT processing is performed every 5.3 [msec], and the intermediate frequency signal FFT processing is performed every 10.6 [msec], and 21.3 [msec].
  • the intermediate frequency signal FFT processing is performed every 10.6 [msec], and 21.3 [msec].
  • the high frequency signal FFT processing is performed four times and the medium frequency signal FFT processing is performed twice.
  • the vibration signal was recorded on the L (left) channel of the audio file (WAV file), and the audio signal was recorded on the R (right) channel.
  • the vibration signal was a fixed frequency of 150 [Hz], which is the resonance frequency of the vibration device.
  • 150, 800, 3000, and 8000 [Hz] data were prepared.
  • the vibration signal of the L channel was delayed by 0 to 60 [msec] compared to the audio signal of the R channel.
  • the test subject felt the vibration of the vibration device connected to the L channel by amplifier amplification by hand. The subject was asked to judge whether there was a delay before the vibration occurred after the sound was heard.
  • FIG. 9 shows the results of the above experiment.
  • a case where no delay is felt is indicated by ⁇
  • a case where a slight delay is felt is indicated by ⁇ .
  • the allowable delay time is 25 [msec] at 150 [Hz], 15 [msec] at 800 [Hz], 10 [msec] at 3000 [Hz], and 10 at 8000 [Hz]. [msec].
  • the higher the frequency of the audio signal the smaller the allowable delay time, and it becomes easier to feel the delay, resulting in severe conditions for the delay.
  • the voice capturing time is changed to 5.3 [msec], 10.6 [msec], and 21.3 [msec] for high frequency, medium frequency, and low frequency. .
  • the voice capture time affects the delay time.
  • the voice acquisition time is determined such that the delay time is equal to or less than the allowable value. That is, since the allowable value of the delay time becomes smaller as the frequency becomes higher, the voice capturing time is also shortened. At this time, for example, an approximate curve for the data of the frequency and the allowable delay time shown in FIG. 9 is considered.
  • the sound / vibration conversion device 20 includes the vibration device 3, the sound capturing unit 11 that captures a sound signal, and the spectrum calculation that performs spectrum calculation based on the sound signal captured by the sound capturing unit 11.
  • Unit 12 vibration component 13 that configures haptic vibration based on at least a part of the calculation result by spectrum calculator 12, and vibration device driver that drives vibration device 3 based on the vibration component result by vibration component 13 2 is provided.
  • the spectrum calculation unit 12 includes a plurality of calculation processing units 12A to 12C, and the voice capturing time of the voice signal is different for each of the calculation processing units 12A to 12C. The portion of the tactile vibration is configured for a higher frequency in the spectrum calculation result.
  • a tactile vibration configuration is performed based on a spectrum calculation result with a short sound capturing time. This shortens the time from when sound is generated until the vibrating device is driven. As a result, the user can feel a tactile vibration effect with a sense of incongruity suppressed for high-frequency sound with a short allowable delay time until the vibration device is driven.
  • the spectrum calculation unit 12 determines the voice capturing time based on the number of data capturing.
  • the voice capturing time is one period or more of the corresponding frequency.
  • the voice capturing time is based on the following correspondence relationship between the voice frequency F [Hz] and the delay time allowable value DT [msec] from the voice generation to the vibration generation.
  • F [Hz] DT [msec] 150 25 800 15 3000 10 8000 10
  • the plurality of calculation processing units 12A to 12C perform spectrum calculation on the common audio signal.
  • calculation processing units 12A to 12C perform spectrum calculation for high / medium / low frequency signals, respectively.
  • the audio capturing time for high / medium / low frequency signals is a time for which 256, 512, and 1024 digital audio signals are captured by the audio capturing unit 11, respectively.
  • FFT Fast Fourier Transform
  • the vibration constituting unit 13 includes a vibration determining unit 131 that determines whether or not to constitute vibration depending on whether or not there is a certain peak or more in each frequency portion in the spectrum obtained by spectrum calculation.
  • FIG. 3B is a block diagram illustrating a modified example regarding the configuration of the audio memory 112. 3B is different from FIG. 3A in that the audio memory 112 is configured by one memory unit 1121.
  • the memory unit 1121 stores one digital audio signal DS.
  • the digital audio signal DS stored in the memory unit 1121 is commonly used for FFT processing by the FFT processing units 12A to 12C of each frequency in the FFT calculation unit 12.
  • the audio capture time is 5.3 [msec], 10.6 [msec], and 21.3 [msec] for high frequency, medium frequency, and low frequency.
  • the voice capturing unit 11 has a memory unit 1121 for storing one voice signal, and the plurality of calculation processing units 12A to 12C use the memory unit 1121 in common. Thereby, the memory capacity can be reduced and the cost can be reduced.
  • the voice / vibration conversion device 20 shown in FIG. 1 described above is configured to be connected to the earphone jack 101 of the smartphone 10. That is, the audio / vibration conversion device 20 further includes a terminal 201 that can be attached to and detached from the external device 10, and the audio signal AS output from the external device 10 is input to the audio capturing unit 11 via the terminal 201. Is done. As a result, the user can connect the voice / vibration conversion device to different external devices to obtain a haptic vibration effect.
  • connection configuration of the voice / vibration conversion device 20 may be modified as follows, for example.
  • FIG. 10 is a schematic diagram illustrating a system according to a first modification example including an audio device and an audio / vibration conversion device.
  • an audio device 10A has an internal configuration 10A1, a wireless communication unit 10A2, and an earphone jack 10A3.
  • the analog audio signal AS output from the internal configuration 10A1 is sent to the earphone jack 10A3 via a route to the earphone jack 10A3, and is also sent to the wireless communication unit 10A2 via a route branched from the route to the earphone jack 10A3. It is done.
  • the radio communication unit 10A2 converts the sent analog audio signal AS into a radio signal and sends it to the audio / vibration conversion device 20.
  • the audio capturing unit includes a radio communication unit that converts the received radio signal into an audio signal.
  • the wireless communication unit 10A2 conforms to, for example, the Bluetooth (registered trademark) standard.
  • FIG. 11 is a schematic diagram showing an audio device 10B according to a second modification.
  • the sound / vibration conversion device 20 is provided inside the sound device 10B.
  • the audio device 10B includes an internal configuration 10B1, an earphone jack 10B2, and a sound / vibration conversion device 20.
  • the analog audio signal AS output from the internal configuration 10B1 is sent to the earphone jack 10B2 via a path to the earphone jack 10B2, and to the audio / vibration conversion device 20 via a path branched from the path to the earphone jack 10B2. Is also sent.
  • the user can feel the haptic vibration given to the audio device 10B by the audio / vibration conversion device 20 while listening to the audio from the earphone connected to the earphone jack 10B2.
  • the audio signal input to the audio capturing unit is an analog audio signal AS on a path branched from the path to the earphone jacks 10A3 and 10B2. As a result, it is possible to easily acquire an audio signal.
  • the present invention can be used for, for example, converting a sound such as a game into tactile vibration.
  • voice / vibration converter 201 ... Terminal, 10A ... Audio equipment DESCRIPTION OF SYMBOLS 10A1 ... Internal structure, 10A2 ... Wireless communication part, 10A3 ... Earphone jack, 10B ... Audio
  • voice apparatus 10B1 ... Internal structure, 10B2 ... Earphone jack, AS ... Analog sound Signal, DS ... Digital audio signal, VI ... Vibration information, Dr ... Drive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

振動デバイスと、音声信号を取り込む音声取り込み部と、前記音声取り込み部に取り込まれた音声信号に基づいてスペクトル計算を行うスペクトル計算部と、前記スペクトル計算部による計算結果の少なくとも一部に基づいて触覚振動を構成する振動構成部と、前記振動構成部による振動構成結果に基づいて前記振動デバイスを駆動する振動デバイス駆動部と、を備え、前記スペクトル計算部は、複数の計算処理部を有し、前記計算処理部ごとに前記音声信号の音声取り込み時間は異なり、前記振動構成部は、前記音声取り込み時間の短い前記計算処理部ほど、スペクトル計算結果における高い周波数について前記触覚振動の構成を行う音声／振動変換装置。

Description

音声／振動変換装置
　本発明は、音声／振動変換装置に関する。
　従来、音声信号を振動に変換することでユーザにハプティック効果を与える装置が提案されており、当該装置の一例は特許文献１に開示される。
　特許文献１の装置では、メモリに取り込んだ音声データをＦＦＴ（高速フーリエ変換）処理によりスペクトル分解した後、高／中／低周波数信号に分解する。
日本国公開公報：特開２０１２－２７５０９号公報
　すなわち、特許文献１では、周波数帯域に依らず、スペクトル分解する際の音声データは高／中／低周波数で同じデータを用いる。
　ここで、ＦＦＴでは、スペクトル計算対象のデータの取得時間Ｄ[s]は、下記（１）式で表される。但し、ｆｓ[Hz]：サンプリング周波数、ＢＬ：サンプルサイズである。サンプルサイズＢＬは、データの個数であり、２のｎ乗の値をとる（１２８，２５６，５１２，１０２４，２０４８等）。
　Ｄ＝ＢＬ／ｆｓ　（１）
　また、ＦＦＴでは、上記取得時間Ｄの逆数として、下記（２）式に示す周波数分解能ｄｆ[Hz]が規定される。なお、周波数分解能は、その値が小さいほど分解能が高い。
　ｄｆ＝１／Ｄ＝ｆｓ／ＢＬ　（２）
　ＦＦＴでは、周波数分解能ｄｆ以上の周波数についてのスペクトル計算が可能である。
従って、上記特許文献１のように高／中／低周波数についてのスペクトル計算を行うには、ＦＦＴ条件を、高い周波数分解能が必要な低周波検出用に、高周波、中周波検出時も合わせる必要がある。例えば、低周波数が５０[Hz]とすると、周波数分解能ｄｆは５０[Hz]が必要となる。
　上記特許文献１では、周波数帯域に依らず、メモリへの音声データの取込み時間は、必要な周波数分解能ｄｆの逆数である取得時間Ｄとなる。上述のように周波数分解能ｄｆの値が小さいため、取得時間Ｄは長くなる。例えば、上述の周波数分解能ｄｆが５０[Hz]の場合、取得時間Ｄは１[s]／５０[Hz]＝２０[msec]となる。
　ここで、音声の発生するタイミングが本来、振動デバイスにより振動を発生させるべきタイミングであるが、実際には、音声の発生から振動の発生までに遅延が生じる。音声データの取込み時間は、上記遅延時間に影響する。すなわち、取込み時間が長くなると、遅延時間が長くなる。本願発明者が実験によって確認したところ、音声発生から振動発生までの許容される遅延時間は、音声の周波数が高くなるほど、短くなった。すなわち、許容される遅延時間は厳しい条件となった。従って、上記特許文献１では、取得時間Ｄが長くなり、高周波の音声に対して遅延時間が許容値を超え、触覚振動効果を感じたユーザに違和感を与える虞があった。
　上記実験において、例えば３０００[Hz]の音声に対しては、上記遅延時間が２０[msec]となると、ユーザにとって強い違和感が生じた。従って、上記のように取得時間Ｄ＝２０[msec]では、高周波の音声に対して遅延時間が許容値を超える虞がある。なお、上記実験の詳細については後述する。
　上記状況に鑑み、本発明は、ユーザに与える触覚振動効果の違和感を抑制することが可能となる音声／振動変換装置を提供することを目的とする。
　本発明の例示的な音声／振動変換装置は、振動デバイスと、音声信号を取り込む音声取り込み部と、前記音声取り込み部に取り込まれた音声信号に基づいてスペクトル計算を行うスペクトル計算部と、前記スペクトル計算部による計算結果の少なくとも一部に基づいて触覚振動を構成する振動構成部と、前記振動構成部による振動構成結果に基づいて前記振動デバイスを駆動する振動デバイス駆動部と、を備え、前記スペクトル計算部は、複数の計算処理部を有し、前記計算処理部ごとに前記音声信号の音声取り込み時間は異なり、前記振動構成部は、前記音声取り込み時間の短い前記計算処理部ほど、スペクトル計算結果における高い周波数について前記触覚振動の構成を行う。
　本発明の例示的な音声／振動変換装置によれば、ユーザに与える触覚振動効果の違和感を抑制することが可能となる。
図１は、音声機器と音声／振動変換装置を有するシステムの一実施形態を示す概略図である。 図２は、音声／振動変換装置におけるマイコンの具体的構成例を示すブロック図である。 図３Ａは、音声メモリ、ＦＦＴ計算部、および振動判定部の具体的構成の一実施形態を示すブロック図である。 図３Ｂは、音声メモリ、ＦＦＴ計算部、および振動判定部の具体的構成の別実施形態を示すブロック図である。 図４は、音声処理の流れの一例について示すフローチャートである。 図５は、第１メモリ部に取り込まれる音声信号の一例を示すグラフである。 図６Ａは、所定の取り込み区間で取り込んだ音声信号に対して第１ＦＦＴ処理部によりＦＦＴ処理を行った結果を示すグラフである。 図６Ｂは、所定の取り込み区間で取り込んだ音声信号に対して第１ＦＦＴ処理部によりＦＦＴ処理を行った結果を示すグラフである。 図６Ｃは、所定の取り込み区間で取り込んだ音声信号に対して第１ＦＦＴ処理部によりＦＦＴ処理を行った結果を示すグラフである。 図７は、第３メモリ部に取り込まれる音声信号の一例を示すグラフである。 図８は、所定の取り込み区間で取り込んだ音声信号に対して第３ＦＦＴ処理部によりＦＦＴ処理を行った結果を示すグラフである。 図９は、音声が発生してから振動デバイスにより振動が発生するまでの遅延の音声周波数への依存性に関する実験の結果を示す表である。 図１０は、音声機器と音声／振動変換装置からなる一変形例に係るシステムを示す概略図である。 図１１は、一変形例に係る音声機器を示す概略図である。
　以下に本発明の例示的な実施形態について図面を参照して説明する。
＜システムの概要＞
　図１は、音声機器と音声／振動変換装置を有するシステムの一実施形態を示す概略図である。図１に示すスマートフォン１０は、音声機器の一例である。但し、音声機器は、スマートフォンに限らず、タブレットコンピュータ、ＰＣ（パーソナルコンピュータ）等、各種を採用できる。
　音声／振動変換装置２０は、スマートフォン１０から入力されたアナログ音声信号ＡＳを触覚振動に変換する装置であり、スマートフォン１０に対して外付けとなる。音声／振動変換装置２０は、スマートフォン１０のイヤホンジャック１０１と接続され、イヤホンジャック１０１から出力されるアナログ音声信号ＡＳを取り込む。
　図１では、音声／振動変換装置２０の筐体にイヤホンジャック１０１に着脱可能な端子２０１が設けられる。端子２０１とイヤホンジャック１０１は直接接続してもよいし、ケーブルを介して接続してもよい。端子２０１を介してアナログ音声信号ＡＳが後述のマイコン１に入力される。
　なお、音声／振動変換装置２０の筐体から外部へ引き出されたケーブルの先端にイヤホンジャック１０１に着脱可能な端子が設けられてもよい。
　イヤホンジャック１０１から出力されるアナログ音声信号ＡＳは、例えば、スマートフォン１０で実行されるゲームの音声である。この場合、音声には、ゲーム中の効果音およびＢＧＭ（バックグラウンドミュージック）等が含まれる。これにより、例えば、ユーザは、スマートフォン１０のスピーカーからゲームの音声を聴きつつ、音声／振動変換装置２０によって音声に応じた触覚振動を感じることができる。
　なお、音声／振動変換装置２０に操作部を設ける場合は、音声／振動変換装置２０からスマートフォン１０へ操作信号を送り、音声／振動変換装置２０によってゲームを操作することも可能である。これにより、ユーザは、音声／振動変換装置２０を手で把持しつつ、ゲームを操作し、触覚振動を感じることができる。
　音声／振動変換装置２０は、マイコン１と、振動デバイス駆動部２と、振動デバイス３と、を有する。マイコン１は、入力されるアナログ音声信号ＡＳを取り込み、取り込んだ音声信号に基づいてスペクトル計算を行い、スペクトル計算結果に基づいて振動情報ＶＩを生成して振動デバイス駆動部２に出力する。マイコン１は、振動情報ＶＩを生成することで触覚振動を構成する。
　振動デバイス駆動部２は、振動情報ＶＩに基づいて駆動信号Ｄｒを生成して振動デバイス３に出力する。振動デバイス３は、駆動信号Ｄｒに基づいて振動を生成する。
＜音声／振動変換装置の内部構成＞
　図２は、音声／振動変換装置２０におけるマイコン１の具体的構成例を示すブロック図である。マイコン１は、音声取り込み部１１と、ＦＦＴ計算部１２と、振動構成部１３と、を有する。なお、音声取り込み部１１、ＦＦＴ計算部１２、および振動構成部１３は、一つのマイコンに含まれる形態に限らず、それぞれ別個のハードウェアによって構成されてもよい。
　音声取り込み部１１は、Ａ／Ｄ変換部１１１と、音声メモリ１１２と、を有する。Ａ／Ｄ変換部１１１は、端子２０１を介して入力されたアナログ音声信号ＡＳをＡ／Ｄ変換してデジタル音声信号ＤＳを生成する。音声メモリ１１２は、Ａ／Ｄ変換部１１１による変換後のデジタル音声信号ＤＳを格納する。すなわち、音声取り込み部１１は、アナログ音声信号ＡＳをデジタル信号として音声メモリ１１２に取り込む。
　ＦＦＴ計算部１２は、音声メモリ１１２に格納されたデジタル音声信号ＤＳに対してＦＦＴ処理を行ってスペクトル計算を行う。これにより、音声の周波数ごとのスペクトルを取得できる。なお、スペクトル計算には、ＦＦＴ以外のアルゴリズムを用いることも可能である。
　振動構成部１３は、振動判定部１３１と、振動情報出力部１３２と、を有する。振動判定部１３１は、ＦＦＴ計算部１２による計算結果に基づいて振動を構成するか否かを判定する。振動情報出力部１３２は、振動判定部１３１による判定結果に基づいて振動情報ＶＩを振動デバイス駆動部２に出力する。
　振動デバイス駆動部２は、不図示のゲートドライバを有し、振動情報ＶＩに基づいてゲートドライバを動作させることで、振動情報ＶＩを増幅した信号である駆動信号Ｄｒを生成する。
　振動デバイス３は、例えば、ＬＲＡ（Linear Resonant Actuator）により構成される。
ＬＲＡには、縦リニア型アクチュエータと横リニア型アクチュエータが含まれる。縦リニア型アクチュエータでは、コイルが実装された基板の実装面に対して垂直な方向に振動体が振動する。横リニア型アクチュエータでは、コイルが実装された基板の実装面に対して平行な方向に振動体が振動する。なお、振動デバイス３は、他にも例えば、偏心型の振動アクチュエータにより構成してもよい。
　なお、振動デバイス駆動部２は必須ではなく、振動情報出力部１３２からの出力を直接、振動デバイス３へ入力させてもよい。この場合、振動構成部１３は、触覚振動を構成するとともに、振動デバイス３を駆動する振動デバイス駆動部としても機能する。
　図３Ａは、音声メモリ１１２、ＦＦＴ計算部１２、および振動判定部１３１の具体的構成の一実施形態を示すブロック図である。図３Ａの例では、音声メモリ１１２は、第１メモリ部１１２Ａと、第２メモリ部１１２Ｂと、第３メモリ部１１２Ｃを有する。第１メモリ部１１２Ａ、第２メモリ部１１２Ｂ、および第３メモリ部１１２Ｃには、それぞれＡ／Ｄ変換部１１１から出力される同一のデジタル音声信号ＤＳが格納される。すなわち、時間軸に沿って同一に変化する波形を有するデジタル音声信号ＤＳが格納される。
　ＦＦＴ計算部１２は、第１ＦＦＴ処理部１２Ａと、第２ＦＦＴ処理部１２Ｂと、第３ＦＦＴ処理部１２Ｃと、を有する。第１ＦＦＴ処理部１２Ａは、第１メモリ部１１２Ａに格納されたデジタル音声信号ＤＳに対してＦＦＴ処理を行うことでスペクトルを計算する。
第２ＦＦＴ処理部１２Ｂは、第２メモリ部１１２Ｂに格納されたデジタル音声信号ＤＳに対してＦＦＴ処理を行うことでスペクトルを計算する。第３ＦＦＴ処理部１２Ｃは、第３メモリ部１１２Ｃに格納されたデジタル音声信号ＤＳに対してＦＦＴ処理を行うことでスペクトルを計算する。
　振動判定部１３１は、高周波信号用判定部１３１Ａと、中周波信号用判定部１３１Ｂと、低周波信号用判定部１３１Ｃと、を有する。高周波信号用判定部１３１Ａは、第１ＦＦＴ処理部１２Ａにより算出された高周波帯域のスペクトルが所定の第１閾値を超えている
か否かを判定する。第１閾値を超えている場合、振動を構成すると判定し、そうでない場合は、振動を構成しないと判定する。中周波信号用判定部１３１Ｂは、第２ＦＦＴ処理部１２Ｂにより算出された中周波帯域のスペクトルが所定の第２閾値を超えているか否かを判定する。第２閾値を超えている場合、振動を構成すると判定し、そうでない場合は、振動を構成しないと判定する。低周波信号用判定部１３１Ｃは、第３ＦＦＴ処理部１２Ｃにより算出された低周波帯域のスペクトルが所定の第３閾値を超えているか否かを判定する。第３閾値を超えている場合、振動を構成すると判定し、そうでない場合は、振動を構成
しないと判定する。
　高周波信号用判定部１３１Ａ、中周波信号用判定部１３１Ｂ、および低周波信号用判定部１３１Ｃは、例えば、それぞれ振動を構成すると判定した場合、判定した周波数帯域の信号を振動情報出力部１３２に送る。振動情報出力部１３２は、送られた信号の周波数を所定倍率で低下させて、低下させた後の周波数の信号を振動情報ＶＩとして振動デバイス駆動部２に出力する。これにより、振動デバイス３は、振動構成結果に応じて、高／中／低周波で振動を生成する。
　これにより、例えば、ゲームにおける金属同士が衝突した際に発生する高い周波数の音が発生したときは、高周波信号用判定部１３１Ａによって高周波音声用の振動を構成すると判定され、振動デバイス３により高周波の振動が発生する。また、例えば、ドラム音の低音が発生したときは、低周波信号用判定部１３１Ｃによって低周波音声用の振動を構成すると判定され、振動デバイス３により低周波の振動が発生する。これにより、ユーザは、ゲーム等で発生する音声の周波数に応じた触覚振動を感じることができ、ゲーム等の臨場感を向上させることができる。
　なお、振動情報出力部１３２は、例えば他にも、予め振動デバイス駆動部２へ出力する各種周波数の振動信号が格納され、振動判定部１３１から送られる判定結果に応じて上記振動信号を選択して振動情報ＶＩとして振動デバイス駆動部２に出力してもよい。
　また、振動判定部１３１において判定に用いる上記第１～第３閾値は、同じ値であっても、異なる値であってもよい。
＜音声処理＞
　次に、本実施形態における音声処理のより詳細について説明する。図４は、本実施形態における音声処理の流れの一例について示すフローチャートである。
　まず、図４のステップＳ１において、第１メモリ部１１２Ａ、第２メモリ部１１２Ｂ、および第３メモリ部１１２Ｃのそれぞれに同一のデジタル音声信号ＤＳが格納される。すなわち、デジタル音声信号ＤＳが音声メモリ１１２に取り込まれる。
　ステップＳ２１で、第１ＦＦＴ処理部１２Ａは、４８[kHz]のサンプリング周波数でデータ数が２５６個のデジタル音声信号ＤＳが第１メモリ部１１２Ａに取り込まれたタイミングで、取り込まれたデジタル音声信号ＤＳに対してＦＦＴ処理を行う。すなわち、１／４８[kHz]×２５６＝５．３[msec]の音声取り込み時間で高周波信号用ＦＦＴ処理が行われる。なお、この場合、上記（１）式におけるサンプルサイズＢＬの値が２５６となり、取得時間Ｄ＝５．３[msec]となる。
　図５は、第１メモリ部１１２Ａに取り込まれる音声信号の一例を示すグラフである。図５において、横軸は時間ｔを示し、５．３[msec]の音声取り込み時間の一単位に相当する取り込み期間Ｗｈを枠として示す。
　図６Ａ～図６Ｃは、それぞれ、図５に示す取り込み区間Ｔ１～Ｔ３で取り込んだ音声信号に対して第１ＦＦＴ処理部１２ＡによりＦＦＴ処理を行った結果を示す。図６Ａ～図６Ｃは、周波数に対するスペクトルを示す。図６Ａ～図６Ｃに示すように、上記（２）式による周波数分解能ｄｆ＝４８[kHz]／２５６＝１８７．５[Hz]以上の周波数でスペクトル計算が行える。高周波帯域を例えば１０００～１００００[Hz]とすれば、当該高周波帯域でのスペクトル計算が行える。なお、上記高周波帯域の最低周波数１０００[Hz]は周期１[msec]に相当し、音声取り込み時間５．３[msec]は、周期１[msec]以上となる。
　図６Ａおよび図６Ｃでは、第１閾値ＴＨ１を－２０[dB]とした場合、高周波帯域１０００～１００００[Hz]において、スペクトルのピークが第１閾値ＴＨ１以上となるので、ステップＳ３において、高周波信号用判定部１３１Ａは、振動を構成すると判定する。これにより、振動デバイス３は、駆動されて、高周波音声に適した触覚振動を発生させる。一方、図６Ｂでは、高周波帯域１０００～１００００[Hz]において、スペクトルのピークは第１閾値ＴＨ１以上とならないので、振動は構成されない。
　また、図４においてステップＳ２２で、第２ＦＦＴ処理部１２Ｂは、４８[kHz]のサンプリング周波数でデータ数が５１２個のデジタル音声信号ＤＳが第２メモリ部１１２Ｂに取り込まれたタイミングで、取り込まれたデジタル音声信号ＤＳに対してＦＦＴ処理を行う。すなわち、１／４８[kHz]×５１２＝１０．６[msec]の音声取り込み時間で中周波信号用ＦＦＴ処理が行われる。なお、この場合、上記（１）式におけるサンプルサイズＢＬの値が５１２となり、取得時間Ｄ＝１０．６[msec]となる。
　これにより、上記（２）式による周波数分解能ｄｆ＝４８[kHz]／５１２＝９３．７５[Hz]以上の周波数でスペクトル計算が行える。中周波帯域を例えば２００～１０００ [Hz]とすれば、当該中周波帯域でのスペクトル計算が行える。なお、上記中周波帯域の最低周波数２００[Hz]は周期５[msec]に相当し、音声取り込み時間１０．６[msec]は、周期５[msec]以上となる。
　そして、ステップＳ３において、中周波信号用判定部１３１Ｂは、第２ＦＦＴ処理部１２Ｂにより計算されたスペクトルのうち中周波帯域において、ピークが第２閾値以上となるか否かに応じて振動を構成するか否かを判定する。振動を構成すると判定された場合は、振動デバイス３は、駆動されて、中周波音声に適した触覚振動を発生させる。
　また、ステップＳ２３で、第３ＦＦＴ処理部１２Ｃは、４８[kHz]のサンプリング周波数でデータ数が１０２４個のデジタル音声信号ＤＳが第３メモリ部１１２Ｃに取り込まれたタイミングで、取り込まれたデジタル音声信号ＤＳに対してＦＦＴ処理を行う。すなわち、１／４８[kHz]×１０２４＝２１．３[msec]の音声取り込み時間で低周波信号用ＦＦＴ処理が行われる。なお、この場合、上記（１）式におけるサンプルサイズＢＬの値が１０２４となり、取得時間Ｄ＝２１．３[msec]となる。
　図７は、第３メモリ部１１２Ｃに取り込まれる音声信号の一例を示すグラフである。図７において、横軸は時間ｔを示し、２１．３[msec]の音声取り込み時間の一単位に相当する取り込み期間Ｗｌを枠として示す。
　図８は、図７に示す取り込み区間Ｔ１１で取り込んだ音声信号に対して第３ＦＦＴ処理部１２ＣによりＦＦＴ処理を行った結果を示す。図８は、周波数に対するスペクトルを示す。図８に示すように、上記（２）式による周波数分解能ｄｆ＝４８[kHz]／１０２４＝４６．８７５[Hz]以上の周波数でスペクトル計算が行える。低周波帯域を例えば５０～２００[Hz]とすれば、当該低周波帯域でのスペクトル計算が行える。なお、上記低周波帯域の最低周波数５０[Hz]は周期２０[msec]に相当し、音声取り込み時間２１．３[msec]は、周期２０[msec]以上となる。
　図８では、第３閾値ＴＨ３を－２０[dB]とした場合、低周波帯域５０～２００[Hz]において、スペクトルのピークが第３閾値ＴＨ３以上となるので、ステップＳ３において、低周波信号用判定部１３１Ｃは、振動を構成すると判定する。これにより、振動デバイス３は、駆動されて、低周波音声に適した触覚振動を発生させる。
　このように、本実施形態では、５．３[msec]ごとに高周波信号用ＦＦＴ処理が行われ、１０．６[msec]ごとに中周波信号用ＦＦＴ処理が行われ、２１．３[msec]ごとに低周波信号用ＦＦＴ処理が行われる。従って、同一のデジタル音声信号ＤＳに対して、低周波信号用ＦＦＴを１回行う間に、高周波信号用ＦＦＴ処理は４回、中周波信号用ＦＦＴ処理は２回行われる。
　これにより、より確実に音声の周波数成分を検出し、触覚振動効果を生成することができる。例えば、上記音声取り込み時間で異なる周波数のＦＦＴ処理を時系列順に行ってもよいが、この場合、音声の周波数成分検出の確実性が低くなる虞がある。例えば、高周波音声が発生した場合に、そのタイミングではたまたま低周波信号用ＦＦＴ処理が行われた場合、高周波音声を検出できないことが生じうる。これに対して上記実施形態であれば、高周波音声を検出できる。
＜振動の遅延＞
　ここで、本願発明者は、音声が発生してから振動デバイスにより振動が発生するまでの遅延の音声周波数への依存性について次のような実験を行った。
　音声ファイル（ＷＡＶファイル）のＬ（左）チャンネルに振動信号を記録し、Ｒ（右）チャンネルに音声信号を記録した。振動信号は、振動デバイスの共振周波数である１５０[Hz]の固定周波数とした。音声信号は、１５０，８００，３０００，８０００[Hz]の各データを用意した。また、Ｌチャンネルの振動信号は、Ｒチャンネルの音声信号に比べて０～６０[msec]だけ遅延させた。
　そして、被験者に、Ｒチャンネルの音声信号による音声をスピーカーで聞きつつ、Ｌチャンネルにアンプ増幅接続した振動デバイスの振動を手で感じさせた。被験者には、音声が鳴った後、振動発生までに遅れを感じたかを判断させた。
　図９は、上記実験の結果を示す。図９では、音声信号周波数Ｆと振動信号の遅延時間ＤＬとの組み合わせについて、遅れを感じなかった場合を○、若干遅れを感じた場合を△、遅れを感じた場合を×で示す。
　図９に示すように、遅延時間の許容値は、１５０[Hz]では２５[msec]、８００[Hz]では１５[msec]、３０００[Hz]では１０ [msec]、８０００[Hz]では１０[msec]となった。すなわち、音声信号が高周波となるほど、遅延時間の許容値は小さくなり、遅延を感じやすくなり、遅延に対する条件が厳しい結果となった。
　上述したように本実施形態においては、高周波用、中周波用、低周波用で音声取り込み時間を５．３[msec]、１０．６[msec]、２１．３[msec]と変化させている。音声取り込み時間は、遅延時間に影響する。本実施形態では、図９に示した周波数と遅延時間の許容値との関係に基づき、遅延時間が許容値以下となる音声取り仕込み時間を定める。すなわち、高周波になるほど遅延時間の許容値が小さくなるので、音声取り込み時間も短くする。
このとき、例えば、図９に示す周波数と遅延時間の許容値とのデータに対する近似曲線を考慮する。
　これにより、音声周波数に依らず、振動の遅延による違和感を抑制することができる。特に、遅延を感じやすい高周波音声に対しては、音声取り込み時間を短くすることで遅延時間を短くし、遅延による違和感を抑制することができる。
　このように、本実施形態の音声／振動変換装置２０は、振動デバイス３と、音声信号を取り込む音声取り込み部１１と、音声取り込み部１１に取り込まれた音声信号に基づいてスペクトル計算を行うスペクトル計算部１２と、スペクトル計算部１２による計算結果の少なくとも一部に基づいて触覚振動を構成する振動構成部１３と、振動構成部１３による振動構成結果に基づいて振動デバイス３を駆動する振動デバイス駆動部２と、を備える。
スペクトル計算部１２は、複数の計算処理部１２Ａ～１２Ｃを有し、計算処理部１２Ａ～１２Ｃごとに前記音声信号の音声取り込み時間は異なり、振動構成部１３は、前記音声取り込み時間の短い計算処理部ほど、スペクトル計算結果における高い周波数について前記触覚振動の構成を行う。
　これにより、高い周波数の音声に対しては、短い音声取り込み時間によるスペクトル計算結果に基づき触覚振動構成が行われる。これにより、音声が発生してから振動デバイスを駆動させるまでの時間を短くする。これにより、振動デバイスを駆動するまでの遅延時間の許容時間が短い高い周波数の音声に対して、ユーザは違和感を抑えた触覚振動効果を感じることが可能となる。
　また、スペクトル計算部１２は、データ取り込み数に基づいて前記音声取り込み時間を判断する。
　これにより、所望の音声取り込み時間が経過したことを容易に判断できる。
　また、前記音声取り込み時間は、対応する周波数の１周期以上である。
　これにより、対象となる周波数のスペクトル計算をより確実に行うことができる。
　また、前記音声取り込み時間は、音声周波数Ｆ[Hz]と音声発生から振動発生までの遅延時間の許容値ＤＴ[msec]との下記対応関係に基づく。
　Ｆ[Hz]　　ＤＴ[msec]
　１５０　　２５
　８００　　１５
　３０００　１０
　８０００　１０
　これにより、遅延時間によるユーザの違和感をより抑制することが可能となる。
　また、複数の計算処理部１２Ａ～１２Ｃは、共通の音声信号に対してスペクトル計算を行う。
　これにより、より確実に音声の周波数成分を検出し、触覚振動効果を与えることができる。
　また、計算処理部１２Ａ～１２Ｃは、それぞれ高／中／低周波信号用のスペクトル計算を行う。
　これにより、より多くの周波数の音声に応じて触覚振動効果を与えることができる。
　また、高／中／低周波信号用の前記音声取り込み時間は、音声取り込み部１１にデジタル音声信号がそれぞれ２５６個、５１２個、１０２４個取り込まれる時間である。
　これにより、スペクトル計算にＦＦＴ（高速フーリエ変換）を用いることができる。
　また、振動構成部１３は、スペクトル計算により得られたスペクトルで各周波数部分に一定以上のピークが存在するか否かによって振動を構成するか否かを判定する振動判定部１３１を有する。
　これにより、簡易な制御によって各周波数の音声が発生したことを検出できる。
＜音声メモリの変形例＞
　図３Ｂは、音声メモリ１１２の構成に関する変形例を示すブロック図である。図３Ｂでは、図３Ａに比べて、音声メモリ１１２が一つのメモリ部１１２１によって構成されることが異なる。メモリ部１１２１には、一つのデジタル音声信号ＤＳが格納される。メモリ部１１２１に格納されたデジタル音声信号ＤＳは、ＦＦＴ計算部１２における各周波数のＦＦＴ処理部１２Ａ～１２ＣによるＦＦＴ処理に共通に使用される。
　先述したように、例えば、高周波用、中周波用、低周波用で音声取り込み時間を５．３[msec]、１０．６[msec]、２１．３[msec]とすれば、低周波用の音声取り込み時間が経過した段階で取り込んだ音声信号は不要となる。
　すなわち、音声取り込み部１１は、一つの音声信号を格納するメモリ部１１２１を有し、複数の計算処理部１２Ａ～１２Ｃは、メモリ部１１２１を共通に使用する。これにより、メモリ容量を削減し、コストの低減を図れる。
＜音声／振動変換装置の接続構成＞
　先述した図１に示す音声／振動変換装置２０は、スマートフォン１０のイヤホンジャック１０１と接続する構成であった。すなわち、音声／振動変換装置２０は、外部機器１０に対して着脱可能である端子２０１をさらに有し、外部機器１０から出力される音声信号ＡＳは、端子２０１を介して音声取り込み部１１に入力される。これにより、ユーザは、音声／振動変換装置を異なる外部機器に対して接続し、触覚振動効果を得ることができる。
　なお、音声／振動変換装置２０の接続構成については例えば下記のような変形例としてもよい。
　図１０は、音声機器と音声／振動変換装置からなる第１変形例に係るシステムを示す概略図である。図１０において、音声機器１０Ａは、内部構成１０Ａ１と、無線通信部１０Ａ２と、イヤホンジャック１０Ａ３と、を有する。内部構成１０Ａ１から出力されたアナログ音声信号ＡＳは、イヤホンジャック１０Ａ３への経路を介してイヤホンジャック１０Ａ３へ送られるとともに、イヤホンジャック１０Ａ３への経路から分岐した経路を介して無線通信部１０Ａ２にも送られる。無線通信部１０Ａ２は、送られたアナログ音声信号ＡＳを無線信号に変換し、音声／振動変換装置２０へ送る。この場合、音声／振動変換装置
２０においては、音声取り込み部は、受信した無線信号を音声信号に変換する無線通信部を有する。なお、無線通信部１０Ａ２は、例えば、Bluetooth（登録商標）の規格に準ずる。
　また、図１１は、第２変形例に係る音声機器１０Ｂを示す概略図である。本変形例では、音声／振動変換装置２０は、音声機器１０Ｂの内部に設けられる。図１１において、音声機器１０Ｂは、内部構成１０Ｂ１と、イヤホンジャック１０Ｂ２と、音声／振動変換装置２０と、を有する。内部構成１０Ｂ１から出力されたアナログ音声信号ＡＳは、イヤホンジャック１０Ｂ２への経路を介してイヤホンジャック１０Ｂ２へ送られるとともに、イヤホンジャック１０Ｂ２への経路から分岐した経路を介して音声／振動変換装置２０にも送られる。本変形例であれば、ユーザは、イヤホンジャック１０Ｂ２に接続されたイヤホンから音声を聴きつつ、音声／振動変換装置２０によって音声機器１０Ｂに与えられた触覚振動を感じることができる。
　すなわち、音声取り込み部に入力される音声信号は、イヤホンジャック１０Ａ３，１０Ｂ２への経路から分岐した経路のアナログ音声信号ＡＳである。これにより、容易に音声信号を取得することが可能となる。
＜その他＞
　以上、本発明の実施形態について説明したが、本発明の趣旨の範囲内であれば、実施形態は種々の変形が可能である。
　本発明は、例えば、ゲーム等の音声の触覚振動への変換に利用することができる。
　１・・・マイコン、２・・・振動デバイス駆動部、３・・・振動デバイス、１０・・・スマートフォン、１０１・・・イヤホンジャック、１１・・・音声取り込み部、１１１・・・Ａ／Ｄ変換部、１１２・・・音声メモリ、１１２Ａ・・・第１メモリ部、１１２Ｂ・・・第２メモリ部、１１２Ｃ・・・第３メモリ部、１１２１・・・メモリ部、１２・・・ＦＦＴ計算部、１２Ａ・・・第１ＦＦＴ処理部、１２Ｂ・・・第２ＦＦＴ処理部、１２Ｃ・・・第３ＦＦＴ処理部、１３・・・振動構成部、１３１・・・振動判定部、１３１Ａ・・・高周波信号用判定部、１３１Ｂ・・・中周波信号用判定部、１３１Ｃ・・・低周波信号用判定部、１３２・・・振動情報出力部、２０・・・音声／振動変換装置、２０１・・・端子、１０Ａ・・・音声機器、１０Ａ１・・・内部構成、１０Ａ２・・・無線通信部、１０Ａ３・・・イヤホンジャック、１０Ｂ・・・音声機器、１０Ｂ１・・・内部構成、１０Ｂ２・・・イヤホンジャック、ＡＳ・・・アナログ音声信号、ＤＳ・・・デジタル音声信号、ＶＩ・・・振動情報、Ｄｒ・・・駆動信号

Claims (11)

  1. 　振動デバイスと、
    　音声信号を取り込む音声取り込み部と、
    　前記音声取り込み部に取り込まれた音声信号に基づいてスペクトル計算を行うスペクトル計算部と、
    　前記スペクトル計算部による計算結果の少なくとも一部に基づいて触覚振動を構成する振動構成部と、
    　前記振動構成部による振動構成結果に基づいて前記振動デバイスを駆動する振動デバイス駆動部と、
    　を備え、
    　前記スペクトル計算部は、複数の計算処理部を有し、
    　前記計算処理部ごとに前記音声信号の音声取り込み時間は異なり、
    　前記振動構成部は、前記音声取り込み時間の短い前記計算処理部ほど、スペクトル計算結果における高い周波数について前記触覚振動の構成を行う、
    　音声／振動変換装置。
  2. 　前記スペクトル計算部は、データ取り込み数に基づいて前記音声取り込み時間を判断する、請求項１に記載の音声／振動変換装置。
  3. 　前記音声取り込み時間は、対応する周波数の１周期以上である、請求項１または請求項２に記載の音声／振動変換装置。
  4. 　前記音声取り込み時間は、音声周波数Ｆ[Hz]と音声発生から振動発生までの遅延時間の許容値ＤＴ[msec]との下記対応関係に基づく、請求項１から請求項３のいずれか１項に記載の音声／振動変換装置。
    　Ｆ[Hz]　　ＤＴ[msec]
    　１５０　　２５
    　８００　　１５
    　３０００　１０
    　８０００　１０
  5. 　前記複数の計算処理部は、共通の音声信号に対してスペクトル計算を行う、請求項１から請求項４のいずれか１項に記載の音声／振動変換装置。
  6. 　前記音声取り込み部は、一つの音声信号を格納するメモリ部を有し、
    　前記複数の計算処理部は、前記メモリ部を共通に使用する、請求項５に記載の音声／振動変換装置。
  7. 　前記計算処理部は、それぞれ高／中／低周波信号用のスペクトル計算を行う、請求項１から請求項６のいずれか１項に記載の音声／振動変換装置。
  8. 　高／中／低周波信号用の前記音声取り込み時間は、前記音声取り込み部にデジタル音声信号がそれぞれ２５６個、５１２個、１０２４個取り込まれる時間である、請求項７に記載の音声／振動変換装置。
  9. 　前記振動構成部は、スペクトル計算により得られたスペクトルで各周波数部分に一定以上のピークが存在するか否かによって振動を構成するか否かを判定する振動判定部を有する、請求項１から請求項８のいずれか１項に記載の音声／振動変換装置。
  10. 　外部機器に対して着脱可能である端子をさらに有し、
    　前記外部機器から出力される音声信号は、前記端子を介して前記音声取り込み部に入力される、請求項１から請求項９のいずれか１項に記載の音声／振動変換装置。
  11. 　前記音声取り込み部に入力される音声信号は、イヤホンジャックへの経路から分岐した経路のアナログ音声信号である、請求項１から請求項１０のいずれか１項に記載の音声／振動変換装置。
PCT/JP2019/011502 2018-03-23 2019-03-19 音声／振動変換装置 WO2019181955A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-056713 2018-03-23
JP2018056713 2018-03-23

Publications (1)

Publication Number Publication Date
WO2019181955A1 true WO2019181955A1 (ja) 2019-09-26

Family

ID=67987651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011502 WO2019181955A1 (ja) 2018-03-23 2019-03-19 音声／振動変換装置

Country Status (1)

Country Link
WO (1) WO2019181955A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110917613A (zh) * 2019-11-30 2020-03-27 吉林大学 一种基于振动触觉的游戏智能桌垫
CN111312281A (zh) * 2020-05-09 2020-06-19 北京小米移动软件有限公司 一种触感振动实现方法
WO2021192747A1 (ja) * 2020-03-25 2021-09-30 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141477A (ja) * 2006-12-01 2008-06-19 Fujitsu Ten Ltd 体感音響システム
JP2009533714A (ja) * 2006-04-13 2009-09-17 イマージョン コーポレーション デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2015053037A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 分割および合成を用いたハプティック変換システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009533714A (ja) * 2006-04-13 2009-09-17 イマージョン コーポレーション デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2008141477A (ja) * 2006-12-01 2008-06-19 Fujitsu Ten Ltd 体感音響システム
JP2015053037A (ja) * 2013-09-06 2015-03-19 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 分割および合成を用いたハプティック変換システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110917613A (zh) * 2019-11-30 2020-03-27 吉林大学 一种基于振动触觉的游戏智能桌垫
WO2021192747A1 (ja) * 2020-03-25 2021-09-30 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体
CN111312281A (zh) * 2020-05-09 2020-06-19 北京小米移动软件有限公司 一种触感振动实现方法

Similar Documents

Publication Publication Date Title
WO2019181955A1 (ja) 音声／振動変換装置
JP6436934B2 (ja) 動的閾値を用いた周波数帯域圧縮
JP4675888B2 (ja) ハウリング検出装置およびその方法
EP3166328B1 (en) Signal processing apparatus, signal processing method, and computer program
EP3110169B1 (en) Acoustic processing device, acoustic processing method, and acoustic processing program
JP5417491B2 (ja) 電子機器、方法およびプログラム
EP3203473A1 (en) A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system
CN109565625B (zh) 耳机佩戴状态监测装置及方法
JPH10126890A (ja) ディジタル補聴器
US20030073927A1 (en) Method for muting and/or un-muting of audio sources during a hearing test
EP3669780B1 (en) Methods, devices and system for a compensated hearing test
EP3136746B1 (en) Area-sound reproduction system and area-sound reproduction method
US9439011B2 (en) Wearable speaker user detection
CN111801951B (zh) 啸叫抑制装置、其方法以及计算机可读取记录介质
JP2020501433A (ja) 知覚可能な低音レスポンス
JP5532541B2 (ja) 音声出力装置、電話機及び携帯電話機
EP3208797A1 (en) Signal processing device, signal processing method, and computer program
JPWO2012098856A1 (ja) 補聴器、及び、補聴器の制御方法
WO2015053068A1 (ja) 音場測定装置、音場測定方法および音場測定プログラム
JP5819875B2 (ja) 音声出力装置および方法
DE112020004160T5 (de) Steuerungseinrichtung, lautsprechereinrichtung und audioausgabeverfahren
JP5395826B2 (ja) 補聴器調整装置
JP5714076B2 (ja) 聴覚的顕著性評価装置、聴覚的顕著性評価方法、プログラム
CN108495237A (zh) 一种扬声器音质均衡的幅度增益控制方法
JP2008151155A (ja) 能動的振動・騒音制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19771081

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19771081

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP