WO2017061367A1 - 体感制御装置 - Google Patents

体感制御装置 Download PDF

Info

Publication number
WO2017061367A1
WO2017061367A1 PCT/JP2016/079266 JP2016079266W WO2017061367A1 WO 2017061367 A1 WO2017061367 A1 WO 2017061367A1 JP 2016079266 W JP2016079266 W JP 2016079266W WO 2017061367 A1 WO2017061367 A1 WO 2017061367A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensation
signal
acoustic signal
input
control data
Prior art date
Application number
PCT/JP2016/079266
Other languages
English (en)
French (fr)
Inventor
健文 大塚
石川　博一
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2017544483A priority Critical patent/JP6456513B2/ja
Publication of WO2017061367A1 publication Critical patent/WO2017061367A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • This disclosure relates to a sensation control device that controls a sensation device that outputs vibration, light, and the like in accordance with sound.
  • This application claims priority based on Japanese Patent Application No. 2015-200762 filed on Oct. 9, 2015, and incorporates all the content described in the Japanese Patent Application. .
  • Conventional sensation devices are mainly used to convert the bass component of music into mechanical vibrations (referred to as “sensory sensation”) so that the music listener can experience it, or to create a sense of reality in a home theater system.
  • sensor sensation mechanical vibrations
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2006-287483 relates to a signal processing circuit for body sensation sound for producing a sense of reality in the above-mentioned home theater system. Specifically, the signal processing circuit of this document mixes the left signal, right signal, left surround signal, right surround signal, and low frequency sound effect signal of the 5.1 channel surround system, and performs signal processing on the mixed signal. By doing so, a bodily sensation sound signal is generated.
  • the signal processing circuit is configured to output the sensory sound signal only when the low frequency sound effect signal is large.
  • Patent Document 1 even if the sensory sound signal is generated so as to match the sound signal, there may be a difference between the sound and the sensory experience due to a delay in the rise of the sensory device. Further, there may be a difference between the sound and the bodily sensation due to the difference in personal sense. In Patent Document 1, no consideration is given to such a problem.
  • the present disclosure has been made in consideration of the above-described problems, and an object thereof is to provide a sensation control device capable of reducing the difference between sound and sensation and giving a comfortable sensation to the user. That is.
  • a sensation control device for controlling a sensation module that gives a sensation specific to a user, and includes at least an input unit to which an acoustic signal is input, a determination unit, a drive signal generation unit, and a delay A circuit and an acoustic signal output unit;
  • the determination unit determines whether or not sensation control data for controlling the sensation module is input to the input unit together with the acoustic signal.
  • the drive signal generation unit generates a drive signal for driving the sensation module based on the sensation control data when the sensation control data is input to the input unit, and the sensation control data is input together with the sound signal.
  • a drive signal for driving the sensation module is generated based on the acoustic signal.
  • the delay circuit delays the acoustic signal, and the delay time is variable.
  • the acoustic signal output unit outputs the delayed acoustic signal.
  • FIG. 1 is an external view schematically showing an example of a bodily sensation system according to the first embodiment.
  • FIG. 1 shows an example of using the sensation control device (connection box 10) for controlling the sensation devices 30A and 30B when the sensation devices 30A and 30B (wristbands) are used in a seat such as an airplane or a long-distance bus. ing.
  • an armrest of a seat 50 such as an airplane is usually provided with a 3.5 mm ⁇ stereo mini jack 52 for connecting an earphone or headphones.
  • a stereo mini jack 52 for connecting an earphone or headphones.
  • an audio signal from an audio device such as a CD player, a DVD player, a Blu-ray (registered trademark) player and / or a video device, or an audio signal of a radio broadcast or a television broadcast is output.
  • a sensation control device that can be used when not only analog sound signals but also sensation control data created so as to match the sound signals is output from the jack 52 together. Accordingly, it is possible to provide a bodily sensation system that can be applied to a case where a composer or the like has created music that includes not only sound (or sound and video) but also bodily sensation.
  • the sensation control data has a predetermined specific frequency in a non-audible region (a region higher than about 20 kHz, which is the upper limit frequency that humans can hear) so as not to affect the acoustic signal. Modulation is performed on the area, and the modulated sensation control data is superimposed on the acoustic signal.
  • the acoustic signal and the sensation control data after modulation incorporated in the acoustic signal are collectively referred to as a superimposed signal.
  • a connection box 10 as a sensation control device is connected to the jack 52 in order to extract the sensation control data from the received superimposed signal.
  • the connection box 10 uses a filter to extract a signal in a specific frequency region of the superimposed signal, and reproduces the sensation control data by demodulating the extracted signal.
  • the connection box 10 generates a drive signal for driving a corresponding sensation module provided in the sensation device based on the sensation control data.
  • the generated drive signal is transmitted from the connection box 10 to each sensation module provided in the sensation device 30 using a wireless communication method such as BLUETOOTH (registered trademark) (see FIG. 1 for an example of the sensation module). B)).
  • connection box 10 is configured to be able to handle a case where only an acoustic signal that does not include sensation control data is received.
  • the connection box 10 generates a plurality of drive signals for driving each sensation module based on the intensity of each frequency component of the acoustic signal extracted by the plurality of filters, and the generated drive signals are transmitted to the wireless communication device. Send to the bodily sensation device using the method.
  • the acoustic signal is output to the earphone or headphones via a stereo mini jack (not shown) provided in the connection box 10. Is done.
  • the driving signal of each sensation module is transmitted to the sensation device by wireless communication, but may be transmitted to the sensation device by wired communication.
  • FIG. 1 (B) shows an example of a bodily sensation device.
  • the sensation apparatus has the form of wristbands 30A and 30B to be worn on both wrists of the user.
  • a communication device for communicating with the connection box 10 of FIG. 1 (A) a vibrator as an experience module, and an air bag and a blower for inflating the air bag are attached. Yes.
  • the vibrator can give a vibration to the user, and the blower can inflate the air bag to apply pressure to the user's wrist.
  • LED (Light Emitted Diode) 37 for outputting light according to an acoustic signal is attached to wristbands 30A and 30B as a body sensation module.
  • the on / off of the outputs of these sensation modules is controlled according to the drive signals of each sensation module received from the connection box 10 as the sensation control device.
  • the output level of the sensation module may be changed according to the sound pressure level of the sound output. For example, the greater the sound pressure level of the sound output, the greater the output intensity of the sensation module.
  • the sensation device controlled by the connection box 10 is not limited to the wristband.
  • a band-like thing wound around a part of the body such as an arm, a leg, or an ankle, or a cushion-like thing pressed against a part of the body such as the back or the waist may be used.
  • the sensation module attached to the sensation device is not limited to the vibrator, blower, and LED.
  • FIG. 2 is a block diagram showing a functional configuration of the connection box of FIG.
  • a connection box 10 as a sensation control device includes a microcomputer 11 including a CPU (Central Processing Unit) and a memory, an acoustic signal input unit 12, a digital filter 16, and a sensation module drive signal generation. Unit 17, acoustic signal output unit 13, communication unit 14, antenna 21, and power supply unit 15 (battery).
  • CPU Central Processing Unit
  • the microcomputer 11 controls each component of the connection box 10. Furthermore, the microcomputer 11 functions as a determination unit that determines whether the input signal from the output unit 51 of the audio device includes sensation control data for controlling the sensation module.
  • the acoustic signal input unit 12 receives an analog acoustic signal input from the output unit 51 of the acoustic device.
  • an analog acoustic signal is input from a stereo mini jack 52 that is an output terminal of the output unit 51 to a stereo mini plug that is an input terminal of the acoustic signal input unit 12.
  • the sensation control data modulated in the specific frequency region within the non-audible region may be input by being incorporated into the acoustic signal.
  • the acoustic signal input unit 12 performs A / D (Analog to Digital) conversion of the input acoustic signal or superimposed signal into a digital signal.
  • the digitally converted acoustic signal or superimposed signal is input to the microcomputer 11.
  • the digital filter 16 extracts a desired frequency band from the acoustic signal or the superimposed signal in accordance with a command from the microcomputer 11.
  • the digital filter 16 is configured by, for example, a band pass filter, a low pass filter, a high pass filter, and a combination thereof. For example, when a superimposed signal is input to the acoustic signal input unit 12, sensation control data modulated to a specific frequency region within the non-audible region is extracted by a band pass filter or a high pass filter.
  • Sound ranges are extracted by a low-pass filter, a band-pass filter, and a high-pass filter, respectively.
  • the drive signal generation unit 17 When a superimposed signal (ie, an acoustic signal and modulated sensation control data) is input to the acoustic signal input unit 12, the drive signal generation unit 17 is in the non-audible region extracted by the digital filter 16. The sensation control data is reproduced by demodulating the signal in the specific frequency region.
  • the drive signal generator 17 generates a drive signal for driving each sensation module based on the sensation control data.
  • the drive signal generation unit 17 includes a vibrator drive signal generation unit 18 that generates a drive signal for a vibrator, a blower drive signal generation unit 19 that generates a drive signal for a blower, and an LED And an LED drive signal generation unit 20 that generates a drive signal for use.
  • the output of each body sensation module is controlled according to the corresponding drive signal.
  • the drive signal generation unit 17 detects each sensation based on a plurality of signal components of the acoustic signal extracted by the digital filter 16. Generate drive signals for the module. In this case, for example, a method similar to Patent Document 1 can be used.
  • the digital filter 16 and the drive signal generation unit 17 are configured by a dedicated digital circuit, for example, a programmable FPGA (Field Programmable Gate Array).
  • a dedicated digital circuit for example, a programmable FPGA (Field Programmable Gate Array).
  • the functions of the digital filter 16 and the drive signal generation unit 17 may also be realized by the microcomputer 11.
  • the acoustic signal output unit 13 performs D / A (Digital to Analog) conversion on the acoustic signal A / D converted by the acoustic signal input unit 12, and outputs the analog acoustic signal after the D / A conversion to the acoustic output device 53.
  • the sound output device 53 is, for example, an earphone, a headphone, a speaker, or the like.
  • the acoustic signal output unit 13 further includes a delay circuit capable of adjusting a delay time in order to delay the output acoustic signal.
  • the communication unit 14 generates a transmission signal by modulating the drive signal of each sensation module generated by the drive signal generation unit 17 according to a wireless communication method such as BLUETOOTH (registered trademark).
  • the generated transmission signal is transmitted to the communication unit (32 in FIG. 3) provided in the sensation apparatus 30 via the antenna 21.
  • the power supply unit 15 supplies power necessary for the operation of each of the above-described elements constituting the connection box 10 by a battery.
  • FIG. 3 is a block diagram showing a functional configuration of the sensation apparatus shown in FIG.
  • the sensation apparatus 30 includes a microcomputer 31 including a CPU and a memory, a communication unit 32, an antenna 38, a vibrator 34, a blower 35, an air bag 36, an LED 37, and a power supply unit 33. (Battery).
  • the microcomputer 31 controls each component of the sensation device 30.
  • the communication unit 32 receives the transmission signal from the connection box 10 via the antenna 38 and demodulates the received transmission signal to reproduce the driving signal of each sensation module.
  • Each sensory module operates according to the reproduced corresponding drive signal.
  • the vibrator 34 gives a vibration feeling to the user by being turned on and off according to the drive signal for the vibrator 34.
  • the blower 35 applies pressure to the user's wrist by inflating the air bag according to the drive signal for the blower 35.
  • the LED 37 stimulates the user with light by turning on and off according to the drive signal for the LED 37.
  • the user can experience a unique sense of reality that matches the sound.
  • the power supply unit 33 supplies electric power necessary for the operation of each of the above-described elements constituting the sensation device 30 with a battery.
  • FIG. 4 is a block diagram illustrating an example of a detailed configuration of the acoustic signal input unit and the acoustic signal output in the connection box of FIG. 2.
  • the acoustic signal input unit 12 and the acoustic signal output unit 13 are built in the connection box 10 of FIG.
  • the acoustic signal input unit 12 includes an amplitude adjustment unit 60 and an A / D conversion unit 61.
  • the amplitude adjustment unit 60 is, for example, an amplifier and / or an attenuator, and adjusts the amplitude of the input signal by multiplying the input signal (acoustic signal or superimposed signal) by a predetermined gain.
  • the A / D converter 61 converts the input signal into a digital signal.
  • the acoustic signal output unit 13 includes a delay circuit 70, a D / A conversion unit 71, and an amplitude adjustment unit 72.
  • the delay circuit 70 delays the output signal (acoustic signal or superimposed signal) output to the acoustic output device 53 by a set amount.
  • a FIFO (First In First Out: First In, First Out) type data buffer can be used as the delay circuit 70.
  • the buffer capacity is variable and is set to a value corresponding to the delay amount.
  • the buffer capacity of the data buffer may be set by a program from the microcomputer 11, may be set by a dedicated register, or may be set by an adjustment knob provided in the connection box 10. It may be. The reason why such a delay circuit 70 is necessary will be described later with reference to FIG.
  • the D / A converter 71 converts the output signal into an analog signal.
  • the amplitude adjustment unit 72 is, for example, an amplifier and / or an attenuator, and adjusts the amplitude of the output signal by multiplying the output signal (acoustic signal or superimposed signal) output to the acoustic output device 53 by a predetermined gain. .
  • connection box (body sensation control device) 10 described above, there may be a difference between the sound and the body sensation depending on the rising characteristics of the body sensation module used. Furthermore, it is considered that the difference in timing between the sound and the bodily sensation is most comfortable, depending on the individual. In order to correct such a delay in the rise of the sensation module and a shift in the sense of the user, the acoustic signal is delayed by the delay circuit 70 of FIG.
  • FIG. 5 is a diagram for explaining timing adjustment of sound and sensation using the connection box of FIG.
  • the sensation control data is extracted using the digital filter 16 and the extracted sensation control is performed.
  • Drive signals for each of the sensation modules 34 to 37 are generated according to the data.
  • the sensation control data is not incorporated in the acoustic signal, to drive the sensation modules 34 to 37 based on the acoustic signal (for example, by sampling a plurality of frequency domain signals and synthesizing them).
  • Drive signals are generated.
  • the drive signal generation unit 17 When generating the drive signal, the drive signal generation unit 17 varies the rise (activation) timing of each drive signal according to the difference in the rise characteristics of each body sensation module. In this case, the timing of activation of the drive signal supplied to the bodily sensation module is accelerated as the bodily sensation module takes longer to start. As a result, the sensory module is prevented from shifting due to the rising characteristics of the sensory module.
  • the input original sound signal is delayed by the delay circuit 70.
  • the delay amount of the delay circuit 70 is set according to the rise time of the sensation module (usually according to the sensation module with the slowest rise). As a result, it is possible to eliminate the difference between the sound and the bodily sensation.
  • the delay amount of the delay circuit 70 may be further adjusted according to the user's feeling.
  • the acoustic signal after the delay processing is output to an acoustic output device 53 such as an earphone or a speaker.
  • FIG. 6 is a flowchart showing the operation of the connection box of FIG.
  • FIG. 7 is a flowchart showing in more detail the procedure of steps S140A and S140B of FIG.
  • the operation of the connection box 10 as the sensation control device will be described with reference to FIGS.
  • the microcomputer 11 built in the connection box 10 determines whether or not the acoustic signal input unit 12 is connected to the output unit 51 of the acoustic device (that is, a plug that is an input terminal of the acoustic signal input unit 12 is connected to the output unit 51. It is detected whether or not it is inserted into the jack 52 which is an output terminal.
  • the connection box 10 is in a standby state until the connection between the acoustic signal input unit 12 and the output unit 51 of the acoustic device is detected (NO in step S105) (step S100).
  • Various methods can be considered as a method for determining whether or not the plug is inserted into the jack. For example, insertion into a jack can be detected by detecting a change in impedance between each terminal of the plug.
  • the microcomputer 11 detects that the acoustic signal input unit 12 and the output unit 51 of the acoustic device are connected (YES in step S105), the A / D converter built in the acoustic signal input unit 12 Thus, an input signal (acoustic signal or superimposed signal) from the output unit 51 of the acoustic device is A / D converted. Subsequently, the microcomputer 11 uses the digital filter 16 to extract a signal in a specific frequency region within the non-audible region, and determines whether or not sensation control data is included in the input signal based on the signal in the specific frequency region. (Step S110).
  • step S110 When the sensation control data is included in the input signal as a result of the determination in step S110 (that is, when the input signal is a superimposed signal) (YES in step S115), the process from step S120A to step S140A is performed. A series of steps is executed repeatedly. Specifically, it is as follows.
  • a superimposed signal is input to the acoustic signal input unit 12 (step S120A).
  • the digital filter 16 filters a specific frequency region in the input superimposed signal.
  • the drive signal generation unit 17 takes out the sensation control data by demodulating the filtered signal (step S125A).
  • the drive signal generation unit 17 generates a drive signal (vibrator drive signal, blower drive signal, LED drive signal) for driving each sensation module according to the extracted sensation control data (step S130A).
  • the timing at which each drive signal is activated is set to be different depending on the rise time of each sensation module.
  • Each generated drive signal is output to the corresponding sensation module of the sensation device 30 by the communication unit 14 (step S135A).
  • Each sensation module operates according to the corresponding drive signal, so that the user can feel a special sense of presence.
  • the acoustic signal output unit 13 performs delay processing on the digital superimposed signal (or acoustic signal) after A / D conversion, and performs the superimposed processing (or acoustic signal) after the delay processing. Is converted to an analog signal by D / A conversion. Then, the acoustic signal output unit 13 outputs the analog-converted superimposed signal (or acoustic signal) to the acoustic output device 53 (step S140A).
  • step S140A in FIG. 6 The details of step S140A in FIG. 6 are shown in the flowchart in FIG. FIG. 7 shows an example in which a FIFO variable capacity data buffer is used as the delay circuit 70.
  • the buffer capacity of the data buffer is set in proportion to the delay amount of the delay circuit 70.
  • an A / D converted acoustic signal (referred to as acoustic data) is stored in a data buffer (step S310). Storage of the acoustic data in the data buffer is continued until the data buffer is full. When the data buffer is full, the first stored acoustic data is retrieved from the data buffer (step S320). The acoustic data extracted from the data buffer is D / A converted (step S330). Then, D / A converted acoustic data (referred to as an acoustic signal) is output to the acoustic output device 53.
  • step S110 of FIG. 6 when the sensation control data is not included in the input signal (that is, when the input signal is only an acoustic signal) (NO in step S115), the process starts from step S120B.
  • a series of steps up to step S140B is repeatedly executed. Specifically, it is as follows.
  • an acoustic signal is input to the acoustic signal input unit 12 (step S120B).
  • the digital filter 16 extracts data of a plurality of frequency bands from the input acoustic signal (step S125B).
  • the driving signal generation unit 17 drives driving sensors (vibrator driving signal, blower driving signal, LED, etc.) based on the extracted acoustic signals of each band or a part of them.
  • Drive signal is generated (step S130B).
  • the timing at which each drive signal is activated is set to be different depending on the rise time of each sensation module.
  • Each generated drive signal is output to the corresponding sensation module of the sensation device 30 by the communication unit 14 (step S135B).
  • Each sensation module operates according to the corresponding drive signal, so that the user can feel a special sense of presence.
  • the acoustic signal output unit 13 performs a delay process on the digital acoustic signal after A / D conversion, and performs an analog signal by performing a D / A conversion on the acoustic signal after the delay process. Return to. Then, the acoustic signal output unit 13 outputs the analog-converted acoustic signal to the acoustic output device 53 (Step S140B). Details of step S140B in FIG. 6 are the same as in step S140A, and are shown in the flowchart in FIG.
  • the sensation control device of the first embodiment both when the sound signal indicating the musical tone of the music is input and when the control data of the sensation device is input together with the sound signal, Users can experience a sense of realism that matches the music. Furthermore, when the user feels a sense of reality, the output timing of the acoustic signal and the timing for activating each sensation module can be adjusted according to the rise time of each sensation module and the difference in the senses of the user. It is possible to provide a comfortable experience to the user by reducing the deviation of the experience.
  • the second embodiment relates to details in the case where sensation control data is provided embedded in an acoustic signal. Specifically, it is assumed that the composer composes a song and then uses the authoring tool to embed sensation control data for controlling each sensation module in the non-audible area of the acoustic signal indicating the musical tone of the song. is there.
  • FIG. 8 is a diagram showing the waveform of the acoustic signal and the operation timing of each body sensation module.
  • the timing chart of FIG. 8A shows an example of a screen display when creating sensation control data using an authoring tool. Specifically, FIG. 8A shows the temporal change of the acoustic signal and the operation timing of each sensation module (LED, vibrator, blower) designated by the composer so as to match the acoustic signal. .
  • FIG. 8B shows a timing diagram of the acoustic signal and sensation control data output by the authoring tool based on the timing diagram of FIG. 8A in order to write on a recording medium such as a CD, DVD, or Blu-ray disc. ing. As shown in FIG. 8B, the operation timing of each sensation module is earlier than the design timing shown in FIG. 8A, and the difference in timing depends on the rise time of each sensation module. Yes.
  • the desired operation timing of the LED (that is, the timing that matches the acoustic signal) is the time t1 and the time t9 shown in FIG. 8A, whereas the operation timing of the LED written on the recording medium is the time. It is slightly earlier than t1 and time t2.
  • the desired operation timing of the vibrator is time t2, time t5, and time t8, whereas the operation timing written to the recording medium is earlier than that of the LED.
  • the desired operation timing of the blower is from time t3 to time t4 and from time t6 to time t7, whereas the operation timing written to the recording medium is much earlier than in the case of the LED and vibrator.
  • the timing at which the drive signal for driving each sensation module is activated can be automatically changed according to the rise time of the corresponding sensation module (rise time). The longer the is, the earlier the activation timing). Furthermore, in this case, it is not necessary to delay the acoustic signal in step S140A in FIG. 6 (that is, step S300 in FIG. 7 is NO). As a result, it is possible to minimize the difference between the sound and the bodily sensation and give the user a comfortable sensation.
  • the delay time of the acoustic signal may be adjusted in order to correct an individual sense shift (that is, step S300 in FIG. 7 is YES). Therefore, when the timing adjustment is performed by the sensation control data, generally, the delay time of the delay circuit 70 when the sensation control data is input to the input unit together with the audible signal is the sensation control data together with the audible signal. Is shorter than when no value is input to the input unit.
  • the acoustic signal output unit 13 When the acoustic signal (or superimposed signal) is not delayed in step S140A, the acoustic signal output unit 13 outputs the analog acoustic signal (or superimposed signal) input to the acoustic signal input unit 12 to the acoustic output device 53 as it is. You may make it do. Even if the superimposed signal is output as it is, the sensation control data is incorporated in the non-audible region of the acoustic signal, and thus does not adversely affect the acoustic output device 53.
  • identification information (ID code: Identification Code) of the sensation module to be controlled is recorded in advance on the first silent portion of each piece of music recorded on a CD, DVD, Blu-ray disc or the like. It is desirable to leave. By detecting the identification information recorded in the first silent part when each music piece is reproduced, it is possible to extract the sensation control data from the superimposed signal including the subsequent acoustic signal without delay.
  • step S110 the detailed procedure of step S110 will be described in detail with reference mainly to FIG. 2 and FIG. Since parts other than step S110 in the configuration of the sensation device 30 and the sensation control apparatus 10 and the operation of the sensation control apparatus are the same as those in the first and second embodiments, description thereof will not be repeated.
  • FIG. 9 is a flowchart showing a procedure for determining whether or not sensation control data is included in an input signal in the sensation control apparatus according to the third embodiment.
  • the microcomputer 11 incorporated in the connection box 10 detects that the acoustic signal input unit 12 is connected to the output unit 51 of the acoustic device (YES in step S ⁇ b> 105 in FIG. 6).
  • the input signal to the acoustic signal input unit 12 is A / D converted.
  • the microcomputer 11 determines whether or not any signal is included in the specific frequency region by filtering the specific frequency region to which the sensation control code is assigned in the non-audible region by the digital filter 16. (Step S200 in FIG. 9).
  • the microcomputer 11 determines that the signal is not included in the specific frequency region (NO in step S210)
  • the microcomputer 11 determines that the sensation control data is not included in the input signal (step S250).
  • the microcomputer 11 identifies the identification information of the sensation module (for example, an ID code (Identification Code) set in advance for each sensation module) in the specific frequency region. Is included (step S220).
  • the microcomputer 11 determines that the identification information of the sensation module is not included in the specific frequency region (NO in step S230)
  • the microcomputer 11 determines that the sensation control data is not included in the input signal ( If it is determined that the identification information of the sensation module is included in the specific frequency region (YES in step S230), it is determined that the sensation control data is included in the input signal (step S240).
  • the acoustic signal output from the output unit 51 of the acoustic device is an analog signal.
  • a digital acoustic signal is input instead of the analog signal.
  • the connection box 10 can also be applicable.
  • the present invention can also be applied when a video signal is input as an input signal together with an audio signal as in the HDMI (registered trademark) standard.
  • a / D conversion in the acoustic signal input unit 12 and D / A conversion in the acoustic signal output unit 13 are unnecessary.
  • the sensation control data is preferably incorporated into the acoustic signal as a signal modulated in a specific frequency region within the non-audible region.
  • the sensation control data can be incorporated into the acoustic signal without changing the standard of the existing communication interface.
  • connection box sensor control device
  • 11 microcomputer determination unit
  • 12 acoustic signal input unit 13 acoustic signal output unit
  • 14, 32 communication unit 16 digital filter
  • 17 drive signal generation unit 18 vibrator drive signal generation Unit
  • 19 blower drive signal generation unit 20 blower drive signal generation unit, 30, 30A, 30B sensation device (wristband), 34 vibrator (sensation module), 35 blower (sensation module), 36 air bag, 37 LED (sensation) Module), 51 output unit of audio equipment, 53 audio output device, 70 delay circuit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

体感制御装置（１０）において、入力部（１２）には少なくとも音響信号が入力される。マイクロコンピュータ（判定部）（１１）は、体感モジュールを制御するための体感制御データが、音響信号とともに入力部（１２）に入力されているか否かを判定する。駆動信号生成部（１７）は、音響信号とともに体感制御データが入力部（１２）に入力されているか否かに応じて、体感制御データまたは音響信号に基づいて体感機器（３０）に設けられた体感モジュールを駆動するための駆動信号を生成する。遅延回路（７０）は、音響信号を遅延させるものであり、その遅延時間が可変である。音響信号出力部（１３）は、遅延後の音響信号を出力する。

Description

体感制御装置
　この開示は、音響に合わせて振動、光などを出力する体感機器を制御する体感制御装置に関する。本出願は、２０１５年１０月９日に出願した日本特許出願である特願２０１５－２００７６２号に基づく優先権を主張し、当該日本特許出願に記載された全ての記載内容を援用するものである。
　従来の体感機器としては、主として音楽の低音成分を機械振動（「体感音響」と称する）に変換することによって音楽の聴取者に体感させるものや、ホームシアターシステムなどで臨場感を演出するために衝撃感および振動感を映画の視聴者に体感させるものなどが知られている。
　近年では、光と連動させることによってライブコンサートなどでの演出に利用するものや、４Ｄ映画と称して、アミューズメントパークまたは映画館などで３Ｄ映像および音響に加えて、座席の前後、左右、上下への移動、振動、風、霧、香り、ストロボ、煙など五感を刺激する特殊効果を観客に与えるものなどが実現されている。
　特開２００６－２８７４８３号公報（特許文献１）は、上記のホームシアターシステムなどで臨場感を演出するための体感音響用の信号処理回路に関する。具体的に、この文献の信号処理回路は、５．１チャンネル・サラウンドシステムの左信号、右信号、左サラウンド信号、右サラウンド信号、および低周波音効果信号を混合し、混合した信号を信号処理することによって体感音響用信号を生成する。ここで、信号処理回路は、低周波音効果信号が大きいときにのみ体感音響用信号を出力するように構成される。
特開２００６－２８７４８３号公報
　上記の特許文献１において、音響信号に合致するように体感音響用信号を生成したとしても、体感機器の立上がりには遅延があるために音響と体感とにずれが生じる場合があり得る。さらに、個人の感覚の相違によって音響と体感にずれが感じられる場合もあり得る。特許文献１では、このような問題に関して何ら考慮されていない。
　この開示は、上記の問題点を考慮してなされたものであって、その目的は、音響と体感のずれを減少させて使用者に心地良い体感を与えることが可能な体感制御装置を提供することである。
　一態様による体感制御装置は、使用者に特有の体感を与える体感モジュールを制御するためのものであって、少なくとも音響信号が入力される入力部と、判定部と、駆動信号生成部と、遅延回路と、音響信号出力部とを備える。判定部は、体感モジュールを制御するための体感制御データが、音響信号とともに入力部に入力されているか否かを判定する。駆動信号生成部は、音響信号とともに体感制御データが入力部に入力されている場合に、体感制御データに基づいて体感モジュールを駆動するための駆動信号を生成し、音響信号とともに体感制御データが入力部に入力されていない場合に、音響信号に基づいて体感モジュールを駆動するための駆動信号を生成する。遅延回路は、音響信号を遅延させるものであり、その遅延時間が可変である。音響信号出力部は、遅延後の音響信号を出力する。
　上記の一態様によれば、音響と体感のずれを減少させて使用者に心地良い体感を与えることが可能な体感制御装置を提供することができる。
第１の実施形態に従う体感システムの一例を模式的に示す外観図である。 図１の接続ボックスの機能的構成を示すブロック図である。 図１の体感機器の機能的構成を示すブロック図である。 図２の接続ボックスにおいて音響信号入力部および音響信号出力の詳細な構成の一例を示すブロック図である。 図２の接続ボックスを利用した音響および体感のタイミング調整について説明するための図である。 図２の接続ボックスの動作を示すフローチャートである。 図６のステップＳ１４０Ａ，Ｓ１４０Ｂの手順をさらに詳しく示すフローチャートである。 音響信号の波形と各体感モジュールの動作タイミングとを示す図である。 第３の実施形態による体感制御装置において、入力信号に体感制御データが含まれているか否かを判別する手順を示すフローチャートである。
　以下、実施形態について図面を参照して詳しく説明する。なお、同一または相当する部分には同一の参照符号を付して、その説明を繰り返さない場合がある。
　＜第１の実施形態＞
　［体感システムの一例］
　図１は、第１の実施形態に従う体感システムの一例を模式的に示す外観図である。図１では、飛行機または長距離バスなどの座席で体感機器３０Ａ，３０Ｂ（リストバンド）を使用する場合において、体感機器３０Ａ，３０Ｂを制御する体感制御装置（接続ボックス１０）の使用例が示されている。
　図１（Ａ）を参照して、飛行機などの座席５０のアームレストには、通常イヤホンまたはヘッドフォンを接続するための３．５ｍｍφのステレオ・ミニジャック５２が設けられている。このジャック５２からは、ＣＤプレーヤ、ＤＶＤプレーヤ、ブルーレイ（登録商標）プレーヤなどの音響機器および／または映像機器からの音響信号、もしくはラジオ放送またはテレビ放送の音響信号が出力されている。
　本実施の形態では、このジャック５２から、アナログ音響信号だけでなく音響信号に合致するように作成された体感制御データも一緒に出力される場合にも使用可能な体感制御装置が提供される。これによって、作曲家などが、音響（または音響および映像）だけでなく体感効果を含めた楽曲を創作した場合にも適用可能な体感システムを提供することができる。
　上記の場合において、体感制御データは、音響信号に影響を及ぼさないように、非可聴領域（人が聴取可能な上限の周波数である約２０ｋＨｚよりも高い領域）のうちで予め定められた特定周波数領域に変調されて、変調後の体感制御データが音響信号に重畳される。以下、音響信号と、その音響信号に組込まれた変調後の体感制御データとを重畳信号と総称する。
　図１（Ａ）に示すように、受信した重畳信号から体感制御データを取り出すために、ジャック５２には、体感制御装置としての接続ボックス１０が接続される。接続ボックス１０は、フィルタを用いて重畳信号の特定周波数領域の信号を取り出し、取り出した信号を復調することによって体感制御データを再生する。接続ボックス１０は、体感制御データに基づいて、体感機器に設けられた対応する体感モジュールを駆動するための駆動信号を生成する。生成された駆動信号は、ＢＬＵＥＴＯＯＴＨ（登録商標）などの無線通信方式を利用して、接続ボックス１０から体感機器３０に設けられた各体感モジュールに送信される（体感モジュールの一例については図１（Ｂ）で説明する）。
　さらに、接続ボックス１０は、体感制御データを含まない音響信号のみを受信した場合にも対応可能なように構成されている。この場合、接続ボックス１０は、複数のフィルタによって取り出した音響信号の各周波数成分の強度に基づいて各体感モジュールを駆動するための複数の駆動信号を生成し、生成した各駆動信号を、無線通信方式を利用して体感機器に送信する。
　上記のいずれの場合（重畳信号の受信時と音響信号のみの受信時）においても、音響信号は、接続ボックス１０に設けられたステレオ・ミニジャック（不図示）などを介してイヤホンまたはヘッドフォンに出力される。なお、上記では、各体感モジュールの駆動信号は、無線通信によって体感機器に送信されるとしたが、有線通信によって体感機器に送信しても構わない。
　図１（Ｂ）には、体感機器の一例が示されている。図１（Ｂ）の場合、体感機器は、使用者の両手首に装着するリストバンド３０Ａ，３０Ｂの形態を有している。リストバンドの内部には、図１（Ａ）の接続ボックス１０と通信を行うための通信装置と、体感モジュールとして、バイブレータと、空気袋およびその空気袋を膨らませるためのブロワとが取り付けられている。バイブレータによって使用者に振動感を与えることができ、ブロワによって空気袋を膨らませることによって使用者の手首に圧力を与えることができる。さらに、リストバンド３０Ａ，３０Ｂには、音響信号に合わせて光を出力するためのＬＥＤ（Light　Emitted　Diode）３７が体感モジュールとして取り付けられている。
　これらの体感モジュール（すなわち、バイブレータ、ブロワ、およびＬＥＤ）の出力のオンオフは、体感制御装置としての接続ボックス１０から受信した各体感モジュールの駆動信号に従って制御される。体感モジュールの出力の強弱を、音響出力の音圧レベルに応じて変化させてもよい。たとえば、音響出力の音圧レベルが大きいほど、体感モジュールの出力強度が大きくなる。
　なお、上記の接続ボックス１０によって制御される体感機器は上記のリストバンドに限定されるものではない。たとえば、リストバンドに代えて、腕、脚、足首など体の一部に巻くバンド状のもの、もしくは、背中、腰部など体の一部に押し当てるクッション状のものを用いても構わない。さらに、体感機器に取り付けられた体感モジュールも、上記のバイブレータ、ブロワ、ＬＥＤに限定されるものでない。
　［接続ボックスの機能的構成］
　図２は、図１の接続ボックスの機能的構成を示すブロック図である。図２を参照して、体感制御装置としての接続ボックス１０は、ＣＰＵ（Central　Processing　Unit）およびメモリを含むマイクロコンピュータ１１と、音響信号入力部１２と、デジタルフィルタ１６と、体感モジュールの駆動信号生成部１７と、音響信号出力部１３と、通信部１４と、アンテナ２１と、電源部１５（電池）とを含む。
　マイクロコンピュータ１１は、接続ボックス１０の各構成要素を制御する。さらに、マイクロコンピュータ１１は、音響機器の出力部５１からの入力信号に体感モジュールを制御するための体感制御データが含まれているかを判定する判定部として機能する。
　音響信号入力部１２は、音響機器の出力部５１からアナログ音響信号の入力を受ける。図１の場合には、出力部５１の出力端子であるステレオ・ミニジャック５２から、音響信号入力部１２の入力端子であるステレオミニプラグにアナログ音響信号が入力される。前述のように、非可聴領域内の特定周波数領域に変調された体感制御データが音響信号に組込まれて入力される場合もある。音響信号入力部１２は、入力された音響信号または重畳信号を、デジタル信号にＡ／Ｄ（Analog　to　Digital）変換する。デジタル変換された音響信号または重畳信号はマイクロコンピュータ１１に入力される。
　デジタルフィルタ１６は、マイクロコンピュータ１１の指令に従って、音響信号または重畳信号から所望の周波数帯域を取り出す。デジタルフィルタ１６は、たとえば、バンドパスフィルタ、ローパスフィルタ、ハイパスフィルタ、およびそれらの組合わせによって構成される。たとえば、音響信号入力部１２に重畳信号が入力された場合には、バンドパスフィルタまたはハイパスフィルタによって、非可聴領域内の特定周波数領域に変調された体感制御データが取り出される。音響信号入力部１２に重畳信号でなく音響信号のみが入力された場合には、音響信号に基づいて各体感モジュールの駆動信号を生成するために、たとえば、音響信号の低音域、中音域、高音域がそれぞれローパスフィルタ、バンドパスフィルタ、ハイパスフィルタによって取り出される。
　駆動信号生成部１７は、音響信号入力部１２に重畳信号（すわなち、音響信号と変調された体感制御データ）が入力された場合には、デジタルフィルタ１６によって取り出された非可聴領域内の特定周波数領域の信号を復調することによって体感制御データを再生する。駆動信号生成部１７は、体感制御データに基づいて各体感モジュールを駆動するための駆動信号を生成する。具体的に図２の場合には、駆動信号生成部１７は、バイブレータ用の駆動信号を生成するバイブレータ駆動信号生成部１８と、ブロワ用の駆動信号を生成するブロワ駆動信号生成部１９と、ＬＥＤ用の駆動信号を生成するＬＥＤ駆動信号生成部２０とを含む。各体感モジュールの出力のオンオフ（さらに強弱）は、対応の駆動信号に従って制御される。
　一方、駆動信号生成部１７は、音響信号入力部１２に重畳信号でなく音響信号のみが入力された場合には、デジタルフィルタ１６によって取り出された音響信号の複数の信号成分に基づいて、各体感モジュールの駆動信号を生成する。この場合、たとえば、特許文献１に類似の方法などを用いることができる。
　上記のデジタルフィルタ１６および駆動信号生成部１７は、専用のデジタル回路、たとえば、プログラム可能なＦＰＧＡ（Field　Programmable　Gate　Array）によって構成される。マイクロコンピュータ１１が十分に高速の場合は、デジタルフィルタ１６および駆動信号生成部１７の機能もマイクロコンピュータ１１によって実現してもよい。
　音響信号出力部１３は、音響信号入力部１２によってＡ／Ｄ変換された音響信号をＤ／Ａ（Digital　to　Analog）変換し、Ｄ／Ａ変換後のアナログの音響信号を音響出力装置５３に出力する。音響出力装置５３は、たとえば、イヤホン、ヘッドフォン、スピーカなどである。図４で説明するように、音響信号出力部１３は、出力する音響信号を遅延させるために遅延時間を調整可能な遅延回路をさらに含む。
　通信部１４は、駆動信号生成部１７によって生成された各体感モジュールの駆動信号を、ＢＬＵＥＴＯＯＴＨ（登録商標）などの無線通信方式に従って変調することによって送信信号を生成する。生成された送信信号は、アンテナ２１を介して体感機器３０に設けられた通信部（図３の３２）に送信される。
　電源部１５は、電池によって接続ボックス１０を構成する上記の各要素の動作に必要な電力を供給する。
　［体感機器の機能的構成］
　図３は、図１の体感機器の機能的構成を示すブロック図である。図３を参照して、体感機器３０は、ＣＰＵおよびメモリを含むマイクロコンピュータ３１と、通信部３２と、アンテナ３８と、バイブレータ３４と、ブロワ３５と、空気袋３６と、ＬＥＤ３７と、電源部３３（電池）とを含む。
　マイクロコンピュータ３１は、体感機器３０の各構成要素を制御する。通信部３２は、接続ボックス１０からの送信信号を、アンテナ３８を介して受信し、受信した送信信号を復調することによって各体感モジュールの駆動信号を再生する。
　各体感モジュールは、再生された対応の駆動信号に従って動作する。具体的に、バイブレータ３４は、バイブレータ３４用の駆動信号に従ってオンオフことによって使用者に振動感を与える。ブロワ３５は、ブロワ３５用の駆動信号に従って空気袋を膨らませることによって、使用者の手首に圧力を加える。ＬＥＤ３７は、ＬＥＤ３７用の駆動信号に従ってオンオフすることによって使用者を光によって刺激する。これらによって、使用者は、音響に合致した特有の臨場感を体感することができる。
　電源部３３は、電池によって体感機器３０を構成する上記の各要素の動作に必要な電力を供給する。
　［音響信号入力部および音響信号出力部の詳細な構成］
　図４は、図２の接続ボックスにおいて音響信号入力部および音響信号出力の詳細な構成の一例を示すブロック図である。図４を参照して、音響信号入力部１２および音響信号出力部１３は、図２の接続ボックス１０に内蔵されている。
　音響信号入力部１２は、振幅調整部６０と、Ａ／Ｄ変換部６１とを含む。振幅調整部６０は、たとえば、増幅器および／または減衰器であって、入力信号（音響信号または重畳信号）に所定のゲインを乗算することによって入力信号の振幅を調整する。Ａ／Ｄ変換部６１は、入力信号をデジタル信号に変換する。
　音響信号出力部１３は、遅延回路７０と、Ｄ／Ａ変換部７１と、振幅調整部７２とを含む。遅延回路７０は、音響出力装置５３に出力する出力信号（音響信号または重畳信号）を設定量だけ遅延させる。遅延回路７０として、たとえば、ＦＩＦＯ（先入れ先出し：First　In,　First　Out）方式のデータバッファを用いることができる。この場合、バッファ容量が可変であり、遅延量に応じた値に設定される。データバッファが満杯になった時点で最初に格納された音響データがデータバッファから取り出されて出力される。データバッファのバッファ容量は、たとえば、マイクロコンピュータ１１からプログラムによって設定するようにしてもよいし、専用のレジスタから設定するようにしてもよいし、接続ボックス１０に設けられた調整つまみによって設定するようにしてもよい。このような遅延回路７０が必要な理由については、図５を参照して後述する。
　Ｄ／Ａ変換部７１は、出力信号をアナログ信号に変換する。振幅調整部７２は、たとえば、増幅器および／または減衰器であって、音響出力装置５３に出力する出力信号（音響信号または重畳信号）に所定のゲインを乗算することによって出力信号の振幅を調整する。
　［遅延処理の必要性について］
　上述した接続ボックス（体感制御装置）１０を用いて種々の体感モジュールの動作を制御する場合、利用する体感モジュールの立上がり特性によっては、音響と体感とにずれが生じる場合がある。さらに、音響と体感とのタイミングの違いがどのような場合に最も心地良さを感じるかは、個人によって異なると考えられる。このような体感モジュールの立上がりの遅れならびに使用者の感覚のずれを補正するために、図４の遅延回路７０によって音響信号を遅延させる。
　図５は、図２の接続ボックスを利用した音響および体感のタイミング調整について説明するための図である。図５を参照して、既に説明したように音響信号の非可聴領域に体感制御データが組み込まれている場合には、この体感制御データがデジタルフィルタ１６を用いて取り出され、取り出された体感制御データに従って各体感モジュール３４～３７用の駆動信号が生成される。音響信号に体感制御データが組み込まれていない場合には、音響信号に基づいて（たとえば、複数の周波数領域の信号をサンプリングしてこれらを合成することによって）各体感モジュール３４～３７を駆動するための駆動信号が生成される。
　駆動信号生成部１７は、駆動信号を生成する際に、各体感モジュールの立上がり特性の相違に応じて各駆動信号の立上がり（活性化）のタイミングを異ならせる。この場合、立ち上がりに時間がかかる体感モジュールほど、その体感モジュールに供給する駆動信号が活性化するタイミングを早くする。これによって、体感モジュールの立上がり特性によって体感にずれが生じないようにする。
　上記の駆動信号の生成と並行して、入力された原音の音響信号を遅延回路７０によって遅延させる。遅延回路７０の遅延量は、体感モジュールの立上がり時間に応じて（通常、最も立上がりが遅い体感モジュールに合わせて）設定される。これによって、音響と体感とのずれを無くすことができる。遅延回路７０の遅延量は、使用者の感覚に応じてさらに調整してもよい。遅延処理後の音響信号は、イヤホン、スピーカなどの音響出力装置５３に出力される。
　［接続ボックスの動作］
　図６は、図２の接続ボックスの動作を示すフローチャートである。図７は、図６のステップＳ１４０Ａ，Ｓ１４０Ｂの手順をさらに詳しく示すフローチャートである。以下、図２～図７を参照して、これまでの説明を総括して、体感制御装置としての接続ボックス１０の動作を説明する。
　接続ボックス１０に内蔵されたマイクロコンピュータ１１は、音響信号入力部１２が音響機器の出力部５１に接続されているか否か（すなわち、音響信号入力部１２の入力端子であるプラグが出力部５１の出力端子であるジャック５２に挿入されているか否か）を検出する。接続ボックス１０は、音響信号入力部１２と音響機器の出力部５１との接続が検出されるまでの間（ステップＳ１０５でＮＯ）、待機状態にある（ステップＳ１００）。
　なお、プラグがジャックに挿入されているか否かを判定する方法として種々の方法が考えられる。たとえば、プラグの各端子間のインピーダンスの変化を検出することによってジャックへの挿入を検出することができる。
　マイクロコンピュータ１１は、音響信号入力部１２と音響機器の出力部５１とが接続されたことを検出した場合には（ステップＳ１０５でＹＥＳ）、音響信号入力部１２に内蔵されたＡ／Ｄ変換器によって、音響機器の出力部５１からの入力信号（音響信号または重畳信号）をＡ／Ｄ変換する。続いて、マイクロコンピュータ１１は、デジタルフィルタ１６によって非可聴領域内の特定周波数領域の信号を取り出し、この特定周波数領域の信号を基づいて入力信号に体感制御データが含まれているか否かを判定する（ステップＳ１１０）。
　上記のステップＳ１１０の判定結果として、入力信号に体感制御データが含まれている場合には（すなわち、入力信号が重畳信号の場合）には（ステップＳ１１５でＹＥＳ）、ステップＳ１２０ＡからステップＳ１４０Ａまでの一連のステップが繰り返し実行される。具体的には以下のとおりである。
　まず、音響信号入力部１２に重畳信号が入力される（ステップＳ１２０Ａ）。デジタルフィルタ１６は、入力された重畳信号のうち特定周波数領域をフィルタリングする。駆動信号生成部１７は、フィルタリング後の信号を復調することによって、体感制御データを取り出す（ステップＳ１２５Ａ）。
　次に、駆動信号生成部１７は、取り出した体感制御データに従って、各体感モジュールを駆動するための駆動信号（バイブレータ駆動信号、ブロワ駆動信号、ＬＥＤ駆動信号）を生成する（ステップＳ１３０Ａ）。各駆動信号が活性化するタイミングは、各体感モジュールの立上がり時間の相違に応じて異なるように設定される。
　生成された各駆動信号は、通信部１４によって体感機器３０の対応する体感モジュールに出力される（ステップＳ１３５Ａ）。対応する駆動信号に従って各体感モジュールが動作することによって、使用者に特別な臨場感を体感させることができる。
　上記のステップＳ１２０Ａ～Ｓ１３５Ａと並行して、音響信号出力部１３は、Ａ／Ｄ変換後のデジタルの重畳信号（または音響信号）に遅延処理を施し、遅延処理後の重畳信号（または音響信号）をＤ／Ａ変換することによってアナログ信号に戻す。そして、音響信号出力部１３は、このアナログ変換された重畳信号（または音響信号）を音響出力装置５３に出力する（ステップＳ１４０Ａ）。
　図６のステップＳ１４０Ａの詳細は、図７のフローチャートに示されている。図７では、遅延回路７０として、ＦＩＦＯ方式の容量可変のデータバッファを用いた例が示されている。データバッファのバッファ容量は遅延回路７０の遅延量に比例して設定される。
　図７を参照して、遅延処理が必要な場合には（ステップＳ３００でＹＥＳ）、まず、Ａ／Ｄ変換後の音響信号（音響データと称する）がデータバッファに格納される（ステップＳ３１０）。データバッファへの音響データの格納は、データバッファが満杯になるまで続けられる。そして、データバッファが満杯になったとき、最初に格納された音響データがデータバッファから取り出される（ステップＳ３２０）。データバッファから取り出された音響データは、Ｄ／Ａ変換される（ステップＳ３３０）。そして、Ｄ／Ａ変換後の音響データ（音響信号と称する）が音響出力装置５３に出力される。
　一方、図６のステップＳ１１０の判定結果として、入力信号に体感制御データが含まれていない場合には（すなわち、入力信号が音響信号のみの場合）には（ステップＳ１１５でＮＯ）、ステップＳ１２０ＢからステップＳ１４０Ｂまでの一連のステップが繰り返し実行される。具体的には以下のとおりである。
　まず、音響信号入力部１２に音響信号が入力される（ステップＳ１２０Ｂ）。デジタルフィルタ１６は、入力された音響信号のうち複数の周波数帯域のデータを取り出す（ステップＳ１２５Ｂ）。
　次に、駆動信号生成部１７は、取り出された各帯域の音響信号またはそのうちの一部の音響信号に基づいて、各体感モジュールを駆動するための駆動信号（バイブレータ駆動信号、ブロワ駆動信号、ＬＥＤ駆動信号）を生成する（ステップＳ１３０Ｂ）。各駆動信号が活性化するタイミングは、各体感モジュールの立上がり時間の相違に応じて異なるように設定される。
　生成された各駆動信号は、通信部１４によって体感機器３０の対応する体感モジュールに出力される（ステップＳ１３５Ｂ）。対応する駆動信号に従って各体感モジュールが動作することによって、使用者に特別な臨場感を体感させることができる。
　上記のステップＳ１２０Ｂ～Ｓ１３５Ｂと並行して、音響信号出力部１３は、Ａ／Ｄ変換後のデジタルの音響信号に遅延処理を施し、遅延処理後の音響信号をＤ／Ａ変換することによってアナログ信号に戻す。そして、音響信号出力部１３は、このアナログ変換された音響信号を音響出力装置５３に出力する（ステップＳ１４０Ｂ）。図６のステップＳ１４０Ｂの詳細は、ステップＳ１４０Ａと同様であり、図７のフローチャートに示されている。
　［効果］
　上記のとおり、第１の実施形態の体感制御装置によれば、楽曲の楽音を示す音響信号のみが入力された場合と、音響信号とともに体感機器の制御データが入力された場合との両方において、楽曲に合った臨場感を使用者に体感させることができる。さらに、使用者に臨場感を体感させる際に、各体感モジュールの立上がり時間および使用者の感覚の相違に応じて音響信号の出力タイミングおよび各体感モジュールを活性化するタイミングが調整可能なので、音響と体感のずれを減少させて使用者に心地良い体感を与えることができる。
　＜第２の実施形態＞
　第２の実施形態は、音響信号に体感制御データが埋め込まれて提供されている場合の詳細に関するものである。具体的には、作曲家が楽曲を作曲した後、オーサリングツールを用いて自らが楽曲の楽音を示す音響信号の非可聴領域に各体感モジュールを制御する体感制御データを埋め込む場合を想定したものである。
　図８は、音響信号の波形と各体感モジュールの動作タイミングとを示す図である。図８（Ａ）のタイミング図は、オーサリングツールを用いて体感制御データを作成する際の画面表示の一例を示すものである。具体的に図８（Ａ）には、音響信号の時間変化と、音響信号に合致するように作曲者によって指定された各体感モジュール（ＬＥＤ、バイブレータ、ブロワ）の動作タイミングとが示されている。
　図８（Ｂ）は、ＣＤ、ＤＶＤ、ブルーレイディスクなどの記録媒体に書込むために、図８（Ａ）のタイミング図に基づいてオーサリングツールが出力した音響信号および体感制御データのタイミング図を示している。図８（Ｂ）に示すように、各体感モジュールの動作タイミングは図８（Ａ）に示す設計時のタイミングよりも早くなっており、そのタイミングの差は各体感モジュールの立上がり時間に依存している。
　たとえば、ＬＥＤの望ましい動作タイミング（すなわち、音響信号に合致したタイミング）は図８（Ａ）に示す時刻ｔ１および時刻ｔ９であるのに対して、記録媒体に書込まれたＬＥＤの動作タイミングは時刻ｔ１および時刻ｔ２よりも若干早くなっている。同様に、バイブレータの望ましい動作タイミングは時刻ｔ２、時刻ｔ５および時刻ｔ８であるのに対して、記録媒体に書込まれた動作タイミングはＬＥＤの場合よりもさらに早くなっている。ブロワの望ましい動作タイミングは時刻ｔ３から時刻ｔ４までと時刻ｔ６から時刻ｔ７までであるのに対して、記録媒体に書込まれた動作タイミングは、ＬＥＤおよびバイブレータの場合よりもさらに早くなっている。
　上記のように体感制御データを作成することによって、各体感モジュールを駆動するための駆動信号が活性化するタイミングは、対応する体感モジュールの立上がり時間に応じて自動的に異ならせることできる（立上がり時間が長くなるほど、活性化タイミングは早くなる）。さらに、この場合、図６のステップＳ１４０Ａにおいて音響信号を遅延させる必要はない（すなわち、図７のステップＳ３００はＮＯになる）。この結果、音響と体感のずれを最小化して使用者に心地良い体感を与えることができる。
　なお、個人の感覚のずれを補正するために音響信号の遅延時間を調整してもよい（すなわち、図７のステップＳ３００はＹＥＳになる）。したがって、体感制御データによるタイミング調整が行われる場合には、一般的には、音響信号とともに体感制御データが入力部に入力されている場合の遅延回路７０の遅延時間は、音響信号とともに体感制御データが入力部に入力されていない場合に比べて短くなる。
　ステップＳ１４０Ａにおいて音響信号（または重畳信号）を遅延させない場合には、音響信号出力部１３は、音響信号入力部１２に入力されたアナログの音響信号（または重畳信号）をそのまま音響出力装置５３に出力するようにしてもよい。重畳信号をそのまま出力したとしても、体感制御データは音響信号の非可聴領域に組込まれているので音響出力装置５３に悪影響を及ぼさない。
　＜第３の実施形態＞
　第３の実施形態では、図６のフローチャートのステップＳ１１０、すなわち、入力信号に体感制御データが含まれているか否かを判定するステップのより詳細な手順が示される。
　特に第３の実施形態においては、ＣＤまたはＤＶＤまたはブルーレイディスクなどに記録された各楽曲の最初の無音部分に、制御すべき体感モジュールの識別情報（ＩＤコード：Identification　Code）などを予め記録しておくのが望ましい。各楽曲の再生する際に最初の無音部分に記録された識別情報を検出することによって、後続する音響信号を含む重畳信号から体感制御データを遅滞なく取り出すことが可能になる。
　以下、図２および図９を主として参照して、ステップＳ１１０の詳細な手順について詳しく説明する。体感機器３０および体感制御装置１０の構成、ならびに体感制御装置の動作のうちステップＳ１１０以外の部分は第１および第２の実施形態の場合と同様であるので、説明を繰返さない。
　図９は、第３の実施形態による体感制御装置において、入力信号に体感制御データが含まれているか否かを判別する手順を示すフローチャートである。
　図６で説明したように、接続ボックス１０に内蔵されたマイクロコンピュータ１１は、音響信号入力部１２が音響機器の出力部５１に接続されていることを検出すると（図６のステップＳ１０５でＹＥＳ）、音響信号入力部１２への入力信号をＡ／Ｄ変換する。続いて、マイクロコンピュータ１１は、デジタルフィルタ１６によって、非可聴領域内で体感制御コードが割当てられた特定周波数領域をフィルタリングすることによって、この特定周波数領域に何らかの信号が含まれているか否かを判断する（図９のステップＳ２００）。マイクロコンピュータ１１は、特定周波数領域に信号が含まれていないと判断した場合には（ステップＳ２１０でＮＯ）、入力信号に体感制御データは含まれていないと判定する（ステップＳ２５０）。
　一方、特定周波数領域に何らかの信号が含まれている場合には、マイクロコンピュータ１１は、この特定周波数領域に体感モジュールの識別情報（たとえば、予め体感モジュールごとに設定されたＩＤコード（Identification　Code））が含まれているか否かを判断する（ステップＳ２２０）。この結果、マイクロコンピュータ１１は、特定周波数領域に体感モジュールの識別情報が含まれていないと判断した場合には（ステップＳ２３０でＮＯ）、入力信号に体感制御データが含まれていないと判定し（ステップＳ２５０）、特定周波数領域に体感モジュールの識別情報が含まれていると判断した場合には（ステップＳ２３０でＹＥＳ）、入力信号に体感制御データが含まれていると判定する（ステップＳ２４０）。
　上記の手順を実行するに際しては、ＣＤまたはＤＶＤまたはブルーレイディスクなどに記録された各楽曲の最初の無音部分に、体感モジュールの識別情報を記録しておくのが望ましい。そうすると、この無音部分に記録された情報に基づいて、後続する音響信号を含む重畳信号から体感制御データを遅滞なく取り出すことが可能になる。
　＜第４の実施形態＞
　第１～第３の実施形態では、音響機器の出力部５１から出力される音響信号はアナログ信号であることを前提としたが、アナログ信号に代えてデジタル信号の音響信号が入力された場合に適用可能なように接続ボックス１０を構成することも可能である。たとえば、ＨＤＭＩ（登録商標）規格のように音響信号とともに映像信号が入力信号として入力される場合にも適用可能にできる。デジタルの音響信号が入力される場合には、音響信号入力部１２におけるＡ／Ｄ変換および音響信号出力部１３におけるＤ／Ａ変換は不要である。
　上記の場合においても、第１～第３の実施形態と同様に、体感制御データは、非可聴領域内の特定周波数領域内に変調された信号として音響信号に組込まれているのが望ましい。これによって、既存の通信インターフェースの規格を変更することなく、体感制御データを音響信号に組込むことができる。
　今回開示された実施形態はすべての点で例示であって制限的なものでないと考えられるべきである。この発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　接続ボックス（体感制御装置）、１１　マイクロコンピュータ（判定部）、１２　音響信号入力部、１３　音響信号出力部、１４，３２　通信部、１６　デジタルフィルタ、１７　駆動信号生成部、１８　バイブレータ駆動信号生成部、１９　ブロワ駆動信号生成部、２０　ブロワ駆動信号生成部、３０，３０Ａ，３０Ｂ　体感機器（リストバンド）、３４　バイブレータ（体感モジュール）、３５　ブロワ（体感モジュール）、３６　空気袋、３７　ＬＥＤ（体感モジュール）、５１　音響機器の出力部、５３　音響出力装置、７０　遅延回路。

Claims (5)

  1. 　使用者に特有の体感を与える体感モジュールを制御するための体感制御装置であって、
    　少なくとも音響信号が入力される入力部と、
    　前記体感モジュールを制御するための体感制御データが、前記音響信号とともに前記入力部に入力されているか否かを判定する判定部と、
    　前記音響信号とともに前記体感制御データが前記入力部に入力されている場合に、前記体感制御データに基づいて前記体感モジュールを駆動するための駆動信号を生成し、前記音響信号とともに前記体感制御データが前記入力部に入力されていない場合に、前記音響信号に基づいて前記体感モジュールを駆動するための駆動信号を生成する駆動信号生成部と、
    　前記音響信号を遅延させる、遅延時間が可変の遅延回路と、
    　遅延後の前記音響信号を出力する音響信号出力部とを備える、体感制御装置。
  2. 　前記音響信号とともに前記体感制御データが前記入力部に入力されている場合、前記体感モジュールの立上がり時間に応じて前記駆動信号が活性化するタイミングが異なるように、前記体感制御データが予め作成されている、請求項１に記載の体感制御装置。
  3. 　前記音響信号とともに前記体感制御データが前記入力部に入力されている場合の前記遅延回路の遅延時間は、前記音響信号とともに前記体感制御データが前記入力部に入力されていない場合に比べて短い、請求項２に記載の体感制御装置。
  4. 　前記音響信号とともに前記体感制御データが前記入力部に入力されていない場合、前記駆動信号生成部は、前記体感モジュールの立上がり時間に応じて前記駆動信号が活性化するタイミングを異ならせる、請求項１～３のいずれか１項に記載の体感制御装置。
  5. 　前記体感制御データは、非可聴領域内の特定周波数領域に変調されて前記音響信号に組込まれ、
    　前記駆動信号生成部は、前記音響信号とともに前記体感制御データが前記入力部に入力されている場合に、フィルタを用いて前記特定周波数領域内の信号を取り出して復調することによって前記体感制御データを再生し、再生した前記体感制御データに従って前記駆動信号を生成する、請求項１～４のいずれか１項に記載の体感制御装置。
PCT/JP2016/079266 2015-10-09 2016-10-03 体感制御装置 WO2017061367A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017544483A JP6456513B2 (ja) 2015-10-09 2016-10-03 体感制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015200762 2015-10-09
JP2015-200762 2015-10-09

Publications (1)

Publication Number Publication Date
WO2017061367A1 true WO2017061367A1 (ja) 2017-04-13

Family

ID=58487542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079266 WO2017061367A1 (ja) 2015-10-09 2016-10-03 体感制御装置

Country Status (2)

Country Link
JP (1) JP6456513B2 (ja)
WO (1) WO2017061367A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022261824A1 (zh) * 2021-06-15 2022-12-22 深圳市大疆创新科技有限公司 控制方法、装置、体感遥控器、控制系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5669195U (ja) * 1979-10-25 1981-06-08
JPS596059Y2 (ja) * 1978-11-06 1984-02-24 ボデイソニツク株式会社 音響システム
JPH04200100A (ja) * 1990-11-29 1992-07-21 Fujitsu Ten Ltd 体感音場補正装置
JP2004081357A (ja) * 2002-08-23 2004-03-18 Toshiba Eng Co Ltd 体感型映像音響システム
JP2012033988A (ja) * 2010-07-28 2012-02-16 V-Seek Co Ltd 超重低音生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041094A (ja) * 2000-07-26 2002-02-08 Sanyo Electric Co Ltd 音楽出力装置及び振動出力装置
JP2011048023A (ja) * 2009-08-25 2011-03-10 Pioneer Electronic Corp 体感振動生成装置および体感振動生成方法
JP2013020033A (ja) * 2011-07-11 2013-01-31 Suzuki Motor Corp 車室内の音の官能評価装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS596059Y2 (ja) * 1978-11-06 1984-02-24 ボデイソニツク株式会社 音響システム
JPS5669195U (ja) * 1979-10-25 1981-06-08
JPH04200100A (ja) * 1990-11-29 1992-07-21 Fujitsu Ten Ltd 体感音場補正装置
JP2004081357A (ja) * 2002-08-23 2004-03-18 Toshiba Eng Co Ltd 体感型映像音響システム
JP2012033988A (ja) * 2010-07-28 2012-02-16 V-Seek Co Ltd 超重低音生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022261824A1 (zh) * 2021-06-15 2022-12-22 深圳市大疆创新科技有限公司 控制方法、装置、体感遥控器、控制系统和存储介质

Also Published As

Publication number Publication date
JPWO2017061367A1 (ja) 2018-06-07
JP6456513B2 (ja) 2019-01-23

Similar Documents

Publication Publication Date Title
JP4668415B2 (ja) 低周波数オーディオエンハンスメントシステム
JP2001057699A (ja) オーディオ装置
US10848901B2 (en) Sound output apparatus and method for processing sound signal based on dynamic range corresponding to volume set
JP2020522316A (ja) インテリジェント音声制御を有するゲーム周辺機器
JP2008072165A (ja) シートオーディオ用音響装置
JP4926704B2 (ja) オーディオステレオ処理方法、装置およびシステム
TWM519370U (zh) 具有可依據聽力生理狀況調整等化器設定之電子裝置及聲音播放裝置
JP4932694B2 (ja) 音声再生装置、音声再生方法、音声再生システム、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JPWO2005089018A1 (ja) 立体音響再生システムおよび立体音響再生装置
JP6456513B2 (ja) 体感制御装置
KR20150049914A (ko) 개인의 청력 특성에 최적화된 음원의 출력을 가능하게 하는 이어폰 장치
JP4736981B2 (ja) オーディオ信号処理装置およびホール
JP6607952B2 (ja) 体感制御装置、体感システムおよびプログラム
JP6043518B2 (ja) 玩具体、制御方法、プログラム、及び玩具システム
JP4358775B2 (ja) 体感音響装置用信号処理回路
JP6346245B2 (ja) 玩具システム、玩具体の制御方法、及びプログラム
JP2011239043A (ja) 体感音響装置用信号処理回路
JP2018064216A (ja) 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム
JP2012033988A (ja) 超重低音生成方法
JP2005311959A (ja) 情報再生処理システム及びそのプログラム
KR200314345Y1 (ko) 5.1채널 헤드폰 시스템
JP5170218B2 (ja) オーディオ信号処理装置
KR100703923B1 (ko) 멀티미디어기기를 위한 입체음향 최적화 장치 및 방법
JP4123996B2 (ja) 情景音素材発生装置
JPH11331982A (ja) 音響処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16853521

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017544483

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16853521

Country of ref document: EP

Kind code of ref document: A1