WO2015145893A1 - 体感導入装置、体感導入システム、及び体感導入方法 - Google Patents

体感導入装置、体感導入システム、及び体感導入方法 Download PDF

Info

Publication number
WO2015145893A1
WO2015145893A1 PCT/JP2014/083271 JP2014083271W WO2015145893A1 WO 2015145893 A1 WO2015145893 A1 WO 2015145893A1 JP 2014083271 W JP2014083271 W JP 2014083271W WO 2015145893 A1 WO2015145893 A1 WO 2015145893A1
Authority
WO
WIPO (PCT)
Prior art keywords
induction device
actuator
sensation induction
speaker
actuators
Prior art date
Application number
PCT/JP2014/083271
Other languages
English (en)
French (fr)
Inventor
佑輔 中川
顕博 小森
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP14886957.1A priority Critical patent/EP3125073B1/en
Priority to US15/126,636 priority patent/US10449446B2/en
Priority to CN201480077069.2A priority patent/CN106102848B/zh
Priority to JP2016509912A priority patent/JP6504157B2/ja
Publication of WO2015145893A1 publication Critical patent/WO2015145893A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path

Definitions

  • This disclosure relates to a sensation induction device, a sensation introduction system, and a sensation introduction method.
  • Speakers and actuators are built into various digital devices, and sound output from the speakers and pseudo tactile or force senses (hereinafter sometimes referred to as “tactile sensations”) due to vibration of the actuators are presented.
  • tactile sensations hereinafter sometimes referred to as “tactile sensations”
  • a specific example of a device that feeds back a bodily sensation to a user is a controller used in an information processing apparatus such as a game machine. For example, by driving an actuator in the controller based on the contents of the user's operation on the controller, the user is presented with a sense of presence or immersion that is actually operating an object in the game. Is possible.
  • a device that feeds back the sensation to the user may be referred to as a “sensation induction device”.
  • the present disclosure proposes a new and improved sensation induction device, sensation introduction system, and sensation introduction method that can improve the sense of reality by linking sound output and vibration output.
  • a plurality of actuators and a plurality of speakers are provided, and a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other are provided.
  • a sensation induction device is provided in which the output from the actuator and the output from the speaker are controlled to be interlocked for each pair of the actuator and the speaker that are associated with each other.
  • a plurality of actuators and a plurality of speakers are provided, and a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other are provided.
  • a sensation induction system including a control unit that controls the output from the speaker and the output from the speaker to be interlocked with each other.
  • a plurality of actuators and a plurality of speakers are provided, and a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other are provided.
  • a control device is provided that includes a processing unit and an output unit that outputs the generated control signal to the sensation induction device.
  • a plurality of actuators and a plurality of speakers are provided, and a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other are provided.
  • a method for introducing the sensation which includes controlling the output so as to be interlocked with each other.
  • a sensation induction device As described above, according to the present disclosure, a sensation induction device, a sensation introduction system, and a sensation introduction method that can improve the sense of reality by linking sound output and vibration output are provided.
  • FIG. 3 is an explanatory diagram for explaining an example of an actuator according to the first embodiment. It is explanatory drawing for demonstrating the schematic structure of the sensation induction apparatus which concerns on Example 2. FIG. It is explanatory drawing for demonstrating the outline
  • FIG. 1 It is explanatory drawing for demonstrating an example of the schematic structure of the sensation induction apparatus which concerns on Example 3.
  • FIG. It is explanatory drawing for demonstrating an example of the schematic structure of the sensation induction apparatus which concerns on Example 4.
  • FIG. It is explanatory drawing for demonstrating an example of the schematic structure of the sensation induction apparatus which concerns on Example 4.
  • FIG. It is explanatory drawing for demonstrating the outline
  • FIG. It is explanatory drawing for demonstrating an example of the schematic structure of the sensation induction apparatus which concerns on Example 5.
  • Embodiment 1.1 Schematic configuration 1.2. Control of output from speaker and actuator 1.3. Hardware configuration 1.4. Functional configuration 1.5. Processing Example 2.1.
  • Example 1 Example 1 of actuator and speaker configuration 2.2.
  • Example 2 Example 2 of actuator and speaker configuration 2.3.
  • Example 3 Application example to portable terminal 2.4.
  • Example 4 Example of sensation induction device 2.5.
  • Example 5 Application example to a controller Summary
  • FIG. 1 is an explanatory diagram for describing an example of a schematic system configuration of a sensation induction system according to an embodiment of the present disclosure.
  • the sensation induction system includes, for example, a sensation induction device 10, a control device 20, and a display device 90.
  • control device 20 is configured as a device (for example, a game device) for playing a video game or a video work
  • the sensation induction device 10 is a control device (hereinafter referred to as a control device) for operating the device.
  • control device a control device for operating the device.
  • controller Sometimes referred to as “controller”.
  • the sensation induction device 10 includes an input device such as a button for a user to operate a game machine (for example, an input operation for a running game).
  • the sensation induction device 10 may include sensors for detecting a change in the movement and orientation of the sensation induction device 10 such as an acceleration sensor and a gyro sensor (angular velocity sensor).
  • an acceleration sensor and a gyro sensor (angular velocity sensor).
  • the user can perform an operation on the control device 20 (for example, a game device) by moving the casing itself of the sensation induction device 10.
  • the method and structure which the user demonstrated above performs operation via the sensation induction apparatus 10 are an example to the last, and are not limited to the example shown above.
  • a touch panel or an analog stick may be provided as an input device for the sensation induction device 10.
  • a configuration in which a user's movement is sensed by an imaging device such as a camera and the sensed user's movement is recognized as an operation content may be applied.
  • the sensation induction device 10 incorporates a speaker and an actuator, and feeds back a pseudo tactile sensation to the user by the sound output from the speaker and the vibration of the actuator.
  • the control device 20 controls the operation of the object displayed on the display unit 91 of the display device 90 based on a user input from the sensation induction device 10 configured as a controller. Further, at this time, the control device 20 outputs sound from the speaker of the sensation induction device 10 based on the motion of the object, and vibrates the actuator of the sensation induction device 10 so that a tactile sensation corresponding to the operation of the object is obtained. Give feedback to the user.
  • the sensation induction system shown in FIG. 1 can provide a highly realistic operation feeling to the user.
  • the vibration of the actuator may be referred to as “vibration output”
  • the pseudo tactile sensation presented (feedback) to the user by the vibration output may be referred to as “tactile feedback”.
  • FIG. 2 is an explanatory diagram for explaining a schematic configuration of the sensation induction device 10 according to the present embodiment.
  • the sensation induction device 10 When the sensation induction device 10 is held by a user, the sensation induction device 10 is viewed from the opposite side to the user. 1 shows the configuration of the sensation induction device 10 (that is, the configuration on the back side of the sensation induction device 10).
  • the sensation induction device 10 when the user holds the sensation induction device 10 so as to face the front surface of the sensation induction device 10, that is, the surface on which an input device such as a button is provided, the left side of the drawing is viewed from the user.
  • the right side of the drawing corresponds to the left side (L) viewed from the user.
  • the case where the user holds the sensation induction device 10 so as to face the front surface of the sensation induction device 10 may be described as “when the user directly faces the sensation induction device 10”.
  • speakers 11 ⁇ / b> R and 11 ⁇ / b> L are provided on the back of the housing of the sensation induction device 10. Specifically, when the user directly faces the sensation induction device 10, the speaker 11 ⁇ / b> R is provided on the right rear surface of the housing of the sensation induction device 10, and the speaker 11 ⁇ / b> L is provided on the left rear surface of the sensation induction device 10. Is provided.
  • Speaker 11R is a speaker for outputting sound mainly toward the user's right ear.
  • the speaker 11L is a speaker for outputting sound mainly toward the user's left ear.
  • the speakers 11R and 11L may be simply referred to as “speaker 11” unless they are particularly distinguished.
  • the sensation induction device 10 includes holding units 101R and 101L for the user to hold the casing in the vicinity of both ends of the casing that are located on opposite sides.
  • the holding unit 101 ⁇ / b> R is provided on the right side of the sensation induction device 10, and the user holds the sensation induction device 10 with the right hand. It corresponds to the part to be held.
  • the holding unit 101L is provided on the left side of the housing of the sensation induction device 10 and corresponds to a portion where the user holds the housing of the sensation induction device 10 with the left hand.
  • an actuator 13R that vibrates based on a supplied control signal is incorporated.
  • an actuator 13L is built in the holding portion 101L.
  • the actuators 13R and 13L are not particularly distinguished, they may be simply referred to as “actuator 13”.
  • FIG. 3 is a diagram for explaining an example of the actuator 13.
  • FIG. 13 shows directions along the x-axis, y-axis, and z-axis that are orthogonal to each other (hereinafter, sometimes referred to as “x-direction”, “y-direction”, and “z-direction”).
  • Fig. 1 shows an example of an actuator configured to be able to vibrate. In this way, by applying an actuator that vibrates in a plurality of different directions and adjusting the amplitude and phase of the vibration for each direction of vibration, the sensation induction device 10 feeds back various tactile sensations to the user. Is possible.
  • the sensation induction device 10 includes a plurality of actuators 13 (for example, actuators 13R and 13L) as shown in FIG. Therefore, the sensation induction device 10 can present various tactile sensations to the user by adjusting the amplitude and phase of vibration of each of the plurality of actuators. As a specific example, the sensation induction device 10 can impart directionality to the sense of force presented to the user by biasing the amplitude of vibration between the actuators 13R and 13L shown in FIG.
  • the sensation induction device 10 may be controlled by providing a time difference in the vibration output of each of the plurality of actuators.
  • the sensation induction device 10 has directionality in the force sense presented to the user by shifting the timing (in other words, the phase) of outputting vibration between the actuators 13R and 13L shown in FIG. It becomes possible to make it.
  • the sensation induction device 10 may combine the control of the amplitude of each actuator (for example, the control of gain and volume) and the control of the output timing of each actuator.
  • FIG. 4 is a diagram for explaining another example of the actuator 13.
  • the actuator 13 may be configured to vibrate along a circumferential direction on a predetermined plane (in the case of the example shown in FIG. 4, the circumferential direction on the xz plane). Good.
  • the sensation induction device 10 the localization of the sound output from each speaker and the localization of the tactile feedback based on the vibration of each actuator are combined to realize a more realistic haptic presentation.
  • the sensation induction device 10 is configured to include a plurality of sets in which one or more actuators of a plurality of actuators and one or more speakers of a plurality of speakers are associated with each other. The sound output from each speaker of the sensation induction device 10 and the vibration output from each actuator are controlled so as to be interlocked for each pair of actuator and speaker associated with each other.
  • the speaker 11R located on the right side (R) of the sensation induction device 10 and the actuator 13R provided in the holding unit 101R held by the user with the right hand are associated in advance. ing. The sound output from the speaker 11R and the vibration output from the actuator 13R are controlled so as to interlock with each other.
  • the control when the control is performed so that the amplitude of the sound output from the speaker 11R is increased, the control is performed so that the amplitude of the vibration output from the actuator 13R associated with the speaker 11R is also increased.
  • control subject of the sound output from the speaker 11 and the vibration output from the actuator 13 is not particularly limited.
  • the sensation induction device 10 may perform control so that the sound output from the speaker 11 and the vibration output from the actuator 13 are interlocked.
  • the control device 20 may perform control so that the sound output from the speaker 11 and the vibration output from the actuator 13 are interlocked. The details of the control related to the linkage between the speaker 11 and the actuator 13 will be described later.
  • the control device 20 corresponds to an example of an “information processing device” that outputs a control signal for controlling the operation of the sensation induction device.
  • the speaker 11L located on the left side (L) of the sensation induction device 10 and the actuator 13L provided in the holding unit 101L held by the user with the left hand are associated in advance.
  • the sound output from the speaker 11L and the vibration output from the actuator 13L are controlled so as to be linked to each other.
  • the acoustic output from the speaker 11 of the sensation induction device 10 and the localization of tactile feedback based on the vibration output from the actuator 13 are combined. Specifically, when sound is output from the speakers 11R and 11L, the actuators 13R and 13L vibrate in the same manner as the sound output, so that a tactile sensation is fed back to the user. At this time, for example, the amplitude ratio of the tactile feedback by the actuators 13R and 13L is adjusted in accordance with the ratio of the amplitude of the acoustic output from the speakers 11R and 11L (that is, the ratio of the amplitude of the acoustic output on the left and right). By such control, in the sensation system according to the present embodiment, it is possible to dramatically improve the sense of presence of tactile feedback via the sensation induction device 10.
  • the sensation induction device 10 is an example of control for linking each speaker 11 and each actuator 13 of the sensation induction device 10 in the sensation induction system according to the present embodiment.
  • FIG. 5 is an explanatory diagram for explaining an example of control for interlocking each speaker 11 and each actuator 13 of the sensation induction device 10 according to the present embodiment.
  • the sensation induction device 10 is a controller such as a game machine. An example of an operation image when configured as shown in FIG.
  • FIG. 5 shows an operation image when the user operates the object v10 displayed on the display unit 91 of the display device 90 left and right by tilting the sensation induction device 10 left and right. Specifically, when the user tilts the sensation induction device 10 to the left, the display of the display device 90 is controlled by the control device 20 (not shown) so that the object v10 displayed on the display unit 91 moves to the left.
  • the control device 20 not shown
  • FIG. 6 is an explanatory diagram for explaining an example of control of the sound output from each speaker 11 of the sensation induction device 10 and the vibration output from each actuator 13.
  • Graphs g11R and g11L shown in the upper part of FIG. 6 show an example of the relationship between the sound output from the speakers 11R and 11L and the horizontal position of the object v10 displayed on the display unit 91 on the display unit 91.
  • the vertical axis represents the speaker output, that is, the amplitude (relative value) of the sound output from the speakers 11R and 11L.
  • the horizontal axis indicates the horizontal coordinate x of the object v10 on the display unit 91, the right side of the graph corresponds to the right side on the display unit 91, and the left side of the graph is the left side on the display unit 91. It corresponds to.
  • the graph g11R is a graph showing the relationship between the amplitude of the sound output from the speaker 11R and the horizontal coordinate x of the object v10 on the display unit 91.
  • the graph g11L is a graph showing the relationship between the amplitude of the sound output from the speaker 11L and the horizontal coordinate x of the object v10 on the display unit 91.
  • g13R and g13L shown in the lower part of FIG. 6 are examples of the relationship between the vibration output from the actuators 13R and 13L and the horizontal position of the object v10 displayed on the display unit 91 on the display unit 91.
  • the vertical axis represents the actuator output, that is, the amplitude (relative value) of the vibration output from the actuators 13R and 13L.
  • the horizontal axis is the same as that in the graph relating to the sound output from the speakers 11R and 11L shown in the upper part of FIG.
  • the graph g13R is a graph showing the relationship between the amplitude of the vibration output from the actuator 13R and the horizontal coordinate x of the object v10 on the display unit 91.
  • the graph g13L is a graph showing the relationship between the amplitude of the vibration output from the actuator 13L and the horizontal coordinate x of the object v10 on the display unit 91.
  • the amplitude of the sound output from the speaker 11L is controlled to linearly decrease.
  • the amplitude of the vibration output from the actuator 13L is controlled so as to decrease linearly in conjunction with the amplitude of the acoustic output from the speaker 11L (graph g11L), as shown in the graph g13L.
  • FIG 6 illustrates an example in which the vibration output from the actuator 13 is controlled so as to change linearly in conjunction with the sound output of the speaker 11, the sound output and the vibration output may be interlocked. For example, it is not always necessary to control each output to change linearly.
  • FIG. 7 is an explanatory diagram for explaining another example of the control of the sound output from each speaker 11 of the sensation induction device 10 and the vibration output from each actuator 13.
  • Graphs g21R and g21L shown in the upper part of FIG. 7 correspond to acoustic outputs from the speakers 11R and 11L, similarly to the graphs g11R and g11L shown in the upper part of FIG. Therefore, the vertical and horizontal axes of the graphs g21R and g21L are the same as the graphs g11R and g11L shown in the upper part of FIG. Further, the graphs g23R and g23L shown in the lower part of FIG.
  • the amplitude of the sound output from the speaker 11R increases linearly as shown by the graph g21R. Be controlled.
  • the amplitude of the vibration output from the actuator 13R increases in conjunction with the amplitude of the acoustic output from the speaker 11R (graph g21R) as shown in the graph g23R, but the amplitude of the vibration output is nonlinear. Controlled to change.
  • the amplitude of the vibration output from the actuator 13R increases when the object v10 moves toward the right side beyond a predetermined coordinate on the left side on the display unit 91. To be controlled.
  • the amplitude of the sound output from the speaker 11L is controlled to linearly decrease.
  • the amplitude of the vibration output from the actuator 13L decreases in conjunction with the amplitude of the acoustic output from the speaker 11L (graph g11L) as shown in the graph g23L, but the amplitude of the vibration output is nonlinear. Controlled to change.
  • the amplitude of the vibration output from the actuator 13L decreases when the object v10 moves toward the right side beyond a predetermined coordinate on the left side on the display unit 91. To be controlled.
  • the control described above based on FIGS. 6 and 7 is merely an example, and the outputs of the speaker 11 and the actuator 13 (for example, the speaker 11R and the actuator 13R, the speaker 11L and the actuator 13L) associated in advance are linked.
  • the control method is not particularly limited.
  • the speaker 11 of the sensation induction device 10 and the actuator 13 are associated with each other, and a plurality of sets of the speaker 11 and the actuator 13 associated with each other are provided. Then, the sensation induction system according to the present embodiment interlocks outputs (that is, sound output and vibration output) from the speaker 11 and the actuator 13 that are associated with each other. Based on such a configuration and control, the sensation induction system according to the present embodiment combines the localization of the acoustic output from the speaker 11 and the localization of the haptic feedback based on the vibration output from the actuator 13, and the presence of the haptic feedback. Can be dramatically improved.
  • FIG. 8 shows an example of the hardware configuration of the sensation induction device 10 according to this embodiment.
  • the sensation induction device 10 includes a processor 901, a memory 903, a storage 905, a speaker 907, an actuator 909, a communication device 911, an operation device 913, An acceleration sensor 915.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the sensation induction device 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes.
  • the memory 903 includes a RAM (Random Access Memory) and a ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the speaker 907 is an output device for outputting an acoustic signal.
  • the sensation induction device 10 according to the present embodiment includes a plurality of speakers 907. Note that the speaker 907 corresponds to the speakers 11R and 11L shown in FIG.
  • Actuator 909 is a device for feeding back a pseudo-tactile sensation to the user by vibrating according to an input control signal.
  • the sensation induction device 10 according to the present embodiment includes a plurality of actuators 909, and each actuator 909 is associated with one of a plurality of speakers 907.
  • the actuator 909 corresponds to the actuators 13R and 13L shown in FIG.
  • the communication device 911 is a communication unit included in the sensation induction device 10 and communicates with an external device (for example, the control device 20 illustrated in FIG. 1) via a network.
  • the communication device 911 can be configured as an interface for wireless or wired communication.
  • the communication device 911 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • the communication device 911 is a communication device capable of establishing wireless communication with one or more external devices existing in a predetermined communication area such as Bluetooth (registered trademark). Also good.
  • the communication device 911 has a function of performing various signal processing on a signal received from an external apparatus, and can supply a digital signal generated from the received analog signal to the processor 901.
  • the operation device 913 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 913 may include an input device for a user to input information, such as buttons and switches, and an input control circuit that generates an input signal based on an input by the user and supplies the input signal to the processor 901.
  • the acceleration sensor 915 is a sensor that detects acceleration as a voltage value.
  • the acceleration sensor 915 may be a three-axis acceleration sensor that detects acceleration along the X-axis direction, acceleration along the Y-axis direction, and acceleration along the Z-axis direction.
  • the acceleration sensor 915 can supply the detected acceleration data to the processor 901.
  • a gyro sensor may be provided, or both the acceleration sensor 915 and the gyro sensor may be provided.
  • the gyro sensor is a kind of measuring instrument that detects the angle and angular velocity of an object.
  • This gyro sensor may be a three-axis gyro sensor that detects, as a voltage value, a speed (angular speed) at which the rotation angle around the X axis, the Y axis, and the Z axis changes.
  • the gyro sensor can supply the detected angular velocity data to the processor 901.
  • the bus 917 connects the processor 901, the memory 903, the storage 905, the speaker 907, the actuator 909, the communication device 911, the operation device 913, and the acceleration sensor 915 to each other.
  • the bus 917 may include a plurality of types of buses.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the sensation induction system according to the present embodiment.
  • the control device 20 includes a control unit 21, a communication unit 23, and a signal data storage unit 25.
  • the control unit 21 includes a calculation unit 211, a signal processing unit 213, and a display control unit 215.
  • the communication unit 23 is a communication interface for each component in the control device 20 to communicate with the sensation induction device 10 and the display device 90 (not shown) via the network n1.
  • the network n1 is, for example, a wireless or wired transmission path for connecting different devices.
  • a specific example is a wireless communication network based on the Bluetooth (registered trademark) standard.
  • the Bluetooth registered trademark
  • the communication unit 23 may be configured to be able to communicate with an external server via a communication path such as the Internet.
  • the communication unit 23 may be a device that establishes communication via a communication path such as the Internet, for example.
  • the communication unit 23 is described as being capable of communicating with each of the sensation induction device 10, the display device 90, and an external server, but the configuration is not necessarily limited thereto.
  • a communication interface that communicates with any one of the sensation induction device 10, the display device 90, and an external server is different from a communication interface that communicates with another part. It may be provided as a device.
  • the control unit 21 acquires a series of contents such as a video game and a video work, and based on the video data, acoustic data, and tactile data included in the contents, the control unit 21 converts the video, sound, and tactile sensation into the sensation induction device 10 or Various controls for presenting to the user via the display device 90 are performed.
  • the content acquisition source is not particularly limited.
  • the control unit 21 may acquire content stored in a storage unit (not shown) in the control device 20, or may acquire content from the outside via a network such as the Internet.
  • the calculation unit 211 acquires a control signal indicating the content of the operation performed by the user on the sensation induction device 10 from the sensation induction device 10 via the network n1. Based on the acquired control signal, the calculation unit 211 identifies the content of the operation performed by the user, that is, the direction and amount of the operation, and based on the physical calculation using the identified content of the operation as an input, Calculate the movement.
  • the calculation unit 211 may specify the direction of the force acting on the object v10 based on the direction of the operation, and may specify the magnitude of the force acting on the object v10 based on the operation amount.
  • the calculation unit 211 sets the weight of the object v10 and the gravity acting on the object v10 virtually, so that the calculation unit 211 depends on the magnitude and direction of the force acting on the object v10 calculated based on the user operation.
  • it is possible to calculate the movement direction and the movement speed of the object v10 (and consequently the movement of the object v10 along the time series).
  • the calculation unit 211 is not limited to the example in which the object v10 moves based on a user operation, and may simulate the actions of various objects based on physical calculations. As a specific example, the calculation unit 211 may calculate a moving direction and a moving speed of an object by analyzing a video reproduced as content and moving an object.
  • the contents of physics calculations are not necessarily limited to the movement of objects.
  • the calculation unit 211 analyzes at least one of the shape and roughness of the surface of the object by analyzing the video of the object reproduced as the content, and calculates the shape or roughness of the calculated surface.
  • the frictional force generated between the surface and the surface may be calculated based on the above. From the frictional force calculated in this way, for example, it is possible to simulate the touch when the user touches the object as a tactile feedback.
  • the calculation unit 211 notifies the signal processing unit 213 and the display control unit 215 of the result of the physical calculation, for example, information indicating the calculated movement direction and movement speed of the object v10.
  • the display control unit 215 causes the display unit 91 of the display device 90 to display the video included in the acquired content. Thereby, for example, as illustrated in FIG. 5, the object v ⁇ b> 10 is displayed on the display unit 91 of the display device 90.
  • the display control unit 215 acquires information indicating the movement direction and movement speed of the object v10 from the calculation unit 211 as a result of the physical calculation, for example.
  • the display control unit 215 calculates the display position and display mode (for example, a change in shape) of the object v10 based on the acquired movement direction and movement speed of the object v10. Then, the display control unit 215 causes the display device 90 to update the video of the object v10 displayed on the display unit 91 based on the calculated display position and display mode of the object v10.
  • the signal processing unit 213 performs signal processing on the acoustic signals output from the speakers 11R and 11R of the sensation induction device 10 based on the result of the physical calculation by the calculation unit 211.
  • the signal processing unit 213 generates a control signal for vibrating the actuators 13R and 13L based on the result of the physical calculation.
  • the signal processing unit 213 reads out the acoustic signals output from the speakers 11R and 11L from the reproduced content, and determines the amplitude of each acoustic signal as described above based on FIG. 6 and FIG. You may control according to a motion direction and a motion speed.
  • the signal processing unit 213 reads tactile data (for example, a vibration signal indicating vibration) for reproducing a tactile sensation from the reproduced content, and generates a control signal for driving each of the actuators 13R and 13L.
  • the signal processing unit 213 drives the actuator 13R by processing or controlling the vibration signal read from the content so that the vibration output from the actuator 13R is interlocked with the acoustic output from the speaker 11R.
  • a control signal may be generated.
  • the signal processing unit 213 drives or drives the actuator 13L by processing or controlling the vibration signal read from the content so that the vibration output from the actuator 13L is interlocked with the sound output from the speaker 11L.
  • a control signal may be generated. Based on the control as described above, the signal processing unit 213 generates a control signal for driving the actuators 13R and 13L.
  • the signal processing unit 213 when the signal processing unit 213 generates a control signal for driving each of the actuators 13R and 13L, for example, the signal processing unit 213 processes the reference signal stored in the signal data storage unit 25, thereby generating the control signal. It may be generated.
  • the reference signal stored in the signal data storage unit 25 is, for example, a signal that is a generation source of a control signal that drives the actuator 13 in order to realize various tactile feedbacks.
  • a reference signal generated in advance for each type of tactile feedback to be reproduced is stored in the signal data storage unit 25.
  • the signal processing unit 213 reads the corresponding reference signal from the signal data storage unit 25 according to the tactile feedback to be reproduced (for example, the tactile feedback indicated by the tactile data included in the content), and adjusts the amplitude and phase of the read reference signal Thus, a control signal for driving the actuator 13 is generated.
  • the reference signal and the signals (for example, the acoustic signal and the vibration signal) indicated by the acoustic data and the tactile data included in the content correspond to an example of “a control signal for controlling the operation of the sensation induction device”.
  • the signal processing unit 213 reproduces the haptic feedback in a pseudo manner based on the acoustic data or the acoustic signal based on the acoustic data, and controls to drive the actuator 13 so that the haptic feedback is presented.
  • a signal may be generated.
  • the signal processing unit 213 extracts a signal (vibration signal) in a low frequency band (for example, a band of 1000 Hz or less) of the acoustic signal by applying a low-pass filter to the acoustic signal,
  • the haptic feedback may be reproduced in a pseudo manner based on the extracted low frequency band signal.
  • the signal processing unit 213 applies a high-pass filter to the acoustic signal, extracts a signal in a high frequency band (for example, a band of 300 Hz or more) of the acoustic signal, and outputs the extracted high frequency band signal as an output target. It is good also as an acoustic signal.
  • the signal processing unit 213 detects the rising edge of the signal by analyzing the extracted signal in the low frequency band, and reproduces haptic feedback in a pseudo manner based on a signal including a short pulse indicating the rising edge. Also good. By such a process, it is possible to reproduce a rapidly changing vibration such as an impact at the time of a collision.
  • the signal processing unit 213 may further perform signal processing on the extracted signal (for example, a signal in a low frequency band).
  • Specific examples of signal processing include application of various filters (low-pass filter, high-pass filter, or band-pass filter), application of processing such as pitch shift, or a plurality of combinations.
  • the signal processing unit 213 may generate a control signal for driving the actuator 13L according to the dimension of the vibration direction of the actuator 13 of the sensation induction device 10 connected to the control device 20 wirelessly or by wire. .
  • haptic data for reproducing a haptic included in content is generated assuming an actuator 13 that vibrates in the x, y, and z directions as shown in FIG.
  • the actuator 13 of the sensation induction device 10 may be configured to vibrate only in any one of the x direction, the y direction, and the z direction.
  • the signal processing unit 213 obtains information about the actuator 13 (that is, information regarding the direction in which vibration is possible) from the sensation induction device 10 in advance, and based on the information, the vibration direction of the actuator 13 is obtained.
  • the control signal may be generated in accordance with the dimensions.
  • the actuator 13 of the sensation induction device 10 is configured to vibrate only in the x direction.
  • the signal processing unit 213 generates a control signal so as to reproduce only the vibration in the x direction among the vibrations in the x direction, the y direction, and the z direction indicated by the haptic data included in the content. May be.
  • the signal processing unit 213 performs vibration of the actuator 13 of the sensation induction device 10 by vector calculation based on vibration components in the x, y, and z directions indicated by the haptic data included in the content. May be determined.
  • the amplitudes of vibration components in the x, y, and z directions indicated by the haptic data included in the content are Vx, Vy, and Vz, respectively.
  • the signal processing unit 213 may determine the amplitude V of vibration of the actuator 13 of the sensation induction device 10 based on, for example, the following formula 1.
  • the vibration amplitude of the actuator 13 when the dimension of the vibration direction indicated by the tactile data included in the content is larger than the dimension of the direction in which the actuator 13 of the sensation induction device 10 can vibrate.
  • the method for calculating is not particularly limited.
  • the signal processing unit 213 may determine the amplitude of vibration of the actuator 13 of the sensation induction device 10 based on the average of the amplitudes of the vibration components in the x, y, and z directions indicated by the tactile data. .
  • the signal processing unit 213 performs signal processing on the acoustic signals output from the speakers 11R and 11L, and generates control signals for driving the actuators 13R and 13L.
  • a control signal for driving the actuator 13R is generated so that the acoustic output from the speaker 11R and the vibration output from the actuator 13R are linked.
  • the signal processing unit 213 may control the amplitude and phase of the acoustic signal output from the speaker 11R.
  • a control signal for driving the actuator 13L is generated so that the acoustic output from the speaker 11L and the vibration output from the actuator 13L are linked.
  • the signal processing unit 213 may control the amplitude and phase of the acoustic signal output from the speaker 11L.
  • the signal processing unit 213 transmits the acoustic signals output from the speakers 11R and 11L and the control signals for driving the actuators 13R and 13L to the sensation induction device 10, respectively. Thereby, the sound output from the speakers 11R and 11L of the sensation induction device 10 and the vibration output from the actuators 13R and 13L are controlled.
  • the part that outputs the acoustic signal and the control signal to the sensation induction device 10 is an example of the “output unit”.
  • the sensation induction device 10 includes speakers 11R and 11L, actuators 13R and 13L, a control unit 14, a communication unit 12, and an input unit 19.
  • the speakers 11R and 11L and the actuators 13R and 13L correspond to the speakers 11R and 11L and the actuators 13R and 13L shown in FIG. 2, respectively.
  • the input unit 19 includes an operation unit 191 and a detection unit 193.
  • the communication unit 12 is a communication interface for each component in the sensation induction device 10 to communicate with the control device 20 via the network n1.
  • the communication unit 12 may be configured by the communication device 911 illustrated in FIG.
  • each component in the sensation induction device 10 transmits / receives data to / from the control device 20, the data is transmitted / received via the communication unit 12 even if not particularly described. Shall.
  • the operation unit 191 is an input device for a user to input information, such as buttons and switches such as buttons.
  • the operation unit 191 can be configured by, for example, the operation device 913 illustrated in FIG.
  • the operation unit 191 receives an operation from the user, the operation unit 191 notifies the control device 20 via the control unit 14 of a control signal indicating the content of the operation.
  • the detection unit 193 corresponds to sensors for detecting a change in the movement and orientation of the housing of the sensation induction device 10 such as an acceleration sensor and a gyro sensor (angular velocity sensor).
  • the detection unit 193 can be configured by, for example, the acceleration sensor 915 illustrated in FIG.
  • the detection unit 193 performs control indicating the content of the operation (that is, the movement or orientation change of the case).
  • the control unit 20 is notified of the signal via the control unit 14.
  • control unit 14 When the control unit 14 receives a control signal indicating the content of the operation from the operation unit 191 or the detection unit 193, the control unit 14 notifies the control device 20 of the control signal. Thereby, the control device 20 can recognize the content of the operation performed on the sensation induction device 10 by the user.
  • control unit 14 receives from the control device 20 an acoustic signal to be output from each of the speakers 11R and 11L and a control signal to drive the actuators 13R and 13L.
  • the control unit 14 outputs the acoustic signals received from the control device 20 from the speakers 11R and 11L, and drives the actuators 13R and 13L based on the received control signals.
  • the control unit 14 may be configured by the processor 901 illustrated in FIG.
  • the sensation induction system according to this embodiment has been described with particular attention to the sensation induction device 10 and the control device 20.
  • the sound output and vibration output are not necessarily displayed on the display unit 91 as shown in FIG. It does not have to be linked to the displayed video.
  • the configuration is not necessarily limited to the configuration illustrated in FIG.
  • signal processing for acoustic signals output from the speakers 11R and 11L and generation of control signals for driving the actuators 13R and 13L can be performed. You may run on the side.
  • control unit 21 on the control device 20 side notifies the sensation induction device 10 side of the calculation result by the calculation unit 211.
  • the signal processing unit 213 provided on the sensation induction device 10 side performs signal processing on the acoustic signals output from the speakers 11R and 11L and actuators 13R and 11L based on the notified calculation results.
  • a control signal for driving may be generated.
  • the signal processing unit 213 may be executed on the sensation induction device 10 side.
  • signal processing for acoustic signals output from the speakers 11R and 11L is executed on the control device 20 side, and generation of control signals for driving the actuators 13R and 13L is executed on the sensation induction device 10 side. You may do it.
  • the control of the amplitude of the sound output from the speakers 11R and 11L for example, the control of gain and volume
  • the control of the amplitude of the vibration output from the actuators 13R and 13L are performed on the sensation induction device 10 side. May be executed.
  • the signal processing unit 213 has an amplitude of at least one of the outputs in a frequency band where outputs from the speaker 11 and the actuator 13 associated with each other (that is, sound output and vibration output) overlap. May be controlled based on the amplitude of the other output.
  • the user may perceive the vibration output as sound in a frequency band where the sound output and the vibration output overlap. Therefore, the user compares the sound of the frequency band in which the sound output and the vibration output overlap among the sounds output from the speaker 11 by tactile feedback (vibration output) from the actuator 13 compared to the sound of other frequency bands. May feel that the output has increased.
  • FIG. 10 shows an example of waveforms of signals (that is, acoustic signals and vibration signals) output from the speaker 11 and the actuator 13 that are related to each other.
  • the vertical axis shows the amplitude (V) of the signal waveform, that is, the fluctuation of the voltage value as the amplitude
  • the horizontal axis shows time.
  • a signal waveform g31 shown in the upper part of FIG. 10 shows an example of a waveform of an acoustic signal output from the speaker 11.
  • a signal waveform g32 shown in the lower part of FIG. 10 shows an example of a waveform of a vibration signal output from the actuator 13.
  • FIG. 11 shows the distribution of frequency components of the signal waveforms g31 and g32 shown in FIG.
  • the vertical axis indicates the gain of the signal waveform
  • the horizontal axis indicates the frequency.
  • the acoustic signal indicated by the reference symbol g331 and the vibration signal indicated by the reference symbol g341 overlap in the frequency band indicated by the reference symbol g35.
  • the acoustic signal g331 and the vibration signal g341 are superimposed in the frequency band indicated by the reference sign g35, and the user outputs the sound of the frequency band g35 in comparison with the sound of other frequency bands. It feels like it has increased.
  • the signal processing unit 213 may limit the amplitude of at least one of the outputs in the frequency band where the outputs from the speaker 11 and the actuator 13 overlap (in other words, the gain or volume may be limited). Good).
  • the signal processing unit 213 may determine an output ratio between the sound output and the vibration output in advance and determine an attenuation amount for attenuating each of the sound output and the vibration output according to the output ratio. . For example, when the output ratio between the sound output and the vibration output is 1: 1, the signal processing unit 213 may attenuate the amplitude of each of the sound output and the vibration output to 1 ⁇ 2.
  • the signal processing unit 213 attenuates the amplitude of the sound output to 2/3, and the amplitude of the vibration output is 1. It is sufficient to attenuate to / 3.
  • the signal processing unit 213 performs weighting based on the ratio between the amplitude of the sound output from the speaker 11 and the amplitude of the vibration output from the actuator 13, and the sound output and the vibration output according to the weighting. May be attenuated.
  • FIG. 12 is an explanatory diagram for describing a flow of a series of operations of the sensation induction system according to the present embodiment, and an example of an operation image when the sensation induction device 10 is configured as a controller of a game machine or the like. Show.
  • FIG. 13 shows an example of a flow of a series of operations of the sensation induction system according to this embodiment.
  • the user operates the box-shaped object v20 displayed on the display unit 91 of the display device 90 by tilting the sensation induction device 10 to the left and right, and the object according to the operation.
  • the object v21 in v20 operates will be described as an example.
  • Step S101 For example, in the example shown on the left side of FIG. 12, the object v21 is located in the vicinity of the inner surface of the side surface v201 on the right side of the box-shaped object v20. From this state, it is assumed that the user performs an operation to tilt the sensation induction device 10 to the left as shown in the diagram on the right side of FIG.
  • Step S103 The detection unit 193 transmits a control signal indicating the detected operation content, that is, a type of operation (for example, a type indicating an operation of tilting the sensation induction device 10), an operation direction, and an operation amount via the control unit 14. 20 is notified.
  • a type of operation for example, a type indicating an operation of tilting the sensation induction device 10
  • an operation direction for example, a type indicating an operation of tilting the sensation induction device 10
  • an operation amount via the control unit 14. 20 is notified.
  • Step S105 The calculation unit 211 acquires a control signal indicating the content of the operation performed on the sensation induction device 10 by the user from the sensation induction device 10 via the network n1.
  • the calculation unit 211 recognizes the type of operation, the operation direction, and the operation amount based on the acquired control signal. For example, in the example illustrated in FIG. 12, the calculation unit 211 recognizes how much (for example, an angle) the sensation induction device 10 is tilted leftward.
  • the computing unit 211 calculates, for example, the direction of the force acting on the object v20 based on the type of operation and the direction of the operation, and calculates the magnitude of the force acting on the object v20 based on the operation amount. Then, the calculation unit 211 calculates the moving direction and the moving amount of the object v20 based on the calculated direction of the force acting on the object v20 and the amount of the force.
  • the calculation unit 211 calculates the movement direction and the amount of movement of the object v21 located in the object v20.
  • the object v21 moves to the left side toward the side surface v203 of the object v20 and collides with the inner surface of the side surface v203 due to the influence of gravity set virtually.
  • the calculation unit 211 notifies the signal processing unit 213 and the display control unit 215 of the result of the physical calculation, for example, information indicating the calculated movement direction and movement speed of the objects v20 and v21.
  • the signal processing unit 213 and the display control unit 215 cause the box-shaped object v20 to tilt to the left, and as the object v20 moves, the object v21 moves to the left side toward the side v203, It recognizes that it collided with the inner surface of side v203.
  • the signal processing unit 213 performs signal processing on the acoustic signals output from the speakers 11R and 11R of the sensation induction device 10 based on the result of the physical calculation by the calculation unit 211, and controls to vibrate the actuators 13R and 13L. Generate a signal.
  • the signal processing unit 213 reads an acoustic signal corresponding to the movement of the object v21 from the reproduced content, and the amplitude of the acoustic signal output from each of the speakers 11R and 11L according to the movement of the object v21. To control. As a specific example, the signal processing unit 213 attenuates the amplitude of the sound output from the speaker 11R in time series in accordance with the movement of the object v21 from the right side to the left side of the screen, and outputs the sound output from the speaker 11L. Amplify the amplitude of.
  • the signal processing unit 213 generates a control signal for driving the actuator 13R so that the acoustic output from the speaker 11R and the vibration output from the actuator 13R are interlocked. That is, the signal processing unit 213 generates a control signal for operating the actuator 13R so that the vibration output from the actuator 13R attenuates in time series in conjunction with the attenuation of the sound output from the speaker 11R. .
  • the signal processing unit 213 generates a control signal for driving the actuator 13L so that the acoustic output from the speaker 11L and the vibration output from the actuator 13L are interlocked with each other. That is, the signal processing unit 213 generates a control signal for operating the actuator 13L so that the vibration output from the actuator 13L is amplified in time series in conjunction with the amplification of the sound output from the speaker 11L. .
  • the signal processing unit 213 reads an audio signal corresponding to an operation when the object v21 collides with the inner wall of the object v20 from the reproduced content, and outputs it from each of the speakers 11R and 11L according to the collided position.
  • the amplitude of the sound signal to be controlled is controlled (in other words, the gain and volume of the sound signal are controlled).
  • the signal processing unit 213 outputs an acoustic signal corresponding to the collision from the left speaker 11L. To control.
  • the signal processing unit 213 controls the output timing of the acoustic signal so that the acoustic signal corresponding to the collision is output from the speaker 11L in synchronization with the timing at which the object v21 collides with the inner wall of the side surface v203.
  • the signal processing unit 213 generates a control signal for driving the actuator 13L so that the sound output from the speaker 11L and the vibration output from the actuator 13L are interlocked. That is, the signal processing unit 213 generates a control signal for driving the actuator 13L so that tactile feedback corresponding to the collision is presented in conjunction with the output of the acoustic signal corresponding to the collision from the speaker 11L. .
  • the signal processing unit 213 reads, from the signal data storage unit 25, a reference signal generated in advance for presenting a collision between objects.
  • the signal processing unit 213 generates a control signal for driving the actuator 13L by controlling the amplitude and phase of the read reference signal based on the result of the physical calculation by the calculation unit 211 and the amplitude of the acoustic signal. To do.
  • Step S109 The signal processing unit 213 transmits acoustic signals output from the speakers 11R and 11L and control signals for driving the actuators 13R and 13L to the sensation induction device 10, respectively.
  • Step S111 The acoustic signal output from each of the speakers 11R and 11L and the control signal for driving the actuators 13R and 13L transmitted from the signal processing unit 213 are received by the control unit 14 of the sensation induction device 10.
  • the control unit 14 outputs the acoustic signals received from the control device 20 from the speakers 11R and 11L, and drives the actuators 13R and 13L based on the received control signals.
  • Step S113 the display control unit 215 recognizes the movement direction and movement speed of the objects v20 and v21 based on the result of the physical calculation by the calculation unit 211, and displays the display position and display mode (for example, the direction and shape of the objects v20 and v21). Change). Then, the display control unit 215 causes the display device 90 to update the images of the objects v20 and v21 displayed on the display unit 91 based on the calculated display positions and display modes of the objects v20 and v21.
  • the operations of the objects v20 and v21 displayed on the display unit 91 of the display device 90 are controlled by the control device 20. Further, based on the control from the control device 20, the operations of the objects v20 and v21 displayed on the display unit 91, the sound output from the speakers 11R and 11L of the sensation induction device 10, and the vibration output from the actuators 13R and 13L Are linked.
  • the sensation induction device system according to the present embodiment is provided between the image displayed on the display unit 91, the sound output from the speakers 11R and 11L, and the tactile feedback based on the vibration of the actuators 13R and 13L. To match each localization. Therefore, the sensation induction system according to the present embodiment can realize presentation of tactile feedback with higher presence.
  • FIG. 14 is an explanatory diagram for explaining an example in the case where control is performed so that the localization of video, sound output, tactile feedback, and user operation is matched.
  • FIG. 14 shows a case where the user operates the operation device 191R provided on the right side of the housing of the sensation induction device 10 configured as a controller.
  • the control device 20 (not shown) displays the object v30 on the right side of the display unit 91 of the display device 90 based on the user's operation on the operation device 191R.
  • the control device 20 outputs sound from the speaker 11R provided on the right side of the sensation induction device 10 and vibrates the actuator 13R provided on the right side of the sensation induction device 10 in conjunction with the sound output. To feed back the sense of touch to the right hand of the user.
  • the user operation, video, sound output, and tactile feedback localization are combined to realize the presentation of haptic feedback with a higher sense of realism. It becomes possible to further improve the clearance.
  • a tactile feedback based on the sound output from the speakers 11R and 11L and the vibration of the actuators 13R and 13L depending on the operation target. And may be controlled.
  • the control device 20 (not shown) displays a UI (screen) including an object for performing a predetermined operation such as a button or a control bar on the display unit 91, and displays the contents of the user operation.
  • a UI screen
  • an object in the UI to be operated is specified.
  • the control device 20 outputs sound from one of the speakers 11R and 11L, and in conjunction with the sound output, either of the actuators 13R and 13L. Feedback of tactile sense based on vibration.
  • the control device 20 controls the acoustic output from the speakers 11R and 11L and the haptic feedback based on the vibration of the actuators 13R and 13L so that the user's operation direction is localized with the acoustic output and the haptic feedback. May be.
  • the control unit 20 outputs sound from the speaker 11R of the sensation induction device 10 when, for example, a user performs an operation toward the right direction of the screen and a predetermined object becomes an operation target. Then, vibration may be fed back by driving the actuator 13R.
  • control device 20 is based on the sound output from the speakers 11R and 11L and the vibrations of the actuators 13R and 13L so that the position of the object to be operated on the screen matches the localization of the sound output and the tactile feedback. Tactile feedback may be controlled. Specifically, for example, when an object located on the right side of the screen is an operation target as a result of a user operation, the control unit 20 outputs sound from the speaker 11R of the sensation induction device 10 and turns on the actuator 13R. Vibration may be fed back by driving.
  • the sensation induction device 10 includes a plurality of actuators and a plurality of speakers.
  • the sensation induction device 10 is configured to include a plurality of sets in which one or more actuators of a plurality of actuators and one or more speakers of a plurality of speakers are associated with each other.
  • the sound output from each speaker of the sensation induction device 10 and the vibration output from each actuator are controlled so as to be interlocked for each pair of actuator and speaker associated with each other.
  • the sensation induction device system according to the present embodiment matches the localization of the sound output from each speaker with the localization of the haptic feedback based on the vibration of each actuator, and presents haptic feedback with high presence. Is realized.
  • the number of speakers and actuators associated with each other and the positions to be installed are There is no particular limitation.
  • the number of speakers and actuators associated with each other and the positions to be installed may be changed as appropriate according to the shape of the housing of the sensation induction device 10, the usage, and the like. Therefore, hereinafter, each example will be described by focusing on the configuration of the sensation induction device 10 according to the present embodiment.
  • FIG. 15 is an explanatory diagram for explaining an example of a schematic configuration of the sensation induction device 10 according to the first embodiment.
  • FIG. 15 shows the configuration of the sensation induction device 10 when viewed from the opposite side to the user when the sensation induction device 10 is held by the user (ie, the sensation induction device 10. The configuration on the back side) is shown.
  • the sensation induction device 10 configured as a controller includes a pair of one speaker 11 and one actuator 13 associated with each other. The case where each is provided is described. On the other hand, in the sensation induction device 10 according to the present embodiment, a plurality of actuators 13 are associated with one speaker 11.
  • speakers 11 ⁇ / b> R and 11 ⁇ / b> L are provided on the back surface of the housing of the sensation induction device 10 according to the present embodiment.
  • the speaker 11 ⁇ / b> R is provided on the right rear surface of the housing of the sensation induction device 10
  • the speaker 11 ⁇ / b> L is provided on the left rear surface of the sensation induction device 10. Is provided.
  • the speakers 11R and 11L shown in FIG. 15 correspond to the speakers 11R and 11L in FIG.
  • the sensation induction device 10 includes a holding unit 101 ⁇ / b> R for a user to hold the casing in the vicinity of both end portions of the casing positioned on opposite sides of each other. 101L is provided.
  • the sensation induction device 10 includes actuators 131R, 133R, 131L, and 133L.
  • Actuators 131R and 133R are provided on the right side of the casing of the sensation induction device 10 when the user directly faces the sensation induction device 10.
  • the actuator 131R is provided in the holding portion 101R.
  • the actuator 133R is provided on the right side of the housing of the sensation induction device 10 at a position different from the actuator 131R, for example, in the vicinity of the speaker 11R.
  • the actuators 131L and 133L are provided on the left side of the housing of the sensation induction device 10 when the user directly faces the sensation induction device 10.
  • the actuator 131L is provided in the holding unit 101L.
  • the actuator 133L is provided on the left side of the housing of the sensation induction device 10 at a position different from the actuator 131L, for example, in the vicinity of the speaker 11L.
  • the sound output from the speaker 11R of the sensation induction device 10 and the vibration output from each of the actuators 131R and 133R are controlled to be interlocked.
  • the sound output from the speaker 11L of the sensation induction device 10 and the vibration output from each of the actuators 131L and 133L are controlled to be interlocked.
  • the actuators 131R and 131L are not particularly distinguished, they may be simply referred to as “actuators 131”.
  • the actuators 133R and 133L are not particularly distinguished, they may be simply referred to as “actuators 133”.
  • actuators of different types and vibration directions may be applied to the actuator 131 and the actuator 133.
  • FIG. 16 is an explanatory diagram for explaining an example of the actuators 131 and 133 according to the present embodiment.
  • the actuator 131 is configured or arranged to vibrate along the z direction among the x, y, and z directions orthogonal to each other.
  • the actuator 133 is configured or arranged so as to vibrate in a direction different from the actuator 131, for example, in the x direction.
  • the actuator 131 and the actuator 133 may be configured or arranged so as to vibrate in mutually different directions so that the amplitude of vibration of each of the actuators 131 and 133 can be individually adjusted.
  • the sensation induction device 10 according to the present embodiment can adjust various amplitude ratios and phases even when an actuator that vibrates only in a predetermined direction is applied as the actuators 131 and 133. Vibration (that is, tactile feedback) can be realized.
  • the sensation induction device 10 according to the present embodiment can further improve the sense of reality by realizing various tactile feedbacks by controlling the vibration output from the actuators 131 and 133.
  • the method of controlling each output is not particularly limited as long as the acoustic output of the speaker 11 and the vibration outputs from the actuators 131 and 133, which are associated with each other, are linked.
  • one of the vibration outputs of the actuators 131 and 133 is controlled so as to vary linearly as shown in FIG. 6, and the other is caused to vary nonlinearly as shown in FIG. May be controlled.
  • the sensation induction device 10 according to the present embodiment can realize further various vibrations (that is, tactile feedback).
  • Example 2 Example 2 of actuator and speaker configuration
  • the sensation induction device 10 according to the second embodiment will be described.
  • the example in which the speaker 11 and the actuator 13 are configured as different devices has been described.
  • a device in which the speaker and the actuator are integrally configured such as a voice coil motor, may be provided.
  • FIG. 17 shows an example of a schematic configuration of the sensation induction device 10 according to the present embodiment, and a case where a device in which a speaker and an actuator are integrally configured, such as a voice coil motor, is applied.
  • a device in which a speaker and an actuator are integrally configured such as a voice coil motor
  • FIG. 17 shows the configuration of the sensation induction device 10 when viewed from the opposite side to the user when the sensation induction device 10 is held by the user (that is, the sensation induction device 10. The configuration on the back side) is shown.
  • voice coil motors 15R and 15L are provided on the back of the housing of the sensation induction device 10 according to the present embodiment. Specifically, when the user faces the sensation induction device 10, a voice coil motor 15 ⁇ / b> R is provided on the right rear surface of the sensation induction device 10, and on the left rear surface of the sensation induction device 10. A voice coil motor 15L is provided.
  • the voice coil motor 15R plays the same role as the speaker 11R and the actuator 13R in the example described with reference to FIG.
  • the voice coil motor 15L plays the same role as the speaker 11L and the actuator 13L in the example described with reference to FIG.
  • the voice coil motors 15R and 15L may be simply referred to as “voice coil motor 15” unless otherwise distinguished.
  • the control device 20 drives the voice coil motor 15 based on a synthesized signal obtained by synthesizing a vibration signal indicating vibration with an acoustic signal. Also good.
  • the voice coil motor 15 outputs a signal in a high frequency band of a predetermined frequency or higher (for example, 300 Hz or higher) in the synthesized signal as an acoustic signal, and has a predetermined frequency or lower (for example, 1000 Hz or lower). It may be configured to output as a vibration signal based on the low frequency band signal.
  • the voice coil motor 15 may be configured to vibrate only in any one direction.
  • the control device 20 generates a vibration signal by matching the dimension of the vibration output in accordance with the dimension of the voice coil motor 15, and synthesizes the vibration signal with the acoustic signal.
  • a synthesized signal may be generated.
  • a device such as a voice coil motor in which the speaker and the actuator are integrally formed can be applied instead of the speaker and the actuator as in the sensation induction device 10 according to the second modification.
  • FIG. 18 is an explanatory diagram for explaining an overview of the sensation induction device 30 according to the present embodiment.
  • the left diagram of FIG. 18 shows a case where the housing of the sensation induction device 30 is held vertically
  • the right diagram of FIG. 18 shows a case where the housing of the sensation induction device 30 is held horizontally. ing.
  • the sensation induction device 30 will be described as being configured to be able to hold by switching the orientation of the housing.
  • FIG. 19 shows an example of a schematic configuration of the sensation induction device 30 according to the present embodiment.
  • the sensation induction device 30 shown in FIG. 19 may be referred to as a “sensation induction device 30a” when particularly distinguished from other configurations.
  • a display unit 39 (that is, a display) is provided on the front surface of the sensation induction device 30a.
  • the display unit 39 may be configured as a touch panel.
  • an end provided along the periphery of the front surface of the housing of the sensation induction device 30a may be referred to as an “end 301”.
  • the left end portion, the right end portion, the upper end portion, and the lower end portion constituting the end portion 301 when the sensation induction device 30 a is held in the vertical direction are defined as the end portions 301 a, 301 b, 301 c. , And 301d, respectively.
  • the sensation induction device 30a is provided with speakers 31R and 31L.
  • the speaker 31L is provided on the back side of the sensation induction device 30a in the vicinity of the left end 301a of the sensation induction device 30a.
  • the speaker 31R is provided on the back side of the sensation induction device 30a in the vicinity of the right end 301b of the sensation induction device 30a.
  • the sensation induction device 30a is provided with actuators 33R and 33L.
  • the actuator 33L is provided in the housing of the sensation induction device 30a in the vicinity of the left end 301a of the sensation induction device 30a.
  • the actuator 33R is provided in the housing of the sensation induction device 30a in the vicinity of the right end 301b of the sensation induction device 30a.
  • the sensation induction device 30a controls the acoustic output from the speaker 31R and the vibration output from the actuator 33R to be linked. Similarly, the sensation induction device 30a controls the acoustic output from the speaker 31L and the vibration output from the actuator 33L to be linked.
  • the sensation induction device 30a outputs the sound from the speaker 31L and vibrates the actuator 33L so as to be interlocked with the sound output when a tactile sensation is fed back to the left side of the user.
  • the sensation induction device 30a outputs sound from the speaker 31R and vibrates the actuator 33R so as to be interlocked with the sound output when a tactile sensation is fed back to the right side to the user.
  • the speaker 31L and the actuator 33L are located on the right side with respect to the user, and the speaker 31R and the actuator 33R are located on the left side.
  • the sound output from each speaker 31 and the vibration output from each actuator 33 are opposite to the case where the end portion 301c is positioned on the upper side when viewed from the user. You may control as follows.
  • the sensation induction device 30a may output sound from the speaker 31R and vibrate the actuator 33R so as to be interlocked with the sound output in the case where a tactile sensation is fed back to the left side to the user. .
  • the sensation induction device 30a may output the sound from the speaker 31L and vibrate the actuator 33L so as to be interlocked with the sound output when feedbacking the tactile sense to the right side to the user.
  • the sensation induction device 10a can recognize, for example, the orientation in which the user (that is, the housing of the sensation induction device 10a) is held by the user by incorporating an acceleration sensor, for example.
  • FIG. 20 shows another example of a schematic configuration of the sensation induction device 30 according to the present embodiment.
  • the sensation induction device 30 shown in FIG. 20 may be referred to as a “sensation induction device 30b” when particularly distinguished from other configurations.
  • actuators 33a and 33b are provided in the sensation induction device 30b according to the present embodiment.
  • the actuator 33a is provided in the housing of the sensation induction device 30b in the vicinity of the upper end 301c of the sensation induction device 30b.
  • the actuator 33b is provided in the housing of the sensation induction device 30b in the vicinity of the right end 301d of the sensation induction device 30b.
  • any one of the vibration outputs of the actuators 33a and 33b is output from the speaker 31R.
  • the other vibration output is interlocked with the sound output from the speaker 31L.
  • the sensation induction device 30b when the sensation induction device 30b is held sideways, the vibration output from the actuator 33 located on the right side of the actuators 33a and 33b when viewed from the user is output as the sound output from the speaker 31R ( In other words, the sound output is linked to the user's right ear).
  • the sensation induction device 30b outputs the vibration output from the actuator 33 located on the left side when viewed from the user among the actuators 33a and 33b as the sound output from the speaker 31L (that is, the sound output directed to the user's left ear).
  • the sensation induction device 30 appropriately changes the combination of the speaker 31 and the actuator 33 according to the orientation in which the sensation induction device 30 (that is, the housing of the sensation induction device 30b) is held. May be.
  • FIG. 21 illustrates another example of a schematic configuration of the sensation induction device 30 according to the present embodiment.
  • the sensation induction device 30 shown in FIG. 21 may be referred to as a “sensation induction device 30c” when particularly distinguishing it from other configurations.
  • the sensation induction device 30c is provided with both the actuators 33R and 33L explained based on FIG. 19 and the actuators 33a and 33b explained based on FIG.
  • the actuators 33R, 33L, 33a, and 33b provided in the sensation induction device 30c can be controlled in the same manner as described above with reference to FIGS.
  • the sensation induction device 30c uses the vibration output associated with the sound output from the same speaker 31 among the vibration outputs from the actuators 33R, 33L, 33a, and 33b. Control may be performed in conjunction with each other.
  • the specific control content is the same as that of the sensation induction device 10 according to the first embodiment described with reference to FIG.
  • the sensation induction device 30 according to the present embodiment may appropriately change the combination of the speaker 31 and the actuator 33 according to the direction in which the sensation induction device 30 (that is, the housing of the sensation induction device 30b) is held.
  • the sensation induction device described as the third embodiment can be similarly applied to a portable game terminal provided with a display and operation means.
  • Example 4 Example of sensation induction device
  • Example 4 an example of the relationship between the shape and application of the sensation induction device and the arrangement of the speaker and the actuator in the sensation induction device according to the present embodiment will be described.
  • FIG. 22 is an explanatory diagram for describing an example of a schematic configuration of the sensation induction device according to the present embodiment.
  • the sensation induction device shown in FIG. 22 may be referred to as “sensation induction device 40”.
  • the casing is formed in a cylindrical shape having a circular upper surface and a bottom surface and side surfaces 401 provided along the circumference of the upper surface and the bottom surface.
  • the sensation induction device 40 is held by the user so as to support the bottom surface of the sensation induction device 40 from below.
  • the sensation induction device 40 is provided on the bottom surface inside the casing so that the voice coil motors 45a to 45f are arranged in this order along the inner surface of the side surface 401. If the voice coil motors 45a to 45f are not particularly distinguished from each other, they may be simply referred to as “voice coil motor 45”.
  • Each of the voice coil motors 45a to 45f is arranged to output sound from the bottom surface of the sensation induction device 40 toward the outside, for example.
  • Each of the voice coil motors 45a to 45f is arranged so as to vibrate along the direction from the bottom surface to the top surface of the sensation induction device 40, for example. Note that the sound output and vibration output from each of the voice coil motors 45a to 45f are controlled so as to be linked to each voice coil motor 45 in the same manner as the sensation induction device according to the above-described embodiment and each example. is there.
  • the sensation induction device 40 can give direction to the force sense presented to the user.
  • the sensation induction device 40 may output sound and tactile feedback based on vibration in the order of the voice coil motors 45a to 45f along the inner surface of the side surface 401. Through such control, the sensation induction device 40 can feed back to the user a tactile sensation that simulates a state in which a sphere is rolling along the inner surface of the side surface 401 in its own housing.
  • each of the voice coil motors 45 shown in FIG. 22 may be replaced with a pair of speakers and actuators associated with each other so that their outputs are linked.
  • FIG. 23 is an explanatory diagram for describing an example of a schematic configuration of the sensation induction device according to the present embodiment.
  • the sensation induction device shown in FIG. 23 may be referred to as “sensation induction device 50”.
  • the casing is formed in a cylindrical shape (bar shape) having a circular upper surface and a bottom surface, and a side surface 501 provided along the circumference of the upper surface and the bottom surface. ing.
  • the sensation induction device 50 is held by the user so as to grip the side surface 501 of the sensation induction device 50, for example, as shown in FIG.
  • the sensation induction device 50 is provided so that the voice coil motors 55a to 55c are arranged in this order along the inner surface of the side surface 501. If the voice coil motors 55a to 55c are not particularly distinguished from each other, they may be simply referred to as “voice coil motor 55”.
  • Each of the voice coil motors 55a to 55c is arranged to output sound from the side surface 501 of the sensation induction device 50 toward the outside, for example.
  • Each of the voice coil motors 55a to 55c is arranged so as to vibrate along the radial direction of the upper surface and the bottom surface of the sensation induction device 50, for example.
  • the sound output and the vibration output from each of the voice coil motors 55a to 55c are controlled so as to be interlocked with each voice coil motor 55, as in the sensation induction device according to the above-described embodiment and each example. is there.
  • the sensation induction device 50 can give direction to the force sense presented to the user.
  • the sensation induction device 50 outputs sound and tactile feedback based on vibration in the order of the voice coil motors 55a to 55c along the inner surface of the side surface 501, and the voice coil motors 55a to 55c.
  • the control amount of the amplitude of the sound output and the vibration output (for example, the control amount of the gain or volume) may be biased between them.
  • the sensation induction device 50 may control the phases of the sound output and the vibration output from the voice coil motors 55a to 55c. Through such control, the sensation induction device 50 can present a sense of force with directionality to the user so as to guide the user in a desired direction with reference to his / her housing. It becomes.
  • each of the voice coil motors 55 shown in FIG. 23 may be replaced with a pair of speakers and actuators associated with each other so that their outputs are linked.
  • the shape of the housing of the sensation induction device according to the present embodiment is not particularly limited, and each speaker and each actuator (or each voice coil motor) depending on the shape and application of the housing. You may change suitably the position and direction which arrange
  • FIG. 24 is an explanatory diagram for explaining the outline of the sensation induction device according to the present embodiment.
  • FIG. 25 is an explanatory diagram for explaining an example of a schematic configuration of the sensation induction device according to the present embodiment.
  • the sensation induction device 60 is configured such that different housings 60L and 60R operate in conjunction with each other.
  • the housing 60L is configured to be held by the user with the left hand
  • the housing 60R is configured to be held by the user with the right hand.
  • Each of the housings 60R and 60L has an input device for a user to operate, and a sensor for detecting a change in the orientation and position of the housing itself (for example, an acceleration sensor or a gyro sensor (angular velocity sensor)). May be provided.
  • the housing 60R is provided with a speaker 61R and an actuator 63R.
  • the speaker 61R is provided at a position closer to the user's body (for example, a position corresponding to the hand) when the user holds the housing 60R.
  • the actuator 63R is provided inside the housing 60R near the holding portion when the user holds the housing 60R.
  • the casing 60L is provided with a speaker 61L and an actuator 63L.
  • the speaker 61L is provided at a position closer to the user's body (for example, a position corresponding to the hand) when the user holds the housing 60L.
  • the actuator 63L is provided inside the housing 60L in the vicinity of the holding portion when the user holds the housing 60L.
  • the speaker 61R is a speaker for outputting sound mainly toward the right ear of the user.
  • the speaker 61L is a speaker for outputting sound mainly toward the user's left ear.
  • the actuator 63R vibrates to feed back a tactile sensation to the user's hand holding the casing 60R (ie, the user's right hand).
  • the actuator 63L vibrates to feed back a tactile sensation to the user's hand holding the housing 60L (ie, the user's left hand).
  • the vibration output from the actuator 63R provided in the housing 60R is controlled so as to be interlocked with the sound output from the speaker 61R provided in the housing 60R.
  • the vibration output from the actuator 63L provided in the housing 60L is controlled to be interlocked with the sound output from the speaker 61L provided in the housing 60L.
  • the control for linking the sound output from each speaker 61 and the vibration output from each actuator 63 is the same as in the above-described embodiment and each example.
  • the sensation induction device may be configured such that a plurality of housings are interlocked.
  • control is performed so that outputs (that is, sound output and vibration output) are interlocked between a speaker and an actuator provided in the same housing. It is desirable that
  • the sensation induction device includes a plurality of actuators and a plurality of speakers.
  • the sensation induction device is configured to include a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other.
  • the sound output from each speaker of the sensation induction device and the vibration output from each actuator are controlled so as to be linked for each pair of the actuator and the speaker associated with each other.
  • the sensation induction device system according to the present embodiment matches the localization of sound output from each speaker with the localization of tactile feedback based on the vibration of each actuator. Thereby, the sensation induction device system according to the present embodiment can further enhance the sense of presence and immersion.
  • Multiple actuators Multiple speakers, With Including a plurality of sets in which one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other; A sensation induction device that is controlled so that an output from the actuator and an output from the speaker are interlocked for each pair of the actuator and the speaker associated with each other.
  • the housing includes an end; The sensation induction device according to (2), wherein the actuators associated with the speakers included in different sets are provided in the vicinity of the end so as to be separated from each other.
  • the housing includes a plurality of different end portions, The sensation induction device according to (3), wherein the actuators associated with the speakers included in different sets are provided in the vicinity of the different ends.
  • the housing includes a plurality of holding portions for holding the housing, The sensation induction device according to (2), wherein each of the actuators associated with the speakers included in different sets is provided in or near the different holding unit.
  • a detection unit for detecting a change in the position or orientation of the housing In conjunction with the change in the position or orientation of the housing, the output from the actuator and the output from the speaker are controlled to be interlocked for each pair of the speaker and the actuator associated with each other.
  • a plurality of the actuators are associated with at least one of the speakers; The sensation induction device according to any one of (1) to (7), wherein each of the plurality of actuators vibrates in relatively different directions. (9) The sensation induction device according to any one of (1) to (8), wherein the actuator associated with the speaker is provided in the vicinity of the speaker.
  • Outputs from each of the actuator and the speaker associated with each other are controlled based on at least one of the shape and roughness of the surface of the object in the video calculated based on the analysis result of the video.
  • the sensation induction device according to any one of (1) to (10).
  • the amplitude of at least one of the outputs from each of the actuators and the speakers associated with each other is limited in a frequency band in which the outputs from the respective actuators and the speakers overlap.
  • the sensation induction device according to item. Any one of (1) to (14), further comprising a control unit that controls the output from each of the actuator and the speaker so that the outputs from the actuator and the speaker associated with each other are linked.
  • the sensation induction device according to item.
  • the sensation induction device according to any one of 1) to (14). (21)
  • the output from each of the actuator and the speaker associated with each other is determined based on the user input, and controlled to be interlocked with each other in accordance with an operation target during the video output. Bodily sensation induction device.
  • a sensation induction device comprising a plurality of sets each including a plurality of actuators and a plurality of speakers, wherein one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other;
  • An information processing device that outputs a control signal for controlling the operation of the sensation induction device; Based on the control signal, for each pair of the actuator and the speaker that are associated with each other, a control unit that controls the output from the actuator and the output from the speaker to be linked, A bodily sensation introduction system.
  • the sensation induction device including a plurality of sets each including a plurality of actuators and a plurality of speakers, wherein one or more actuators of the plurality of actuators and one or more speakers of the plurality of speakers are associated with each other.
  • a signal processing unit that generates a control signal for controlling the output from the actuator and the output from the speaker to be linked for each pair of the associated actuator and the speaker;
  • An output unit that outputs the generated control signal to the sensation induction device;
  • a control device comprising: (24) Controlling the operation of the sensation induction device including a plurality of sets each including a plurality of actuators and a plurality of speakers, wherein one or more of the plurality of actuators and one or more of the plurality of speakers are associated with each other. Outputting a control signal for Based on the control signal, for each pair of the actuator and the speaker associated with each other, controlling the output from the actuator and the output from the speaker to be linked, Including a bodily sensation introduction method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing (AREA)

Abstract

【課題】音響出力と振動出力とを連動させることで臨場感を向上させることが可能な体感導入装置、体感導入システム、及び体感導入方法を提案する。 【解決手段】複数のアクチュエータと、複数のスピーカと、を備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられ、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組を複数含み、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置。

Description

体感導入装置、体感導入システム、及び体感導入方法
　本開示は、体感導入装置、体感導入システム、及び体感導入方法に関する。
　多様なデジタルデバイスに対してスピーカやアクチュエータを内蔵し、当該スピーカからの音響出力や、当該アクチュエータの振動による疑似的な触覚または力覚（以降では、総じて「触覚」と呼ぶ場合がある）の提示により、ユーザに対して体感をフィードバックして臨場感を高める技術がある。
　ユーザに対して体感をフィードバックするデバイスの具体的な一例としては、ゲーム機等の情報処理装置に用いられるコントローラが挙げられる。例えば、コントローラに対するユーザの操作内容に基づき、当該コントローラ内のアクチュエータを駆動させることで、当該ユーザに対して、ゲーム内のオブジェクトを実際に操作しているような臨場感や没入間を提示することが可能となる。なお、以降では、ユーザに対して体感をフィードバックするデバイスを「体感導入装置」と呼ぶ場合がある。
特開２００９－７２６００号公報
　一方で、ユーザに対して体感をフィードバックする技術として、触覚の提示に係る振動出力と音響出力とを連動させることで、より直感的な体感をフィードバックし、臨場感を向上させることが可能な技術が求められている。
　そこで、本開示では、音響出力と振動出力とを連動させることで臨場感を向上させることが可能な、新規かつ改良された体感導入装置、体感導入システム、及び体感導入方法を提案する。
　本開示によれば、複数のアクチュエータと、複数のスピーカと、を備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置が提供される。
　また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、を備えた、体感導入システムが提供される。
　また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、生成された制御信号を前記体感導入装置に出力する出力部と、を備えた、制御装置が提供される。
　また、本開示によれば、複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、を含む、体感導入方法が提供される。
　以上説明したように本開示によれば、音響出力と振動出力とを連動させることで臨場感を向上させることが可能な体感導入装置、体感導入システム、及び体感導入方法が提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る体感導入システムの概略的なシステム構成の一例について説明するための説明図である。 同実施形態に係る体感導入装置の概略的な構成について説明するための説明図である。 アクチュエータの一例について説明するための図である。 アクチュエータの一例について説明するための図である。 同実施形態に係る体感導入装置の各スピーカと各アクチュエータとを連動させる制御の一例について説明するための説明図である。 体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の一例について説明するための説明図である。 体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の一例について説明するための説明図である。 同実施形態に係る体感導入装置のハードウェア構成の一例を示している。 同実施形態に係る体感導入システムの機能構成の一例を示したブロック図である。 互いに関係づけられたスピーカ及びアクチュエータのそれぞれから出力される信号の波形の一例を示している。 図１０に示した信号波形それぞれの、周波数成分の分布を示している。 同実施形態に係る体感導入システムの一連の動作の流れについて説明するための説明図である。 同実施形態に係る体感導入システムの一連の動作の流れの一例を示している。 映像、音響出力、触覚フィードバック、及びユーザ操作の定位をあわせるように制御した場合の一例について説明するための説明図である。 実施例１に係る体感導入装置の概略的な構成について説明するための説明図である。 実施例１に係るアクチュエータの一例について説明するための説明図である。 実施例２に係る体感導入装置の概略的な構成について説明するための説明図である。 実施例３に係る体感導入装置の概要について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例３に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例４に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例４に係る体感導入装置の概略的な構成の一例について説明するための説明図である。 実施例５に係る体感導入装置の概要について説明するための説明図である。 実施例５に係る体感導入装置の概略的な構成の一例について説明するための説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施の形態
　　１．１．概略的な構成
　　１．２．スピーカ及びアクチュエータからの出力の制御
　　１．３．ハードウェア構成
　　１．４．機能構成
　　１．５．処理
　２．実施例
　　２．１．実施例１：アクチュエータ及びスピーカの構成例１
　　２．２．実施例２：アクチュエータ及びスピーカの構成例２
　　２．３．実施例３：携帯型端末への適用例
　　２．４．実施例４：体感導入装置の一例
　　２．５．実施例５：コントローラへの適用例
　３．まとめ
　＜１．実施の形態＞
　　［１．１．概略的な構成］
　まず、図１を参照しながら、本開示の実施形態に係る体感導入システムの概要について説明する。図１は、本開示の実施形態に係る体感導入システムの概略的なシステム構成の一例について説明するための説明図である。
　図１に示すように、本開示の実施形態に係る体感導入システムは、例えば、体感導入装置１０と、制御装置２０と、表示装置９０とを含む。
　例えば、図１は、制御装置２０が、ビデオゲームや映像作品を再生するための機器（例えば、ゲーム機器）として構成され、体感導入装置１０が、当該機器を操作するためのコントロール装置（以降では、「コントローラ」と呼ぶ場合がある）として構成されている場合の一例を示している。
　体感導入装置１０は、ユーザがゲーム機器の操作（例えば、起動中のゲームに対する入力操作）を行うためのボタン等の入力デバイスを含む。また、体感導入装置１０は、加速度センサやジャイロセンサ（角速度センサ）等のような、体感導入装置１０の筐体の動きや向きの変化を検出するためのセンサ類を含んでもよい。このようなセンサを体感導入装置１０に設けることで、ユーザは、体感導入装置１０の筐体自体を動かす動作により、制御装置２０（例えば、ゲーム機器）に対する操作を行うことが可能となる。なお、上記に説明したユーザが体感導入装置１０を介して操作を行う方法及び構成はあくまで一例であり、上記に示す例に限定するものではない。例えば、体感導入装置１０に対して、入力デバイスとして、タッチパネルやアナログスティック等を設けてもよい。また、カメラなどの撮像デバイスにより、ユーザの動きをセンシングし、センシングされたユーザの動きを操作内容として認識するような構成を適用してもよい。
　また、本実施形態に係る体感導入装置１０は、スピーカ及びアクチュエータを内蔵しており、当該スピーカからの音響出力と、当該アクチュエータの振動とにより疑似的な触覚をユーザにフィードバックする。
　例えば、図１に示す例の場合には、制御装置２０は、コントローラとして構成された体感導入装置１０からのユーザ入力に基づき、表示装置９０の表示部９１に表示されたオブジェクトの動作を制御する。また、このとき、制御装置２０は、オブジェクトの動作に基づき、体感導入装置１０のスピーカから音響を出力させ、当該体感導入装置１０のアクチュエータを振動させることで、当該オブジェクトの動作に応じた触覚をユーザにフィードバックする。このような構成により、図１に示す体感導入システムは、ユーザに対して、臨場感の高い操作感を提供することが可能である。なお、以降では、アクチュエータの振動を「振動出力」と呼び、当該振動出力によりユーザに提示（フィードバック）される疑似的な触覚を「触覚フィードバック」と呼ぶ場合がある。
　ここで、図２を参照しながら、本実施形態に係る体感導入装置１０の構成の一例について説明する。図２は、本実施形態に係る体感導入装置１０の概略的な構成について説明するための説明図であり、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。具体的には、ユーザが体感導入装置１０の前面、即ち、ボタン等の入力デバイスが設けられた面と対面するように当該体感導入装置１０を保持した場合に、図面の左側が、ユーザから見た右側（Ｒ）に相当し、図面の右側が、ユーザから見た左側（Ｌ）に相当する。なお、以降では、ユーザが体感導入装置１０の前面と対面するように当該体感導入装置１０を保持した場合を、「ユーザが体感導入装置１０と正対した場合」と記載する場合がある。
　図２に示すように、体感導入装置１０の筐体の背面には、スピーカ１１Ｒ及び１１Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはスピーカ１１Ｒが設けられ、体感導入装置１０の筐体の左側背面にはスピーカ１１Ｌが設けられている。
　スピーカ１１Ｒは、主にユーザの右耳に向けて音響を出力するためのスピーカである。同様に、スピーカ１１Ｌは、主にユーザの左耳に向けて音響を出力するためのスピーカである。なお、以降では、スピーカ１１Ｒ及び１１Ｌを特に区別しない場合には、単に「スピーカ１１」と記載する場合がある。
　また、本実施形態に係る体感導入装置１０は、互いに逆側に位置する筐体の両端部近傍に、ユーザが当該筐体を保持するための保持部１０１Ｒ及び１０１Ｌを備える。図２に示す例では、ユーザが体感導入装置１０と正対した場合において、保持部１０１Ｒは、体感導入装置１０の筐体の右側に設けられ、ユーザが体感導入装置１０の筐体を右手で保持する部分に相当する。同様に、保持部１０１Ｌは、体感導入装置１０の筐体の左側に設けられ、ユーザが体感導入装置１０の筐体を左手で保持する部分に相当する。
　保持部１０１Ｒの内部には、供給される制御信号に基づき振動するアクチュエータ１３Ｒが内蔵されている。同様に、保持部１０１Ｌの内部には、アクチュエータ１３Ｌが内蔵されている。なお、以降では、アクチュエータ１３Ｒ及び１３Ｌを特に区別しない場合には、単に「アクチュエータ１３」と記載する場合がある。
　図３は、アクチュエータ１３の一例について説明するための図である。例えば、図１３は、互いに直交するｘ軸、ｙ軸、及びｚ軸の各軸に沿った方向（以降では、「ｘ方向」、「ｙ方向」、及び「ｚ方向」と呼ぶ場合がある）に振動可能に構成されたアクチュエータの一例を示している。このように互いに異なる複数の方向に振動するアクチュエータを適用し、振動する方向ごとに当該振動の振幅や位相を調整することで、体感導入装置１０は、ユーザに対して多様な触覚をフィードバックすることが可能となる。
　また、本実施形態に係る体感導入装置１０は、図２に示すように複数のアクチュエータ１３（例えば、アクチュエータ１３Ｒ及び１３Ｌ）を備えている。そのため、体感導入装置１０は、複数のアクチュエータそれぞれの振動の振幅や位相を調整することで、ユーザに対して多様な触覚を提示することが可能である。具体的な一例として、体感導入装置１０は、図３に示すアクチュエータ１３Ｒ及び１３Ｌ間で、振動の振幅を偏らせることで、ユーザに提示する力覚に方向性を持たせることが可能となる。
　また、体感導入装置１０は、複数のアクチュエータそれぞれの振動の出力に時間差を設けて制御してもよい。具体的な一例として、体感導入装置１０は、図３に示すアクチュエータ１３Ｒ及び１３Ｌ間で、振動を出力するタイミング（換言すると、位相）をずらすことで、ユーザに提示する力覚に方向性を持たせることが可能となる。もちろん、体感導入装置１０は、各アクチュエータの振幅の制御（例えば、ゲインやボリュームの制御）と、各アクチュエータをそれぞれの振動の出力タイミングの制御とを組み合わせてもよいことは言うまでもない。
　なお、図３に示すアクチュエータ１３は、あくまで一例であり、当該アクチュエータ１３の構成は、図３に示す例には限定されない。例えば、アクチュエータ１３は、一方向にのみ振動可能に構成されていてもよい。また、アクチュエータ１３が振動する方向は、必ずしも直線方向には限定されない。例えば、図４は、アクチュエータ１３の他の一例について説明するための図である。図４に示すように、アクチュエータ１３は、所定の平面上の円周方向（図４に示す例の場合には、ｘｚ平面上の円周方向）に沿って振動するように構成されていてもよい。もちろん、図３に示すアクチュエータ１３の、ｘ方向及びｙ方向に沿った振動それぞれの振幅及び位相を調整することで、図４に示すようなアクチュエータ１３と同様の振動を再現してもよいことは言うまでもない。
　次に、本実施形態に係る体感導入装置１０における、各スピーカからの音響出力と、各アクチュエータからの振動出力との制御の概要について説明する。
　本実施形態に係る体感導入装置１０では、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とをあわせることで、より臨場感の高い触覚の提示を実現する。具体的には、体感導入装置１０は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。そして、体感導入装置１０の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。
　例えば、図２に示す例の場合には、体感導入装置１０の右側（Ｒ）に位置するスピーカ１１Ｒと、ユーザが右手で保持する保持部１０１Ｒ内に設けられたアクチュエータ１３Ｒとが、あらかじめ関連付けられている。そして、スピーカ１１Ｒからの音響出力と、アクチュエータ１３Ｒからの振動出力とは、互いに連動するように制御される。
　具体的な一例として、スピーカ１１Ｒからの音響出力の振幅が増加するように制御された場合はに、当該スピーカ１１Ｒに関連付けられているアクチュエータ１３Ｒからの振動出力の振幅があわせて増加するように制御させる。
　なお、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力の制御主体は特に限定されない。例えば、体感導入装置１０が、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力とが連動するように制御してもよい。また、他の一例として、制御装置２０が、スピーカ１１からの音響出力と、アクチュエータ１３からの振動出力とが連動するように制御してもよい。なお、スピーカ１１とアクチュエータ１３との連動に係る制御の詳細については、別途後述する。また、制御装置２０が、体感導入装置の動作を制御するための制御信号を出力する「情報処理装置」の一例に相当する。
　同様に、体感導入装置１０の左側（Ｌ）に位置するスピーカ１１Ｌと、ユーザが左手で保持する保持部１０１Ｌ内に設けられたアクチュエータ１３Ｌとが、あらかじめ関連付けられている。そして、スピーカ１１Ｌからの音響出力と、アクチュエータ１３Ｌからの振動出力とは、互いに連動するように制御される。
　このような構成により、本実施形態に係る体感導入システムでは、体感導入装置１０のスピーカ１１からの音響出力と、アクチュエータ１３からの振動出力に基づく触覚フィードバックの定位とをあわせている。具体的には、スピーカ１１Ｒ及び１１Ｌから音響が出力される場合に、当該音響出力と同様にアクチュエータ１３Ｒ及び１３Ｌが振動することで、ユーザに触覚がフィードバックされる。このとき、例えば、スピーカ１１Ｒ及び１１Ｌから音響出力の振幅の比率（即ち、左右での音響出力の振幅の比率）にあわせて、アクチュエータ１３Ｒ及び１３Ｌによる触覚フィードバックの振幅の比率が調整される。このような制御により、本実施形態に係る体感システムでは、体感導入装置１０を介した触覚フィードバックの臨場感を飛躍的に向上させることが可能となる。
　　［１．２．スピーカ及びアクチュエータからの出力の制御］
　次に、図５及び図６を参照して、本実施形態に係る体感導入システムにおける、体感導入装置１０の各スピーカ１１と各アクチュエータ１３とを連動させる制御の一例について、当該体感導入装置１０が、図２に示すように構成されている場合を例に説明する。図５は、本実施形態に係る体感導入装置１０の各スピーカ１１と各アクチュエータ１３とを連動させる制御の一例について説明するための説明図であり、当該体感導入装置１０を、ゲーム機器等のコントローラとして構成した場合の操作イメージの一例を示している。
　例えば、図５は、ユーザが体感導入装置１０を左右に傾けることで、表示装置９０の表示部９１に表示されたオブジェクトｖ１０を、左右に操作する場合の操作イメージを示している。具体的には、ユーザが体感導入装置１０を左に傾けると、制御装置２０（図示しない）により、表示部９１に表示されたオブジェクトｖ１０が左に移動するように表示装置９０の表示が制御される。
　このとき、制御装置２０からの指示に基づき、表示部９１上のオブジェクトｖ１０の動作にあわせて、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力の振幅と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力（即ち、触覚フィードバック）の振幅とが制御される。例えば、図６は、体感導入装置１０の各スピーカ１１からの音響出力と、各アクチュエータ１３からの振動出力との制御の一例について説明するための説明図である。
　図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌは、スピーカ１１Ｒ及び１１Ｌからの音響出力と、表示部９１上に表示されたオブジェクトｖ１０の当該表示部９１上における横方向の位置との関係の一例を示している。縦軸は、スピーカ出力、即ち、スピーカ１１Ｒ及び１１Ｌからの音響出力の振幅（相対値）を示している。また、横軸は、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘを示しており、当該グラフの右側が表示部９１上の右側に対応し、当該グラフの左側が表示部９１上の左側に対応している。また、グラフｇ１１Ｒは、スピーカ１１Ｒからの音響出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。同様に、グラフｇ１１Ｌは、スピーカ１１Ｌからの音響出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。
　また、図６の下部に示すｇ１３Ｒ及びｇ１３Ｌは、アクチュエータ１３Ｒ及び１３Ｌからの振動出力と、表示部９１上に表示されたオブジェクトｖ１０の当該表示部９１上における横方向の位置との関係の一例を示している。縦軸は、アクチュエータ出力、即ち、アクチュエータ１３Ｒ及び１３Ｌからの振動出力の振幅（相対値）を示している。なお、横軸は、図６の上部に示した、スピーカ１１Ｒ及び１１Ｌからの音響出力に係るグラフと同様である。また、グラフｇ１３Ｒは、アクチュエータ１３Ｒからの振動出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。同様に、グラフｇ１３Ｌは、アクチュエータ１３Ｌからの振動出力の振幅と、表示部９１上におけるオブジェクトｖ１０の横方向の座標ｘとの関係を示したグラフである。
　図６に示す例では、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ１１Ｒが示すように、スピーカ１１Ｒからの音響出力の振幅が線形的に増大するように制御される。このとき、アクチュエータ１３Ｒからの振動出力の振幅は、グラフｇ１３Ｒに示すように、スピーカ１１Ｒからの音響出力の振幅（グラフｇ１１Ｒ）に連動して、線形的に増大するように制御される。
　また、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ１１Ｌが示すように、スピーカ１１Ｌからの音響出力の振幅が線形的に減少するように制御される。このとき、アクチュエータ１３Ｌからの振動出力の振幅は、グラフｇ１３Ｌに示すように、スピーカ１１Ｌからの音響出力の振幅（グラフｇ１１Ｌ）に連動して、線形的に減少するように制御される。
　また、図６では、スピーカ１１の音響出力に連動して、アクチュエータ１３からの振動出力が線形的に変化するように制御される例について説明したが、音響出力と振動出力とが連動していれば、必ずしも各出力が線形的に変化するように制御される必要はない。
　例えば、図７は、体感導入装置１０の各スピーカ１１からの音響出力と、各アクチュエータ１３からの振動出力との制御の他の一例について説明するための説明図である。図７の上部に示すグラフｇ２１Ｒ及びｇ２１Ｌは、図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌと同様にスピーカ１１Ｒ及び１１Ｌからの音響出力に対応している。そのため、グラフｇ２１Ｒ及びｇ２１Ｌの縦軸及び横軸は、図６の上部に示すグラフｇ１１Ｒ及びｇ１１Ｌと同様である。また、図７の下部に示すグラフｇ２３Ｒ及びｇ２３Ｌは、図６の下部に示すグラフｇ１３Ｒ及びｇ１３Ｌと同様にアクチュエータ１３Ｒ及び１３Ｌからの振動出力に対応している。そのため、グラフｇ２３Ｒ及びｇ２３Ｌの縦軸及び横軸は、図６の下部に示すグラフｇ１３Ｒ及びｇ１３Ｌと同様である。
　図７に示す例では、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ２１Ｒが示すように、スピーカ１１Ｒからの音響出力の振幅が線形的に増大するように制御される。これに対して、アクチュエータ１３Ｒからの振動出力の振幅は、グラフｇ２３Ｒに示すように、スピーカ１１Ｒからの音響出力の振幅（グラフｇ２１Ｒ）に連動して増大するが、振動出力の振幅が非線形的に変化するように制御される。具体的な一例として、グラフｇ２３Ｒに示すように、オブジェクトｖ１０が表示部９１上の左側の所定の座標を超えて右側に向けて移動した場合に、アクチュエータ１３Ｒからの振動出力の振幅が増大するように制御される。
　また、オブジェクトｖ１０が表示部９１上の左側から右側に向けて移動した場合には、グラフｇ２１Ｌが示すように、スピーカ１１Ｌからの音響出力の振幅が線形的に減少するように制御される。これに対して、アクチュエータ１３Ｌからの振動出力の振幅は、グラフｇ２３Ｌに示すように、スピーカ１１Ｌからの音響出力の振幅（グラフｇ１１Ｌ）に連動して減少するが、振動出力の振幅が非線形的に変化するように制御される。具体的な一例として、グラフｇ２３Ｌに示すように、オブジェクトｖ１０が表示部９１上の左側の所定の座標を超えて右側に向けて移動した場合に、アクチュエータ１３Ｌからの振動出力の振幅が減少するように制御される。
　なお、図６及び図７に基づき上述した制御はあくまで一例であり、あらかじめ関連付けられたスピーカ１１及びアクチュエータ１３（例えば、スピーカ１１Ｒ及びアクチュエータ１３Ｒや、スピーカ１１Ｌ及びアクチュエータ１３Ｌ）それぞれの出力が連動するように制御されれば、その制御方法は特に限定されない。
　このように、本実施形態に係る体感導入システムでは、体感導入装置１０のスピーカ１１とアクチュエータ１３とを関連付け、互いに関連付けられたスピーカ１１及びアクチュエータ１３の組を複数設ける。そして、本実施形態に係る体感導入システムは、互いに関連付けられたスピーカ１１及びアクチュエータ１３それぞれからの出力（即ち、音響出力及び振動出力）を連動させる。このような構成及び制御に基づき、本実施形態に係る体感導入システムは、スピーカ１１からの音響出力の定位と、アクチュエータ１３からの振動出力に基づく触覚フィードバックの定位とをあわせ、触覚フィードバックの臨場感を飛躍的に向上させることが可能となる。
　　［１．３．ハードウェア構成］
　次に、図８を参照して、本実施形態に係る体感導入装置１０のハードウェア構成の一例について説明する。図８は、本実施形態に係る体感導入装置１０のハードウェア構成の一例を示している。
　図８に示すように、例えば、本実施形態に係る体感導入装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、スピーカ９０７と、アクチュエータ９０９と、通信デバイス９１１と、操作デバイス９１３と、加速度センサ９１５とを含む。
　プロセッサ９０１は、例えばＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）又はＳｏＣ（System　on　Chip）であってよく、体感導入装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。メモリ９０３は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
　スピーカ９０７は、音響信号を出力するための出力デバイスである。本実施形態に係る体感導入装置１０は、スピーカ９０７を複数含む。なお、スピーカ９０７は、図２に示したスピーカ１１Ｒ及び１１Ｌに対応している。
　アクチュエータ９０９は、入力される制御信号により振動することで、疑似的な触覚をユーザにフィードバックするためのデバイスである。本実施形態に係る体感導入装置１０は、アクチュエータ９０９を複数含み、各アクチュエータ９０９は、複数のスピーカ９０７のいずれかと関連付けられている。なお、アクチュエータ９０９は、図２に示したアクチュエータ１３Ｒ及び１３Ｌに対応している。
　通信デバイス９１１は、体感導入装置１０が備える通信手段であり、ネットワークを介して外部装置（例えば、図１に示した制御装置２０）と通信する。通信デバイス９１１は、無線または有線通信用のインタフェースとして構成され得る。なお、通信デバイス９１１を無線通信用のインタフェースとして構成する場合には、当該通信デバイス９１１は、通信アンテナ、ＲＦ（Radio　Frequency）回路、ベースバンドプロセッサなどを含んでもよい。具体的な一例として、通信デバイス９１１は、ブルートゥース（登録商標）のような所定の通信エリア内に存在する１以上の外部装置との間で無線通信を確立することが可能な通信デバイスであってもよい。
　通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
　操作デバイス９１３は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９１３は、例えばボタン及びスイッチなどユーザが情報を入力するための入力デバイスと、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。
　加速度センサ９１５は、加速度を電圧値として検出するセンサである。加速度センサ９１５は、Ｘ軸方向に沿った加速度、Ｙ軸方向に沿った加速度、及びＺ軸方向に沿った加速度をそれぞれ検出する３軸加速度センサであってよい。加速度センサ９１５は、検出した加速度データをプロセッサ９０１に供給することができる。
　また、加速度センサ９１５に替えて、ジャイロセンサを設けてもよいし、当該加速度センサ９１５と当該ジャイロセンサとの双方を設けてもよい。当該ジャイロセンサは、物体の角度や角速度を検出する計測器の一種である。このジャイロセンサは、Ｘ軸、Ｙ軸、及びＺ軸周りの回転角の変化する速度（角速度）を電圧値として検出する３軸ジャイロセンサであってよい。ジャイロセンサは、検出した角速度データをプロセッサ９０１に供給することができる。
　バス９１７は、プロセッサ９０１、メモリ９０３、ストレージ９０５、スピーカ９０７、アクチュエータ９０９、通信デバイス９１１、操作デバイス９１３、及び加速度センサ９１５を相互に接続する。バス９１７は、複数の種類のバスを含んでもよい。
　　［１．４．機能構成］
　次に、図９を参照して、本実施形態に係る体感導入システムの機能構成の一例について、特に、体感導入装置１０と、制御装置２０とに着目して説明する。図９は、本実施形態に係る体感導入システムの機能構成の一例を示したブロック図である。
　まず、制御装置２０に着目して説明する。図９に示すように、制御装置２０は、制御部２１と、通信部２３と、信号データ記憶部２５とを含む。また、制御部２１は、演算部２１１と、信号処理部２１３と、表示制御部２１５とを含む。
　通信部２３は、制御装置２０内の各構成が、ネットワークｎ１を介して体感導入装置１０や表示装置９０（図示しない）と通信を行うための通信インタフェースである。ネットワークｎ１は、例えば、異なる機器を接続するための無線または有線の伝送路である。ネットワークｎ１を無線の伝送路として構成する場合には、具体的な一例としてブルートゥース（登録商標）規格に基づく無線通信ネットワークが挙げられる。なお、以降では、制御装置２０内の各構成が、体感導入装置１０や表示装置９０との間でデータを送受信する場合には、特に説明がない場合においても、通信部２３を介して当該データの送受信を行うものとする。
　また、通信部２３は、インターネットのような通信経路を介して外部のサーバと通信可能に構成されていてもよい。この場合には、通信部２３は、例えば、インターネットのような通信経路を介して通信を確立するデバイスであり得る。なお、以降では、説明をわかりやすくするために、通信部２３が、体感導入装置１０、表示装置９０、及び外部のサーバのそれぞれと通信可能なものとして説明するが、必ずしも、当該構成に限定されない。例えば、体感導入装置１０、表示装置９０、及び外部のサーバのうち、いずれか一部との間で通信を行う通信インタフェースと、他の一部との間で通信を行う通信インタフェースとを互いに異なるデバイスとして設けてもよい。
　制御部２１は、ビデオゲームや映像作品などの一連のコンテンツを取得し、当該コンテンツに含まれる映像データ、音響データ、及び触覚データを基に、映像、音響、及び触覚を、体感導入装置１０や表示装置９０を介してユーザに提示するための各種制御を行う。なお、コンテンツの取得元は特に限定されない。例えば、制御部２１は、制御装置２０内の記憶部（図示しない）に記憶されたコンテンツを取得してもよいし、インターネットなどのネットワークを介して外部からコンテンツを取得してもよい。
　以下に、制御部２１の各構成について、図５に示すように、表示装置９０の表示部９１に表示されたオブジェクトｖ１０を、ユーザが、コントローラとして構成された体感導入装置１０を介して操作する場合を例に説明する。
　演算部２１１は、ユーザが体感導入装置１０に対して行った操作の内容を示す制御信号を、ネットワークｎ１を介して、当該体感導入装置１０から取得する。演算部２１１は、取得した制御信号に基づき、ユーザが行った操作の内容、即ち、操作の方向や操作量を特定し、特定した当該操作の内容を入力とした物理演算に基づき、オブジェクトｖ１０の動きを算出する。
　具体的な一例として、演算部２１１は、操作の方向に基づきオブジェクトｖ１０に働く力の方向を特定し、操作量に基づき当該オブジェクトｖ１０に働く力の大きさを特定してもよい。これにより、演算部２１１は、例えば、オブジェクトｖ１０の重さや、当該オブジェクトｖ１０に働く重力を仮想的に設定しておくことで、ユーザ操作に基づき算出した当該オブジェクトｖ１０に働く力の大きさや方向により、当該オブジェクトｖ１０の運動方向や運動速度（ひいては、当該オブジェクトｖ１０の時系列に沿った動作）を算出することが可能となる。
　なお、演算部２１１は、上記に示すように、ユーザ操作に基づきオブジェクトｖ１０が運動する例に限らず、各種オブジェクトの動作を物理演算に基づきシミュレートしてもよい。具体的な一例として、演算部２１１は、コンテンツとして再生された、あるオブジェクトが運動する映像を解析することで、当該オブジェクトの運動方向や運動速度を算出してもよい。
　また、物理演算の内容は必ずしもオブジェクトの運動には限定されない。例えば、演算部２１１は、コンテンツとして再生された、あるオブジェクトの映像を解析することで、当該オブジェクトの表面の形状及び粗さのうち少なくともいずれかを算出し、算出された表面の形状または粗さに基づき当該表面との間で発生する摩擦力を算出してもよい。このようにして算出された摩擦力からは、例えば、ユーザが当該オブジェクトを触った場合の感触を触覚フィードバックとして模擬的に再現することも可能となる。
　演算部２１１は、物理演算の結果、例えば、算出したオブジェクトｖ１０の運動方向や運動速度を示す情報を、信号処理部２１３と、表示制御部２１５とに通知する。
　表示制御部２１５は、取得されたコンテンツに含まれる映像を、表示装置９０の表示部９１に表示させる。これにより、例えば、図５に示すように、表示装置９０の表示部９１にオブジェクトｖ１０が表示される。
　また、表示制御部２１５は、物理演算の結果、例えば、オブジェクトｖ１０の運動方向や運動速度を示す情報を、演算部２１１から取得する。表示制御部２１５は、取得したオブジェクトｖ１０の運動方向や運動速度に基づき、当該オブジェクトｖ１０の表示位置や表示態様（例えば、形状の変化等）を算出する。そして、表示制御部２１５は、算出したオブジェクトｖ１０の表示位置や表示態様に基づき、表示部９１に表示されたオブジェクトｖ１０の映像を表示装置９０に更新させる。
　信号処理部２１３は、演算部２１１による物理演算の結果に基づき、体感導入装置１０のスピーカ１１Ｒ及び１１Ｒから出力される音響信号に対して信号処理を施す。また、信号処理部２１３は、当該物理演算の結果に基づき、アクチュエータ１３Ｒ及び１３Ｌを振動させるための制御信号を生成する。
　例えば、信号処理部２１３は、再生されたコンテンツから、スピーカ１１Ｒ及び１１Ｌそれぞれから出力される音響信号を読み出し、各音響信号の振幅を、図６や図７に基づき前述したように、オブジェクトｖ１０の運動方向や運動速度に応じて制御してもよい。
　また、信号処理部２１３は、再生されたコンテンツから触覚を再現するための触覚データ（例えば、振動を示す振動信号）を読み出し、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する。具体的な一例として、信号処理部２１３は、アクチュエータ１３Ｒからの振動出力が、スピーカ１１Ｒからの音響出力と連動するように、コンテンツから読み出した振動信号を加工または制御することで、アクチュエータ１３Ｒを駆動するための制御信号を生成してよい。同様に、信号処理部２１３は、アクチュエータ１３Ｌからの振動出力が、スピーカ１１Ｌからの音響出力と連動するように、コンテンツから読み出した振動信号を加工または制御することで、アクチュエータ１３Ｌを駆動するための制御信号を生成してよい。以上のような制御に基づき、信号処理部２１３は、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する。
　また、信号処理部２１３は、アクチュエータ１３Ｒ及び１３Ｌのそれぞれを駆動するための制御信号を生成する際に、例えば、信号データ記憶部２５に記憶された基準信号を加工することで、当該制御信号を生成してもよい。
　信号データ記憶部２５に記憶された基準信号とは、例えば、各種触覚フィードバックを実現するためにアクチュエータ１３を駆動する制御信号の生成元となる信号である。信号データ記憶部２５には、例えば、再現される触覚フィードバックの種別ごとにあらかじめ生成された基準信号が記憶されている。信号処理部２１３は、再現する触覚フィードバック（例えば、コンテンツに含まれる触覚データが示す触覚フィードバック）に応じて対応する基準信号を信号データ記憶部２５から読み出し、読み出した基準信号の振幅や位相を調整することで、アクチュエータ１３を駆動するための制御信号を生成する。なお、基準信号や、コンテンツに含まれる音響データ及び触覚データが示す信号（例えば、音響信号及び振動信号）が、「体感導入装置の動作を制御するための制御信号」の一例に相当する。
　また、再生されるコンテンツによっては、必ずしも、触覚を再現するための触覚データが含まれているとは限らない。そのため、信号処理部２１３は、音響データ、もしくは、当該音響データに基づく音響信号を元に、触覚フィードバックを疑似的に再現し、当該触覚フィードバックが提示されるようにアクチュエータ１３を駆動するための制御信号を生成してもよい。
　具体的な一例として、信号処理部２１３は、音響信号に対してローパスフィルタを適用することで、当該音響信号の低周波帯域（例えば、１０００Ｈｚ以下の帯域）の信号（振動信号）を抽出し、抽出した低周波帯域の信号を元に触覚フィードバックを疑似的に再現してもよい。このような処理により、例えば、時系列に沿って緩やかに変動する振動を再現することが可能となる。また、信号処理部２１３は、音響信号に対してハイパスフィルタを適用し、当該音響信号の高周波帯域（例えば、３００Ｈｚ以上の帯域）の信号を抽出し、抽出した高周波帯域の信号を、出力対象となる音響信号としてもよい。
　また、信号処理部２１３は、抽出した低周波帯域の信号を解析することで、当該信号の立ち上がりを検知し、当該立ち上がりを示す短パルスを含む信号を元に触覚フィードバックを疑似的に再現してもよい。このような処理により、例えば、衝突時の衝撃のように、急激に変動する振動を再現することが可能となる。
　また、音響信号から触覚フィードバックを疑似的に再現する場合には、信号処理部２１３は、抽出した信号（例えば、低周波帯域の信号）に対して、さらに信号処理を施してもよいことは言うまでもない。信号処理の具体的な一例としては、各種フィルタ（ローパスフィルタ、ハイパスフィルタ、またはバンドパスフィルタ）の適用や、ピッチシフトなど処理の適用のいずれか、もしくは複数の組み合わせが挙げられる。
　また、信号処理部２１３は、制御装置２０に無線または有線で接続されている体感導入装置１０のアクチュエータ１３の振動方向の次元にあわせて、当該アクチュエータ１３Ｌを駆動する制御信号を生成してもよい。
　具体的な一例として、コンテンツに含まれた触覚を再現するための触覚データが、図３に示すようなｘ方向、ｙ方向、及びｚ方向に振動するアクチュエータ１３を想定して生成されているものとする。これに対して、体感導入装置１０のアクチュエータ１３が、ｘ方向、ｙ方向、及びｚ方向のうちのいずれか一方向にのみ振動可能に構成されている場合がある。この場合には、信号処理部２１３は、例えば、体感導入装置１０から当該アクチュエータ１３の情報（即ち、振動可能な方向に関する情報）を事前に取得し、当該情報に基づき、当該アクチュエータ１３の振動方向の次元にあわせて制御信号を生成してもよい。
　例えば、体感導入装置１０のアクチュエータ１３がｘ方向にのみ振動可能に構成されているものとする。この場合には、信号処理部２１３は、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動のうち、ｘ方向の振動のみを再現するように制御信号を生成してもよい。
　また、他の一例として、信号処理部２１３は、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分に基づくベクトル演算により、体感導入装置１０のアクチュエータ１３の振動の振幅を決定してもよい。具体的な一例として、コンテンツに含まれた触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分の振幅それぞれを、Ｖｘ、Ｖｙ、及びＶｚとする。この場合に、信号処理部２１３は、例えば、以下に示す数式１に基づき、体感導入装置１０のアクチュエータ１３の振動の振幅Ｖを決定してもよい。
Figure JPOXMLDOC01-appb-M000001
　なお、上記はあくまで一例であり、コンテンツに含まれた触覚データが示す振動方向の次元が、体感導入装置１０のアクチュエータ１３が振動可能な方向の次元よりも大きい場合における、アクチュエータ１３の振動の振幅を算出する方法は特に限定されない。例えば、信号処理部２１３は、触覚データが示す、ｘ方向、ｙ方向、及びｚ方向の振動成分それぞれの振幅の平均に基づき、体感導入装置１０のアクチュエータ１３の振動の振幅を決定してもよい。
　以上のようにして、信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号に信号処理を施し、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号を生成する。このとき、スピーカ１１Ｒからの音響出力とアクチュエータ１３Ｒからの振動出力とが連動するように、当該アクチュエータ１３Ｒを駆動する制御信号が生成される。このとき、信号処理部２１３は、スピーカ１１Ｒから出力される音響信号の振幅や位相を制御してもよい。同様に、スピーカ１１Ｌから音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動する制御信号が生成される。また、信号処理部２１３は、スピーカ１１Ｌから出力される音響信号の振幅や位相を制御してもよいことは言うまでもない。
　信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号とを、体感導入装置１０に送信する。これにより、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが制御される。なお、信号処理部２１３のうち、音響信号及び制御信号を体感導入装置１０に出力する部分が「出力部」の一例に
　次に、体感導入装置１０に着目する。図９に示すように、体感導入装置１０は、スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌと、制御部１４と、通信部１２と、入力部１９とを含む。スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌとは、図２に示した、スピーカ１１Ｒ及び１１Ｌと、アクチュエータ１３Ｒ及び１３Ｌとにそれぞれ対応している。また、入力部１９は、操作部１９１と、検知部１９３とを含む。
　通信部１２は、体感導入装置１０内の各構成が、ネットワークｎ１を介して制御装置２０と通信を行うための通信インタフェースである。通信部１２は、例えば、図８に示した通信デバイス９１１により構成され得る。なお、以降では、体感導入装置１０内の各構成が、制御装置２０との間でデータを送受信する場合には、特に説明がない場合においても、通信部１２を介して当該データの送受信を行うものとする。
　操作部１９１は、例えば、ボタンなどのようなボタン及びスイッチなどのような、ユーザが情報を入力するための入力デバイスである。操作部１９１は、例えば、図８に示した操作デバイス９１３により構成され得る。操作部１９１は、ユーザからの操作を受け付けると、当該操作の内容を示す制御信号を、制御部１４を介して制御装置２０に通知する。
　また、検知部１９３は、加速度センサやジャイロセンサ（角速度センサ）等のような、体感導入装置１０の筐体の動きや向きの変化を検出するためのセンサ類に相当する。検知部１９３は、例えば、図８に示した加速度センサ９１５により構成され得る。ユーザが体感導入装置１０の筐体を動かすことで当該体感導入装置１０を操作した場合に、検知部１９３は、当該操作の内容を（即ち、当該筐体の動きや向きの変化）を示す制御信号を、制御部１４を介して制御装置２０に通知する。
　制御部１４は、操作部１９１または検知部１９３から操作の内容を示す制御信号を受け付けると、当該制御信号を制御装置２０に通知する。これにより、制御装置２０は、ユーザが体感導入装置１０に対して行った操作の内容を認識することが可能となる。
　また、制御部１４は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力するための音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動するための制御信号とを、制御装置２０から受信する。
　制御部１４は、制御装置２０から受信した音響信号をスピーカ１１Ｒ及び１１Ｌから出力し、受信した制御信号に基づきアクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する。制御部１４は、例えば、図８に示したプロセッサ９０１により構成され得る。
　以上、本実施形態に係る体感導入システムについて、特に、体感導入装置１０及び制御装置２０に着目して説明した。
　なお、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが連動すれば、当該音響出力及び振動出力は、必ずしも図５に示すように表示部９１に表示された映像と連動していなくてもよい。
　また、上記で説明した図９に示す例では、信号処理部２１３が、制御装置２０側に設けられている例について説明したが、必ずしも図９に示す構成には限定されない。例えば、信号処理部２１３を体感導入装置１０側に設けることで、スピーカ１１Ｒ及び１１Ｌから出力する音響信号に対する信号処理や、アクチュエータ１３Ｒ及び１３Ｌを駆動するための制御信号の生成を、体感導入装置１０側で実行してもよい。
　この場合には、例えば、制御装置２０側の制御部２１は、演算部２１１による演算結果を体感導入装置１０側に通知する。この通知を受けて、当該体感導入装置１０側に設けられた信号処理部２１３は、通知された演算結果に基づき、スピーカ１１Ｒ及び１１Ｌから出力される音響信号に対する信号処理や、アクチュエータ１３Ｒ及び１１Ｌを駆動するための制御信号の生成を行えばよい。
　また、信号処理部２１３の一部の処理のみを、体感導入装置１０側で実行するようにしてもよい。具体的な一例として、スピーカ１１Ｒ及び１１Ｌから出力される音響信号に対する信号処理を制御装置２０側で実行し、アクチュエータ１３Ｒ及び１３Ｌを駆動するための制御信号の生成を体感導入装置１０側で実行するようにしてもよい。また、他の一例として、スピーカ１１Ｒ及び１１Ｌからの音響出力の振幅の制御（例えば、ゲインやボリュームの制御）や、アクチュエータ１３Ｒ及び１３Ｌからの振動出力の振幅の制御のみを、体感導入装置１０側で実行するようにしてもよい。
　なお、本実施形態に係る信号処理部２１３は、互いに関連付けられたスピーカ１１及びアクチュエータ１３それぞれからの出力（即ち、音響出力及び振動出力）が重複する周波数帯域において、少なくともいずれか一方の出力の振幅を他方の出力の振幅に基づき制御してもよい。
　具体的な一例として、音響出力と振動出力とが重複する周波数帯域では、ユーザは、振動出力を音響として知覚する場合がある。そのため、ユーザは、アクチュエータ１３からの触覚フィードバック（振動出力）により、スピーカ１１から出力される音響のうち、音響出力と振動出力とが重複する周波数帯域の音響を、他の周波数帯域の音響に比べて出力が増大したように感じる場合がある。
　例えば、図１０は、互いに関係づけられたスピーカ１１及びアクチュエータ１３のそれぞれから出力される信号（即ち、音響信号及び振動信号）の波形の一例を示している。図１０の上部及び下部それぞれに示す信号波形ｇ３１及びｇ３２は、縦軸が当該信号波形の振幅（Ｖ）、即ち、電圧値の変動を振幅として示しており、横軸が時間を示している。図１０の上部に示した信号波形ｇ３１は、スピーカ１１から出力される音響信号の波形の一例を示している。また、図１０の下部に示した信号波形ｇ３２は、アクチュエータ１３から出力される振動信号の波形の一例を示している。
　また、図１１は、図１０に示した信号波形ｇ３１及びｇ３２それぞれの、周波数成分の分布を示している。図１１の上部及び下部それぞれに示す信号波形ｇ３３及びｇ３４は、縦軸が当該信号波形のゲインを示しており、横軸が周波数を示している。
　具体的な一例として、図１１に示す例では、参照符号ｇ３５で示された周波数帯域において、参照符号ｇ３３１で示された音響信号と、参照符号ｇ３４１で示された振動信号とが重複している。この場合には、参照符号ｇ３５で示された周波数帯域において、音響信号ｇ３３１と振動信号ｇ３４１とが重畳し、ユーザは、当該周波数帯域ｇ３５の音響を、他の周波数帯域の音響に比べて出力が増大したように感じることとなる。
　そのため、信号処理部２１３は、スピーカ１１及びアクチュエータ１３それぞれからの出力が重複する周波数帯域において、少なくともいずれか一方の出力の振幅を制限してもよい（換言すると、ゲインまたはボリュームを制限してもよい）。具体的な一例として、信号処理部２１３は、音響出力と振動出力との出力比をあらかじめ決めておき、当該出力比に応じて音響出力及び振動出力それぞれを減衰させる減衰量を決定してもよい。例えば、音響出力と振動出力との出力比を１：１とした場合には、信号処理部２１３は、音響出力及び振動出力それぞれの振幅を１／２に減衰させればよい。また、他の一例として、音響出力と振動出力との出力比を２：１とした場合には、信号処理部２１３は、音響出力の振幅を２／３に減衰させ、振動出力の振幅を１／３に減衰させればよいこととなる。
　また、他の一例として、信号処理部２１３は、スピーカ１１からの音響出力の振幅と、アクチュエータ１３からの振動出力の振幅との比率に基づき重み付けを行い、当該重み付けに応じて音響出力及び振動出力の振幅を減衰させてもよい。
　　［１．５．処理］
　次に、図１２及び図１３を参照して、本実施形態に係る体感導入システムの一連の動作の流れについて、特に、体感導入装置１０及び制御装置２０の動作に着目して説明する。図１２は、本実施形態に係る体感導入システムの一連の動作の流れについて説明するための説明図であり、当該体感導入装置１０を、ゲーム機器等のコントローラとして構成した場合の操作イメージの一例を示している。また、図１３は、本実施形態に係る体感導入システムの一連の動作の流れの一例を示している。
　本説明では、図１２に示すように、ユーザが体感導入装置１０を左右に傾けることで、表示装置９０の表示部９１に表示された箱状のオブジェクトｖ２０を操作し、当該操作に応じてオブジェクトｖ２０内のオブジェクトｖ２１が動作する場合を例に説明する。
　　（ステップＳ１０１）
　例えば、図１２の左側の図に示す例では、オブジェクトｖ２１は、箱状のオブジェクトｖ２０の右側の側面ｖ２０１の内面近傍に位置している。この状態から、図１２の右側の図に示すように、ユーザが体感導入装置１０を左側に傾けるように操作を行ったものとする。
　このとき、ユーザによる、体感導入装置１０を左側に傾ける操作は、当該体感導入装置１０内の検知部１９３（図９参照）により検知される。
　　（ステップＳ１０３）
　検知部１９３は、検知した操作内容、即ち、操作の種別（例えば、体感導入装置１０を傾ける操作を示す種別）、操作方向、及び操作量を示す制御信号を、制御部１４を介して制御装置２０に通知する。
　　（ステップＳ１０５）
　演算部２１１は、ユーザが体感導入装置１０に対して行った操作の内容を示す制御信号を、ネットワークｎ１を介して、当該体感導入装置１０から取得する。演算部２１１は、取得した制御信号に基づき、操作の種別、操作方向、及び操作量を認識する。例えば、図１２に示す例の場合には、演算部２１１は、ユーザが、体感導入装置１０を、どのくらいの量（例えば、角度）だけ左方向に向けて傾けたかを認識することとなる。
　演算部２１１は、例えば、操作の種別及び操作の方向に基づきオブジェクトｖ２０に働く力の方向を算出し、操作量に基づき当該オブジェクトｖ２０に働く力の大きさを算出する。そして、演算部２１１は、算出した、オブジェクトｖ２０に働く力の方向と、当該力の量とに基づき、当該オブジェクトｖ２０の移動方向及び移動量を算出する。
　また、演算部２１１は、オブジェクトｖ２０の移動に伴い、当該オブジェクトｖ２０内に位置するオブジェクトｖ２１の運動方向及び運動量を算出する。ここでは、オブジェクトｖ２１は、仮想的に設定された重力の影響で、オブジェクトｖ２０の側面ｖ２０３側に向けて左側に移動し、当該側面ｖ２０３の内面に衝突したものとして説明する。
　演算部２１１は、物理演算の結果、例えば、算出したオブジェクトｖ２０及びｖ２１の運動方向や運動速度を示す情報を、信号処理部２１３と、表示制御部２１５とに通知する。これにより、信号処理部２１３及び表示制御部２１５は、箱状のオブジェクトｖ２０が左に向けて傾き、当該オブジェクトｖ２０の移動に伴い、オブジェクトｖ２１が、側面ｖ２０３側に向けて左側に移動し、当該側面ｖ２０３の内面に衝突したことを認識する。
　　（ステップＳ１０７）
　信号処理部２１３は、演算部２１１による物理演算の結果に基づき、体感導入装置１０のスピーカ１１Ｒ及び１１Ｒから出力される音響信号に対して信号処理を施し、アクチュエータ１３Ｒ及び１３Ｌを振動させるための制御信号を生成する。
　例えば、信号処理部２１３は、再生されたコンテンツから、オブジェクトｖ２１が移動する動作に対応した音響信号を読み出し、オブジェクトｖ２１の移動に応じて、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号の振幅を制御する。具体的な一例として、信号処理部２１３は、オブジェクトｖ２１の画面右側から左側に向けた移動に応じて、スピーカ１１Ｒからの音響出力の振幅を時系列に沿って減衰させ、スピーカ１１Ｌからの音響出力の振幅を増幅させる。
　また、信号処理部２１３は、スピーカ１１Ｒからの音響出力とアクチュエータ１３Ｒからの振動出力とが連動するように、当該アクチュエータ１３Ｒを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｒから音響出力の減衰に連動して、アクチュエータ１３Ｒからの振動出力が時系列に沿って減衰するように、当該アクチュエータ１３Ｒを動作させるための制御信号を生成する。
　同様に、信号処理部２１３は、スピーカ１１Ｌからの音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｌから音響出力の増幅に連動して、アクチュエータ１３Ｌからの振動出力が時系列に沿って増幅するように、当該アクチュエータ１３Ｌを動作させるための制御信号を生成する。
　また、信号処理部２１３は、再生されたコンテンツから、オブジェクトｖ２１がオブジェクトｖ２０の内壁に衝突した場合の動作に対応した音響信号を読み出し、衝突した位置に応じて、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号の振幅を制御する（換言すると、音響信号のゲインやボリュームを制御する）。例えば、図１２に示す例では、オブジェクトｖ２１は、画面左側に位置する側面ｖ２０３の内壁に衝突したため、信号処理部２１３は、当該衝突に対応する音響信号が、左側のスピーカ１１Ｌから出力されるように制御する。
　信号処理部２１３は、衝突に対応する音響信号が、オブジェクトｖ２１が側面ｖ２０３の内壁に衝突したタイミングに同期してスピーカ１１Ｌから出力されるように、当該音響信号の出力タイミングを制御する。
　また、信号処理部２１３は、スピーカ１１Ｌから音響出力とアクチュエータ１３Ｌからの振動出力とが連動するように、当該アクチュエータ１３Ｌを駆動させるための制御信号を生成する。即ち、信号処理部２１３は、スピーカ１１Ｌからの衝突に対応する音響信号の出力に連動して、当該衝突に対応した触覚フィードバックを提示されるようにアクチュエータ１３Ｌを駆動するための制御信号を生成する。具体的な一例として、まず、信号処理部２１３は、あらかじめ生成された、物体どうしの衝突を提示するための基準信号を信号データ記憶部２５から読み出す。そして、信号処理部２１３は、演算部２１１による物理演算の結果や、音響信号の振幅に基づき、読み出した基準信号の振幅や位相を制御することで、アクチュエータ１３Ｌを駆動するための制御信号を生成する。
　　（ステップＳ１０９）
　信号処理部２１３は、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力される音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する制御信号とを、体感導入装置１０に送信する。
　　（ステップＳ１１１）
　信号処理部２１３から送信された、スピーカ１１Ｒ及び１１Ｌのそれぞれから出力するための音響信号と、アクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動するための制御信号とは、体感導入装置１０の制御部１４に受信される。
　制御部１４は、制御装置２０から受信した音響信号をスピーカ１１Ｒ及び１１Ｌから出力し、受信した制御信号に基づきアクチュエータ１３Ｒ及び１３Ｌそれぞれを駆動する。
　　（ステップＳ１１３）
　また、表示制御部２１５は、演算部２１１による物理演算の結果に基づき、オブジェクトｖ２０及びｖ２１の運動方向や運動速度を認識し、当該オブジェクトｖ２０及びｖ２１の表示位置や表示態様（例えば、向きや形状の変化等）を算出する。そして、表示制御部２１５は、算出したオブジェクトｖ２０及びｖ２１の表示位置や表示態様に基づき、表示部９１に表示されたオブジェクトｖ２０及びｖ２１の映像を表示装置９０に更新させる。
　以上により、ユーザによる体感導入装置１０の操作に基づき、表示装置９０の表示部９１に表示されたオブジェクトｖ２０及びｖ２１の動作が、制御装置２０により制御される。また、制御装置２０からの制御に基づき、表示部９１に表示されたオブジェクトｖ２０及びｖ２１の動作と、体感導入装置１０のスピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌからの振動出力とが連動する。このような構成により、本実施形態に係る体感導入装置システムは、表示部９１に表示された映像と、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとの間でそれぞれの定位を一致させる。そのため、本実施形態に係る体感導入システムは、より臨場感の高い触覚フィードバックの提示を実現することが可能となる。
　また、制御装置２０は、表示部９１に表示された映像と、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとに加えて、ユーザの操作の定位をあわせるように制御してもよい。例えば、図１４は、映像、音響出力、触覚フィードバック、及びユーザ操作の定位をあわせるように制御した場合の一例について説明するための説明図である。
　図１４に示す例では、コントローラとして構成された体感導入装置１０の筐体の右側に設けられた操作デバイス１９１Ｒをユーザが操作した場合について示している。この場合には、例えば、制御装置２０（図示しない）は、ユーザの操作デバイス１９１Ｒに対する操作に基づき、表示装置９０の表示部９１の右側にオブジェクトｖ３０を表示させる。また、このとき制御装置２０は、体感導入装置１０の右側に設けられたスピーカ１１Ｒから音響を出力するとともに、当該音響出力に連動して、体感導入装置１０の右側に設けられたアクチュエータ１３Ｒを振動させることで、ユーザの右手に触覚をフィードバックする。
　このように、図１４に示す体感導入システムでは、ユーザ操作、映像、音響出力、及び触覚フィードバックの定位をあわせることで、より臨場感の高い触覚フィードバックの提示を実現し、ひいては、操作時の没入間をより向上させることが可能となる。
　また、他の一例として、画面上に表示されるＵＩ（ユーザインタフェース）を操作する場合に、操作対象に応じて、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。
　この場合には、例えば、制御装置２０（図示しない）は、ボタンやコントロールバーのような所定の操作を行うためのオブジェクトを含むＵＩ（画面）を表示部９１に表示させ、ユーザ操作の内容に応じて、操作対象となるＵＩ中のオブジェクトを特定する。そして、制御装置２０は、ＵＩ中の所定のオブジェクトが操作対象となった場合に、スピーカ１１Ｒ及び１１Ｌのいずれかから音響を出力し、当該音響出力に連動してアクチュエータ１３Ｒ及び１３Ｌのいずれかの振動に基づく触覚をフィードバックする。
　このとき、制御装置２０は、ユーザの操作方向と、音響出力及び触覚フィードバックとの定位をあわせるように、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。具体的には、制御部２０は、例えば、ユーザが画面の右方向に向けて操作を行うことで所定のオブジェクトが操作対象となった場合には、体感導入装置１０のスピーカ１１Ｒから音響を出力し、アクチュエータ１３Ｒを駆動させることで振動をフィードバックしてもよい。
　また、制御装置２０は、操作対象となるオブジェクトの画面上の位置と、音響出力及び触覚フィードバックとの定位をあわせるように、スピーカ１１Ｒ及び１１Ｌからの音響出力と、アクチュエータ１３Ｒ及び１３Ｌの振動に基づく触覚フィードバックとを制御してもよい。具体的には、制御部２０は、例えば、ユーザ操作の結果、画面の右側に位置するオブジェクトが操作対象となった場合には、体感導入装置１０のスピーカ１１Ｒから音響を出力し、アクチュエータ１３Ｒを駆動させることで振動をフィードバックしてもよい。
　＜２．実施例＞
　次に、本実施形態に係る体感導入装置１０の実施例について説明する。前述したように、本実施形態に係る体感導入システムでは、体感導入装置１０は、複数のアクチュエータと、複数のスピーカとを含む。また、体感導入装置１０は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。そして、体感導入装置１０の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。このような構成により、本実施形態に係る体感導入装置システムは、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させ、臨場感の高い触覚フィードバックの提示を実現する。
　一方で、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させることが可能であれば、互いに関連付けられたスピーカ及びアクチュエータそれぞれの数や設置される位置は特に限定されない。例えば、体感導入装置１０の筐体の形状や、用途等に応じて、互いに関連付けられたスピーカ及びアクチュエータそれぞれの数や設置される位置を適宜変更してもよい。そこで、以降では、本実施形態に係る体感導入装置１０の構成に着目して各実施例として説明する。
　　［２．１．実施例１：アクチュエータ及びスピーカの構成例１］
　まず、図１５を参照しながら、実施例１に係る体感導入装置１０の構成について説明する。図１５は、実施例１に係る体感導入装置１０の概略的な構成の一例について説明するための説明図である。なお、図１５は、図２と同様に、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。
　前述した実施形態では、図２に示したように、コントローラとして構成された体感導入装置１０は、互いに関連付けられた１つのスピーカ１１と１つのアクチュエータ１３との組が、当該体感導入装置１０の左右にそれぞれ設けられた場合について説明した。これに対して、本実施例に係る体感導入装置１０では、１つのスピーカ１１に対して複数のアクチュエータ１３が関連付けられている。
　例えば、図１５に示すように、本実施例に係る体感導入装置１０の筐体の背面には、スピーカ１１Ｒ及び１１Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはスピーカ１１Ｒが設けられ、体感導入装置１０の筐体の左側背面にはスピーカ１１Ｌが設けられている。なお、図１５に示すスピーカ１１Ｒ及び１１Ｌは、図２におけるスピーカ１１Ｒ及び１１Ｌに対応している。
　また、本実施例に係る体感導入装置１０は、図２に示す例と同様に、互いに逆側に位置する筐体の両端部近傍に、ユーザが当該筐体を保持するための保持部１０１Ｒ及び１０１Ｌを備える。
　また、本実施例に係る体感導入装置１０は、アクチュエータ１３１Ｒ、１３３Ｒ、１３１Ｌ、１３３Ｌを備えている。
　アクチュエータ１３１Ｒ及び１３３Ｒは、ユーザが体感導入装置１０と正対した場合において、当該体感導入装置１０の筐体の右側に設けられる。具体的な一例として、図１５に示す例では、アクチュエータ１３１Ｒは、保持部１０１Ｒ内に設けられている。また、アクチュエータ１３３Ｒは、体感導入装置１０の筐体の右側における、アクチュエータ１３１Ｒとは異なる位置、例えば、スピーカ１１Ｒの近傍に設けられている。
　同様に、アクチュエータ１３１Ｌ及び１３３Ｌは、ユーザが体感導入装置１０と正対した場合において、当該体感導入装置１０の筐体の左側に設けられる。具体的な一例として、図１５に示す例では、アクチュエータ１３１Ｌは、保持部１０１Ｌ内に設けられている。また、アクチュエータ１３３Ｌは、体感導入装置１０の筐体の左側における、アクチュエータ１３１Ｌとは異なる位置、例えば、スピーカ１１Ｌの近傍に設けられている。
　本実施例に係る体感導入システムでは、体感導入装置１０のスピーカ１１Ｒからの音響出力と、アクチュエータ１３１Ｒ及び１３３Ｒそれぞれからの振動出力とが連動するように制御される。同様に、体感導入装置１０のスピーカ１１Ｌからの音響出力と、アクチュエータ１３１Ｌ及び１３３Ｌそれぞれからの振動出力とが連動するように制御される。なお、以降では、アクチュエータ１３１Ｒ及び１３１Ｌを特に区別しない場合には、単に「アクチュエータ１３１」と記載する場合がある。同様に、アクチュエータ１３３Ｒ及び１３３Ｌを特に区別しない場合には、単に「アクチュエータ１３３」と記載する場合がある。
　また、アクチュエータ１３１と、アクチュエータ１３３とに、種別や振動方向の異なるアクチュエータを適用してもよい。
　例えば、図１６は、本実施例に係るアクチュエータ１３１及び１３３の一例について説明するための説明図である。例えば、図１６に示す例では、アクチュエータ１３１は、互いに直交するｘ方向、ｙ方向、及びｚ方向のうち、ｚ方向に沿って振動するように構成または配置されている。また、アクチュエータ１３３は、アクチュエータ１３１と異なる方向、例えば、ｘ方向に沿って振動するように構成または配置されている。
　このように、アクチュエータ１３１と、アクチュエータ１３３とを、互いに異なる方向に振動するように構成または配置し、アクチュエータ１３１及び１３３それぞれの振動の振幅を個別に調整できるようにしてもよい。これにより、本実施例に係る体感導入装置１０は、アクチュエータ１３１及び１３３として、所定の一方向にのみ振動するアクチュエータを適用した場合においても、それぞれの振幅の比率や位相を調整することで、多様な振動（即ち、触覚フィードバック）を実現することが可能となる。即ち、本実施例に係る体感導入装置１０は、アクチュエータ１３１及び１３３からの振動出力の制御により多様な触覚フィードバックを実現することで、さらに臨場感を向上させることが可能となる。
　また、互いに関連付けられた、スピーカ１１の音響出力と、アクチュエータ１３１及び１３３それぞれからの振動出力とが連動すれば、各出力を制御する方法は特に限定されないことは言うまでもない。具体的な一例として、アクチュエータ１３１及び１３３の振動出力のうち、一方が、図６に示すように線形的に変動するように制御され、他方が、図７に示すように非線形的に変動するように制御されてもよい。このような構成により、本実施例に係る体感導入装置１０は、さらに多様な振動（即ち、触覚フィードバック）を実現することが可能となる。
　　［２．２．実施例２：アクチュエータ及びスピーカの構成例２］
　次に、実施例２に係る体感導入装置１０について説明する。前述した実施形態及び実施例では、スピーカ１１とアクチュエータ１３とが異なるデバイスとして構成されている例について説明した。一方で、前述したスピーカ１１及びアクチュエータ１３に替えて、例えば、ボイスコイルモータなどのように、スピーカとアクチュエータとが一体的に構成されたデバイスを設けてもよい。
　例えば、図１７は、本実施例に係る体感導入装置１０の概略的な構成の一例を示しており、ボイスコイルモータのようにスピーカとアクチュエータとが一体的に構成されたデバイスを適用した場合の一例を示している。なお、図１７は、図２と同様に、体感導入装置１０をユーザが保持した場合に、当該ユーザとは逆側から見た場合の当該体感導入装置１０の構成（即ち、体感導入装置１０の背面側の構成）を示している。
　図１７に示すように、本実施例に係る体感導入装置１０の筐体の背面には、ボイスコイルモータ１５Ｒ及び１５Ｌが設けられている。具体的には、ユーザが体感導入装置１０と正対した場合に、体感導入装置１０の筐体の右側背面にはボイスコイルモータ１５Ｒが設けられ、体感導入装置１０の筐体の左側背面にはボイスコイルモータ１５Ｌが設けられている。
　ボイスコイルモータ１５Ｒは、図２に基づき説明した例における、スピーカ１１Ｒ及びアクチュエータ１３Ｒと同様の役割を果たす。また、ボイスコイルモータ１５Ｌは、図２に基づき説明した例における、スピーカ１１Ｌ及びアクチュエータ１３Ｌと同様の役割を果たす。なお、以降では、ボイスコイルモータ１５Ｒ及び１５Ｌを特に区別しない場合には、単に「ボイスコイルモータ１５」と記載する場合がある。
　スピーカ１１及びアクチュエータ１３に替えて、ボイスコイルモータ１５を設ける場合には、例えば、制御装置２０は、振動を示す振動信号を音響信号に合成した合成信号に基づき、ボイスコイルモータ１５を駆動させてもよい。この場合には、ボイスコイルモータ１５は、例えば、合成信号中の、所定の周波数以上（例えば、３００Ｈｚ以上）の高周波帯域の信号を音響信号として出力し、所定の周波数以下（例えば、１０００Ｈｚ以下）の低周波帯域の信号に基づき振動信号として出力するように構成されていてもよい。
　なお、ボイスコイルモータ１５は、いずれか一方向にのみ振動可能に構成されている場合がある。その場合には、制御装置２０は、前述したように、当該ボイスコイルモータ１５の次元にあわせて、振動出力の次元をあわせて振動信号を生成し、当該振動信号を音響信号と合成することで合成信号を生成すればよい。
　以上、変形例２に係る体感導入装置１０のように、スピーカ及びアクチュエータに替えて、当該スピーカ及びアクチュエータが一体的に構成されたボイスコイルモータのようなデバイスを適用することも可能である。
　　［２．３．実施例３：携帯型端末への適用例］
　次に、変形例３として、本実施形態に係る体感導入装置１０を、スマートフォンのような携帯型の端末として構成した場合の構成の一例について説明する。なお、以降では、本実施例に係る体感導入装置を、「体感導入装置３０」と呼ぶ場合がある。
　まず、図１８を参照して、本実施例に係る体感導入装置３０の概要について説明する。図１８は、本実施例に係る体感導入装置３０の概要について説明するための説明図である。図１８の左側の図は、体感導入装置３０の筐体を縦向きに保持した場合を示しており、図１８の右側の図は、体感導入装置３０の筐体を横向きに保持した場合を示している。このように、本実施例では、体感導入装置３０は、筐体の向きを切り替えて保持可能に構成されているものとして説明する。
　例えば、図１９は、本実施例に係る体感導入装置３０の概略的な構成の一例を示している。なお、以降では、図１９に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ａ」と呼ぶ場合がある。
　図１９に示す例では、ユーザが体感導入装置３０ａの前面と対面するように（即ち、ユーザが体感導入装置３０ａと正対するように）当該体感導入装置３０を縦向きに保持した場合に、ユーザ側から見た体感導入装置３０ａの構成を示している。具体的には、ユーザが体感導入装置３０ａの前面、即ち、ディスプレイ等の表示部が設けられた面と対面するように当該体感導入装置３０ａを保持した場合に、図面の右側が、ユーザから見た右側（Ｒ）に相当し、図面の左側が、ユーザから見た左側（Ｌ）に相当する。
　図１９に示すように、本実施例に係る体感導入装置３０ａは、当該体感導入装置３０ａの前面に表示部３９（即ち、ディスプレイ）が設けられている。なお、表示部３９は、タッチパネルとして構成されていてもよい。
　また、以降では、説明をわかりやすくするために、体感導入装置３０ａの筐体の前面の周囲に沿って設けられた端部を、「端部３０１」と呼ぶ場合がある。また、端部３０１のうち、体感導入装置３０ａを縦向きに保持した場合の、端部３０１を構成する、左側、右側、上側、及び下側の各端部を、端部３０１ａ、３０１ｂ、３０１ｃ、及び３０１ｄとそれぞれ呼ぶ場合がある。
　図１９に示すように、本実施例に係る体感導入装置３０ａには、スピーカ３１Ｒ及び３１Ｌが設けられている。スピーカ３１Ｌは、体感導入装置３０ａの左側の端部３０１ａ近傍における、当該体感導入装置３０ａの背面側に設けられている。同様に、スピーカ３１Ｒは、体感導入装置３０ａの右側の端部３０１ｂ近傍における、当該体感導入装置３０ａの背面側に設けられている。
　また、本実施例に係る体感導入装置３０ａには、アクチュエータ３３Ｒ及び３３Ｌが設けられている。アクチュエータ３３Ｌは、体感導入装置３０ａの左側の端部３０１ａ近傍における、当該体感導入装置３０ａの筐体内に設けられている。同様に、アクチュエータ３３Ｒは、体感導入装置３０ａの右側の端部３０１ｂ近傍における、当該体感導入装置３０ａの筐体内に設けられている。
　本実施例に係る体感導入装置３０ａは、スピーカ３１Ｒからの音響出力と、アクチュエータ３３Ｒからの振動出力とを連動するように制御する。同様に、体感導入装置３０ａは、スピーカ３１Ｌからの音響出力と、アクチュエータ３３Ｌからの振動出力とを連動するように制御する。
　なお、図１９に示すように、端部３０１ｃがユーザから見て上側に位置する場合には、スピーカ３１Ｌ及びアクチュエータ３３Ｌが、ユーザに対して左側に位置し、スピーカ３１Ｒ及びアクチュエータ３３Ｒが右側に位置する。このような向きにおいて、体感導入装置３０ａは、ユーザに対して左側に触覚をフィードバックする場合には、スピーカ３１Ｌからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｌを振動させる。同様に、体感導入装置３０ａは、ユーザに対して右側に触覚をフィードバックする場合には、スピーカ３１Ｒからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｒを振動させる。
　一方で、端部３０１ｄがユーザから見て上側に位置する場合には、スピーカ３１Ｌ及びアクチュエータ３３Ｌが、ユーザに対して右側に位置し、スピーカ３１Ｒ及びアクチュエータ３３Ｒが左側に位置することとなる。この場合には、例えば、体感導入装置３０ａは、各スピーカ３１からの音響出力と、各アクチュエータ３３からの振動出力とを、端部３０１ｃがユーザから見て上側に位置する場合とは反対となるように制御してもよい。
　具体的には、体感導入装置３０ａは、ユーザに対して左側に触覚をフィードバックする場合には、スピーカ３１Ｒからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｒを振動させればよい。同様に、体感導入装置３０ａは、ユーザに対して右側に触覚をフィードバックする場合には、スピーカ３１Ｌからの音響を出力させ、当該音響出力に連動するようにアクチュエータ３３Ｌを振動させればよい。
　なお、体感導入装置１０ａは、例えば、加速度センサを内蔵することで、自身（即ち、体感導入装置１０ａの筐体）がどのような向きでユーザに保持されているかを認識できることは言うまでもない。
　次に、図２０を参照して、本実施例に係る体感導入装置３０の他の一例について説明する。図２０は、本実施例に係る体感導入装置３０の概略的な構成の他の一例を示している。なお、以降では、図２０に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ｂ」と呼ぶ場合がある。
　図２０に示した体感導入装置３０ｂは、アクチュエータ３３が設けられている位置が、図１９に基づき前述した体感導入装置３０ａと異なる。そのため、以下では、体感導入装置３０ｂの構成について、図１９に示した体感導入装置３０ａと異なる構成、即ち、アクチュエータ３３の構成に着目して説明する。
　図２０に示すように、本実施例に係る体感導入装置３０ｂに、アクチュエータ３３ａ及び３３ｂが設けられている。アクチュエータ３３ａは、体感導入装置３０ｂの上側の端部３０１ｃ近傍の、当該体感導入装置３０ｂの筐体内に設けられている。同様に、アクチュエータ３３ｂは、体感導入装置３０ｂの右側の端部３０１ｄ近傍の、当該体感導入装置３０ｂの筐体内に設けられている。
　本実施例に係る体感導入装置３０ｂは、自身（即ち、体感導入装置３０ｂの筐体）が縦向きに保持されている場合には、アクチュエータ３３ａ及び３３ｂのうちいずれか一方の振動出力がスピーカ３１Ｒからの音響出力と連動し、他方の振動出力がスピーカ３１Ｌからの音響出力と連動する。
　また、体感導入装置３０ｂは、自身が横向きに保持されている場合には、アクチュエータ３３ａ及び３３ｂのうち、ユーザから見て右側に位置するアクチュエータ３３からの振動出力を、スピーカ３１Ｒからの音響出力（即ち、ユーザの右耳に向けた音響出力）に連動させる。同様に、体感導入装置３０ｂは、アクチュエータ３３ａ及び３３ｂのうち、ユーザから見て左側に位置するアクチュエータ３３からの振動出力を、スピーカ３１Ｌからの音響出力（即ち、ユーザの左耳に向けた音響出力）に連動させる。
　以上説明したように、本実施例に係る体感導入装置３０は、自身（即ち、体感導入装置３０ｂの筐体）が保持される向きに応じて、スピーカ３１とアクチュエータ３３との組み合わせを適宜変更してもよい。
　また、図１９に示す例と、図２０に示す例とを組み合わせてもよい。例えば、図２１は、本実施例に係る体感導入装置３０の概略的な構成の他の一例を示している。なお、以降では、図２１に示す体感導入装置３０を、他の構成と特に区別する場合には、「体感導入装置３０ｃ」と呼ぶ場合がある。
　図２１に示すように、体感導入装置３０ｃには、図１９に基づき説明したアクチュエータ３３Ｒ及び３３Ｌと、図２０に基づき説明したアクチュエータ３３ａ及び３３ｂの双方が設けられている。なお、体感導入装置３０ｃに設けられたアクチュエータ３３Ｒ、３３Ｌ、３３ａ、及び３３ｂそれぞれは、図１９及び図２０に基づき前述した内容と同様に制御することが可能である。
　また、他の一例として、体感導入装置３０ｃは、アクチュエータ３３Ｒ、３３Ｌ、３３ａ、及び３３ｂそれぞれからの振動出力のうち、同じスピーカ３１からの音響出力に関連付けられた振動出力の振幅を、当該音響出力に連動するようにそれぞれ制御してもよい。具体的な制御内容については、図１５に基づき説明した実施例１に係る体感導入装置１０と同様である。
　以上、実施例３として説明したように、本実施形態に係る体感導入装置を、スマートフォンのような携帯型の端末に適用することも可能である。また、本実施例に係る体感導入装置３０は、自身（即ち、体感導入装置３０ｂの筐体）が保持される向きに応じて、スピーカ３１とアクチュエータ３３との組み合わせを適宜変更してもよい。なお、上記では、スマートフォンの場合を例に説明したが、必ずしもスマートフォンに限定するものではないことは言うまでもない。例えば、ディスプレイや操作手段が設けられた携帯型のゲーム端末に対しても、同様に、実施例３として説明した体感導入装置を適用することが可能である。
　　［２．４．実施例４：体感導入装置の一例］
　次に、実施例４として、本実施形態に係る体感導入装置における、当該体感導入装置の形状や用途と、スピーカ及びアクチュエータの配置との関係の一例について説明する。まず、図２２を参照して、実施例４に係る体感導入装置の一例について説明する。図２２は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。なお、以降では、図２２に示す体感導入装置を、「体感導入装置４０」と呼ぶ場合がある。
　図２２に示すように、体感導入装置４０は、筐体が、円形の上面及び底面と、当該上面及び底面の円周に沿って設けられた側面４０１とを有する円筒状に形成されている。当該体感導入装置４０は、例えば、図２２に示すように、体感導入装置４０の底面を下から支えるように、ユーザに保持される。
　また、体感導入装置４０は、筐体内部の底面に、側面４０１の内面に沿って、ボイスコイルモータ４５ａ～４５ｆが、この順序で並べられるように設けられている。なお、ボイスコイルモータ４５ａ～４５ｆそれぞれを特に区別しない場合には、単に「ボイスコイルモータ４５」と記載する場合がある。
　ボイスコイルモータ４５ａ～４５ｆのそれぞれは、例えば、体感導入装置４０の底面から外部に向けて音響を出力するように配置されている。また、ボイスコイルモータ４５ａ～４５ｆそれぞれは、例えば、体感導入装置４０の底面から上面に向けた方向に沿って振動するように配置されている。なお、ボイスコイルモータ４５ａ～４５ｆそれぞれからの音響出力及び振動出力は、ボイスコイルモータ４５ごとに連動するように制御されることは、前述した実施形態及び各実施例に係る体感導入装置と同様である。
　このような構成に基づき、体感導入装置４０は、ユーザに提示する力覚に方向性を持たせることが可能となる。具体的な一例として、体感導入装置４０は、側面４０１の内面に沿って、ボイスコイルモータ４５ａ～４５ｆの順で、音響と、振動に基づく触覚フィードバックとを出力してもよい。このような制御により、体感導入装置４０は、自身の筐体内を、側面４０１の内面に沿って球体が転がっているような状態を模擬した触覚を、ユーザにフィードバックすることが可能となる。
　もちろん、図２２に示す、ボイスコイルモータ４５それぞれを、互いの出力が連動するように関連付けられたスピーカ及びアクチュエータの組に置き換えてもよいことは言うまでもない。
　また、本実施例に係る体感導入装置の他の一例について、図２３を参照して説明する。図２３は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。なお、以降では、図２３に示す体感導入装置を、「体感導入装置５０」と呼ぶ場合がある。
　図２３に示すように、体感導入装置５０は、筐体が、円形の上面及び底面と、当該上面及び底面の円周に沿って設けられた側面５０１とを有する円筒状（棒状）に形成されている。当該体感導入装置５０は、例えば、図２３に示すように、体感導入装置５０の側面５０１を握るように、ユーザに保持される。
　また、体感導入装置５０は、側面５０１の内面に沿って、ボイスコイルモータ５５ａ～５５ｃが、この順序で並べられるように設けられている。なお、ボイスコイルモータ５５ａ～５５ｃそれぞれを特に区別しない場合には、単に「ボイスコイルモータ５５」と記載する場合がある。
　ボイスコイルモータ５５ａ～５５ｃのそれぞれは、例えば、体感導入装置５０の側面５０１から外部に向けて音響を出力するように配置されている。また、ボイスコイルモータ５５ａ～５５ｃそれぞれは、例えば、体感導入装置５０の上面及び底面の半径方向に沿って振動するように配置されている。なお、ボイスコイルモータ５５ａ～５５ｃそれぞれからの音響出力及び振動出力は、ボイスコイルモータ５５ごとに連動するように制御されることは、前述した実施形態及び各実施例に係る体感導入装置と同様である。
　このような構成に基づき、体感導入装置５０は、ユーザに提示する力覚に方向性を持たせることが可能となる。具体的な一例として、体感導入装置５０は、側面５０１の内面に沿って、ボイスコイルモータ５５ａ～５５ｃの順で、音響と、振動に基づく触覚フィードバックとを出力するとともに、ボイスコイルモータ５５ａ～５５ｃ間で音響出力及び振動出力の振幅の制御量（例えば、ゲインやボリュームの制御量）を偏らせてもよい。また、このとき、体感導入装置５０は、ボイスコイルモータ５５ａ～５５ｃからの音響出力及び振動出力の位相を制御してもよい。このような制御により、体感導入装置５０は、自身の筐体を基準として所望の方向に向けてユーザを誘導するように、当該ユーザに対して方向性をもった力覚を提示することが可能となる。
　もちろん、図２３に示す、ボイスコイルモータ５５それぞれを、互いの出力が連動するように関連付けられたスピーカ及びアクチュエータの組に置き換えてもよいことは言うまでもない。
　以上、説明したように、本実施形態に係る体感導入装置の筐体の形状は特に限定されず、当該筐体の形状や用途に応じて、各スピーカ及び各アクチュエータ（もしくは、各ボイスコイルモータ）を配置する位置や向きを適宜変更してもよい。また、図２２及び図２３に示した例からも明らかなように、各スピーカ及び各アクチュエータ（もしくは、各ボイスコイルモータ）は、３次元的に配置されてもよいことは言うまでもない。
　　［２．５．実施例５：コントローラへの適用例］
　次に、図２４及び図２５を参照して、実施例５に係る体感導入装置について説明する。図２４は、本実施例に係る体感導入装置の概要について説明するための説明図である。また、図２５は、本実施例に係る体感導入装置の概略的な構成の一例について説明するための説明図である。
　図２４に示すように、本実施例に係る体感導入装置６０は、互いに異なる筐体６０Ｌ及び６０Ｒが互いに連動して動作するように構成されている。例えば、図２４に示す例では、筐体６０Ｌは、ユーザにより左手で保持されるように構成されており、筐体６０Ｒは、ユーザにより右手で保持されるように構成されている。筐体６０Ｒ及び６０Ｌのそれぞれには、ユーザが操作を行うための入力デバイスや、当該筐体自体の向きや位置の変化を検出するためのセンサ（例えば、加速度センサやジャイロセンサ（角速度センサ））が設けられていてもよい。
　筐体６０Ｒには、スピーカ６１Ｒと、アクチュエータ６３Ｒとが設けられている。例えば、スピーカ６１Ｒは、ユーザが筐体６０Ｒを保持したときに、ユーザの身体に近い側の位置（例えば、手元に相当する位置）に設けられている。また、アクチュエータ６３Ｒは、筐体６０Ｒをユーザが保持したときに、当該保持部の近傍の筐体６０Ｒの内部に設けられている。
　同様に、筐体６０Ｌには、スピーカ６１Ｌと、アクチュエータ６３Ｌとが設けられている。例えば、スピーカ６１Ｌは、ユーザが筐体６０Ｌを保持したときに、ユーザの身体に近い側の位置（例えば、手元に相当する位置）に設けられている。また、アクチュエータ６３Ｌは、筐体６０Ｌをユーザが保持したときに、当該保持部の近傍の筐体６０Ｌの内部に設けられている。
　スピーカ６１Ｒは、主にユーザの右耳に向けて音響を出力するためのスピーカである。同様に、スピーカ６１Ｌは、主にユーザの左耳に向けて音響を出力するためのスピーカである。
　また、アクチュエータ６３Ｒは、振動することで、筐体６０Ｒを保持するユーザの手（即ち、ユーザの右手）に対して触覚をフィードバックする。同様に、アクチュエータ６３Ｌは、振動することで、筐体６０Ｌを保持するユーザの手（即ち、ユーザの左手）に対して触覚をフィードバックする。
　筐体６０Ｒに設けられたアクチュエータ６３Ｒからの振動出力は、当該筐体６０Ｒに設けられたスピーカ６１Ｒからの音響出力と連動するように制御される。同様に、筐体６０Ｌに設けられたアクチュエータ６３Ｌからの振動出力は、当該筐体６０Ｌに設けられたスピーカ６１Ｌからの音響出力と連動するように制御される。なお、各スピーカ６１からの音響出力と各アクチュエータ６３からの振動出力とを連動させる制御は、前述した実施形態及び各実施例と同様である。
　以上、実施例５として説明したように、本実施形態に係る体感導入装置は、複数の筐体が連動するように構成されていてもよい。なお、この場合には、少なくとも、図２３に基づき説明したように、同一筐体に設けられたスピーカとアクチュエータとの間で、各出力（即ち、音響出力及び振動出力）が連動するように制御されることが望ましい。
　＜３．まとめ＞
　以上、説明したように、本実施形態に係る体感導入システムでは、体感導入装置は、複数のアクチュエータと、複数のスピーカとを含む。そして、当該体感導入装置は、複数のアクチュエータのうち１以上のアクチュエータと、複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含むように構成される。また、体感導入装置の各スピーカからの音響出力と、各アクチュエータからの振動出力とは、互いに関連付けられたアクチュエータとスピーカとの組ごとに連動するように制御される。このような構成に基づき、本実施形態に係る体感導入装置システムは、各スピーカからの音響出力の定位と、各アクチュエータの振動に基づく触覚フィードバックの定位とを一致させる。これにより、本実施形態に係る体感導入装置システムは、臨場感や没入間をより高めることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　複数のアクチュエータと、
　複数のスピーカと、
　を備え、
　前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、
　互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置。
（２）
　複数のアクチュエータと、前記複数のスピーカとを内蔵する筐体を備え、
　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記筐体に設けられている、前記（１）に記載の体感導入装置。
（３）
　前記筐体は、端部を備え、
　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記端部近傍に設けられている、前記（２）に記載の体感導入装置。
（４）
　前記筐体は、異なる複数の前記端部を備え、
　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記端部の近傍に設けられている、前記（３）に記載の体感導入装置。
（５）
　前記筐体は、当該筐体を保持するための複数の保持部を備え、
　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記保持部の内部または近傍に設けられている、前記（２）に記載の体感導入装置。
（６）
　互いに異なる組に含まれる前記アクチュエータに関連付けられた前記スピーカそれぞれは、互いに離間するように前記筐体に設けられている、前記（２）～（５）のいずれか一項に記載の体感導入装置。
（７）
　前記筐体の位置または向きの変化を検知する検知部を備え、
　前記筐体の位置または向きの変化に連動して、互いに関連付けられた前記スピーカと前記アクチュエータとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、前記（２）～（６）のいずれか一項に記載の体感導入装置。
（８）
　少なくとも一の前記スピーカに対して複数の前記アクチュエータが関連付けられ、
　当該複数のアクチュエータそれぞれは、相対的に互いに異なる方向に振動する、前記（１）～（７）のいずれか一項に記載の体感導入装置。
（９）
　前記スピーカに関連付けられた前記アクチュエータは、当該スピーカの近傍に設けられている、前記（１）～（８）のいずれか一項に記載の体感導入装置。
（１０）
　互いに関連付けられた前記アクチュエータと前記スピーカとが一体的に構成された、前記（１）～（９）のいずれか一項に記載の体感導入装置。
（１１）
　互いに関連付けられた前記アクチュエータと前記スピーカとのうち、いずれか一方からの出力は、他方からの出力を制御するための制御信号を基に生成された他の制御信号に基づき制御される、前記（１）～（１０）のいずれか一項に記載の体感導入装置。
（１２）
　互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、ユーザに対して体感をフィードバックするための物理演算の結果に基づき制御される、前記（１）～（１０）のいずれか一項に記載の体感導入装置。
（１３）
　互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、映像の解析結果に基づき算出された当該映像中のオブジェクトの表面の形状及び粗さのうちの少なくともいずれかに基づき制御される、前記（１）～（１０）のいずれか一項に記載の体感導入装置。
（１４）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が制限される、前記（１）～（１３）のいずれか一項に記載の体感導入装置。
（１５）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が連動するように、当該前記アクチュエータ及び前記スピーカそれぞれからの出力を制御する制御部を備えた、前記（１）～（１４）のいずれか一項に記載の体感導入装置。
（１６）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、表示部に表示された映像出力と連動するように制御される、前記（１）～（１５）のいずれか一項に記載の体感導入装置。
（１７）
　前記表示部を備えた、前記（１６）に記載の体感導入装置。
（１８）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と連動するように制御される、前記（１）～（１７）のいずれか一項に記載の体感導入装置。
（１９）
　前記操作部を備えた、前記（１８）に記載の体感導入装置。
（２０）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、操作部を介して入力されたユーザ入力と、表示部に表示された映像出力とに基づき、互いに連動するように制御される、前記（１）～（１４）のいずれか一項に記載の体感導入装置。
（２１）
　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、前記ユーザ入力に基づき決定される、前記映像出力中の操作対象に応じて、互いに連動するように制御される、前記（２０）に記載の体感導入装置。
（２２）
　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、
　前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、
　前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、
　を備えた、体感導入システム。
（２３）
　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、
　生成された制御信号を前記体感導入装置に出力する出力部と、
　を備えた、制御装置。
（２４）
　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、
　前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、
　を含む、体感導入方法。
　１０　　体感導入装置
　１０１Ｒ、１０１Ｌ　保持部
　１１、１１Ｒ、１１Ｌ　スピーカ
　１２　　通信部
　１３、１３Ｒ、１３Ｌ　アクチュエータ
　１３１、１３１Ｒ、１３１Ｌ　アクチュエータ
　１４　制御部
　１５、１５Ｒ、１５Ｌ　ボイスコイルモータ
　１９　入力部
　１９１　操作部
　１９３　検知部
　２０　　制御装置
　２１　　制御部
　２１１　演算部
　２１３　信号処理部
　２１５　表示制御部
　２３　　通信部
　２５　　信号データ記憶部
　３０、３０ａ～３０ｃ　体感導入装置
　３１、３１Ｒ、３１Ｌ　スピーカ
　３３、３３Ｒ、３３Ｌ、３３ａ、３３ｂ　アクチュエータ
　３９　　表示部
　４０　　体感導入装置
　４５、４５ａ～４５ｆ　ボイスコイルモータ
　５０　　体感導入装置
　５５、５５ａ～５５ｃ　ボイスコイルモータ
　６０　　体感導入装置
　６０Ｒ、６０Ｌ　筐体
　６１、６１Ｒ、６１Ｌ　スピーカ
　６３、６３Ｒ、６３Ｌ　アクチュエータ
　９０　　表示装置
　９１　　表示部
 

Claims (20)

  1. 　複数のアクチュエータと、
    　複数のスピーカと、
    　を備え、
    　前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含み、
    　互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、体感導入装置。
  2. 　複数のアクチュエータと、前記複数のスピーカとを内蔵する筐体を備え、
    　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記筐体に設けられている、請求項１に記載の体感導入装置。
  3. 　前記筐体は、端部を備え、
    　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに離間するように前記端部近傍に設けられている、請求項２に記載の体感導入装置。
  4. 　前記筐体は、異なる複数の前記端部を備え、
    　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記端部の近傍に設けられている、請求項３に記載の体感導入装置。
  5. 　前記筐体は、当該筐体を保持するための複数の保持部を備え、
    　互いに異なる組に含まれる前記スピーカに関連付けられた前記アクチュエータそれぞれは、互いに異なる前記保持部の内部または近傍に設けられている、請求項２に記載の体感導入装置。
  6. 　互いに異なる組に含まれる前記アクチュエータに関連付けられた前記スピーカそれぞれは、互いに離間するように前記筐体に設けられている、請求項２に記載の体感導入装置。
  7. 　前記筐体の位置または向きの変化を検知する検知部を備え、
    　前記筐体の位置または向きの変化に連動して、互いに関連付けられた前記スピーカと前記アクチュエータとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御される、請求項２に記載の体感導入装置。
  8. 　少なくとも一の前記スピーカに対して複数の前記アクチュエータが関連付けられ、
    　当該複数のアクチュエータそれぞれは、相対的に互いに異なる方向に振動する、請求項１に記載の体感導入装置。
  9. 　前記スピーカに関連付けられた前記アクチュエータは、当該スピーカの近傍に設けられている、請求項１に記載の体感導入装置。
  10. 　互いに関連付けられた前記アクチュエータと前記スピーカとが一体的に構成された、請求項１に記載の体感導入装置。
  11. 　互いに関連付けられた前記アクチュエータと前記スピーカとのうち、いずれか一方からの出力は、他方からの出力を制御するための制御信号を基に生成された他の制御信号に基づき制御される、請求項１に記載の体感導入装置。
  12. 　互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、ユーザに対して体感をフィードバックするための物理演算の結果に基づき制御される、請求項１に記載の体感導入装置。
  13. 　互いに関連付けられた前記アクチュエータと前記スピーカとのそれぞれからの出力は、映像の解析結果に基づき算出された当該映像中のオブジェクトの表面の形状及び粗さのうちの少なくともいずれかに基づき制御される、請求項１に記載の体感導入装置。
  14. 　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が重複する周波数帯域において、当該それぞれからの出力のうち少なくとも一方の出力の振幅が制限される、請求項１に記載の体感導入装置。
  15. 　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力が連動するように、当該前記アクチュエータ及び前記スピーカそれぞれからの出力を制御する制御部を備えた、請求項１に記載の体感導入装置。
  16. 　互いに関連付けられた前記アクチュエータ及び前記スピーカそれぞれからの出力は、表示部に表示された映像出力と連動するように制御される、請求項１に記載の体感導入装置。
  17. 　前記表示部を備えた、請求項１６に記載の体感導入装置。
  18. 　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置と、
    　前記体感導入装置の動作を制御するための制御信号を出力する情報処理装置と、
    　前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御する制御部と、
    　を備えた、体感導入システム。
  19. 　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置における、当該互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御するための制御信号を生成する信号処理部と、
    　生成された制御信号を前記体感導入装置に出力する出力部と、
    　を備えた、制御装置。
  20. 　複数のアクチュエータと複数のスピーカとを備え、前記複数のアクチュエータのうち１以上のアクチュエータと、前記複数のスピーカのうち１以上のスピーカとが互いに関連付けられた組を複数含む体感導入装置の動作を制御するための制御信号を出力することと、
    　前記制御信号に基づき、互いに関連付けられた前記アクチュエータと前記スピーカとの組ごとに、当該アクチュエータからの出力と、当該スピーカからの出力とが連動するように制御することと、
    　を含む、体感導入方法。
     
PCT/JP2014/083271 2014-03-26 2014-12-16 体感導入装置、体感導入システム、及び体感導入方法 WO2015145893A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14886957.1A EP3125073B1 (en) 2014-03-26 2014-12-16 Sensory feedback introducing device, sensory feedback introducing system, and sensory feedback introduction method
US15/126,636 US10449446B2 (en) 2014-03-26 2014-12-16 Sensation induction device, sensation induction system, and sensation induction method
CN201480077069.2A CN106102848B (zh) 2014-03-26 2014-12-16 感觉导入装置、感觉导入系统和感觉导入方法
JP2016509912A JP6504157B2 (ja) 2014-03-26 2014-12-16 体感導入装置、体感導入システム、及び体感導入方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-063908 2014-03-26
JP2014063908 2014-03-26

Publications (1)

Publication Number Publication Date
WO2015145893A1 true WO2015145893A1 (ja) 2015-10-01

Family

ID=54194460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083271 WO2015145893A1 (ja) 2014-03-26 2014-12-16 体感導入装置、体感導入システム、及び体感導入方法

Country Status (5)

Country Link
US (1) US10449446B2 (ja)
EP (1) EP3125073B1 (ja)
JP (1) JP6504157B2 (ja)
CN (1) CN106102848B (ja)
WO (1) WO2015145893A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017119091A (ja) * 2016-12-13 2017-07-06 株式会社三洋物産 遊技機
JP2017134802A (ja) * 2016-03-04 2017-08-03 望月 玲於奈 ユーザーインターフェースプログラム
JP2017157195A (ja) * 2016-12-19 2017-09-07 望月 玲於奈 ユーザーインターフェースプログラム
JP2017221427A (ja) * 2016-06-15 2017-12-21 任天堂株式会社 ゲームシステム、方法、およびゲームプログラム
JP2018060539A (ja) * 2017-10-02 2018-04-12 望月 玲於奈 ユーザーインターフェースプログラム
JP2018106598A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2018110649A (ja) * 2017-01-10 2018-07-19 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN109840022A (zh) * 2017-11-27 2019-06-04 意美森公司 用于根据基于倾斜的输入提供触觉反馈的系统和方法
WO2019189524A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 入力装置及び音声出力システム
JP2020025453A (ja) * 2018-08-06 2020-02-13 エーエーシー テクノロジーズ ピーティーイー リミテッド モータ駆動方法、端末装置及びコンピュータ読み取り可能な記録媒体
WO2020059758A1 (ja) * 2018-09-20 2020-03-26 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2021186665A1 (ja) * 2020-03-19 2021-09-23 日本電信電話株式会社 触覚提示装置、自己運動提示システム、触覚提示方法、およびプログラム
WO2022264537A1 (ja) * 2021-06-15 2022-12-22 ソニーグループ株式会社 触覚信号生成装置、触覚信号生成方法、プログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101650371B1 (ko) * 2008-12-30 2016-08-24 삼성전자주식회사 중력에 의해 이동되는 감각적 효과를 나타내는 포인터를 이용한 ｇｕｉ 제공방법 및 이를 적용한 전자장치
EP3254739B1 (en) * 2016-06-10 2020-03-25 Nintendo Co., Ltd. Game controller
JP6893763B2 (ja) 2016-06-10 2021-06-23 任天堂株式会社 ゲームコントローラ
JP7083226B2 (ja) 2016-06-10 2022-06-10 任天堂株式会社 ゲームコントローラ
US10556176B2 (en) * 2016-07-26 2020-02-11 Nintendo Co., Ltd. Vibration control system, vibration control method, and non-transitory computer-readable storage medium with executable vibration control program stored thereon
US10328345B2 (en) * 2016-07-26 2019-06-25 Nintendo Co., Ltd. Vibration control system, vibration control method, and non-transitory computer-readable storage medium with executable vibration control program stored thereon
EP3343324B1 (en) 2016-12-27 2021-06-09 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
US10350491B2 (en) 2016-12-27 2019-07-16 Nintendo Co., Ltd. Techniques for variable vibration waveform generation based on number of controllers
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
DE102017204351A1 (de) * 2017-03-15 2018-09-20 Technische Universität München Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
CN106919095A (zh) * 2017-03-17 2017-07-04 深圳市乐酷博世科技有限公司 BLE Mesh网络电脉冲肤觉反馈器
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6701132B2 (ja) * 2017-07-12 2020-05-27 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法
US11779836B2 (en) * 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
CN111033441B (zh) 2017-08-24 2023-09-12 索尼互动娱乐股份有限公司 振动控制装置
CN107890672B (zh) 2017-08-30 2018-12-28 网易（杭州）网络有限公司 补偿声音信息的视觉方法及装置、存储介质、电子设备
US11334226B2 (en) * 2018-02-20 2022-05-17 Sony Corporation Information processing device, information processing method, and program
CN109189361B (zh) * 2018-07-09 2021-08-17 Oppo广东移动通信有限公司 屏幕发声方法、装置、电子装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11114223A (ja) * 1997-10-09 1999-04-27 Sony Corp ゲーム機用操作装置
JP2003199974A (ja) * 2000-09-28 2003-07-15 Immersion Corp 触覚フィードバックインターフェースデバイス用の方向接触フィードバック
JP2003210834A (ja) * 2002-01-17 2003-07-29 Namco Ltd 制御情報、情報記憶媒体、およびゲーム装置
JP2009011758A (ja) * 2007-07-09 2009-01-22 Sony Computer Entertainment Inc ゲーム装置およびゲームシステム
JP2010082396A (ja) * 2008-10-03 2010-04-15 Nintendo Co Ltd 手持ち型情報処理装置
JP2013008118A (ja) * 2011-06-23 2013-01-10 Panasonic Corp 電子機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100468294C (zh) * 2000-09-28 2009-03-11 伊默逊股份有限公司 用于触觉反馈接口设备的有方向触觉反馈
KR100419161B1 (ko) * 2001-08-22 2004-02-18 삼성전기주식회사 다기능 액츄에이터
US8249276B2 (en) * 2005-09-15 2012-08-21 Sony Computer Entertainment Inc. Information processor and controller device
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US8858330B2 (en) * 2008-07-14 2014-10-14 Activision Publishing, Inc. Music video game with virtual drums
CN103946732B (zh) * 2011-09-26 2019-06-14 微软技术许可有限责任公司 基于对透视、近眼显示器的传感器输入的视频显示修改
US9785236B2 (en) * 2012-05-25 2017-10-10 Immerz, Inc. Haptic interface for portable electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11114223A (ja) * 1997-10-09 1999-04-27 Sony Corp ゲーム機用操作装置
JP2003199974A (ja) * 2000-09-28 2003-07-15 Immersion Corp 触覚フィードバックインターフェースデバイス用の方向接触フィードバック
JP2003210834A (ja) * 2002-01-17 2003-07-29 Namco Ltd 制御情報、情報記憶媒体、およびゲーム装置
JP2009011758A (ja) * 2007-07-09 2009-01-22 Sony Computer Entertainment Inc ゲーム装置およびゲームシステム
JP2010082396A (ja) * 2008-10-03 2010-04-15 Nintendo Co Ltd 手持ち型情報処理装置
JP2013008118A (ja) * 2011-06-23 2013-01-10 Panasonic Corp 電子機器

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134802A (ja) * 2016-03-04 2017-08-03 望月 玲於奈 ユーザーインターフェースプログラム
JP2017221427A (ja) * 2016-06-15 2017-12-21 任天堂株式会社 ゲームシステム、方法、およびゲームプログラム
JP2017119091A (ja) * 2016-12-13 2017-07-06 株式会社三洋物産 遊技機
JP2017157195A (ja) * 2016-12-19 2017-09-07 望月 玲於奈 ユーザーインターフェースプログラム
JP2018106598A (ja) * 2016-12-28 2018-07-05 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP2018110649A (ja) * 2017-01-10 2018-07-19 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2018060539A (ja) * 2017-10-02 2018-04-12 望月 玲於奈 ユーザーインターフェースプログラム
CN109840022A (zh) * 2017-11-27 2019-06-04 意美森公司 用于根据基于倾斜的输入提供触觉反馈的系统和方法
JP7065367B2 (ja) 2018-03-29 2022-05-12 パナソニックＩｐマネジメント株式会社 入力装置及び音声出力システム
WO2019189524A1 (ja) * 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 入力装置及び音声出力システム
JP2019175405A (ja) * 2018-03-29 2019-10-10 パナソニックＩｐマネジメント株式会社 入力装置及び音声出力システム
US11592922B2 (en) 2018-03-29 2023-02-28 Panasonic Intellectual Property Management Co., Ltd. Input device and sound output system
JP2020025453A (ja) * 2018-08-06 2020-02-13 エーエーシー テクノロジーズ ピーティーイー リミテッド モータ駆動方法、端末装置及びコンピュータ読み取り可能な記録媒体
WO2020059758A1 (ja) * 2018-09-20 2020-03-26 日本電産株式会社 コンテンツ再生装置、触覚振動発生方法、コンピュータプログラム、触覚振動データ配信システム、及び触覚振動提供装置
WO2020158036A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JPWO2020158036A1 (ja) * 2019-02-01 2021-09-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP7315591B2 (ja) 2019-02-01 2023-07-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
WO2021186665A1 (ja) * 2020-03-19 2021-09-23 日本電信電話株式会社 触覚提示装置、自己運動提示システム、触覚提示方法、およびプログラム
JP7405237B2 (ja) 2020-03-19 2023-12-26 日本電信電話株式会社 自己運動提示システム、自己運動提示方法、およびプログラム
WO2022264537A1 (ja) * 2021-06-15 2022-12-22 ソニーグループ株式会社 触覚信号生成装置、触覚信号生成方法、プログラム

Also Published As

Publication number Publication date
CN106102848A (zh) 2016-11-09
EP3125073A4 (en) 2017-11-08
US20170087458A1 (en) 2017-03-30
US10449446B2 (en) 2019-10-22
EP3125073B1 (en) 2020-11-18
JP6504157B2 (ja) 2019-04-24
EP3125073A1 (en) 2017-02-01
JPWO2015145893A1 (ja) 2017-04-13
CN106102848B (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
WO2015145893A1 (ja) 体感導入装置、体感導入システム、及び体感導入方法
EP3349096B1 (en) Information processing apparatus, method, and computer program
JP6341417B2 (ja) 振動生成システム、振動生成プログラム、および振動生成方法
EP2902879B1 (en) Haptic based information processing apparatus, information processing program, information processing system, and information processing method
US10589169B2 (en) Information processing apparatus, information processing method, and information processing system
WO2017170146A1 (ja) 制御方法、仮想現実体験提供装置およびプログラム
JP6243595B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
KR20160134504A (ko) 모듈형 디바이스들을 위한 햅틱 피드백을 위한 시스템 및 방법
JP6147486B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
US10596459B2 (en) Systems, methods, and/or computer readable storage medium having program, for localized haptic feedback based on position of virtual object
EP3482806B1 (en) Operation input system, operation input device, and game system
JP2014090251A (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
JP2014097219A (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JPH11146978A (ja) ３次元ゲーム装置及び情報記憶媒体
WO2018066299A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018112820A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2018195152A (ja) 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886957

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016509912

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014886957

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15126636

Country of ref document: US

Ref document number: 2014886957

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE