WO2021200142A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2021200142A1
WO2021200142A1 PCT/JP2021/010753 JP2021010753W WO2021200142A1 WO 2021200142 A1 WO2021200142 A1 WO 2021200142A1 JP 2021010753 W JP2021010753 W JP 2021010753W WO 2021200142 A1 WO2021200142 A1 WO 2021200142A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sound
tactile
information processing
vibration
Prior art date
Application number
PCT/JP2021/010753
Other languages
English (en)
French (fr)
Inventor
諒 横山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021200142A1 publication Critical patent/WO2021200142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present technology relates to information processing devices, information processing methods, and programs, and particularly to information processing devices, information processing methods, and programs that enable more accurate tactile perception.
  • the tactile presentation when the tactile presentation is performed together with the tactile presentation, the tactile presentation may be affected by the acoustic presentation, so that an unintended tactile sensation may be presented, so that the tactile perception can be performed more accurately. Desired.
  • This technology was made in view of such a situation, and is intended to enable more accurate tactile perception when performing acoustic presentation as well as tactile presentation.
  • the information processing device of one aspect of the present technology includes a processing unit that changes the characteristics of the sound data when a predetermined operation is detected when presenting the sound and the tactile sensation by vibration corresponding to the sound data and the tactile data. It is an information processing device.
  • the information processing method of one aspect of the present technology changes the characteristics of the sound data when a predetermined operation is detected when the information processing device presents the sound and the tactile sensation by vibration corresponding to the sound data and the tactile data.
  • Information processing method changes the characteristics of the sound data when a predetermined operation is detected when the information processing device presents the sound and the tactile sensation by vibration corresponding to the sound data and the tactile data.
  • the program of one aspect of the present technology is a processing unit that changes the characteristics of the sound data when a predetermined operation is detected when the computer presents the sound and the tactile sensation by vibration corresponding to the sound data and the tactile data. It is a program that makes it work.
  • the sound data when a predetermined operation is detected when presenting sound and tactile sensation by vibration corresponding to sound data and tactile data, the sound data The characteristics are changed.
  • the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
  • FIG. 1 shows an example of a tactile presentation application executed by an information processing device 1 such as a smartphone.
  • the tactile presentation application gives the texture and presence of the image or video when the user U's finger touches or traces the image or video displayed on the display compatible with the touch panel. It is an application that makes you feel from.
  • a plate-shaped display unit 12 is fixed above the housing 11 having a substantially U-shaped cross section having an opening at the top via a damper 13. ing.
  • the display unit 12 is a display having a touch sensor, and has functions as a display device and an input device. Further, the surface vibration unit 21 is attached to the display unit 12 in a predetermined area on the surface opposite to the display surface.
  • the surface vibration unit 21 is composed of a piezo actuator or the like.
  • the surface vibration unit 21 vibrates the display unit 12 based on the vibration data including the tactile data for tactile presentation to present the tactile sensation to the finger touching the display surface (shown by the wavy line in the figure). Vibration V11).
  • the main body vibrating portion 22 is attached to the bottom surface inside the housing 11.
  • the main body vibrating unit 22 is composed of an LRA (Linear Resonant Actuator) or the like.
  • the main body vibrating unit 22 vibrates the housing 11 based on the vibration data including the tactile data for presenting the tactile sensation, so that the body vibrates the tactile sensation with respect to the hand or finger touching the surface such as the bottom surface or the side surface of the housing 11. (Vibration V12 shown by the wavy line in the figure).
  • the surface vibrating unit 21 and the main body vibrating unit 22 vibrate the display unit 12 and the housing 11 to touch the display surface of the display unit 12. It is possible to present a tactile sensation to a finger or a hand touching the bottom surface of the housing 11.
  • the surface vibrating unit 21 vibrates using the display unit 12 (panel unit) as a diaphragm based on the vibration data including the acoustic data for acoustic presentation.
  • the display surface vibration V11, sound wave SW11 shown by wavy lines in the figure. That is, by using the display unit 12 as a diaphragm, the surface vibration unit 21 can not only present the tactile sensation but also the sound to the user U (the vibration V21 shown by the wavy line in the figure). Sound wave SW11).
  • FIG. 4 shows the relationship between the frequency and the perceptual intensity for hearing and touch.
  • Wt the relationship between the sense of touch and the frequency
  • Wh the relationship between the auditory sense and the frequency
  • the tactile and auditory intensities are reversed at around 500 Hz.
  • the user U when the surface vibration unit 21 vibrates the display unit 12 to output sound based on the vibration data including the acoustic data including the component of, for example, 20 to 20 KHz, the user U mainly uses the information processing device 1.
  • High-frequency components such as about 500 Hz or higher are perceived as sound, but low-frequency components such as less than about 500 Hz are mainly perceived as vibration.
  • the display unit 12 is used as a diaphragm to output sound for the purpose of acoustic presentation, low frequency components (mainly less than about 500 Hz) contained in the acoustic data are simultaneously output for the purpose of tactile presentation. It is perceived as tactile by mixing with the frequency component of the corresponding tactile data.
  • the display unit 12 when the display unit 12 is vibrated based on the vibration data including the acoustic data and the tactile data, the sound is produced when the user's finger or the like is touching the screen and when the screen is not touched.
  • the characteristics of the acoustic data are changed by changing the frequency components included in the data. As a result, it is possible to prevent the low frequency component contained in the acoustic data from being mixed with the frequency component of the tactile data.
  • FIG. 5 shows an example of the cross-sectional structure of the information processing apparatus 10 to which the present technology is applied.
  • the information processing device 10 is an electronic device such as a smartphone, a tablet terminal, or a PC (Personal Computer).
  • a plate-shaped display unit 102 is fixed to a housing 101 having a substantially U-shaped cross section via a damper 103.
  • the display unit 102 is a display having a touch sensor, and a surface vibration unit 111 such as a piezo actuator is attached to a surface opposite to the display surface.
  • the display unit 102 includes a self-luminous panel such as an OLED (Organic Light Emitting Diode), a signal processing circuit, and the like.
  • the surface vibration unit 111 vibrates the display unit 102 based on the vibration data including the tactile data for presenting the tactile sensation, thereby presenting the tactile sensation to the user's hand or finger touching the surface of the housing 101. .. Further, the surface vibration unit 111 outputs sound from the display surface by vibrating the display unit 102 (panel unit) as a diaphragm based on the vibration data including the acoustic data for acoustic presentation.
  • the main body vibrating part 112 such as LRA is attached to the bottom surface inside the housing 101.
  • the main body vibration unit 112 vibrates the housing 101 based on the vibration data including the tactile data for presenting the tactile sensation, thereby presenting the tactile sensation to the user's hand or finger touching the surface of the housing 101. ..
  • the surface vibration unit 111 attached to the display unit 102 vibrates (surface vibration) the display unit 102 based on the vibration data including the tactile data and the acoustic data, thereby causing the tactile sensation.
  • Presentation and acoustic presentation are realized.
  • the tactile presentation is realized by vibrating the housing 101 (body vibration) based on the vibration data including the tactile data by the main body vibrating unit 112 attached to the housing 101. ..
  • FIG. 6 shows an example of the functional configuration of the information processing apparatus 10 to which the present technology is applied.
  • the information processing device 10 has a receiving unit 121, a sensor unit 122, a data processing unit 123, and a presenting unit 124.
  • the receiving unit 121 receives the content data transmitted from the video distribution server that distributes the video content via the network, and supplies the content data to the data processing unit 123.
  • the content data is video content data, and includes moving image data, acoustic data, and tactile data.
  • the sensor unit 122 has a touch sensor that detects a user's contact (touch) with the display surface of the display unit 102.
  • the sensor unit 122 supplies the sensor data to the data processing unit 123 according to the detection result of the touch on the display surface of the display unit 102.
  • Content data from the receiving unit 121 and sensor data from the sensor unit 122 are supplied to the data processing unit 123.
  • the data processing unit 123 performs various data processing based on the content data and the sensor data, and supplies the presentation data obtained as a result to the presentation unit 124.
  • the data processing unit 123 includes a moving image processing unit 131, an acoustic processing unit 132, and a tactile processing unit 133.
  • the moving image data is supplied to the moving image processing unit 131
  • the acoustic data is supplied to the acoustic processing unit 132
  • the tactile data is supplied to the tactile processing unit 133.
  • the sensor data is supplied to the sound processing unit 132 and the tactile processing unit 133, respectively.
  • the moving image processing unit 131 performs predetermined moving image processing on the moving image data input therein and reproduces the moving image data, and supplies the moving image presentation data obtained as a result to the presentation unit 124.
  • the acoustic processing unit 132 performs predetermined acoustic processing according to the sensor data on the acoustic data input therein and reproduces the acoustic data, and supplies the acoustic presentation data obtained as a result to the presentation unit 124.
  • the sound processing unit 132 reproduces the characteristics of the acoustic data as it is without changing the characteristics, and supplies the sound data to the presentation unit 124 as acoustic presentation data. ..
  • the sound processing unit 132 performs a process of changing the characteristics of the acoustic data, and the sound presentation data obtained as a result is presented to the presentation unit 124.
  • the process of changing the characteristics of the acoustic data includes a process of changing the frequency component such as cutting a predetermined low frequency component (less than about 500 Hz or the like) included in the acoustic data. This low frequency component can be determined by the relationship between the frequency and the perceptual intensity for the auditory sense and the tactile sense shown in FIG.
  • the tactile processing unit 133 performs a predetermined vibration process on the tactile data input therein and reproduces the tactile data, and supplies the tactile presentation data obtained as a result to the presentation unit 124.
  • the tactile processing unit 133 mutes the tactile presentation data and presents the tactile sensation as surface vibration for tactile presentation based on the tactile data.
  • the tactile data is reproduced as it is and supplied to the presentation unit 124 as the tactile presentation data.
  • the tactile processing unit 133 reproduces the tactile data as it is as the surface vibration for tactile presentation based on the tactile data, and also reproduces the tactile data as it is, and the main body for tactile presentation. As vibration, the tactile data is reproduced as it is, and each is supplied to the presentation unit 124 as tactile presentation data.
  • the presentation unit 124 makes various presentations based on the presentation data supplied from the data processing unit 123.
  • the presentation unit 124 has a moving image display unit 141 and a vibration unit 142.
  • the moving image display unit 141 corresponds to the display function of the display unit 102.
  • the moving image display unit 141 displays a moving image on the screen of the display unit 102 based on the moving image presentation data input therein.
  • the vibrating unit 142 corresponds to the vibrating functions of the surface vibrating unit 111 and the main body vibrating unit 112.
  • the vibrating unit 142 vibrates (surface vibration) the display unit 102 based on the acoustic presentation data input therein or the vibration data including the acoustic presentation data and the tactile presentation data. Further, the vibrating unit 142 vibrates the housing 101 (main body vibration) based on the vibration data including the tactile presentation data input therein.
  • the data processing unit 123 uses the sound presentation data when the user's finger or the like is touching the screen of the display unit 102 and when the user's finger or the like is away from the screen.
  • the characteristics (for example, frequency component) of the acoustic presentation data included in the vibration data on which the tactile presentation data is superimposed are changed.
  • the information processing device 10 when the user's finger or the like touches the screen of the display unit 102 during the reproduction of the acoustic data, an unintended tactile sensation is presented, so that the user's finger or the like touches the screen. Occasionally, the characteristics of the acoustic presentation data are changed by passing the high-frequency component of the acoustic presentation data (cutting the low-frequency component) so that the data is superimposed on the tactile presentation data.
  • FIGS. 7 and 8 show the first example of the signal waveform of the vibration data of the surface vibration and the vibration of the main body when the user's finger is not touching the screen and when the user's finger is touching the screen, respectively.
  • the horizontal axis in each graph is the frequency (unit: Hz)
  • the vertical axis is the magnitude of vibration (unit: dB).
  • the relationship between the horizontal axis and the vertical axis is the same in other figures described later.
  • the waveforms W 11 and W 12 allow the surface vibration for acoustic presentation according to the acoustic presentation data and the tactile presentation according to the tactile presentation data when the user's finger is not touching the screen. It represents surface vibration.
  • the surface vibration unit 111 vibrates (surface vibration) the display unit 102 according to the vibration data corresponding to the acoustic presentation data, so that the acoustic presentation is realized.
  • the waveform W 21 represents the vibration of the main body for tactile presentation according to the tactile presentation data when the user's finger is not touching the screen.
  • the main body vibrating unit 112 vibrates the housing 101 according to the vibration data corresponding to the tactile presentation data, thereby realizing the tactile presentation on the main body side.
  • the surface vibration for acoustic presentation according to the acoustic presentation data and the tactile presentation according to the tactile presentation data are used. It represents surface vibration.
  • the surface vibration for the tactile presentation is the vibration corresponding to the tactile presentation data. It becomes a waveform. Further, paying attention to the waveform W 31 , the surface vibration for acoustic presentation becomes a vibration waveform according to the acoustic presentation data, but a predetermined low frequency component such as less than about 500 Hz is cut (LF in the figure). Part).
  • the surface vibration unit 111 vibrates (surface vibration) the display unit 102 according to the vibration data obtained by adding (superimposing) the acoustic presentation data and the vibration presentation data, thereby realizing the acoustic presentation and the tactile presentation.
  • a predetermined low frequency component is cut to change the frequency band, so that the low frequency component of the acoustic presentation data is mixed with the tactile presentation data. It is possible to suppress the tactile perception.
  • FIG. 8B shows the vibration of the main body for tactile presentation according to the tactile presentation data when the user's finger is touching the screen by the waveform W 41.
  • the waveform of B in FIG. 7 is shown. Since it is the same as W 21 , the description thereof will be omitted here.
  • the acoustic presentation data and the tactile presentation data are simultaneously used as presentation data for presentation, when the user's finger or the like is touching the screen and when the screen is not touching.
  • the frequency component included in the acoustic presentation data for example, cutting a predetermined low frequency component
  • the tactile presentation is not affected by the acoustic presentation, and the tactile perception can be performed more accurately.
  • the turbidity caused by the acoustic presentation is removed to perform a more accurate tactile presentation. For example, even when the finger of the user U touches the screen during playback of the acoustic data of the video content, it is possible to suppress the presentation of a tactile sensation unintended by the creator of the video content or the like.
  • the processing may be changed according to the type of the sound source to be reproduced.
  • the type of this sound source for example, BGM and sound effect (SE: Sound Effect) can be included.
  • (Second example) 9 and 10 show second examples of signal waveforms of vibration data of surface vibration and body vibration when the user's finger is not touching the screen and when the user's finger is touching the screen, respectively.
  • the waveforms W 51 and W 52 correspond to the surface vibration for acoustic presentation of BGM and SE according to the acoustic presentation data and the tactile presentation data when the user's finger is not touching the screen. It represents the surface vibration for tactile presentation.
  • the surface vibration unit 111 vibrates (surface vibration) the display unit 102 according to the vibration data corresponding to the acoustic presentation data, so that the acoustic presentation of BGM and SE is realized.
  • the waveform W 61 represents the vibration of the main body for tactile presentation of BGM and SE according to the tactile presentation data when the user's finger is not touching the screen.
  • This tactile presentation data can present tactile sensations such as a beat sensation related to BGM and a shock sensation of sound effects.
  • the main body vibrating unit 112 vibrates the housing 101 according to the vibration data corresponding to the tactile presentation data, thereby realizing the tactile presentation of the BGM and SE on the main body side.
  • the waveforms W 71 and W 72 correspond to the surface vibration for acoustic presentation of BGM and SE according to the acoustic presentation data and the tactile presentation data when the user's finger is touching the screen. It represents the surface vibration for tactile presentation of SE.
  • the surface vibration for the SE tactile presentation corresponds to the tactile presentation data. It becomes a vibration waveform. Further, paying attention to the waveform W 71 , the surface vibration for acoustic presentation of BGM and SE becomes a vibration waveform according to the acoustic presentation data, but a predetermined low frequency component such as less than about 500 Hz is cut (). LF part in the figure).
  • the surface vibration unit 111 vibrates (surface vibration) the display unit 102 according to the vibration data obtained by adding (superimposing) the acoustic presentation data and the tactile presentation data, thereby presenting the acoustics of BGM and SE and the tactile presentation of SE. Is realized.
  • This tactile presentation data can present tactile sensations such as the impact of sound effects.
  • a predetermined low frequency component is cut to change the frequency band, so that the low frequency component of the acoustic presentation data is mixed with the tactile presentation data. It is possible to suppress the tactile perception.
  • the waveform W 81 represents the vibration of the main body for BGM tactile presentation according to the tactile presentation data when the user's finger is touching the screen.
  • This tactile presentation data can present a tactile sensation such as a beat feeling related to BGM.
  • the surface vibration realizes the SE tactile sensation such as the impact feeling of the sound effect, and therefore the BGM tactile sensation such as the beat feeling related to the BGM is realized depending on the main body vibration.
  • the surface vibration realizes the SE tactile sensation such as the impact feeling of the sound effect, and therefore the BGM tactile sensation such as the beat feeling related to the BGM is realized depending on the main body vibration.
  • NS This makes it possible to provide a more satisfying user experience.
  • the tactile sensation may be presented according to the touched area by the surface vibration.
  • FIG. 11 when the information processing device 10 held by the user U in the left hand is playing a moving image content such as an animation, the object touched by the finger of the right hand on the screen in a specific scene. It shows how SE sound presentation and SE tactile presentation about an object are made.
  • the surface vibration for SE tactile presentation in the object touched by the user U with the finger of the right hand is represented by the vibration V31
  • the main body vibration for BGM tactile presentation is represented by the vibration V32. That is, when the user U is viewing video content such as an animation using an information processing device 10 such as a smartphone, a BGM tactile presentation such as a beat feeling related to the BGM is presented by the vibration of the main body, and further specified.
  • a BGM tactile presentation such as a beat feeling related to the BGM is presented by the vibration of the main body, and further specified.
  • an object for example, an image of an explosion
  • the SE tactile presentation corresponding to the object is presented by surface vibration.
  • FIG. 12 shows a third example of the signal waveform of the vibration data of the surface vibration and the vibration of the main body when the user's finger is touching the screen.
  • the waveforms W 91 , W 92 , and W 93 show the surface vibration for BGM sound presentation according to the sound presentation data when the user's finger is touching the screen, and the area touched by the finger. It represents the surface vibration for SE acoustic presentation and the surface vibration for SE tactile presentation regarding the area touched by the finger according to the tactile presentation data.
  • the surface vibration for the BGM acoustic presentation corresponds to the BGM acoustic presentation data. It becomes a vibration waveform.
  • the surface vibration for the SE sound presentation becomes a vibration waveform corresponding to the SE sound presentation data.
  • the surface vibrations for acoustic presentation of BGM and SE are vibration waveforms corresponding to the acoustic presentation data, predetermined low frequency components such as less than about 500 Hz are cut in the waveforms W 91 and W 92. (The LF part in the figure).
  • the surface vibration for the SE tactile sensation presentation becomes a data vibration waveform corresponding to the SE tactile sensation presentation data.
  • the surface vibration unit 111 vibrates (surface vibration) the display unit 102 according to the vibration data obtained by adding (superimposing) the BGM sound presentation data, the SE sound presentation data, and the SE tactile presentation data.
  • SE acoustic presentation and SE tactile presentation are realized at the place where the user's finger is touching.
  • FIG. 12B shows the vibration of the main body for BGM tactile presentation according to the BGM tactile presentation data when the user's finger is touching the screen by the waveform W 101. Since it is the same as the waveform W 81 of the above, the description thereof is omitted here.
  • processing according to the type of sound source to be reproduced (BGM, SE, etc.) is adaptively performed. Therefore, it is possible to provide a more satisfying user experience. For example, the user can intuitively select only the information (object) of interest, not the entire screen, and actively change the way of enjoying the video content. In addition, since it is possible to present more detailed information regarding the information (object) of the video content, the range of expression can be expanded from the perspective of the creator.
  • the surface vibration causes the tactile sensation to be presented according to the touched area.
  • the tactile sensation may be presented according to the area specified by those fingers.
  • an object for example, an object displayed in an area surrounded by a plurality of fingers on the screen in a specific scene (for example, an explosion scene). Since the SE tactile sensation is presented by surface vibration according to the images of a plurality of explosions), it is possible to present a larger impact feeling.
  • the vibration intensity at the time of tactile presentation may be changed according to the type of finger. Specifically, when the finger in contact with the screen is the index finger, the vibration can be weakened, or when the finger is the thumb, the vibration can be strengthened.
  • the acoustic presentation data is modulated so as to correct the fluctuation. It doesn't matter. For example, as this correction, the larger the area and the pressure, the larger the high frequency of the sound can be corrected.
  • the area and pressure described above are examples of physical quantities related to contact with the screen, and other physical quantities may be used.
  • the process of changing the characteristics of the acoustic data a process of cutting a predetermined low frequency component and changing the frequency component has been illustrated, but the characteristics of the acoustic data may be changed by other processes. No. For example, pitch shift processing may be applied to the acoustic data, and the characteristics may be changed so that the sound can be heard but the vibration is not felt.
  • the sound of the video content to be played is focused on bass, it may be allowed to be perceived as vibration without applying a filter that cuts low frequency components as appropriate.
  • the sound may be presented by the speaker depending on the situation. For example, when the user strongly touches the screen of the display unit 102 (when the screen is suppressed too strongly), the speaker can output sound instead of the information processing device 10 such as a smartphone.
  • video content is an example of content, and this technology can be similarly applied to the case where other content such as a still image, a game, or music is played.
  • the process of changing the frequency component included in the acoustic data is performed, but the user's finger does not necessarily come into contact with the screen.
  • the frequency component is smoothly changed so that the process is started. You may.
  • the information processing device 10 not only the user's touch operation but also when a predetermined operation is detected (for example, when the user's finger is in the air, but it is predicted that the user's finger will come into contact with the screen after that). Processing is performed to change the frequency component included in the acoustic data.
  • the detection of such an operation can be realized by performing a known prediction process or the like based on the sensor data of various sensors such as a distance sensor.
  • the vibration data used in the surface vibration may not include the acoustic presentation data but may include only the tactile presentation data.
  • the frequency component included in the acoustic data is changed depending on whether or not the user's finger is touching the screen of the display unit 102, but the touch pen (stylus pen) is not limited to the user's finger. ) Etc., the same processing can be performed when touched. Further, when the user's finger touches the screen of the display unit 102, if the force for pressing the screen is too strong (when the predetermined threshold value is exceeded), a warning message is displayed on the display unit 102 or a sound is used. A warning sound may be output to alert the user.
  • the acoustic data is data related to acoustics and is an example of sound data related to sound.
  • the moving image data and the moving image presentation data, the acoustic data and the acoustic presentation data, and the tactile data and the tactile presentation data are described separately.
  • the moving image presentation data, the acoustic presentation data, and the tactile presentation data are described separately. May be read as moving image data, acoustic data, and tactile data, respectively.
  • FIG. 14 shows an example of the configuration of an information processing system including the information processing device 10 to which the present technology is applied.
  • the information processing system includes a tactile presentation device 151, a moving image display device 152, and a moving image distribution device 153.
  • connection interface 161 between the tactile presentation device 151 and the moving image display device 152 is realized by wireless communication or wired communication conforming to a predetermined standard. Further, the connection interface 162 between the moving image display device 152 and the moving image distribution device 153 is realized by wireless communication or wired communication conforming to a predetermined standard.
  • the tactile presentation device 151 is a device such as a smartphone, a tablet terminal, a display device, a tactile glove, or a controller, and can present a tactile sensation to a user.
  • the moving image display device 152 is a device such as a smartphone, a tablet terminal, a PC (Personal Computer), a display device, an HMD (Head Mounted Display), an AR glass, etc., and can present a moving image to a user.
  • the video distribution device 153 is a device such as a server, a client PC, or a smartphone, and distributes the content data of the video content to the moving image display device 152.
  • the information processing device 10 is configured as a tactile presentation device 151, a moving image display device 152, or a moving image distribution device 153.
  • the tactile presentation device 151 and the moving image display device 152 are configured as the same device. ..
  • the information processing device 10 has both a tactile presentation device 151 such as a surface vibration unit 111 and a moving image display device 152 such as a display unit 102, and the moving image included in the content data distributed from the moving image distribution device 153. Based on the data, acoustic data, and tactile data, the moving image is displayed, and the acoustic presentation and the tactile presentation are performed.
  • a tactile presentation device 151 such as a surface vibration unit 111
  • a moving image display device 152 such as a display unit 102
  • the surface vibration unit 111 attached to the display unit 102 vibrates (surface vibration) the display unit 102 based on the acoustic presentation data and the tactile presentation data, thereby causing acoustic presentation and tactile sensation.
  • the presentation is made (vibration V41 shown by the wavy line in the figure).
  • the tactile presentation data can be controlled according to the relationship between the position where the user's finger touches (traced position) on the screen and the moving image displayed on the screen.
  • the content data of the video content may be recorded in the storage of the information processing device 10 and read from there. That is, the information processing device 10 may have all the functions of the tactile presentation device 151, the moving image display device 152, and the moving image distribution device 153, and may be configured as one device.
  • the tactile presentation device 151 and the moving image display device 152 are configured as separate devices.
  • the first information processing device 10 is configured as a tactile presentation device 151 such as a tactile glove, and is used for acoustic presentation and tactile presentation based on the acoustic data and the tactile data included in the content data distributed from the video distribution device 153. Based on this, acoustic presentation and tactile presentation are performed (vibration V51 shown by wavy lines in the figure).
  • the second information processing device 10 is configured as a moving image display device 152 such as an HMD, and displays a moving image on a display based on the moving image data included in the content data distributed from the moving image distribution device 153 (the moving image is displayed on the display). Moving image I11) in the figure.
  • the position where the user U's finger or the like is touching is detected by the camera, the external sensor, the posture estimation function of the tactile glove, etc. mounted on the moving image display device 152 such as the HMD, and the touching position and the touching position are determined.
  • the tactile presentation data for the tactile glove can be controlled according to the relationship with the displayed moving image.
  • the combination of the tactile glove and the HMD is an example in which the tactile presentation device 151 and the moving image display device 152 are configured as separate devices, and the combination is arbitrary, for example, a combination of a smartphone and a display device. be. Further, when the tactile glove and the display device are combined, the touch sensor function may be provided on the tactile presentation device 151 side such as the tactile glove, or on the moving image display device 152 side such as the display device. You may.
  • connection interface 161 and the connection interface 162 may be wireless communication or wired communication conforming to the same standard, or may be wireless communication or wired communication conforming to different standards.
  • connection interface 161 and the connection interface 162 are configured to include a communication network such as the Internet, an intranet, or a mobile phone network, and are between devices using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol). Allows interconnection.
  • a communication network such as the Internet, an intranet, or a mobile phone network
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • Allows interconnection Alternatively, for example, only the connection interface 161 may be wireless communication compliant with a short-range wireless communication standard such as Bluetooth (registered trademark), or compliant with a communication interface standard such as HDMI (registered trademark) (High-Definition Multimedia Interface). Wired communication may be used.
  • step S11 the data processing unit 123 acquires the content data received by the receiving unit 121.
  • the content data may be distributed from the video distribution device 153 and received by the receiving unit 121, or may be recorded in a storage unit on the information processing device 10 side and read from there.
  • the content data also includes moving image data, acoustic data, and tactile data.
  • the tactile data may be generated based on the moving image data and the acoustic data.
  • step S12 the data processing unit 123 starts playing the content based on the received content data.
  • step S13 the data processing unit 123 determines whether or not a touch on the screen of the display unit 102 is detected based on the sensor data from the sensor unit 122.
  • step S13 If it is determined in the determination process of step S13 that no touch to the screen has been detected, the process proceeds to step S14.
  • step S14 the data processing unit 123 reproduces the acoustic presentation data as it is as surface vibration, mutes the tactile presentation data, and reproduces the tactile presentation data as it is as body vibration.
  • step S13 determines whether a touch on the screen is detected. If it is determined in the determination process of step S13 that a touch on the screen is detected, the process proceeds to step S15.
  • step S15 the data processing unit 123 cuts and reproduces the low frequency component of the acoustic presentation data as surface vibration, reproduces the tactile presentation data as it is, and reproduces the tactile presentation data as it is as the main body vibration.
  • step S14 or S15 When the process of step S14 or S15 is completed, the process proceeds to step S16.
  • step S16 it is determined whether or not to end the playback of the content. If it is determined in the determination process of step S16 that the reproduction of the content is to be continued, the process returns to step S13, and the above-described process is repeated. If it is determined in the determination process of step S16 that the reproduction of the content is finished, the process ends.
  • acoustic / tactile reproduction processing when the user is touching the screen, a predetermined low frequency component included in the acoustic presentation data is cut and the frequency component is changed, so that the acoustic presentation data and the tactile presentation are presented.
  • the data is simultaneously used as the presentation data for presentation, it is possible to prevent the frequency components included in the acoustic presentation data from being mixed with the tactile presentation data.
  • the series of processes of the information processing apparatus 10 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer of each device.
  • FIG. 18 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output I / F 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output I / F 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile semiconductor memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the storage unit 1008 into the RAM 1003 via the input / output I / F 1005 and the bus 1004 and executes the program as described above. A series of processing is performed.
  • the program executed by the computer can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 1008 via the input / output I / F 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers.
  • the program may be transferred to a distant computer for execution.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the present technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An information processing device including a processing unit that changes the characteristics of the sound data when a predetermined operation is detected when presenting the sound and the tactile sensation by vibration corresponding to the sound data and the tactile sensation data.
  • the sound and the tactile sensation are presented by vibrating the display unit.
  • the information processing device according to claim (1) wherein the processing unit changes a frequency component included in the sound data when the user touches the screen of the display unit.
  • the processing unit cuts a predetermined low frequency component included in the sound data.
  • the low frequency component is determined by the relationship between the frequency and the perceptual intensity for hearing and touch.
  • the information processing device performs processing according to the type of sound source of the sound data.
  • the processing unit The sound is presented by vibration according to the sound data including the first sound source and the second sound source.
  • the information processing device (5), wherein the first tactile sensation is presented by vibration corresponding to the tactile sensation data corresponding to the first sound source.
  • the second tactile sensation which is different from the first tactile sensation, is presented by vibrating the housing.
  • the information processing device (6), wherein the processing unit presents the second tactile sensation by vibrating according to the tactile sensation data corresponding to the second sound source.
  • the first sound source includes sound effects.
  • the information processing device (6) or (7) above, wherein the second sound source includes BGM.
  • the information processing device (9) The information processing device according to (5) above, wherein the processing unit presents a tactile sensation by vibration corresponding to tactile data corresponding to an area on the screen touched by the user. (10) The processing unit When presenting sound by vibration corresponding to the sound data including the first sound source and the second sound source, the sound data corresponding to the second sound source and the sound data corresponding to the first sound source related to the region. Presents sound by vibration according to The information processing apparatus according to (9), wherein the first tactile sensation is presented by vibration corresponding to the tactile sensation data corresponding to the first sound source related to the region. (11) The second tactile sensation, which is different from the first tactile sensation, is presented by vibrating the housing.
  • the information processing device wherein the processing unit presents the second tactile sensation by vibrating according to the tactile sensation data corresponding to the second sound source.
  • the first sound source includes sound effects.
  • the information processing device according to (10) or (11), wherein the second sound source includes BGM.
  • the information processing device according to any one of (9) to (12) above, wherein the area is designated by contact on the screen with one or more fingers of the user.
  • the processing unit changes the vibration intensity according to the tactile data according to the type of the finger of the user who is in contact with the screen of the display unit. Processing equipment.
  • the information processing device modulates the sound data according to a physical quantity related to the user's contact with the screen of the display unit.
  • the display unit displays a moving image according to the moving image data of the moving image content, and displays the moving image.
  • the sound data includes data for presenting the sound of the video content.
  • the information processing device according to (2) to (15), wherein the tactile data includes data for presenting the tactile sensation of the moving image content.
  • With the display unit A first vibrating unit provided for the display unit and vibrating according to the tactile data, The information processing device according to (2) to (16), further including a sensor unit for detecting the user's operation.
  • the information processing device further comprising a second vibrating portion provided on the housing and vibrating in response to the tactile data.
  • Information processing device An information processing method that changes the characteristics of the sound data when a predetermined operation is detected when presenting the sound and the tactile sensation by vibration corresponding to the sound data and the tactile sensation data.
  • Computer A program that functions as a processing unit that changes the characteristics of the sound data when a predetermined operation is detected when presenting the sound and tactile sensation by vibration corresponding to the sound data and the tactile sensation data.
  • Information processing device 101 housing, 102 display unit, 103 damper, 111 surface vibration unit, 112 main body vibration unit, 121 receiver unit, 122 sensor unit, 123 data processing unit, 124 presentation unit, 131 video processing unit, 132 Sound processing unit, 133 tactile processing unit, 141 moving image display unit, 142 vibrating unit, 151 tactile presentation device, 152 moving image display device, 153 video distribution device, 1001 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、より正確に触覚による知覚がなされるようにすることができるようにする情報処理装置、情報処理方法、及びプログラムに関する。 音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、音データの特性を変更する処理部を備える情報処理装置が提供される。本技術は、例えば、ディスプレイを利用して聴覚提示と触覚提示を行う機器に適用することができる。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、情報処理装置、情報処理方法、及びプログラムに関し、特に、より正確に触覚による知覚がなされるようにした情報処理装置、情報処理方法、及びプログラムに関する。
　ユーザに対して振動等の触覚刺激を提示するための技術が各種提案されている（例えば、特許文献１参照）。
特開2019-219785号公報
　ところで、触覚提示とともに音響提示を行う場合には、触覚提示が音響提示の影響を受けることで、意図しない触覚が提示される恐れがあり、より正確に触覚による知覚がなされるようにすることが求められる。
　本技術はこのような状況に鑑みてなされたものであり、触覚提示とともに音響提示を行うに際して、より正確に触覚による知覚がなされるようにするものである。
　本技術の一側面の情報処理装置は、音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置が、音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する情報処理方法である。
　本技術の一側面のプログラムは、コンピュータを、音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部として機能させるプログラムである。
　本技術の一側面の情報処理装置、情報処理方法、及びプログラムにおいては、音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性が変更される。
　本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
触覚提示アプリケーションの例を示す図である。 触覚提示アプリケーションを実行可能な情報処理装置の断面構造の例を示す図である。 音響データに含まれる低周波成分が触覚として知覚される場合の例を示す図である。 聴覚と触覚の知覚強度の関係を周波数帯域ごとに表した図である。 本技術を適用した情報処理装置の断面構造の例を示す図である。 本技術を適用した情報処理装置の機能的な構成の例を示すブロック図である。 画面に触れていないときの表面振動と本体振動における振動データの信号波形の第１の例を示す図である。 画面に触れているときの表面振動と本体振動における振動データの信号波形の第１の例を示す図である。 画面に触れていないときの表面振動と本体振動における振動データの信号波形の第２の例を示す図である。 画面に触れているときの表面振動と本体振動における振動データの信号波形の第２の例を示す図である。 画面の触れている領域に応じた表面振動の例を示す図である。 画面に触れているときの表面振動と本体振動における振動データの信号波形の第３の例を示す図である。 ユーザによる指定領域に応じた触覚提示の例を示す図である。 本技術を適用した情報処理装置を含む情報処理システムの構成の例を示す図である。 情報処理装置の構成の第１の例を示す図である。 情報処理装置の構成の第２の例を示す図である。 音響・触覚再生処理の流れを示すフローチャートである。 コンピュータの構成例を示すブロック図である。
＜１．第１の実施の形態＞
　図１は、スマートフォン等の情報処理装置１により実行される触覚提示アプリケーションの例を示している。
　触覚提示アプリケーションは、タッチパネルに対応したディスプレイに表示された画像や動画に対し、ユーザＵの指などが触れたり、指でなぞったりした場合に、その画像や動画の材質感や臨場感を、指先から感じさせるアプリケーションである。
　図２の断面図に示すように、情報処理装置１では、上方に開口を有する断面略コ字形状の筐体１１に対し、その上方にダンパ１３を介して板状の表示部１２が固定されている。
　表示部１２は、タッチセンサを有するディスプレイであり、表示装置と入力装置としての機能を有している。また、表示部１２には、表示面と反対側の面の所定の領域に、表面振動部２１が取り付けられる。
　表面振動部２１は、ピエゾアクチュエータ等から構成される。表面振動部２１は、触覚提示用の触覚データを含む振動データに基づき、表示部１２を振動させることで、表示面に触れている指に対して触覚を提示する（図中の波線で示した振動Ｖ１１）。
　筐体１１の内部の底面には、本体振動部２２が取り付けられる。本体振動部２２は、LRA(Linear Resonant Actuator)等から構成される。本体振動部２２は、触覚提示用の触覚データを含む振動データに基づき、筐体１１を振動させることで、筐体１１の底面や側面等の表面に触れている手や指などに対して触覚を提示する（図中の波線で示した振動Ｖ１２）。
　このように、情報処理装置１では、触覚提示アプリケーションを実行するに際して、表面振動部２１と本体振動部２２が、表示部１２と筐体１１を振動させることで、表示部１２の表示面に触れている指や、筐体１１の底面等に触れている手などに対して、触覚を提示することができる。
　また、図３の断面図に示すように、情報処理装置１では、表面振動部２１が、音響提示用の音響データを含む振動データに基づき、表示部１２（のパネル部）を振動板として振動させることで、表示面から音を出力することができる（図中の波線で示した振動Ｖ１１，音波ＳＷ１１）。すなわち、表面振動部２１は、表示部１２を振動板として用いることで、ユーザＵに対し、触覚を提示するだけでなく、音も提示することができる（図中の波線で示した振動Ｖ２１と音波ＳＷ１１）。
　ここで、図４は、聴覚と触覚についての周波数と知覚強度との関係を示している。図４では、ユーザの知覚のうち、触覚と周波数の関係をＷｔで、聴覚と周波数との関係をＷｈでそれぞれ表している。
　図４に示すように、振動の周波数が小さいほど、触覚の強度が大きくなる一方で、聴覚の強度が小さくなる関係がある。また、周波数が大きいほど、聴覚の強度が大きくなる一方で、触覚の強度が小さくなる関係がある。図４においては、触覚と聴覚の強度が略500Hz付近で逆転している。
　情報処理装置１において、表面振動部２１が、例えば20～20KHzの成分を含んだ音響データを含む振動データに基づき、表示部１２を振動させて音を出力する際に、ユーザＵは、主に略500Hz以上などの高周波成分を音として知覚するが、主に略500Hz未満などの低周波成分を振動として知覚する。これにより、音響提示目的で、表示部１２を振動板として音を出力する際に、音響データに含まれる低周波成分（主に略500Hz未満など）が、同時に触覚提示目的で出力される触覚に応じた触覚データの周波数成分と混在して、触覚知覚されてしまう。
　そこで、本技術では、音響データと触覚データを含む振動データに基づき、表示部１２を振動させる際に、ユーザの指などが画面に触れているときと、画面に触れていないときとで、音響データに含まれる周波数成分を変更するなどして、音響データの特性が変更されるようにする。これにより、音響データに含まれる低周波成分が、触覚データの周波数成分と混在されることを抑制することができる。以下、図面を参照しながら、本技術の実施の形態について説明する。
（装置の構成）
　図５は、本技術を適用した情報処理装置１０の断面構造の例を示している。
　情報処理装置１０は、スマートフォン、タブレット型端末、PC(Personal Computer)などの電子機器である。
　情報処理装置１０においては、断面略コ字形状の筐体１０１に対し、ダンパ１０３を介して板状の表示部１０２が固定されている。表示部１０２は、タッチセンサを有するディスプレイであり、表示面と反対側の面に、ピエゾアクチュエータ等の表面振動部１１１が取り付けられる。例えば、表示部１０２は、OLED(Organic Light Emitting Diode)等の自発光パネルや信号処理回路などを含んで構成される。
　表面振動部１１１は、触覚提示用の触覚データを含む振動データに基づき、表示部１０２を振動させることで、筐体１０１の表面に触れているユーザの手や指などに対して触覚を提示する。また、表面振動部１１１は、音響提示用の音響データを含む振動データに基づき、表示部１０２（のパネル部）を振動板として振動させることで、表示面から音を出力する。
　筐体１０１の内部の底面には、LRA等の本体振動部１１２が取り付けられる。本体振動部１１２は、触覚提示用の触覚データを含む振動データに基づき、筐体１０１を振動させることで、筐体１０１の表面に触れているユーザの手や指などに対して触覚を提示する。
　このように、情報処理装置１０においては、表示部１０２に取り付けられた表面振動部１１１が、触覚データと音響データを含む振動データに基づき、表示部１０２を振動（表面振動）させることで、触覚提示と音響提示が実現される。また、情報処理装置１０においては、筐体１０１に取り付けられた本体振動部１１２が、触覚データを含む振動データに基づき、筐体１０１を振動（本体振動）させることで、触覚提示が実現される。
　図６は、本技術を適用した情報処理装置１０の機能的な構成の例を示している。
　情報処理装置１０は、受信部１２１、センサ部１２２、データ処理部１２３、及び提示部１２４を有する。
　受信部１２１は、動画コンテンツを配信する動画配信サーバから送信されるコンテンツデータを、ネットワークを介して受信し、データ処理部１２３に供給する。コンテンツデータは、動画コンテンツのデータであって、動画像データ、音響データ、及び触覚データを含む。
　センサ部１２２は、表示部１０２の表示面に対するユーザの接触（タッチ）を検出するタッチセンサを有する。センサ部１２２は、表示部１０２の表示面に対するタッチの検出結果に応じて、センサデータを、データ処理部１２３に供給する。
　データ処理部１２３には、受信部１２１からのコンテンツデータと、センサ部１２２からのセンサデータが供給される。データ処理部１２３は、コンテンツデータとセンサデータに基づいて、各種のデータ処理を行い、その結果得られる提示データを、提示部１２４に供給する。
　データ処理部１２３は、動画像処理部１３１、音響処理部１３２、及び触覚処理部１３３を有する。データ処理部１２３に入力されるコンテンツデータのうち、動画像データは、動画像処理部１３１に供給され、音響データは、音響処理部１３２に供給され、触覚データは、触覚処理部１３３に供給される。また、センサデータは、音響処理部１３２と触覚処理部１３３にそれぞれ供給される。
　動画像処理部１３１は、そこに入力される動画像データに対し、所定の動画像処理を施して再生し、その結果得られる動画像提示データを、提示部１２４に供給する。
　音響処理部１３２は、そこに入力される音響データに対し、センサデータに応じた所定の音響処理を施して再生し、その結果得られる音響提示データを、提示部１２４に供給する。
　具体的には、音響処理部１３２は、ユーザの指などが表示部１０２の画面に触れていない場合、音響データの特性は変更せずにそのまま再生し、音響提示データとして提示部１２４に供給する。
　また、音響処理部１３２は、ユーザの指などが表示部１０２の画面に触れている場合、音響データに対してその特性を変更する処理を施し、その結果得られる音響提示データを、提示部１２４に供給する。例えば、音響データの特性を変更する処理としては、音響データに含まれる所定の低周波成分（略500Hz未満など）をカットするなどの周波数成分を変更する処理が含まれる。この低周波成分は、図４に示した聴覚と触覚についての周波数と知覚強度との関係により定めることができる。
　触覚処理部１３３は、そこに入力される触覚データに対し、所定の振動処理を施して再生し、その結果得られる触覚提示データを、提示部１２４に供給する。
　具体的には、触覚処理部１３３は、ユーザの指などが表示部１０２の画面に触れていない場合、触覚データに基づき、触覚提示用の表面振動として、触覚提示データをミュートするとともに、触覚提示用の本体振動として、触覚データをそのまま再生して触覚提示データとして提示部１２４に供給する。
　また、触覚処理部１３３は、ユーザの指などが表示部１０２の画面に触れている場合、触覚データに基づき、触覚提示用の表面振動として、触覚データをそのまま再生するとともに、触覚提示用の本体振動として、触覚データをそのまま再生し、それぞれ、触覚提示データとして提示部１２４に供給する。
　提示部１２４は、データ処理部１２３から供給される提示データに基づき、各種の提示を行う。提示部１２４は、動画像表示部１４１、及び振動部１４２を有する。
　動画像表示部１４１は、表示部１０２の表示機能に対応している。動画像表示部１４１は、そこに入力される動画像提示データに基づいて、表示部１０２の画面に動画像を表示する。
　振動部１４２は、表面振動部１１１と本体振動部１１２の振動機能に対応している。振動部１４２は、そこに入力される音響提示データ、又は音響提示データと触覚提示データを含む振動データに基づいて、表示部１０２を振動（表面振動）させる。また、振動部１４２は、そこに入力される触覚提示データを含む振動データに基づいて、筐体１０１を振動（本体振動）させる。
　以上のように構成される情報処理装置１０においては、データ処理部１２３によって、ユーザの指などが、表示部１０２の画面に触れているときと、画面から離れているときとで、音響提示データと触覚提示データを重畳した振動データに含まれる音響提示データの特性（例えば周波数成分）が変更されるようにしている。
　すなわち、情報処理装置１０においては、音響データの再生中に、ユーザの指などが、表示部１０２の画面に触れると意図しない触覚提示がなされてしまうため、ユーザの指などが画面に触れているときには、音響提示データの高周波成分をパス（低周波成分をカット）するなどして、音響提示データの特性を変更して、触覚提示データと重畳されるようにしている。
（第１の例）
　ここで、図７，図８は、ユーザの指が画面に触れていないときと、触れているときの表面振動と本体振動の振動データの信号波形の第１の例をそれぞれ示している。なお、図７，図８においては、各グラフにおける横軸を周波数（単位：Hz）とし、縦軸を振動の大きさ（単位：dB）としている。これらの横軸と縦軸の関係は、後述する他の図でも同様とされる。
　図７のＡでは、波形Ｗ１１，Ｗ１２により、ユーザの指が画面に触れていないときにおける、音響提示データに応じた音響提示用の表面振動と、触覚提示データに応じた触覚提示用の表面振動を表している。
　すなわち、ユーザの指が画面に触れていないときには、表面振動によって、触覚提示は行わず、音響提示のみが行われるため、波形Ｗ１１に注目すれば、音響提示用の表面振動は、音響提示データに応じた振動波形となるが、波形Ｗ１２に注目すれば、触覚提示用の表面振動のレベルは、略０で一定となる。よって、表面振動部１１１は、音響提示データに対応した振動データに従い、表示部１０２を振動（表面振動）させることで、音響提示が実現される。
　図７のＢでは、波形Ｗ２１により、ユーザの指が画面に触れていないときにおける、触覚提示データに応じた触覚提示用の本体振動を表している。
　すなわち、ユーザの指が画面に触れているか、触れていないかに関係なく、本体振動によって、触覚提示がなされるため、波形Ｗ２１に注目すれば、触覚提示用の本体振動は、触覚提示データに応じた振動波形となる。よって、本体振動部１１２は、触覚提示データに対応した振動データに従い、筐体１０１を振動（本体振動）させることで、本体側の触覚提示が実現される。
　図８のＡでは、波形Ｗ３１，Ｗ３２により、ユーザの指が画面に触れているときにおける、音響提示データに応じた音響提示用の表面振動と、触覚提示データに応じた触覚提示用の表面振動を表している。
　すなわち、ユーザの指が画面に触れているときには、表面振動によって、触覚提示と音響提示が行われるため、波形Ｗ３２に注目すれば、触覚提示用の表面振動は、触覚提示データに応じた振動波形となる。また、波形Ｗ３１に注目すれば、音響提示用の表面振動は、音響提示データに応じた振動波形となるが、略500Hz未満などの所定の低周波成分がカットされている（図中のＬＦの部分）。
　よって、表面振動部１１１は、音響提示データと振動提示データとを加算（重畳）した振動データに従い、表示部１０２を振動（表面振動）させることで、音響提示と触覚提示が実現される。
　このとき、触覚提示データに加算される音響提示データでは、所定の低周波成分をカットして、周波数帯域を変化させているため、音響提示データの低周波成分が、触覚提示データと混在して触覚知覚されてしまうことを抑制することができる。
　なお、図８のＢには、波形Ｗ４１により、ユーザの指が画面に触れているときにおける、触覚提示データに応じた触覚提示用の本体振動を表しているが、図７のＢの波形Ｗ２１と同様であるため、ここでは説明を省略する。
　以上のように、本技術によれば、音響提示データと触覚提示データを同時に提示データとして用いて提示を行う際に、ユーザの指などが画面に触れているときと、画面に触れていないときとで、音響提示データに含まれる周波数成分を変更する（例えば、所定の低周波成分をカットする）ことで、音響提示データに含まれる周波数成分が、触覚提示データと混在されることを抑制することができる。
　これにより、触覚提示とともに音響提示を行うに際して、触覚提示が音響提示の影響を受けることなく、より正確に触覚による知覚がなされるようにすることができる。換言すれば、触覚提示とともに音響提示を行う際に、音響提示により生じる濁りを取り除いて、より正確な触覚提示を行っているとも言える。例えば、動画コンテンツの音響データの再生中に、ユーザＵの指が画面に触れたときでも、動画コンテンツの制作者などが意図していない触覚が提示されることを抑制可能である。
＜２．第２の実施の形態＞
　ところで、情報処理装置１０において、表面振動と本体振動によって、音響提示と触覚提示を同時に行うに際しては、再生対象の音源の種類に応じて処理を変更してもよい。この音源の種類としては、例えば、BGMや効果音（SE：Sound Effect）を含むことができる。以下、図面を参照しながら、その詳細な内容を説明する。
（第２の例）
　図９，図１０は、ユーザの指が画面に触れていないときと、触れているときの表面振動と本体振動の振動データの信号波形の第２の例をそれぞれ示している。
　図９のＡでは、波形Ｗ５１，Ｗ５２により、ユーザの指が画面に触れていないときにおける、音響提示データに応じたBGMとSEの音響提示用の表面振動と、触覚提示データに応じた触覚提示用の表面振動を表している。
　すなわち、ユーザの指が画面に触れていないときには、表面振動によって、触覚提示は行わず、BGMとSEの音響提示のみが行われるため、波形Ｗ５１に注目すれば、BGMとSEの音響提示用の表面振動は、音響提示データに応じた振動波形となるが、波形Ｗ５２に注目すれば、触覚提示用の表面振動のレベルは、略０で一定となる。よって、表面振動部１１１は、音響提示データに対応した振動データに従い、表示部１０２を振動（表面振動）させることで、BGMとSEの音響提示が実現される。
　図９のＢでは、波形Ｗ６１により、ユーザの指が画面に触れていないときにおける、触覚提示データに応じたBGMとSEの触覚提示用の本体振動を表している。この触覚提示データは、BGMに関するビート感や、効果音の衝撃感などの触覚を提示可能である。
　すなわち、ユーザの指が画面に触れているか、触れていないかに関係なく、本体振動によって、BGMとSEの触覚提示がなされるため、波形Ｗ６１に注目すれば、BGMとSEの触覚提示用の本体振動は、触覚提示データに応じた振動波形となる。よって、本体振動部１１２は、触覚提示データに応じた振動データに従い、筐体１０１を振動（本体振動）させることで、本体側のBGMとSEの触覚提示が実現される。
　このように、ユーザの指が画面に触れていないときには、触覚提示用の表面振動は行われないため、本体振動によって、BGMに関するビート感などのBGMの触覚提示と、効果音の衝撃感などのSEの触覚提示が実現される。
　図１０のＡでは、波形Ｗ７１，Ｗ７２により、ユーザの指が画面に触れているときにおける、音響提示データに応じたBGMとSEの音響提示用の表面振動と、触覚提示データに応じたSEの触覚提示用の表面振動を表している。
　すなわち、ユーザの指が画面に触れているときには、表面振動によって、触覚提示と音響提示が行われるため、波形Ｗ７２に注目すれば、SE触覚提示用の表面振動は、触覚提示データに応じた振動波形となる。また、波形Ｗ７１に注目すれば、BGMとSEの音響提示用の表面振動は、音響提示データに応じた振動波形となるが、略500Hz未満などの所定の低周波成分がカットされている（図中のＬＦの部分）。
　よって、表面振動部１１１は、音響提示データと触覚提示データとを加算（重畳）した振動データに従い、表示部１０２を振動（表面振動）させることで、BGMとSEの音響提示とSEの触覚提示が実現される。この触覚提示データは、効果音の衝撃感などの触覚を提示可能である。
　このとき、触覚提示データに加算される音響提示データでは、所定の低周波成分をカットして、周波数帯域を変化させているため、音響提示データの低周波成分が、触覚提示データと混在して触覚知覚されてしまうことを抑制することができる。
　図１０のＢでは、波形Ｗ８１により、ユーザの指が画面に触れているときにおける、触覚提示データに応じたBGM触覚提示用の本体振動を表している。この触覚提示データは、BGMに関するビート感などの触覚を提示可能である。
　すなわち、ユーザの指が画面に触れているときには、表面振動によって、効果音の衝撃感などのSE触覚提示が実現されるため、本体振動によっては、BGMに関するビート感などのBGM触覚提示が実現される。これにより、より満足度の高いユーザ体験を提供することができる。
　また、ユーザの指が画面に触れているときに、表面振動によって、その触れている領域に応じた触覚提示がなされてもよい。
　例えば、図１１においては、ユーザＵが左手で把持している情報処理装置１０でアニメーション等の動画コンテンツを再生しているときに、特定のシーンで、画面上で右手の指で触れている対象物に関するSE音響提示やSE触覚提示がなされる様子を表している。
　図１１では、ユーザＵが右手の指で触れている対象物におけるSE触覚提示用の表面振動が、振動Ｖ３１により表され、BGM触覚提示用の本体振動が、振動Ｖ３２により表される。つまり、ユーザＵが、スマートフォン等の情報処理装置１０を使用して、アニメーション等の動画コンテンツを鑑賞しているときに、BGMに関するビート感などのBGM触覚提示が本体振動により提示され、さらに、特定のシーン（例えば爆発のシーン）にて指などで画面上に表示された対象物（例えば爆発の画像）を触れたときには、その対象物に応じたSE触覚提示が表面振動により提示される。
（第３の例）
　図１２は、ユーザの指が画面に触れているときの表面振動と本体振動の振動データの信号波形の第３の例を示している。
　図１２のＡでは、波形Ｗ９１，Ｗ９２，Ｗ９３により、ユーザの指が画面に触れているときにおける、音響提示データに応じたBGM音響提示用の表面振動と、指で触れている領域に関するSE音響提示用の表面振動と、触覚提示データに応じた指で触れている領域に関するSE触覚提示用の表面振動を表している。
　すなわち、ユーザの指が画面に触れているときには、表面振動によって、触覚提示と音響提示が行われるため、波形Ｗ９１に注目すれば、BGM音響提示用の表面振動は、BGM音響提示データに応じた振動波形となる。また、ユーザの指が触れている箇所に関するSE音響提示が行われるため、波形Ｗ９２に注目すれば、SE音響提示用の表面振動は、SE音響提示データに応じた振動波形となる。
　ここで、BGMとSEの音響提示用の表面振動は、音響提示データに応じた振動波形となるため、波形Ｗ９１，Ｗ９２においては、略500Hz未満などの所定の低周波成分がカットされている（図中のＬＦの部分）。
　また、ユーザの指が触れている箇所に関するSE触覚提示が行われるため、波形Ｗ９３に注目すれば、SE触覚提示用の表面振動は、SE触覚提示データに応じたデータ振動波形となる。
　よって、表面振動部１１１は、BGM音響提示データとSE音響提示データとSE触覚提示データとを加算（重畳）した振動データに従い、表示部１０２を振動（表面振動）させることで、BGM音響提示とともに、ユーザの指が触れている箇所におけるSE音響提示とSE触覚提示が実現される。
　なお、図１２のＢには、波形Ｗ１０１により、ユーザの指が画面に触れているときにおける、BGM触覚提示データに応じたBGM触覚提示用の本体振動を表しているが、図１０のＢの波形Ｗ８１と同様であるため、ここでは説明を省略する。
　以上のように、本技術によれば、表面振動と本体振動によって、音響提示と触覚提示を同時に行うに際して、再生対象の音源の種類（BGMやSE等）に応じた処理を適応的に行うことで、より満足度の高いユーザ体験を提供することができる。例えば、ユーザは、画面全体としてではなく、興味のある情報（対象物）のみを直感的に選択して、能動的に動画コンテンツの楽しみ方を変更することができる。また、動画コンテンツの情報（対象物）に関してより細かい情報を提示可能であるため、制作者側からすれば、表現の幅を広げることができる。
＜３．変形例＞
　上述した説明では、図１１，図１２を参照して、ユーザの指が画面に触れているときに、表面振動によって、その触れている領域に応じた触覚提示がなされる場合を説明したが、複数の指で画面上を同時に触れている場合に、それらの指で特定される領域に応じた触覚提示がなされてもよい。
　例えば、図１３に示すように、スマートフォン等の情報処理装置１０を使用して、ユーザＵが動画コンテンツ等を鑑賞している場合において、右手の人差し指と親指が同時に画面を触れているときに、その人差し指と親指により挟まれた対象領域Ａ１１に関するSE音響提示に対応する触覚提示を行うことができる。
　これにより、ユーザがアニメーション等の動画コンテンツを鑑賞しているときに、特定のシーン（例えば爆発のシーン）にて、画面上で複数の指で囲まれた領域内に表示された対象物（例えば複数の爆発の画像）に応じたSE触覚提示が表面振動により提示されるため、より大きな衝撃感などを提示可能となる。
　また、画面に接触している指の種別を判別可能な場合に、当該指の種別に応じて、触覚提示の際の振動強度を変更しても構わない。具体的には、画面に接触している指が、人差し指である場合には振動を弱めにしたり、あるいは、親指である場合には振動を強めにしたりすることができる。
　また、ユーザの指が画面に触れている面積（接触による圧力）に応じて、表面振動による音響提示の際の音響特性が変わるため、その変動を補正するように、音響提示データを変調しても構わない。例えば、この補正としては、面積や圧力が大きくなるほど、音響の高域を大きくするように補正することができる。なお、上述した面積や圧力は、画面に対する接触に関する物理量の一例であり、他の物理量を用いても構わない。
　上述した説明では、音響データの特性を変更する処理として、所定の低周波成分をカットして周波数成分を変更する処理を例示したが、他の処理によって、音響データの特性を変更しても構わない。例えば、音響データに対してピッチシフト処理を施し、音は聞き取れるが、振動は感じないようにその特性を変更してもよい。
　なお、再生対象の動画コンテンツの音響が低音重視である場合には、適宜、低周波成分をカットするフィルタをかけずに、振動として感じられることを許容してもよい。あるいは、外部のスピーカを利用可能である場合には、その状況に応じて、当該スピーカにより音響提示を行ってもよい。例えば、ユーザが表示部１０２の画面上を強くタッチした場合（画面を強く抑えすぎた場合）に、スマートフォン等の情報処理装置１０の代わりに、当該スピーカが音を出力することができる。
　また、上述した動画コンテンツはコンテンツの一例であり、静止画やゲーム、音楽などの他のコンテンツが再生された場合にも、同様に本技術を適用可能である。
　ここで、例えば、自動運転車等の自動車において、その運転席等の座面の部分から、BGM等の音楽に連動した振動が伝わっている状況で、運転者（ユーザ）がハンドルを握ったときに、走行中の路面の状態に応じた振動を重畳する際に、当該振動による触覚を運転者が知覚しやすいように、音楽に関する振動に対して周波数処理を行うことができる。このとき、運転者がハンドルの下部を握っていれば、BGM等の音楽に連動した振動のみが提示される一方で、ハンドルの上部を握っていれば、路面の状態に応じた振動を重畳するなどの処理が行われてもよい。
　また、例えば、映画館において、その座席の座面が振動したり、鑑賞者（ユーザ）が振動する機器を装着したりしている状況で、鑑賞者が座席に浅く座っているときには、環境音を重視したような振動を提示する一方で、鑑賞者が座席に深く座っているときには、効果音や心情などの細やかな表現振動を重畳して提示することができる。このような表現振動を重畳するに際しては、環境音に関する振動に対して周波数処理が行われる。
　また、上述した説明では、表示部１０２の画面に対するユーザのタッチが検出された場合に、音響データに含まれる周波数成分を変更する処理を行うとして説明したが、必ずしも、ユーザの指が画面に接触する必要はなく、例えば、表示部１０２の画面に対して、ユーザの指が近づいたら（所定の閾値内となる場合）、周波数成分を滑らかに変化させるなどして、処理が開始されるようにしてもよい。
　すなわち、情報処理装置１０では、ユーザのタッチ操作に限らず、所定の操作が検出された場合（例えば、ユーザの指が空中状態であるが、その後に画面に接触すると予測される場合）に、音響データに含まれる周波数成分を変更する処理が行われる。このような操作の検出は、距離センサ等の各種のセンサのセンサデータに基づき、公知の予測処理等の処理を行うことで、実現することができる。
　なお、スマートフォン等の情報処理装置１０に、有線又は無線によりイヤホンが接続されている場合において、ユーザが装着したイヤホンを介して音響提示がなされているとき、当該ユーザの指による画面上の接触の有無に関わらず、表面振動で用いられる振動データとして、音響提示データを含まず、触覚提示データのみが含まれるようにしてもよい。
　また、上述した説明では、ユーザの指が、表示部１０２の画面にタッチしているかどうかにより、音響データに含まれる周波数成分を変更していたが、ユーザの指に限らず、タッチペン（スタイラスペン）などを利用して、タッチされた場合にも同様の処理を行うことができる。また、ユーザの指が、表示部１０２の画面にタッチする際に、画面を押さえる力が強すぎる場合（所定の閾値を超える場合）には、表示部１０２に警告メッセージを表示したり、音により警告音を出力したりして、ユーザに対して注意を促すようにしてもよい。
　なお、上述した説明において、音響データは、音響に関するデータであって、音に関する音データの一例である。また、説明の都合上、動画像データと動画像提示データ、音響データと音響提示データ、及び触覚データと触覚提示データを区別して説明したが、動画像提示データ、音響提示データ、及び触覚提示データは、動画像データ、音響データ、及び触覚データとそれぞれ読み替えても構わない。
＜４．システムの構成＞
　図１４は、本技術を適用した情報処理装置１０を含む情報処理システムの構成の例を示している。
　図１４において、情報処理システムは、触覚提示デバイス１５１、動画像表示デバイス１５２、及び動画配信装置１５３から構成される。
　触覚提示デバイス１５１と動画像表示デバイス１５２の間の接続インターフェース１６１は、所定の規格に準拠した無線通信又は有線通信により実現される。また、動画像表示デバイス１５２と動画配信装置１５３の間の接続インターフェース１６２は、所定の規格に準拠した無線通信又は有線通信により実現される。
　触覚提示デバイス１５１は、スマートフォンやタブレット型端末、ディスプレイ装置、触覚グローブ、コントローラなど機器であって、ユーザに対し、触覚を提示可能である。
　動画像表示デバイス１５２は、スマートフォンやタブレット型端末、PC(Personal Computer)、ディスプレイ装置、HMD(Head Mounted Display)、ARグラスなどの機器であって、ユーザに対し、動画像を提示可能である。
　動画配信装置１５３は、サーバ、クライアントPC、スマートフォンなどの機器であって、動画像表示デバイス１５２に対し、動画コンテンツのコンテンツデータを配信する。
　情報処理装置１０は、触覚提示デバイス１５１、動画像表示デバイス１５２、又は動画配信装置１５３として構成される。
　具体的には、図１５に示すように、情報処理装置１０が、スマートフォンやタブレット端末などの機器として構成される場合、触覚提示デバイス１５１と動画像表示デバイス１５２は、同一の機器として構成される。
　すなわち、情報処理装置１０は、表面振動部１１１等の触覚提示デバイス１５１と、表示部１０２等の動画像表示デバイス１５２をともに有し、動画配信装置１５３から配信されるコンテンツデータに含まれる動画像データ、音響データ、及び触覚データに基づき、動画像の表示を行うとともに、音響提示と触覚提示を行う。
　この場合、情報処理装置１０においては、表示部１０２に取り付けられた表面振動部１１１が、音響提示データと触覚提示データに基づき、表示部１０２を振動（表面振動）させることで、音響提示と触覚提示が行われる（図中の波線で示した振動Ｖ４１）。このとき、例えば、ユーザの指が画面上で触れた位置（なぞった位置）と、画面に表示された動画像との関係性に応じて、触覚提示データを制御することができる。
　なお、動画コンテンツのコンテンツデータは、情報処理装置１０のストレージに記録し、そこから読み出すようにしても構わない。つまり、情報処理装置１０が、触覚提示デバイス１５１と、動画像表示デバイス１５２と、動画配信装置１５３の機能を全て有し、１つの機器として構成されても構わない。
　また、図１６に示すように、情報処理装置１０が、触覚グローブとHMDなどの機器として構成される場合には、触覚提示デバイス１５１と動画像表示デバイス１５２は、別々の機器として構成される。
　すなわち、第１の情報処理装置１０は、触覚グローブ等の触覚提示デバイス１５１として構成され、動画配信装置１５３から配信されるコンテンツデータに含まれる音響データと触覚データに基づき、音響提示と触覚提示に基づき、音響提示と触覚提示が行われる（図中の波線で示した振動Ｖ５１）。また、第２の情報処理装置１０は、HMD等の動画像表示デバイス１５２として構成され、動画配信装置１５３から配信されるコンテンツデータに含まれる動画像データに基づき、動画像をディスプレイに表示させる（図中の動画像Ｉ１１）。
　このとき、HMD等の動画像表示デバイス１５２に搭載されたカメラや外部センサ、触覚グローブの姿勢推定機能などにより、ユーザＵの指などが触っている位置を検出し、その触っている位置と、表示している動画像との関係性に応じて、触覚グローブに対する触覚提示データを制御することができる。
　なお、触覚グローブとHMDの組み合わせは、触覚提示デバイス１５１と動画像表示デバイス１５２は、別々の機器として構成される場合の一例であり、例えば、スマートフォンとディスプレイ装置の組み合わせなど、その組み合わせは任意である。また、触覚グローブとディスプレイ装置などを組み合わせた場合、タッチセンサ機能は、触覚グローブ等の触覚提示デバイス１５１側で有してもよいし、あるいは、ディスプレイ装置等の動画像表示デバイス１５２側で有してもよい。
　接続インターフェース１６１と接続インターフェース１６２とは、同一の規格に準拠した無線通信又は有線通信であってもよいし、異なる規格に準拠した無線通信又は有線通信であってもよい。
　例えば、接続インターフェース１６１と接続インターフェース１６２は、インターネット、イントラネット、又は携帯電話網などの通信網を含んで構成され、TCP/IP(Transmission Control Protocol / Internet Protocol)等の通信プロトコルを用いた機器間の相互接続を可能にしている。あるいは、例えば、接続インターフェース１６１のみを、Bluetooth（登録商標）等の近距離無線通信規格に準拠した無線通信としたり、HDMI（登録商標）(High-Definition Multimedia Interface)等の通信インターフェースの規格に準拠した有線通信としたりしても構わない。
（処理の流れ）
　次に、図１７のフローチャートを参照して、データ処理部１２３により実行される音響・触覚再生処理の流れを説明する。
　ステップＳ１１において、データ処理部１２３は、受信部１２１により受信されたコンテンツデータを取得する。
　コンテンツデータは、動画配信装置１５３から配信されて受信部１２１により受信されるほか、情報処理装置１０側の記憶部に記録しておき、そこから読み出されるようにしても構わない。また、コンテンツデータは、動画像データ、音響データ、及び触覚データを含む。触覚データは、動画像データ及び音響データに基づき、生成しても構わない。
　ステップＳ１２において、データ処理部１２３は、受信されたコンテンツデータに基づき、コンテンツの再生を開始する。
　ステップＳ１３において、データ処理部１２３は、センサ部１２２からのセンサデータに基づき、表示部１０２の画面に対するタッチが検出されたかどうかを判定する。
　ステップＳ１３の判定処理で、画面に対するタッチが検出されていないと判定された場合、処理は、ステップＳ１４に進められる。
　ステップＳ１４において、データ処理部１２３は、表面振動として、音響提示データをそのまま再生し、触覚提示データをミュートするとともに、本体振動として、触覚提示データをそのまま再生する。
　一方で、ステップＳ１３の判定処理で、画面に対するタッチが検出されたと判定された場合、処理は、ステップＳ１５に進められる。
　ステップＳ１５において、データ処理部１２３は、表面振動として、音響提示データのうち低周波成分をカットして再生し、触覚提示データをそのまま再生するとともに、本体振動として、触覚提示データをそのまま再生する。
　ステップＳ１４又はＳ１５の処理が終了すると、処理は、ステップＳ１６に進められる。
　ステップＳ１６では、コンテンツの再生を終了するかどうかが判定される。ステップＳ１６の判定処理で、コンテンツの再生を継続すると判定された場合、処理は、ステップＳ１３に戻り、上述した処理が繰り返される。また、ステップＳ１６の判定処理で、コンテンツの再生を終了すると判定された場合、処理は終了する。
　以上、音響・触覚再生処理の流れを説明した。この音響・触覚再生処理では、ユーザが画面にタッチしているときに、音響提示データに含まれる所定の低周波成分をカットして、周波数成分を変更しているため、音響提示データと触覚提示データを同時に提示データとして用いて提示を行う場合に、音響提示データに含まれる周波数成分が、触覚提示データと混在されることを抑制することができる。
＜５．コンピュータの構成＞
　上述した情報処理装置１０の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力I/F１００５が接続されている。入出力I/F１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記憶部１００８は、ハードディスクや不揮発性の半導体メモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記憶部１００８に記録されているプログラムを、入出力I/F１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力I/F１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
（１）
　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部を備える
　情報処理装置。
（２）
　前記音と前記触覚は、表示部を振動させることで提示され、
　前記処理部は、前記表示部の画面に対してユーザがタッチした場合、前記音データに含まれる周波数成分を変更する
　前記（１）請求項に記載の情報処理装置。
（３）
　前記処理部は、前記音データに含まれる所定の低周波成分をカットする
　前記（２）に記載の情報処理装置。
（４）
　前記低周波成分は、聴覚と触覚についての周波数と知覚強度との関係により定められる
　前記（３）に記載の情報処理装置。
（５）
　前記処理部は、前記音データの音源の種類に応じた処理を行う
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記処理部は、
　　第１の音源と第２の音源を含む音データに応じた振動により音を提示し、
　　前記第１の音源に対応した触覚データに応じた振動により第１の触覚を提示する
　前記（５）に記載の情報処理装置。
（７）
　前記第１の触覚と異なる第２の触覚は、筐体を振動させることで提示され、
　前記処理部は、前記第２の音源に対応した触覚データに応じた振動により前記第２の触覚を提示する
　前記（６）に記載の情報処理装置。
（８）
　前記第１の音源は、効果音を含み、
　前記第２の音源は、BGMを含む
　前記（６）又は（７）に記載の情報処理装置。
（９）
　前記処理部は、前記ユーザによりタッチされた画面上の領域に対応した触覚データに応じた振動により触覚を提示する
　前記（５）に記載の情報処理装置。
（１０）
　前記処理部は、
　　第１の音源と第２の音源を含む音データに応じた振動により音を提示する際に、前記第２の音源に対応した音データと、前記領域に関する前記第１の音源に対応した音データに応じた振動により音を提示し、
　　前記領域に関する前記第１の音源に対応した触覚データに応じた振動により第１の触覚を提示する
　前記（９）に記載の情報処理装置。
（１１）
　前記第１の触覚と異なる第２の触覚は、筐体を振動させることで提示され、
　前記処理部は、前記第２の音源に対応した触覚データに応じた振動により前記第２の触覚を提示する
　前記（１０）に記載の情報処理装置。
（１２）
　前記第１の音源は、効果音を含み、
　前記第２の音源は、BGMを含む
　前記（１０）又は（１１）に記載の情報処理装置。
（１３）
　前記領域は、前記ユーザの１又は複数の指による画面上の接触により指定される
　前記（９）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記処理部は、前記表示部の画面に接触している前記ユーザの指の種別に応じて、触覚データに応じた振動強度を変更する
　前記（２）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記処理部は、前記表示部の画面に対する前記ユーザの接触に関する物理量に応じて、前記音データを変調する
　前記（２）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記表示部は、動画コンテンツの動画像データに応じた動画像を表示し、
　前記音データは、前記動画コンテンツの音を提示するためのデータを含み、
　前記触覚データは、前記動画コンテンツの触覚を提示するためのデータを含む
　前記（２）乃至（１５）に記載の情報処理装置。
（１７）
　前記表示部と、
　前記表示部に対して設けられ、前記触覚データに応じて振動する第１の振動部と、
　前記ユーザの操作を検出するセンサ部と
　をさらに備える前記（２）乃至（１６）に記載の情報処理装置。
（１８）
　筐体に対して設けられ、前記触覚データに応じて振動する第２の振動部をさらに備える
　前記（１７）に記載の情報処理装置。
（１９）
　情報処理装置が、
　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する
　情報処理方法。
（２０）
　コンピュータを、
　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部として機能させる
　プログラム。
　１０　情報処理装置，　１０１　筐体，　１０２　表示部，　１０３　ダンパ，　１１１　表面振動部，　１１２　本体振動部，　１２１　受信部，　１２２　センサ部，　１２３　データ処理部，　１２４　提示部，　１３１　動画像処理部，　１３２　音響処理部，　１３３　触覚処理部，　１４１　動画像表示部，　１４２　振動部，　１５１　触覚提示デバイス，　１５２　動画像表示デバイス，　１５３　動画配信装置，　１００１　CPU

Claims (20)

  1. 　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部を備える
    　情報処理装置。
  2. 　前記音と前記触覚は、表示部を振動させることで提示され、
    　前記処理部は、前記表示部の画面に対してユーザがタッチした場合、前記音データに含まれる周波数成分を変更する
    　請求項１に記載の情報処理装置。
  3. 　前記処理部は、前記音データに含まれる所定の低周波成分をカットする
    　請求項２に記載の情報処理装置。
  4. 　前記低周波成分は、聴覚と触覚についての周波数と知覚強度との関係により定められる
    　請求項３に記載の情報処理装置。
  5. 　前記処理部は、前記音データの音源の種類に応じた処理を行う
    　請求項２に記載の情報処理装置。
  6. 　前記処理部は、
    　　第１の音源と第２の音源を含む音データに応じた振動により音を提示し、
    　　前記第１の音源に対応した触覚データに応じた振動により第１の触覚を提示する
    　請求項５に記載の情報処理装置。
  7. 　前記第１の触覚と異なる第２の触覚は、筐体を振動させることで提示され、
    　前記処理部は、前記第２の音源に対応した触覚データに応じた振動により前記第２の触覚を提示する
    　請求項６に記載の情報処理装置。
  8. 　前記第１の音源は、効果音を含み、
    　前記第２の音源は、BGMを含む
    　請求項６に記載の情報処理装置。
  9. 　前記処理部は、前記ユーザによりタッチされた画面上の領域に対応した触覚データに応じた振動により触覚を提示する
    　請求項５に記載の情報処理装置。
  10. 　前記処理部は、
    　　第１の音源と第２の音源を含む音データに応じた振動により音を提示する際に、前記第２の音源に対応した音データと、前記領域に関する前記第１の音源に対応した音データに応じた振動により音を提示し、
    　　前記領域に関する前記第１の音源に対応した触覚データに応じた振動により第１の触覚を提示する
    　請求項９に記載の情報処理装置。
  11. 　前記第１の触覚と異なる第２の触覚は、筐体を振動させることで提示され、
    　前記処理部は、前記第２の音源に対応した触覚データに応じた振動により前記第２の触覚を提示する
    　請求項１０に記載の情報処理装置。
  12. 　前記第１の音源は、効果音を含み、
    　前記第２の音源は、BGMを含む
    　請求項１０に記載の情報処理装置。
  13. 　前記領域は、前記ユーザの１又は複数の指による画面上の接触により指定される
    　請求項９に記載の情報処理装置。
  14. 　前記処理部は、前記表示部の画面に接触している前記ユーザの指の種別に応じて、触覚データに応じた振動強度を変更する
    　請求項２に記載の情報処理装置。
  15. 　前記処理部は、前記表示部の画面に対する前記ユーザの接触に関する物理量に応じて、前記音データを変調する
    　請求項２に記載の情報処理装置。
  16. 　前記表示部は、動画コンテンツの動画像データに応じた動画像を表示し、
    　前記音データは、前記動画コンテンツの音を提示するためのデータを含み、
    　前記触覚データは、前記動画コンテンツの触覚を提示するためのデータを含む
    　請求項２に記載の情報処理装置。
  17. 　前記表示部と、
    　前記表示部に対して設けられ、前記触覚データに応じて振動する第１の振動部と、
    　前記ユーザの操作を検出するセンサ部と
    　をさらに備える請求項２に記載の情報処理装置。
  18. 　筐体に対して設けられ、前記触覚データに応じて振動する第２の振動部をさらに備える
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が、
    　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する
    　情報処理方法。
  20. 　コンピュータを、
    　音データと触覚データに応じた振動により音と触覚を提示するに際して、所定の操作が検出された場合、前記音データの特性を変更する処理部として機能させる
    　プログラム。
PCT/JP2021/010753 2020-03-30 2021-03-17 情報処理装置、情報処理方法、及びプログラム WO2021200142A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-060383 2020-03-30
JP2020060383 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021200142A1 true WO2021200142A1 (ja) 2021-10-07

Family

ID=77929198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010753 WO2021200142A1 (ja) 2020-03-30 2021-03-17 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2021200142A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008118A (ja) * 2011-06-23 2013-01-10 Panasonic Corp 電子機器
JP2015170213A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 携帯装置、制御方法及びプログラム
JP2019185554A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン 音響出力装置及び音響出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008118A (ja) * 2011-06-23 2013-01-10 Panasonic Corp 電子機器
JP2015170213A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 携帯装置、制御方法及びプログラム
JP2019185554A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン 音響出力装置及び音響出力方法

Similar Documents

Publication Publication Date Title
CN105828230B (zh) 具有集成图像显示器的耳机
US9210494B1 (en) External vibration reduction in bone-conduction speaker
JP6538305B2 (ja) 高度なテレビジョンインタラクションのための方法とコンピュータ可読媒体
KR20010074565A (ko) 현장감을 느낄 수 있는 가상현실 체험 시스템
KR20170037530A (ko) 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법
US11395089B2 (en) Mixing audio based on a pose of a user
US20190267043A1 (en) Automated haptic effect accompaniment
WO2015083691A1 (ja) 電子機器、および振動情報生成装置
US10402153B2 (en) Creation and control of channels that provide access to content from various audio-provider services
WO2019038888A1 (ja) 振動制御装置
US11291913B2 (en) Positional haptics via head-mounted peripheral
EP3422744A1 (en) An apparatus and associated methods
US11070933B1 (en) Real-time acoustic simulation of edge diffraction
WO2019057530A1 (en) APPARATUS AND ASSOCIATED METHODS FOR PRESENTING AUDIO IN THE FORM OF SPACE AUDIO
WO2021200142A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220171593A1 (en) An apparatus, method, computer program or system for indicating audibility of audio content rendered in a virtual space
KR200241789Y1 (ko) 현장감을 느낄 수 있는 가상현실 체험 시스템
KR102070300B1 (ko) 보청기 튜닝 방법, 컴퓨터 프로그램 및 시스템
EP3422743B1 (en) An apparatus and associated methods for audio presented as spatial audio
US20240272867A1 (en) Cognitive aid for audio books
US20240107257A1 (en) Relocation of sound components in spatial audio content
CN116405866A (zh) 空间音频服务
GB2610591A (en) Apparatus, systems and methods for haptics
TW202401241A (zh) 用於基於偵測到物件進入使用者之互動區而動態地調整聲音的方法及系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779855

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21779855

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP