WO2020026797A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2020026797A1
WO2020026797A1 PCT/JP2019/028007 JP2019028007W WO2020026797A1 WO 2020026797 A1 WO2020026797 A1 WO 2020026797A1 JP 2019028007 W JP2019028007 W JP 2019028007W WO 2020026797 A1 WO2020026797 A1 WO 2020026797A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
control unit
vibration
output
audio
Prior art date
Application number
PCT/JP2019/028007
Other languages
English (en)
French (fr)
Inventor
裕史 竹田
修一郎 錦織
鈴木　志朗
松本　淳
山野　郁男
中川　俊之
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/262,321 priority Critical patent/US11561618B2/en
Publication of WO2020026797A1 publication Critical patent/WO2020026797A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and in particular, to an information processing device, an information processing method, and a program that can suppress, for example, obstructing viewing of audio content.
  • an electronic device having all of a voice output function of outputting voice, a vibration output function of outputting vibration, and an information communication function of performing communication for exchanging information
  • a smartphone As an electronic device having all of a voice output function of outputting voice, a vibration output function of outputting vibration, and an information communication function of performing communication for exchanging information, there is, for example, a smartphone.
  • a group of electronic devices that can cooperate in real time with a voice output function, a vibration output function, and an information communication function for example, there is a combination of a smart phone and a smart watch that works with the smart phone.
  • the above electronic devices and electronic device groups are collectively referred to as an electronic device system.
  • the user when the user is enjoying audio content including music and other audio by the audio output function, the user receives the audio content by the information communication function.
  • the user can be notified of the notified message by outputting an alarm sound using the voice output function or outputting a vibration using the vibration output function.
  • information with high urgency such as incoming calls and sudden changes in weather
  • information with low urgency such as information on the remaining battery level and campaign information of stores usually used by users. Is received (acquired).
  • Patent Literature 1 describes a mobile communication terminal device that sets a notification sound from a speaker and vibration of a vibrator in accordance with the urgency of notification information.
  • the notification of the notification information (notification of the notification information) is notified by the alarm sound while the user is viewing the audio content, the user's viewing of the audio content is prevented.
  • the audio content is music (music)
  • the quality of the user's music experience is impaired.
  • the present technology has been made in view of such a situation, and it is possible to suppress obstruction of content viewing.
  • the information processing device or the program according to the present technology includes a control unit that controls the output of the tactile stimulus when the notification information is received during the output of the content including the voice, and the control unit corresponds to the content.
  • An information processing apparatus that performs processing for controlling the tactile stimulus, or processing for controlling the content in response to the tactile stimulus, or a program for causing a computer to function as such an information processing apparatus. .
  • An information processing method is configured such that, when notification information is received during output of content including voice, a control unit that controls output of a haptic stimulus controls the haptic stimulus in response to the content. Or an information processing method including a step of performing a process of controlling the content in response to the tactile stimulus.
  • the output of the tactile stimulus is controlled when the notification information is received during the output of the content including the sound. Further, a process of controlling the tactile stimulus in response to the content or a process of controlling the content in response to the tactile stimulus is performed.
  • the information processing device may be an independent device, or may be an internal block constituting one device.
  • the program can be distributed by transmitting it via a transmission medium or by recording it on a recording medium.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an electronic device system to which the present technology is applied.
  • 9 is a flowchart illustrating an example of an operation of the electronic device system.
  • FIG. 3 is a block diagram illustrating a first configuration example of a control unit 13.
  • FIG. 4 is a diagram illustrating a perception enhancement process performed by a voice control unit 22.
  • FIG. 9 is a block diagram illustrating a second configuration example of the control unit 13.
  • FIG. 13 is a block diagram illustrating a third configuration example of the control unit 13.
  • FIG. 14 is a block diagram illustrating a fourth configuration example of the control unit 13.
  • FIG. 4 is a diagram illustrating a first example of a perception enhancement process performed by a vibration control unit 23.
  • FIG. 3 is a block diagram illustrating a first configuration example of a control unit 13.
  • FIG. 4 is a diagram illustrating a perception enhancement process performed by a voice control unit 22.
  • FIG. 9 is a block diagram
  • FIG. 9 is a diagram illustrating a second example of the perception enhancement process performed by the vibration control unit 23.
  • FIG. 14 is a block diagram illustrating a fifth configuration example of the control unit 13.
  • FIG. 14 is a block diagram illustrating a sixth configuration example of the control unit 13.
  • 13 is a flowchart illustrating an example of processing of the electronic device system when controlling the output timing of the notification vibration in response to the urgency of the notification information.
  • FIG. 9 is a diagram illustrating an example of notification of notification of notification information that is not urgent.
  • FIG. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an electronic device system to which the present technology is applied.
  • the electronic device system includes a storage unit 11, an information receiving unit 12, a control unit 13, an audio output unit 14, and a vibration output unit 15, and is, for example, an audio reproducing device capable of reproducing audio such as music. Function as
  • the electronic device system can be configured by one electronic device, or can be configured by a plurality of electronic devices.
  • the electronic device system can be configured by, for example, one mobile device such as one smartphone or mobile player. Further, the electronic device system can be configured by a smartphone or a portable player and a wearable device linked to the smartphone or the portable player, for example, a smart watch or a neck speaker.
  • the storage unit 11 or the audio output unit 14 can be built in the smartphone, and the vibration output unit 15 can be built in the smart watch.
  • the storage unit 11 or the control unit 13 can be built in the smartphone, and the audio output unit 14 and the vibration output unit 15 can be built in the neck speaker.
  • the storage unit 11 stores audio content including audio, and reproduces the stored audio content in response to, for example, a user operation.
  • the audio content is a content including at least audio such as music, an image (moving image), and audio accompanying the image.
  • audio content for example, content including only audio such as music will be used.
  • a memory built in the electronic device system or a storage medium (for example, a memory card or an optical disk) detachable from the electronic device can be adopted.
  • the audio content can be stored in the storage unit 11 in advance, or can be stored in the storage unit 11 by streaming via a network such as the Internet.
  • the information receiving unit 12 receives notification information to be notified to the user by communication via an external network such as the Internet, notification from an application (program) executed in the electronic device system, or the like. Supply.
  • the information receiving unit 12 is, for example, a communication circuit that receives data transmitted by wire communication or wireless communication.
  • the control unit 13 controls the audio output unit 14 to output audio, controls the vibration output unit 15 to output vibration, and the like.
  • the control unit 13 is, for example, one or a plurality of processing circuits including a CPU and a DSP.
  • control unit 13 supplies the audio content reproduced in the storage unit 11 to the audio output unit 14 and outputs the audio content. That is, the control unit 13 supplies an audio signal obtained by reproducing the audio content in the storage unit 11 to the audio output unit 14 to output a corresponding audio.
  • the control unit 13 controls the output of a tactile stimulus for notifying the notification of the notification information received by the information receiving unit 12 during the output of the audio content.
  • the tactile stimulus is a stimulus that can be sensed by touch, and includes, for example, vibration, direct stimulation of nerves by electricity, stimulation by air pressure (force sense), stimulation by temperature, and the like.
  • the electronic device system can be provided with a haptic stimulus output unit that outputs various haptic stimuli.
  • a vibration output unit 15 that outputs vibration is provided as one type of the tactile stimulus output unit.
  • the control unit 13 transmits to the information receiving unit 12.
  • the vibration is output (for example, the electronic device system is vibrated).
  • control unit 13 controls the vibration output from the vibration output unit 15 (a vibration signal corresponding to) corresponding to the audio content from the storage unit 11 as necessary, or the vibration output unit 15 Performs a process of controlling the sound (signal) of the sound content from the storage unit 11 in response to the vibration output by.
  • the audio output unit 14 includes, for example, a speaker (an earphone having headphones, headphones, a wearable device, or the like) and the like, and outputs audio corresponding to the audio signal of the audio content from the control unit 13.
  • the vibration output unit 15 includes, for example, an eccentric motor, an LRA (Linear Resonant Actuator), a piezoelectric element, and the like, and outputs vibration corresponding to a vibration signal from the control unit 13. That is, the vibration output unit 15 vibrates according to the vibration signal from the control unit 13.
  • LRA Linear Resonant Actuator
  • the notification of the notification information to the user can be performed by (oscillation (output)) other than the vibration (output), and can also be performed by the notification sound (output) of notification to the user of the notification of the notification information, such as an alarm sound. .
  • the control unit 13 When the notification of the notification information is performed to the user by the notification sound, the control unit 13 superimposes the notification sound signal on the audio signal of the audio content and supplies the signal to the audio output unit 14.
  • Whether the notification of the notification information to the user is performed by vibration or notification sound can be set, for example, in accordance with the operation of the user.
  • FIG. 2 is a flowchart illustrating an example of the operation of the electronic device system in FIG.
  • step S11 the storage unit 11 starts reproducing the audio content in response to, for example, a user operation, and the process proceeds to step S12.
  • the audio signal of the audio content obtained by the reproduction of the audio content by the storage unit 11 is supplied to the control unit 13.
  • the control unit 13 supplies the audio signal from the storage unit 11 to the audio output unit 14 to output the corresponding audio.
  • step S12 the information receiving unit 12 determines whether the notification information has been received. If it is determined in step S12 that the notification information has not been received, the process returns to step S12.
  • step S12 If it is determined in step S12 that the notification information has been received, the information receiving unit 12 supplies the notification information to the control unit 13, and the process proceeds to step S13.
  • step S13 the control unit 13 notifies the user of the notification of the notification information in response to the notification information from the information receiving unit 12, and the process returns to step S12.
  • control unit 13 performs a vibration control process for controlling a stimulus signal for outputting a tactile stimulus, here, a vibration signal for outputting a vibration, in response to the audio signal of the audio content being reproduced.
  • control unit 13 performs a content control process of controlling the audio signal (the audio signal of the audio content being reproduced) from the storage unit 11 in response to the vibration signal for outputting the vibration.
  • the control unit 13 supplies a vibration signal obtained by the vibration control process to the vibration output unit 15 and controls the vibration output unit 15 to output a corresponding vibration. , The user is notified of the notification of the notification information.
  • the control unit 13 supplies the vibration signal used for the content control process to the vibration output unit 15 and controls the vibration output unit 15 to output the corresponding vibration.
  • the control notifies the user of the notification of the notification information.
  • the control unit 13 supplies an audio signal obtained by the content control process to the audio output unit 14 instead of the audio signal itself from the storage unit 11 to output a corresponding audio.
  • a notification method of notifying a user of notification information a method of displaying a notification of notification information on a display screen, a method of outputting a notification sound such as an alarm sound, and a method of outputting vibration (For example, a method of vibrating an electronic device system) or the like.
  • the method of displaying the notification of the notification information on the display screen does not allow the user to notice the notification information for a long time, and may respond to the notification information. Can not.
  • the user can immediately notice the notification information by outputting the characteristic notification sound after greatly lowering the volume of the audio content.
  • the user when the user is watching the audio content, the user can be notified of the notification information while preventing the user from viewing the audio content.
  • notification vibration when the user feels vibration irrespective of vibration notifying notification of notification information (hereinafter, also referred to as notification vibration), such as when moving on a train, the user may not notice the notification vibration. is there.
  • the auditory stimulus (the stimulus to the auditory sense) by the audio content raises the awareness of the vibration as the tactile stimulus. It may be difficult to turn and you may not notice the notification vibration.
  • control unit 13 performs perception improvement processing for improving perception of vibration (tactile stimulus), for example, vibration control processing and content control processing as described with reference to FIG.
  • the present invention makes it easier for a user to notice a notification vibration for notifying a notification of notification information while suppressing hindrance, thereby enabling prompt response to the notification information.
  • control unit 13 that performs various perception enhancement processes will be described.
  • any method (including a plurality of methods) of displaying notification of notification information on a display screen, outputting a notification sound such as an alarm sound, and outputting vibration is used.
  • the user can be notified of the notification information.
  • the electronic device system notifies the user of the notification information by a method of outputting vibration.
  • FIG. 3 is a block diagram showing a first configuration example of the control unit 13. As shown in FIG.
  • the control unit 13 includes a notification control unit 21, a voice control unit 22, and a vibration control unit 23.
  • Notification information is supplied from the information receiving unit 12 to the notification control unit 21.
  • the notification control unit 21 performs various controls for notifying the user of the notification of the notification information.
  • the notification control unit 21 supplies a notification command for notifying the user of the notification of the notification information to the vibration control unit 23, and the like.
  • the vibration controller 23 is controlled.
  • the notification control unit 21 controls the voice control unit 22 by supplying a command requesting to perform a perception enhancement process or the like to the voice control unit 22.
  • the notification control unit 21 determines a method of performing notification (vibration, notification sound, and the like), a timing of performing notification, and the like, and, in accordance with the determined content, the voice control unit 22 and the vibration control unit 23. Control.
  • the audio signal of the audio content is supplied from the storage unit 11 to the audio control unit 22.
  • the audio control unit 22 supplies the audio signal of the audio content from the storage unit 11 to the audio output unit 14 to output the corresponding audio. Further, the audio control unit 22 controls the audio signal of the audio content from the storage unit 11 in accordance with the vibration signal generated by the vibration control unit 23 (the vibration corresponding to the vibration signal) under the control of the notification control unit 21.
  • a content control process is performed as a perception enhancement process. Then, the audio control unit 22 supplies the audio output unit 14 with an audio signal obtained by the perception enhancement process (the content control process), thereby outputting the corresponding audio.
  • the vibration control unit 23 generates a vibration signal for outputting a notification vibration in response to the notification command from the notification control unit 21 and supplies the vibration signal to the vibration output unit 15.
  • the vibration output unit 15 outputs a notification vibration in response to a vibration signal from the vibration control unit 23.
  • the notification control unit 21 when the notification information is supplied from the information receiving unit 12 to the notification control unit 21, the notification control unit 21 performs the vibration control so as to output the notification vibration.
  • the unit 23 is controlled. Further, the notification control unit 21 controls the voice control unit 22 so as to perform a perception enhancement process.
  • the voice control unit 22 performs a perception enhancement process for controlling the audio signal of the audio content from the storage unit 11 according to the control of the notification control unit 21, and supplies the audio signal obtained by the perception enhancement process to the audio output unit 14. Then, the corresponding sound is output.
  • the vibration control unit 23 generates a vibration signal according to the control of the notification control unit 21 and supplies the vibration signal to the vibration output unit 15 to output a corresponding notification vibration.
  • FIG. 4 is a diagram illustrating the perception enhancement process performed by the voice control unit 22 of FIG.
  • FIG. 4 shows the frequency spectrum of the audio signal (the sound corresponding to) of the audio content and the frequency spectrum of the vibration signal (the notification vibration corresponding to).
  • the notification control unit 21 in FIG. 3 controls the audio control unit 22 so as to control the frequency spectrum of the audio of the audio content in accordance with the frequency spectrum of the notification vibration.
  • the notification control unit 21 acquires the frequency spectrum of the vibration signal, and detects the frequency band B11 in which the power (energy) of the vibration signal is large, that is, for example, the frequency band B11 in which the power of the vibration signal is equal to or more than the threshold. I do. Then, the notification control unit 21 controls the audio control unit 22 so that the process of suppressing the power of the frequency band B11 of the audio signal of the audio content is performed as a perception enhancement process (content control process).
  • a perception enhancement process content control process
  • the audio control unit 22 performs equalization processing for suppressing the power of the frequency band B11 of the audio signal of the audio content on the audio signal of the audio content as shown in FIG. Is supplied to the audio output unit 14.
  • the power of the vibration signal is reduced in the frequency band B11. Is relatively much larger than the power of
  • the audio content of the user is compared with a case where the volume of the audio content is greatly reduced. Can be suppressed from affecting the viewing.
  • the frequency spectrum of the vibration signal can be obtained by, for example, frequency analysis of the vibration signal generated by the vibration control unit 23. Further, the frequency spectrum of the vibration signal can be obtained in advance by, for example, a prior analysis. Further, the frequency spectrum of the vibration signal can be approximated by, for example, a mountain-shaped spectrum centered on the resonance frequency of the vibration output unit 15.
  • FIG. 5 is a block diagram showing a second configuration example of the control unit 13. As shown in FIG.
  • control unit 13 includes a notification control unit 21, a voice control unit 22, a vibration control unit 23, and a voice analysis unit 31.
  • control unit 13 in FIG. 5 is common to the case in FIG. 3 in that the control unit 13 includes the notification control unit 21, the voice control unit 22, and the vibration control unit 23.
  • control unit 13 of FIG. 5 differs from the case of FIG. 3 in that a voice analysis unit 31 is newly provided.
  • the audio signal of the audio content reproduced in the storage unit 11 is supplied to the audio analysis unit 31.
  • the voice analysis unit 31 analyzes the voice signal from the storage unit 11 to extract a predetermined feature amount such as a frequency spectrum from the voice signal and supplies the extracted feature amount to the notification control unit 21.
  • the audio analysis unit 31 can obtain the frequency spectrum and the like of the audio signal by performing frequency analysis of the audio signal from the storage unit 11 and supply the information to the notification control unit 21.
  • the notification control unit 21 performs the same processing as in FIG. 3, and controls the voice control unit 22 according to the frequency spectrum of the voice signal from the voice analysis unit 31.
  • the notification control unit 21 controls the audio control unit 22 so as to perform the equalizing process for suppressing the power of the frequency band B11 of the audio signal of the audio content.
  • the notification control unit 21 When the power of the frequency band B11 in which the power of the vibration signal is large among the powers of the frequency spectrum of the audio signal is not large, that is, when the power of the frequency band B11 of the audio signal is not equal to or larger than the threshold, the notification control unit 21 The control of the voice control unit 22 so as to perform the equalizing process is omitted (not performed).
  • FIG. 6 is a block diagram showing a third configuration example of the control unit 13.
  • the control unit 13 includes a notification control unit 21, a voice control unit 22, a vibration control unit 23, and an external sound processing unit 41.
  • control unit 13 in FIG. 6 is the same as the case in FIG. 3 in that the control unit 13 includes the notification control unit 21, the voice control unit 22, and the vibration control unit 23.
  • control unit 13 of FIG. 6 differs from the case of FIG. 3 in that an external sound processing unit 41 is newly provided.
  • the audio signal of the audio content reproduced in the storage unit 11 is supplied to the external sound processing unit 41.
  • the external sound processing unit 41 performs external sound processing on the audio signal of the audio content from the storage unit 11 as necessary, and outputs the audio signal after the external sound processing or the audio signal of the audio content from the storage unit 11. Is supplied to the voice control unit 22.
  • the external sound processing refers to an external sound capturing function for capturing surrounding sounds into the sound output from the sound output unit 14 and a noise canceling function for canceling surrounding sounds from the sound output from the sound output unit 14. This is the process to be realized. Therefore, according to the external sound capturing function, when the user is watching the audio content, the surrounding sounds can be easily heard. On the other hand, according to the noise canceling function, when the user is watching the audio content, the surrounding sound, that is, the noise becomes difficult to hear. It can be said that the external sound capturing function and the noise canceling function perform so-called contradictory processes, that is, a process of superimposing surrounding sounds and a process of removing surrounding sounds. Therefore, the external sound capturing function and the noise canceling function cannot be simultaneously turned on.
  • the control unit 13 can turn on / off the external sound capturing function and the noise canceling function.
  • the notification control unit 21 controls the external sound processing unit 41.
  • the on / off of the external sound capturing function and the noise canceling function is controlled.
  • the external sound processing unit 41 measures the surrounding sound, and uses the signal of the surrounding sound (hereinafter, also referred to as an ambient sound signal) obtained by the measurement to convert the sound signal of the sound content from the storage unit 11 into an external signal. Perform sound processing.
  • the external sound processing unit 41 when the external sound capturing function is on, the external sound processing unit 41 performs a process of superimposing the ambient sound signal on the audio signal of the audio content from the storage unit 11 as external sound processing.
  • the noise canceling function When the noise canceling function is ON, the external sound processing unit 41 performs a process of superimposing a signal of the opposite phase of the ambient sound signal on the audio signal of the audio content from the storage unit 11 as external sound processing.
  • the on / off of the external sound capturing function and the noise canceling function can be performed by a user operation, the control of the external sound processing unit 41 by the notification control unit 21, and the like.
  • control unit 13 configured as described above, when the information receiving unit 12 receives the notification information and supplies the notification information to the notification control unit 21, the notification control unit 21 performs the voice control unit 22 and the The vibration controller 23 is controlled.
  • the notification control unit 21 detects the current state of the on / off state of the external sound capturing function and the noise canceling function, and controls the external sound processing unit 41 in accordance with the detection result. Controls on / off of the function and noise cancellation function.
  • the notification control unit 21 controls the external sound processing unit 41 so that external sound processing contradictory to the current external sound processing is performed.
  • the notification control unit 21 turns off the external sound capturing function or turns off the external sound capturing function.
  • the external sound processing unit 41 is controlled to turn on the noise canceling function.
  • the state of hearing the sound output from the sound output unit 14 changes from a state in which the surrounding sounds are easily heard to a state in which the sounds are hardly heard.
  • the notification control unit 21 turns off the noise canceling function, or turns off the noise canceling function, and outputs the external sound.
  • the external sound processing unit 41 is controlled so that the function is turned on. In this case, the state of hearing the sound output from the sound output unit 14 changes from a state in which the surrounding sounds are hard to hear to a state in which the sounds are easy to hear.
  • the notification control unit 21 controls the external sound processing unit 41 to turn on the external sound capturing function or to turn on the noise canceling function. Control. In this case, the state of hearing the sound output from the sound output unit 14 is changed from a state in which the surrounding sounds are not easily heard or hardly heard to a state in which the sounds are easily heard or hardly heard.
  • the state of hearing the surrounding sounds changes, so that the user becomes more conscious of the tactile stimulus and more easily notices the notification vibration.
  • FIG. 7 is a block diagram showing a fourth configuration example of the control unit 13. As shown in FIG.
  • the control unit 13 includes a notification control unit 21, a voice control unit 22, a vibration control unit 23, and a voice analysis unit 31.
  • control unit 13 in FIG. 7 is configured in the same manner as in FIG.
  • the perception improvement processing is performed not by the voice control unit 22 but by the vibration control unit 23.
  • the notification control unit 21 supplies a notification command for notifying the user of the notification of the notification information to the vibration control unit 23, and the like.
  • the vibration controller 23 is controlled. Further, the notification control unit 21 supplies a command requesting to perform a perception enhancement process or the like to the vibration control unit 23 in accordance with the feature amount of the audio signal of the audio content supplied from the audio analysis unit 31. Controls the vibration control unit 23.
  • the vibration control unit 23 performs a vibration control process as a perception enhancement process for controlling a vibration signal in accordance with the sound (signal) of the audio content being reproduced in the storage unit 11 according to the control of the notification control unit 21. Then, the vibration control unit 23 supplies the vibration output unit 15 with the vibration signal obtained by the perception improvement processing (the vibration control processing as the above), thereby outputting the corresponding notification vibration.
  • the audio signal of the audio content reproduced in the storage unit 11 is supplied to the audio control unit 22 and the audio analysis unit 31.
  • the audio control unit 22 supplies the audio signal from the storage unit 11 to the audio output unit 14 and causes the corresponding audio to be output at a volume according to the control of the notification control unit 21, for example.
  • the voice analysis unit 31 analyzes the voice signal from the storage unit 11, obtains an acoustic or musical feature amount such as a frequency spectrum and a beat cycle of the voice signal, and supplies it to the notification control unit 21.
  • the notification control unit 21 performs the perception improvement processing in accordance with the feature amount of the audio signal from the audio analysis unit 31.
  • the vibration control unit 23 is controlled.
  • the vibration control unit 23 performs a perception enhancement process under the control of the notification control unit 21 and supplies a vibration signal obtained by the perception improvement process to the vibration output unit 15 to output a corresponding notification vibration.
  • the notification control unit 21 controls the frequency spectrum of the notification vibration (a vibration signal for outputting) corresponding to, for example, the frequency spectrum as the feature amount of the audio signal of the audio content as the perception enhancement processing.
  • the vibration control unit 23 can be controlled so as to perform
  • the notification control unit 21 controls the vibration control unit 23 so as to control the output timing of the notification vibration corresponding to, for example, the beat cycle as the feature amount of the audio signal of the audio content as the perception improvement processing. Can be controlled.
  • the notification control unit 21 can control the vibration control unit 23 so as to control the intensity of the notification vibration in accordance with the volume of the audio of the audio content as the perception improvement processing.
  • FIG. 8 is a diagram illustrating a first example of the perception enhancement process performed by the vibration control unit 23 of FIG.
  • FIG. 8 shows the frequency spectrum of the audio signal (sound corresponding to) of the audio content and the frequency spectrum of the vibration signal (notified vibration corresponding to).
  • the notification control unit 21 in FIG. 7 adjusts the frequency spectrum of the vibration signal (the notification vibration corresponding to the) corresponding to the frequency spectrum of the audio signal (the audio corresponding to) of the audio content.
  • the vibration control unit 23 is controlled so as to control.
  • the notification control unit 21 detects, from the frequency spectrum of the audio signal of the audio content, a frequency band B21 in which the power of the audio signal is small within a range of frequencies that can be taken as frequency components of the notification vibration (vibration signal). I do.
  • a frequency band in which the power of the audio signal is small for example, a frequency band in which the power of the audio signal is the minimum, a frequency band in which the power is equal to or less than the threshold, and the like are employed within a range of frequencies that can be taken as the frequency components of the notification vibration. be able to.
  • the notification control unit 21 controls the vibration control unit 23 to perform a process of generating a vibration signal of a frequency spectrum in which the power of the frequency band B21 becomes maximum (frequency peak) as a perception enhancement process (vibration control process). Control.
  • the vibration control unit 23 generates a vibration signal having a frequency spectrum in which the power of the frequency band B21 is maximized, and supplies the vibration signal to the vibration output unit 15 according to the control of the notification control unit 21, as shown in FIG.
  • a vibration signal having a large power in a frequency band where the power of the audio signal is small is generated, so that the user can easily notice the notification vibration corresponding to the vibration signal. Furthermore, in the first example of the perception enhancement processing, since the audio content is not processed, it is possible to prevent a user viewing the audio content from feeling uncomfortable with the audio content.
  • FIG. 9 is a diagram illustrating a second example of the perception enhancement process performed by the vibration control unit 23 in FIG.
  • FIG. 9 shows a waveform of an audio signal (time change) of an audio content and a waveform of a vibration signal.
  • the notification control unit 21 in FIG. 7 controls the output timing of the vibration signal (the notification vibration corresponding to) in accordance with the beat cycle of the audio signal of the audio content.
  • the vibration controller 23 is controlled.
  • the notification control unit 21 performs the process of generating a vibration signal whose waveform rises in synchronization with the beat of the audio signal of the audio content as a perception enhancement process (vibration control process). Control.
  • the vibration control unit 23 According to the control of the notification control unit 21, the vibration control unit 23 generates a vibration signal whose waveform rises at the beginning of the beat cycle of the audio signal of the audio content and supplies the vibration signal to the vibration output unit 15, as shown in FIG.
  • a vibration signal linked in an arbitrary manner to the beat of the audio signal of the audio content is generated.
  • the beat of the audio content and the beat of the notification vibration are linked, so that the user can easily notice the notification vibration. Furthermore, in the second example of the perception enhancement processing, as in the first example, no processing of the audio content is performed, so that a user viewing the audio content is prevented from feeling uncomfortable with the audio content. be able to.
  • the beat period of the audio signal of the audio content can be obtained by (acoustic) analysis using the temporal change of the audio signal, the structure of the frequency spectrum, and the like.
  • the beat cycle of the audio signal of the audio content can be obtained using, for example, prior information of music (for example, a time signature of a musical score) as the audio content.
  • the notification control unit 21 can control the vibration control unit 23 so as to control the intensity of the notification vibration corresponding to the volume of the audio of the audio content as a perception improvement process.
  • the notification control unit 21 responds to the signal strength (amplitude and power) of the audio signal of the audio content being reproduced in the storage unit 11 and the state of the volume for adjusting the volume, and adjusts the volume of the audio of the audio content. Is larger, the vibration controller 23 can be controlled so that the intensity (magnitude) of the notification vibration is larger.
  • the notification vibration can be output at a necessary and sufficient intensity with respect to the volume of the audio of the audio content, and the output of the notification vibration having an intensity exceeding the required intensity may hinder the user's music experience and reduce power consumption. The increase can be suppressed.
  • FIG. 10 is a block diagram showing a fifth configuration example of the control unit 13. As shown in FIG.
  • control unit 13 includes a notification control unit 21, a voice control unit 22, a vibration control unit 23, and a voice analysis unit 31.
  • control unit 13 in FIG. 10 is configured in the same manner as in the case of FIG. 5 or FIG.
  • a signal obtained by reproducing the audio content in the storage unit 11 is supplied to the vibration control unit 23 in addition to the audio control unit 22 and the audio analysis unit 31.
  • the control unit 13 in FIG. 10 has a sound-linked vibration function.
  • the sound-linked vibration function is a function in which vibration is output in conjunction with the sound of the sound content. Vibration output in conjunction with the audio of the audio content is also referred to as interlocking vibration. According to the sound-linked vibration function, it is possible to increase the immersion feeling and power of the audio content.
  • the sound-linked vibration function can be turned on / off in response to, for example, a user operation.
  • the vibration control unit 23 generates a vibration signal for outputting a notification vibration, generates a vibration signal for outputting an interlocking vibration linked to the audio signal of the audio content, and outputs the vibration signal to the vibration output unit 15. Supply. Therefore, the vibration output unit 15 of FIG. 10 outputs not only the notification vibration but also the interlocking vibration.
  • a vibration signal for outputting the interlocking vibration can be generated using an audio signal obtained by reproducing the audio content in the storage unit 11.
  • the vibration control unit 23 obtains a vibration signal for outputting the interlocked vibration by reproducing the audio content in the storage unit 11. It can be generated using the generation information included in the received signal.
  • the notification control unit 21 can control the vibration control unit 23 to control the output of the linked vibration.
  • the notification control unit 21 can control the vibration control unit 23 so as to temporarily stop the output of the interlocking vibration only while the notification vibration is output.
  • the notification control unit 21 may reduce the interlocking property of the interlocking vibration with respect to the audio of the audio content only while the notification vibration is output (for example, the communication may be performed at a timing shifted from the original vibration timing). 2), the vibration control unit 23 can be controlled.
  • the user can easily notice the notification vibration.
  • a notification vibration is output separately from the linked vibration, and the linked vibration with reduced interactivity with the audio of the audio content may be used as the notification vibration. it can.
  • FIG. 11 is a block diagram showing a sixth configuration example of the control unit 13. As shown in FIG.
  • control unit 13 includes a notification control unit 21, a voice control unit 22, a vibration control unit 23, a voice analysis unit 31, and an information analysis unit 51.
  • control unit 13 in FIG. 11 is configured similarly to the case of FIG. 5 or FIG. 7 in that the control unit 13 includes the notification control unit 21, the voice control unit 22, the vibration control unit 23, and the voice analysis unit 31.
  • control unit 13 of FIG. 11 differs from the case of FIG. 5 or 7 in that an information analysis unit 51 is newly provided.
  • ⁇ Notification information is supplied from the information receiving unit 12 to the information analyzing unit 51.
  • the information analyzer 51 analyzes the notification information from the information receiver 12 and determines the urgency of the notification information. For example, if the notification information is information that requires immediate response from the user, such as a message indicating that a call is being received or an alert notifying a sudden change in weather, the urgency is determined to be high. In addition, for example, when the notification information is information that does not require the user to take immediate action, such as a message that informs of the reception of a mail or the remaining amount of the battery, the urgency is determined to be low.
  • the method for determining the urgency of the notification information is not particularly limited.
  • the information analyzer 51 determines the urgency of the notification information
  • the information analyzer 51 supplies the urgency determination result to the notification controller 21.
  • the notification control unit 21 controls the output timing of the notification sound and the notification vibration in accordance with the determination result of the urgency of the notification information from the information analysis unit 51.
  • the notification control unit 21 performs the voice control unit 22 or the vibration control unit so as to immediately perform the perception improvement process in response to the determination result that the urgency of the notification information is high. 23 to output the notification vibration. Therefore, the notification vibration is immediately output to the notification information with high urgency, so that the user can immediately notice the notification vibration and can quickly respond to the notification information with high urgency.
  • the notification control unit 21 specifies the audio of the audio content being reproduced in the storage unit 11 in response to the determination result that the urgency of the notification information is low.
  • (Reproduction) section is detected as a notification section for notifying the notification of the notification information.
  • the detection of the notification section can be performed according to the analysis result of the audio signal of the audio content by the audio analysis unit 31.
  • a section that does not hinder the user's viewing of the music content as much as possible can be detected as the notification section by the notification using the notification sound or the notification vibration. That is, for example, a quiet section of the voice of the audio content, a section of a predetermined time starting from the end of the rust of the music as the audio content, and a music interval from the end of the music as the audio content to the start of the next music. Can be detected as a notification section.
  • a set of continuous predetermined sections whose power is equal to or less than the threshold value can be detected as the notification section.
  • a notification section can be detected using a rust or interlude section specified by performing musical information processing of audio content.
  • the notification control unit 21 controls the voice control unit 22 or the vibration control unit 23 to output a notification sound or a notification vibration in a notification section.
  • the voice control unit 22 or the vibration control unit 23 supplies a signal of a notification sound or a vibration signal to the voice output unit 14 or the vibration output unit 15 in a notification section according to the control of the notification control unit 21. At (timing), a notification sound or a notification vibration is output.
  • the perception enhancement processing may or may not be performed.
  • a notification section such as a tune is detected, and a notification sound or a notification vibration is output in the notification section.
  • a notification sound or a notification vibration is output in the notification section.
  • FIG. 12 is a flowchart illustrating an example of processing of the electronic device system having the control unit 13 of FIG. 11 and controlling the output timing of the notification vibration in response to the urgency of the notification information.
  • step S31 the information receiving unit 12 waits for notification of the notification information, receives the notification information, supplies the notification information to the information analysis unit 51, and the process proceeds to step S32.
  • step S32 the information analysis unit 51 analyzes the notification information from the information reception unit 12, and determines whether or not the urgency of the notification information is high.
  • step S32 If it is determined in step S32 that the urgency of the notification information is high, the process proceeds to step S33.
  • step S33 the notification control unit 21 controls the voice control unit 22 or the vibration control unit 23 so as to immediately perform the perception enhancement process.
  • the voice control unit 22 or the vibration control unit 23 performs a content control process or a vibration control process as a perception enhancement process under the control of the notification control unit 21, and the process proceeds from step S33 to step S34.
  • step S34 the notification of the notification information is notified by the vibration output unit 15 outputting the notification vibration.
  • the vibration control unit 23 When the vibration control unit 23 performs the vibration control process as the perception improvement process in step S33, the notification vibration corresponding to the vibration signal obtained by the vibration control process is output in step S34. If the vibration control unit 23 does not perform the vibration control process as the perception improvement process in step S33, the notification vibration corresponding to the vibration signal generated by a predetermined method is output in step S34. .
  • step S32 determines whether the urgency of the notification information is high. If it is determined in step S32 that the urgency of the notification information is not high, the process proceeds to step S35.
  • step S35 the notification control unit 21 detects a specific (playback) section of the audio signal of the audio content as a notification section for outputting the notification vibration in accordance with the analysis result of the audio content by the audio analysis unit 31, The process proceeds to step S36.
  • step S36 the notification control unit 21 determines whether the current playback position of the audio content is a position in the notification section (whether the notification section is being reproduced).
  • step S36 If it is determined in step S36 that the current playback position of the audio content is not a position in the notification section, the process proceeds to step S37.
  • step S37 the notification control unit 21 suspends the notification of the notification of the notification information, the process returns to step S36, and the same process is repeated thereafter.
  • step S36 If it is determined in step S36 that the current playback position of the audio content is within the notification section, the process proceeds to step S33.
  • steps S33 and S34 the same processing as that described above is performed. Thereby, in the notification section, the notification vibration is output, and the notification of the notification information is notified.
  • the notification of the notification information can be notified.
  • FIG. 13 is a diagram illustrating an example of notification of notification of notification information that is not urgent.
  • the analysis of the audio content by the audio analysis unit 31 detects an interlude section starting from time t2 immediately after the rust of the song as the audio content and a song interval starting from time t4 as a notification section. ing.
  • notification information is received at a time t1 during playback of a so-called B melody of a song as audio content and at a time t3 during playback of chorus.
  • the notification of the notification of the notification information is suspended because the notification section is not a notification section. Then, the notification of the notification of the notification information received at time t1 is performed in a notification section started from time t2, which is a notification section close to time t1.
  • the notification of the notification of the notification information received at time t3 is performed in a notification section starting from time t4, which is a short notification section after time t3.
  • the notification of the notification information that is not urgent is performed in the notification section
  • the notification of the notification of the notification information is suspended until the notification section.
  • the music content is, for example, general Japanese popular music
  • the time required from the music structure of the general Japanese popular music to the notification section from an arbitrary reproduction position of the music content is several seconds to several seconds. Minutes. Therefore, when the notification of the notification information is performed in the notification section, it is estimated that the response of the user is delayed by several seconds or several minutes as compared with the case where the notification is performed immediately after the notification information is received.
  • the notification of the notification information is performed immediately after the notification information is received, the notification of the notification information is performed during the reproduction of the section of the music excitement such as the rust of the music as audio content. May be asked.
  • the user is likely to concentrate on watching the music as audio content and not notice the notification of the notification information without the perception improvement processing. If the user does not notice the notification of the notification information, the notification information is left for a long time, for example, about several seconds to several minutes, and the response of the user is delayed by such a long time.
  • the response of the user is likely to be delayed by about several seconds or several minutes, but since the user is likely to notice the notification, as a result, as described above, the time required for the user to respond to the notification information can be reduced as compared with the case where the notification information is left for a long time.
  • the present technology when notifying a user who is watching audio content of a notification of notification information, it is possible to suppress hindering the user from viewing the music content, and the user is easily noticed. Thus, the notification of the notification information can be notified. Further, it is possible to reduce the time required for the user to respond to the notification information.
  • the notification of the notification of the notification information includes, in addition to vibration, any tactile stimulus that can be sensed by touch, such as direct stimulation of nerves by electricity, stimulation by air pressure (force sense), and stimulation by temperature. Etc. can be adopted.
  • direct stimulation of nerves by electricity is used for notification of notification of notification information
  • the stimulation by electricity is given to the user so as to be linked to a song or the like as audio content. Can be suppressed, and the notification of the notification information can be notified so as to be easily perceived by the user.
  • a series of processes of the control unit 13 described above can be performed by hardware or can be performed by software.
  • a program constituting the software is installed in a general-purpose computer or the like.
  • FIG. 14 is a block diagram illustrating a configuration example of an embodiment of a computer in which a program for executing the above-described series of processes is installed.
  • the program can be recorded in advance on a hard disk 905 or a ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in a removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 911 as described above, or can be downloaded to the computer via a communication network or a broadcast network and installed on the built-in hard disk 905. That is, for example, the program is wirelessly transferred from a download site to a computer via a satellite for digital satellite broadcasting, or is transmitted to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 902, and an input / output interface 910 is connected to the CPU 902 via a bus 901.
  • a CPU Central Processing Unit
  • an input / output interface 910 is connected to the CPU 902 via a bus 901.
  • the CPU 902 executes a program stored in a ROM (Read Only Memory) 903 according to the command. .
  • the CPU 902 loads a program stored in the hard disk 905 into a RAM (Random Access Memory) 904 and executes the program.
  • the CPU 902 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 902 causes the processing result to be output, for example, from the output unit 906 or transmitted from the communication unit 908 via the input / output interface 910 as needed, and further recorded on the hard disk 905.
  • the input unit 907 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 906 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily need to be performed in chronological order in the order described in the flowchart. That is, the processing performed by the computer in accordance with the program includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by a single computer (processor) or may be processed in a distributed manner by a plurality of computers. Further, the program may be transferred to a remote computer and executed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or can be shared and executed by a plurality of devices.
  • the present technology can have the following configurations.
  • the control unit that controls the output of the tactile stimulus
  • the information processing device wherein the control unit performs a process of controlling the tactile stimulus in response to the content or a process of controlling the content in response to the tactile stimulus.
  • the control unit controls an output of vibration as the tactile stimulus.
  • the control unit controls a frequency spectrum of the vibration corresponding to the voice.
  • the control unit controls an output timing of the vibration in accordance with the sound.
  • ⁇ 5> The information processing device according to ⁇ 2>, wherein the control unit controls the intensity of the vibration in accordance with a volume of the sound.
  • ⁇ 6> The information processing device according to ⁇ 2>, wherein the control unit controls a frequency spectrum of the sound in accordance with a frequency spectrum of the vibration.
  • ⁇ 7> When the voice and the interlocking vibration interlocked with the voice are output, when the vibration is output, the control unit controls the output of the interlocking vibration.
  • ⁇ 2> to ⁇ 6> An information processing apparatus according to claim 1.
  • the control unit When it is possible to turn on / off an external sound capturing function for capturing surrounding sounds into the voice, or a noise canceling function for canceling surrounding sounds from the voice, when the vibration is output, the control unit performs The information processing apparatus according to any one of ⁇ 2> to ⁇ 6>, wherein on / off of the external sound capturing function or the noise canceling function is controlled.
  • the control unit controls output timing of the tactile stimulus in accordance with urgency of the notification information.
  • the control unit causes the tactile stimulus to be output in a specific section of the voice.
  • the control unit that controls the output of the haptic stimulus corresponds to the content, and the control unit controls the haptic stimulus, or the control unit corresponds to the haptic stimulus. And performing a process of controlling the content.
  • a program for causing the computer to function as a control unit that controls the output of the tactile stimulus The program which performs the processing which controls the tactile stimulus according to the content, or the processing which controls the content according to the tactile stimulus.
  • 11 storage unit ⁇ 12 ⁇ information receiving unit, ⁇ 13 ⁇ control unit, ⁇ 14 ⁇ sound output unit, ⁇ 15 ⁇ vibration output unit, ⁇ 21 ⁇ notification control unit, ⁇ 22 ⁇ sound control unit, ⁇ 23 ⁇ vibration control unit, ⁇ 31 ⁇ sound analysis unit, ⁇ 41 ⁇ external sound processing unit, # 51 Information analysis unit, 901 bus, 902 CPU, 903 ROM, 904 RAM, 905 hard disk, 906 output unit, 907 input unit, 908 communication unit, 909 drive, 910 input / output interface, 911 removable recording medium

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本技術は、コンテンツの視聴を妨げることを抑制することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 制御部は、音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する。また、制御部は、コンテンツに対応して、触覚刺激を制御する処理、又は、触覚刺激に対応して、コンテンツを制御する処理を行う。本技術は、例えば、音声を含むコンテンツを再生することができるスマートフォン等の携帯機器等に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、例えば、音声コンテンツの視聴を妨げることを抑制することができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
　音声を出力する音声出力機能、振動を出力する振動出力機能、及び、情報をやりとりする通信を行う情報通信機能のすべてを備えた電子機器として、例えば、スマートフォン等がある。また、音声出力機能、振動出力機能、及び、情報通信機能がリアルタイムに連携可能な電子機器群として、例えば、スマートフォンと、そのスマートフォンと連動するスマートウオッチとの組み合わせ等がある。以上のような電子機器や電子機器群を、まとめて、電子機器システムともいう。
　音声出力機能、振動出力機能、及び、情報通信機能を備える電子機器システムによれば、ユーザが、音声出力機能により、音楽その他の音声を含む音声コンテンツを楽しんでいるときに、情報通信機能により受信されたメッセージの通知を、音声出力機能によるアラーム音の出力や、振動出力機能による振動の出力によって、ユーザに報知することができる。
　電子機器システムでは、メッセージの他、電話の着信や天気の急変等のような緊急性が高い情報や、バッテリ残量やユーザが普段利用する店舗のキャンペーン情報等のような緊急性の低い情報等の、様々な内容をユーザに通知する通知情報が受信（取得）される。
　例えば、特許文献１には、通知情報の緊急度に対応して、スピーカからの報知音と、バイブレータの振動とを設定する移動通信端末装置が記載されている。
特開2009-065389号公報
　ところで、電子機器システムにおいて、ユーザが音声コンテンツを視聴しているときに、通知情報の通知（通知情報が通知されたこと）を、アラーム音によって報知すると、ユーザの音声コンテンツの視聴を妨げる。例えば、音声コンテンツが音楽（楽曲）である場合には、ユーザの音楽体験の質を損なう。
　本技術は、このような状況に鑑みてなされたものであり、コンテンツの視聴を妨げることを抑制することができるようにするものである。
　本技術の情報処理装置又はプログラムは、音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部を備え、前記制御部は、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行う情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部が、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行うステップを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力が制御される。さらに、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理が行われる。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、頒布することができる。
　本技術によれば、コンテンツの視聴を妨げることを抑制することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。 電子機器システムの動作の例を説明するフローチャートである。 制御部１３の第１の構成例を示すブロック図である。 音声制御部２２で行われる知覚向上処理を説明する図である。 制御部１３の第２の構成例を示すブロック図である。 制御部１３の第３の構成例を示すブロック図である。 制御部１３の第４の構成例を示すブロック図である。 振動制御部２３で行われる知覚向上処理の第１の例を説明する図である。 振動制御部２３で行われる知覚向上処理の第２の例を説明する図である。 制御部１３の第５の構成例を示すブロック図である。 制御部１３の第６の構成例を示すブロック図である。 通知情報の緊急性に対応して、報知振動の出力タイミングを制御する場合の電子機器システムの処理の例を説明するフローチャートである。 緊急性が高くない通知情報の通知の報知の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した電子機器システムの一実施の形態＞
　図１は、本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。
　図１において、電子機器システムは、記憶部１１、情報受信部１２、制御部１３、音声出力部１４、及び、振動出力部１５を有し、例えば、音楽等の音声を再生可能な音声再生装置として機能する。
　ここで、電子機器システムは、１個の電子機器で構成することもできるし、複数の電子機器で構成することもできる。
　すなわち、電子機器システムは、例えば、１個のスマートフォンや携帯プレーヤ等の携帯機器で構成することができる。また、電子機器システムは、スマートフォンや携帯プレーヤと、そのスマートフォンや携帯プレーヤに連動するウエアラブルデバイス、例えば、スマートウオッチや、ネックスピーカ等とで構成することができる。
　電子機器システムを、例えば、スマートフォンとスマートウオッチとで構成する場合、記憶部１１ないし音声出力部１４は、スマートフォンに内蔵させ、振動出力部１５は、スマートウオッチに内蔵させることができる。電子機器システムを、例えば、スマートフォンとネックスピーカとで構成する場合、記憶部１１ないし制御部１３は、スマートフォンに内蔵させ、音声出力部１４及び振動出力部１５は、ネックスピーカに内蔵させることができる。
　記憶部１１は、音声を含む音声コンテンツを記憶し、例えば、ユーザの操作等に対応して、記憶している音声コンテンツを再生する。
　ここで、音声コンテンツは、例えば、音楽や、画像（動画）とその画像に付随する音声等の、少なくとも音声を含むコンテンツである。以下では、説明を簡単にするため、音声コンテンツとしては、例えば、音楽等の音声のみからなるコンテンツを採用することとする。
　また、記憶部１１としては、電子機器システムが内蔵するメモリや、電子機器に着脱可能な記憶媒体（例えば、メモリカードや光ディスク等）を採用することができる。音声コンテンツは、記憶部１１にあらかじめ記憶させておくことや、インターネット等のネットワークを介したストリーミングにより、記憶部１１に記憶させること等ができる。
　情報受信部１２は、インターネット等の外部のネットワークを介した通信や、電子機器システムで実行されるアプリケーション（プログラム）からの通知等によって、ユーザに通知すべき通知情報を受信し、制御部１３に供給する。情報受信部１２は例えば、有線通信又は無線通信により送信されたデータを受信する通信回路である。
　制御部１３は、音声出力部１４に音声を出力させる制御や、振動出力部１５に振動を出力させる制御等を行う。制御部１３は例えばＣＰＵやＤＳＰにより構成される1又は複数の処理回路である。
　例えば、制御部１３は、記憶部１１で再生された音声コンテンツを、音声出力部１４に供給して出力させる。すなわち、制御部１３は、記憶部１１で音声コンテンツを再生することにより得られる音声信号を、音声出力部１４に供給し、対応する音声を出力させる。
　また、制御部１３は、音声コンテンツの出力中に情報受信部１２で受信された通知情報の通知を報知する触覚刺激の出力を制御する。
　ここで、触覚刺激とは、触覚で感知することができる刺激で、例えば、振動や、電気による神経への直接的な刺激、空気圧による刺激（力覚）、温度による刺激等が含まれる。
　電子機器システムには、様々な触覚刺激を出力する触覚刺激出力部を設けることができる。但し、図１では、説明を簡単にするため、触覚刺激出力部の一種として、振動を出力する振動出力部１５が設けられている。
　音声出力部１４からの音声コンテンツの出力中、すなわち、ユーザによる音声コンテンツの視聴中に、情報受信部１２から制御部１３に、通知情報が供給された場合、制御部１３は、情報受信部１２からの通知情報の通知をユーザに報知する振動を出力するための振動信号を、振動出力部１５に供給することにより、振動を出力させる（例えば、電子機器システムを振動させる）。
　また、制御部１３は、必要に応じて、記憶部１１からの音声コンテンツに対応して、振動出力部１５が出力する振動（に対応する振動信号）を制御する処理、又は、振動出力部１５が出力する振動に対応して、記憶部１１からの音声コンテンツの音声（信号）を制御する処理を行う。
　音声出力部１４は、例えば、スピーカ（を有するイヤフォンや、ヘッドフォン、ウエアラブルデバイス等）等で構成され、制御部１３からの音声コンテンツの音声信号に対応する音声を出力する。
　振動出力部１５は、例えば、偏心モータ、LRA（Linear Resonant Actuator）、圧電素子等で構成され、制御部１３からの振動信号に対応する振動を出力する。すなわち、振動出力部１５は、制御部１３からの振動信号に対応して振動する。
　なお、通知情報の通知のユーザへの報知については、振動（の出力）によって行う他、アラーム音等の、通知情報の通知のユーザへの報知を行う報知音（の出力）によって行うことができる。
　通知情報の通知のユーザへの報知を、報知音によって行う場合、制御部１３は、報知音の信号を、音声コンテンツの音声信号に重畳し、音声出力部１４に供給する。
　通知情報の通知のユーザへの報知を、振動によって行うか、報知音によって行うかは、例えば、ユーザの操作に対応して設定することができる。
　図２は、図１の電子機器システムの動作の例を説明するフローチャートである。
　ステップＳ１１において、記憶部１１は、例えば、ユーザの操作に対応して、音声コンテンツの再生を開始し、処理は、ステップＳ１２に進む。記憶部１１による音声コンテンツの再生により得られる音声コンテンツの音声信号は、制御部１３に供給される。制御部１３は、記憶部１１からの音声信号を、音声出力部１４に供給し、対応する音声を出力させる。
　ステップＳ１２では、情報受信部１２が、通知情報を受信したかどうかを判定する。ステップＳ１２において、通知情報を受信していないと判定された場合、処理は、ステップＳ１２に戻る。
　また、ステップＳ１２において、通知情報を受信したと判定された場合、情報受信部１２は、通知情報を、制御部１３に供給し、処理は、ステップＳ１３に進む。
　ステップＳ１３では、制御部１３は、情報受信部１２からの通知情報に対応して、通知情報の通知を、ユーザに報知し、処理は、ステップＳ１２に戻る。
　すなわち、制御部１３は、再生中の音声コンテンツの音声信号に対応して、触覚刺激を出力するための刺激信号、ここでは、振動を出力するための振動信号を制御する振動制御処理を行う。又は、制御部１３は、振動を出力するための振動信号に対応して、記憶部１１からの音声信号（再生中の音声コンテンツの音声信号）を制御するコンテンツ制御処理を行う。
　振動制御処理が行われた場合、制御部１３は、振動制御処理により得られる振動信号を、振動出力部１５に供給し、対応する振動を出力させるように、振動出力部１５を制御する出力制御を行うことで、通知情報の通知を、ユーザに報知する。
　コンテンツ制御処理が行われた場合、制御部１３は、コンテンツ制御処理に用いられた振動信号を、振動出力部１５に供給し、対応する振動を出力させるように、振動出力部１５を制御する出力制御を行うことで、通知情報の通知を、ユーザに報知する。さらに、制御部１３は、記憶部１１からの音声信号そのものに代えて、コンテンツ制御処理により得られる音声信号を、音声出力部１４に供給し、対応する音声を出力させる。
　ここで、電子機器システムにおいて、通知情報の通知をユーザに報知する報知方法としては、通知情報の通知を表示画面に表示する方法、アラーム音等の報知音を出力する方法、及び、振動を出力する方法（例えば、電子機器システムを振動させる方法）等を採用することができる。
　しかしながら、ユーザが音声コンテンツを視聴している場合、ユーザは、長時間、表示画面を見ないことがある。ユーザが、長時間、表示画面を見ない場合、通知情報の通知を表示画面に表示する方法では、ユーザは、長時間、通知情報に気づくことができず、通知情報に対して対応することができない。
　また、報知音を出力する方法によれば、音声コンテンツの音量を大きく落とした上で、特徴的な報知音を出力することにより、ユーザは、即座に、通知情報に気づくことができる。
　しかしながら、ユーザが、音声コンテンツを視聴している最中に、突然、音声コンテンツの音量を落として、音声コンテンツと無関係な報知音を出力することは、ユーザの音声コンテンツの視聴を妨げ、ユーザに不快感を感じさせることがある。
　そこで、振動を出力する方法によれば、ユーザが音声コンテンツを視聴している場合に、ユーザの音声コンテンツの視聴を妨げることを抑制して、通知情報の通知をユーザに報知することができる。
　しかしながら、ユーザが、電車で移動している場合のように、通知情報の通知を報知する振動（以下、報知振動ともいう）とは無関係に振動を感じている場合、報知振動に気づかないことがある。
　また、ユーザが、報知振動とは無関係に振動を感じていない場合でも、音声コンテンツを視聴しているときには、その音声コンテンツによる聴覚刺激（聴覚への刺激）によって、触覚刺激としての振動に意識が向きにくくなって、報知振動に気づかないことがある。
　そこで、制御部１３は、振動（触覚刺激）に対する知覚を向上させる知覚向上処理、例えば、図２で説明したような振動制御処理やコンテンツ制御処理等を行うことで、ユーザの音声コンテンツの視聴を妨げることを抑制しつつ、ユーザが通知情報の通知を報知する報知振動に気づきやすくして、通知情報に迅速に対応することができるようにする。
　以下、様々な知覚向上処理を行う制御部１３について説明する。
　なお、電子機器システムでは、通知情報の通知を表示画面に表示する方法、アラーム音等の報知音を出力する方法、及び、振動を出力する方法のいずれの方法（複数の方法を含む）によっても、通知情報の通知をユーザに報知することができる。但し、以下では、特に断らない限り、電子機器システムは、振動を出力する方法によって、通知情報の通知をユーザに報知することとする。
　＜制御部１３の第１の構成例＞
　図３は、制御部１３の第１の構成例を示すブロック図である。
　図３において、制御部１３は、報知制御部２１、音声制御部２２、及び、振動制御部２３を有する。
　報知制御部２１には、情報受信部１２から通知情報が供給される。報知制御部２１は、通知情報の通知をユーザに報知するための各種の制御を行う。
　すなわち、報知制御部２１は、情報受信部１２から通知情報が供給されると、その通知情報の通知をユーザに報知することを指令する報知指令を、振動制御部２３に供給すること等によって、振動制御部２３を制御する。さらに、報知制御部２１は、知覚向上処理を行うこと等を要求する指令を、音声制御部２２に供給することによって、音声制御部２２を制御する。
　なお、報知制御部２１は、その他、報知を行う方法（振動や報知音等）や、報知を行うタイミング等を決定し、その決定した内容に対応して、音声制御部２２や振動制御部２３を制御する。
　音声制御部２２には、記憶部１１から音声コンテンツの音声信号が供給される。音声制御部２２は、記憶部１１からの音声コンテンツの音声信号を、音声出力部１４に供給することで、対応する音声を出力させる。また、音声制御部２２は、報知制御部２１の制御に従い、振動制御部２３で生成される振動信号（に対応する振動）に対応して、記憶部１１からの音声コンテンツの音声信号を制御する知覚向上処理としてのコンテンツ制御処理を行う。そして、音声制御部２２は、知覚向上処理（としてのコンテンツ制御処理）により得られる音声信号を、音声出力部１４に供給することで、対応する音声を出力させる。
　振動制御部２３は、報知制御部２１からの報知指令に対応して、報知振動を出力するための振動信号を生成し、振動出力部１５に供給する。振動出力部１５は、振動制御部２３からの振動信号に対応して報知振動を出力する。
　以上のように構成される図３の制御部１３では、情報受信部１２から報知制御部２１に、通知情報が供給されると、報知制御部２１は、報知振動を出力するように、振動制御部２３を制御する。さらに、報知制御部２１は、知覚向上処理を行うように、音声制御部２２を制御する。
　音声制御部２２は、報知制御部２１の制御に従い、記憶部１１からの音声コンテンツの音声信号を制御する知覚向上処理を行い、その知覚向上処理により得られる音声信号を、音声出力部１４に供給することで、対応する音声を出力させる。
　振動制御部２３は、報知制御部２１の制御に従い、振動信号を生成し、その振動信号を、振動出力部１５に供給することで、対応する報知振動を出力させる。
　図４は、図３の音声制御部２２で行われる知覚向上処理を説明する図である。
　図４には、音声コンテンツの音声信号（に対応する音声）の周波数スペクトルと、振動信号（に対応する報知振動）の周波数スペクトルとが示されている。
　図３の報知制御部２１は、報知振動の周波数スペクトルに対応して、音声コンテンツの音声の周波数スペクトルを制御するように、音声制御部２２を制御する。
　具体的には、報知制御部２１は、振動信号の周波数スペクトルを取得し、振動信号のパワー（エネルギ）が大きい周波数帯域Ｂ１１、すなわち、例えば、振動信号のパワーが閾値以上の周波数帯域Ｂ１１を検出する。そして、報知制御部２１は、音声コンテンツの音声信号の周波数帯域Ｂ１１のパワーを抑制する処理を、知覚向上処理（コンテンツ制御処理）として行うように、音声制御部２２を制御する。
　音声制御部２２は、報知制御部２１の制御に従い、図４に示すように、音声コンテンツの音声信号の周波数帯域Ｂ１１のパワーを抑制するイコライズ処理を、音声コンテンツの音声信号に行い、イコライズ処理後の音声信号を、音声出力部１４に供給する。
　ここで、報知振動（に対応する振動信号）のパワーの大きい周波数帯域と、音声コンテンツの音声（信号）のパワーの大きい周波数帯域が重なる場合、ユーザの意識は、知覚上、音声コンテンツの視聴によって、報知振動に向きにくくなると推測される。
　そこで、上述のように、音声コンテンツの音声信号のパワーのうちの、振動信号のパワーが大きい周波数帯域Ｂ１１のパワーを抑制することにより、周波数帯域Ｂ１１では、振動信号のパワーが、音声コンテンツの音声のパワーよりも相対的に十分に大きくなる。
　その結果、音声コンテンツの視聴によって、ユーザの意識が、報知振動に向きにくくなることが抑制され、ユーザは、報知振動に気づきやすくなる。
　なお、ここでは、音声コンテンツの音声信号のパワーのうちの、振動信号のパワーが大きい周波数帯域Ｂ１１のパワーを抑制するだけなので、音声コンテンツの音量を大きく落とす場合に比較して、ユーザの音声コンテンツの視聴に与える影響を抑制することができる。
　報知制御部２１において、振動信号の周波数スペクトルは、例えば、振動制御部２３に生成させる振動信号の周波数解析により取得することができる。また、振動信号の周波数スペクトルは、例えば、事前の解析によってあらかじめ求めておくことができる。さらに、振動信号の周波数スペクトルは、例えば、振動出力部１５の共振周波数を中心とした山型のスペクトルで近似することができる。
　＜制御部１３の第２の構成例＞
　図５は、制御部１３の第２の構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
　図５において、制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、及び、音声解析部３１を有する。
　したがって、図５の制御部１３は、報知制御部２１、音声制御部２２、及び、振動制御部２３を有する点で、図３の場合と共通する。但し、図５の制御部１３は、音声解析部３１が新たに設けられている点で、図３の場合と相違する。
　音声解析部３１には、記憶部１１で再生された音声コンテンツの音声信号が供給される。音声解析部３１は、記憶部１１からの音声信号を解析することにより、音声信号から、周波数スペクトル等の所定の特徴量を抽出して、報知制御部２１に供給する。例えば、音声解析部３１は、記憶部１１からの音声信号の周波数分析を行うことにより、音声信号の周波数スペクトル等を求め、報知制御部２１に供給することができる。
　図５では、報知制御部２１は、図３の場合と同様の処理を行う他、音声解析部３１からの音声信号の周波数スペクトルに対応して、音声制御部２２を制御する。
　すなわち、音声信号の周波数スペクトルのパワーのうちの、振動信号のパワーが大きい周波数帯域Ｂ１１のパワーが大きい場合、すなわち、音声信号の周波数帯域Ｂ１１のパワーが閾値以上である場合、図４で説明したように、報知制御部２１は、音声コンテンツの音声信号の周波数帯域Ｂ１１のパワーを抑制するイコライズ処理を行うように、音声制御部２２を制御する。
　一方、音声信号の周波数スペクトルのパワーのうちの、振動信号のパワーが大きい周波数帯域Ｂ１１のパワーが大きくない場合、すなわち、音声信号の周波数帯域Ｂ１１のパワーが閾値以上でない場合、報知制御部２１は、イコライズ処理を行うように、音声制御部２２を制御することを省略する（行わない）。
　音声信号の周波数帯域Ｂ１１のパワーが大きくない場合は、その周波数帯域Ｂ１１の音声信号のパワーを抑制しなくても、ユーザの意識は、周波数帯域Ｂ１１のパワーが大きい報知振動に向きやすいからである。
　＜制御部１３の第３の構成例＞
　図６は、制御部１３の第３の構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
　図６において、制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、及び、外音処理部４１を有する。
　したがって、図６の制御部１３は、報知制御部２１、音声制御部２２、及び、振動制御部２３を有する点で、図３の場合と共通する。但し、図６の制御部１３は、外音処理部４１が新たに設けられている点で、図３の場合と相違する。
　外音処理部４１には、記憶部１１で再生された音声コンテンツの音声信号が供給される。外音処理部４１は、必要に応じて、記憶部１１からの音声コンテンツの音声信号に、外音処理を行い、外音処理後の音声信号、又は、記憶部１１からの音声コンテンツの音声信号を、音声制御部２２に供給する。
　ここで、外音処理とは、音声出力部１４から出力される音声に周囲の音を取り込む外音取り込み機能や、音声出力部１４から出力される音声から周囲の音をキャンセルするノイズキャンセル機能を実現する処理である。したがって、外音取り込み機能によれば、ユーザが音声コンテンツを視聴しているときに、周囲の音が聞こえやすくなる。一方、ノイズキャンセル機能によれば、ユーザが音声コンテンツを視聴しているときに、周囲の音、すなわち、雑音が聞こえにくくなる。外音取り込み機能とノイズキャンセル機能とでは、いわば相反する処理、すなわち、周囲の音を重畳する処理と周囲の音を除去する処理とが行われる、ということができる。したがって、外音取り込み機能とノイズキャンセル機能とを、同時にオンにすることはできない。
　制御部１３においては、外音取り込み機能やノイズキャンセル機能のオン／オフが可能であり、振動出力部１５から報知振動が出力されるときに、報知制御部２１は、外音処理部４１を制御することにより、外音取り込み機能やノイズキャンセル機能のオン／オフを制御する。
　外音処理部４１は、周囲の音を測定し、その測定により得られる周囲の音の信号（以下、周囲音信号ともいう）を用いて、記憶部１１からの音声コンテンツの音声信号に、外音処理を行う。
　すなわち、外音取り込み機能がオンである場合、外音処理部４１は、周囲音信号を、記憶部１１からの音声コンテンツの音声信号に重畳する処理を、外音処理として行う。また、ノイズキャンセル機能がオンである場合、外音処理部４１は、周囲音信号の逆相の信号を、記憶部１１からの音声コンテンツの音声信号に重畳する処理を、外音処理として行う。
　外音取り込み機能やノイズキャンセル機能のオン／オフは、ユーザの操作や、報知制御部２１による外音処理部４１の制御等によって行うことができる。
　以上のように構成される制御部１３では、情報受信部１２が通知情報を受信し、報知制御部２１に供給すると、図３の場合と同様に、報知制御部２１は、音声制御部２２及び振動制御部２３を制御する。
　さらに、報知制御部２１は、外音取り込み機能やノイズキャンセル機能のオン／オフの現在の状態を検出し、その検出結果に対応して、外音処理部４１を制御することにより、外音取り込み機能やノイズキャンセル機能のオン／オフを制御する。
　すなわち、報知制御部２１は、現在行われている外音処理となるべく相反する外音処理が行われるように、外音処理部４１を制御する。
　具体的には、外音取り込み機能がオンであり、ノイズキャンセル機能がオフである場合には、報知制御部２１は、外音取り込み機能をオフにするように、又は、外音取り込み機能をオフにし、かつ、ノイズキャンセル機能をオンにするように、外音処理部４１を制御する。この場合、音声出力部１４から出力される音声の聞こえの状態は、周囲の音が聞こえやすい状態から聞こえにくい状態になる。
　ノイズキャンセル機能がオンであり、外音取り込み機能がオフである場合には、報知制御部２１は、ノイズキャンセル機能をオフにするように、又は、ノイズキャンセル機能をオフにし、かつ、外音取り込み機能をオンにするように、外音処理部４１を制御する。この場合、音声出力部１４から出力される音声の聞こえの状態は、周囲の音が聞こえにくい状態から聞こえやすい状態になる。
　外音取り込み機能及びノイズキャンセル機能がオフである場合には、報知制御部２１は、外音取り込み機能をオンにするように、又は、ノイズキャンセル機能をオンにするように、外音処理部４１を制御する。この場合、音声出力部１４から出力される音声の聞こえの状態は、周囲の音が聞こえやすくも聞こえにくくもない状態から、聞こえやすい状態又は聞こえにくい状態になる。
　以上のように、音声出力部１４から出力される音声について、周囲の音の聞こえの状態が変化することにより、ユーザは、触覚刺激に意識が向きやすくなり、報知振動に気づきやすくなる。
　＜制御部１３の第４の構成例＞
　図７は、制御部１３の第４の構成例を示すブロック図である。
　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
　図７において、制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、及び、音声解析部３１を有する。
　したがって、図７の制御部１３は、図５の場合と同様に構成される。
　但し、図７の制御部１３では、知覚向上処理が、音声制御部２２ではなく、振動制御部２３で行われるようになっている。
　すなわち、報知制御部２１は、情報受信部１２から通知情報が供給されると、その通知情報の通知をユーザに報知することを指令する報知指令を、振動制御部２３に供給すること等によって、振動制御部２３を制御する。さらに、報知制御部２１は、音声解析部３１から供給される音声コンテンツの音声信号の特徴量に対応して、知覚向上処理を行うこと等を要求する指令を、振動制御部２３に供給することによって、振動制御部２３を制御する。
　振動制御部２３は、報知制御部２１の制御に従い、記憶部１１で再生されている音声コンテンツの音声（信号）に対応して、振動信号を制御する知覚向上処理としての振動制御処理を行う。そして、振動制御部２３は、知覚向上処理（としての振動制御処理）により得られる振動信号を、振動出力部１５に供給することで、対応する報知振動を出力させる。
　以上のように構成される図７の制御部１３では、記憶部１１で再生された音声コンテンツの音声信号が、音声制御部２２及び音声解析部３１に供給される。音声制御部２２は、記憶部１１からの音声信号を、音声出力部１４に供給し、対応する音声を、例えば、報知制御部２１の制御に従った音量で出力させる。
　また、音声解析部３１は、記憶部１１からの音声信号を解析し、音声信号の周波数スペクトルやビート周期等の音響的又は音楽的な特徴量を求め、報知制御部２１に供給する。
　そして、情報受信部１２から報知制御部２１に、通知情報が供給されると、報知制御部２１は、音声解析部３１からの音声信号の特徴量に対応して、知覚向上処理を行うように、振動制御部２３を制御する。
　振動制御部２３は、報知制御部２１の制御に従い、知覚向上処理を行って、その知覚向上処理により得られる振動信号を、振動出力部１５に供給することで、対応する報知振動を出力させる。
　ここで、報知制御部２１では、知覚向上処理として、音声コンテンツの音声信号の特徴量としての、例えば、周波数スペクトルに対応して、報知振動（を出力するための振動信号）の周波数スペクトルの制御を行うように、振動制御部２３を制御することができる。
　また、報知制御部２１では、知覚向上処理として、音声コンテンツの音声信号の特徴量としての、例えば、ビート周期に対応して、報知振動の出力タイミングの制御を行うように、振動制御部２３を制御することができる。
　さらに、報知制御部２１では、知覚向上処理として、音声コンテンツの音声の音量に対応して、報知振動の強度の制御を行うように、振動制御部２３を制御することができる。
　図８は、図７の振動制御部２３で行われる知覚向上処理の第１の例を説明する図である。
　図８には、音声コンテンツの音声信号（に対応する音声）の周波数スペクトルと、振動信号（に対応する報知振動）の周波数スペクトルとが示されている。
　知覚向上処理の第１の例では、図７の報知制御部２１は、音声コンテンツの音声信号（に対応する音声）の周波数スペクトルに対応して、振動信号（に対応する報知振動）の周波数スペクトルを制御するように、振動制御部２３を制御する。
　具体的には、報知制御部２１は、音声コンテンツの音声信号の周波数スペクトルから、報知振動（振動信号）の周波数成分として取り得る周波数の範囲内において、音声信号のパワーが小さい周波数帯域Ｂ２１を検出する。音声信号のパワーが小さい周波数帯域Ｂ２１としては、報知振動の周波数成分として取り得る周波数の範囲内において、例えば、音声信号のパワーが最小の周波数帯域や、パワーが閾値以下の周波数帯域等を採用することができる。
　その後、報知制御部２１は、周波数帯域Ｂ２１のパワーが最大（周波数ピーク）になる周波数スペクトルの振動信号を生成する処理を、知覚向上処理（振動制御処理）として行うように、振動制御部２３を制御する。
　振動制御部２３は、報知制御部２１の制御に従い、図８に示すように、周波数帯域Ｂ２１のパワーが最大になる周波数スペクトルの振動信号を生成し、振動出力部１５に供給する。
　知覚向上処理の第１の例によれば、音声信号のパワーが小さい周波数帯域のパワーが大きい振動信号が生成されるので、ユーザは、その振動信号に対応する報知振動に気づきやすくなる。さらに、知覚向上処理の第１の例では、音声コンテンツの加工が行われないため、音声コンテンツを視聴しているユーザが、音声コンテンツに違和感を感じることを防止することができる。
　図９は、図７の振動制御部２３で行われる知覚向上処理の第２の例を説明する図である。
　図９には、音声コンテンツの音声信号の（時間変化の）波形と、振動信号の波形とが示されている。
　知覚向上処理の第２の例では、図７の報知制御部２１は、音声コンテンツの音声信号のビート周期に対応して、振動信号（に対応する報知振動）の出力タイミングを制御するように、振動制御部２３を制御する。
　具体的には、報知制御部２１は、音声コンテンツの音声信号のビートに同期して波形が立ち上がる振動信号を生成する処理を、知覚向上処理（振動制御処理）として行うように、振動制御部２３を制御する。
　振動制御部２３は、報知制御部２１の制御に従い、図９に示すように、音声コンテンツの音声信号のビート周期の始まりで波形が立ち上がる振動信号を生成し、振動出力部１５に供給する。
　なお、知覚向上処理の第２の例では、音声コンテンツの音声信号のビート周期の始まりで波形が立ち上がる振動信号を生成する他、音声コンテンツの音声信号のビートに任意の形で連動した振動信号を生成することができる。例えば、音声コンテンツの音声信号のビート周期の始まりから所定の時間だけずれた位置で波形が立ち上がる振動信号や、音声コンテンツの音声信号の裏拍のタイミングで波形が立ち上がる振動信号等を生成することができる。
　知覚向上処理の第２の例によれば、音声コンテンツのビートと、報知振動のビートとが連動するので、ユーザは、報知振動に気づきやすくなる。さらに、知覚向上処理の第２の例では、第１の例と同様に、音声コンテンツの加工が行われないため、音声コンテンツを視聴しているユーザが、音声コンテンツに違和感を感じることを防止することができる。
　ここで、音声コンテンツの音声信号のビート周期は、音声信号の時間的な変化や周波数スペクトルの構造等を利用する（音響）解析により得ることができる。その他、音声コンテンツの音声信号のビート周期は、音声コンテンツとしての、例えば、音楽の事前情報（例えば、楽譜の拍子記号等）を利用して得ることができる。
　なお、報知制御部２１では、その他、知覚向上処理として、音声コンテンツの音声の音量に対応して、報知振動の強度の制御を行うように、振動制御部２３を制御することができる。
　例えば、報知制御部２１では、記憶部１１で再生されている音声コンテンツの音声信号の信号強度（振幅やパワー）と、音量を調整するボリュームの状態とに対応して、音声コンテンツの音声の音量が大であるほど、報知振動の強度（大きさ）が大になるように、振動制御部２３を制御することができる。
　この場合、通知情報の通知を報知する時点で再生されている音声コンテンツの音声の音量が大きければ、大きな強度の報知振動が出力され、音量が小さければ、小さな強度の報知振動が出力されるので、ユーザは、報知振動に気づきやすくなる。
　さらに、音声コンテンツの音声の音量に対して必要十分な強度で報知振動を出力することができ、必要な強度を超える強度の報知振動の出力によりユーザの音楽体験が妨げられることや、消費電力が増大すること等を抑制することができる。
　＜制御部１３の第５の構成例＞
　図１０は、制御部１３の第５の構成例を示すブロック図である。
　なお、図中、図５又は図７の場合と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
　図１０において、制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、及び、音声解析部３１を有する。
　したがって、図１０の制御部１３は、図５又は図７の場合と同様に構成される。
　但し、図１０の制御部１３では、記憶部１１で音声コンテンツを再生することにより得られる信号が、音声制御部２２及び音声解析部３１の他、振動制御部２３にも供給される。
　図１０の制御部１３は、音連動バイブレーション機能を備えている。音連動バイブレーション機能とは、音声コンテンツの音声に連動して振動が出力される機能である。音声コンテンツの音声に連動して出力される振動を、連動振動ともいう。音連動バイブレーション機能によれば、音声コンテンツへの没入感や迫力を増大することができる。音連動バイブレーション機能は、例えば、ユーザの操作等に対応してオン／オフすることができる。
　図１０では、振動制御部２３が、報知振動を出力するための振動信号を生成する他、音声コンテンツの音声信号に連動した連動振動を出力するための振動信号を生成し、振動出力部１５に供給する。したがって、図１０の振動出力部１５では、報知振動の他、連動振動も出力される。
　なお、振動制御部２３において、連動振動を出力するための振動信号は、記憶部１１で音声コンテンツを再生することにより得られる音声信号を用いて生成することができる。また、音声コンテンツに、連動振動の生成用の生成情報が含まれる場合には、振動制御部２３において、連動振動を出力するための振動信号は、記憶部１１で音声コンテンツを再生することにより得られる信号に含まれる生成情報を用いて生成することができる。
　音連動バイブレーション機能がオンになっており、音声コンテンツの音声と連動振動とが出力される場合、報知振動が出力されても、ユーザは、連動振動に気をとられ、報知振動に気づきにくいことがある。
　そこで、音連動バイブレーション機能がオンになっている場合、報知振動が出力されるときには、報知制御部２１は、連動振動の出力を制御するように、振動制御部２３を制御することができる。
　すなわち、例えば、報知制御部２１は、報知振動が出力される間だけ、連動振動の出力を一時停止するように、振動制御部２３を制御することができる。又は、例えば、報知制御部２１は、報知振動が出力される間だけ、音声コンテンツの音声に対する連動振動の連動性が低くなるように（例えば、本来の振動のタイミングからずれたタイミングで振動するように）、振動制御部２３を制御することができる。
　以上のように、連動振動の出力が停止されること、又は、連動振動の連動性が低くされることにより、ユーザは、報知振動に気づきやすくなる。
　なお、音連動バイブレーション機能がオンになっている場合には、連動振動とは別に報知振動を出力する他、音声コンテンツの音声に対する連動性が低くされた連動振動を、報知振動として利用することができる。
　＜制御部１３の第６の構成例＞
　図１１は、制御部１３の第６の構成例を示すブロック図である。
　なお、図中、図５又は図７の場合と対応する部分については、同一の符号を付してあり、その説明は、適宜省略する。
　図１１において、制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、音声解析部３１、及び、情報解析部５１を有する。
　したがって、図１１の制御部１３は、報知制御部２１、音声制御部２２、振動制御部２３、及び、音声解析部３１を有する点で、図５又は図７の場合と同様に構成される。但し、図１１の制御部１３は、情報解析部５１が新たに設けられている点で、図５又は図７の場合と相違する。
　情報解析部５１には、情報受信部１２から通知情報が供給される。情報解析部５１は、情報受信部１２からの通知情報を解析し、通知情報の緊急性を判定する。例えば、通知情報が、電話がかかってきていることを表すメッセージや、天気の急変を知らせるアラート等のように、ユーザの即時の対応が望ましい情報である場合、緊急性が高いと判定される。また、例えば、通知情報が、メールの受信や、バッテリの残量を知らせるメッセージのように、ユーザの即時の対応の必要性が低い情報である場合、緊急性が低いと判定される。通知情報の緊急性を判定する方法は、特に限定されるものではない。
　情報解析部５１は、通知情報の緊急性を判定すると、その緊急性の判定結果を、報知制御部２１に供給する。
　報知制御部２１は、情報解析部５１からの通知情報の緊急性の判定結果に対応して、報知音や報知振動の出力タイミングを制御する。
　すなわち、通知情報の緊急性が高い場合、報知制御部２１は、通知情報の緊急性が高いという判定結果に対応して、即座に知覚向上処理を行うように、音声制御部２２又は振動制御部２３を制御し、報知振動を出力させる。したがって、緊急性が高い通知情報に対しては、即座に、報知振動が出力されるので、ユーザは、報知振動に即座に気づき、迅速に、緊急性が高い通知情報に対応することができる。
　一方、通知情報の緊急性が低い（高くない）場合、報知制御部２１は、通知情報の緊急性が低いという判定結果に対応して、記憶部１１で再生されている音声コンテンツの音声の特定の（再生）区間を、通知情報の通知を報知する報知区間として検出する。報知制御部２１において、報知区間の検出は、音声解析部３１による音声コンテンツの音声信号の解析結果に対応して行うことができる。
　報知区間の検出では、報知音や報知振動による報知によって、ユーザの音楽コンテンツの視聴をなるべく妨げない区間を、報知区間として検出することができる。すなわち、例えば、音声コンテンツの音声の静かな区間や、音声コンテンツとしての曲のサビの終了を始点とする所定時間の区間、音声コンテンツとしての曲の終わりから次の曲の開始までの曲間等を、報知区間として検出することができる。報知区間の検出では、例えば、音声コンテンツの音声信号の一定区間ごとのパワーを用いて、パワーが閾値以下の、連続する一定区間の集まりを、報知区間として検出することができる。また、報知区間の検出では、例えば、音声コンテンツの音楽的な情報処理を行うことにより特定されるサビや間奏の区間を利用して、報知区間を検出することができる。
　報知制御部２１は、報知区間に、報知音又は報知振動を出力するように、音声制御部２２又は振動制御部２３を制御する。音声制御部２２又は振動制御部２３は、報知制御部２１の制御に従い、報知区間に、報知音の信号又は振動信号を、音声出力部１４又は振動出力部１５に供給し、これにより、報知区間（のタイミング）において、報知音又は報知振動が出力される。
　なお、通知情報の緊急性が低い場合の報知振動の出力にあたっては、知覚向上処理を行ってもよいし、行わなくてもよい。
　以上のように、通知情報の緊急性が低い場合には、曲間等の報知区間が検出され、その報知区間に、報知音又は報知振動が出力されるので、例えば、音声コンテンツとしての曲のサビが出力されているときに、報知音や報知振動が出力されることによって、ユーザの音楽体験が大きく損なわれることを抑制することができる。なお、曲間等の報知区間に、報知音又は報知振動が出力されることは、ユーザの音楽体験をそれほど損なうものではない。
　図１２は、図１１の制御部１３を有し、通知情報の緊急性に対応して、報知振動の出力タイミングを制御する場合の電子機器システムの処理の例を説明するフローチャートである。
　なお、記憶部１１では、音声コンテンツが再生されており、対応する音声が、音声出力部１４から出力されていることとする。
　ステップＳ３１において、情報受信部１２は、通知情報が通知されるのを待って、その通知情報を受信し、情報解析部５１に供給して、処理は、ステップＳ３２に進む。
　ステップＳ３２では、情報解析部５１は、情報受信部１２からの通知情報を解析し、その通知情報の緊急性が高いかどうかを判定する。
　ステップＳ３２において、通知情報の緊急性が高いと判定された場合、処理は、ステップＳ３３に進む。
　ステップＳ３３では、報知制御部２１は、即座に知覚向上処理を行うように、音声制御部２２又は振動制御部２３を制御する。音声制御部２２又は振動制御部２３は、報知制御部２１の制御に従って、知覚向上処理としてのコンテンツ制御処理又は振動制御処理を行って、処理は、ステップＳ３３からステップＳ３４に進む。
　ステップＳ３４では、振動出力部１５が、報知振動を出力することにより、通知情報の通知が報知される。
　なお、ステップＳ３３で、振動制御部２３が知覚向上処理としての振動制御処理を行う場合には、ステップＳ３４では、その振動制御処理により得られる振動信号に対応する報知振動が出力される。また、ステップＳ３３で、振動制御部２３が知覚向上処理としての振動制御処理を行わない場合には、ステップＳ３４では、あらかじめ決められた方法で生成される振動信号に対応する報知振動が出力される。
　一方、ステップＳ３２において、通知情報の緊急性が高くないと判定された場合、処理は、ステップＳ３５に進む。
　ステップＳ３５では、報知制御部２１は、音声解析部３１による音声コンテンツの解析結果に対応して、音声コンテンツの音声信号の特定の（再生）区間を、報知振動を出力する報知区間として検出し、処理は、ステップＳ３６に進む。
　ステップＳ３６では、報知制御部２１は、音声コンテンツの現在の再生位置が、報知区間内の位置であるか（報知区間が再生されているか）どうかを判定する。
　ステップＳ３６において、音声コンテンツの現在の再生位置が、報知区間内の位置でないと判定された場合、処理は、ステップＳ３７に進む。
　ステップＳ３７では、報知制御部２１は、通知情報の通知の報知を保留して、処理は、ステップＳ３６に戻り、以下、同様の処理が繰り返される。
　そして、ステップＳ３６において、音声コンテンツの現在の再生位置が、報知区間内の位置であると判定された場合、処理は、ステップＳ３３に進む。
　ステップＳ３３及びステップＳ３４では、上述した場合と同様の処理が行われる。これにより、報知区間において、報知振動が出力され、通知情報の通知が報知される。
　なお、通知情報の緊急性が高くないと判定された場合には、報知区間に、報知振動を出力することにより、通知情報の通知を報知する他、報知区間に、報知音を出力することにより、通知情報の通知を報知することができる。
　図１３は、緊急性が高くない通知情報の通知の報知の例を説明する図である。
　図１３では、音声解析部３１による音声コンテンツの解析によって、音声コンテンツとしての曲のサビの直後の時刻t2から開始する間奏の区間と、時刻t4から開始する曲間とが、報知区間として検出されている。
　また、図１３では、音声コンテンツとしての曲のいわゆるＢメロの再生中の時刻t1と、サビの再生中の時刻t3とで、通知情報が受信されている。
　時刻t1で、通知情報が受信された直後は、報知区間ではないため、その通知情報の通知の報知は保留される。そして、時刻t1で受信された通知情報の通知の報知は、時刻t1の後の間近の報知区間である時刻t2から開始される報知区間に行われる。
　同様に、時刻t3で受信された通知情報の通知の報知は、時刻t3の後の間近の報知区間である時刻t4から開始される報知区間に行われる。
　なお、緊急性が高くない通知情報の通知の報知を、報知区間に行う場合には、通知情報の通知の報知が、報知区間まで保留される。音楽コンテンツが、例えば、日本の一般的なポピュラー音楽である場合、日本の一般的なポピュラー音楽の音楽構造から、音楽コンテンツの任意の再生位置から報知区間になるまでに要する時間は、数秒ないし数分程度であると推測される。したがって、通知情報の通知の報知を、報知区間に行う場合には、通知情報が受信されてから即座に行う場合に比較して、ユーザの対応が、数秒ないし数分程度遅延すると推測される。
　一方、通知情報の通知の報知を、通知情報が受信されてから即座に行う場合、通知情報の通知の報知が、音声コンテンツとしての曲のサビ等の、曲の盛り上がりの区間の再生中に行われることがある。この場合、ユーザは、音声コンテンツとしての曲の視聴に集中し、知覚向上処理なしでは、通知情報の通知の報知に気づかない可能性が高い。そして、ユーザが通知情報の通知の報知に気づかない場合には、通知情報が、例えば、数秒ないし数分程度を超える長時間放置され、ユーザの対応が、そのような長時間だけ遅延する。
　これに対して、通知情報の通知の報知を、報知区間に行う場合には、ユーザの対応が、数秒ないし数分程度遅延する可能性が高いが、ユーザが報知に気づきやすいため、結果として、上述のように、通知情報が長時間放置される場合に比較して、ユーザが通知情報に対応するまでの時間を短縮することができる。
　以上のように、本技術によれば、音声コンテンツを視聴しているユーザに対して、通知情報の通知を報知する場合に、ユーザの音楽コンテンツの視聴を妨げることを抑制し、ユーザが気づきやすいように、通知情報の通知を報知することができる。さらに、ユーザが通知情報に対応するまでの時間を短縮することができる。
　なお、通知情報の通知の報知には、振動の他、触覚で感知することができる任意の触覚刺激、例えば、電気による神経への直接的な刺激、空気圧による刺激（力覚）、温度による刺激等を採用することができる。例えば、電気による神経への直接的な刺激を、通知情報の通知の報知に採用する場合には、電気による刺激を、音声コンテンツとしての曲等に連動するように、ユーザに与えることで、ユーザの音楽体験を妨げることを抑制し、かつ、通知情報の通知を、ユーザに知覚されやすく報知することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した制御部１３の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部を備え、
　前記制御部は、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行う
　情報処理装置。
　＜２＞
　前記制御部は、前記触覚刺激として、振動の出力を制御する
　＜１＞に記載の情報処理装置。
　＜３＞
　前記制御部は、前記音声に対応して、前記振動の周波数スペクトルを制御する
　＜２＞に記載の情報処理装置。
　＜４＞
　前記制御部は、前記音声に対応して、前記振動の出力タイミングを制御する
　＜２＞に記載の情報処理装置。
　＜５＞
　前記制御部は、前記音声の音量に対応して、前記振動の強度を制御する
　＜２＞に記載の情報処理装置。
　＜６＞
　前記制御部は、前記振動の周波数スペクトルに対応して、前記音声の周波数スペクトルを制御する
　＜２＞に記載の情報処理装置。
　＜７＞
　前記音声と、前記音声と連動した連動振動とが出力される場合、前記振動が出力されるときに、前記制御部は、前記連動振動の出力を制御する
　＜２＞ないし＜６＞のいずれかに記載の情報処理装置。
　＜８＞
　前記音声に周囲の音を取り込む外音取り込み機能、又は、前記音声から周囲の音をキャンセルするノイズキャンセル機能のオン／オフが可能である場合、前記振動が出力されるときに、前記制御部は、前記外音取り込み機能又は前記ノイズキャンセル機能のオン／オフを制御する
　＜２＞ないし＜６＞のいずれかに記載の情報処理装置。
　＜９＞
　前記制御部は、前記通知情報の緊急性に対応して、前記触覚刺激の出力タイミングを制御する
　＜１＞ないし＜８＞のいずれかに記載の情報処理装置。
　＜１０＞
　前記制御部は、前記音声の特定の区間に、前記触覚刺激を出力させる
　＜１＞ないし＜８＞のいずれかに記載の情報処理装置。
　＜１１＞
　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部が、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行うステップを含む
　情報処理方法。
　＜１２＞
　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部としてコンピュータを機能させるためのプログラムであり、
　前記制御部は、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行う
　プログラム。
　１１　記憶部，　１２　情報受信部，　１３　制御部，　１４　音声出力部，　１５　振動出力部，　２１　報知制御部，　２２　音声制御部，　２３　振動制御部，　３１　音声解析部，　４１　外音処理部，　５１　情報解析部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (12)

  1. 　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部を備え、
    　前記制御部は、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行う
    　情報処理装置。
  2. 　前記制御部は、前記触覚刺激として、振動の出力を制御する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記音声に対応して、前記振動の周波数スペクトルを制御する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記音声に対応して、前記振動の出力タイミングを制御する
    　請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記音声の音量に対応して、前記振動の強度を制御する
    　請求項２に記載の情報処理装置。
  6. 　前記制御部は、前記振動の周波数スペクトルに対応して、前記音声の周波数スペクトルを制御する
    　請求項２に記載の情報処理装置。
  7. 　前記音声と、前記音声と連動した連動振動とが出力される場合、前記振動が出力されるときに、前記制御部は、前記連動振動の出力を制御する
    　請求項２に記載の情報処理装置。
  8. 　前記音声に周囲の音を取り込む外音取り込み機能、又は、前記音声から周囲の音をキャンセルするノイズキャンセル機能のオン／オフが可能である場合、前記振動が出力されるときに、前記制御部は、前記外音取り込み機能又は前記ノイズキャンセル機能のオン／オフを制御する
    　請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記通知情報の緊急性に対応して、前記触覚刺激の出力タイミングを制御する
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記音声の特定の区間に、前記触覚刺激を出力させる
    　請求項１に記載の情報処理装置。
  11. 　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部が、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行うステップを含む
    　情報処理方法。
  12. 　音声を含むコンテンツの出力中に通知情報が受信された場合に、触覚刺激の出力を制御する制御部としてコンピュータを機能させるためのプログラムであり、
    　前記制御部は、前記コンテンツに対応して、前記触覚刺激を制御する処理、又は、前記触覚刺激に対応して、前記コンテンツを制御する処理を行う
    　プログラム。
PCT/JP2019/028007 2018-07-31 2019-07-17 情報処理装置、情報処理方法、及び、プログラム WO2020026797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/262,321 US11561618B2 (en) 2018-07-31 2019-07-17 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018143251A JP2021177264A (ja) 2018-07-31 2018-07-31 情報処理装置、情報処理方法、及び、プログラム
JP2018-143251 2018-07-31

Publications (1)

Publication Number Publication Date
WO2020026797A1 true WO2020026797A1 (ja) 2020-02-06

Family

ID=69231597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028007 WO2020026797A1 (ja) 2018-07-31 2019-07-17 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US11561618B2 (ja)
JP (1) JP2021177264A (ja)
WO (1) WO2020026797A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118138691A (zh) * 2022-01-10 2024-06-04 荣耀终端有限公司 一种增强振动提示方法及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08104297A (ja) * 1994-09-30 1996-04-23 Bodeisonitsuku Kk 航空機の旅客用シート
JP2001121079A (ja) * 1999-10-22 2001-05-08 Yamaha Corp 振動源駆動装置
JP2006135841A (ja) * 2004-11-09 2006-05-25 Mitsubishi Electric Corp 通信機器
JP2007013708A (ja) * 2005-06-30 2007-01-18 Toshiba Corp 携帯型音声再生装置
JP2007251288A (ja) * 2006-03-13 2007-09-27 Matsushita Electric Ind Co Ltd 移動通信端末装置および着信通知方法
JP2008309816A (ja) * 2007-06-12 2008-12-25 Kenwood Corp 携帯型プレーヤーおよび携帯型プレーヤーの制御方法
WO2009028075A1 (ja) * 2007-08-30 2009-03-05 Pioneer Corporation 通知装置及び通知システム
JP2014045722A (ja) * 2012-08-31 2014-03-17 Globeride Inc 魚信音響システムを搭載する釣竿
JP2015215712A (ja) * 2014-05-09 2015-12-03 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3386027B2 (ja) * 1999-12-28 2003-03-10 ヤマハ株式会社 携帯電話機
JP2002027028A (ja) * 2000-07-07 2002-01-25 Pioneer Electronic Corp 情報通信装置
US8031059B2 (en) * 2002-05-31 2011-10-04 Motorola Mobility, Inc. Communication system
EP1949751B1 (en) * 2005-11-10 2016-01-27 Gibson Innovations Belgium NV Device for and method of generating a vibration source-driving-signal
JP2009065389A (ja) 2007-09-05 2009-03-26 Toshiba Corp 情報受信装置
US8145277B2 (en) * 2007-09-28 2012-03-27 Embarq Holdings Company Llc System and method for a wireless ringer function
JP4756560B2 (ja) * 2008-12-04 2011-08-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US20120224719A1 (en) * 2011-03-04 2012-09-06 Sony Mobile Communications Ab Vibration control
US9300347B1 (en) * 2012-04-18 2016-03-29 Star Co Scientific Technologies Advanced Research Co, Llc Active cover for electronic device
US20130326209A1 (en) * 2012-06-05 2013-12-05 Kalyan Chakravarthy Dommalapati Automatic Alert Mode Selection
US8706096B2 (en) * 2012-07-12 2014-04-22 Time Warner Cable Enterprises Llc Call management and notifications in media player applications
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US11425079B2 (en) * 2014-12-16 2022-08-23 All Phase Consulting, Inc. Simultaneous uninterrupted media play and call management
JP2016131306A (ja) * 2015-01-14 2016-07-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9665341B2 (en) * 2015-02-09 2017-05-30 Sonos, Inc. Synchronized audio mixing
KR102381141B1 (ko) * 2015-09-03 2022-03-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP2018011201A (ja) * 2016-07-13 2018-01-18 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018061683A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 力覚提示装置
JP6833018B2 (ja) * 2017-04-18 2021-02-24 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6887011B2 (ja) * 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP7037567B2 (ja) * 2017-08-29 2022-03-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
US10917180B2 (en) * 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08104297A (ja) * 1994-09-30 1996-04-23 Bodeisonitsuku Kk 航空機の旅客用シート
JP2001121079A (ja) * 1999-10-22 2001-05-08 Yamaha Corp 振動源駆動装置
JP2006135841A (ja) * 2004-11-09 2006-05-25 Mitsubishi Electric Corp 通信機器
JP2007013708A (ja) * 2005-06-30 2007-01-18 Toshiba Corp 携帯型音声再生装置
JP2007251288A (ja) * 2006-03-13 2007-09-27 Matsushita Electric Ind Co Ltd 移動通信端末装置および着信通知方法
JP2008309816A (ja) * 2007-06-12 2008-12-25 Kenwood Corp 携帯型プレーヤーおよび携帯型プレーヤーの制御方法
WO2009028075A1 (ja) * 2007-08-30 2009-03-05 Pioneer Corporation 通知装置及び通知システム
JP2014045722A (ja) * 2012-08-31 2014-03-17 Globeride Inc 魚信音響システムを搭載する釣竿
JP2015215712A (ja) * 2014-05-09 2015-12-03 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Also Published As

Publication number Publication date
JP2021177264A (ja) 2021-11-11
US20210294418A1 (en) 2021-09-23
US11561618B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
KR101869562B1 (ko) 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
US20120087516A1 (en) System and methods for dynamically controlling atleast a media content with changes in ambient noise
JP5572391B2 (ja) 音声データを処理する装置及び方法
TW200910901A (en) Adjusting device and method of notification sound according to the environment
EP1170709B1 (en) Information communication apparatus
JP2013501969A (ja) 方法、システム及び機器
JP2011215378A (ja) 信号処理装置
WO2014061578A1 (ja) 電子機器、及び音響再生方法
WO2017045453A1 (zh) 基于耳机的监听方法及装置
US20110029106A1 (en) Method and arrangement in a mobile terminal
WO2015083691A1 (ja) 電子機器、および振動情報生成装置
JP2009232423A (ja) 音響出力装置、携帯端末装置および耳装着判定方法
TW200616327A (en) Sound electronic circuit and method for adjusting sound level thereof
JP6757853B2 (ja) 知覚可能な低音レスポンス
JP2009021843A (ja) 音響信号処理装置及び音響信号処理方法
TWI528351B (zh) 聲音處理之方法及開放式播音裝置
WO2020008931A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015211267A (ja) 携帯端末および携帯端末システム
WO2020026797A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN115022773A (zh) 蓝牙设备音频控制方法、装置、设备及存储介质
US12075234B2 (en) Control apparatus, signal processing method, and speaker apparatus
JP2010258807A (ja) 携帯型電子機器、携帯型電子機器の動作方法、及び携帯型電子機器の動作プログラム
CN115379330A (zh) 用于生成目标声音的方法和装置
CN115379355A (zh) 管理目标声音回放
JP2012105147A (ja) 携帯端末装置、振動音抑制方法、及び振動音抑制プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19845140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19845140

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP