WO2024004130A1 - 利用者装置、共通装置、それらによる方法、およびプログラム - Google Patents

利用者装置、共通装置、それらによる方法、およびプログラム Download PDF

Info

Publication number
WO2024004130A1
WO2024004130A1 PCT/JP2022/026205 JP2022026205W WO2024004130A1 WO 2024004130 A1 WO2024004130 A1 WO 2024004130A1 JP 2022026205 W JP2022026205 W JP 2022026205W WO 2024004130 A1 WO2024004130 A1 WO 2024004130A1
Authority
WO
WIPO (PCT)
Prior art keywords
individual
user
common
acoustic signal
signal
Prior art date
Application number
PCT/JP2022/026205
Other languages
English (en)
French (fr)
Inventor
大将 千葉
達也 加古
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/026205 priority Critical patent/WO2024004130A1/ja
Publication of WO2024004130A1 publication Critical patent/WO2024004130A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to a technique for allowing multiple users to listen to an acoustic signal.
  • Non-Patent Document 1 An acoustic signal output device is known that allows you to listen to individual reproduced sounds while being able to hear surrounding sounds (see, for example, Non-Patent Document 1).
  • the present invention provides a variety of services that take advantage of the advantages of an audio signal output device that allows you to listen to individual reproduced sounds while being able to hear surrounding sounds.
  • an individual audio signal specialized for a specific user among the multiple users is transmitted as an audio signal for the specific user.
  • the output device Presented to the specific user from the output device.
  • FIG. 1 is a diagram illustrating the configuration of a playback system according to an embodiment.
  • FIG. 2 is a diagram illustrating the configuration of a user device and a common device according to the embodiment.
  • FIG. 3 is a transparent perspective view illustrating the configuration of an acoustic signal output device that does not completely seal the ear canal.
  • FIG. 4A is a transparent plan view illustrating the configuration of an acoustic signal output device that does not completely seal the ear canal.
  • FIG. 4B is a transparent front view illustrating the configuration of an acoustic signal output device that does not completely seal the ear canal.
  • FIG. 4C is a bottom view illustrating the configuration of an acoustic signal output device that does not completely seal the ear canal.
  • FIG. 5A is a 4BA-4BA end view of FIG. 4B.
  • FIG. 5B is an end view taken along line 4A-4A of FIG. 4A.
  • FIG. 5C is a 4BC-4BC end view of FIG. 2B.
  • FIG. 6 is a block diagram illustrating the hardware configurations of the user device and the common device according to the embodiment.
  • the playback system 1 of the first embodiment includes M user devices 11-1,..., 11-M and M sets of audio signal output devices 10-1,..., 10-M. , N common devices 13-1,..., 13-N, and N audio signal output devices 14-1,..., 14-N.
  • M is an integer of 2 or more
  • m 1,...,M.
  • N is an integer greater than or equal to 1
  • n 1,...,N.
  • M users 101-1, . . . , 101-M use the reproduction system 1, and each user 101-m uses a user device 11-m and an audio signal output device 10-m.
  • the positions and orientations of the common device 13-n and the acoustic signal output device 14-n may be fixed or variable.
  • the user 101-m is able to wear the audio signal output device 10-m and move together with the audio signal output device 10-m.
  • the user device 11-m may be movable together with the user 101-m and the audio signal output device 10-m, or may be located at a location away from the user 101-m and the audio signal output device 10-m. may have been done.
  • the user device 11-m is configured to be able to communicate with the audio signal output device 10-m and the audio signal output device 10-n by wire or wirelessly
  • the audio signal output device 10-n is configured to be able to communicate with the audio signal output device 10-m and the audio signal output device 10-n. It is configured to be able to communicate with n via wire or wirelessly.
  • the acoustic signal output device 10-m is an acoustic signal output device for the user 101-m (acoustic signal output device for a specific user). In this embodiment, the device is attached to the user 101-m without completely sealing the ear canal, and an acoustic signal (individual acoustic signal) specialized for each user 101-m (specific user) is transmitted to the user 101-m.
  • An example of an acoustic signal output device 10-m that emits to the ear canal of -m is illustrated. Examples of such an acoustic signal output device 10-m include open-ear earphones, headphones, audio sunglasses, head-mounted displays, neck speakers, bone conduction speakers, and other speakers.
  • the user device 11-m of the first embodiment includes an individual information providing section 111-m, a transmitting section 112-m, a receiving section 113-m, an input section 114-m, and an individual reproduction section 114-m. It has a section 115-m.
  • the common device 13-n of the first embodiment includes storage units 131-n, 133-n, a common playback unit 132-n, a reception unit 134-n, and an individual sound selection unit 135-n. , and a transmitting section 136-n (output section).
  • the acoustic signal output device 14-n (common sound source) is a device that allows a plurality of users (for example, M users 101-1, ..., 101-M) to listen to a common acoustic signal (common acoustic signal). be.
  • the acoustic signal output device 14-n may be of any type as long as it emits a common acoustic signal around the user 101-m.
  • An example of the acoustic signal output device 14-n is a speaker.
  • the storage unit 131-n of the common device 13-n stores common (same) information for multiple users (for example, M users 101-1,..., 101-M).
  • a common sound DB database representing an acoustic signal (common acoustic signal) is stored. Examples of common audio signals are sounds such as music, voices, sound effects, and environmental sounds.
  • the storage unit 133-n stores an individual sound DB representing an audio signal (individual audio signal) specialized for each user 101-m (specific user). Examples of individual audio signals are sounds such as music, voices, sound effects, and environmental sounds.
  • the individual acoustic signal is a signal with content specific to each user 101-m (specific user), such as the attributes, preferences, movements, postures, orientations, etc. of each user 101-m (specific user). It is a signal depending on at least one of a position and a situation.
  • the attributes of the user 101-m include, for example, age, gender, occupation, nationality, native language, acquired language, acquired language level, place of residence, family composition, income, educational background, work history, perceptual/cognitive characteristics, and the like.
  • the preferences of the user 101-m include, for example, music preferences, vocal preferences, content, tempo preferences, audio preferences, environmental sound preferences, and environmental sound preferences.
  • the actions of the user 101-m include, for example, walking, running, turning, stopping, sitting, standing up, speaking, and silence.
  • the posture and orientation of the user 101-m may be, for example, forward facing, backward facing, right facing, left facing, upward facing, downward facing, face down, bent over, a direction in which the elevation angle is ⁇ from the reference position, a direction in which the azimuth angle is ⁇ from the reference position, etc. be.
  • the position of the user 101-m is, for example, a position in a geographic coordinate system, a relative position with respect to a reference position, or another user device 11-m' (where m' ⁇ m, m' ⁇ 1,...,M ⁇ ), etc.
  • the reference position may be, for example, a fixed specific position, a moving specific position, a position of any common device 13-n, or any one of the common devices 13-n. It may be the position of another user device 11-m' (where m' ⁇ m, m' ⁇ 1,...,M ⁇ ).
  • the status of the user 101-m is, for example, participating, not participating, logging in, logging out, playing, not playing, learning, not learning, concentrated state, distracted state, fatigued state, awake state, etc. It is.
  • the individual acoustic signal is associated with registered individual information representing the corresponding user 101-m, its attributes, preferences, movements, postures, orientations, positions, situations, etc., for example.
  • the individual sound DB may be set only in advance processing, or may be updated in subsequent update processing.
  • the common playback unit 132-n of the common device 13-n extracts a common audio signal from the common sound DB stored in the storage unit 131-n, and generates an output signal (information for presenting a common audio signal to a plurality of users from a common sound source (step S132-n).
  • This output signal is an electrical signal and is supplied to the acoustic signal output device 14-n by wire or wirelessly.
  • the acoustic signal output device 14-n (common sound source) presents (outputs) a common acoustic signal to a plurality of users according to the supplied output signal. This common acoustic signal is emitted around the user device 11-m.
  • the user 101-m can listen to the common acoustic signal presented from the acoustic signal output device 14-n, but the volume and sound quality of the common acoustic signal that can be heard differs depending on the location and environment of the user 101-m. Sometimes.
  • the user 101-m may not be able to hear the common audio signal presented from any of the audio signal output devices 14-n, or may not be able to hear the common audio signal presented from any of the audio signal output devices 14-n, In some cases, only the common acoustic signal presented from the signal output device 14-n can be heard, and in other cases, it is possible to hear only the common acoustic signal presented from the signal output device 14-n, and in some cases, it is possible to listen to a plurality of acoustic signal output devices 14-n 1 , 14-n 2 (however, n 1 ⁇ n 2 , n 1 , n 2 ⁇ 1,...,N ⁇ ) may be able to be heard (step S14-n).
  • the individual information providing unit 111-m of the user device 11-m obtains and outputs individual information specific to the user 101-m.
  • the individual information may be set in advance, input in real time, or acquired in real time.
  • Examples of the individual information include at least one of the user's 101-m attributes, preferences, movements, postures, orientations, positions, and situations. Specific examples of attributes, preferences, actions, postures, orientations, positions, and situations are as described above.
  • the individual information providing unit 111-m can acquire the motion, posture, orientation, etc. of the user 101-m with an acceleration information sensor, camera, or microphone, can acquire the position with a position sensor, and can acquire the user's 101-m's movement, posture, orientation, etc.
  • step S111-m The individual information of the user 101-m output from the individual information providing unit 111-m is sent to the transmitting unit 112-m, and transmitted from the transmitting unit 112-m to the common device 13-n (step S112-m). ).
  • the receiving unit 134-n of the common device 13-n receives the individual information of the user 101-m transmitted from the user device 11-m, and sends it to the individual sound selection unit 135-n (step S134-n). .
  • the individual sound selection unit 135-n searches the individual sound DB in the storage unit 133-n using the received individual information, and extracts the individual sound signal associated with the registered individual information corresponding to this individual information.
  • the individual sound selection unit 135-n cooperates with the common reproduction unit 132-n, and presents the individual audio signal extracted from the individual sound DB from the audio signal output device 10-m at a timing synchronized with the aforementioned common audio signal.
  • Generate individual playback control information for The individual sound selection section 135-n sends the individual reproduction control information to the transmission section 136-n (step S135-n).
  • the transmitter 136-n transmits the individual playback control information to the user device 11-m. That is, the transmitting unit 136-n (output unit) transmits an individual audio signal specialized for a specific user, which is any one of the multiple users, at a timing synchronized with a common audio signal presented to multiple users from a common sound source. Information for presenting the acoustic signal to the specific user is output from the acoustic signal output device for the specific user (step S136-n).
  • the individual reproduction control information is received by the receiving unit 113-m of the user device 11-m and sent to the individual reproduction unit 115-m (step S113-m).
  • the individual reproduction section 115-m Based on the individual reproduction control information, the individual reproduction section 115-m outputs the individual acoustic signal extracted by the individual sound selection section 135-n at a timing synchronized with the common acoustic signal output from the acoustic signal output device 14-n.
  • the audio signal output device 10-m outputs an individual reproduction signal to be presented to the user 101-m.
  • the individual playback unit 115-m plays an individual audio signal specialized for a specific user, which is one of the multiple users, at a timing synchronized with the common audio signal presented to the multiple users from the common sound source.
  • step S115-m outputs an individual playback signal to be presented to the specific user from the audio signal output device for the specific user. Furthermore, the individual reproduction signal may be corrected or adjusted based on information input in advance from the input section 114-m or information input in real time (step S115-m).
  • the individual reproduction signal is input to the audio signal output device 10-m.
  • the acoustic signal output device 10-m generates the individual acoustic signal extracted by the individual sound selection unit 135-n at a timing synchronized with the common acoustic signal output from the acoustic signal output device 14-n based on the individual reproduction signal. Output.
  • the user 101-m listens to the individual reproduction signal emitted from the audio signal output device 14-n at a timing synchronized with the common audio signal emitted from the audio signal output device 14-n.
  • the acoustic signal output device 10-m of this embodiment is worn without completely sealing the ear canal of the user 101-m, and outputs an individual acoustic signal to the user 101-m at a timing synchronized with the common acoustic signal. It is released into the ear canal. Therefore, even when the user 101-m is wearing the audio signal output device 10-m, the user 101-m can listen to the common audio signal emitted around him, and the common audio signal and the individual audio signals are synchronized. (Step S10-m).
  • the user 101-m can listen to a common audio signal presented to a plurality of users and an individual audio signal specific to each user 101-m at synchronized timing. This makes it possible to provide diverse audio content and optimized audio content that reflect the attributes, preferences, movements, postures, orientations, positions, situations, etc. of each user 101-m.
  • the storage unit 133-n of the common device 13-n stores an individual sound DB representing individual audio signals specialized for each user 101-m.
  • individual acoustic signals specialized for each user 101-m may be stored in each user device 11-m.
  • the storage unit 133-n of the common device 13-n may be omitted.
  • the individual sound selection unit 135-n of the common device 13-n cooperates with the common playback unit 132-n to select the individual sound stored in each user device 11-m.
  • Individual playback control information to be presented from the audio signal output device 10-m may be generated at a timing that synchronizes the audio signal with the common audio signal.
  • This individual reproduction control information is sent to the transmitter 136-n, and the transmitter 136-n transmits the individual reproduction control information to the user device 11-m.
  • the individual playback control information is received by the receiving unit 113-m of the user device 11-m and sent to the individual playback unit 115-m (step S113-m). Furthermore, the individual acoustic signals stored in the user device 11-m are also sent to the individual reproduction section 115-m.
  • the individual playback unit 115-m Based on the individual playback control information and the individual audio signal, the individual playback unit 115-m outputs the individual audio signal to the audio signal output device 10- at a timing synchronized with the common audio signal output from the audio signal output device 14-n. At m, an individual reproduction signal is output to be presented to user 101-m.
  • the individual reproduction control information is sent to the individual reproduction section 115-m.
  • the subsequent steps are the same as steps S115-m and S10-m in the first embodiment.
  • each user device 11-m stores individual audio signals specialized for each user 101-m
  • the user device 11-m may be provided with an individual sound selection section.
  • the individual sound selection unit of the user device 11-m selects individual information (for example, motion, posture, (direction, position, situation, etc.) is selected and sent to the individual reproduction section 115-m.
  • the individual playback unit 115-m Based on the individual playback control information and the individual audio signal, the individual playback unit 115-m outputs the individual audio signal to the audio signal output device 10- at a timing synchronized with the common audio signal output from the audio signal output device 14-n.
  • an individual reproduction signal is output to be presented to user 101-m.
  • the subsequent steps are the same as step S10-m in the first embodiment.
  • the individual sound selection section 135-n may be omitted from the common device 13-n.
  • the surrounding sound of the user 101-m is collected by an acoustic signal sensor such as a microphone, and information on the surrounding sound is input to the individual playback section 115-m.
  • the information may be used to optimize the playback timing of the individual audio signals.
  • the reproduction system 2 of the second embodiment includes M user devices 21-1,..., 21-M and M sets of audio signal output devices 10-1,..., 10-M. , N common devices 23-1, . . . , 23-N, and N audio signal output devices 14-1, . M users 101-1, . . . , 101-M use the reproduction system 2, and each user 101-m uses the user device 21-m and the audio signal output device 10-m.
  • the positions and orientations of the common device 23-n and the acoustic signal output device 14-n may be fixed or variable.
  • the user 101-m is able to wear the audio signal output device 10-m and move together with the audio signal output device 10-m.
  • the user device 21-m may be movable together with the user 101-m and the audio signal output device 10-m, or may be placed at a location away from the user 101-m and the audio signal output device 10-m. may have been done.
  • the user device 21-m of the second embodiment includes an individual information providing section 111-m, a transmitting section 112-m, a receiving section 213-m, an input section 114-m, an individual reproducing section 115-m, and an acoustic signal processing section 216-m.
  • the common device 23-n of the second embodiment includes storage units 131-n, 133-n, a common playback unit 132-n, a reception unit 234-n, and an individual sound selection unit 135-n. , a transmitting section 236-n (output section), and an individual control determining section 237-n.
  • the common device 23-n instead of the common device 13-n executes the process of step S132-n, and the audio signal output device 14-n executes the process of step S14-n.
  • the user device 21-m instead of the user device 11-m executes the processes of steps S111-m and S112-m.
  • the receiving unit 234-n of the common device 23-n receives the individual information of the user 101-m transmitted from the user device 21-m, and selects the individual sound selecting unit 135-n and the individual control determining unit 237-n. (step S134-n).
  • the individual sound selection unit 135-n searches the individual sound DB in the storage unit 133-n using the received individual information, and extracts the individual sound signal associated with the registered individual information corresponding to this individual information.
  • the individual sound selection unit 135-n cooperates with the common reproduction unit 132-n, and presents the individual audio signal extracted from the individual sound DB from the audio signal output device 10-m at a timing synchronized with the aforementioned common audio signal.
  • Generate individual playback control information for The individual sound selection section 135-n sends the individual reproduction control information to the transmission section 136-n (step S135-n).
  • the individual control determining unit 237-n uses the received individual information to obtain individual control information for controlling signal processing specific to the user device 21-m (specific user).
  • signal processing specific to the user device 21-m is processing for reproducing an individual audio signal in synchronization with a common audio signal at a timing specific to the user device 21-m (specific user). be.
  • user 101-m's attributes e.g., age, nationality, native language, acquired language, acquired language level, perceptual/cognitive characteristics, etc.
  • preferences for example, music preferences, tempo preferences, etc.
  • actions for example, , walking, running, stopping, etc.
  • posture, direction, position for example, relative position from the acoustic signal output device 14-n, etc.
  • situation for example, concentration state, distracted state, fatigue state, wakefulness state, etc.
  • the individual control determination unit 237-n specifies the optimal reproduction timing of the individual audio signal with respect to the common audio signal according to the received individual information, and in this way Individual control information may be obtained in order to reproduce individual audio signals in synchronization with the common audio signal at specific timings.
  • signal processing specific to the user device 21-m is audio signal processing specific to the user device 21-m (specific user).
  • user 101-m's attributes e.g., age, nationality, native language, acquired language, acquired language level, perceptual/cognitive characteristics, etc.
  • preferences for example, music preferences, tempo preferences, etc.
  • actions for example, , walking, running, stopping, etc.
  • posture, direction, position for example, relative position from the acoustic signal output device 14-n, etc.
  • situation for example, concentration state, distracted state, fatigue state, wakefulness state, etc.
  • the appropriate sense of presence and distance may be determined depending on the posture, orientation, and position of the user 101-m.
  • the head related transfer functions and head impulse responses that reproduce sensations and sense of direction may differ.
  • sound image localization can reproduce an appropriate sense of presence, distance, direction, etc. depending on the posture, orientation, and position of the user 101-m. and volume may vary. For example, if acoustic signal processing involves applying a low-pass filter, high-pass filter, band-pass filter, etc.
  • the individual control determining unit 237-n may obtain individual control information for performing audio signal processing specialized for a particular user, according to the received individual information.
  • the individual control determining unit 237-n sends the above-mentioned individual control information to the transmitting unit 136-n (step S237-n).
  • the transmitter 236-n transmits the above-mentioned individual playback control information and individual control information to the user device 21-m. That is, the transmitting unit 236-n (output unit) transmits an individual audio signal specialized for a specific user, which is any one of the multiple users, at a timing synchronized with a common audio signal presented to multiple users from a common sound source. Information for presenting the acoustic signal to the specific user is output from the acoustic signal output device for the specific user (step S236-n).
  • the individual playback control information and the individual control information are received by the receiving unit 213-m of the user device 21-m and sent to the audio signal processing unit 216-m (step S213-m).
  • the acoustic signal processing unit 216-m performs signal processing on the individual acoustic signal represented by the individual reproduction control information based on the individual control information, and converts the individual acoustic signal after signal processing into an acoustic signal at a timing synchronized with the aforementioned common acoustic signal. New individual playback control information to be presented from the output device 10-m is generated and output.
  • the acoustic signal processing unit 216-m performs processing for reproducing the individual acoustic signal in synchronization with the common acoustic signal at a timing specific to the user device 21-m, and the resulting user device New individual reproduction control information for reproducing the individual audio signal in synchronization with the common audio signal at a timing specific to 21-m may be generated and output.
  • the acoustic signal processing unit 216-m performs acoustic signal processing specialized for the user device 21-m on the individual acoustic signals, and transmits the resulting individual acoustic signals at a timing synchronized with the common acoustic signal described above.
  • new individual playback control information to be presented from the audio signal output device 10-m may be generated and output.
  • the acoustic signal processing unit 216-m performs acoustic signal processing specialized for the user device 21-m on the individual acoustic signal, and the resulting individual acoustic signal is specialized for the user device 21-m.
  • New individual playback control information to be presented from the audio signal output device 10-m may be generated and output at a timing synchronized with the aforementioned common audio signal.
  • new individual playback control information may be corrected or adjusted based on information input in advance from the input unit 114-m or information input in real time.
  • the new individual reproduction control information is sent to the individual reproduction section 115-m (step S216-m).
  • the individual playback unit 115-m uses the individual sound signal in the sound signal output device 10-m at a timing synchronized with the common sound signal output from the sound signal output device 14-n. It outputs an individual reproduction signal to be presented to the user 101-m.
  • the individual playback signal is a signal with content specialized for a specific user based on new individual playback control information.
  • the individual reproduction signal of this embodiment may include a signal that is reproduced in synchronization with the common audio signal at a timing specific to the user device 21-m (specific user), or a signal that is reproduced in synchronization with the common audio signal at a timing specific to the user device 21-m (specific user) It may also include a signal that has been subjected to acoustic signal processing specific to m (specific user). Furthermore, the individual reproduction signal may be corrected or adjusted based on information input in advance from the input section 114-m or information input in real time (step S115-m).
  • the individual reproduction signal is input to the audio signal output device 10-m. Based on this individual reproduction signal, the acoustic signal output device 10-m transmits the individual acoustic signal to the user using the acoustic signal output device 10-m at a timing synchronized with the common acoustic signal output from the acoustic signal output device 14-n. 101-m. In this embodiment, for example, an individual audio signal is played back in synchronization with a common audio signal at a timing specific to the user device 21-m, or an audio signal processing specific to the user device 21-m is performed.
  • An individual audio signal that has been processed is played back at a timing that is synchronized with a common audio signal, or an individual audio signal that has been subjected to audio signal processing specific to the user device 21-m is played back at a timing that is specific to the user device 21-m. It is reproduced in synchronization with the common audio signal (step S10-m).
  • the user 101-m can listen to a common audio signal presented to a plurality of users and an individual audio signal specific to each user 101-m at synchronized timing. This makes it possible to provide diverse audio content and optimized audio content that reflect the attributes, preferences, movements, postures, orientations, positions, situations, etc. of each user 101-m. Furthermore, in this embodiment, it is also possible to perform timing and audio signal processing specific to each user 101-m, so that each user 101-m can receive audio that is further optimized for the sense of presence, sense of distance, sense of direction, etc. Can provide content.
  • an individual sound DB representing individual audio signals specialized for each user 101-m is stored in the storage unit 133-n of the common device 23-n.
  • individual acoustic signals specialized for each user 101-m may be stored in each user device 21-m.
  • the storage unit 133-n of the common device 23-n may be omitted.
  • the individual sound selection section 135-n of the common device 23-n cooperates with the common playback section 132-n to Individual playback control information to be presented from the audio signal output device 10-m may be generated at a timing that synchronizes the audio signal with the common audio signal.
  • This individual reproduction control information is sent to the transmitter 136-n, and the transmitter 136-n transmits the individual reproduction control information to the user device 21-m.
  • the individual playback control information is received by the receiving section 113-m of the user device 21-m and sent to the audio signal processing section 216-m. Furthermore, the individual audio signals stored in the user device 21-m are also sent to the audio signal processing unit 216-m.
  • the acoustic signal processing unit 216-m performs signal processing on this individual acoustic signal based on the individual control information, and outputs the individual acoustic signal after signal processing to the acoustic signal output device 10-m at a timing synchronized with the above-mentioned common acoustic signal. generates and outputs new individual playback control information to be presented.
  • the new individual reproduction control information is sent to the individual reproduction section 115-m.
  • the subsequent steps are the same as steps S115-m and S10-m in the second embodiment.
  • each user device 21-m stores individual audio signals specialized for each user 101-m
  • the user device 21-m may be provided with an individual sound selection section.
  • the individual sound selection unit of the user device 21-m selects individual information (for example, motion, posture, , direction, position, situation, etc.) and sends the selected individual acoustic signal to the acoustic signal processing unit 216-m.
  • the acoustic signal processing unit 216-m performs signal processing on this individual acoustic signal based on the individual control information, and outputs the individual acoustic signal after signal processing to the acoustic signal output device 10-m at a timing synchronized with the above-mentioned common acoustic signal. generates and outputs new individual playback control information to be presented.
  • the individual sound selection unit 135-n may be omitted from the common device 23-n.
  • the surrounding sound of the user 101-m is collected by an acoustic signal sensor such as a microphone, information on the surrounding sound is input to the acoustic signal processing unit 216-m, and the acoustic signal processing unit 216-m
  • the playback timing of the individual audio signals may be optimized using the sound information.
  • the common device 23-n is provided with an individual control determining section 237-n.
  • the function of the individual control determining section 237-n may be included in the acoustic signal processing section 216-m of the user device 21-m.
  • the acoustic signal processing section 216-m performs signal processing on the individual acoustic signal based on the individual information (for example, motion, posture, orientation, position, or situation) obtained by the individual information providing section 111-m.
  • New individual playback control information to be presented from the audio signal output device 10-m may be generated and output at a timing that synchronizes the subsequent individual audio signal with the aforementioned common audio signal. Others are as described in the second embodiment.
  • the individual audio signal is a signal with content specific to the user device 21-m (specific user).
  • the individual audio signals common to all users 101-1, ..., 101-M are played back in synchronization with the common audio signal at timings specific to each user device 21-m (specific users). It's okay.
  • acoustic signal processing specific to each user device 21-m (specific user) is performed on the individual acoustic signals common to all users 101-1,..., 101-M, thereby obtaining benefits.
  • the new individual audio signal may be reproduced at a timing synchronized with the common audio signal.
  • acoustic signal processing specific to each user device 21-m is performed on the individual acoustic signals common to all users 101-1,..., 101-M, thereby obtaining benefits.
  • the new individual audio signal may be played back in synchronization with the common audio signal at a timing specific to each user device 21-m (specific user).
  • the individual sound selection unit 135-n selects the individual sound signal common to all users 101-1, ..., 101-M as the common sound signal.
  • Individual playback control information to be presented from the audio signal output device 10-m may be generated at synchronized timing and sent to the transmitter 136-n.
  • acoustic signal output device 10-m An example of the acoustic signal output device 10-m of each of the above-described embodiments is shown.
  • the acoustic signal output device 10-m in this example has a function of suppressing sound leakage to the outside, and as explained in each embodiment and its modified example, the acoustic signal output device 10-m has a function to suppress sound leakage to the outside, and as explained in each embodiment and its modification, It is particularly suitable for applications in which signals are reproduced only to the user device 21-m.
  • FIGS. 3, 4A to 4C, and 5A to 5C An example of this acoustic signal output device 10-m is shown in FIGS. 3, 4A to 4C, and 5A to 5C.
  • each of the audio signal output devices 10-m will be referred to as the audio signal output device 10 without distinction.
  • the user 101-m, the user device 11-m, and the individual playback unit 115-m are also expressed as the user 101, the user device 11, and the individual playback unit 115.
  • the audio signal output device 10 of this example converts the individual playback signal output from the individual playback unit 115 of the user device 11 into an audio signal. It has a driver unit 1011 that converts and outputs the data, and a casing 1012 that houses the driver unit 1011 inside.
  • the driver unit (speaker driver unit) 1011 emits (sounds) an acoustic signal AC1 (first acoustic signal) based on the input individual reproduction signal to one side (D1 direction side), and generates an opposite phase signal of the acoustic signal AC1.
  • This is a device (a device with a speaker function) that emits an acoustic signal AC2 (second acoustic signal) which is a phase inverted signal or an approximation signal of an antiphase signal to the other side (direction D2 side).
  • the acoustic signal emitted from the driver unit 1011 to one side is called an acoustic signal AC1 (first acoustic signal)
  • the acoustic signal emitted from the driver unit 1011 to the other side is called an acoustic signal AC1 (first acoustic signal).
  • acoustic signal AC2 second acoustic signal
  • the driver unit 1011 includes a diaphragm 10113 that emits an acoustic signal AC1 in the D1 direction from one surface 10113a by vibration, and emits an acoustic signal AC2 in the D2 direction from the other surface 10113b by this vibration (Fig. 4B).
  • the driver unit 1011 in this example emits the acoustic signal AC1 from one surface 10111 in the D1 direction by vibrating the diaphragm 10113 based on the input individual reproduction signal, and generates an opposite phase signal of the acoustic signal AC1.
  • the acoustic signal AC2 which is an approximation signal of the opposite phase signal, is emitted from the other side 10112 in the direction D2.
  • the acoustic signal AC2 is emitted secondary to the emission of the acoustic signal AC1.
  • the D2 direction (the other side) is, for example, the opposite direction to the D1 direction (one side), but the D2 direction does not have to be strictly the opposite direction to the D1 direction, and if the D2 direction is different from the D1 direction, good.
  • the relationship between one side (D1 direction) and the other side (D2 direction) depends on the type and shape of the driver unit 1011.
  • the acoustic signal AC2 may be strictly an antiphase signal of the acoustic signal AC1, or the acoustic signal AC2 may be an approximation signal of the antiphase signal of the acoustic signal AC1.
  • the approximate signal of the anti-phase signal of the acoustic signal AC1 may be a signal obtained by (1) shifting the phase of the anti-phase signal of the acoustic signal AC1, or (2) an anti-phase signal of the acoustic signal AC1.
  • phase difference between the anti-phase signal of the acoustic signal AC1 and its approximate signal is desirably ⁇ 1 % or less of one cycle of the anti-phase signal of the acoustic signal AC1. Examples of ⁇ 1 % are 1%, 3%, 5%, 10%, 20%, etc.
  • the difference between the amplitude of the anti-phase signal of the acoustic signal AC1 and the amplitude of its approximate signal is ⁇ 2 % or less of the amplitude of the anti-phase signal of the acoustic signal AC1.
  • ⁇ 2 % are 1%, 3%, 5%, 10%, 20%, etc.
  • examples of the driver unit 1011 include a dynamic type, a balanced armature type, a hybrid type of a dynamic type and a balanced armature type, and a condenser type.
  • the shapes of the driver unit 1011 and the diaphragm 10113 there are no limitations on the shapes of the driver unit 1011 and the diaphragm 10113.
  • the driver unit 1011 has a substantially cylindrical outer shape with both end surfaces, and the diaphragm 10113 has a substantially disc shape, but this does not limit the present invention. do not have.
  • the outer shape of the driver unit 1011 may be a rectangular parallelepiped, and the diaphragm 10113 may be a dome shape.
  • the housing 1012 is a hollow member having a wall on the outside, and houses the driver unit 1011 inside.
  • the driver unit 1011 is fixed to the end of the housing 1012 on the D1 direction side.
  • this does not limit the invention.
  • the shape of the housing 1012 for example, it is desirable that the shape of the housing 1012 be rotationally symmetric (line symmetric) or approximately rotationally symmetric about the axis A1 extending along the D1 direction. This makes it easy to provide the sound holes 10123a (details will be described later) so that variations in sound energy emitted from the housing 1012 from direction to direction are reduced. As a result, it becomes easy to reduce sound leakage uniformly in each direction.
  • the housing 1012 has a first end surface that is a wall portion 10121 placed on one side (the D1 direction side) of the driver unit 1011, and a wall portion 10122 that is the wall portion 10121 placed on the other side of the driver unit 1011 (the D2 direction side). and a side surface that is a wall portion 10123 that surrounds the space sandwiched between the first end surface and the second end surface around the axis A1 passing through the first end surface and the second end surface (FIG. 4B , Figure 5B).
  • the housing 1012 has a substantially cylindrical shape with both end surfaces.
  • the distance between wall portion 10121 and wall portion 10122 is 10 mm, and wall portions 10121 and 10122 are circular with a radius of 10 mm.
  • the housing 1012 may have a substantially dome shape with a wall at the end, a hollow substantially cubic shape, or any other three-dimensional shape.
  • the housing 1012 may be made of a rigid body such as synthetic resin or metal, or may be made of an elastic body such as rubber.
  • the wall of the casing 1012 includes a sound hole 10121a (first sound hole) for guiding the sound signal AC1 (first sound signal) emitted from the driver unit 1011 to the outside, and a sound hole 10121a (first sound hole) for guiding the sound signal AC1 (first sound signal) emitted from the driver unit 1011 to the outside.
  • a sound hole 10123a (second sound hole) for leading AC2 (second acoustic signal) to the outside is provided.
  • the sound hole 10121a and the sound hole 10123a are, for example, through holes penetrating the wall of the housing 1012, but this does not limit the present invention.
  • the sound hole 10121a and the sound hole 10123a do not need to be through holes as long as the acoustic signal AC1 and the acoustic signal AC2 can be respectively guided to the outside.
  • the acoustic signal AC1 emitted from the sound hole 10121a reaches the ear canal of the user 101 and is heard by the user 101.
  • the sound hole 10123a emits an acoustic signal AC2 which is an antiphase signal of the acoustic signal AC1 or an approximation signal of the antiphase signal.
  • a portion of this acoustic signal AC2 cancels out a portion (sound leakage component) of the acoustic signal AC1 emitted from the sound hole 10121a.
  • the acoustic signal AC1 (first acoustic signal) is emitted from the sound hole 10121a (first sound hole)
  • the acoustic signal AC2 (second acoustic signal) is emitted from the sound hole 10123a (second sound hole).
  • the attenuation rate ⁇ 11 of the acoustic signal AC1 (first acoustic signal) at position P2 (second point) with reference to position P1 (first point) can be made equal to or less than a predetermined value ⁇ th ;
  • the attenuation amount ⁇ 12 of the acoustic signal AC1 (first acoustic signal) at the position P2 (second point) with respect to the position P1 (first point) may be set to be greater than or equal to a predetermined value ⁇ th .
  • the position P1 (first point) is a predetermined point where the acoustic signal AC1 (first acoustic signal) emitted from the sound hole 10121a (first sound hole) reaches.
  • position P2 (second point) is a predetermined point that is farther from the acoustic signal output device 10 than position P1 (first point).
  • the predetermined value ⁇ th is a value ( low value).
  • the predetermined value ⁇ th is larger than the attenuation amount ⁇ 22 of an arbitrary or specific acoustic signal (sound) due to air propagation at position P2 (second point) based on position P1 (first point). It is a value.
  • the acoustic signal output device 10 of this example is designed such that the attenuation rate ⁇ 11 is equal to or less than a predetermined value ⁇ th smaller than the attenuation rate ⁇ 21 , or the attenuation amount ⁇ 12 is It is designed to be equal to or greater than a predetermined value ⁇ th which is larger than the amount ⁇ 22 .
  • the acoustic signal AC1 is propagated through the air from the position P1 to the position P2, and is attenuated due to this air propagation and the acoustic signal AC2.
  • the attenuation factor ⁇ 11 is the magnitude AMP 2 (AC1) of the acoustic signal AC1 at the position P2, which is attenuated due to air propagation and the acoustic signal AC2, with respect to the magnitude AMP 1 (AC1) of the acoustic signal AC1 at the position P1.
  • ) is the ratio (AMP 2 (AC1)/AMP 1 (AC1)).
  • the attenuation amount ⁇ 12 is the difference (
  • Attenuation rate ⁇ 21 is the acoustic signal at position P2 that is attenuated due to air propagation (attenuated not due to acoustic signal AC2) with respect to the magnitude AMP 1 (AC ar ) of acoustic signal AC ar at position P1.
  • This is the ratio (AMP 2 (AC ar ) /AMP 1 (AC ar )) of the magnitude of AC ar AMP 2 (AC ar ).
  • the attenuation amount ⁇ 22 is the difference (
  • the magnitude of the acoustic signal include the sound pressure of the acoustic signal or the energy of the acoustic signal.
  • the "sound leakage component" refers to, for example, an area other than the user 101 wearing the acoustic signal output device 10 in the acoustic signal AC1 emitted from the sound hole 10121a (for example, the area where the user 101 wearing the acoustic signal output device 10 means a component that is likely to reach humans (other than person 101).
  • sound leakage component means a component of the acoustic signal AC1 that propagates in a direction other than the D1 direction.
  • the direct wave of the acoustic signal AC1 is mainly emitted from the sound hole 10121a
  • the direct wave of the second acoustic signal is mainly emitted from the second sound hole.
  • a part of the direct wave (sound leakage component) of the acoustic signal AC1 emitted from the sound hole 10121a is canceled out by interfering with at least a part of the direct wave of the acoustic signal AC2 emitted from the sound hole 10123a.
  • this is not a limitation of the present invention, and this cancellation can also occur with other than direct waves.
  • the sound leakage component that is at least one of the direct wave and the reflected wave of the acoustic signal AC1 emitted from the sound hole 10121a is canceled by at least one of the direct wave and the reflected wave of the acoustic signal AC2 emitted from the sound hole 10123a.
  • sound leakage can be suppressed.
  • the user devices 11-m, 21-m and the common devices 13-n, 23-n in each embodiment include, for example, a processor (hardware processor) such as a CPU (central processing unit) or a RAM (random-access memory).
  • a processor such as a CPU (central processing unit) or a RAM (random-access memory).
  • ) ⁇ It is a device configured by a general-purpose or dedicated computer equipped with a memory such as ROM (read-only memory), etc., executing a predetermined program. That is, the user devices 11-m, 21-m and the common devices 13-n, 23-n in each embodiment have, for example, processing circuitry configured to implement the respective parts that they each have.
  • This computer may include one processor and memory, or may include multiple processors and memories.
  • This program may be installed on the computer or may be pre-recorded in a ROM or the like.
  • some or all of the processing units may be configured using an electronic circuit that independently realizes a processing function, rather than an electronic circuit that realizes a functional configuration by reading a program like a CPU.
  • an electronic circuit constituting one device may include a plurality of CPUs.
  • FIG. 6 is a block diagram illustrating the hardware configurations of the user devices 11-m, 21-m and the common devices 13-n, 23-n in each embodiment.
  • the user devices 11-m, 21-m and common devices 13-n, 23-n in this example include a CPU (Central Processing Unit) 10a, an input section 10b, an output section 10c, a RAM (Random Access Memory) 10d, ROM (Read Only Memory) 10e, auxiliary storage device 10f, communication section 10h, and bus 10g.
  • the CPU 10a in this example has a control section 10aa, a calculation section 10ab, and a register 10ac, and executes various calculation processes according to various programs read into the register 10ac.
  • the input unit 10b is an input terminal into which data is input, a keyboard, a mouse, a touch panel, etc.
  • the output unit 10c is an output terminal, a display, etc. to which data is output.
  • the communication unit 10h is a LAN card or the like that is controlled by the CPU 10a loaded with a predetermined program.
  • the RAM 10d is an SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), etc., and has a program area 10da in which a predetermined program is stored and a data area 10db in which various data are stored.
  • the auxiliary storage device 10f is, for example, a hard disk, an MO (Magneto-Optical disc), a semiconductor memory, etc., and has a program area 10fa where a predetermined program is stored and a data area 10fb where various data are stored.
  • the bus 10g connects the CPU 10a, the input section 10b, the output section 10c, the RAM 10d, the ROM 10e, the communication section 10h, and the auxiliary storage device 10f so that information can be exchanged.
  • the CPU 10a writes the program stored in the program area 10fa of the auxiliary storage device 10f to the program area 10da of the RAM 10d according to the read OS (Operating System) program.
  • the CPU 10a writes various data stored in the data area 10fb of the auxiliary storage device 10f to the data area 10db of the RAM 10d. Then, the address on the RAM 10d where this program and data are written is stored in the register 10ac of the CPU 10a.
  • the control unit 10aa of the CPU 10a sequentially reads these addresses stored in the register 10ac, reads programs and data from the area on the RAM 10d indicated by the read addresses, and causes the calculation unit 10ab to sequentially execute the calculations indicated by the programs.
  • the calculation results are stored in the register 10ac.
  • the above program can be recorded on a computer readable recording medium.
  • a computer readable storage medium is a non-transitory storage medium. Examples of such recording media are magnetic recording devices, optical disks, magneto-optical recording media, semiconductor memories, and the like.
  • This program is distributed, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing a process, this computer reads a program stored in its own storage device and executes a process according to the read program.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and furthermore, the program may be transferred to this computer from the server computer.
  • the process may be executed in accordance with the received program each time.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) service, which does not transfer programs from the server computer to this computer, but only realizes processing functions by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the present apparatus is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be implemented in hardware.
  • the present invention is not limited to the above-described embodiments.
  • the ear canal is not completely sealed and is worn on the user 101-m, and an acoustic signal specialized for each user 101-m is transmitted to the user 101-m.
  • An example of the acoustic signal output device 10-m that emits to the ear canal is illustrated.
  • Such an acoustic signal output device 10-m which does not completely seal the ear canal, outputs a common acoustic signal presented to multiple users and an individual acoustic signal specialized for each user 101-m at a synchronized timing. Suitable for listening purposes.
  • an acoustic signal output device 10-m that does not completely seal the auditory canal, an acoustic signal output device is used that can capture a common acoustic signal emitted to the outside and present it to the user 101-m together with individual acoustic signals. It's okay.
  • the common audio signal is reproduced from the audio signal output device 14-n.
  • the common acoustic signal may be ambient sounds such as environmental sounds, natural sounds, live sounds, and speech sounds.
  • ambient sounds are collected by an acoustic signal sensor such as a microphone, and sent to the common devices 13-n, 23-n, and the individual sound selection units 135-n of the common devices 13-n, 23-n , individual playback control information for presentation from the audio signal output device 10-m may be generated at a timing in which the individual audio signal is synchronized with the common audio signal that is the surrounding sound.
  • the individual acoustic signal may be transmitted to the user 101-m (specific user) and the user 101-m other than the user 101-m included in the users 101-1, ..., 101-M (multiple users).
  • the signal may be a signal corresponding to the relationship with m' (where m' ⁇ 1,...,M ⁇ , m' ⁇ m).
  • the individual acoustic signal presented to the user 101-m may differ depending on the distance between the user 101-m and another user 101-m', or the unit in which the user 101-m exists
  • the individual acoustic signals presented to the user 101-m may vary depending on the number of other users 101-m' existing in the area.
  • an individual acoustic signal different from that in other cases may be presented to the user 101-m.
  • Such a relationship between the user 101-m and other users 101-m' may be obtained in real time by the individual information providing unit 111-m, or may be set in advance in the individual information providing unit 111-m. The information may be input into the individual information providing section 111-m in real time.
  • the present invention is useful for increasing the sense of realism in, for example, audio commentary and music playback of works in museums, audio and music playback in movies, video games, horror attractions at amusement parks, virtual spaces, etc., concerts and live performances, etc. It can be used to add sound and play simultaneous interpretation audio for business, movies, sightseeing, etc.
  • A's native language is played back as Mr. A's individual audio signal.
  • Mr. B Since Mr. B can understand simple English, the dubbed audio in Mr. A's native language is played back as Mr. A's individual audio signal only for the parts that Mr. B has difficulty hearing.
  • attributes such as native language, learned language, and learned language level are included in the individual information.
  • the types of audio and sound effects that are individual audio signals and the signal processing may be different depending on the user's current location information.
  • music according to the user's preference may be played as the individual audio signal.
  • users may listen to live music at a live venue as a common acoustic signal, and playback sounds optimized for each user may be played back as individual acoustic signals.
  • all users can hear the live music at the venue.
  • a live performance does not include a vocalist's voice.
  • different vocal sounds may be reproduced as individual audio signals according to the user's preset preferences.
  • the same vocal sound can be played back to all users as an individual acoustic signal, but the acoustic signal processing section can convolve the head-related transfer function and head-impulse response according to each user's current position and play it back.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、当該複数の利用者の何れかである特定利用者に特化した個別音響信号を、当該特定利用者用の音響信号出力装置から当該特定利用者に提示する。

Description

利用者装置、共通装置、それらによる方法、およびプログラム
　本発明は、複数の利用者に音響信号を聴取させるための技術に関する。
　周囲の音を聴き取ることができる状態で、個々の再生音を聴取できる音響信号出力装置が知られている（例えば、非特許文献１等参照）。
"WHAT ARE OPEN-EAR HEADPHONES?"、[online]、Bose Corporation、[2021年9月13日検索]、インターネット＜https://www.bose.com/en_us/better_with_bose/open-ear-headphones.html＞
　しかし、周囲の音を聴き取ることができる状態で、個々の再生音を聴取できる音響信号出力装置の利点が十分に生かされているとは言えない。
　このような点に鑑み、本発明では、周囲の音を聴き取ることができる状態で、個々の再生音を聴取できる音響信号出力装置の利点を生かした多様性のあるサービスを提供する。
　共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、当該複数の利用者の何れかである特定利用者に特化した個別音響信号を、当該特定利用者用の音響信号出力装置から当該特定利用者に提示する。
　これにより、周囲の音を聴き取ることができる状態で、個々の再生音を聴取できる音響信号出力装置の利点を生かした多様性のあるサービスを提供できる。
図１は、実施形態の再生システムの構成を例示するための図である。 図２は、実施形態の利用者装置と共通装置の構成を例示するための図である。 図３は、外耳道を完全には密閉しない音響信号出力装置の構成を例示するための透過斜視図である。 図４Ａは外耳道を完全には密閉しない音響信号出力装置の構成を例示した透過平面図である。図４Ｂは外耳道を完全には密閉しない音響信号出力装置の構成を例示した透過正面図である。図４Ｃは外耳道を完全には密閉しない音響信号出力装置の構成を例示した底面図である。 図５Ａは図４Ｂの４ＢＡ－４ＢＡ端面図である。図５Ｂは図４Ａの４Ａ－４Ａ端面図である。図５Ｃは図２Ｂの４ＢＣ－４ＢＣ端面図である。 図６は、実施形態の利用者装置と共通装置のハードウェア構成を例示するためのブロック図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［第１実施形態］
　＜全体構成＞
　図１に例示するように、第１実施形態の再生システム１は、Ｍ個の利用者装置１１－１，…，１１－Ｍ、Ｍセットの音響信号出力装置１０－１，…，１０－Ｍ、Ｎ個の共通装置１３－１，…，１３－Ｎ、およびＮ個の音響信号出力装置１４－１，…，１４－Ｎを有する。ここで、Ｍは２以上の整数であり、ｍ＝１，…，Ｍである。Ｎは１以上の整数であり、ｎ＝１，…，Ｎである。Ｍ人の利用者１０１－１，…，１０１－Ｍが再生システム１を利用し、各利用者１０１－ｍは、利用者装置１１－ｍおよび音響信号出力装置１０－ｍを利用する。なお、共通装置１３－ｎおよび音響信号出力装置１４－ｎの位置や向きは固定であってもよいし、可変であってもよい。利用者１０１－ｍは、音響信号出力装置１０－ｍを装着し、音響信号出力装置１０－ｍとともに移動可能である。利用者装置１１－ｍは、利用者１０１－ｍおよび音響信号出力装置１０－ｍとともに移動可能であってもよいし、利用者１０１－ｍおよび音響信号出力装置１０－ｍから離れた位置に配置されていてもよい。利用者装置１１－ｍは、音響信号出力装置１０－ｍおよび音響信号出力装置１０－ｎと有線または無線で通信可能に構成されており、音響信号出力装置１０－ｎは音響信号出力装置１４－ｎと有線または無線で通信可能に構成されている。
　＜音響信号出力装置１０－ｍ＞
　音響信号出力装置１０－ｍは、利用者１０１－ｍ用の音響信号出力装置（特定利用者用の音響信号出力装置）である。本実施形態では、外耳道を完全に密閉せずに利用者１０１－ｍに装着され、各利用者１０１－ｍ（特定利用者）に特化した音響信号（個別音響信号）を、当該利用者１０１－ｍの外耳道に放出する音響信号出力装置１０－ｍを例示する。このような音響信号出力装置１０－ｍの例は、オープンイヤー型のイヤホン、ヘッドホン、オーディオサングラス、ヘッドマウントディスプレイ、ネックスピーカー、骨伝導スピーカー、その他のスピーカーなどである。
　＜利用者装置１１－ｍ＞
　図２に例示するように、第１実施形態の利用者装置１１－ｍは、個別情報提供部１１１－ｍ、送信部１１２－ｍ、受信部１１３－ｍ、入力部１１４－ｍ、および個別再生部１１５－ｍを有する。
　＜共通装置１３－ｎ＞
　図２に例示するように、第１実施形態の共通装置１３－ｎは、記憶部１３１－ｎ，１３３－ｎ、共通再生部１３２－ｎ、受信部１３４－ｎ、個別音選択部１３５－ｎ、および送信部１３６－ｎ（出力部）を有する。
　＜音響信号出力装置１４－ｎ＞
　音響信号出力装置１４－ｎ（共通音源）は、複数の利用者（例えば、Ｍ人の利用者１０１－１，…，１０１－Ｍ）に共通の音響信号（共通音響信号）を聴取させる装置である。音響信号出力装置１４－ｎは、利用者１０１－ｍの周囲に共通音響信号を放出するものであればどのようなものでもよい。音響信号出力装置１４－ｎの例は、スピーカーである。
　＜事前処理＞
　事前処理として、共通装置１３－ｎ（図２）の記憶部１３１－ｎには、複数の利用者（例えば、Ｍ人の利用者１０１－１，…，１０１－Ｍ）に共通（同一）の音響信号（共通音響信号）を表す共通音ＤＢ（データベース）が格納される。共通音響信号の例は、音楽、音声、効果音、環境音などの音である。また、記憶部１３３－ｎには、各利用者１０１－ｍ（特定利用者）にそれぞれ特化した音響信号（個別音響信号）を表す個別音ＤＢが格納される。個別音響信号の例は、音楽、音声、効果音、環境音などの音である。個別音響信号は、各利用者１０１－ｍ（特定利用者）に特化した内容の信号であり、例えば、各利用者１０１－ｍ（特定利用者）の属性、好み、動作、姿勢、向き、位置または状況の少なくともいずれかに応じた信号である。利用者１０１－ｍの属性は、例えば、年齢、性別、職業、国籍、母国語、習得言語、習得言語レベル、居住地、家族構成、収入、学歴、職歴、知覚・認知特性などである。利用者１０１－ｍの好みは、例えば、音楽の好み、ボーカルの好み、コンテンツ、テンポの好み、音声の好み、環境音の好み、環境音の好みなどである。利用者１０１－ｍの動作は、例えば、歩行、駆け足、回転、停止、着席、起立、発話、沈黙などである。利用者１０１－ｍの姿勢や向きは、例えば、前向き、後ろ向き、右向き、左向き、上向き、下向き、うつむき、反り返り、基準位置から仰俯角がθの向き、基準位置から方位角がσの向きなどである。利用者１０１－ｍの位置は、例えば、地理座標系の位置、基準位置に対する相対位置、他の利用者装置１１－ｍ’（ただし、ｍ’≠ｍ、ｍ’∈｛１，…，Ｍ｝）に対する相対位置などである。なお基準位置は、例えば、固定された特定位置であってもよいし、移動する特定の位置であってもよいし、いずれかの共通装置１３－ｎの位置であってもよいし、いずれか他の利用者装置１１－ｍ’（ただし、ｍ’≠ｍ、ｍ’∈｛１，…，Ｍ｝）の位置であってもよい。利用者１０１－ｍの状況は、例えば、参加中、非参加中、ログイン中、ログアウト中、遊戯中、非遊戯中、学習中、非学習中、集中状態、散漫状態、疲労状態、覚醒状態などである。個別音響信号は、例えば、それに対応する利用者１０１－ｍ、その属性、好み、動作、姿勢、向き、位置または状況などを表す登録個別情報に対応付けられている。なお、個別音ＤＢは事前処理でのみ設定されてもよいし、その後の更新処理によって更新されてもよい。
　＜処理＞
　共通装置１３－ｎ（図２）の共通再生部１３２－ｎは、記憶部１３１－ｎに格納された共通音ＤＢから共通音響信号を抽出し、当該共通音響信号を提示するための出力信号（共通音源から複数の利用者に共通音響信号を提示するための情報）を出力する（ステップＳ１３２－ｎ）。この出力信号は電気信号であり、有線または無線で音響信号出力装置１４－ｎに供給される。音響信号出力装置１４－ｎ（共通音源）は、供給された出力信号に従って、複数の利用者に対して共通音響信号を提示（出力）する。この共通音響信号は利用者装置１１－ｍの周囲に放出される。利用者１０１－ｍは、音響信号出力装置１４－ｎから提示された共通音響信号を聴取できるが、聴取できる共通音響信号の音量や音質は、利用者１０１－ｍの位置や環境に応じて異なることがある。また、利用者１０１－ｍの位置や環境に応じて、利用者１０１－ｍがいずれの音響信号出力装置１４－ｎから提示された共通音響信号も聴取できない場合もあれば、いずれか一つの音響信号出力装置１４－ｎから提示された共通音響信号のみを聴取できる場合もあれば、複数の音響信号出力装置１４－ｎ１，１４－ｎ２（ただし、ｎ１≠ｎ２、ｎ１，ｎ２∈｛１，…，Ｎ｝）から提示された共通音響信号を聴取できる場合もある（ステップＳ１４－ｎ）。
　利用者装置１１－ｍ（図２）の個別情報提供部１１１－ｍは、利用者１０１－ｍに特化した個別情報を得て出力する。個別情報は予め設定されていてもよいし、リアルタイムに入力されてもよいし、リアルタイムに取得されてもよい。個別情報の例は、利用者１０１－ｍの属性、好み、動作、姿勢、向き、位置または状況の少なくともいずれかを含む。属性、好み、動作、姿勢、向き、位置または状況の具体例は、前述した通りである。例えば、個別情報提供部１１１－ｍは、利用者１０１－ｍの動作、姿勢、向きなどを加速度情報センサやカメラやマイクロホンによって取得でき、位置を位置センサで取得でき、演算装置や生体信号センサやカメラなどで利用者１０１－ｍの状況を検出でき、個人情報が格納された演算装置などで利用者１０１－ｍの属性や好みなどを検出できる（ステップＳ１１１－ｍ）。個別情報提供部１１１－ｍから出力された利用者１０１－ｍの個別情報は、送信部１１２－ｍに送られ、送信部１１２－ｍから共通装置１３－ｎに送信される（ステップＳ１１２－ｍ）。
　共通装置１３－ｎの受信部１３４－ｎは、利用者装置１１－ｍから送信された利用者１０１－ｍの個別情報を受信し、個別音選択部１３５－ｎに送る（ステップＳ１３４－ｎ）。個別音選択部１３５－ｎは、受け取った個別情報を用いて記憶部１３３－ｎの個別音ＤＢを検索し、この個別情報に対応する登録個別情報に対応付けられた個別音響信号を抽出する。個別音選択部１３５－ｎは、共通再生部１３２－ｎと連携を行い、個別音ＤＢから抽出した個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成する。個別音選択部１３５－ｎは、個別再生制御情報を送信部１３６－ｎに送る（ステップＳ１３５－ｎ）。
　送信部１３６－ｎは個別再生制御情報を利用者装置１１－ｍに送信する。すなわち、送信部１３６－ｎ（出力部）は、共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、複数の利用者の何れかである特定利用者に特化した個別音響信号を、特定利用者用の音響信号出力装置から特定利用者に提示するための情報を出力する（ステップＳ１３６－ｎ）。
　個別再生制御情報は、利用者装置１１－ｍの受信部１１３－ｍで受信され、個別再生部１１５－ｍに送られる（ステップＳ１１３－ｍ）。個別再生部１１５－ｍは、個別再生制御情報に基づき、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、個別音選択部１３５－ｎで抽出された個別音響信号を音響信号出力装置１０－ｍで利用者１０１－ｍに提示するための個別再生信号を出力する。つまり、個別再生部１１５－ｍは、共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、複数の利用者の何れかである特定利用者に特化した個別音響信号を、特定利用者用の音響信号出力装置から特定利用者に提示するための個別再生信号を出力する。さらに、入力部１１４－ｍから予め入力された情報やリアルタイムで入力された情報に基づいて個別再生信号が補正や調整されてもよい（ステップＳ１１５－ｍ）。
　個別再生信号は音響信号出力装置１０－ｍに入力される。音響信号出力装置１０－ｍは、個別再生信号に基づいて、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、個別音選択部１３５－ｎで抽出された個別音響信号を出力する。これにより、利用者１０１－ｍは、音響信号出力装置１４－ｎから放出された共通音響信号とともに、これと同期したタイミングで、音響信号出力装置１４－ｎから放出された個別再生信号を聴取する。特に本実施形態の音響信号出力装置１０－ｍは、利用者１０１－ｍの外耳道を完全に密閉せずに装着され、共通音響信号と同期したタイミングで個別音響信号を、利用者１０１－ｍの外耳道に放出するものである。そのため、利用者１０１－ｍは、音響信号出力装置１０－ｍを装着した状態であっても、その周囲に放出された共通音響信号を聴取でき、共通音響信号と個別音響信号とを同期した状態で聴くことができる（ステップＳ１０－ｍ）。
　＜本実施形態の特徴＞
　利用者１０１－ｍは、複数の利用者に提示される共通音響信号と、各利用者１０１－ｍに特化した個別音響信号とを、同期したタイミングで聴くことができる。これにより、各利用者１０１－ｍの属性、好み、動作、姿勢、向き、位置または状況などを反映した多様性のある音響コンテンツや最適化された音響コンテンツを提供できる。
　［第１実施形態の変形例１］
　第１実施形態では、共通装置１３－ｎの記憶部１３３－ｎに各利用者１０１－ｍにそれぞれ特化した個別音響信号を表す個別音ＤＢを格納しておいた。しかし、各利用者装置１１－ｍに各利用者１０１－ｍにそれぞれ特化した個別音響信号が格納されていてもよい。この場合には、共通装置１３－ｎの記憶部１３３－ｎが省略されてもよい。この場合、ステップＳ１３５－ｎに代えて、共通装置１３－ｎの個別音選択部１３５－ｎが、共通再生部１３２－ｎと連携を行い、各利用者装置１１－ｍに格納されている個別音響信号を共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成すればよい。この個別再生制御情報は送信部１３６－ｎに送られ、送信部１３６－ｎは個別再生制御情報を利用者装置１１－ｍに送信する。個別再生制御情報は、利用者装置１１－ｍの受信部１１３－ｍで受信され、個別再生部１１５－ｍに送られる（ステップＳ１１３－ｍ）。さらに、利用者装置１１－ｍに格納された個別音響信号も個別再生部１１５－ｍに送られる。個別再生部１１５－ｍは、個別再生制御情報および個別音響信号に基づき、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、この個別音響信号を音響信号出力装置１０－ｍで利用者１０１－ｍに提示するための個別再生信号を出力する。個別再生制御情報は、個別再生部１１５－ｍに送られる。以降は第１実施形態のステップＳ１１５－ｍ，Ｓ１０－ｍと同じである。
　［第１実施形態の変形例２］
　また、各利用者装置１１－ｍに各利用者１０１－ｍにそれぞれ特化した個別音響信号が格納されている場合、利用者装置１１－ｍに個別音選択部が設けられてもよい。この場合、利用者装置１１－ｍの個別音選択部が、利用者装置１１－ｍに格納された個別音響信号から個別情報提供部１１１－ｍで得られた個別情報（例えば、動作、姿勢、向き、位置または状況など）に適した個別音響信号を選択し、個別再生部１１５－ｍに送る。個別再生部１１５－ｍは、個別再生制御情報および個別音響信号に基づき、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、この個別音響信号を音響信号出力装置１０－ｍで利用者１０１－ｍに提示するための個別再生信号を出力する。以降は第１実施形態のステップＳ１０－ｍと同じである。このような構成の場合、共通装置１３－ｎから個別音選択部１３５－ｎが省略されてもよい。
　［第１実施形態の変形例３］
　また、利用者１０１－ｍの周辺音がマイクロホンなどの音響信号センサで収音され、その周辺音の情報が個別再生部１１５－ｍに入力され、個別再生部１１５－ｍが、この周辺音の情報を用いて個別音響信号の再生タイミングを最適化してもよい。
　［第２実施形態］
　複数の利用者に提示される共通音響信号とともに、各利用者１０１－ｍに特化したタイミングで個別音響信号を利用者１０１－ｍに提示したり、各利用者１０１－ｍに特化した音響信号処理が施された個別音響信号を利用者１０１－ｍに提示したりしてもよい。以下では、第１実施形態との相違点を中心に説明し、既に説明した事項については同じ参照番号を用いて説明を簡略化する。
　＜全体構成＞
　図１に例示するように、第２実施形態の再生システム２は、Ｍ個の利用者装置２１－１，…，２１－Ｍ、Ｍセットの音響信号出力装置１０－１，…，１０－Ｍ、Ｎ個の共通装置２３－１，…，２３－Ｎ、およびＮ個の音響信号出力装置１４－１，…，１４－Ｎを有する。Ｍ人の利用者１０１－１，…，１０１－Ｍが再生システム２を利用し、各利用者１０１－ｍは、利用者装置２１－ｍおよび音響信号出力装置１０－ｍを利用する。なお、共通装置２３－ｎおよび音響信号出力装置１４－ｎの位置や向きは固定であってもよいし、可変であってもよい。利用者１０１－ｍは、音響信号出力装置１０－ｍを装着し、音響信号出力装置１０－ｍとともに移動可能である。利用者装置２１－ｍは、利用者１０１－ｍおよび音響信号出力装置１０－ｍとともに移動可能であってもよいし、利用者１０１－ｍおよび音響信号出力装置１０－ｍから離れた位置に配置されていてもよい。
　＜利用者装置２１－ｍ＞
　図２に例示するように、第２実施形態の利用者装置２１－ｍは、個別情報提供部１１１－ｍ、送信部１１２－ｍ、受信部２１３－ｍ、入力部１１４－ｍ、個別再生部１１５－ｍ、および音響信号処理部２１６－ｍを有する。
　＜共通装置２３－ｎ＞
　図２に例示するように、第２実施形態の共通装置２３－ｎは、記憶部１３１－ｎ，１３３－ｎ、共通再生部１３２－ｎ、受信部２３４－ｎ、個別音選択部１３５－ｎ、送信部２３６－ｎ（出力部）、および個別制御決定部２３７－ｎを有する。
　＜事前処理＞
　第１実施形態と同じである。
　＜処理＞
　共通装置１３－ｎに代えて共通装置２３－ｎがステップＳ１３２－ｎの処理を実行し、音響信号出力装置１４－ｎがステップＳ１４－ｎの処理を実行する。利用者装置１１－ｍに代えて利用者装置２１－ｍが、ステップＳ１１１－ｍ，Ｓ１１２－ｍの処理を実行する。
　共通装置２３－ｎの受信部２３４－ｎは、利用者装置２１－ｍから送信された利用者１０１－ｍの個別情報を受信し、個別音選択部１３５－ｎおよび個別制御決定部２３７－ｎに送る（ステップＳ１３４－ｎ）。個別音選択部１３５－ｎは、受け取った個別情報を用いて記憶部１３３－ｎの個別音ＤＢを検索し、この個別情報に対応する登録個別情報に対応付けられた個別音響信号を抽出する。個別音選択部１３５－ｎは、共通再生部１３２－ｎと連携を行い、個別音ＤＢから抽出した個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成する。個別音選択部１３５－ｎは、個別再生制御情報を送信部１３６－ｎに送る（ステップＳ１３５－ｎ）。
　さらに、個別制御決定部２３７－ｎは、受け取った個別情報を用い、利用者装置２１－ｍ（特定利用者）に特化した信号処理を制御するための個別制御情報を得る。利用者装置２１－ｍに特化した信号処理の例は、利用者装置２１－ｍ（特定利用者）に特化したタイミングで共通音響信号に同期して個別音響信号を再生させるための処理である。例えば、利用者１０１－ｍの属性（例えば、年齢、国籍、母国語、習得言語、習得言語レベル、知覚・認知特性など）、好み（例えば、音楽の好み、テンポの好みなど）、動作（例えば、歩行、駆け足、停止など）、姿勢や向き、位置（例えば、音響信号出力装置１４－ｎからの相対位置など）、状況（例えば、集中状態、散漫状態、疲労状態、覚醒状態など）に応じ、共通音響信号に対する個別音響信号の最適な再生タイミングが異なる場合がある。このような場合、個別制御決定部２３７－ｎは、受け取った個別情報に従い、共通音響信号に対する個別音響信号の最適な再生タイミングを特定し、そのように利用者装置２１－ｍ（特定利用者）に特化したタイミングで共通音響信号に同期して個別音響信号を再生させるため個別制御情報を得てもよい。利用者装置２１－ｍに特化した信号処理の他の例は、利用者装置２１－ｍ（特定利用者）に特化した音響信号処理である。例えば、利用者１０１－ｍの属性（例えば、年齢、国籍、母国語、習得言語、習得言語レベル、知覚・認知特性など）、好み（例えば、音楽の好み、テンポの好みなど）、動作（例えば、歩行、駆け足、停止など）、姿勢や向き、位置（例えば、音響信号出力装置１４－ｎからの相対位置など）、状況（例えば、集中状態、散漫状態、疲労状態、覚醒状態など）に応じ、個別音響信号に最適な音響信号処理が異なる場合がある。例えば、音響信号処理が個別音響信号に頭部伝達関数（HRTF）や頭部インパルス応答（HRIR）を畳み込む処理である場合、利用者１０１－ｍの姿勢や向きや位置によって適切な臨場感・距離感・方向感などを再現する頭部伝達関数や頭部インパルス応答が異なる場合がある。また、音響信号処理が個別音響信号に対するパンニング(panning)や音量調整などである場合、利用者１０１－ｍの姿勢や向きや位置によって適切な臨場感・距離感・方向感などを再現できる音像定位や音量は異なる場合がある。例えば、音響信号処理が個別音響信号にローパスフィルタ、ハイパスフィルタ、バンドパスフィルタなどを作用させる理である場合、利用者１０１－ｍの知覚・認知特性などの属性、音楽の好みなどの好み、集中状態、散漫状態、疲労状態、覚醒状態などの状態によって、最適な通過帯域や減衰帯域が異なる場合もある。このような場合、個別制御決定部２３７－ｎは、受け取った個別情報に従い、特定利用者に特化した音響信号処理を行うための個別制御情報を得てもよい。個別制御決定部２３７－ｎは、上述のような個別制御情報を送信部１３６－ｎに送る（ステップＳ２３７－ｎ）。
　送信部２３６－ｎは、上述の個別再生制御情報および個別制御情報を利用者装置２１－ｍに送信する。すなわち、送信部２３６－ｎ（出力部）は、共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、複数の利用者の何れかである特定利用者に特化した個別音響信号を、特定利用者用の音響信号出力装置から特定利用者に提示するための情報を出力する（ステップＳ２３６－ｎ）。
　個別再生制御情報および個別制御情報は、利用者装置２１－ｍの受信部２１３－ｍで受信され、音響信号処理部２１６－ｍに送られる（ステップＳ２１３－ｍ）。
　音響信号処理部２１６－ｍは、個別再生制御情報が表す個別音響信号を個別制御情報に基づいて信号処理し、信号処理後の個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力する。例えば、音響信号処理部２１６－ｍは、利用者装置２１－ｍに特化したタイミングで共通音響信号に同期して個別音響信号を再生させるための処理を行い、それによって得られた利用者装置２１－ｍに特化したタイミングで共通音響信号に同期して個別音響信号を再生させるための新たな個別再生制御情報を生成して出力してもよい。例えば、音響信号処理部２１６－ｍは、利用者装置２１－ｍに特化した音響信号処理を個別音響信号に施し、それによって得られた個別音響信号を、前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力してもよい。例えば、音響信号処理部２１６－ｍは、利用者装置２１－ｍに特化した音響信号処理を個別音響信号に施し、それによって得られた個別音響信号を、利用者装置２１－ｍに特化したタイミングで前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力してもよい。さらに、入力部１１４－ｍから予め入力された情報やリアルタイムで入力された情報に基づいて新たな個別再生制御情報が補正や調整されてもよい。新たな個別再生制御情報は、個別再生部１１５－ｍに送られる（ステップＳ２１６－ｍ）。
　個別再生部１１５－ｍは、新たな個別再生制御情報に基づき、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、個別音響信号を音響信号出力装置１０－ｍで利用者１０１－ｍに提示するための個別再生信号を出力する。個別再生信号は、新たな個別再生制御情報に基づく、特定利用者に特化した内容の信号である。例えば、本実施形態の個別再生信号は、利用者装置２１－ｍ（特定利用者）に特化したタイミングで共通音響信号に同期して再生される信号を含んでもよいし、利用者装置２１－ｍ（特定利用者）に特化した音響信号処理が施された信号を含んでもよい。さらに、入力部１１４－ｍから予め入力された情報やリアルタイムで入力された情報に基づいて個別再生信号が補正や調整されてもよい（ステップＳ１１５－ｍ）。
　個別再生信号は音響信号出力装置１０－ｍに入力される。音響信号出力装置１０－ｍは、この個別再生信号に基づき、音響信号出力装置１４－ｎから出力される共通音響信号と同期したタイミングで、個別音響信号を音響信号出力装置１０－ｍで利用者１０１－ｍに提示する。本実施形態では、例えば、個別音響信号が利用者装置２１－ｍに特化したタイミングで共通音響信号に同期して再生されたり、利用者装置２１－ｍに特化した音響信号処理が施された個別音響信号が共通音響信号と同期したタイミングで再生されたり、利用者装置２１－ｍに特化した音響信号処理が施された個別音響信号が利用者装置２１－ｍに特化したタイミングで共通音響信号に同期して再生されたりする（ステップＳ１０－ｍ）。
　＜本実施形態の特徴＞
　利用者１０１－ｍは、複数の利用者に提示される共通音響信号と、各利用者１０１－ｍに特化した個別音響信号とを、同期したタイミングで聴くことができる。これにより、各利用者１０１－ｍの属性、好み、動作、姿勢、向き、位置または状況などを反映した多様性のある音響コンテンツや最適化された音響コンテンツを提供できる。さらに本実施形態では、各利用者１０１－ｍに特化したタイミングや音響信号処理を行うこともでき、各利用者１０１－ｍに臨場感・距離感・方向感などがさらに最適化された音響コンテンツを提供できる。
　［第２実施形態の変形例１］
　第２実施形態では、共通装置２３－ｎの記憶部１３３－ｎに各利用者１０１－ｍにそれぞれ特化した個別音響信号を表す個別音ＤＢを格納しておいた。しかし、各利用者装置２１－ｍに各利用者１０１－ｍにそれぞれ特化した個別音響信号が格納されていてもよい。この場合には、共通装置２３－ｎの記憶部１３３－ｎが省略されてもよい。この場合、ステップＳ１３５－ｎに代えて、共通装置２３－ｎの個別音選択部１３５－ｎが、共通再生部１３２－ｎと連携を行い、各利用者装置２１－ｍに格納されている個別音響信号を共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成すればよい。この個別再生制御情報は送信部１３６－ｎに送られ、送信部１３６－ｎは個別再生制御情報を利用者装置２１－ｍに送信する。個別再生制御情報は、利用者装置２１－ｍの受信部１１３－ｍで受信され、音響信号処理部２１６－ｍに送られる。さらに、利用者装置２１－ｍに格納された個別音響信号も音響信号処理部２１６－ｍに送られる。音響信号処理部２１６－ｍは、この個別音響信号を個別制御情報に基づいて信号処理し、信号処理後の個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力する。新たな個別再生制御情報は、個別再生部１１５－ｍに送られる。以降は第２実施形態のステップＳ１１５－ｍ，Ｓ１０－ｍと同じである。
　［第２実施形態の変形例２］
　また、各利用者装置２１－ｍに各利用者１０１－ｍにそれぞれ特化した個別音響信号が格納されている場合、利用者装置２１－ｍに個別音選択部が設けられてもよい。この場合、利用者装置２１－ｍの個別音選択部が、利用者装置２１－ｍに格納された個別音響信号から、個別情報提供部１１１－ｍで得られた個別情報（例えば、動作、姿勢、向き、位置または状況など）に適した個別音響信号を選択し、選択した個別音響信号を音響信号処理部２１６－ｍに送る。音響信号処理部２１６－ｍは、この個別音響信号を個別制御情報に基づいて信号処理し、信号処理後の個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力する。このような構成の場合、共通装置２３－ｎから個別音選択部１３５－ｎが省略されてもよい。
　［第２実施形態の変形例３］
　また、利用者１０１－ｍの周辺音がマイクロホンなどの音響信号センサで収音され、その周辺音の情報が音響信号処理部２１６－ｍに入力され、音響信号処理部２１６－ｍが、この周辺音の情報を用いて個別音響信号の再生タイミングを最適化してもよい。
　［第２実施形態の変形例４］
　第２実施形態では、共通装置２３－ｎに個別制御決定部２３７－ｎが設けられた。しかし、個別制御決定部２３７－ｎの機能が利用者装置２１－ｍの音響信号処理部２１６－ｍに含まれてもよい。音響信号処理部２１６－ｍは、個別情報提供部１１１－ｍで得られた個別情報（例えば、動作、姿勢、向き、位置または状況など）に基づいて個別音響信号をて信号処理し、信号処理後の個別音響信号を前述の共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための新たな個別再生制御情報を生成して出力すればよい。その他は第２実施形態で説明した通りである。
　［第２実施形態の変形例５］
　第２実施形態では、個別音響信号が利用者装置２１－ｍ（特定利用者）に特化した内容の信号であった。しかしながら、すべての利用者１０１－１，…，１０１－Ｍに共通の個別音響信号が、各利用者装置２１－ｍ（特定利用者）に特化したタイミングで共通音響信号に同期して再生されてもよい。あるいは、すべての利用者１０１－１，…，１０１－Ｍに共通の個別音響信号に対し、各利用者装置２１－ｍ（特定利用者）に特化した音響信号処理が施され、それによって得られた新たな個別音響信号が共通音響信号に同期したタイミングで再生されてもよい。あるいは、すべての利用者１０１－１，…，１０１－Ｍに共通の個別音響信号に対し、各利用者装置２１－ｍ（特定利用者）に特化した音響信号処理が施され、それによって得られた新たな個別音響信号が、各利用者装置２１－ｍ（特定利用者）に特化したタイミングで共通音響信号に同期して再生されてもよい。このような場合、第２実施形態のステップＳ１３５－ｎに変えて、個別音選択部１３５－ｎがすべての利用者１０１－１，…，１０１－Ｍに共通の個別音響信号を共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成し、送信部１３６－ｎに送ればよい。
［音響信号出力装置１０－ｍの一例］
　上述の各実施形態の音響信号出力装置１０－ｍの一例を示す。この例の音響信号出力装置１０－ｍは、外部への音漏れを抑制する機能を備えており、各実施形態やその変形例で説明したように利用者装置２１－ｍごとに特化した音響信号を利用者装置２１－ｍのみに再生する用途に特に適している。
　図３、図４Ａ－図４Ｃおよび図５Ａ－図５Ｃに、この音響信号出力装置１０－ｍの一例を示す。以下では簡略化のために、音響信号出力装置１０－ｍの個々を区別せずに音響信号出力装置１０と表記する。同様に、利用者１０１－ｍ、利用者装置１１－ｍおよび個別再生部１１５－ｍも、利用者１０１、利用者装置１１および個別再生部１１５と表記する。
　図３、図４Ａ－図４Ｃおよび図５Ａ－図５Ｃに例示するように、この例の音響信号出力装置１０は、利用者装置１１の個別再生部１１５から出力された個別再生信号を音響信号に変換して出力するドライバーユニット１０１１と、ドライバーユニット１０１１を内部に収容している筐体１０１２とを有する。
　＜ドライバーユニット１０１１＞
　ドライバーユニット（スピーカードライバーユニット）１０１１は、入力された個別再生信号に基づく音響信号ＡＣ１（第１音響信号）を一方側（Ｄ１方向側）へ放出（放音）し、音響信号ＡＣ１の逆位相信号（位相反転信号）または逆位相信号の近似信号である音響信号ＡＣ２（第２音響信号）を他方側（Ｄ２方向側）に放出する装置（スピーカー機能を持つ装置）である。すなわち、ドライバーユニット１０１１から一方側（Ｄ１方向側）へ放出される音響信号を音響信号ＡＣ１（第１音響信号）と呼び、ドライバーユニット１０１１から他方側（Ｄ２方向側）に放出される音響信号を音響信号ＡＣ２（第２音響信号）と呼ぶことにする。例えば、ドライバーユニット１０１１は、振動によって一方の面１０１１３ａから音響信号ＡＣ１をＤ１方向側に放出し、この振動によって他方の面１０１１３ｂから音響信号ＡＣ２をＤ２方向側に放出する振動板１０１１３を含む（図４Ｂ）。この例のドライバーユニット１０１１は、入力された個別再生信号に基づいて振動板１０１１３が振動することで、音響信号ＡＣ１を一方側の面１０１１１からＤ１方向側へ放出し、音響信号ＡＣ１の逆位相信号または逆位相信号の近似信号である音響信号ＡＣ２を他方側の側１０１１２からＤ２方向側へ放出する。すなわち、音響信号ＡＣ２は、音響信号ＡＣ１の放出に伴って副次的に放出されるものである。なお、Ｄ２方向（他方側）は、例えばＤ１方向（一方側）の逆方向であるが、Ｄ２方向が厳密にＤ１方向の逆方向である必要はなく、Ｄ２方向がＤ１方向と異なっていればよい。一方側（Ｄ１方向）と他方側（Ｄ２方向）との関係は、ドライバーユニット１０１１の方式や形状に依存する。また、ドライバーユニット１０１１の方式や形状によって、音響信号ＡＣ２が厳密に音響信号ＡＣ１の逆位相信号となる場合もあれば、音響信号ＡＣ２が音響信号ＡＣ１の逆位相信号の近似信号となる場合がある。例えば、音響信号ＡＣ１の逆位相信号の近似信号は、(1)音響信号ＡＣ１の逆位相信号の位相をシフトして得られる信号であってもよいし、(2)音響信号ＡＣ１の逆位相信号の振幅を変化（増幅または減衰）させて得られる信号であってもよいし、(3)音響信号ＡＣ１の逆位相信号の位相をシフトし、さらに振幅を変化させて得られる信号であってもよい。音響信号ＡＣ１の逆位相信号とその近似信号との位相差は、音響信号ＡＣ１の逆位相信号の一周期のδ１％以下であることが望ましい。δ１％の例は１％，３％，５％，１０％，２０％などである。また、音響信号ＡＣ１の逆位相信号の振幅とその近似信号の振幅との差分は、音響信号ＡＣ１の逆位相信号の振幅のδ2％以下であることが望ましい。δ2％の例は１％，３％，５％，１０％，２０％などである。なお、ドライバーユニット１０１１の方式としては、ダイナミック型、バランスドアーマチェア型、ダイナミック型とバランスドアーマチュア型のハイブリッド型、コンデンサー型などを例示できる。また、ドライバーユニット１０１１や振動板１０１１３の形状に限定はない。この例では、説明の簡略化のため、ドライバーユニット１０１１の外形が両端面を持つ略円筒形状であり、振動板１０１１３が略円盤形状である例を示すが、これは本発明を限定するものではない。例えば、ドライバーユニット１０１１の外形が直方体形状などであってもよいし、振動板１０１１３がドーム形状などであってもよい。
　＜筐体１０１２＞
　筐体１０１２は、外側に壁部を持つ中空の部材であり、内部にドライバーユニット１０１１を収納している。例えば、ドライバーユニット１０１１は、筐体１０１２内部のＤ１方向側の端部に固定されている。しかし、これは本発明を限定するものではない。筐体１０１２の形状にも限定はないが、例えば、筐体１０１２の形状が、Ｄ１方向に沿って伸びる軸線Ａ１を中心とした回転対称（線対称）または略回転対称であることが望ましい。これにより、筐体１０１２から放出される音のエネルギーの方向ごとのばらつきが小さくなるように音孔１０１２３ａ（詳細は後述）を設けることが容易となる。その結果、各方向に均一に音漏れを軽減することが容易になる。例えば、筐体１０１２は、ドライバーユニット１０１１の一方側（Ｄ１方向側）に配置された壁部１０１２１である第１端面と、ドライバーユニット１０１１の他方側（Ｄ２方向側）に配置された壁部１０１２２である第２端面と、第１端面と第２端面とで挟まれた空間を、第１端面と第２端面とを通る軸線Ａ１を中心に取り囲む壁部１０１２３である側面とを有する（図４Ｂ，図５Ｂ）。この例では、説明の簡略化のため、筐体１０１２が両端面を持つ略円筒形状である例を示す。例えば、壁部１０１２１と壁部１０１２２との間隔が１０ｍｍであり、壁部１０１２１，１０１２２が半径１０ｍｍの円形である。しかし、これらは一例であって本発明を限定するものではない。例えば、筐体１０１２が、端部に壁部を持つ略ドーム型形状であってもよいし、中空の略立方体形状であってもよい、その他の立体形状であってもよい。また、筐体１０１２を構成する材質にも限定はない。筐体１０１２が合成樹脂や金属などの剛体によって構成されていてもよいし、ゴムなどの弾性体によって構成されていてもよい。
　＜音孔１０１２１ａ，１０１２３ａ＞
　筐体１０１２の壁部には、ドライバーユニット１０１１から放出された音響信号ＡＣ１（第１音響信号）を外部に導出する音孔１０１２１ａ（第１音孔）と、ドライバーユニット１０１１から放出された音響信号ＡＣ２（第２音響信号）を外部に導出する音孔１０１２３ａ（第２音孔）とが設けられている。音孔１０１２１ａおよび音孔１０１２３ａは、例えば、筐体１０１２の壁部を貫通する貫通孔であるが、これは本発明を限定するものではない。音響信号ＡＣ１および音響信号ＡＣ２をそれぞれ外部に導出できるのであれば、音孔１０１２１ａおよび音孔１０１２３ａが貫通孔でなくてもよい。
　音孔１０１２１ａから放出された音響信号ＡＣ１は利用者１０１の外耳道に届き、利用者１０１に聴取される。一方、音孔１０１２３ａからは、音響信号ＡＣ１の逆位相信号または逆位相信号の近似信号である音響信号ＡＣ２が放出される。この音響信号ＡＣ２の一部は、音孔１０１２１ａから放出された音響信号ＡＣ１の一部（音漏れ成分）を相殺する。すなわち、音孔１０１２１ａ（第１音孔）から音響信号ＡＣ１（第１音響信号）が放出され、音孔１０１２３ａ（第２音孔）から音響信号ＡＣ２（第２音響信号）が放出されることで、位置Ｐ１（第１地点）を基準とした位置Ｐ２（第２地点）での音響信号ＡＣ１（第１音響信号）の減衰率η１１を予め定めた値ηｔｈ以下とすることができたり、位置Ｐ１（第１地点）を基準とした位置Ｐ２（第２地点）での音響信号ＡＣ１（第１音響信号）の減衰量η１２を予め定めた値ωｔｈ以上とできたりする。ここで、位置Ｐ１（第１地点）は、音孔１０１２１ａ（第１音孔）から放出された音響信号ＡＣ１（第１音響信号）が到達する予め定められた地点である。一方、位置Ｐ２（第２地点）は、音響信号出力装置１０からの距離が位置Ｐ１（第１地点）よりも遠い予め定められた地点である。予め定めた値ηｔｈは、位置Ｐ１（第１地点）を基準とした位置Ｐ２（第２地点）での任意または特定の音響信号（音）の空気伝搬による減衰率η２１よりも小さい値（低い値）である。また、予め定めた値ωｔｈは、位置Ｐ１（第１地点）を基準とした位置Ｐ２（第２地点）での任意または特定の音響信号（音）の空気伝搬による減衰量η２２よりも大きい値である。すなわち、この例の音響信号出力装置１０は、減衰率η１１が、減衰率η２１よりも小さい予め定めた値ηｔｈ以下となるように設計されているか、または、減衰量η１２が、減衰量η２２よりも大きい予め定めた値ωｔｈ以上となるように設計されている。なお、音響信号ＡＣ１は位置Ｐ１から位置Ｐ２まで空気伝搬され、この空気伝搬と音響信号ＡＣ２とに起因して減衰する。減衰率η１１は、位置Ｐ１での音響信号ＡＣ１の大きさＡＭＰ１（ＡＣ１）に対する、空気伝搬と音響信号ＡＣ２とに起因して減衰した位置Ｐ２での音響信号ＡＣ１の大きさＡＭＰ２（ＡＣ１）の比率（ＡＭＰ２（ＡＣ１）／ＡＭＰ１（ＡＣ１））である。また、減衰量η１２は、大きさＡＭＰ１（ＡＣ１）と大きさＡＭＰ２（ＡＣ１）との差分（｜ＡＭＰ１（ＡＣ１）－ＡＭＰ２（ＡＣ１）｜）である。一方、音響信号ＡＣ２を想定しない場合、位置Ｐ１から位置Ｐ２まで空気伝搬される任意または特定の音響信号ＡＣａｒは、音響信号ＡＣ２に起因することなく、空気伝搬に起因して減衰する。減衰率η２１は、位置Ｐ１での音響信号ＡＣａｒの大きさＡＭＰ１（ＡＣａｒ）に対する、空気伝搬に起因して減衰（音響信号ＡＣ２に起因することなく減衰）した位置Ｐ２での音響信号ＡＣａｒの大きさＡＭＰ２（ＡＣａｒ）の比率（ＡＭＰ２（ＡＣａｒ）／ＡＭＰ１（ＡＣａｒ））である。また、減衰量η２２は、大きさＡＭＰ１（ＡＣａｒ）と大きさＡＭＰ２（ＡＣａｒ）との差分（｜ＡＭＰ１（ＡＣａｒ）－ＡＭＰ２（ＡＣａｒ）｜）である。なお、音響信号の大きさの例は、音響信号の音圧または音響信号のエネルギーなどである。また「音漏れ成分」とは、例えば、音孔１０１２１ａから放出された音響信号ＡＣ１のうち、音響信号出力装置１０を装着した利用者１０１以外の領域（例えば、音響信号出力装置１０を装着した利用者１０１以外のヒト）に到来する可能性が高い成分を意味する。例えば、「音漏れ成分」は、音響信号ＡＣ１のうち、Ｄ１方向以外の方向に伝搬する成分を意味する。例えば、音孔１０１２１ａからは主に音響信号ＡＣ１の直接波が放出され、第２音孔からは主に第２音響信号の直接波が放出される。音孔１０１２１ａから放出された音響信号ＡＣ１の直接波の一部（音漏れ成分）は、音孔１０１２３ａから放出された音響信号ＡＣ２の直接波の少なくとも一部と干渉することで相殺される。ただし、これは本発明を限定するものではなく、この相殺は直接波以外でも生じ得る。すなわち、音孔１０１２１ａから放出された音響信号ＡＣ１の直接波および反射波の少なくとも一方である音漏れ成分が、音孔１０１２３ａから放出された音響信号ＡＣ２の直接波および反射波の少なくとも一方によって相殺されることがある。これにより、音漏れを抑制できる。
　［利用者装置および共通装置のハードウェア構成］
　各実施形態における利用者装置１１－ｍ，２１－ｍおよび共通装置１３－ｎ，２３－ｎは、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における利用者装置１１－ｍ，２１－ｍおよび共通装置１３－ｎ，２３－ｎは、例えば、それぞれが有する各部を実装するように構成された処理回路（processing circuitry）を有する。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　図６は、各実施形態における利用者装置１１－ｍ，２１－ｍおよび共通装置１３－ｎ，２３－ｎのハードウェア構成を例示したブロック図である。図６に例示するように、この例の利用者装置１１－ｍ，２１－ｍおよび共通装置１３－ｎ，２３－ｎは、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ、通信部１０ｈおよびバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂおよびレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ等である。通信部１０ｈは、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａおよび各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａおよび各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ、通信部１０ｈおよび補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、利用者装置１１－ｍ，２１－ｍおよび共通装置１３－ｎ，２３－ｎの機能構成が実現される。
　上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　［その他の変形例］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各実施形態や変形例では、外耳道を完全に密閉せずに利用者１０１－ｍに装着され、各利用者１０１－ｍに特化した音響信号を、当該利用者１０１－ｍの外耳道に放出する音響信号出力装置１０－ｍを例示した。このような外耳道を完全に密閉しない音響信号出力装置１０－ｍは、複数の利用者に提示される共通音響信号と、各利用者１０１－ｍに特化した個別音響信号とを、同期したタイミングで聴く用途に適している。しかし、耳道を完全に密閉しない音響信号出力装置１０－ｍに代え、外部に放出されている共通音響信号を取り込み、個別音響信号とともに利用者１０１－ｍに提示できる音響信号出力装置が用いられてもよい。
　また、上述の各実施形態や変形例では、共通音響信号が音響信号出力装置１４－ｎから再生された。しかし、共通音響信号が環境音、自然音、ライブ音、発話音などの周辺音であってもよい。このような場合、周辺音がマイクロホンなどの音響信号センサで収音され、共通装置１３－ｎ，２３－ｎに送られ、共通装置１３－ｎ，２３－ｎの個別音選択部１３５－ｎが、個別音響信号を周辺音である共通音響信号と同期したタイミングで、音響信号出力装置１０－ｍから提示するための個別再生制御情報を生成してもよい。
　また、個別音響信号が、利用者１０１－ｍ（特定利用者）と、利用者１０１－１，…，１０１－Ｍ（複数の利用者）に含まれる利用者１０１－ｍ以外の利用者１０１－ｍ’（ただし、ｍ’∈｛１，…，Ｍ｝、ｍ’≠ｍ）との関係に応じた信号であってもよい。例えば、利用者１０１－ｍと他の利用者１０１－ｍ’との距離に応じて利用者１０１－ｍに提示される個別音響信号が異なってもよいし、利用者１０１－ｍが存在する単位領域内に存在する他の利用者１０１－ｍ’の人数に応じて利用者１０１－ｍに提示される個別音響信号が異なってもよい。あるいは、利用者１０１－ｍから所定の距離内に存在する他の利用者１０１－ｍ’と利用者１０１－ｍとが事前に登録した関係（例えば、知人であるなど）にある場合に、それ以外の場合と異なる個別音響信号が利用者１０１－ｍに提示されてもよい。このような利用者１０１－ｍと他の利用者１０１－ｍ’との関係は、個別情報提供部１１１－ｍによってリアルタイムに取得されてもよいし、個別情報提供部１１１－ｍに事前に設定されていてもよいし、個別情報提供部１１１－ｍにリアルタイムに入力されてもよい。
　また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　本発明は、例えば、美術館などでの作品の音声解説や音楽再生、映画・ビデオゲーム・遊園地のホラーアトラクション・仮想空間などでの音声や音楽再生、コンサート・ライブなどでの臨場感を増すための音の付加、ビジネス・映画・観光などでの同時通訳音声の再生などに利用できる。
　例えば、美術館や映画での利用の場合、共通音響信号としてオリジナルの解説音声や解説員による現地の言語での説明音声が再生される状況を想定する。このような場合、利用者が共通音響信号で再生される音声の言語を習得していなければ、その内容を理解することはできない。ここで個別音響信号として、利用者の国籍・使用言語・言語レベルに応じた吹替音声を利用者ごとに個別に再生することが考えられる。例えば、以下のような使用が考えられる。
　会場：共通音響信号として英語の音声解説が流れている。
　Ａさん：Ａさんは英語が全く分からないので、全ての音声解説についてＡさんのネイティブ言語の吹替音声をＡさんの個別音響信号として再生する。
　Ｂさん：Ｂさんは簡単な英語を理解できるため、Ｂさんの聞き取りが難しい部分にのみについてＡさんのネイティブ言語の吹替音声をＡさんの個別音響信号として再生する。
　このような例では、母国語、習得言語、習得言語レベルなどの属性が個別情報に含まれる。
　また、利用者の現在の位置情報に応じて、個別音響信号である音声や効果音の種類や信号処理が異なってもよい。さらに、個別音響信号として、利用者の好みに応じた音楽が再生されてもよい。
　コンサート・ライブなどでの利用の場合、共通音響信号としてライブ会場での生演奏が利用者に聴取され、利用者ごとに最適化された再生音が個別音響信号として再生されてもよい。この例では、利用者全員に会場の生演奏が聞こえている。しかし、例えば、生演奏にはボーカルの声は含まれていない。この場合、予め設定された利用者の好みに応じて異なるボーカル音を個別音響信号として再生してもよい。あるいは、個別音響信号としてすべてに利用者に同じボーカル音を再生するが、音響信号処理部で各利用者の現在位置に応じた頭部伝達関数や頭部インパルス応答を畳み込んで再生することで、すべての利用者に対し、あたかも生演奏の方向からボーカル音が聞えてくるように感じさせることができる。あるいは、個別音響信号としてすべてに利用者に同じボーカル音を再生するが、各利用者が特定の区間にいるときにのみボーカル音が再生されるようにすることもできる。このような設定はリアルタイムに変更可能であってもよい。
１，２　再生システム
１０－ｍ，１４－ｍ　音響信号出力装置
１１－ｍ，２１－ｍ　利用者装置
１３－ｎ，２３－ｎ　共通装置
１０１－ｍ　利用者

Claims (8)

  1. 　共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、前記複数の利用者の何れかである特定利用者に特化した個別音響信号を、前記特定利用者用の音響信号出力装置から前記特定利用者に提示するための個別再生信号を出力する個別再生部
    を有する利用者装置。
  2. 　請求項１の利用者装置であって、
    　前記共通音源は、前記特定利用者の周囲に前記共通音響信号を放出し、
    　前記音響信号出力装置は、前記特定利用者の外耳道を完全に密閉することなく前記特定利用者に装着され、前記個別音響信号を前記特定利用者の外耳道に放出する、利用者装置。
  3. 　請求項１の利用者装置であって、
    　前記個別音響信号は、前記特定利用者の属性、好み、動作、姿勢、向き、状況、または前記特定利用者と前記複数の利用者に含まれる前記特定利用者以外の利用者との関係の少なくともいずれかに応じた信号である、利用者装置。
  4. 　請求項１の利用者装置であって、
    　前記個別音響信号は、前記特定利用者に特化した内容の信号、前記特定利用者に特化したタイミングで前記共通音響信号に同期して再生される信号、または前記特定利用者に特化した音響信号処理が施された信号の少なくともいずれかを含む、利用者装置。
  5. 　共通音源から複数の利用者に共通音響信号を提示するための情報を出力する共通再生部と、
    　前記共通音響信号と同期したタイミングで、前記複数の利用者の何れかである特定利用者に特化した個別音響信号を、前記特定利用者用の音響信号出力装置から前記特定利用者に提示するための情報を出力する出力部と、
    を有する共通装置。
  6. 　利用者装置による方法であって、
    　共通音源から複数の利用者に提示される共通音響信号と同期したタイミングで、前記複数の利用者の何れかである特定利用者に特化した個別音響信号を、前記特定利用者用の音響信号出力装置から前記特定利用者に提示するための個別再生信号を出力する個別再生ステップ
    を有する方法。
  7. 　共通装置による方法であって、
    　共通音源から複数の利用者に共通音響信号を提示するための情報を出力する共通再生ステップと、
    　前記共通音響信号と同期したタイミングで、前記複数の利用者の何れかである特定利用者に特化した個別音響信号を、前記特定利用者用の音響信号出力装置から前記特定利用者に提示するための情報を出力する出力ステップと、
    を有する方法。
  8. 　請求項１の利用者装置または請求項４の共通装置としてコンピュータを機能させるためのプログラム。
PCT/JP2022/026205 2022-06-30 2022-06-30 利用者装置、共通装置、それらによる方法、およびプログラム WO2024004130A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026205 WO2024004130A1 (ja) 2022-06-30 2022-06-30 利用者装置、共通装置、それらによる方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026205 WO2024004130A1 (ja) 2022-06-30 2022-06-30 利用者装置、共通装置、それらによる方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2024004130A1 true WO2024004130A1 (ja) 2024-01-04

Family

ID=89382490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026205 WO2024004130A1 (ja) 2022-06-30 2022-06-30 利用者装置、共通装置、それらによる方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2024004130A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018079A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 字幕音声生成装置
WO2022004421A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、出力制御方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018079A (ja) * 2013-07-10 2015-01-29 船井電機株式会社 字幕音声生成装置
WO2022004421A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、出力制御方法、およびプログラム

Similar Documents

Publication Publication Date Title
US10979845B1 (en) Audio augmentation using environmental data
JP2023158059A (ja) 双方向オーディオ環境のための空間オーディオ
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
CN105325014A (zh) 基于用户跟踪的声场调节
EP3871075A1 (en) Natural language translation in ar
US11758347B1 (en) Dynamic speech directivity reproduction
Larsson et al. Auditory-induced presence in mixed reality environments and related technology
CN111459444A (zh) 在扩展现实应用中将虚拟声源映射到物理扬声器
US11221820B2 (en) System and method for processing audio between multiple audio spaces
US20220141588A1 (en) Method and apparatus for time-domain crosstalk cancellation in spatial audio
US20240098416A1 (en) Audio enhancements based on video detection
Gupta et al. Augmented/mixed reality audio for hearables: Sensing, control, and rendering
JP2023168544A (ja) 低周波数チャネル間コヒーレンス制御
WO2024004130A1 (ja) 利用者装置、共通装置、それらによる方法、およびプログラム
WO2020153027A1 (ja) オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
Mizrahi Recorded sounds and auditory media
Enomoto et al. 3-D sound reproduction system for immersive environments based on the boundary surface control principle
Tarzan et al. Assessment of sound spatialisation algorithms for sonic rendering with headphones
Storms NPSNET-3D sound server: an effective use of the auditory channel
US11638111B2 (en) Systems and methods for classifying beamformed signals for binaural audio playback
O’Dwyer Sound Source Localization and Virtual Testing of Binaural Audio
Gutiérrez A et al. Audition
Ise Development of a sound field sharing system for creating and exchanging music
JP2022128177A (ja) 音声生成装置、音声再生装置、音声再生方法、及び音声信号処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949403

Country of ref document: EP

Kind code of ref document: A1