WO2022054603A1 - 情報処理装置、情報処理端末、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理端末、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022054603A1
WO2022054603A1 PCT/JP2021/031450 JP2021031450W WO2022054603A1 WO 2022054603 A1 WO2022054603 A1 WO 2022054603A1 JP 2021031450 W JP2021031450 W JP 2021031450W WO 2022054603 A1 WO2022054603 A1 WO 2022054603A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound image
user
information processing
voice
image localization
Prior art date
Application number
PCT/JP2021/031450
Other languages
English (en)
French (fr)
Inventor
拓人 大西
雅彦 小泉
千尋 菅井
泰己 遠藤
越 沖本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/024,461 priority Critical patent/US20240031758A1/en
Priority to JP2022547498A priority patent/JPWO2022054603A1/ja
Priority to DE112021004759.0T priority patent/DE112021004759T5/de
Priority to CN202180054730.8A priority patent/CN116057927A/zh
Publication of WO2022054603A1 publication Critical patent/WO2022054603A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/30—Determination of the location of a subscriber
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Definitions

  • This technology is particularly related to an information processing device, an information processing terminal, an information processing method, and a program that can output voice content according to an action by a conversation participant in a realistic state.
  • the so-called remote conference in which multiple remote participants hold a conference using a device such as a PC, is becoming widespread.
  • a user who knows the URL can join the conference as a participant by starting the Web browser installed on the PC or a dedicated application and accessing the access destination specified by the URL assigned to each conference. Can be done.
  • Participant's voice collected by the microphone is transmitted to the device used by other participants via the server, and is output from headphones and speakers.
  • the image of the participant taken by the camera is transmitted to the device used by the other participant via the server and displayed on the display of the device.
  • Participants cannot individually specify a specific participant and have a conversation only with the specified participant because their utterance is shared with all other participants.
  • the participant cannot concentrate on the utterance of a specific participant and listen to the content of the utterance.
  • the screen display may visually indicate that a specific participant is performing the action, but which participant is performing the action. It's hard to tell if it's there.
  • This technology was made in view of such a situation, and makes it possible to output audio content according to the action of the participants in the conversation in a realistic state.
  • the information processing device of one aspect of the present technology consists of a storage unit that stores HRTF data corresponding to a plurality of positions based on the listening position, and a specific participant among the participants of the conversation participating via the network.
  • a sound image localization processing unit that provides audio content selected according to the action so that the sound image is localized at a predetermined position by performing sound image localization processing using the HRTF data selected according to the action.
  • the information processing terminal of the other aspect of the present technology stores HRTF data corresponding to multiple positions based on the listening position, and can be used for actions by a specific participant among the participants of the conversation participating via the network.
  • the information processing device that provides the audio content selected according to the action is transmitted so that the sound image is localized at a predetermined position.
  • the present invention includes an audio receiving unit that receives the audio content obtained by performing the sound image localization process and outputs the audio.
  • HRTF data corresponding to multiple positions relative to the listening position is stored and selected according to the action of a particular participant of the conversation participating over the network.
  • the audio content selected according to the action is provided so that the sound image is localized at a predetermined position.
  • HRTF data corresponding to multiple positions relative to the listening position is stored and selected according to the action of a particular participant of the conversation participating over the network.
  • the information processing device that provides the audio content selected according to the action so that the sound image is localized at a predetermined position by performing the sound image localization process using the HRTF data.
  • the audio content obtained by performing the sound image localization process is received, and the audio is output.
  • FIG. 1 is a diagram showing a configuration example of a Tele-communication system according to an embodiment of the present technology.
  • the Tele-communication system of FIG. 1 is configured by connecting a plurality of client terminals used by conference participants to the communication management server 1 via a network 11 such as the Internet.
  • client terminals 2A to 2D which are PCs, are shown as client terminals used by users A to D, who are participants in the conference.
  • client terminals 2A and 2D having a voice input device such as a microphone (microphone) and a voice output device such as headphones and speakers may be used as the client terminal.
  • a voice input device such as a microphone (microphone)
  • a voice output device such as headphones and speakers
  • client terminal 2A and 2D When it is not necessary to distinguish between the client terminals 2A and 2D, it is appropriately referred to as the client terminal 2.
  • Users A to D are users who participate in the same conference.
  • the number of users participating in the conference is not limited to four.
  • the communication management server 1 manages a conference that is advanced by having a plurality of users have a conversation online.
  • the communication management server 1 is an information processing device that controls the transmission and reception of voices between client terminals 2 and manages so-called remote conferences.
  • the communication management server 1 receives the voice data of the user A transmitted from the client terminal 2A in response to the utterance of the user A, as shown by the arrow A1 in the upper part of FIG. From the client terminal 2A, the voice data of the user A collected by the microphone provided in the client terminal 2A is transmitted.
  • the communication management server 1 transmits the voice data of the user A to each of the client terminals 2B to 2D as shown by the arrows A11 to A13 in the lower part of FIG. 2, and outputs the voice of the user A.
  • the user A speaks as the speaker
  • the users B to D are the listeners.
  • the user who becomes the speaker is referred to as an uttering user
  • the user who becomes a listener is referred to as a listening user.
  • the voice data transmitted from the client terminal 2 used by the speaking user is transmitted to the client terminal 2 used by the listening user via the communication management server 1. ..
  • the communication management server 1 manages the position of each user in the virtual space.
  • the virtual space is, for example, a three-dimensional space virtually set as a place for a meeting. Positions in virtual space are represented by three-dimensional coordinates.
  • FIG. 3 is a plan view showing an example of the user's position in the virtual space.
  • a vertically long rectangular table T is arranged substantially in the center of the virtual space indicated by the rectangular frame F, and the positions P1 to P4, which are the positions around the table T, are the positions P1 to P4 of the users A to D, respectively. It is set as a position.
  • the front direction of each user is the direction of the table T from the position of each user.
  • a participant icon which is information visually representing the user, is displayed on the screen of the client terminal 2 used by each user during the meeting, superimposed on the background image showing the place where the meeting is held. Will be done.
  • the position of the participant icon on the screen corresponds to the position of each user in the virtual space.
  • the participant icon is configured as a circular image including the user's face.
  • the participant icon is displayed in a size corresponding to the distance from the reference position set in the virtual space to the position of each user.
  • Participant icons I1 to I4 represent users A to D, respectively.
  • the position of each user is automatically set by the communication management server 1 when participating in the conference.
  • the position on the virtual space may be set by the user himself by moving the participant icon on the screen of FIG.
  • the communication management server 1 is an HRTF (Head-Related Transfer Function) (head-related transfer function) that expresses the sound transfer characteristics from a plurality of positions to the listening position when each position on the virtual space is set as the listening position. It has HRTF data, which is data. The communication management server 1 prepares HRTF data corresponding to a plurality of positions based on each listening position on the virtual space.
  • HRTF Head-Related Transfer Function
  • the communication management server 1 performs sound image localization processing using HRTF data on the voice data so that the voice of the speaking user can be heard from a position on the virtual space of the speaking user for each listening user, and the sound image localization processing is performed.
  • the voice data obtained by performing the above is transmitted.
  • the voice data transmitted to the client terminal 2 as described above is the voice data obtained by performing the sound image localization process on the communication management server 1.
  • Sound image localization processing includes rendering such as VBAP (Vector Based Amplitude Panning) based on position information, and binaural processing using HRTF data.
  • VBAP Vector Based Amplitude Panning
  • the voice of each speaking user is processed by the communication management server 1 as voice data of object audio.
  • voice data of object audio For example, channel-based audio data of two channels of L / R generated by sound image localization processing in the communication management server 1 is transmitted from the communication management server 1 to each client terminal 2, and headphones provided in the client terminal 2 or the like. To output the voice of the speaking user.
  • each listening user can hear the speaking user's voice and the speaking user's position. You will feel like you can hear it from.
  • FIG. 5 is a diagram showing an example of how the voice is heard.
  • the voice of user B is between position P2-position P1 whose sound source position is position P2, as shown by the arrow in FIG.
  • the front of the user A having a conversation with his / her face facing the client terminal 2A is the direction of the client terminal 2A.
  • the voice of the user C can be heard from the front by performing the sound image localization processing based on the HRTF data between the positions P3-position P1 with the position P3 as the sound source position.
  • the voice of the user D can be heard from the back right by performing the sound image localization process based on the HRTF data between the position P4-the position P1 with the position P4 as the sound source position.
  • the voice of the user A is heard from the left side of the user B who is having a conversation with his / her face facing the client terminal 2B, and is having a conversation with his / her face facing the client terminal 2C.
  • the voice of the user A can be heard from the right back for the user D who is having a conversation with his face facing the client terminal 2D.
  • voice data for each listening user is generated according to the positional relationship between the position of each listening user and the position of the speaking user, and is used for outputting the voice of the speaking user. Be done.
  • the voice data transmitted to each listening user is voice data whose hearing is different depending on the positional relationship between the position of each listening user and the position of the speaking user.
  • FIG. 7 is a diagram showing a state of users participating in the conference.
  • user A who wears headphones and participates in a conference listens to the voices of users B to D whose sound images are localized at the positions of the right side, the front side, and the right back side, and has a conversation.
  • the positions of the users B to D are the positions on the right side, the front side, and the right back position, respectively, based on the position of the user A.
  • the colored use of the users B to D in FIG. 7 indicates that the users B to D do not actually exist in the same space as the space where the user A is having a meeting.
  • background sounds such as bird chirping and BGM are also output based on the audio data obtained by the sound image localization process so that the sound image is localized at a predetermined position.
  • the voice to be processed by the communication management server 1 includes not only spoken voice but also sounds such as environmental sounds and background sounds.
  • sounds such as environmental sounds and background sounds.
  • the sound to be processed by the communication management server 1 will be simply described as voice.
  • the sound to be processed by the communication management server 1 includes sounds of types other than voice.
  • the listening user can easily distinguish the voice of each user even when there are a plurality of participants. For example, even when a plurality of users speak at the same time, the listening user can distinguish each voice.
  • the listening user can obtain the feeling that the speaking user actually exists at the position of the sound image from the voice.
  • the listening user can have a realistic conversation with another user.
  • step S1 the communication management server 1 determines whether or not the voice data has been transmitted from the client terminal 2, and waits until it is determined that the voice data has been transmitted.
  • step S1 When it is determined in step S1 that the voice data has been transmitted from the client terminal 2, the communication management server 1 receives the voice data transmitted from the client terminal 2 in step S2.
  • step S3 the communication management server 1 performs sound image localization processing based on the position information of each user, and generates audio data for each listening user.
  • the voice data for the user A is generated so that the sound image of the voice of the speaking user is localized at a position corresponding to the position of the speaking user when the position of the speaking user is used as a reference.
  • the voice data for the user B is generated so that the sound image of the voice of the speaking user is localized at a position corresponding to the position of the speaking user when the position of the speaking user is used as a reference.
  • the voice data for other listening users is also generated using the HRTF data according to the relative positional relationship between the position with the speaking user and the position of the listening user as a reference.
  • the voice data for each listening user is different data.
  • step S4 the communication management server 1 transmits voice data to each listening user.
  • the above processing is performed every time voice data is transmitted from the client terminal 2 used by the speaking user.
  • step S11 the client terminal 2 determines whether or not the microphone voice has been input.
  • the microphone sound is a sound collected by a microphone provided in the client terminal 2.
  • step S11 When it is determined in step S11 that the microphone voice has been input, the client terminal 2 transmits the voice data to the communication management server 1 in step S12. If it is determined in step S11 that no microphone sound has been input, the process of step S12 is skipped.
  • step S13 the client terminal 2 determines whether or not voice data has been transmitted from the communication management server 1.
  • step S14 the communication management server 1 receives the voice data and outputs the voice of the speaking user.
  • step S13 After the voice of the speaking user is output, or when it is determined in step S13 that the voice data is not transmitted, the process returns to step S11 and the above-mentioned process is repeated.
  • FIG. 10 is a block diagram showing a hardware configuration example of the communication management server 1.
  • the communication management server 1 is composed of a computer.
  • the communication management server 1 may be configured by one computer having the configuration shown in FIG. 10, or may be configured by a plurality of computers.
  • the CPU 101, ROM 102, and RAM 103 are connected to each other by the bus 104.
  • the CPU 101 executes the server program 101A and controls the overall operation of the communication management server 1.
  • the server program 101A is a program for realizing a Tele-communication system.
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106 including a keyboard, a mouse, and the like, and an output unit 107 including a display, a speaker, and the like are connected to the input / output interface 105.
  • the input / output interface 105 is connected to a storage unit 108 made of a hard disk, a non-volatile memory, etc., a communication unit 109 made of a network interface, etc., and a drive 110 for driving the removable media 111.
  • the communication unit 109 communicates with the client terminal 2 used by each user via the network 11.
  • FIG. 11 is a block diagram showing a functional configuration example of the communication management server 1. At least a part of the functional units shown in FIG. 11 is realized by executing the server program 101A by the CPU 101 of FIG.
  • the information processing unit 121 is realized in the communication management server 1.
  • the information processing unit 121 includes a voice receiving unit 131, a signal processing unit 132, a participant information management unit 133, a sound image localization processing unit 134, an HRTF data storage unit 135, a system voice management unit 136, a 2ch mix processing unit 137, and voice transmission. It is composed of a part 138.
  • the voice receiving unit 131 controls the communication unit 109 and receives the voice data transmitted from the client terminal 2 used by the speaking user.
  • the voice data received by the voice receiving unit 131 is output to the signal processing unit 132.
  • the signal processing unit 132 appropriately performs predetermined signal processing on the audio data supplied from the audio receiving unit 131, and outputs the audio data obtained by performing the signal processing to the sound image localization processing unit 134.
  • the signal processing unit 132 performs a process of separating the voice of the speaking user from the environmental sound.
  • the microphone voice includes environmental sounds such as noise and noise in the space where the speaking user is located.
  • the participant information management unit 133 controls the communication unit 109 and communicates with the client terminal 2 to manage the participant information which is information about the participants of the conference.
  • FIG. 12 is a diagram showing an example of participant information.
  • the participant information includes user information, location information, setting information, and volume information.
  • User information is information of a user who participates in a conference set by a certain user. For example, the user ID and the like are included in the user information. Other information included in the participant information is managed in association with, for example, user information.
  • Location information is information that represents the location of each user in the virtual space.
  • the setting information is information that represents the contents of the settings related to the conference, such as the setting of the background sound used in the conference.
  • Volume information is information indicating the volume when outputting the voice of each user.
  • Participant information managed by the participant information management unit 133 is supplied to the sound image localization processing unit 134. Participant information managed by the participant information management unit 133 is appropriately supplied to the system voice management unit 136, the 2ch mix processing unit 137, the voice transmission unit 138, and the like. In this way, the participant information management unit 133 functions as a position management unit that manages the position of each user in the virtual space, and also functions as a background sound management unit that manages the background sound setting.
  • the sound image localization processing unit 134 reads HRTF data according to the positional relationship of each user from the HRTF data storage unit 135 based on the position information supplied from the participant information management unit 133 and acquires it.
  • the sound image localization processing unit 134 performs sound image localization processing using the HRTF data read from the HRTF data storage unit 135 on the audio data supplied from the signal processing unit 132, and generates audio data for each listening user. do.
  • the sound image localization processing unit 134 performs sound image localization processing using predetermined HRTF data on the system audio data supplied from the system audio management unit 136.
  • the system voice is a voice generated on the communication management server 1 side and heard by the listening user together with the voice of the speaking user.
  • the system voice includes, for example, a background sound such as BGM and a sound effect.
  • the system voice is a voice different from the user's voice.
  • voices other than the voice of the speaking user are also processed as object audio.
  • Sound image localization processing for localizing the sound image at a predetermined position in the virtual space is also performed on the audio data of the system audio. For example, a sound image localization process for localizing a sound image at a position farther than the position of the participant is applied to the audio data of the background sound.
  • the sound image localization processing unit 134 outputs the audio data obtained by performing the sound image localization processing to the 2ch mix processing unit 137.
  • the voice data of the speaking user and the voice data of the system voice are output to the 2ch mix processing unit 137 as appropriate.
  • the HRTF data storage unit 135 stores HRTF data corresponding to a plurality of positions based on each listening position in the virtual space.
  • the system voice management unit 136 manages the system voice.
  • the system audio management unit 136 outputs the audio data of the system audio to the sound image localization processing unit 134.
  • the 2ch mix processing unit 137 performs 2ch mix processing on the audio data supplied from the sound image localization processing unit 134. By performing the 2ch mix processing, channel-based audio data including the components of the audio signal L and the audio signal R of the voice of the speaking user and the system voice is generated. The audio data obtained by performing the 2ch mix processing is output to the audio transmission unit 138.
  • the voice transmission unit 138 controls the communication unit 109 and transmits the voice data supplied from the 2ch mix processing unit 137 to the client terminal 2 used by each listening user.
  • FIG. 13 is a block diagram showing a hardware configuration example of the client terminal 2.
  • the client terminal 2 is configured by connecting a memory 202, a voice input device 203, a voice output device 204, an operation unit 205, a communication unit 206, a display 207, and a sensor unit 208 to the control unit 201.
  • the control unit 201 is composed of a CPU, ROM, RAM, and the like.
  • the control unit 201 controls the overall operation of the client terminal 2 by executing the client program 201A.
  • the client program 201A is a program for using the Tele-communication system managed by the communication management server 1.
  • the client program 201A includes a transmitting side module 201A-1 that executes the processing on the transmitting side and a receiving side module 201A-2 that executes the processing on the receiving side.
  • the memory 202 is composed of a flash memory or the like.
  • the memory 202 stores various information such as the client program 201A executed by the control unit 201.
  • the voice input device 203 is composed of a microphone.
  • the voice collected by the voice input device 203 is output to the control unit 201 as a microphone voice.
  • the audio output device 204 is composed of devices such as headphones and speakers.
  • the audio output device 204 outputs the audio of the participants of the conference based on the audio signal supplied from the control unit 201.
  • the voice input device 203 will be described as a microphone as appropriate.
  • the audio output device 204 will be described as a headphone.
  • the operation unit 205 is composed of various buttons and a touch panel provided on the display 207.
  • the operation unit 205 outputs information representing the content of the user's operation to the control unit 201.
  • the communication unit 206 is a communication module compatible with wireless communication of mobile communication systems such as 5G communication, and a communication module compatible with wireless LAN and the like.
  • the communication unit 206 receives the radio wave output from the base station and communicates with various devices such as the communication management server 1 via the network 11.
  • the communication unit 206 receives the information transmitted from the communication management server 1 and outputs it to the control unit 201. Further, the communication unit 206 transmits the information supplied from the control unit 201 to the communication management server 1.
  • the display 207 is composed of an organic EL display, an LCD, and the like. Various screens such as a remote conference screen are displayed on the display 207.
  • the sensor unit 208 is composed of various sensors such as an RGB camera, a depth camera, a gyro sensor, and an acceleration sensor.
  • the sensor unit 208 outputs the sensor data obtained by performing the measurement to the control unit 201. Based on the sensor data measured by the sensor unit 208, the user's situation is appropriately recognized.
  • FIG. 14 is a block diagram showing a functional configuration example of the client terminal 2. At least a part of the functional units shown in FIG. 14 is realized by executing the client program 201A by the control unit 201 of FIG.
  • the information processing unit 211 is realized in the client terminal 2.
  • the information processing unit 211 is composed of a voice processing unit 221, a setting information transmission unit 222, a user situation recognition unit 223, and a display control unit 224.
  • the information processing unit 211 is composed of a voice receiving unit 231, an output control unit 232, a microphone voice acquisition unit 233, and a voice transmitting unit 234.
  • the voice receiving unit 231 controls the communication unit 206 and receives the voice data transmitted from the communication management server 1.
  • the voice data received by the voice receiving unit 231 is supplied to the output control unit 232.
  • the output control unit 232 outputs the voice corresponding to the voice data transmitted from the communication management server 1 from the voice output device 204.
  • the microphone voice acquisition unit 233 acquires the voice data of the microphone voice collected by the microphones constituting the voice input device 203.
  • the voice data of the microphone voice acquired by the microphone voice acquisition unit 233 is supplied to the voice transmission unit 234.
  • the voice transmission unit 234 controls the communication unit 206 and transmits the voice data of the microphone voice supplied from the microphone voice acquisition unit 233 to the communication management server 1.
  • the setting information transmission unit 222 generates setting information representing the contents of various settings according to the user's operation.
  • the setting information transmission unit 222 controls the communication unit 206 and transmits the setting information to the communication management server 1.
  • the user situation recognition unit 223 recognizes the user situation based on the sensor data measured by the sensor unit 208.
  • the user situational awareness unit 223 controls the communication unit 206 and transmits information indicating the user's situation to the communication management server 1.
  • the display control unit 224 communicates with the communication management server 1 by controlling the communication unit 206, and displays the remote conference screen on the display 207 based on the information transmitted from the communication management server 1.
  • the virtual reaction function is a function used to convey one's reaction to other users.
  • the remote conference realized by the communication management server 1 is provided with, for example, an applause function which is a virtual reaction function. It is instructed from the screen displayed as GUI on the display 207 of the client terminal 2 to output the sound effect of the applause by using the applause function.
  • FIG. 15 is a diagram showing an example of a remote conference screen.
  • Participant icons I31 to I33 representing users participating in the conference are displayed on the remote conference screen shown in FIG. Assuming that the remote conference screen shown in FIG. 15 is a screen displayed on the client terminal 2A used by the user A, the participant icons I31 to I33 represent the users B to D, respectively. Participant icons I31 to I33 are displayed at positions corresponding to the positions of users B to D in the virtual space.
  • a virtual reaction button 301 is displayed under the participant icons I31 to I33.
  • the virtual reaction button 301 is a button pressed when instructing the output of the applause sound effect.
  • a similar screen is displayed on the client terminal 2 used by the users B to D.
  • the icons indicating that the user B and the user C are using the applause function are the participant icon I31 and the participant icon. It is displayed next to I32.
  • the applause sound effect is played back as system voice on the communication management server 1 side, and is delivered to each listening user together with the voice of the speaking user.
  • the sound image localization process for localizing the sound image at a predetermined position is also performed on the audio data of the applause sound effect.
  • FIG. 17 is a diagram showing a flow of processing related to sound effect output using the virtual reaction function.
  • the operation information indicating that the output of the applause sound effect is instructed is transmitted from the client terminal 2 to the communication management server 1 as shown by the arrows A11 and A12.
  • the clapping sound is added to the microphone voice in the communication management server 1, and the voice data of the speaking user and the voice of the sound are heard. Sound image localization processing using HRTF data according to the positional relationship is performed for each of the data.
  • sound image localization processing for localizing the sound image at the same position as the position of the user who instructed the output of the applause sound effect is performed on the sound data of the sound effect.
  • the sound image of the applause sound effect is localized and felt at the same position as the position of the user who instructed the output of the applause sound effect.
  • the sound image localization process for localizing the sound image at the position of the center of gravity of the positions of the multiple users who have instructed the output of the applause sound effect is applied to the audio data of the sound effect. It is given to.
  • the sound image of the applause sound effect is localized and felt at a position where the user who has instructed the output of the applause sound effect is dense. It is possible to localize the sound image of the sound effect to various positions selected based on the position of the user who instructed the output of the sound effect of the applause, not the position of the center of gravity.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by each listening user as shown by arrow A15.
  • the HRTF data for localizing the sound image of the applause sound effect in a predetermined position is selected in response to an action such as executing the applause function. Will be done. Further, based on the audio data obtained by the sound image localization processing using the selected HRTF data, the applause sound effect is provided to each listening user as audio content.
  • the microphone voices # 1 to # N shown at the top using a plurality of blocks are the voices of the uttering user detected in different client terminals 2, respectively. Further, the audio output shown at the bottom using one block represents the output at the client terminal 2 used by one listening user.
  • the functions indicated by the arrows A11 and A12 regarding the instruction to send the virtual reaction are realized by the transmitting side module 201A-1. Further, the sound image localization process using the HRTF data is realized by the server program 101A.
  • step S101 the system voice management unit 136 (FIG. 11) receives operation information indicating that the output of the applause sound effect is instructed.
  • the client terminal 2 used by the user sends operation information indicating that the output of the applause sound effect is instructed.
  • the operation information is transmitted, for example, by the user situation recognition unit 223 (FIG. 14) of the client terminal 2.
  • step S102 the voice receiving unit 131 receives the voice data transmitted from the client terminal 2 used by the speaking user.
  • the audio data received by the audio receiving unit 131 is supplied to the sound image localization processing unit 134 via the signal processing unit 132.
  • step S103 the system voice management unit 136 outputs the voice data of the applause sound effect to the sound image localization processing unit 134, and adds it as the voice data to be subject to the sound image localization processing.
  • the sound image localization processing unit 134 has HRTF data according to the positional relationship between the position of the listening user and the position of the speaking user, and HRTF according to the positional relationship between the position of the listening user and the position of the sound effect of the applause. Data is read from the HRTF data storage unit 135 and acquired. As the position of the sound effect of the applause, a predetermined position as described above is selected as the position for localizing the sound image of the sound effect of the applause.
  • the sound image localization processing unit 134 performs sound image localization processing using the HRTF data for the utterance voice on the voice data of the utterance user, and the sound image using the HRTF data for the utterance sound on the voice data of the clapping sound. Perform localization processing.
  • step S105 the audio transmission unit 138 transmits the audio data obtained by the sound image localization process to the client terminal 2 used by the listening user.
  • the sound image of the voice of the uttering user and the sound image of the sound effect of the applause are localized and felt at predetermined positions, respectively.
  • the sound image localization process is not performed for each of the voice data of the speaking user and the voice data of the clapping sound, but the voice data of the uttering user is synthesized with the voice data of the clapping sound. Sound image localization processing may be performed on the synthesized voice data. Also by this, the sound image of the applause sound effect is localized at the same position as the position of the user who instructed the output of the applause sound effect.
  • each listening user is a user who shows a reaction such as empathy or surprise. You can intuitively recognize if there is one.
  • the voice including the microphone voice of the speaking user and the sound effect of applause may be output as follows.
  • the microphone voice whose voice quality is changed by the filter processing on the client terminal 2 side is transmitted to the communication management server 1.
  • a filter process for changing the voice quality of an old man or a child is performed on the microphone voice of the speaking user.
  • the type of sound effect reproduced as the system voice is changed according to the number of users who simultaneously instruct the output of the sound effect. For example, if the number of users instructing the output of the applause sound effect is equal to or greater than the threshold number, a sound effect representing a large number of cheers is reproduced and delivered to the listening user instead of the applause sound effect. ..
  • the selection of the type of sound effect is performed by the system voice management unit 136.
  • HRTF data for localization to a predetermined position such as a position near the listening user's position, an upper position, a lower position, etc. are selected, and sound image localization is performed. Processing is done.
  • the position where the sound image of the sound effect is localized may be changed, or the volume may be changed.
  • a function to convey other reactions different from applause such as a function to express joy and a function to express anger, may be prepared as a virtual reaction function. Different voice data is reproduced for each type of reaction and output as a sound effect. The position where the sound image is localized may be changed for each type of reaction.
  • the ear-beating function is a function of designating one user as a listening user and performing an utterance.
  • the voice of the speaking user is delivered only to the specified user, not to other users. It is specified from the screen displayed as GUI on the display 207 of the client terminal 2 that the voice is delivered to one user by using the ear-beating function.
  • FIG. 19 is a diagram showing an example of a remote conference screen.
  • the remote conference screen displays the participant icons I31 to I33 representing the users participating in the conference.
  • the remote conference screen shown in FIG. 19 is a screen displayed on the client terminal 2A used by the user A
  • the participant icons I31 to I33 represent the users B to D, respectively.
  • the participant icon I31 is selected by the user A using the cursor, the user B is designated as the user to be heard by the ear.
  • the participant icon I31 representing user B is highlighted as shown in FIG.
  • the communication management server 1 When the user A speaks in this state, the communication management server 1 performs a sound image localization process for localizing the voice data of the user A at the ear of the user B designated as the user to be struck. Is done.
  • the default state is a state in which the user to be struck is not specified.
  • the voice of the speaking user is delivered to all other users so that the sound image is localized at a position corresponding to the positional relationship between the listening user and the speaking user.
  • FIG. 20 is a diagram showing a flow of processing related to voice output using the ear-beating function.
  • the operation information indicating that the user to be heard is specified is transmitted from the client terminal 2 to the communication management server 1 as shown by arrow A21. Will be done.
  • the operation information indicating that the user to be hit by the ear is specified is transmitted as shown by the arrow A22. May be good.
  • the communication management server 1 designates the voice data of the microphone voice # 1 as the target of the ear hit. Sound image localization processing is performed to localize the sound image at the position near the user's ear. That is, the HRTF data corresponding to the position of the ear of the user designated as the ear hitting target is selected and used for the sound image localization processing.
  • the microphone voice # 1 indicated by the arrow A23 is the voice of the user who hit the ear, that is, the voice of the uttering user who designated one user as the user to be hit by the ear hitting function.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by the user to be struck by the ear, as shown by the arrow A24.
  • the communication management server 1 determines the positional relationship between the listening user and the speaking user. Sound image localization processing is performed using the corresponding HRTF data.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by the listening user, as shown by arrow A26.
  • step S111 the system voice management unit 136 receives the operation information indicating that the user to be heard is selected.
  • operation information indicating that the user to be heard is selected is transmitted from the client terminal 2 used by that user.
  • the operation information is transmitted, for example, by the user situation recognition unit 223 of the client terminal 2.
  • step S112 the voice receiving unit 131 receives the voice data transmitted from the client terminal 2 used by the user who has made an ear.
  • the audio data received by the audio receiving unit 131 is supplied to the sound image localization processing unit 134.
  • step S113 the sound image localization processing unit 134 reads out the HRTF data corresponding to the position of the ear of the user to be struck from the HRTF data storage unit 135 and acquires it. Further, the sound image localization processing unit 134 performs sound image localization processing using HRTF data on the voice data of the speaking user (user who has made an ear hit) so that the sound image is localized at the ear of the user who is the target of ear hitting.
  • step S114 the audio transmission unit 138 transmits the audio data obtained by the sound image localization process to the client terminal 2 used by the user to be heard.
  • the voice of the user who has been heard is output based on the voice data transmitted from the communication management server 1.
  • the user selected as the ear-beating target listens to the voice of the user who hit the ear while feeling the sound image near the ear.
  • the speaking user can specify one user and speak only to that user.
  • the voice of the user who has uttered the ear and the voice of another user who is speaking at the same time may be delivered to the user (listening user) selected as the target of the ear hit.
  • the sound image localization process is performed on the voice data of the user who has hit the ear so that the sound image is localized at the listening user's ear.
  • sound image localization processing is performed using the HRTF data according to the positional relationship between the position of the listening user and the position of the speaking user.
  • the position where the sound image is localized may be specified by the user who hits the ear.
  • the focus function is a function for designating one user as a focus target and making it easier to hear the voice of that user.
  • the above-mentioned ear-beating function is a function used by the user on the speaking side
  • the focus function is a function used by the user on the listening side.
  • the user to be focused is specified from the screen displayed as a GUI on the display 207 of the client terminal 2.
  • FIG. 22 is a diagram showing an example of a remote conference screen.
  • the remote conference screen displays the participant icons I31 to I33 representing the users participating in the conference.
  • the participant icons I31 to I33 represent the users B to D, respectively.
  • the participant icon I31 is selected by the user A using the cursor
  • the user B is designated as the user to be focused.
  • the participant icon I31 representing user B is highlighted as shown in FIG.
  • the communication management server 1 localizes the voice image of the user B in the vicinity of the user A who has designated the user B as the focus target user. Localization processing is performed.
  • HRTF data corresponding to the positional relationship with user A is used for the voice data of user C and the voice data of user D, respectively. The sound image localization process that was performed is performed.
  • the default state is a state in which the user to be focused is not specified.
  • the voice of the speaking user is delivered to all other users so that the sound image is localized at a position corresponding to the positional relationship between the listening user and the speaking user.
  • FIG. 23 is a diagram showing a flow of processing related to audio output using the focus function.
  • the operation information indicating that the focus target user has been specified is transmitted from the client terminal 2 to the communication management server 1 as shown by the arrow A31. Will be done.
  • operation information indicating that the focus target user is specified is transmitted as shown by arrow A32. You may do so.
  • the communication management server 1 When the microphone voice is transmitted from the client terminal 2 as shown by the arrows A33 and A34, the communication management server 1 localizes the sound image close to the user with respect to the voice data of the microphone voice of the user to be focused. Sound image localization processing for this is performed. That is, the HRTF data corresponding to the position near the position of the user who specified the focus target is selected and used for the sound image localization process.
  • sound image localization processing is performed to localize the sound image at a position away from the user with respect to the voice data of the microphone voice of a user other than the user to be focused. That is, the HRTF data corresponding to the position away from the position of the user who specified the focus target is selected and used for the sound image localization process.
  • the microphone voice # 1 indicated by the arrow A33 is the microphone voice of the user to be focused.
  • the voice data of the microphone voice # 1 is transmitted from the client terminal 2 used by the focus target user to the communication management server 1.
  • the microphone voice #N indicated by the arrow A34 is the microphone voice of a user other than the user to be focused.
  • the voice data of the microphone voice # N is transmitted from the client terminal 2 used by a user other than the focus target user to the communication management server 1.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by the user who has specified the focus target, as shown by the arrow A35.
  • the audio sound image of the focus target user is localized near the selected user in response to an action such as execution of the focus function.
  • HRTF data for is selected. Further, based on the audio data obtained by the sound image localization processing using the selected HRTF data, the audio of the user to be focused is provided to the user who has selected the focus target as audio content.
  • step S121 the participant information management unit 133 receives the operation information indicating that the user to be focused is selected.
  • operation information indicating that the user to be focused has been selected is transmitted from the client terminal 2 used by that user.
  • the operation information is transmitted, for example, by the user situation recognition unit 223 of the client terminal 2.
  • the voice receiving unit 131 receives the voice data transmitted from the client terminal 2. For example, the voice data of a user other than the focus target user (a user who is not selected as the focus target) is received together with the voice data of the focus target user.
  • the audio data received by the audio receiving unit 131 is supplied to the sound image localization processing unit 134.
  • step S123 the sound image localization processing unit 134 reads out the HRTF data corresponding to the position near the user who has selected the focus target from the HRTF data storage unit 135 and acquires it. Further, the sound image localization processing unit 134 performs sound image localization processing using the acquired HRTF data on the audio data of the user to be focused so as to localize the sound image near the user who has selected the focus target.
  • step S124 the sound image localization processing unit 134 reads out the HRTF data corresponding to the position away from the user who selected the focus target from the HRTF data storage unit 135 and acquires it. Further, the sound image localization processing unit 134 uses the acquired HRTF data for the audio data of a user other than the focus target user so as to localize the sound image at a position away from the user who has selected the focus target. Perform processing.
  • step S125 the audio transmission unit 138 transmits the audio data obtained by the sound image localization process to the client terminal 2 used by the user who has selected the focus target.
  • the voice of the speaking user is output based on the voice data transmitted from the communication management server 1.
  • the user who selects the focus target listens to the voice of the focus target user while feeling the sound image close to the user. Further, the user who selects the focus target listens to the voice of a user other than the focus target user while feeling the sound image at a distant position.
  • the user can specify one user and listen to the utterance of that user in a concentrated manner.
  • the sound image localization process is performed so that the sound image is localized at a position away from the listening user for the voice data of the voice of the user selected as the user who wants to keep away.
  • the same configurations as the sound image localization processing unit 134, the HRTF data storage unit 135, and the 2ch mix processing unit 137 are provided in the client terminal 2.
  • the same configuration as the sound image localization processing unit 134, the HRTF data storage unit 135, and the 2ch mix processing unit 137 is realized by, for example, the receiving side module 201A-2.
  • the sound image localization processing is performed on the client terminal 2 side. By performing the sound image localization process locally, it is possible to speed up the response to parameter changes.
  • the sound image localization process is performed on the communication management server 1 side.
  • the sound image localization process it is possible to reduce the amount of data communication between the communication management server 1 and the client terminal 2.
  • FIG. 25 is a diagram showing a processing flow related to dynamic switching of sound image localization processing.
  • the microphone sound transmitted from the client terminal 2 as shown by the arrows A101 and A102 is transmitted to the client terminal 2 as it is as shown by the arrow A103.
  • the client terminal 2 that is the transmission source of the microphone voice is the client terminal 2 used by the speaking user, and the client terminal 2 that is the transmission destination of the microphone voice is the client terminal 2 that is used by the listening user.
  • the setting of the parameter related to the localization of the sound image such as the position of the listening user
  • the change of the setting is reflected in real time and the microphone sound transmitted from the communication management server 1 is reflected. Sound image localization processing is performed on the server.
  • the sound corresponding to the sound data generated by the sound image localization process on the client terminal 2 side is output as shown by the arrow A105.
  • the changed contents of the parameter settings are saved, and the information indicating the changed contents is transmitted to the communication management server 1 as shown by the arrow A106.
  • the sound image localization process is performed on the communication management server 1 side, the sound image localization process is performed for the microphone sound transmitted from the client terminal 2 as shown by arrows A107 and A108, reflecting the changed parameters. Will be done.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by the listening user as shown by arrow A109.
  • step S201 it is determined whether or not the parameter setting has been changed for a certain period of time or longer. This determination is performed by the participant information management unit 133, for example, based on the information transmitted from the client terminal 2 used by the listening user.
  • step S202 the voice transmission unit 138 uses the voice data of the speaking user received by the participant information management unit 133 as it is, as a client used by the listening user. Send to terminal 2.
  • the transmitted audio data is object audio data.
  • step S203 the participant information management unit 133 receives the information indicating the content of the setting change transmitted from the client terminal 2. After updating the position information of the listening user based on the information transmitted from the client terminal 2, the process returns to step S201 and the subsequent processing is performed. The sound image localization process performed on the communication management server 1 side is performed based on the updated position information.
  • step S204 sound image localization processing is performed on the communication management server 1 side in step S204.
  • the process performed in step S204 is basically the same process as described with reference to FIG.
  • the above processing is performed not only when the position is changed, but also when other parameters such as the background sound setting are changed.
  • Acoustic settings suitable for the background sound may be stored in a database and managed by the communication management server 1. For example, a position suitable as a position for localizing the sound image is set for each type of background sound, and HRTF data corresponding to the set position is saved. Parameters for other acoustic settings, such as reverb, may be saved.
  • FIG. 27 is a diagram showing a flow of processing related to management of acoustic settings.
  • the background sound is synthesized with the voice of the speaking user, the background sound is reproduced on the communication management server 1, and the sound image localization process is performed using the acoustic settings such as HRTF data suitable for the background sound as shown by the arrow A121. It will be done.
  • the audio data generated by the sound image localization process is transmitted to and output to the client terminal 2 used by the listening user as shown by arrow A122.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is recorded and provided on the removable media 111 shown in FIG. 10, which consists of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a semiconductor memory, or the like. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Headphones or speakers are used as the audio output device, but other devices may be used.
  • ordinary earphones inner ear headphones
  • open-type earphones capable of capturing environmental sounds can be used as audio output devices.
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a storage unit that stores HRTF data corresponding to multiple positions based on the listening position, By performing sound image localization processing using the HRTF data selected according to the action by a specific participant among the participants of the conversation participating via the network, the sound image is localized in a predetermined position.
  • An information processing device including a sound image localization processing unit that provides audio content selected according to the action.
  • the sound image localization processing unit provides the audio content for outputting the sound effect in response to the action of instructing the output of the sound effect being performed by the specific participant. Information processing equipment.
  • the sound image localization processing unit uses the HRTF data according to the relationship between the position of the participant who becomes a listener and the position of the specific participant who has performed the action in the virtual space, and the effector.
  • the information processing apparatus which performs the sound image localization process on the audio data of the above.
  • the sound image localization processing unit outputs the audio content of the specific participant in response to the action of selecting the participant to listen to the audio by the specific participant.
  • the information processing apparatus according to (1) above.
  • the information processing apparatus according to (4), wherein the selection of the participant as the listening destination is performed by using the visual information displayed on the screen to visually represent the participant.
  • the sound image localization processing unit performs the sound image localization processing on the audio data of the specific participant by using the HRTF data corresponding to the position of the ear of the participant as the listening destination in the virtual space.
  • the information processing apparatus according to (4) or (5) above.
  • the sound image localization processing unit provides the audio content for outputting the audio of the speaker in response to the action of selecting the speaker to be focused by the specific participant (1). ).
  • the information processing device (8) The information processing apparatus according to (7) above, wherein the speaker to be focused is selected by using the visual information displayed on the screen to visually represent the participant.
  • the sound image localization processing unit performs the sound image localization processing on the voice data of the speaker to be focused by using the HRTF data corresponding to the position in the vicinity of the position of the specific participant in the virtual space.
  • the information processing apparatus according to (7) or (8).
  • Information processing equipment Stores HRTF data corresponding to multiple positions based on the listening position, By performing sound image localization processing using the HRTF data selected according to the action by a specific participant among the participants of the conversation participating via the network, the sound image is localized in a predetermined position.
  • On the computer Stores HRTF data corresponding to multiple positions based on the listening position, By performing sound image localization processing using the HRTF data selected in response to an action by a specific participant among the participants of the conversation participating via the network, the sound image is localized in a predetermined position.
  • a program that executes a process that provides audio content selected according to the action.
  • An information processing terminal including an audio receiving unit that receives the audio content and outputs the audio.
  • the voice receiving unit receives the voice data of the sound effect transmitted in response to the action instructing the output of the sound effect to be performed by the specific participant. Processing terminal.
  • the audio receiving unit performs the sound image localization process using the HRTF data according to the relationship between the position of the user of the information processing terminal and the position of the specific participant who has performed the action in the virtual space.
  • the information processing terminal according to (13) above which receives the voice data of the effector obtained by the effect.
  • the voice receiving unit has been transmitted in response to the action of selecting the user of the information processing terminal as the participant to listen to the voice by the specific participant.
  • the information processing terminal according to (12) above which receives the voice data of.
  • the audio receiving unit receives audio data of the specific participant obtained by performing the sound image localization process using the HRTF data according to the position of the user's ear of the information processing terminal in the virtual space.
  • the voice receiving unit of the focus target speaker has been transmitted in response to the action of selecting the focus target speaker being performed by the user of the information processing terminal as the specific participant.
  • the information processing terminal according to (12) above which receives voice data.
  • the voice receiving unit is the speaker of the focus target obtained by performing the sound image localization process using the HRTF data according to the position in the vicinity of the position of the user of the information processing terminal in the virtual space.
  • the information processing terminal according to (17) above which receives voice data.
  • Information processing terminal A sound image using the HRTF data corresponding to a plurality of positions based on the listening position and selected according to an action by a specific participant among the participants of the conversation participating via the network.
  • 1 Communication management server 2A to 2D client terminal, 121 Information processing unit, 131 Audio receiving unit, 132 Signal processing unit, 133 Participant information management unit, 134 Sound image localization processing unit, 135 HRTF data storage unit, 136 System audio management unit , 137 2ch mix processing unit, 138 voice transmission unit, 201 control unit, 211 information processing unit, 221 voice processing unit, 222 setting information transmission unit, 223 user status recognition unit, 231 voice reception unit, 233 microphone voice acquisition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、会話の参加者によるアクションに応じた音声コンテンツを臨場感のある状態で出力させることができるようにする情報処理装置、情報処理端末、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、聴取位置を基準とした複数の位置に対応するHRTFデータを記憶する記憶部と、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択されたHRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、アクションに応じて選択された音声コンテンツを提供する音像定位処理部とを備える。本技術は、リモート会議を行うコンピュータに適用することができる。

Description

情報処理装置、情報処理端末、情報処理方法、およびプログラム
　本技術は、特に、会話の参加者によるアクションに応じた音声コンテンツを臨場感のある状態で出力させることができるようにした情報処理装置、情報処理端末、情報処理方法、およびプログラムに関する。
　遠隔にいる複数の参加者がPCなどの装置を使用して会議を行ういわゆるリモート会議が普及してきている。PCにインストールされたWebブラウザや専用のアプリケーションを起動させ、会議毎に割り当てられたURLにより指定されるアクセス先にアクセスすることにより、URLを知っているユーザは、参加者として会議に参加することができる。
　マイクロフォンにより集音された参加者の音声は、他の参加者が使用する装置にサーバを介して送信され、ヘッドホンやスピーカから出力される。また、カメラにより撮影された参加者が映る映像は、他の参加者が使用する装置にサーバを介して送信され、装置のディスプレイに表示される。
　これにより、それぞれの参加者は、他の参加者の顔を見ながら会話を行うことができる。
特開平１１－３３１９９２号公報
　自分の発話が他の参加者全員に共有されてしまうため、参加者は、特定の参加者を個別に指定して、指定した参加者とだけ会話を行うといったことができない。
　反対に、参加者は、特定の参加者の発話だけに集中して発話の内容を聞き取るといったことができない。
　挙手機能などの仮想上のアクション機能が用いられた場合に、特定の参加者がアクションを行っていることが画面表示によって視覚的に提示されることがあるが、どの参加者がアクションを行っているのかが分かりづらい。
　本技術はこのような状況に鑑みてなされたものであり、会話の参加者によるアクションに応じた音声コンテンツを臨場感のある状態で出力させることができるようにするものである。
　本技術の一側面の情報処理装置は、聴取位置を基準とした複数の位置に対応するHRTFデータを記憶する記憶部と、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する音像定位処理部とを備える。
　本技術の他の側面の情報処理端末は、聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する音声受信部を備える。
　本技術の一側面においては、聴取位置を基準とした複数の位置に対応するHRTFデータが記憶され、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツが提供される。
　本技術の他の側面においては、聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツが受信され、音声が出力される。
本技術の一実施形態に係るTele-communicationシステムの構成例を示す図である。 音声データの送受信の例を示す図である。 仮想空間上のユーザの位置の例を示す平面図である。 リモート会議画面の表示例を示す図である。 音声の聞こえ方の例を示す図である。 音声の聞こえ方の他の例を示す図である。 会議に参加しているユーザの様子を示す図である。 コミュニケーション管理サーバの基本処理について説明するフローチャートである。 クライアント端末の基本処理について説明するフローチャートである。 コミュニケーション管理サーバのハードウェア構成例を示すブロック図である。 コミュニケーション管理サーバの機能構成例を示すブロック図である。 参加者情報の例を示す図である。 クライアント端末のハードウェア構成例を示すブロック図である。 クライアント端末の機能構成例を示すブロック図である。 リモート会議画面の例を示す図である。 リモート会議画面の例を示す図である。 バーチャルリアクション機能を用いた効果音の出力に関する処理の流れを示す図である。 コミュニケーション管理サーバの制御処理について説明するフローチャートである。 リモート会議画面の例を示す図である。 耳打ち機能を用いた音声の出力に関する処理の流れを示す図である。 コミュニケーション管理サーバの制御処理について説明するフローチャートである。 リモート会議画面の例を示す図である。 フォーカス機能を用いた音声の出力に関する処理の流れを示す図である。 コミュニケーション管理サーバの制御処理について説明するフローチャートである。 音像定位処理の動的切り替えに関する処理の流れを示す図である。 コミュニケーション管理サーバの制御処理について説明するフローチャートである。 音響設定の管理に関する処理の流れを示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．Tele-communicationシステムの構成
　２．基本的な動作
　３．各装置の構成
　４．音像定位のユースケース
　５．変形例
＜＜Tele-communicationシステムの構成＞＞
　図１は、本技術の一実施形態に係るTele-communicationシステムの構成例を示す図である。
　図１のTele-communicationシステムは、コミュニケーション管理サーバ１に対して、会議の参加者が使用する複数のクライアント端末がインターネットなどのネットワーク１１を介して接続されることによって構成される。図１の例においては、PCであるクライアント端末２Ａ乃至２Ｄが、会議の参加者であるユーザＡ乃至Ｄが使用するクライアント端末として示されている。
　マイクロフォン（マイク）などの音声入力デバイスと、ヘッドホンやスピーカなどの音声出力デバイスとを有する、スマートフォンやタブレット端末などの他のデバイスがクライアント端末として用いられるようにしてもよい。クライアント端末２Ａ乃至２Ｄを区別する必要がない場合、適宜、クライアント端末２という。
　ユーザＡ乃至Ｄは、同じ会議に参加するユーザである。なお、会議に参加するユーザの数は４人に限定されるものではない。
　コミュニケーション管理サーバ１は、複数のユーザがオンライン上で会話を行うことによって進められる会議を管理する。コミュニケーション管理サーバ１は、クライアント端末２間の音声の送受信を制御し、いわゆるリモート会議を管理する情報処理装置である。
　例えば、コミュニケーション管理サーバ１は、図２の上段の矢印Ａ１に示すように、ユーザＡが発話することに応じてクライアント端末２Ａから送信されてきたユーザＡの音声データを受信する。クライアント端末２Ａからは、クライアント端末２Ａに設けられたマイクにより集音されたユーザＡの音声データが送信されてくる。
　コミュニケーション管理サーバ１は、ユーザＡの音声データを、図２の下段の矢印Ａ１１乃至Ａ１３に示すようにクライアント端末２Ｂ乃至２Ｄのそれぞれに送信し、ユーザＡの音声を出力させる。ユーザＡが発話者として発話した場合、ユーザＢ乃至Ｄが聴取者となる。以下、適宜、発話者となるユーザを発話ユーザといい、聴取者となるユーザを聴取ユーザという。
　他のユーザが発話を行った場合も同様に、発話ユーザが使用するクライアント端末２から送信された音声データは、コミュニケーション管理サーバ１を経由して、聴取ユーザが使用するクライアント端末２に送信される。
　コミュニケーション管理サーバ１は、それぞれのユーザの仮想空間上の位置を管理する。仮想空間は、会議を行う場所として仮想的に設定された例えば３次元の空間である。仮想空間上の位置は３次元の座標で表される。
　図３は、仮想空間上のユーザの位置の例を示す平面図である。
　図３の例においては、矩形の枠Ｆで示される仮想空間の略中央に縦長長方形のテーブルＴが配置され、テーブルＴの周りの位置である位置Ｐ１乃至Ｐ４が、それぞれ、ユーザＡ乃至Ｄの位置として設定されている。それぞれのユーザの正面方向は、それぞれのユーザの位置からテーブルＴの方向である。
　会議中、それぞれのユーザが使用するクライアント端末２の画面には、図４に示すように、会議を行う場所を表す背景画像に重ねて、ユーザを視覚的に表す情報である参加者アイコンが表示される。参加者アイコンの画面上の位置は、仮想空間上のそれぞれのユーザの位置に応じた位置となる。
　図４の例においては、参加者アイコンは、ユーザの顔を含む円形状の画像として構成されている。参加者アイコンは、仮想空間に設定された基準の位置からそれぞれのユーザの位置までの距離に応じた大きさで表示される。参加者アイコンＩ１乃至Ｉ４は、それぞれユーザＡ乃至Ｄを表す。
　例えば、それぞれのユーザの位置は、会議に参加したときにコミュニケーション管理サーバ１により自動的に設定される。図４の画面上で参加者アイコンを移動させるなどして、仮想空間上の位置がユーザ自身により設定されるようにしてもよい。
　コミュニケーション管理サーバ１は、仮想空間上のそれぞれの位置を聴取位置としたときの、複数の位置から聴取位置までの音の伝達特性を表すHRTF(Head-Related Transfer Function)（頭部伝達関数）のデータであるHRTFデータを有している。仮想空間上のそれぞれの聴取位置を基準とした、複数の位置に対応するHRTFデータがコミュニケーション管理サーバ１に用意されている。
　コミュニケーション管理サーバ１は、それぞれの聴取ユーザにとって、発話ユーザの音声が当該発話ユーザの仮想空間上の位置から聞こえるように、HRTFデータを用いた音像定位処理を音声データに対して行い、音像定位処理を行うことによって得られた音声データを送信する。
　上述したようにしてクライアント端末２に送信される音声データは、コミュニケーション管理サーバ１において音像定位処理が行われることによって得られた音声データとなる。音像定位処理には、位置情報に基づくVBAP(Vector Based Amplitude Panning)などのレンダリング、HRTFデータを用いたバイノーラル処理が含まれる。
　すなわち、それぞれの発話ユーザの音声は、オブジェクトオーディオの音声データとしてコミュニケーション管理サーバ１において処理される。コミュニケーション管理サーバ１における音像定位処理により生成された、例えばＬ／Ｒの２チャンネルのチャンネルベースのオーディオデータがコミュニケーション管理サーバ１からそれぞれのクライアント端末２に送信され、クライアント端末２に設けられたヘッドホンなどから、発話ユーザの音声が出力される。
　聴取ユーザ自身の位置と発話ユーザの位置との相対的な位置関係に応じたHRTFデータを用いた音像定位処理が行われることにより、それぞれの聴取ユーザは、発話ユーザの音声を、発話ユーザの位置から聞こえるように感じることになる。
　図５は、音声の聞こえ方の例を示す図である。
　位置Ｐ１が仮想空間上の位置として設定されているユーザＡを聴取ユーザとして注目すると、ユーザＢの音声は、図５の矢印で示すように、位置Ｐ２を音源位置とする位置Ｐ２－位置Ｐ１間のHRTFデータに基づいて音像定位処理が行われることにより、右隣から聞こえる。クライアント端末２Ａに顔を向けて会話を行っているユーザＡの正面は、クライアント端末２Ａの方向である。
　また、ユーザＣの音声は、位置Ｐ３を音源位置とする位置Ｐ３－位置Ｐ１間のHRTFデータに基づいて音像定位処理が行われることにより、正面から聞こえる。ユーザＤの音声は、位置Ｐ４を音源位置とする位置Ｐ４－位置Ｐ１間のHRTFデータに基づいて音像定位処理が行われることにより、右奥から聞こえる。
　他のユーザが聴取ユーザである場合も同様である。例えば、図６に示すように、ユーザＡの音声は、クライアント端末２Ｂに顔を向けて会話を行っているユーザＢにとっては左隣から聞こえ、クライアント端末２Ｃに顔を向けて会話を行っているユーザＣにとっては正面から聞こえる。また、ユーザＡの音声は、クライアント端末２Ｄに顔を向けて会話を行っているユーザＤにとっては右奥から聞こえる。
　このように、コミュニケーション管理サーバ１においては、それぞれの聴取ユーザ用の音声データが、それぞれの聴取ユーザの位置と発話ユーザの位置との位置関係に応じて生成され、発話ユーザの音声の出力に用いられる。それぞれの聴取ユーザに対して送信される音声データは、それぞれの聴取ユーザの位置と発話ユーザの位置との位置関係に応じて聞こえ方が異なる音声データとなる。
　図７は、会議に参加しているユーザの様子を示す図である。
　例えばヘッドホンを装着して会議に参加しているユーザＡは、右隣、正面、右奥のそれぞれの位置に音像が定位しているユーザＢ乃至Ｄの音声を聞き、会話を行うことになる。図５等を参照して説明したように、ユーザＡの位置を基準とすると、ユーザＢ乃至Ｄの位置は、それぞれ、右隣、正面、右奥の位置である。なお、図７においてユーザＢ乃至Ｄに色を付して示していることは、ユーザＢ乃至Ｄが、ユーザＡが会議を行っている空間と同じ空間に実在していないことを表す。
　なお、後述するように、鳥のさえずりやBGMなどの背景音についても、所定の位置に音像が定位するように、音像定位処理によって得られた音声データに基づいて出力される。
　コミュニケーション管理サーバ１が処理対象とする音声には、発話音声だけでなく、環境音や背景音などの音も含まれる。以下、適宜、それぞれの音の種類を区別する必要がない場合、コミュニケーション管理サーバ１が処理対象とする音を単に音声として説明する。実際には、コミュニケーション管理サーバ１が処理対象とする音には、音声以外の種類の音も含まれる。
　発話ユーザの音声が仮想空間における位置に応じた位置から聞こえることにより、聴取ユーザは、参加者が複数いる場合であっても、それぞれのユーザの音声を容易に聞き分けることができる。例えば複数のユーザが同時に発話を行った場合であっても、聴取ユーザは、それぞれの音声を聞き分けることが可能となる。
　また、発話ユーザの音声が立体的に感じられるため、聴取ユーザは、音像の位置に発話ユーザが実在している感覚を音声から得ることができる。聴取ユーザは、臨場感のある会話を他のユーザとの間で行うことができる。
＜＜基本的な動作＞＞
　ここで、コミュニケーション管理サーバ１とクライアント端末２の基本的な動作の流れについて説明する。
＜コミュニケーション管理サーバ１の動作＞
　図８のフローチャートを参照して、コミュニケーション管理サーバ１の基本処理について説明する。
　ステップＳ１において、コミュニケーション管理サーバ１は、クライアント端末２から音声データが送信されてきたか否かを判定し、音声データが送信されてきたと判定するまで待機する。
　クライアント端末２から音声データが送信されてきたとステップＳ１において判定した場合、ステップＳ２において、コミュニケーション管理サーバ１は、クライアント端末２から送信されてきた音声データを受信する。
　ステップＳ３において、コミュニケーション管理サーバ１は、それぞれのユーザの位置情報に基づいて音像定位処理を行い、それぞれの聴取ユーザ用の音声データを生成する。
　例えば、ユーザＡ用の音声データは、発話ユーザの音声の音像が、ユーザＡの位置を基準としたときに、その発話ユーザの位置に応じた位置に定位するようにして生成される。
　また、ユーザＢ用の音声データは、発話ユーザの音声の音像が、ユーザＢの位置を基準としたときに、その発話ユーザの位置に応じた位置に定位するようにして生成される。
　他の聴取ユーザ用の音声データについても同様に、聴取ユーザの位置を基準として、発話ユーザとの位置の相対的な位置関係に応じたHRTFデータを用いて生成される。それぞれの聴取ユーザ用の音声データは異なるデータとなる。
　ステップＳ４において、コミュニケーション管理サーバ１は、それぞれの聴取ユーザに対して音声データを送信する。以上の処理が、発話ユーザが使用するクライアント端末２から音声データが送信されてくる毎に行われる。
＜クライアント端末２の動作＞
　図９のフローチャートを参照して、クライアント端末２の基本処理について説明する。
　ステップＳ１１において、クライアント端末２は、マイク音声が入力されたか否かを判定する。マイク音声は、クライアント端末２に設けられたマイクにより集音された音声である。
　マイク音声が入力されたとステップＳ１１において判定した場合、ステップＳ１２において、クライアント端末２は、音声データをコミュニケーション管理サーバ１に送信する。マイク音声が入力されていないとステップＳ１１において判定された場合、ステップＳ１２の処理はスキップされる。
　ステップＳ１３において、クライアント端末２は、コミュニケーション管理サーバ１から音声データが送信されてきたか否かを判定する。
　音声データが送信されてきたとステップＳ１３において判定した場合、ステップＳ１４において、コミュニケーション管理サーバ１は、音声データを受信し、発話ユーザの音声を出力する。
　発話ユーザの音声が出力された後、または、音声データが送信されてきてきないとステップＳ１３において判定された場合、ステップＳ１１に戻り、上述した処理が繰り返し行われる。
＜＜各装置の構成＞＞
＜コミュニケーション管理サーバ１の構成＞
　図１０は、コミュニケーション管理サーバ１のハードウェア構成例を示すブロック図である。
　コミュニケーション管理サーバ１はコンピュータにより構成される。コミュニケーション管理サーバ１が、図１０に示す構成を有する１台のコンピュータにより構成されるようにしてもよいし、複数台のコンピュータにより構成されるようにしてもよい。
　CPU１０１、ROM１０２、RAM１０３は、バス１０４により相互に接続される。CPU１０１は、サーバプログラム１０１Ａを実行し、コミュニケーション管理サーバ１の全体の動作を制御する。サーバプログラム１０１Ａは、Tele-communicationシステムを実現するためのプログラムである。
　バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。
　また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。例えば、通信部１０９は、それぞれのユーザが使用するクライアント端末２との間でネットワーク１１を介して通信を行う。
　図１１は、コミュニケーション管理サーバ１の機能構成例を示すブロック図である。図１１に示す機能部のうちの少なくとも一部は、図１０のCPU１０１によりサーバプログラム１０１Ａが実行されることによって実現される。
　コミュニケーション管理サーバ１においては情報処理部１２１が実現される。情報処理部１２１は、音声受信部１３１、信号処理部１３２、参加者情報管理部１３３、音像定位処理部１３４、HRTFデータ記憶部１３５、システム音声管理部１３６、2chミックス処理部１３７、および音声送信部１３８から構成される。
　音声受信部１３１は、通信部１０９を制御し、発話ユーザが使用するクライアント端末２から送信されてきた音声データを受信する。音声受信部１３１により受信された音声データは、信号処理部１３２に出力される。
　信号処理部１３２は、音声受信部１３１から供給された音声データに対して、所定の信号処理を適宜施し、信号処理を施すことによって得られた音声データを音像定位処理部１３４に出力する。例えば、発話ユーザの音声と環境音を分離する処理が信号処理部１３２により行われる。マイク音声には、発話ユーザの音声の他に、発話ユーザがいる空間の騒音やノイズなどの環境音が含まれる。
　参加者情報管理部１３３は、通信部１０９を制御し、クライアント端末２と通信を行うなどして、会議の参加者に関する情報である参加者情報を管理する。
　図１２は、参加者情報の例を示す図である。
　図１２に示すように、参加者情報には、ユーザ情報、位置情報、設定情報、ボリューム情報が含まれる。
　ユーザ情報は、あるユーザが設定した会議に参加するユーザの情報である。例えば、ユーザのIDなどがユーザ情報に含まれる。参加者情報に含まれる他の情報が例えばユーザ情報に紐付けて管理される。
　位置情報は、仮想空間上のそれぞれのユーザの位置を表す情報である。
　設定情報は、会議で使用する背景音の設定などの、会議に関する設定の内容を表す情報である。
　ボリューム情報は、それぞれのユーザの音声を出力するときの音量を表す情報である。
　参加者情報管理部１３３が管理する参加者情報は、音像定位処理部１３４に供給される。参加者情報管理部１３３が管理する参加者情報は、適宜、システム音声管理部１３６、2chミックス処理部１３７、音声送信部１３８等に対しても供給される。このように、参加者情報管理部１３３は、それぞれのユーザの仮想空間上の位置を管理する位置管理部として機能するとともに、背景音の設定を管理する背景音管理部として機能する。
　音像定位処理部１３４は、参加者情報管理部１３３から供給された位置情報に基づいて、それぞれのユーザの位置関係に応じたHRTFデータをHRTFデータ記憶部１３５から読み出して取得する。音像定位処理部１３４は、信号処理部１３２から供給された音声データに対して、HRTFデータ記憶部１３５から読み出したHRTFデータを用いた音像定位処理を行い、それぞれの聴取ユーザ用の音声データを生成する。
　また、音像定位処理部１３４は、システム音声管理部１３６から供給されたシステム音声のデータに対して、所定のHRTFデータを用いた音像定位処理を行う。システム音声は、コミュニケーション管理サーバ１側で発生させ、発話ユーザの音声とともに聴取ユーザに聴かせる音声である。システム音声には、例えば、BGMなどの背景音や、効果音が含まれる。システム音声は、ユーザの音声とは異なる音声である。
　すなわち、コミュニケーション管理サーバ１においては、背景音や効果音などの、発話ユーザの音声以外の音声についても、オブジェクトオーディオとして処理が行われる。システム音声の音声データに対しても、仮想空間の所定の位置に音像を定位させるための音像定位処理が行われる。例えば、参加者の位置よりも遠い位置に音像を定位させるための音像定位処理が、背景音の音声データに対して施される。
　音像定位処理部１３４は、音像定位処理を行うことによって得られた音声データを2chミックス処理部１３７に出力する。2chミックス処理部１３７に対しては、発話ユーザの音声データと、適宜、システム音声の音声データが出力される。
　HRTFデータ記憶部１３５は、仮想空間上のそれぞれの聴取位置を基準とした、複数の位置に対応するHRTFデータを記憶する。
　システム音声管理部１３６は、システム音声を管理する。システム音声管理部１３６は、システム音声の音声データを音像定位処理部１３４に出力する。
　2chミックス処理部１３７は、音像定位処理部１３４から供給された音声データに対して2chミックス処理を行う。2chミックス処理が施されることにより、発話ユーザの音声とシステム音声のそれぞれのオーディオ信号Ｌとオーディオ信号Ｒの成分を含む、チャンネルベースのオーディオデータが生成される。2chミックス処理が施されることによって得られた音声データは音声送信部１３８に出力される。
　音声送信部１３８は、通信部１０９を制御し、2chミックス処理部１３７から供給された音声データをそれぞれの聴取ユーザが使用するクライアント端末２に送信する。
＜クライアント端末２の構成＞
　図１３は、クライアント端末２のハードウェア構成例を示すブロック図である。
　クライアント端末２は、制御部２０１に対して、メモリ２０２、音声入力デバイス２０３、音声出力デバイス２０４、操作部２０５、通信部２０６、ディスプレイ２０７、およびセンサ部２０８が接続されることによって構成される。
　制御部２０１は、CPU，ROM，RAMなどにより構成される。制御部２０１は、クライアントプログラム２０１Ａを実行することによって、クライアント端末２の全体の動作を制御する。クライアントプログラム２０１Ａは、コミュニケーション管理サーバ１が管理するTele-communicationシステムを利用するためのプログラムである。クライアントプログラム２０１Ａには、送信側の処理を実行する送信側モジュール２０１Ａ－１と、受信側の処理を実行する受信側モジュール２０１Ａ－２が含まれる。
　メモリ２０２は、フラッシュメモリなどにより構成される。メモリ２０２は、制御部２０１が実行するクライアントプログラム２０１Ａなどの各種の情報を記憶する。
　音声入力デバイス２０３は、マイクにより構成される。音声入力デバイス２０３により集音された音声は、マイク音声として制御部２０１に出力される。
　音声出力デバイス２０４は、ヘッドホンやスピーカなどの機器により構成される。音声出力デバイス２０４は、制御部２０１から供給されたオーディオ信号に基づいて、会議の参加者の音声などを出力させる。
　以下、適宜、音声入力デバイス２０３がマイクであるとして説明する。また、音声出力デバイス２０４がヘッドホンであるとして説明する。
　操作部２０５は、各種のボタンや、ディスプレイ２０７に重ねて設けられたタッチパネルにより構成される。操作部２０５は、ユーザの操作の内容を表す情報を制御部２０１に出力する。
　通信部２０６は、５Ｇ通信などの移動通信システムの無線通信に対応した通信モジュール、無線LANなどに対応した通信モジュールである。通信部２０６は、基地局が出力する電波を受信し、ネットワーク１１を介して、コミュニケーション管理サーバ１などの各種の装置との間で通信を行う。通信部２０６は、コミュニケーション管理サーバ１から送信されてきた情報を受信し、制御部２０１に出力する。また、通信部２０６は、制御部２０１から供給された情報をコミュニケーション管理サーバ１に送信する。
　ディスプレイ２０７は、有機ELディスプレイ、LCDなどにより構成される。ディスプレイ２０７には、リモート会議画面などの各種の画面が表示される。
　センサ部２０８は、RGBカメラ、デプスカメラ、ジャイロセンサ、加速度センサなどの各種のセンサにより構成される。センサ部２０８は、計測を行うことによって得られたセンサデータを制御部２０１に出力する。センサ部２０８により計測されたセンサデータに基づいて、ユーザの状況の認識などが適宜行われる。
　図１４は、クライアント端末２の機能構成例を示すブロック図である。図１４に示す機能部のうちの少なくとも一部は、図１３の制御部２０１によりクライアントプログラム２０１Ａが実行されることによって実現される。
　クライアント端末２においては情報処理部２１１が実現される。情報処理部２１１は、音声処理部２２１、設定情報送信部２２２、ユーザ状況認識部２２３、および表示制御部２２４により構成される。
　情報処理部２１１は、音声受信部２３１、出力制御部２３２、マイク音声取得部２３３、および音声送信部２３４により構成される。
　音声受信部２３１は、通信部２０６を制御し、コミュニケーション管理サーバ１から送信されてきた音声データを受信する。音声受信部２３１により受信された音声データは出力制御部２３２に供給される。
　出力制御部２３２は、コミュニケーション管理サーバ１から送信されてきた音声データに応じた音声を音声出力デバイス２０４から出力させる。
　マイク音声取得部２３３は、音声入力デバイス２０３を構成するマイクにより集音されたマイク音声の音声データを取得する。マイク音声取得部２３３により取得されたマイク音声の音声データは音声送信部２３４に供給される。
　音声送信部２３４は、通信部２０６を制御し、マイク音声取得部２３３から供給されたマイク音声の音声データをコミュニケーション管理サーバ１に送信する。
　設定情報送信部２２２は、ユーザの操作に応じて、各種の設定の内容を表す設定情報を生成する。設定情報送信部２２２は、通信部２０６を制御し、設定情報をコミュニケーション管理サーバ１に送信する。
　ユーザ状況認識部２２３は、センサ部２０８により計測されたセンサデータに基づいてユーザの状況を認識する。ユーザ状況認識部２２３は、通信部２０６を制御し、ユーザの状況を表す情報をコミュニケーション管理サーバ１に送信する。
　表示制御部２２４は、通信部２０６を制御することによってコミュニケーション管理サーバ１との間で通信を行い、コミュニケーション管理サーバ１から送信されてきた情報に基づいて、リモート会議画面をディスプレイ２０７に表示させる。
＜＜音像定位のユースケース＞＞
　会議の参加者による発話音声を含む各種の音声の音像定位のユースケースについて説明する。
＜バーチャルリアクション機能＞
　バーチャルリアクション機能は、他のユーザに自分の反応を伝えるときに用いられる機能である。コミュニケーション管理サーバ１により実現されるリモート会議には、例えば、バーチャルリアクション機能である拍手機能が用意される。拍手機能を利用して拍手の効果音を出力することが、クライアント端末２のディスプレイ２０７にGUIとして表示される画面から指示される。
　図１５は、リモート会議画面の例を示す図である。
　図１５に示すリモート会議画面には、会議に参加しているユーザを表す参加者アイコンＩ３１乃至Ｉ３３が表示される。図１５に示すリモート会議画面が、ユーザＡが使用するクライアント端末２Ａに表示される画面であるとすると、参加者アイコンＩ３１乃至Ｉ３３はそれぞれユーザＢ乃至Ｄを表す。参加者アイコンＩ３１乃至Ｉ３３は、ユーザＢ乃至Ｄの仮想空間上の位置に応じた位置に表示される。
　参加者アイコンＩ３１乃至Ｉ３３の下には、バーチャルリアクションボタン３０１が表示される。バーチャルリアクションボタン３０１は、拍手の効果音の出力を指示するときに押下されるボタンである。ユーザＢ乃至Ｄが使用するクライアント端末２にも同様の画面が表示される。
　例えば、ユーザＢとユーザＣがバーチャルリアクションボタン３０１を押下した場合、図１６に示すように、ユーザＢとユーザＣが拍手機能を利用していることを表すアイコンが参加者アイコンＩ３１と参加者アイコンＩ３２の隣に表示される。
　また、拍手の効果音がシステム音声としてコミュニケーション管理サーバ１側で再生され、発話ユーザの音声とともに、それぞれの聴取ユーザに届けられる。拍手の効果音の音声データに対しても、所定の位置に音像を定位させるための音像定位処理が行われる。
　図１７は、バーチャルリアクション機能を用いた効果音の出力に関する処理の流れを示す図である。
　バーチャルリアクションボタン３０１が押下された場合、拍手の効果音の出力が指示されたことを表す操作情報が、矢印Ａ１１，Ａ１２に示すように、クライアント端末２からコミュニケーション管理サーバ１に送信される。
　矢印Ａ１３，Ａ１４に示すようにクライアント端末２からマイク音声が送信されてきた場合、コミュニケーション管理サーバ１においては、拍手の効果音がマイク音声に追加され、発話ユーザの音声データと、効果音の音声データのそれぞれに対して、位置関係に応じたHRTFデータを用いた音像定位処理が行われる。
　例えば、拍手の効果音の出力を指示したユーザの位置と同じ位置に音像を定位させるための音像定位処理が、効果音の音声データに対して施される。この場合、拍手の効果音の音像が、拍手の効果音の出力を指示したユーザの位置と同じ位置に定位して感じられることになる。
　拍手の効果音の出力を指示したユーザが複数いる場合、拍手の効果音の出力を指示した複数のユーザの位置の重心位置に音像を定位させるための音像定位処理が、効果音の音声データに対して施される。この場合、拍手の効果音の音像が、拍手の効果音の出力を指示したユーザが密になっている位置に定位して感じられることになる。重心位置ではなく、拍手の効果音の出力を指示したユーザの位置に基づいて選択される様々な位置に効果音の音像を定位させるようにすることが可能である。
　音像定位処理により生成された音声データは、矢印Ａ１５に示すようにそれぞれの聴取ユーザが使用するクライアント端末２に送信され、出力される。
　この例においては、拍手の効果音の出力が特定のユーザにより指示された場合、拍手機能の実行といったアクションに応じて、拍手の効果音の音像を所定の位置に定位させるためのHRTFデータが選択される。また、選択されたHRTFデータを用いた音像定位処理によって得られた音声データに基づいて、拍手の効果音が、音声コンテンツとしてそれぞれの聴取ユーザに提供される。
　なお、図１７において、複数のブロックを用いて最上段に示すマイク音声＃１乃至＃Ｎは、それぞれ、異なるクライアント端末２において検出された発話ユーザの音声である。また、１つのブロックを用いて最下段に示す音声出力は、１人の聴取ユーザが使用するクライアント端末２での出力を表す。
　図１７の左側に示すように、例えば、バーチャルリアクションの送出の指示に関する矢印Ａ１１，Ａ１２で示される機能は、送信側モジュール２０１Ａ－１により実現される。また、HRTFデータを用いた音像定位処理は、サーバプログラム１０１Ａにより実現される。
　図１８のフローチャートを参照して、バーチャルリアクション機能を用いた効果音の出力に関するコミュニケーション管理サーバ１の制御処理について説明する。
　コミュニケーション管理サーバ１の制御処理のうち、図８を参照して説明した内容と重複する内容については適宜説明を省略する。後述する図２１等においても同様である。
　ステップＳ１０１において、システム音声管理部１３６（図１１）は、拍手の効果音の出力が指示されたことを表す操作情報を受信する。ユーザがバーチャルリアクションボタン３０１を押下した場合、そのユーザが使用するクライアント端末２からは、拍手の効果音の出力が指示されたことを表す操作情報が送信されてくる。操作情報の送信は、例えばクライアント端末２のユーザ状況認識部２２３（図１４）により行われる。
　ステップＳ１０２において、音声受信部１３１は、発話ユーザが使用するクライアント端末２から送信されてきた音声データを受信する。音声受信部１３１により受信された音声データは、信号処理部１３２を介して音像定位処理部１３４に供給される。
　ステップＳ１０３において、システム音声管理部１３６は、拍手の効果音の音声データを音像定位処理部１３４に出力し、音像定位処理の対象の音声データとして追加する。
　ステップＳ１０４において、音像定位処理部１３４は、聴取ユーザの位置と発話ユーザの位置との位置関係に応じたHRTFデータと、聴取ユーザの位置と拍手の効果音の位置との位置関係に応じたHRTFデータをHRTFデータ記憶部１３５から読み出して取得する。拍手の効果音の位置は、拍手の効果音の音像を定位させる位置として上述したような所定の位置が選択される。
　音像定位処理部１３４は、発話ユーザの音声データに対して発話音声用のHRTFデータを用いた音像定位処理を行い、拍手の効果音の音声データに対して効果音用のHRTFデータを用いた音像定位処理を行う。
　ステップＳ１０５において、音声送信部１３８は、音像定位処理によって得られた音声データを聴取ユーザが使用するクライアント端末２に送信する。
　以上の処理により、聴取ユーザが使用するクライアント端末２においては、発話ユーザの音声の音像と、拍手の効果音の音像とがそれぞれ所定の位置に定位して感じられることになる。
　なお、発話ユーザの音声データと拍手の効果音の音声データのそれぞれに対して音像定位処理が行われるのではなく、発話ユーザの音声データに拍手の効果音の音声データを合成して得られた合成後の音声データに対して、音像定位処理が行われるようにしてもよい。これによっても、拍手の効果音の音像が、拍手の効果音の出力を指示したユーザの位置と同じ位置に定位する。
　以上の処理により、個々のユーザの共感や驚きなどを表現する拍手の効果音を、共通の音声としてユーザ全員で共有することが可能となる。
　また、拍手の効果音の音像が、その出力を指示したユーザの位置と同じ位置などに定位して感じられるため、それぞれの聴取ユーザは、共感や驚きなどの反応を示しているユーザがだれであるのかを直感的に認識することができる。
　発話ユーザのマイク音声と拍手の効果音を含む音声の出力が以下のようにして行われるようにしてもよい。
（Ａ）図１７の矢印Ａ１６の先に示すように、クライアント端末２側（送信側モジュール２０１Ａ－１）のフィルタ処理によって声質を変化させたマイク音声がコミュニケーション管理サーバ１に送信される。例えば、老人の声質や子供の声質などに変化させるためのフィルタ処理が発話ユーザのマイク音声に対して行われる。
（Ｂ）効果音の出力を同時に指示したユーザの人数に応じて、システム音声として再生される効果音の種類が変更される。例えば、拍手の効果音の出力を指示したユーザの人数が、閾値となる人数以上である場合、拍手の効果音に代えて、大人数の歓声を表す効果音が再生され、聴取ユーザに届けられる。効果音の種類の選択は、システム音声管理部１３６により行われる。
　歓声を表す効果音に対しては、聴取ユーザの位置の近くの位置、上の方の位置、下の方の位置といったように、所定の位置に定位させるためのHRTFデータが選択され、音像定位処理が行われる。
　効果音の出力を同時に指示したユーザの人数に応じて、効果音の音像を定位させる位置が変更されるようにしてもよいし、音量が変更されるようにしてもよい。
　喜びを表現する機能、怒っていることを表現する機能といったように、拍手とは異なる他の反応を伝える機能がバーチャルリアクション機能として用意されるようにしてもよい。反応の種類毎に、異なる音声データが再生され、効果音として出力される。反応の種類毎に、音像を定位させる位置が変更されるようにしてもよい。
＜耳打ち機能＞
　耳打ち機能は、１人のユーザを聴取ユーザとして指定し、発話を行う機能である。発話ユーザの音声は、指定したユーザにだけ届けられ、他のユーザには届けられない。耳打ち機能を利用して１人のユーザに音声を届けることが、クライアント端末２のディスプレイ２０７にGUIとして表示される画面から指定される。
　図１９は、リモート会議画面の例を示す図である。
　図１５を参照して説明した画面と同様に、リモート会議画面には、会議に参加しているユーザを表す参加者アイコンＩ３１乃至Ｉ３３が表示される。図１９に示すリモート会議画面が、ユーザＡが使用するクライアント端末２Ａに表示される画面であるとすると、参加者アイコンＩ３１乃至Ｉ３３はそれぞれユーザＢ乃至Ｄを表す。
　例えば、カーソルを用いて参加者アイコンＩ３１がユーザＡにより選択された場合、音声の聴取先である耳打ち対象のユーザとしてユーザＢが指定された状態になる。ユーザＢを表す参加者アイコンＩ３１は、図１９に示すように強調表示される。
　この状態でユーザＡが発話を行った場合、コミュニケーション管理サーバ１においては、ユーザＡの音声データに対して、耳打ち対象のユーザとして指定されたユーザＢの耳元で音像を定位させるための音像定位処理が行われる。
　なお、デフォルトの状態は、耳打ち対象のユーザが指定されていない状態である。発話ユーザの音声は、聴取ユーザと発話ユーザの位置関係に応じた位置に音像が定位するように、他のユーザ全員に届けられる。
　図２０は、耳打ち機能を用いた音声の出力に関する処理の流れを示す図である。
　参加者アイコンを選択することによって耳打ち対象のユーザが指定された場合、耳打ち対象のユーザが指定されたことを表す操作情報が、矢印Ａ２１に示すように、クライアント端末２からコミュニケーション管理サーバ１に送信される。
　カメラにより撮影された画像が解析され、耳打ちをする姿勢が推定されたことに応じて、矢印Ａ２２に示すように、耳打ち対象のユーザが指定されたことを表す操作情報が送信されるようにしてもよい。
　矢印Ａ２３に示すように、耳打ちをしたユーザが使用するクライアント端末２からマイク音声が送信されてきた場合、コミュニケーション管理サーバ１においては、マイク音声＃１の音声データに対して、耳打ち対象として指定されたユーザの耳元の位置で音像を定位させるための音像定位処理が行われる。すなわち、耳打ち対象として指定されたユーザの耳元の位置に応じたHRTFデータが選択され、音像定位処理に用いられる。
　図２０において、矢印Ａ２３で示すマイク音声＃１は、耳打ちをしたユーザ、すなわち、耳打ち機能を利用して、１人のユーザを耳打ち対象のユーザとして指定した発話ユーザの音声である。
　音像定位処理により生成された音声データは、矢印Ａ２４に示すように、耳打ち対象のユーザが使用するクライアント端末２に送信され、出力される。
　一方、矢印Ａ２５に示すように、耳打ち機能を利用していないユーザが使用するクライアント端末２からマイク音声が送信されてきた場合、コミュニケーション管理サーバ１においては、聴取ユーザと発話ユーザとの位置関係に応じたHRTFデータを用いて音像定位処理が行われる。
　音像定位処理により生成された音声データは、矢印Ａ２６に示すように、聴取ユーザが使用するクライアント端末２に送信され、出力される。
　この例においては、耳打ち対象のユーザが特定のユーザにより指示された場合、耳打ち機能の実行といったアクションに応じて、耳打ち機能を利用するユーザの音声の音像を、耳打ち対象のユーザの耳元に定位させるためのHRTFデータが選択される。また、選択されたHRTFデータを用いた音像定位処理によって得られた音声データに基づいて、耳打ち機能を利用するユーザの音声が、音声コンテンツとして耳打ち対象のユーザに提供される。
　図２１のフローチャートを参照して、耳打ち機能を用いた音声の出力に関するコミュニケーション管理サーバ１の制御処理について説明する。
　ステップＳ１１１において、システム音声管理部１３６は、耳打ち対象のユーザが選択されたことを表す操作情報を受信する。あるユーザが耳打ち対象のユーザを選択した場合、そのユーザが使用するクライアント端末２からは、耳打ち対象のユーザが選択されたことを表す操作情報が送信されてくる。操作情報の送信は、例えばクライアント端末２のユーザ状況認識部２２３により行われる。
　ステップＳ１１２において、音声受信部１３１は、耳打ちをしたユーザが使用するクライアント端末２から送信されてきた音声データを受信する。音声受信部１３１により受信された音声データは音像定位処理部１３４に供給される。
　ステップＳ１１３において、音像定位処理部１３４は、耳打ち対象のユーザの耳元の位置に応じたHRTFデータをHRTFデータ記憶部１３５から読み出して取得する。また、音像定位処理部１３４は、耳打ち対象のユーザの耳元に音像を定位させるように、発話ユーザ（耳打ちをしたユーザ）の音声データに対してHRTFデータを用いた音像定位処理を行う。
　ステップＳ１１４において、音声送信部１３８は、音像定位処理によって得られた音声データを耳打ち対象のユーザが使用するクライアント端末２に送信する。
　耳打ち対象のユーザが使用するクライアント端末２においては、コミュニケーション管理サーバ１から送信されてきた音声データに基づいて、耳打ちをしたユーザの音声が出力される。耳打ち対象として選択されたユーザは、音像を耳元に感じながら、耳打ちをしたユーザの音声を聴くことになる。
　以上の処理により、会議の参加者が複数いる場合であっても、発話ユーザは、１人のユーザを指定して、そのユーザにだけ話しかけることができる。
　耳打ち対象のユーザとして複数のユーザを指定することができるようにしてもよい。
　また、耳打ち対象として選択されたユーザ（聴取ユーザ）に対して、耳打ちをしたユーザの音声とともに、同時に発話している他のユーザの音声が届けられるようにしてもよい。この場合、耳打ちをしたユーザの音声データに対しては、聴取ユーザの耳元に音像が定位するように音像定位処理が行われる。また、耳打ちをしていない、他のユーザの音声データに対しては、聴取ユーザの位置と発話ユーザの位置との位置関係に応じたHRTFデータを用いた音像定位処理が行われる。
　耳打ち対象のユーザの耳元ではなく、耳打ち対象のユーザの近傍の任意の位置に、耳打ちをしたユーザの音声の音像を定位させることが可能である。音像を定位させる位置を、耳打ちをしたユーザが指定することができるようにしてもよい。
＜フォーカス機能＞
　フォーカス機能は、１人のユーザをフォーカス対象として指定し、そのユーザの音声を聞きやすくする機能である。上述した耳打ち機能が、発話側のユーザが利用する機能であるのに対して、フォーカス機能は、聴取側のユーザが利用する機能である。フォーカス対象のユーザが、クライアント端末２のディスプレイ２０７にGUIとして表示される画面から指定される。
　図２２は、リモート会議画面の例を示す図である。
　図１５を参照して説明した画面と同様に、リモート会議画面には、会議に参加しているユーザを表す参加者アイコンＩ３１乃至Ｉ３３が表示される。図２２に示すリモート会議画面が、ユーザＡが使用するクライアント端末２Ａに表示される画面であるとすると、参加者アイコンＩ３１乃至Ｉ３３はそれぞれユーザＢ乃至Ｄを表す。
　例えば、カーソルを用いて参加者アイコンＩ３１がユーザＡにより選択された場合、フォーカス対象のユーザとしてユーザＢが指定された状態になる。ユーザＢを表す参加者アイコンＩ３１は、図２２に示すように強調表示される。
　この状態でユーザＢが発話を行った場合、コミュニケーション管理サーバ１においては、ユーザＢの音声データに対して、ユーザＢをフォーカス対象のユーザとして指定したユーザＡの近くで音像を定位させるための音像定位処理が行われる。フォーカス対象として指定されていないユーザＣとユーザＤが発話を行った場合、ユーザＣの音声データとユーザＤの音声データに対しては、それぞれ、ユーザＡとの位置関係に応じたHRTFデータを用いた音像定位処理が行われる。
　なお、デフォルトの状態は、フォーカス対象のユーザが指定されていない状態である。発話ユーザの音声は、聴取ユーザと発話ユーザの位置関係に応じた位置に音像が定位するように、他のユーザ全員に届けられる。
　図２３は、フォーカス機能を用いた音声の出力に関する処理の流れを示す図である。
　参加者アイコンを選択することによってフォーカス対象のユーザが指定された場合、フォーカス対象のユーザが指定されたことを表す操作情報が、矢印Ａ３１に示すように、クライアント端末２からコミュニケーション管理サーバ１に送信される。
　カメラにより撮影された画像が解析され、視線検出などに基づいてフォーカス対象が推定されたことに応じて、矢印Ａ３２に示すように、フォーカス対象のユーザが指定されたことを表す操作情報が送信されるようにしてもよい。
　矢印Ａ３３，Ａ３４に示すようにクライアント端末２からマイク音声が送信されてきた場合、コミュニケーション管理サーバ１においては、フォーカス対象のユーザのマイク音声の音声データに対して、ユーザの近くに音像を定位させるための音像定位処理が行われる。すなわち、フォーカス対象を指定したユーザの位置の近くの位置に応じたHRTFデータが選択され、音像定位処理に用いられる。
　また、フォーカス対象のユーザ以外のユーザのマイク音声の音声データに対して、ユーザから離れた位置に音像を定位させるための音像定位処理が行われる。すなわち、フォーカス対象を指定したユーザの位置から離れた位置に応じたHRTFデータが選択され、音像定位処理に用いられる。
　図２３の例においては、例えば、矢印Ａ３３で示すマイク音声＃１は、フォーカス対象のユーザのマイク音声である。マイク音声＃１の音声データは、フォーカス対象のユーザが使用するクライアント端末２からコミュニケーション管理サーバ１に送信される。
　また、矢印Ａ３４で示すマイク音声＃Ｎは、フォーカス対象のユーザ以外のユーザのマイク音声である。マイク音声＃Ｎの音声データは、フォーカス対象のユーザ以外のユーザが使用するクライアント端末２からコミュニケーション管理サーバ１に送信される。
　音像定位処理により生成された音声データは、矢印Ａ３５に示すように、フォーカス対象を指定したユーザが使用するクライアント端末２に送信され、出力される。
　この例においては、フォーカス対象のユーザが特定のユーザにより選択された場合、フォーカス機能の実行といったアクションに応じて、フォーカス対象のユーザの音声の音像を、フォーカス対象を選択したユーザの近くに定位させるためのHRTFデータが選択される。また、選択されたHRTFデータを用いた音像定位処理によって得られた音声データに基づいて、フォーカス対象のユーザの音声が、音声コンテンツとして、フォーカス対象を選択したユーザに提供される。
　図２４のフローチャートを参照して、フォーカス機能を用いた音声の出力に関するコミュニケーション管理サーバ１の制御処理について説明する。
　ステップＳ１２１において、参加者情報管理部１３３は、フォーカス対象のユーザが選択されたことを表す操作情報を受信する。あるユーザがフォーカス対象のユーザを選択した場合、そのユーザが使用するクライアント端末２からは、フォーカス対象のユーザが選択されたことを表す操作情報が送信されてくる。操作情報の送信は、例えばクライアント端末２のユーザ状況認識部２２３により行われる。
　ステップＳ１２２において、音声受信部１３１は、クライアント端末２から送信されてきた音声データを受信する。例えば、フォーカス対象のユーザの音声データとともに、フォーカス対象のユーザ以外のユーザ（フォーカス対象として選択されてないユーザ）の音声データが受信される。音声受信部１３１により受信された音声データは音像定位処理部１３４に供給される。
　ステップＳ１２３において、音像定位処理部１３４は、フォーカス対象を選択したユーザの近くの位置に応じたHRTFデータをHRTFデータ記憶部１３５から読み出して取得する。また、音像定位処理部１３４は、フォーカス対象を選択したユーザの近くに音像を定位させるように、フォーカス対象のユーザの音声データに対して、取得したHRTFデータを用いた音像定位処理を行う。
　ステップＳ１２４において、音像定位処理部１３４は、フォーカス対象を選択したユーザから離れた位置に応じたHRTFデータをHRTFデータ記憶部１３５から読み出して取得する。また、音像定位処理部１３４は、フォーカス対象を選択したユーザから離れた位置に音像を定位させるように、フォーカス対象のユーザ以外のユーザの音声データに対して、取得したHRTFデータを用いた音像定位処理を行う。
　ステップＳ１２５において、音声送信部１３８は、音像定位処理によって得られた音声データを、フォーカス対象を選択したユーザが使用するクライアント端末２に送信する。
　フォーカス対象を選択したユーザが使用するクライアント端末２においては、コミュニケーション管理サーバ１から送信されてきた音声データに基づいて、発話ユーザの音声が出力される。フォーカス対象を選択したユーザは、音像を近くに感じながら、フォーカス対象のユーザの音声を聴くことになる。また、フォーカス対象を選択したユーザは、音像を離れた位置に感じながら、フォーカス対象のユーザ以外のユーザの音声を聴くことになる。
　以上の処理により、会議の参加者が複数いる場合であっても、ユーザは、１人のユーザを指定して、そのユーザの発話を集中して聴くことができる。
　フォーカス対象のユーザとして複数のユーザを選択することができるようにしてもよい。
　フォーカス対象のユーザを選択するのではなく、遠ざけたいユーザを選択することができるようにしてもよい。この場合、遠ざけたいユーザとして選択されたユーザの音声の音声データに対しては、聴取ユーザから離れた位置に音像が定位するように音像定位処理が行われる。
＜音像定位処理の動的切り替え＞
　レンダリングなどを含むオブジェクトオーディオの処理である音像定位処理をコミュニケーション管理サーバ１側で行うのか、クライアント端末２側で行うのかが動的に切り替えられる。
　この場合、コミュニケーション管理サーバ１の図１１に示す構成のうちの、少なくとも、音像定位処理部１３４、HRTFデータ記憶部１３５、2chミックス処理部１３７と同様の構成が、クライアント端末２にも設けられる。音像定位処理部１３４、HRTFデータ記憶部１３５、2chミックス処理部１３７と同様の構成は、例えば、受信側モジュール２０１Ａ－２によって実現される。
　聴取ユーザの位置情報などの、音像定位処理に用いるパラメータの設定が会議中に変更され、その変更をリアルタイムで音像定位処理に反映させる場合、音像定位処理はクライアント端末２側で行われる。音像定位処理がローカルで行われることにより、パラメータの変更に対するレスポンスを早くすることが可能となる。
　一方、パラメータの設定変更が一定時間以上ない場合、音像定位処理はコミュニケーション管理サーバ１側で行われる。音像定位処理がサーバ上で行われることにより、コミュニケーション管理サーバ１－クライアント端末２間のデータ通信量を抑えることが可能となる。
　図２５は、音像定位処理の動的切り替えに関する処理の流れを示す図である。
　音像定位処理がクライアント端末２側で行われる場合、矢印Ａ１０１，Ａ１０２に示すようにクライアント端末２から送信されてきたマイク音声は、矢印Ａ１０３に示すように、そのまま、クライアント端末２に送信される。マイク音声の送信元となるクライアント端末２は発話ユーザが使用するクライアント端末２であり、マイク音声の送信先となるクライアント端末２は聴取ユーザが使用するクライアント端末２である。
　聴取ユーザの位置などの、音像の定位に関するパラメータの設定が矢印Ａ１０４に示すように聴取ユーザにより変更された場合、設定の変更をリアルタイムで反映して、コミュニケーション管理サーバ１から送信されてきたマイク音声に対して音像定位処理が行われる。
　クライアント端末２側での音像定位処理により生成された音声データに応じた音声が、矢印Ａ１０５に示すように出力される。
　クライアント端末２においては、パラメータの設定の変更内容が保存され、変更内容を表す情報が矢印Ａ１０６に示すようにコミュニケーション管理サーバ１に送信される。
　音像定位処理がコミュニケーション管理サーバ１側で行われる場合、矢印Ａ１０７，Ａ１０８に示すようにクライアント端末２から送信されてきたマイク音声に対しては、変更後のパラメータを反映して、音像定位処理が行われる。
　音像定位処理により生成された音声データは、矢印Ａ１０９に示すように聴取ユーザが使用するクライアント端末２に送信され、出力される。
　図２６のフローチャートを参照して、音像定位処理の動的切り替えに関するコミュニケーション管理サーバ１の制御処理について説明する。
　ステップＳ２０１において、パラメータの設定変更が一定時間以上ないか否かが判定される。この判定は、例えば、聴取ユーザが使用するクライアント端末２から送信されてくる情報に基づいて、参加者情報管理部１３３により行われる。
　パラメータの設定変更があるとステップＳ２０１において判定された場合、ステップＳ２０２において、音声送信部１３８は、参加者情報管理部１３３により受信された発話ユーザの音声データを、そのまま、聴取ユーザが使用するクライアント端末２に送信する。送信される音声データは、オブジェクトオーディオのデータとなる。
　クライアント端末２においては、変更後の設定を用いて音像定位処理が行われ、音声の出力が行われる。また、変更後の設定の内容を表す情報がコミュニケーション管理サーバ１に対して送信される。
　ステップＳ２０３において、参加者情報管理部１３３は、クライアント端末２から送信されてきた、設定変更の内容を表す情報を受信する。クライアント端末２から送信されてきた情報に基づいて、聴取ユーザの位置情報の更新などが行われた後、ステップＳ２０１に戻り、それ以降の処理が行われる。コミュニケーション管理サーバ１側で行われる音像定位処理は、更新後の位置情報に基づいて行われる。
　一方、パラメータの設定変更がないとステップＳ２０１において判定された場合、ステップＳ２０４において、コミュニケーション管理サーバ１側での音像定位処理が行われる。ステップＳ２０４において行われる処理は、基本的には、図８を参照して説明した処理と同様の処理である。
　以上の処理が、位置の変更だけでなく、背景音の設定の変更などの、他のパラメータが変更された場合にも行われる。
＜音響設定の管理＞
　背景音に適した音響設定がデータベース化され、コミュニケーション管理サーバ１において管理されるようにしてもよい。例えば、背景音の種類毎に、音像を定位させる位置として適した位置が設定され、設定された位置に応じたHRTFデータが保存される。リバーブなどの、他の音響設定に関するパラメータが保存されるようにしてもよい。
　図２７は、音響設定の管理に関する処理の流れを示す図である。
　発話ユーザの音声に背景音を合成させる場合、コミュニケーション管理サーバ１においては、背景音が再生され、矢印Ａ１２１に示すように、背景音に適したHRTFデータなどの音響設定を用いて音像定位処理が行われる。
　音像定位処理により生成された音声データは、矢印Ａ１２２に示すように聴取ユーザが使用するクライアント端末２に送信され、出力される。
＜＜変形例＞＞
　複数のユーザにより行われる会話がリモート会議での会話であるものとしたが、食事の場面での会話、講演会での会話などの、複数人がオンライン経由で参加する会話であれば、様々な種類の会話に上述した技術は適用可能である。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１０に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。音声出力デバイスとしてヘッドホンまたはスピーカが用いられるものとしたが、他のデバイスが用いられるようにしてもよい。例えば、通常のイヤホン（インナーイヤーヘッドホン）や、環境音の取り込みが可能な開放型のイヤホンが音声出力デバイスとして用いられるようにすることが可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶する記憶部と、
　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する音像定位処理部と
　を備える情報処理装置。
（２）
　前記音像定位処理部は、効果音の出力を指示する前記アクションが前記特定の参加者により行われることに応じて、前記効果音を出力するための前記音声コンテンツを提供する
　前記（１）に記載の情報処理装置。
（３）
　前記音像定位処理部は、仮想空間における、聴取者となる前記参加者の位置と、前記アクションを行った前記特定の参加者の位置との関係に応じた前記HRTFデータを用いて、前記効果者の音声データに対して前記音像定位処理を行う
　前記（２）に記載の情報処理装置。
（４）
　前記音像定位処理部は、音声の聴取先とする前記参加者を選択する前記アクションが前記特定の参加者により行われることに応じて、前記特定の参加者の音声を出力するための前記音声コンテンツを提供する
　前記（１）に記載の情報処理装置。
（５）
　前記聴取先とする前記参加者の選択は、画面上に表示された、前記参加者を視覚的に表す視覚情報を用いて行われる
　前記（４）に記載の情報処理装置。
（６）
　前記音像定位処理部は、仮想空間における、前記聴取先とする前記参加者の耳元の位置に応じた前記HRTFデータを用いて、前記特定の参加者の音声データに対して前記音像定位処理を行う
　前記（４）または（５）に記載の情報処理装置。
（７）
　前記音像定位処理部は、フォーカス対象の発話者を選択する前記アクションが前記特定の参加者により行われることに応じて、前記発話者の音声を出力するための前記音声コンテンツを提供する
　前記（１）に記載の情報処理装置。
（８）
　フォーカス対象の前記発話者の選択は、画面上に表示された、前記参加者を視覚的に表す視覚情報を用いて行われる
　前記（７）に記載の情報処理装置。
（９）
　前記音像定位処理部は、仮想空間における、前記特定の参加者の位置の近傍の位置に応じた前記HRTFデータを用いて、フォーカス対象の前記発話者の音声データに対して前記音像定位処理を行う
　前記（７）または（８）に記載の情報処理装置。
（１０）
　情報処理装置が、
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、
　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する
　情報処理方法。
（１１）
　コンピュータに、
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、
　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する
　処理を実行させるプログラム。
（１２）
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する音声受信部を備える
　情報処理端末。
（１３）
　前記音声受信部は、効果音の出力を指示する前記アクションが前記特定の参加者により行われることに応じて送信されてきた、前記効果音の音声データを受信する
　前記（１２）に記載の情報処理端末。
（１４）
　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの位置と、前記アクションを行った前記特定の参加者の位置との関係に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られた前記効果者の音声データを受信する
　前記（１３）に記載の情報処理端末。
（１５）
　前記音声受信部は、音声の聴取先とする前記参加者として前記情報処理端末のユーザを選択する前記アクションが前記特定の参加者により行われることに応じて送信されてきた、前記特定の参加者の音声データを受信する
　前記（１２）に記載の情報処理端末。
（１６）
　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの耳元の位置に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られた前記特定の参加者の音声データを受信する
　前記（１５）に記載の情報処理端末。
（１７）
　前記音声受信部は、フォーカス対象の発話者を選択する前記アクションが、前記特定の参加者としての前記情報処理端末のユーザにより行われることに応じて送信されてきた、フォーカス対象の前記発話者の音声データを受信する
　前記（１２）に記載の情報処理端末。
（１８）
　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの位置の近傍の位置に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られたフォーカス対象の前記発話者の音声データを受信する
　前記（１７）に記載の情報処理端末。
（１９）
　情報処理端末が、
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する
　情報処理方法。
（２０）
　コンピュータに、
　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する
　処理を実行させるプログラム。
　１　コミュニケーション管理サーバ，　２Ａ乃至２Ｄ　クライアント端末，　１２１　情報処理部，　１３１　音声受信部，　１３２　信号処理部，　１３３　参加者情報管理部，　１３４　音像定位処理部，　１３５　HRTFデータ記憶部，　１３６　システム音声管理部，　１３７　2chミックス処理部，　１３８　音声送信部，　２０１　制御部，　２１１　情報処理部，　２２１　音声処理部，　２２２　設定情報送信部，　２２３　ユーザ状況認識部，　２３１　音声受信部，　２３３　マイク音声取得部

Claims (20)

  1. 　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶する記憶部と、
    　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する音像定位処理部と
    　を備える情報処理装置。
  2. 　前記音像定位処理部は、効果音の出力を指示する前記アクションが前記特定の参加者により行われることに応じて、前記効果音を出力するための前記音声コンテンツを提供する
    　請求項１に記載の情報処理装置。
  3. 　前記音像定位処理部は、仮想空間における、聴取者となる前記参加者の位置と、前記アクションを行った前記特定の参加者の位置との関係に応じた前記HRTFデータを用いて、前記効果者の音声データに対して前記音像定位処理を行う
    　請求項２に記載の情報処理装置。
  4. 　前記音像定位処理部は、音声の聴取先とする前記参加者を選択する前記アクションが前記特定の参加者により行われることに応じて、前記特定の参加者の音声を出力するための前記音声コンテンツを提供する
    　請求項１に記載の情報処理装置。
  5. 　前記聴取先とする前記参加者の選択は、画面上に表示された、前記参加者を視覚的に表す視覚情報を用いて行われる
    　請求項４に記載の情報処理装置。
  6. 　前記音像定位処理部は、仮想空間における、前記聴取先とする前記参加者の耳元の位置に応じた前記HRTFデータを用いて、前記特定の参加者の音声データに対して前記音像定位処理を行う
    　請求項４に記載の情報処理装置。
  7. 　前記音像定位処理部は、フォーカス対象の発話者を選択する前記アクションが前記特定の参加者により行われることに応じて、前記発話者の音声を出力するための前記音声コンテンツを提供する
    　請求項１に記載の情報処理装置。
  8. 　フォーカス対象の前記発話者の選択は、画面上に表示された、前記参加者を視覚的に表す視覚情報を用いて行われる
    　請求項７に記載の情報処理装置。
  9. 　前記音像定位処理部は、仮想空間における、前記特定の参加者の位置の近傍の位置に応じた前記HRTFデータを用いて、フォーカス対象の前記発話者の音声データに対して前記音像定位処理を行う
    　請求項７に記載の情報処理装置。
  10. 　情報処理装置が、
    　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、
    　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する
    　情報処理方法。
  11. 　コンピュータに、
    　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、
    　ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する
    　処理を実行させるプログラム。
  12. 　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する音声受信部を備える
    　情報処理端末。
  13. 　前記音声受信部は、効果音の出力を指示する前記アクションが前記特定の参加者により行われることに応じて送信されてきた、前記効果音の音声データを受信する
    　請求項１２に記載の情報処理端末。
  14. 　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの位置と、前記アクションを行った前記特定の参加者の位置との関係に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られた前記効果者の音声データを受信する
    　請求項１３に記載の情報処理端末。
  15. 　前記音声受信部は、音声の聴取先とする前記参加者として前記情報処理端末のユーザを選択する前記アクションが前記特定の参加者により行われることに応じて送信されてきた、前記特定の参加者の音声データを受信する
    　請求項１２に記載の情報処理端末。
  16. 　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの耳元の位置に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られた前記特定の参加者の音声データを受信する
    　請求項１５に記載の情報処理端末。
  17. 　前記音声受信部は、フォーカス対象の発話者を選択する前記アクションが、前記特定の参加者としての前記情報処理端末のユーザにより行われることに応じて送信されてきた、フォーカス対象の前記発話者の音声データを受信する
    　請求項１２に記載の情報処理端末。
  18. 　前記音声受信部は、仮想空間における、前記情報処理端末のユーザの位置の近傍の位置に応じた前記HRTFデータを用いた前記音像定位処理が行われることによって得られたフォーカス対象の前記発話者の音声データを受信する
    　請求項１７に記載の情報処理端末。
  19. 　情報処理端末が、
    　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する
    　情報処理方法。
  20. 　コンピュータに、
    　聴取位置を基準とした複数の位置に対応するHRTFデータを記憶し、ネットワークを介して参加する会話の参加者のうちの特定の参加者によるアクションに応じて選択された前記HRTFデータを用いた音像定位処理を行うことによって、音像が所定の位置に定位するように、前記アクションに応じて選択された音声コンテンツを提供する情報処理装置から送信されてきた、前記音像定位処理を行うことによって得られた前記音声コンテンツを受信し、音声を出力する
    　処理を実行させるプログラム。
PCT/JP2021/031450 2020-09-10 2021-08-27 情報処理装置、情報処理端末、情報処理方法、およびプログラム WO2022054603A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/024,461 US20240031758A1 (en) 2020-09-10 2021-08-27 Information processing apparatus, information processing terminal, information processing method, and program
JP2022547498A JPWO2022054603A1 (ja) 2020-09-10 2021-08-27
DE112021004759.0T DE112021004759T5 (de) 2020-09-10 2021-08-27 Informationsverarbeitungsvorrichtung, informationsverarbeitungsendgerät, informationsverarbeitungsverfahren und programm
CN202180054730.8A CN116057927A (zh) 2020-09-10 2021-08-27 信息处理装置、信息处理终端、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020152417 2020-09-10
JP2020-152417 2020-09-10

Publications (1)

Publication Number Publication Date
WO2022054603A1 true WO2022054603A1 (ja) 2022-03-17

Family

ID=80631619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/031450 WO2022054603A1 (ja) 2020-09-10 2021-08-27 情報処理装置、情報処理端末、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20240031758A1 (ja)
JP (1) JPWO2022054603A1 (ja)
CN (1) CN116057927A (ja)
DE (1) DE112021004759T5 (ja)
WO (1) WO2022054603A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287878A (ja) * 2005-04-05 2006-10-19 Matsushita Electric Ind Co Ltd 携帯電話端末
US20080144794A1 (en) * 2006-12-14 2008-06-19 Gardner William G Spatial Audio Teleconferencing
JP2014011509A (ja) * 2012-06-27 2014-01-20 Sharp Corp 音声出力制御装置、音声出力制御方法、プログラム及び記録媒体
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331992A (ja) 1998-05-15 1999-11-30 Sony Corp デジタル処理回路と、これを使用したヘッドホン装置およびスピーカ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287878A (ja) * 2005-04-05 2006-10-19 Matsushita Electric Ind Co Ltd 携帯電話端末
US20080144794A1 (en) * 2006-12-14 2008-06-19 Gardner William G Spatial Audio Teleconferencing
JP2014011509A (ja) * 2012-06-27 2014-01-20 Sharp Corp 音声出力制御装置、音声出力制御方法、プログラム及び記録媒体
US20150373477A1 (en) * 2014-06-23 2015-12-24 Glen A. Norris Sound Localization for an Electronic Call
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム

Also Published As

Publication number Publication date
CN116057927A (zh) 2023-05-02
DE112021004759T5 (de) 2023-08-10
US20240031758A1 (en) 2024-01-25
JPWO2022054603A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
EP3627860B1 (en) Audio conferencing using a distributed array of smartphones
US11758329B2 (en) Audio mixing based upon playing device location
EP3410740B1 (en) Spatially ducking audio produced through a beamforming loudspeaker array
US10491643B2 (en) Intelligent augmented audio conference calling using headphones
JP3321178B2 (ja) 音声会議システム中に空間音声環境を作る装置と方法
KR102035477B1 (ko) 카메라 선택에 기초한 오디오 처리
US9197755B2 (en) Multidimensional virtual learning audio programming system and method
US20150189457A1 (en) Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
US20110058662A1 (en) Method and system for aurally positioning voice signals in a contact center environment
CN110035250A (zh) 音频处理方法、处理设备、终端及计算机可读存储介质
CN111492342B (zh) 音频场景处理
WO2022054900A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
WO2022054899A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
EP1657961A1 (en) A spatial audio processing method, a program product, an electronic device and a system
JP2006279492A (ja) 電話会議システム
WO2022054603A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
JP2006094315A (ja) 立体音響再生システム
EP3588988B1 (en) Selective presentation of ambient audio content for spatial audio presentation
WO2023286320A1 (ja) 情報処理装置および方法、並びにプログラム
US12028178B2 (en) Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms
JP7472091B2 (ja) オンライン通話管理装置及びオンライン通話管理プログラム
EP3588986A1 (en) An apparatus and associated methods for presentation of audio
Albrecht et al. Continuous Mobile Communication with Acoustic Co-Location Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866562

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547498

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18024461

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21866562

Country of ref document: EP

Kind code of ref document: A1