WO2014017134A1 - 情報処理システムおよび記憶媒体 - Google Patents

情報処理システムおよび記憶媒体 Download PDF

Info

Publication number
WO2014017134A1
WO2014017134A1 PCT/JP2013/061894 JP2013061894W WO2014017134A1 WO 2014017134 A1 WO2014017134 A1 WO 2014017134A1 JP 2013061894 W JP2013061894 W JP 2013061894W WO 2014017134 A1 WO2014017134 A1 WO 2014017134A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
unit
signal
signal processing
site
Prior art date
Application number
PCT/JP2013/061894
Other languages
English (en)
French (fr)
Inventor
佐古　曜一郎
荒谷　勝久
和之 迫田
宏平 浅田
竹原　充
隆俊 中村
一弘 渡邊
丹下　明
博幸 花谷
有希 甲賀
智也 大沼
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/404,733 priority Critical patent/US9615173B2/en
Priority to CN201380038607.2A priority patent/CN104488288B/zh
Priority to RU2015101724A priority patent/RU2635046C2/ru
Priority to BR112015001214A priority patent/BR112015001214A2/pt
Priority to IN484DEN2015 priority patent/IN2015DN00484A/en
Priority to EP13822441.5A priority patent/EP2879402A4/en
Priority to JP2014526785A priority patent/JP6102923B2/ja
Publication of WO2014017134A1 publication Critical patent/WO2014017134A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Definitions

  • This disclosure relates to an information processing system and a storage medium.
  • Patent Document 1 a technique related to an M2M (Machine-to-Machine) solution is proposed.
  • the remote management system described in Patent Document 1 uses the Internet Protocol (IP) Multimedia Subsystem (IMS) platform (IS) to publish presence information by a device and between a user and a device.
  • IP Internet Protocol
  • IMS Internet Multimedia Subsystem
  • UC authorized user client
  • DC machine client
  • Patent Document 2 describes an array speaker in which a plurality of speakers are attached to one cabinet with a common wavefront, and the delay amount and level of sound emitted from each speaker are controlled.
  • Patent Document 2 below describes that an array microphone based on the same principle has been developed, and the array microphone can adjust its sound collection level by adjusting the level and delay amount of the output signal of each microphone. The points can be set arbitrarily, which enables efficient sound collection.
  • Patent Documents 1 and 2 there is no mention of a technique and a communication method that are regarded as means for realizing a user's body expansion by arranging a large amount of image sensors, microphones, speakers, and the like in a wide range.
  • the present disclosure proposes a new and improved information processing system and storage medium capable of providing an immersive feeling in the third space when the space around the user is interlinked with other spaces. To do.
  • a recognition unit that recognizes a first target and a second target, and the recognition unit recognized by the recognition unit
  • An identification unit that identifies the first and second objects, an estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors, and a periphery of the specific user Acquired from the sensors around the first and second objects identified by the identification unit so that the localization is performed in the vicinity of the position of the specific user estimated by the estimation unit.
  • An information processing system including a signal processing unit that processes each signal is proposed.
  • a recognition unit that recognizes a first target and a second target based on a signal detected by sensors around a specific user, and the first and second recognized by the recognition unit. Output from actuators around the specific user based on signals acquired from an identification unit for identifying the target and a plurality of sensors arranged around the first and second targets identified by the identification unit.
  • An information processing system including a signal processing unit that generates a signal to be processed is proposed.
  • a computer is recognized by a recognition unit that recognizes a first target and a second target based on signals detected by a plurality of sensors arranged around a specific user, and the recognition unit.
  • An identification unit that identifies the first and second objects that have been performed; an estimation unit that estimates the position of the specific user in accordance with a signal detected by any of the plurality of sensors; and a periphery of the specific user Around the first and second objects identified by the identification unit so as to be localized near the position of the specific user estimated by the estimation unit
  • a storage medium storing a program for functioning as a signal processing unit that processes each signal acquired from a sensor is proposed.
  • the computer recognizes the first target and the second target based on the signals detected by the sensors around the specific user, and the first recognized by the recognition unit. And an identification unit for identifying the second target, and signals around the specific user based on signals obtained from a plurality of sensors arranged around the first and second targets identified by the identification unit.
  • a storage medium storing a program for functioning as a signal processing unit that generates a signal output from an actuator is proposed.
  • FIG. It is a figure for demonstrating the sound field construction method of the site C.
  • FIG. It is a block diagram which shows the other structure of the management server by this embodiment. It is a figure for demonstrating the measurement of an acoustic parameter. It is a figure which compares and shows arrangement
  • FIG. 1 is a diagram for describing an overview of an acoustic system according to an embodiment of the present disclosure.
  • a large number of microphones 10, image sensors (not shown), speakers 20, and the like can be found all over the world such as rooms, houses, buildings, outdoors, regions, and countries. Assume a situation in which various sensors and actuators are arranged.
  • a plurality of microphones (hereinafter referred to as microphones) 10 ⁇ / b> A and a plurality of actuators are provided as an example of a plurality of sensors on a road or the like of an outdoor area “site A” where the user A is currently located.
  • a plurality of speakers 20A are arranged.
  • a plurality of microphones 10B and a plurality of speakers 20B are arranged on the wall, floor, ceiling, and the like.
  • the sites A and B may be further provided with a human sensor or an image sensor (not shown) as an example of the sensor.
  • the site A and the site B can be connected via a network, and signals inputted / outputted by the microphones and speakers of the site A and signals inputted / outputted by the microphones and speakers of the site B are mutually connected. Sent and received.
  • the sound system according to the present embodiment reproduces sound and images corresponding to a predetermined target (person, place, building, etc.) in real time on a plurality of speakers and displays arranged around the user.
  • the sound system according to the present embodiment can collect the user's voice by a plurality of microphones arranged around the user and reproduce it in real time around the predetermined target.
  • the space around the user can be interlinked with other spaces.
  • the user since microphones, image sensors, and the like are arranged everywhere, the user does not need to own a smartphone or a mobile phone terminal. It can be connected to the space around the object.
  • the application of the acoustic system according to the present embodiment when the user A at the site A wants to talk to the user B at the site B will be briefly described.
  • Data collection process At site A, data collection processing is continuously performed by a plurality of microphones 10A, image sensors (not shown), human sensors (not shown), and the like. Specifically, the acoustic system according to the present embodiment collects sound collected by a plurality of microphones 10A, a captured image captured by an image sensor, or a detection result of a human sensor, and thereby estimates a user's position. .
  • the acoustic system according to the present embodiment is a microphone group in which a user's voice is sufficiently collected based on position information of a plurality of microphones 10A registered in advance and the estimated position of the user. May be elected.
  • the acoustic system according to the present embodiment performs microphone array processing on a stream group of audio signals collected by each selected microphone.
  • the acoustic system according to the present embodiment may perform a delay-and-sum array in which the sound collection point is aligned with the mouth of the user A, thereby forming super directivity of the array microphone. Therefore, a voice that is as small as the tweet of user A can be collected.
  • the acoustic system according to the present embodiment recognizes a command based on the collected voice of the user A, and executes an operation process according to the command. For example, when the user A in the site A murmurs “I want to talk to Mr. B”, “call request to the user B” is recognized as a command. In this case, the acoustic system according to the present embodiment identifies the current position of the user B, and connects the site B where the user B is present and the site A where the user A is present. As a result, the user A can make a call with the user B.
  • Object decomposition processing During a call, sound source separation is performed on the audio signals (stream data) collected by a plurality of microphones at site A (noise components around user A, conversations of people around user A, etc. are separated) Object decomposition processing such as reverberation suppression and noise / echo processing is performed. As a result, stream data with a good S / N ratio and suppressed reverberation is sent to the site B.
  • the acoustic system according to the present embodiment can cope with the above-mentioned data collection continuously. Specifically, the acoustic system according to the present embodiment continuously collects data based on a plurality of microphones, image sensors, human sensors, and the like, and grasps the movement path and direction of user A. The acoustic system according to the present embodiment continuously updates selection of appropriate microphone groups arranged around the moving user A, and always collects sound points at the mouth of the moving user A. Array microphone processing is performed continuously so that Thereby, the acoustic system by this embodiment can respond also when the user A talks while moving.
  • the moving direction and direction of the user A are converted into metadata and sent to the site B together with the stream data.
  • the stream data sent to the site B is reproduced from speakers arranged around the user B in the site B.
  • the acoustic system collects data by using a plurality of microphones, image sensors, and human sensors at the site B, estimates the position of the user B based on the collected data, and further Select an appropriate group of speakers that surround the surroundings with a closed acoustic surface.
  • the stream data sent to the site B is reproduced from the speaker group selected in this way, and the area inside the acoustic closed surface is controlled as an appropriate sound field.
  • a surface formed when a plurality of adjacent speakers or a plurality of microphones are connected in a form surrounding a certain object is conceptually referred to as an “acoustic closed surface”. ".
  • the “acoustic closed curved surface” does not necessarily constitute a complete closed curved surface, but may be any shape as long as it substantially surrounds an object (for example, a user).
  • the sound field here may be arbitrarily selected by the user B himself / herself.
  • the environment of the site A is reproduced at the site B.
  • the environment of the site A is reproduced at the site B based on sound information as ambient that is collected in real time and meta information related to the site A acquired in advance.
  • the sound system according to the present embodiment can control the sound image of the user A by using the plurality of speakers 20B arranged around the user B at the site B. That is, the acoustic system according to the present embodiment can reproduce the voice (sound image) of the user A at the ear of the user B or outside the acoustic closed curved surface by forming an array speaker (beam forming). In addition, the acoustic system according to the present embodiment moves the sound image of the user A around the user B in accordance with the actual movement of the user A at the site B by using the metadata of the movement path and direction of the user A. May be.
  • the outline of the voice communication from the site A to the site B has been described by dividing the data collection process, the object decomposition process, and the object composition process, but naturally the same applies to the voice communication from the site B to the site A. Processing is performed. As a result, two-way voice communication is possible between the site A and the site B.
  • FIG. 2 is a diagram illustrating the overall configuration of the acoustic system according to the present embodiment. As shown in FIG. 2, the acoustic system includes a signal processing device 1 ⁇ / b> A, a signal processing device 1 ⁇ / b> B, and a management server 3.
  • the signal processing device 1 ⁇ / b> A and the signal processing device 1 ⁇ / b> B are connected to the network 5 by wire / wireless, and can transmit / receive data to / from each other via the network 5. Further, the management server 3 is connected to the network 5, and the signal processing device 1 ⁇ / b> A and the signal processing device 1 ⁇ / b> B can transmit and receive data to and from the management server 3.
  • the signal processing apparatus 1A processes signals input / output by the plurality of microphones 10A and the plurality of speakers 20A arranged at the site A. Further, the signal processing device 1B processes signals input / output by the plurality of microphones 10B and the plurality of speakers 20B arranged at the site B. In addition, when it is not necessary to distinguish and explain the signal processing apparatuses 1A and 1B, they are referred to as the signal processing apparatus 1.
  • the management server 3 has a function of managing user authentication processing and the absolute position (current position) of the user. Furthermore, the management server 3 may manage information (IP address or the like) indicating the location or the position of the building.
  • the signal processing apparatus 1 can inquire and obtain the connection destination information (IP address, etc.) of the predetermined target (person, place, building, etc.) designated by the user from the management server 3.
  • IP address IP address, etc.
  • FIG. 3 is a block diagram showing the configuration of the signal processing apparatus 1 according to the present embodiment.
  • the signal processing apparatus 1 according to the present embodiment includes a plurality of microphones 10 (array microphones), an amplifier / ADC (analog / digital converter) unit 11, a signal processing unit 13, and a microphone position information DB (database) 15.
  • a user position estimation unit 16 a recognition unit 17, an identification unit 18, a communication I / F (interface) 19, a speaker position information DB 21, an amplifier / DAC (digital / analog converter) unit 23, and a plurality of speakers 20 (array speakers).
  • a user position estimation unit 16 a recognition unit 17, an identification unit 18, a communication I / F (interface) 19, a speaker position information DB 21, an amplifier / DAC (digital / analog converter) unit 23, and a plurality of speakers 20 (array speakers).
  • the plurality of microphones 10 are arranged throughout an area (site). For example, if it is outdoors, it is arranged on a road, a power pole, a streetlight, the outer wall of a house or a building, and if it is indoors, it is placed on a floor, a wall, a ceiling, or the like.
  • the plurality of microphones 10 collect ambient sounds and output the collected sounds to the amplifier / ADC unit 11.
  • the amplifier / ADC unit 11 has a function of amplifying sound waves output from the plurality of microphones 10 and a function of converting sound waves (analog data) into audio signals (digital data) (Analog-to-Digital Converter). Have. The amplifier / ADC unit 11 outputs the converted audio signals to the signal processing unit 13.
  • the signal processing unit 13 has a function of processing each audio signal collected by the microphone 10 and sent via the amplifier / ADC unit 11 and each audio signal reproduced from the speaker 20 via the DAC / amplifier unit 23. Have. Further, the signal processing unit 13 according to the present embodiment functions as a microphone array processing unit 131, a high S / N processing unit 133, and a sound field reproduction signal processing unit 135.
  • the microphone array processing unit 131 focuses on the user's voice as microphone array processing for a plurality of audio signals output from the amplifier / ADC unit 11 (so that the sound collection position becomes the user's mouth). Perform directivity control.
  • High S / N processing section 133 is a monaural signal that has high clarity and a high S / N ratio with respect to a plurality of audio signals output from the amplifier / ADC section 11. Has the function of processing. Specifically, the high S / N processing unit 133 separates a sound source and performs reverberation / noise suppression.
  • the high S / N conversion processing unit 133 may be provided in the subsequent stage of the microphone array processing unit 131. Also, the audio signal (stream data) processed by the high S / N processing unit 133 is used for speech recognition by the recognition unit 17 or transmitted to the outside via the communication unit I / F 19.
  • the sound field reproduction signal processing unit 135 performs signal processing on audio signals reproduced from the plurality of speakers 20, and controls the sound field to be localized near the position of the user. Specifically, for example, the sound field reproduction signal processing unit 135 includes a user based on the position of the user estimated by the user position estimation unit 16 and the position of each speaker 20 registered in the speaker position information DB 21. Select the optimal speaker group that forms the acoustic closed surface. Then, the sound field reproduction signal processing unit 135 writes the signal-processed audio signal to the output buffers of a plurality of channels corresponding to the selected speaker group.
  • the sound field reproduction signal processing unit 135 controls the area inside the acoustic closed curved surface as an appropriate sound field.
  • the sound field control method is known, for example, as Kirchhoff-Helmholtz integration rule or Rayleigh integration rule, and a wave field synthesis method (WFS: Wave Field Synthesis) to which this is applied is generally known. Further, the sound field reproduction signal processing unit 135 may apply the signal processing techniques described in Japanese Patent Nos. 4673505 and 4735108.
  • the shape of the closed acoustic surface formed by the microphone or the speaker is not particularly limited as long as it is a three-dimensional shape surrounding the user.
  • an elliptical closed acoustic surface 40-1 as shown in FIG. Alternatively, it may be a cylindrical acoustic closed surface 40-2 or a polygonal acoustic closed surface 40-3.
  • the shape of the acoustic closed curved surface by the plurality of speakers 20B-1 to 20B-12 arranged around the user B at the site B is shown as an example. The same applies to.
  • the microphone position information DB 15 is a storage unit that stores position information of a plurality of microphones 10 arranged on the site. The position information of the plurality of microphones 10 may be registered in advance.
  • the user position estimation unit 16 has a function of estimating the position of the user. Specifically, the user position estimating unit 16 uses a plurality of microphones based on an analysis result of sound collected from the plurality of microphones 10, an analysis result of a captured image captured by the image sensor, or a detection result by the human sensor. The relative position of the user with respect to ten or a plurality of speakers 20 is estimated. Further, the user position estimation unit 16 may acquire GPS (Global Positioning System) information and estimate the absolute position (current position information) of the user.
  • GPS Global Positioning System
  • the recognition unit 17 analyzes the user's voice based on the audio signal collected by the plurality of microphones 10 and processed by the signal processing unit 13 to recognize the command. For example, the recognition unit 17 performs morphological analysis on the user's voice “I want to talk with Mr. B”, and recognizes the call request command based on the predetermined target “B” and the request “speak” specified by the user.
  • the identification unit 18 has a function of identifying a predetermined object recognized by the recognition unit 17. Specifically, for example, the identification unit 18 may determine connection destination information for acquiring sound or an image corresponding to a predetermined target. For example, the identification unit 18 may transmit information indicating a predetermined target from the communication unit I / F 19 to the management server 3 and acquire connection destination information (IP address or the like) corresponding to the predetermined target from the management server 3. .
  • the communication I / F 19 is a communication module for transmitting and receiving data to and from other signal processing devices and the management server 3 through the network 5.
  • the communication I / F 19 makes an inquiry about connection destination information corresponding to a predetermined target to the management server 3 or collects sound with the microphone 10 in another signal processing apparatus that is a connection destination.
  • the audio signal processed by the signal processing unit 13 is transmitted.
  • the speaker position information DB 21 is a storage unit that stores position information of a plurality of speakers 20 arranged on the site. The position information of the plurality of speakers 20 may be registered in advance.
  • the DAC / amplifier unit 23 functions to convert an audio signal (digital data) written in an output buffer of each channel for reproduction from a plurality of speakers 20 into sound waves (analog data) (Digital to Analog Converter).
  • the DAC / amplifier unit 23 amplifies the converted sound wave, and reproduces (outputs) each from the plurality of speakers 20.
  • the plurality of speakers 20 are arranged throughout an area (site). For example, if it is outdoors, it is arranged on a road, a power pole, a streetlight, the outer wall of a house or a building, and if it is indoors, it is placed on a floor, a wall, a ceiling, or the like.
  • the plurality of speakers 20 reproduce sound waves (sound) output from the DAC / amplifier unit 23.
  • FIG. 5 is a block diagram showing the configuration of the management server 3 according to the present embodiment.
  • the management server 3 includes a management unit 32, a search unit 33, a user position information DB 35, and a communication I / F 39. Each configuration will be described below.
  • the management unit 32 Based on the user ID (IDentification) transmitted from the signal processing device 1, the management unit 32 manages information regarding the location (site) where the user is currently located. For example, the management unit 32 identifies a user based on the user ID, and associates the identified user's name and the like with the IP address of the signal processing apparatus 1 that is the transmission source as connection destination information and stores the information in the user position information DB 35. .
  • the user ID may include a name, a password, biometric information, and the like.
  • the management unit 32 may perform user authentication processing based on the transmitted user ID.
  • the user position information DB 35 is a storage unit that stores information related to the location where the user is currently located in accordance with management by the management unit 32. Specifically, the user location information DB 35 stores the user ID and connection destination information (such as the IP address of the signal processing device corresponding to the site where the user is located) in association with each other. Further, the current position information of each user may be updated every moment.
  • the search unit 33 In response to a connection destination (call destination) inquiry from the signal processing device 1, the search unit 33 refers to the user location information DB 35 and searches for connection destination information. Specifically, the search unit 33 searches and extracts the associated connection destination information from the user position information DB 35 based on the name of the target user included in the connection destination inquiry.
  • the communication I / F 39 is a communication module for transmitting and receiving data to and from the signal processing device 1 through the network 5.
  • the communication I / F 39 receives a user ID from the signal processing apparatus 1 or receives a connection destination inquiry. Further, the communication I / F 39 transmits the connection destination information of the target user in response to the connection destination inquiry.
  • FIG. 6 is a flowchart showing basic processing of the sound system according to the present embodiment.
  • the signal processing apparatus 1 ⁇ / b> A transmits the ID of the user A in the site A to the management server 3.
  • the signal processing apparatus 1 ⁇ / b> A may acquire the ID of the user A from a tag such as RFID (Radio Frequency IDentification) owned by the user A, or may recognize the user A from the voice of the user A.
  • the signal processing device 1A may read biometric information from the body (face, eyes, hands, etc.) of the user A and obtain it as an ID.
  • step S106 the signal processing apparatus 1B also transmits the ID of the user B in the site B to the management server 3 in the same manner.
  • step S109 the management server 3 identifies the user based on the user ID transmitted from each signal processing device 1, and the IP address of the transmission source signal processing device 1 or the like in the name of the identified user. Are registered in association with each other as connection destination information.
  • the signal processing device 1B estimates the position of the user B in the site B. Specifically, the signal processing device 1B estimates the relative position of the user B with respect to a plurality of microphones arranged at the site B.
  • step S115 the signal processing apparatus 1B collects sound at the mouth of the user B with respect to the audio signals collected by the plurality of microphones arranged at the site B based on the estimated relative position of the user B. Microphone array processing is performed so that the position is focused. As described above, the signal processing device 1B is provided when the user B makes a statement.
  • step S118 the signal processing apparatus 1A similarly performs microphone array processing on the audio signals collected by the plurality of microphones arranged at the site A so that the sound collection position is focused on the mouth of the user A.
  • the signal processing device 1A recognizes the command based on the voice (utterance) of the user A.
  • the command recognition process according to the present embodiment will be described in [3-2. The command recognition process] will be described in detail.
  • step S121 the signal processing apparatus 1A makes a connection destination inquiry to the management server 3.
  • the signal processing apparatus 1A inquires about the connection destination information of the user B.
  • step S127 the signal processing device 1A identifies (determines) the connection destination based on the connection destination information of the user B received from the management server 3.
  • step S128, the signal processing device 1A determines the connection destination information of the identified user B, for example, the signal processing device 1B based on the IP address of the signal processing device 1B corresponding to the site B where the user B is currently located. Perform call processing.
  • the signal processing apparatus 1B outputs a message asking the user B whether or not to respond to the call from the user A (call notification).
  • the signal processing device 1 ⁇ / b> B may reproduce the message from a speaker arranged around the user B. Further, the signal processing device 1B recognizes the answer of the user B to the call notification based on the voice of the user B collected from a plurality of microphones arranged around the user B.
  • step S137 the signal processing device 1A collects the voice of the user A at the site A and starts the audio stream (audio signal) at the site B (signal) in order to start communication with the signal processing device 1B. Sound collection processing to be transmitted to the processing apparatus 1B side) is performed. Note that the sound collection processing according to the present embodiment will be described in [3-3. The sound collection process] will be described in detail.
  • step S140 the signal processing device 1B forms an acoustic closed surface including the user B by a plurality of speakers arranged around the user B, and generates sound based on the audio stream transmitted from the signal processing device 1A.
  • Perform field regeneration processing In the sound field reproduction process according to the present embodiment, the sound field of the third space (site C) is further constructed, and a sense of immersion in the third space is provided to users who are talking to other users in other spaces. It is also possible to do. Such sound field reproduction processing will be described in detail in “4. Construction of sound field in third space” described later.
  • steps S137 to S140 one-way communication is shown as an example. However, since the present embodiment allows two-way communication, the signal processing apparatus 1B collects sound, contrary to steps S137 to S140. The sound field reproduction process may be performed by the processing and signal processing apparatus 1A.
  • step S118 The basic processing of the acoustic system according to this embodiment has been described above.
  • the user A does not need to have a mobile phone terminal, a smartphone, or the like, just tweet “I want to talk to Mr. B” and use a plurality of microphones and a plurality of speakers arranged in the vicinity. It is possible to make a call with the user B who is in the office.
  • the command recognition process shown in step S118 will be described in detail with reference to FIG.
  • FIG. 7 is a flowchart showing command recognition processing according to this embodiment.
  • the user position estimating unit 16 of the signal processing apparatus 1 estimates the position of the user.
  • the user position estimation unit 16 is based on the sound collected from the plurality of microphones 10, the captured image captured by the image sensor, the arrangement of each microphone stored in the microphone position information DB 15, and the like. Position, orientation, and mouth position may be estimated.
  • step S206 the signal processing unit 13 selects a group of microphones that form an acoustic closed surface containing the user according to the estimated relative position and orientation of the user and the position of the mouth.
  • step S209 the microphone array processing unit 131 of the signal processing unit 13 performs microphone array processing on the audio signal collected from the selected microphone group, and sets the microphone directivity to focus on the user's mouth. Control. Thereby, the signal processing apparatus 1 can be prepared when the user makes some remarks.
  • step S212 the high S / N processing unit 133 performs processing such as reverberation / noise suppression on the audio signal processed by the microphone array processing unit 131 to improve the S / N ratio.
  • step S215 the recognition unit 17 performs speech recognition (speech analysis) based on the audio signal output from the high S / N processing unit 133.
  • the recognition unit 17 performs a command recognition process based on the recognized voice (audio signal).
  • the specific contents of the command recognition process are not particularly limited.
  • the recognition unit 17 may recognize a command by comparing a recognized voice with a request pattern registered in advance (learned).
  • step S218 if the command cannot be recognized (S218 / No), the signal processing apparatus 1 repeats the processes shown in steps S203 to S215. At this time, S203 and S206 are also repeated, so that the signal processing unit 13 can update the microphone group that forms the acoustic closed curved surface containing the user in accordance with the movement of the user.
  • FIG. 8 is a flowchart showing sound collection processing according to the present embodiment.
  • the microphone array processing unit 131 of the signal processing unit 13 performs microphone array processing on the audio signal collected from each selected / updated microphone, and sends it to the user's mouth. Control the directivity of the microphone to focus.
  • step S312 the high S / N processing unit 133 performs processing such as reverberation / noise suppression on the audio signal processed by the microphone array processing unit 131 to improve the S / N ratio.
  • step S315 the communication I / F 19 connects the audio signal output from the high S / N processing unit 133 to the connection destination indicated by the connection destination information of the target user identified in step S126 (see FIG. 6). (E.g., signal processing device 1B). Thereby, the voice uttered by the user A at the site A is collected by a plurality of microphones arranged around the user A and transmitted to the site B side.
  • FIG. 9 is a diagram for explaining the sound field construction of the third space according to the present embodiment.
  • the acoustic system according to the present embodiment uses the sound field 42 of the site C, which is the third space, for each site A, Build with B.
  • site A, site B, and site C are remote locations (remote locations).
  • the acoustic system uses the acoustic information parameters (parameter characteristics such as impulse response) measured in advance at the site C and the acoustic content (environmental sound) collected at the site C.
  • a C sound field 42 may be constructed. Note that such acoustic information parameters and acoustic content of the third space may be acquired in advance in the third space and stored in the management server.
  • FIG. 10 is a diagram for explaining the sound field construction technique of the site C.
  • the sound field of the site C is constructed (providing an immersive feeling for the site C) in the site B where the user B talking with the user A is present will be described.
  • the sound image is localized so that the voice of the user A exists outside the acoustic closed surface 40B formed by the plurality of speakers 20B so as to include the user B. Is processed using the acoustic information parameter so that it can be felt as if the voice of the voice is reverberated at the site C.
  • the sound image of the user A is localized outside the acoustic closed surface 40, as shown in FIG. 10, at the site B, the sound uttered by the user A outside the acoustic closed surface 40B intersects the acoustic closed surface 40B. Assume the wavefront when Then, the sound image is localized by reproducing from the plurality of speakers 20 so as to create the assumed wavefront inside the acoustic closed curved surface 40B.
  • the sound system processes the user A's voice using the acoustic information parameter (impulse response) measured in advance at the site C, so that the user A's voice feels reverberated at the site C.
  • the sound field 42 to be created is constructed at the site B. Thereby, the user B can further obtain an immersion feeling in the site C.
  • the voice of the user B who is inside the acoustic closed curved surface 40 is picked up, the voice is processed using the acoustic information parameter of the site C, and reproduced from a plurality of speakers 20B forming the acoustic closed curved surface 40 To do. That is, in order for the user B who is inside the acoustic closed curved surface 40 to experience the sound field of the site C with a sense of reality, to be further immersed in the feeling of immersion in the site C, and to feel the size of the space of the site C In addition to the processing of the voice of the other party (method 1), the change of the voice uttered by itself is also important (echo location).
  • the sound field 42 in which the sound uttered by the user B feels reverberated at the site C is constructed at the site B.
  • the user B can further obtain a sense of presence of the site C and a sense of immersion in the site C.
  • a specific method for realizing Method 2 will be described later with reference to FIGS. 16A and 16B.
  • the realistic content of the site C or the site C is reproduced by reproducing the acoustic content such as the rumbling voice and the environmental sound of the site C from the plurality of speakers 20B forming the acoustic closed curved surface 40 including the user B.
  • the acoustic content of the site C may be recorded in advance or may be collected in real time.
  • the sound field may be constructed by one of the above three methods, or the sound field may be constructed by combining two or more methods.
  • the third space (site C) may be arbitrarily designated by the user or may be a place set in advance.
  • the user A in the site A says “I want to talk with the user B (first object) and the site C (second object)”, a plurality of microphones 10 ⁇ / b> A arranged in the vicinity (FIG. 1).
  • the speech is picked up and is recognized as a command by the signal processing apparatus 1A.
  • the signal processing apparatus 1A requests the management server for connection destination information for calling “user B” and data for constructing a sound field at a specified location. Then, the management server sends to the signal processing device 1A connection destination information (here, the IP address of the signal processing device 1B at the site B where the user B is located) and sound field construction data (here, the site C Sound information parameters and sound content).
  • connection destination information here, the IP address of the signal processing device 1B at the site B where the user B is located
  • sound field construction data here, the site C Sound information parameters and sound content
  • the sound field construction data is stored in the signal processing device. Also transmitted to 1B. Thereby, the sound field of the site C is constructed in the site A and the site B, and the user A and the user B in different sites can share the feeling of immersion in the same place.
  • FIG. 11 is a block diagram showing another configuration of the management server according to the present embodiment.
  • the management server 3 ′ includes a management unit 32, a search unit 34, a user position information DB 35, a communication I / F 39, an acoustic information parameter DB 36, and an acoustic content DB 37.
  • the management unit 32, the user location information DB 35, and the communication I / F 39 are as described above with reference to FIG.
  • the search unit 34 searches for connection destination information by referring to the user location information DB 35 in response to a connection destination (call destination) inquiry from the signal processing device 1. Specifically, the search unit 34 searches and extracts the associated connection destination information from the user position information DB 35 based on the name of the target user included in the connection destination inquiry.
  • the search unit 34 searches and extracts the acoustic information parameter of the designated site from the acoustic information parameter DB 36 in response to the request for the sound field construction data from the signal processing device 1. Further, the search unit 34 searches and extracts the acoustic content of the designated site from the acoustic content DB 37 in response to the request for the sound field construction data from the signal processing device 1.
  • the acoustic information parameter DB 36 is a storage unit that stores acoustic information parameters measured in advance at each site.
  • the acoustic parameter may be obtained by measuring an impulse response from an arbitrary point or a plurality of points (positions where the sound image is to be localized) at each site. Further, when measuring the impulse response, the S / N ratio is improved by using a TSP (Time Stretched Pulse) response, a Swept-Sine method, an M-sequence response, or the like.
  • TSP Time Stretched Pulse
  • the measurement of the acoustic information parameter will be described with reference to FIG.
  • the acoustic information parameter (the first parameter) used when processing the voice of the communication partner user localized at an arbitrary position outside the acoustic closed curved surface 40.
  • Measurement of 1 acoustic information parameter will be described.
  • a sound source (speaker 20C) installed at an arbitrary position outside a closed curved surface 43 formed by a plurality of microphones 10C by a plurality of outwardly directed directional microphones 10C arranged at site C. )
  • To each microphone 10C impulse response
  • one speaker 20 ⁇ / b> C is arranged in measurement 1, but the present invention is not limited to this, and a plurality of speakers 20 ⁇ / b> C are arranged outside the closed curved surface 43, and each microphone 10 ⁇ / b> C from each speaker 20. Each transmission may be measured. Thereby, in the said method 1, the location which can localize the sound source of the user A can be increased.
  • the acoustic information parameter (second acoustic information parameter) used when processing the user's own voice inside the acoustic closed curved surface 40 in the method 2 described with reference to FIG. ) Measurement will be described.
  • the sound is output from a sound source (speaker 20C) installed inside a closed curved surface 43 formed by a plurality of microphones 10C by a plurality of outward directional microphones 10C arranged at site C. It is measured how the sound (measurement signal) is transmitted to each microphone 10C under the influence of reflection and reverberation at the site C (impulse response).
  • one speaker 20C is arranged as an example, but this embodiment is not limited to this, and a plurality of speakers 20C are arranged inside the closed curved surface 43, and each speaker is arranged. Transmission from 20 to each microphone 10C is measured.
  • the acoustic content DB 37 is a storage unit that stores acoustic content collected at each site.
  • the acoustic content is, for example, ambient sounds (environmental sounds, noises, etc.) recorded (measured) at each site.
  • surrounding sounds are measured (recorded) with a plurality of outwardly directed directional microphones 10C arranged at site C.
  • ambient sounds may be measured by time and by weekday / holiday.
  • the sound system according to the present embodiment can construct a sound field for the site C by time and by weekday / holiday.
  • the site B that is a reproduction environment, it is also possible to reproduce acoustic content close to the current time.
  • FIG. 13 is a diagram comparing the arrangement of the plurality of microphones 10C in the measurement environment (here, site C) and the arrangement of the plurality of speakers 20B in the listening environment (here, site B).
  • a plurality of microphones 10 ⁇ / b> C used at the time of measurement at the site C are closed surfaces larger than the acoustic closed surface 40 with respect to the acoustic closed surface 40 formed by the plurality of speakers 20 ⁇ / b> B so as to contain the user B. 43 is formed.
  • the three-dimensional closed acoustic surfaces 40-1, 40-2, 40 are provided by the plurality of speakers 20B-1 to 20B-12. -3 is formed. Therefore, also at the site C of the measurement environment, as shown in FIG. 14, three-dimensional closed curved surfaces 43-1, 43-2, 40 are formed by a plurality of directional microphones 10C-1 to 10C-12 directed outward. -3 can be formed.
  • each configuration of the management server 3 ′ has been described in detail.
  • the control on the site B side of the listening environment (reproduction environment) in which the sound field of the site C is constructed using the methods 1 to 3 will be described.
  • an optimum sound field is formed by the sound field reproduction signal processing unit 135 (see FIG. 3) of the signal processing device 1B.
  • the configuration of the sound field reproduction signal processing unit 135 that implements the above-described methods 1 to 3 and constructs a sound field will be specifically described with reference to FIG.
  • FIG. 15 is a block diagram for explaining a configuration of a sound field reproduction signal processing unit 135 that performs sound field construction so as to provide an immersive feeling to the site C. Further, in FIG. 15, the main configuration related to the description here is shown in the signal processing device 1 ⁇ / b> B, and the other configurations are omitted.
  • the sound field reproduction signal processing unit 135 functions as a Convolution (convolution integration) unit 136, a howling suppression unit 137, 139, and a Matrix Convolution (convolution matrix) unit 138.
  • the Convolution unit 136 has a function of realizing the method 1 (user A's sound image localization, user A's echo sound processing). Specifically, the Convolution unit 136 obtains (receives) the audio signal b (the voice of the user A) from the signal processing apparatus 1A of the site A via the communication I / F 19 and the acoustic information parameter c (the first information of the site C). Rendering is performed for each output speaker using one acoustic information parameter). At this time, the Convolution unit 136 may use the acoustic information parameter c (impulse response) of the site C according to the localization position in consideration of the parameter a of the position where the sound image of the user A is localized.
  • the acoustic information parameter c impulse response
  • the parameter a of the position where the sound image of the user A is localized may be transmitted from the signal processing device 1A or the management server 3 ′ via the communication I / F 19, or based on the instruction of the user B. It may be calculated by the signal processing device 1B.
  • the Convolution unit 136 may acquire the acoustic information parameter c (impulse response) of the site C from the management server 3 ′ via the communication I / F 19.
  • the Convolution unit 136 performs the above signal processing on the output buffer of each output speaker (a plurality of speakers 20B forming the acoustic closed surface 40B including the user B) as shown in FIG. Write.
  • howling suppression units 137 and 139 cooperate with each other in the subsequent stage of the microphone amplifier / ADC unit 11 and the upstream stage of the speaker DAC / amplifier unit 23 as shown in FIG. Provided for processing.
  • the sound collected from the plurality of microphones 10B disposed around the user B is rendered using the acoustic information parameter (impulse response), and the plurality of sounds disposed around the user B are rendered. Playback from the speaker 20B.
  • the sound field reproduction signal processing unit 135 may include an echo canceller in addition to the howling suppression units 137 and 139 in order to prevent the excessive oscillation operation.
  • the Matrix Convolution unit 138 has a function of realizing the above method 2 (user B's echo sound processing). Specifically, the Matrix Convolution unit 138 uses the audio information (sound generated in the acoustic closed curved surface 40B) collected by the plurality of microphones 10B arranged at the site B as the acoustic information parameter c (first) of the site C. Rendering for each output speaker using two acoustic information parameters (impulse response group). Thereby, an audio signal for constructing a sound field at the site B that feels that the sound generated in the acoustic closed curved surface 40B at the site B, for example, the voice of the user B itself, is reflected at the site C is output.
  • FIG. 16A is a diagram for explaining measurement of an impulse response at the site C.
  • FIG. 16A first, the impulse response from each speaker 20C arranged at the site C and facing the outside of the closed curved surface 43 to each microphone 10C also arranged at the site C and facing the outside of the closed curved surface 43. Is measured.
  • an impulse response from a single speaker on the closed curved surface 43 to a plurality of microphone groups on the closed curved surface 43 is measured.
  • This impulse response can also be considered as a transfer function affected by spatial acoustics such as the structure / obstacle of the site C when considered on the frequency axis.
  • each transfer function from the speaker (SP) arranged in R1 to the microphone arranged in R1, the microphone arranged in R2,..., The microphone arranged in RN is measured.
  • each transfer function from the speaker arranged in R2 to the microphone arranged in R1, the microphone arranged in R2,... RN is measured.
  • FIG. 16B is a diagram for explaining the calculation using the impulse response group by the Matrix Convolution unit 138.
  • a closed curved surface having substantially the same size and shape as the measurement at site C is assumed on the site B (reproduction environment) side.
  • the number of the plurality of microphones 10B and the plurality of speakers 20B arranged at the site B is the same as that at the measurement at the site C, and the arrangement positions are the same as those at the measurement at the site C R1, R2,.
  • the plurality of microphones 10B and the plurality of speakers 20B face the inside of the acoustic closed curved surface 40B.
  • the frequency axis representations collected by the microphones at the positions of R1, R2,... RN at site B are V1, V2,.
  • output signals (audio signals) output (reproduced) from the respective speakers at the positions R1, R2,... RN at the site B are W1, W2,.
  • the wavefront of the sound (user A's voice or sound) generated inside the acoustic closed curved surface 40B of the site B reaches the acoustic closed curved surface 40B and faces inward at the positions of R1, R2,.
  • Sounds are collected by the microphones 10B, and sound collection signals of V1, V2,... VN are acquired by the respective microphones 10B.
  • the Matrix Convolution unit 138 uses the V1, V2,... VN signal group (microphone input) and the transfer function group matrix (formula 1) described with reference to FIG. Expression 2 is executed, and outputs W1, W2,... WN from the respective speakers 20B are calculated.
  • the Matrix Convolution unit 138 uses the acoustic information parameter (transfer function group) of the site C for the audio signals (V1, V2,... VN) collected by the plurality of microphones 10B. Perform signal processing. Further, the Matrix Convolution unit 138 adds the audio signals (W1, W2,... WN) subjected to the above signal processing to the output buffer of each output speaker, as shown in FIG.
  • the sound field reproduction signal processing unit 135 performs processing to add the acoustic content d of the site C received from the management server 3 ′ via the communication I / F 19 to the output buffer of each output speaker.
  • the method 3 is realized.
  • the configuration of the sound field reproduction signal processing unit 135 of the signal processing device 1B according to the present embodiment has been described above in detail. Next, the sound field reproduction process at the time of constructing the sound field of the site C at the site B will be specifically described with reference to FIG.
  • FIG. 17 is a flowchart showing sound field reproduction processing according to the present embodiment.
  • the user position estimating unit 16 (see FIG. 3) of the signal processing device 1B estimates the position of the user B.
  • the user position estimation unit 16 uses the sound collected from the plurality of microphones 10B, the captured image captured by the image sensor, the arrangement of the speakers stored in the speaker position information DB 21, and the like for the user B for each speaker 20B. Relative position, orientation, mouth position and ear position may be estimated.
  • step S ⁇ b> 406 the signal processing unit 13 determines the relative position, orientation, mouth position, and ear position of the user B, and forms a microphone group / speaker group that forms a closed acoustic surface containing the user. Is elected.
  • step S407 the sound field reproduction signal processing unit 135 of the signal processing unit 13 receives the audio signal b (user A's sound collected at the site A) received by the convolution unit 136 in FIG.
  • the process of the method 1 shown is performed. Specifically, as shown in FIG. 15, the Convolution unit 136 uses the acoustic information parameter c (first acoustic information parameter) of the site C to receive the audio signal b received from the signal processing apparatus 1A of the site A. Rendering for each selected output speaker. Then, the Convolution unit 136 writes the audio signal that has been subjected to the processing of Method 1 into the output buffer of each selected output speaker.
  • acoustic information parameter c first acoustic information parameter
  • the sound field reproduction signal processing unit 135 performs the processing of the technique 2 shown in FIG. 10 on the voice of the user B collected at the site B by the selected microphone group by the Matrix Convolution unit 138.
  • the Matrix Convolution unit 138 uses the audio information collected by the microphone group (a plurality of microphones 10B) forming the acoustic closed surface including the user B as the acoustic information parameter c (second audio) of the site C. Rendering for each output speaker using information parameters).
  • the Matrix Convolution unit 138 adds the audio signal that has been subjected to the method 2 to the output buffer of each selected output speaker.
  • step S411 the sound field reproduction signal processing unit 135 adds the sound content d of the site C to the output buffer of each selected output speaker as the processing of the method 3 shown in FIG.
  • step S415 the signal processing apparatus 1B outputs the contents of each output buffer from the speaker group selected in step S406 via the DAC / amplifier unit 23.
  • the voice of the user A collected at the site A is rendered using the first acoustic information parameter measured at the site C, and is reflected at the site C. Is reproduced from a plurality of speakers 20B at the site B.
  • the user B's own sound collected at the site B is rendered using the second acoustic information parameter measured at the site C, and the plurality of speakers 20B at the site B are accompanied by reverberations at the site C. Played from.
  • the acoustic content collected at the site C is reproduced from the plurality of speakers 20B at the site B.
  • the acoustic system allows the third space (here, the site) to interact with another site (here, the site A) at the one site (here, the site B) when interacting (for example, calling).
  • C) can provide an immersive feeling.
  • the user B can obtain a sound field feeling like being in the site C together with the user A, and can be immersed in a richer presence.
  • the sound field reproduction signal processing unit 135 can control the sound image of the received audio signal (user A's voice) using a group of speakers arranged around the user B. For example, by forming an array speaker (beam forming) with a plurality of speakers, the sound field reproduction signal processing unit 135 reproduces the user A's voice at the ear of the user B, or an acoustic closed curved surface including the user B. It is possible to reproduce the sound image of the user A on the outside.
  • the signal processing unit 13 can update a speaker group that forms an acoustic closed curved surface including the user B according to the movement of the user B.
  • a specific description will be given with reference to FIGS. 18A and 18B.
  • FIG. 18A is a diagram for explaining a case where the sound field 42 constructed at the site B is fixed.
  • a plurality of speakers 20B are selected to form an acoustic closed curved surface 40 that encloses user B (steps S403 and S406), and a sound field 42 that provides an immersive feeling to site C is created. Assume that it is built. In this case, if the user B moves out of the room, leaves the room, etc. and exits from the acoustic closed curved surface 40, the user B comes off from the sound field 42, and the feeling of immersion in the site C cannot be obtained. .
  • FIG. 18B is a diagram for describing a case where the sound field 42 constructed at the site B flows.
  • a speaker group (speaker 20B ′) that newly forms the acoustic closed curved surface 40 ′ that includes the user B is selected (updated), and a plurality of updated speakers are obtained.
  • a sound field 42 ' is newly constructed by 20B'.
  • the command is input by voice, but the command input method of the acoustic system according to the present disclosure is not limited to voice input, and may be another input method.
  • the signal processing apparatus 1 may detect a user operation on each switch (an example of an operation input unit) arranged around the user and recognize a command such as a call request.
  • the signal processing apparatus 1 also includes a touch panel or the like (operation input unit) arranged around the user for specifying the call destination (name of the target user, etc.) For example).
  • the recognition unit 17 of the signal processing device 1 analyzes the user's gesture based on the image captured by the imaging unit arranged around the user and the detection result acquired by the infrared / thermal sensor, and uses it as a command. You may recognize it.
  • the recognition unit 17 recognizes the call request command when the user performs a gesture for making a call.
  • the signal processing apparatus 1 may accept the designation of the call destination (name of the target user, etc.) and the designation of the place to be immersed (location name, etc.) from the touch panel or the like arranged around the user. It may be determined based on voice analysis.
  • the recognition unit 17 may recognize, as a volume up command, a gesture that brings an open hand closer to the ear, or a gesture that imitates a rabbit ear by putting both hands on the head.
  • the command input method of the acoustic system according to the present disclosure is not limited to voice input, and may be switch operation, gesture input, or the like.
  • the acoustic system according to the present embodiment may reproduce other spaces in a space where the user is present in real time, or a past space such as a designated place or building (for example, a famous opera theater in the past). You may reproduce a famous concert etc.).
  • the acoustic system according to the present embodiment can solve the inconsistency problem in the correspondence relationship between the positions of the speakers and microphones on the measurement environment side and the reproduction environment side by performing such conversion processing in real time.
  • the sound field reproduction signal processing unit 135 may use signal processing using a transfer function disclosed in Japanese Patent No. 4775487.
  • a transfer function impulse response measurement data
  • an audio signal subjected to arithmetic processing based on the transfer function is reproduced in the reproduction environment, and the measurement environment is reproduced in the reproduction environment.
  • the sound field (reverberation, sound image localization, etc.) is reproduced.
  • signal processing using a transfer function impulse response measurement data
  • FIG. 19A is a diagram for explaining measurement in the measurement target space.
  • M microphones forming a large closed curved surface P are arranged in a measurement target space (large space), and measurement for Mch (for M speaker output channels) is performed. Further, the positions of the M microphones are P1, P2,... PM. Then, a measurement signal is output from a speaker (SP) arranged outside the closed curved surface P, and an impulse response from the speaker to each microphone arranged at P1, P2,... PM is measured.
  • SP speaker
  • the impulse response (transfer function) measured in this way is shown in Equation (3) in FIG. 19A.
  • FIG. 19B In the anechoic chamber, M speakers forming a large closed curved surface P are arranged, N microphones forming a small closed curved surface Q are arranged inside the closed curved surface P, and Nch Measurement (for N speaker output channels) is performed.
  • the positions of the M speakers are assumed to be the same positions P1, P2,... PM as in FIG. Further, the positions of each of the N microphones are Q1, Q2,.
  • the sound (measurement signal) collected by the microphone arranged at P1 in FIG. 19A is output from the speaker arranged at P1, and the impulses to the respective microphones arranged at Q1, Q2,. Response is measured.
  • the sound (measurement signal) picked up by the microphone arranged at P2 in FIG. 19A is output from the speaker arranged at P2, and reaches the respective microphones arranged at Q1, Q2,.
  • Impulse response is measured. In this way, all impulse responses from each of the M speakers to each microphone arranged in Q1, Q2,... QN are measured.
  • the M vertical vectors thus measured can be converted into N outputs by performing an M ⁇ N matrix operation. That is, the impulse response (transfer function) measured in this way is converted into a matrix (generation of a transfer function group) as shown in Equation (4) in FIG. Conversion to (Nch coefficient) is realized.
  • N speakers that form a small closed curved surface Q that encloses the user B are arranged in the reproduction target space.
  • the positions of the N speakers are assumed to be the same positions Q1, Q2,... QN as in FIG.
  • Equation (5) is an operation using the impulse response (transfer function) shown in the above equations (3) and (4).
  • the wavefront when the voice uttered by the user A outside the closed curved surface Q intersects the closed curved surface Q is obtained.
  • the assumed wavefront is created inside the closed curved surface Q.
  • the acoustic system according to the present embodiment has a small closed surface Q, A sound field of a large closed curved surface P can be reproduced.
  • the signal processing device 1 receives video captured by a plurality of image sensors arranged in the third space (site C) from a predetermined server and collects sound collected by a plurality of microphones arranged at the site A.
  • the video of site C may be played back to reproduce the space at site C.
  • the image may be reproduced by, for example, spatial projection by hologram reproduction, or may be reproduced by a television in a room, a display, or a head mounted display worn by the user.
  • the user can obtain a sense of immersion in the third space and can be immersed in a more realistic feeling.
  • the system configuration of the acoustic system according to the above-described embodiment described with reference to FIGS. 1 and 2 includes a plurality of microphones and speakers around the user on both the calling side (site A) and the called side (site B).
  • the signal processing devices 1A and 1B perform signal processing.
  • the system configuration of the acoustic system according to the present embodiment is not limited to the configuration shown in FIGS. 1 and 2, and may be the configuration shown in FIG. 20, for example.
  • FIG. 20 is a diagram showing another system configuration of the acoustic system according to the present embodiment. As shown in FIG. 13, in the acoustic system according to the present embodiment, the signal processing device 1, the communication terminal 7, and the management server 3 are connected via a network 5.
  • the communication terminal 7 has a normal single microphone and a single speaker such as a mobile phone terminal and a smartphone, and is a legacy for a highly functional interface space in which a plurality of microphones and a plurality of speakers according to the present embodiment are arranged. Interface.
  • the signal processing apparatus 1 is connected to a normal communication terminal 7 and can reproduce audio received from the communication terminal 7 from a plurality of speakers arranged around the user. Further, the signal processing device 1 according to the present embodiment can transmit the user's voice collected from a plurality of microphones arranged around the user to the communication terminal 7.
  • the first user who is in a space where a plurality of microphones and a plurality of speakers are arranged in the vicinity, and the second user who has a normal communication terminal 7 A call with can be realized. That is, the configuration of the acoustic system according to the present embodiment may be a highly functional interface space in which one of the calling side and the called side is arranged with a plurality of microphones and a plurality of speakers according to the present embodiment.
  • the signal processing device 1 controls input / output of the plurality of microphones 10 and the plurality of speakers 20 arranged around the user.
  • the configuration of the acoustic system according to the present disclosure is not limited to this.
  • multiple autonomous microphones and speaker devices are placed around the user, and each device communicates with each other to form a closed acoustic surface that encloses the user, and realize the above-described sound field construction. You may make it do.
  • an autonomous acoustic system will be described in detail with reference to FIGS.
  • a case where a plurality of devices 100 each including one microphone 10 and one speaker 20 are arranged around the user will be described.
  • FIG. 21 is a diagram illustrating an example of a system configuration of an autonomous acoustic system according to the present disclosure.
  • the autonomous acoustic system according to the present disclosure includes a plurality of devices 100 (100-1 to 100-4), a management server 3, a user ID DB 6, a service log DB 8, and a user personal DB 9.
  • the management server 3, the user ID DB 6, the service log DB 8, and the user personal DB 9 are connected via the network 5.
  • a plurality of devices 100 (100-1 to 100-4) are distributed all over the world such as rooms, houses, buildings, outdoors, regions, and countries.
  • the example shown in FIG. 21 shows a case where a plurality of devices 100 are arranged on the walls and floors of public places such as department stores and stations.
  • the plurality of devices 100 (100-1 to 100-4) can communicate with each other wirelessly / wiredly and notify each other of the capabilities of their own devices.
  • at least one device 100 (for example, device 100-1) among the plurality of devices 100 (100-1 to 100-4) can access the network 5.
  • the device 100 includes a microphone 10 and a speaker 20. Note that the configuration of the device according to the present embodiment will be described later with reference to FIG.
  • the plurality of devices 100 notify each other of their device capabilities (characteristic information).
  • the characteristic information to be notified includes a device ID, a service that the device can provide, a device owner ID, a device lending Attribute (attribute), and the like.
  • the owner ID is the owner (installer) ID of the device 100
  • each device 100 (100-1 to 100-4) shown in FIG. 21 is assumed to be installed by an individual or a corporation.
  • the device lending attribute is information indicating an attribute of a service permitted to be lent (used) in advance by an individual or a corporation who is a device installer.
  • information notification is performed on a regular basis or on demand, in an autonomous and distributed manner.
  • the information notification method according to the present embodiment may use a procedure generally known as a mesh network configuration method (IEEE 802.11s beaconing or the like).
  • the device 100 may include a plurality of types of communication I / Fs (interfaces). In this case, each device 100 periodically checks which communication I / F is used to communicate with which device, and sets the communication I / F that can directly communicate with the largest number of devices with high priority. to start.
  • each device 100 may transfer the notification information from the devices in the vicinity of the own device to a device several hops away using the wireless I / F, or may transmit the information to another device via the network 5. Good.
  • the management server 3 manages the absolute position (current position) of each user as described with reference to FIGS.
  • the management server 3 may be a management server 3 ′ that accumulates the acoustic information parameters of the third space described with reference to FIG.
  • the service log DB 8 is a storage unit that stores service contents, the device 100 that contributed to the provision of the service, and the user who provided the service in association with each other. Accordingly, the service log DB 8 can grasp which device is used for what service provision, what service is provided to which user, and the like.
  • the service log stored in the service log DB 8 may be used as billing information for a user (user) who uses the service later, or the installer (individual / corporation) of the device 100 that has contributed to providing the service. May be used as kickback information.
  • the kickback information is information used when a part of the usage fee is provided to the owner (installer) of the device 100 according to the contribution rate (frequency) of the device 100 to the service provision. is there.
  • the service log stored in the service log DB 8 may be transmitted to the user personal DB 9 as metadata of user behavior.
  • User personal DB 9 stores user behavior metadata transmitted from the service log DB 8 as user-owned data. Data stored in the user personal DB 9 can be used in various personalization services and the like.
  • the user ID DB 6 is a storage unit that stores a registered user ID (name, password, biometric information, etc.) and a service permitted to be provided to the user in association with each other.
  • the user ID DB 6 is used when the device 100 performs user authentication.
  • FIG. 22 is a block diagram illustrating a configuration of the device 100 according to the present embodiment.
  • the device 100 includes a microphone 10, an amplifier / ADC unit 11, a signal processing unit 200, a recognition unit 17, an identification unit 18, a communication I / F 19, a user authentication unit 25, a user position estimation unit 16, and a DAC.
  • -It has the amplifier part 23 and the speaker 20.
  • the microphone 10, the amplifier / ADC unit 11, the recognition unit 17, the identification unit 18, the communication I / F 19, the user position estimation unit 16, the DAC / amplifier unit 23, and the speaker 20 have been described with reference to FIG. The description in is omitted.
  • the signal processing unit 200 includes a high S / N processing unit 210 and a sound field reproduction signal processing unit 220. Similar to the high S / N processing unit 133 shown in FIG. 3, the high S / N processing unit 210 has high clarity and a high S / N ratio for the audio signal output from the amplifier / ADC unit 11. It has a function of processing so as to obtain a good monaural signal. Specifically, the high S / N processing unit 210 separates a sound source and performs reverberation / noise suppression. The audio signal processed by the high S / N processing unit 210 is output to the recognition unit 17 and is analyzed by voice for command recognition or transmitted to an external device via the communication I / F 19.
  • the sound field reproduction signal processing unit 220 performs signal processing related to the audio signal reproduced from the speaker 20 and controls the sound field to be localized near the position of the user.
  • the sound field reproduction signal processing unit 220 controls the output content (audio signal) from the speaker 20 so as to form a closed acoustic surface including the user in cooperation with another adjacent device 100.
  • the user authentication unit 25 makes an inquiry to the user ID DB 6 on the network 5 via the communication I / F 19 based on the user ID acquired from a tag such as RFID held by the user, and performs user authentication. For example, when the acquired user ID matches an ID registered in advance in the user ID DB 6, the user authentication unit 25 authenticates as a user who is permitted to provide a service.
  • FIG. 23 is a flowchart showing an operation process of the autonomous acoustic system according to the present embodiment.
  • the device 100 performs a preliminary preparation process. Specifically, the device 100 informs the other device 100 of the above-described characteristic information and confirms a collaborative (reliable) device.
  • the device 100-1 may confirm whether or not the neighboring device 100-2 is reliable based on the owner ID, the lending attribute, etc. included in the characteristic information received from the neighboring device 100-2. Good. Devices that have been confirmed to be reliable can operate their own actuators and capture the output results with sensors of neighboring devices, etc., to combine the characteristics of the devices and what kind of cooperation is possible I can understand. Such a confirmation procedure may be performed periodically. In addition, through such a confirmation procedure, each device 100 gradually grasps what services can be provided in a space where a plurality of adjacent devices 100 (100-1 to 100-4) are arranged. Is possible.
  • step S506 when a user appears in a space where a plurality of devices 100 (100-1 to 100-4) are arranged, the device 100 performs user authentication. For example, as shown in FIG. 21, when the user possesses a tag 60 such as an RFID, the devices 100-1 to 100-4 arranged in the vicinity receive the characteristic information notified from the tag 60, and the user's Appearance may be detected. When the appearance of the user is detected, each device 100 makes an inquiry to the user ID DB 6 on the network 5 based on the user ID included in the characteristic information notified from the tag 60, and whether or not the user may provide the service. Authenticate.
  • a tag 60 such as an RFID
  • the devices 100-1 to 100-4 may detect the appearance of the user with various sensors (such as a microphone, a camera, a human sensor, and a thermal sensor). Further, the devices 100-1 to 100-4 may extract the ID (biological information or the like) of the user by analyzing the detection results of various sensors.
  • various sensors such as a microphone, a camera, a human sensor, and a thermal sensor.
  • the device 100-1 has an access path to the user ID DB 6.
  • the device 100-2, 100-3, or 100-4 that has acquired the user ID transmits the user ID to the device 100-1, and the device 100-1 makes an inquiry to the user ID DB 6 to perform user authentication. You may go.
  • the result of user authentication performed by one device 100 among the devices 100-1 to 100-4 is shared with other peripheral devices 100, and the devices 100-1 to 100-4 serve the user. That you can provide
  • the device 100 recognizes a command (service request) from the user.
  • the device 100 may notify the tag 60 of information related to services that can be provided to the authenticated user.
  • the tag 60 can notify the user of what services can be received at this location by each output means (not shown) such as a speaker or a display unit.
  • the tag 60 specifies a service currently desired by the user by a command input from the user (such as a microphone, a gyroscope, and a key touch), and notifies the peripheral devices 100-1 to 100-4.
  • the devices 100-1 to 100-4 analyze the user's voice and gestures with various sensors (microphone, camera, human sensor, thermal sensor, etc.) and the user desires You may be aware of the services you have.
  • the command recognized by the device 100 may be a command requesting reproduction of a place, a building, a program, a song, or the like designated as a predetermined target in addition to the above-described call request (call request). Good.
  • step S512 if the requested service is a service permitted for the user, the devices 100-1 to 100-4 start providing the service. Specifically, for example, the devices 100-1 to 100-4 start the operation of the sensor (for example, the microphone 10) and the actuator (for example, the speaker 20), and set the communication path between the devices to the operating state. Further, the devices 100-1 to 100-4 may determine the operation of their own devices by cooperating with each other based on the type of service provided, the amount of available communication resources, and the like.
  • the device 100 may operate the communication I / F used for traffic transmission as necessary based on the amount of information to be provided. Further, the device 100 may partially cancel the power saving mode by increasing the operation duty cycle by a necessary amount. Further, the device 100 may make a transition to a state in which stable band supply is possible by setting a transmission / reception time zone used for communication among a plurality of devices, etc. (reserved access reservation of IEEE 802.11s) Etc.).
  • step S515 the device 100 ends the provision of the service when the user instructs the end of the service. Specifically, for example, the device 100 ends the operation of the sensor (for example, the microphone 10) and the actuator (for example, the speaker 20), and sets the communication path between the devices to a stopped state.
  • the sensor for example, the microphone 10
  • the actuator for example, the speaker 20
  • step S518, the device 100 notifies the service log DB 8 of the contents that the device 100 has contributed to the current service provision.
  • the device 100 may also notify the service log DB 8 of information on the user who has provided the service (authenticated user).
  • the autonomous sound system continuously provides a service to the user by changing the device 100 that provides (operates) the service even when the authenticated user walks or moves to another place. Is possible. Such change processing is performed based on, for example, the radio wave intensity from the tag 60 owned by the user, an input signal from a sensor (such as a microphone, a camera, or a human sensor) included in each device.
  • a sensor such as a microphone, a camera, or a human sensor
  • FIG. 24 is a diagram for explaining the change of the operation device according to the movement of the user in the autonomous sound system according to the present embodiment.
  • the devices 100-5 and 100 are separated from the device 100-1 and the device 100-2 that are operating for providing a service and are not performing the operation for providing a service.
  • the devices 100-5 and 100-6 have moved by the user based on the radio wave intensity from the tag 60 possessed by the user, the input signal from the sensor of the devices 100-5 and 100-6, and the like. Detect that.
  • the devices 100-5 and 100-6 receive information such as the ID of the user and services that may be provided from the adjacent device 100-2 and the like.
  • the devices 100-5 and 100-6 start providing services to the user based on the received information.
  • the devices 100-1 and 100-2 that have provided the service determine that the user is out of the service-provided range by the sensors and actuators of the device, the service is terminated and the device operation and communication are performed. Take the road down.
  • the device 100 disposed around the destination can continuously provide the user ID and the service contents by taking over the user ID and service contents.
  • At least one of the devices 100-1 to 100-4 (here, the device 100-1) is an access path to the network 5.
  • the configuration of the autonomous acoustic system according to the present disclosure is not limited to the example illustrated in FIG. 21, and is a network in which the devices 100-1 to 100-4 are closed, and does not have an access path to the outside (network 5). Cases are also conceivable.
  • the user may use the holding tag 60 as an access gateway to the outside. That is, the devices 100-1 to 100-4 make an inquiry to the user ID DB 6 on the network 5 through the tag 60 and authenticate the user when the tag 60 appears in a state where the specific information is mutually notified. .
  • FIG. 25 is a diagram for explaining a case where a service is provided to a plurality of users in the autonomous acoustic system according to the present embodiment. As shown in FIG. 25, when a plurality of users appear in the space where the devices 100-1 to 100-4 are arranged and each makes a service request, each of the devices 100-1 to 100-4 Provide multiple services.
  • the operations of the devices 100-1 to 100-4 for each user are as described with reference to FIGS. 21 to 24.
  • the tag possessed by the user 1 the tag possessed by the user 2 65 is regarded as one of the devices arranged in the vicinity.
  • the tag 60 possessed by the user 1 is regarded as one of the devices arranged in the vicinity.
  • the characteristics of the tag 60 or the tag 65 are provided to the service by the device 100-1 to 100-4 notifying the tag 60 or the tag 65 of the characteristic information and confirming whether or not the device is a reliable device. May be used.
  • the devices 100-1 to 100-4 when the devices 100-1 to 100-4 are closed networks, the devices 100-1 to 100-4 notify the tag 65 of the access path to the external network 5 by notifying the characteristic information with the tag 65. Know what you hold.
  • the devices 100-1 to 100-4 can connect to the external network 5 by using the tag 65 possessed by the user 2 as one device in providing services to the user 1 possessing the tag 60. .
  • the tag 65 possessed by the user 2 in the vicinity is not limited to the devices 100-1 to 100-4 arranged in the vicinity of the user 1, and the tag 65 possessed by the user 2 in the vicinity is transferred to the external network. It is possible to assume a case where access is provided.
  • the service content provided by the tag 65 is written in the service log DB 8, and the user 2 who has the tag 65 later performs a kickback based on the contribution to the service provision to the user 1. It may be used when.
  • the acoustic system according to the present embodiment when the space around the user is interlinked with another space, it is possible to provide a sense of immersion in the third space.
  • the sound system according to the present embodiment reproduces sound and images corresponding to the first predetermined target (person, place, building, etc.) from a plurality of speakers and displays arranged around the user. Can do.
  • the acoustic system according to the present embodiment can reproduce the space of the second predetermined object (location, etc.) and provide an immersive feeling and a sense of presence in the second predetermined object. In this way, it becomes possible to substantially expand the user's mouth, eyes, ears and other bodies over a wide range by using the microphone 10, the speaker 20, the image sensor, etc., which are arranged everywhere indoors and outdoors, New communication methods can be realized.
  • the user since microphones, image sensors, and the like are arranged everywhere, the user does not need to own a smartphone or a mobile phone terminal. It can be connected to the space around the object.
  • the configuration of the acoustic system that realizes such a new communication method may be realized by a signal processing device that controls a plurality of microphones, a plurality of speakers, and the like.
  • the acoustic system according to the present embodiment may be realized by a device such as each autonomous microphone and each speaker cooperating with another adjacent device.
  • the configuration of the signal processing device 1 is not limited to the configuration illustrated in FIG. 3.
  • the recognition unit 17 and the identification unit 18 illustrated in FIG. 3 are provided on the server side connected via the network instead of the signal processing device 1. It may be a configuration.
  • the signal processing device 1 transmits the audio signal output from the signal processing unit 13 to the server via the communication I / F 19.
  • the server performs command recognition and processing for identifying a predetermined target (person, place, building, program, song, etc.) based on the received audio signal, and corresponds to the recognition result and the identified predetermined target. Connection destination information to be transmitted to the signal processing device 1.
  • this technique can also take the following structures.
  • a recognition unit for recognizing the first object and the second object based on signals detected by a plurality of sensors arranged around the specific user;
  • An identification unit for identifying the first and second objects recognized by the recognition unit;
  • An estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors;
  • the first and second identified by the identifying unit so as to be localized near the position of the specific user estimated by the estimating unit when being output from a plurality of actuators arranged around the specific user.
  • a signal processing unit that processes each signal acquired from sensors around the target of the target An information processing system comprising: (2) The first object is a predetermined person, and the second object is a predetermined place, The information processing system according to (1), wherein the signal processing unit processes a signal acquired by a sensor around the predetermined person and a signal acquired by a sensor around the predetermined location. (3) The first object is a predetermined person, and the second object is a predetermined place, The information processing unit according to (1), wherein the signal processing unit processes a signal acquired in real time by a sensor around the predetermined person and a signal already acquired and accumulated by a sensor around the predetermined place. system.
  • the plurality of sensors arranged around the specific user are microphones, The information processing system according to any one of (1) to (4), wherein the recognition unit recognizes the first and second objects based on an audio signal detected by the microphone.
  • the plurality of sensors arranged around the specific user are image sensors, The information processing system according to any one of (1) to (4), wherein the recognition unit recognizes the first and second objects based on a captured image acquired by the image sensor.
  • the information processing system according to any one of (1) to (6), wherein the sensor around the first object and the sensor around the second object are different types of sensors.
  • the signal processing unit processes a signal acquired by a sensor around the first object based on a characteristic of a parameter corresponding to the second object, and acquires the signal by a sensor around the second object.
  • the information processing apparatus according to any one of (1) to (7), wherein a process of adding to the processed signal is performed.
  • the signal processing unit processes each signal acquired from sensors in the vicinity of the first and second objects so as to localize in the vicinity of the sensory organ of the specific user.
  • the information processing apparatus according to item 1.
  • Each sensor around the first and second objects is a microphone
  • the plurality of actuators arranged around the specific user are a plurality of speakers
  • the signal processing unit based on each position of the plurality of speakers and the estimated position of the user so as to form a sound field near the position of the specific user when output from the plurality of speakers,
  • the information processing system according to any one of (1) to (9), wherein the audio signals collected by the microphones around the first and second objects are processed.
  • the estimation unit continuously estimates the position of the specific user
  • the information processing system according to (10) wherein the signal processing unit processes each audio signal so as to form a sound field near the position of the specific user in accordance with a change in the position of the specific user.
  • a recognition unit for recognizing the first object and the second object based on signals detected by sensors around the specific user;
  • An identification unit for identifying the first and second objects recognized by the recognition unit;
  • a signal processing unit that generates a signal to be output from an actuator around the specific user based on signals acquired from a plurality of sensors arranged around the first and second objects identified by the identification unit;
  • An information processing system comprising: (13) The first object is a predetermined person, and the second object is a predetermined place, The signal processing unit processes signals acquired by a plurality of sensors arranged around the predetermined person and signals acquired from a plurality of sensors arranged around the predetermined place, (12) Information processing system described in 1.
  • the first object is a predetermined person, and the second object is a predetermined place
  • the signal processing unit processes a signal acquired in real time by a plurality of sensors arranged around the predetermined person, and a signal already acquired and accumulated by sensors around the predetermined location, (12) Information processing system described in 1.
  • Computer A recognition unit for recognizing the first object and the second object based on signals detected by a plurality of sensors arranged around the specific user; An identification unit for identifying the first and second objects recognized by the recognition unit; An estimation unit that estimates the position of the specific user according to a signal detected by any of the plurality of sensors; The first and second identified by the identifying unit so as to be localized near the position of the specific user estimated by the estimating unit when being output from a plurality of actuators arranged around the specific user.
  • a signal processing unit for processing each signal acquired from sensors around the target of A storage medium in which a program is stored to function as a computer.
  • Computer A recognition unit for recognizing the first object and the second object based on signals detected by sensors around the specific user; An identification unit for identifying the first and second objects recognized by the recognition unit; A signal processing unit that generates a signal to be output from an actuator around the specific user based on signals acquired from a plurality of sensors arranged around the first and second objects identified by the identification unit; A storage medium in which a program is stored to function as a computer.

Abstract

【課題】ユーザ周辺の空間を他の空間と相互連携させる際に、第３の空間への没入感を提供することが可能な情報処理システムおよび記憶媒体を提供する。 【解決手段】特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、前記認識部により認識された前記第１および第２の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部と、を備える、情報処理システム。

Description

情報処理システムおよび記憶媒体
　本開示は、情報処理システムおよび記憶媒体に関する。
　近年、データ通信の分野において様々な技術が提案されている。例えば、下記特許文献１では、Ｍ２Ｍ（Ｍａｃｈｉｎｅ－ｔｏ－Ｍａｃｈｉｎｅ）ソリューションに関する技術が提案されている。具体的には、特許文献１に記載の遠隔管理システムは、インターネットプロトコル（ＩＰ）のマルチメディアサブシステム（ＩＭＳ）プラットフォーム（ＩＳ）を利用し、装置によるプレゼンス情報の公開や、ユーザと装置の間のインスタントメッセージングを介して、権限のあるユーザのクライアント（ＵＣ）と機械のクライアント（ＤＣ）の相互作用が実現される。
　一方、音響技術の分野において、音響ビームを形成することができるアレイスピーカーが種々開発されている。例えば、下記特許文献２には、複数のスピーカーをその波面を共通にして一つのキャビネットに取り付け、各スピーカーから発する音の遅延量とレベルを制御するアレイスピーカーについて記載されている。また、下記特許文献２には、同様の原理によるアレイマイクも開発されている旨が記載され、当該アレイマイクは、各マイクの出力信号のレベルと遅延量とを調整することにより、その集音点を任意に設定でき、これにより効率のよい集音が可能となる。
特開２００６－２７９５６５号公報 特表２００８－５４３１３７号公報
　しかしながら、上述した特許文献１、２では、大量のイメージセンサ、マイク、スピーカー等を広範囲に配し、ユーザの身体拡張を実現する手段として捉える技術やコミュニケーション方法については、何ら言及されていない。
　そこで、本開示では、ユーザ周辺の空間を他の空間と相互連携させる際に、第３の空間への没入感を提供することが可能な、新規かつ改良された情報処理システムおよび記憶媒体を提案する。
　本開示によれば、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、前記認識部により認識された前記第１および第２の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部と、を備える情報処理システムを提案する。
　本開示によれば、特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、前記認識部により認識された前記第１および第２の対象を同定する同定部と、前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、を備える情報処理システムを提案する。
　本開示によれば、コンピュータを、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、前記認識部により認識された前記第１および第２の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部、として機能させるためのプログラムが記憶された記憶媒体を提案する。
　本開示によれば、コンピュータを、特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、前記認識部により認識された前記第１および第２の対象を同定する同定部と、前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部、として機能させるためのプログラムが記憶された記憶媒体を提案する。
　以上説明したように本開示によれば、ユーザ周辺の空間を他の空間と相互連携させる際に、第３の空間への没入感を提供することが可能となる。
本開示の一実施形態による音響システムの概要を説明するための図である。 本開示の一実施形態による音響システムのシステム構成を示す図である。 本実施形態による信号処理装置の構成を示すブロック図である。 本実施形態による音響閉曲面の形状について説明するための図である。 本実施形態による管理サーバの構成を示すブロック図である。 本実施形態による音響システムの基本処理を示すフローチャートである。 本実施形態によるコマンド認識処理を示すフローチャートである。 本実施形態による収音処理を示すフローチャートである。 本実施形態による第３の空間の音場構築について説明するための図である。 サイトＣの音場構築手法を説明するための図である。 本実施形態による管理サーバの他の構成を示すブロック図である。 音響パラメータの測定について説明するための図である。 測定環境における複数のマイクの配置と、聴取環境における複数のスピーカーの配置を比較して示す図である。 本実施形態による測定環境における閉曲面の形状について説明するための図である。 サイトＣへの没入感を提供するよう音場構築を行う音場再生信号処理部の構成を示すブロック図である。 サイトＣにおけるインパルス応答の測定について説明するための図である。 本実施形態によるＭａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部によるインパルス応答群を用いた演算について説明するための図である。 本実施形態による音場再生処理を示すフローチャートである。 サイトＢで構築される音場が固定されている場合について説明するための図である。 サイトＢで構築される音場が流動する場合について説明するための図である。 測定対象空間における測定について説明するための図である。 無響室における測定について説明するための図である。 再生対象空間における再現について説明するための図である。 本実施形態による音響システムの他のシステム構成を示す図である。 本実施形態による自律型音響システムのシステム構成の一例を示す図である。 本実施形態による自律型音響システムのデバイスの構成を示すブロック図である。 本実施形態による自律型音響システムの動作処理を示すフローチャートである。 本実施形態による自律型音響システムにおいて、ユーザの移動に応じた動作デバイスの変更について説明するための図である。 本実施形態による自律型音響システムにおいて、複数ユーザにサービス提供を行う場合について説明するための図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による音響システムの概要
　２．基本構成
　　２－１．システム構成
　　２－２．信号処理装置
　　２－３．管理サーバ
　３．動作処理
　　３－１．基本処理
　　３－２．コマンド認識処理
　　３－３．収音処理
　４．第３空間の音場構築
　　４－１．管理サーバの構成
　　４－２．音場再生信号処理部の構成
　　４－３．音場再生処理
　５．補足
　６．まとめ
　　＜１．本開示の一実施形態による音響システムの概要＞
　まず、本開示の一実施形態による音響システム（情報処理システム）の概要について、図１を参照して説明する。図１は、本開示の一実施形態による音響システムの概要を説明するための図である。図１に示すように、本実施形態による音響システムでは、部屋、家、ビル、屋外、地域、国等の世界の至る所に大量のマイクロフォン１０、イメージセンサ（不図示）、およびスピーカー２０等の各種センサおよびアクチュエータが配置されている状況を想定する。
　図１に示す例では、ユーザＡが現在居る屋外の一のエリア「サイトＡ」の道路等に、複数のセンサの一例として、複数のマイクロフォン（以下、マイクと称す）１０Ａ、および複数のアクチュエータの一例として、複数のスピーカー２０Ａが配されている。また、ユーザＢが現在居る屋内の一のエリア「サイトＢ」では、壁、床、天井等に、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂが配されている。なお、サイトＡ、Ｂには、センサの一例として、図示しない人感知センサやイメージセンサがさらに配されていてもよい。
　ここで、サイトＡとサイトＢはネットワークを介して接続可能であって、サイトＡの各マイクおよびスピーカーで入出力される信号と、サイトＢの各マイクおよびスピーカーで入出力される信号は、互いに送受信される。
　これにより、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイでリアルタイムに再生する。また、本実施形態による音響システムは、ユーザの音声をユーザの周囲に配された複数のマイクにより収音して所定対象の周囲でリアルタイムに再生することができる。このように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。
　また、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。以下、サイトＡに居るユーザＡがサイトＢに居るユーザＢと会話がしたい場合における本実施形態による音響システムの適用について簡潔に説明する。
　　（データ収集処理）
　サイトＡでは、複数のマイク１０Ａ、イメージセンサ（不図示）、および人感センサ（不図示）等により継続的にデータ収集処理が行われている。具体的には、本実施形態による音響システムは、複数のマイク１０Ａで収音した音声、イメージセンサで撮像した撮像画像、または人感センサの検知結果を収集し、これによりユーザの位置を推定する。
　また、本実施形態による音響システムは、予め登録された複数のマイク１０Ａの位置情報、および推定されたユーザの位置に基づいて、ユーザの声が十分収音可能な位置に配されているマイク群を選出してもよい。そして、本実施形態による音響システムは、選出した各マイクにより収音されたオーディオ信号のストリーム群に対してマイクアレイ処理を行う。特に、本実施形態による音響システムは、ユーザＡの口元に収音点が合うような遅延和アレイを行ってもよく、これによりアレイマイクの超指向性を形成できる。よって、ユーザＡのつぶやき程度の小さな声も収音され得る。
　また、本実施形態による音響システムは、収音したユーザＡの音声に基づいてコマンドを認識し、コマンドに従った動作処理を実行する。例えば、サイトＡに居るユーザＡが「Ｂさんと話したい」とつぶやくと、「ユーザＢへの発呼要求」がコマンドとして認識される。この場合、本実施形態による音響システムは、ユーザＢの現在位置を同定し、ユーザＢが現在居るサイトＢとユーザＡが現在居るサイトＡを接続させる。これにより、ユーザＡは、ユーザＢと通話を行うことができる。
　　（オブジェクト分解処理）
　通話中においては、サイトＡの複数のマイクで収音されたオーディオ信号（ストリームデータ）に対して、音源分離（ユーザＡの周囲のノイズ成分や、ユーザＡの周囲の人物の会話などを分離）、残響抑制、ノイズ／エコー処理等のオブジェクト分解処理が行われる。これにより、Ｓ／Ｎ比のよい、残響感も抑制されたストリームデータがサイトＢに送られる。
　なお、ユーザＡが移動しながら話している場合も想定されるが、本実施形態による音響システムは、上記データ収集を継続的に行うことで対応することができる。具体的には、本実施形態による音響システムは、複数のマイク、イメージセンサ、および人感センサ等に基づいて継続的にデータ収集を行い、ユーザＡの移動経路や向いている方向を把握する。そして、本実施形態による音響システムは、移動しているユーザＡの周囲に配される適切なマイク群の選出を継続的に更新し、また、移動しているユーザＡの口元に常に収音点が合うようアレイマイク処理を継続的に行う。これにより、本実施形態による音響システムは、ユーザＡが移動しながら話す場合にも対応することができる。
　また、音声のストリームデータとは別に、ユーザＡの移動方向や向き等がメタデータ化され、ストリームデータと共にサイトＢに送られる。
　　（オブジェクト合成）
　そして、サイトＢに送られたストリームデータは、サイトＢに居るユーザＢの周囲に配されたスピーカーから再生される。この際、本実施形態による音響システムは、サイトＢにおいて、複数のマイク、イメージセンサ、および人感センサによりデータ収集を行い、収集したデータに基づいてユーザＢの位置を推定し、さらにユーザＢの周囲を音響閉曲面で囲う適切なスピーカー群を選出する。サイトＢに送られたストリームデータは、このように選出したスピーカー群から再生され、音響閉曲面内側のエリアが適切な音場として制御される。なお、本明細書において、ある対象物（例えばユーザ）を取り囲むような形で、近接する複数のスピーカーまたは複数のマイクの位置を繋いだ場合に形成される面を、概念的に「音響閉曲面」と称す。また、「音響閉曲面」は、必ずしも完全な閉曲面を構成するものではなく、おおよそ対象物（例えばユーザ）を取り囲むような形であればよい。
　また、ここでの音場は、ユーザＢが自ら任意で選択できるようにしてもよい。例えば、本実施形態による音響システムは、ユーザＢが、サイトＡを音場に指定した場合、サイトＡの環境がサイトＢで再現される。具体的には、例えばリアルタイムに収音されるアンビエントとしての音情報や、予め取得されたサイトＡに関するメタ情報に基づいて、サイトＡの環境がサイトＢで再現される。
　また、本実施形態による音響システムは、サイトＢにおいてユーザＢの周辺に配された複数のスピーカー２０Ｂを用いて、ユーザＡの音像を制御することも可能である。すなわち、本実施形態による音響システムは、アレイスピーカー（ビームフォーミング）を形成することで、ユーザＢの耳元や、音響閉曲面の外側にユーザＡの声（音像）を再現することも可能である。また、本実施形態による音響システムは、ユーザＡの移動経路や向きのメタデータを利用して、サイトＢにおいて、ユーザＡの実際の移動に合わせてユーザＡの音像をユーザＢの周囲で移動させてもよい。
　以上、データ収集処理、オブジェクト分解処理、およびオブジェクト合成処理の各ステップに分けてサイトＡからサイトＢへの音声通信について概要を説明したが、サイトＢからサイトＡの音声通信においても当然に同様の処理が行われる。これにより、サイトＡおよびサイトＢで双方向の音声通信が可能となる。
　以上、本開示の一実施形態における音響システム（情報処理システム）の概要について説明した。続いて、本実施形態による音響システムの構成について図２～図５を参照して詳細に説明する。
　　＜２．基本構成＞
　　［２－１．システム構成］
　図２は、本実施形態による音響システムの全体構成を示す図である。図２に示すように、音響システムは、信号処理装置１Ａ、信号処理装置１Ｂ、および管理サーバ３を有する。
　信号処理装置１Ａおよび信号処理装置１Ｂは、有線／無線によりネットワーク５に接続し、ネットワーク５を介して互いにデータの送受信が可能である。また、ネットワーク５には管理サーバ３が接続され、信号処理装置１Ａおよび信号処理装置１Ｂは、管理サーバ３とデータの送受信を行うことも可能である。
　信号処理装置１Ａは、サイトＡに配される複数のマイク１０Ａおよび複数のスピーカー２０Ａにより入出力される信号を処理する。また、信号処理装置１Ｂは、サイトＢに配される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂにより入出力される信号を処理する。なお、信号処理装置１Ａ、１Ｂを区別して説明する必要がない場合は、信号処理装置１と称する。
　管理サーバ３は、ユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、管理サーバ３は、場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。
　これにより、信号処理装置１は、ユーザにより指定された所定の対象（人物、場所、建物等）の接続先情報（ＩＰアドレス等）を管理サーバ３に問い合わせて取得することができる。
　　［２－２．信号処理装置］
　次に、本実施形態による信号処理装置１の構成について詳細に説明する。図３は、本実施形態による信号処理装置１の構成を示すブロック図である。図３に示すように、本実施形態による信号処理装置１は、複数のマイク１０（アレイマイク）、アンプ・ＡＤＣ（アナログデジタルコンバータ）部１１、信号処理部１３、マイク位置情報ＤＢ（データベース）１５、ユーザ位置推定部１６、認識部１７、同定部１８、通信Ｉ／Ｆ（インターフェース）１９、スピーカー位置情報ＤＢ２１、アンプ・ＤＡＣ（デジタルアナログコンバータ）部２３、および複数のスピーカー２０（アレイスピーカー）を有する。以下、各構成について説明する。
　（アレイマイク）
　複数のマイク１０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のマイク１０は、周囲の音を収音し、アンプ・ＡＤＣ部１１に各々出力する。
　（アンプ・ＡＤＣ部）
　アンプ・ＡＤＣ部１１は、複数のマイク１０から各々出力された音波の増幅機能（ａｍｐｌｉｆｉｅｒ）、および音波（アナログデータ）をオーディオ信号（デジタルデータ）に変換する機能（Ａｎａｌｏｇ・ｔｏ・Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）を有する。アンプ・ＡＤＣ部１１は、変換した各オーディオ信号を信号処理部１３に出力する。
　（信号処理部）
　信号処理部１３は、マイク１０により収音され、アンプ・ＡＤＣ部１１を介して送られた各オーディオ信号や、ＤＡＣ・アンプ部２３を介してスピーカー２０から再生する各オーディオ信号を処理する機能を有する。また、本実施形態による信号処理部１３は、マイクアレイ処理部１３１、高Ｓ／Ｎ化処理部１３３、および音場再生信号処理部１３５として機能する。
　・マイクアレイ処理部
　マイクアレイ処理部１３１は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対するマイクアレイ処理として、ユーザの音声にフォーカスするよう（収音位置がユーザの口元になるよう）指向性制御を行う。
　この際、マイクアレイ処理部１３１は、ユーザ位置推定部１６により推定されたユーザの位置や、マイク位置情報ＤＢ１５に登録されている各マイク１０の位置に基づいて、ユーザの音声収音に最適な、ユーザを内包する音響閉曲面を形成するマイク群を選択してもよい。そして、マイクアレイ処理部１３１は、選択したマイク群により取得されたオーディオ信号に対して指向性制御を行う。また、マイクアレイ処理部１３１は、遅延和アレイ処理、Ｎｕｌｌ生成処理によりアレイマイクの超指向性を形成してもよい。
　・高Ｓ／Ｎ化処理部
　高Ｓ／Ｎ化処理部１３３は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部１３３は、音源を分離し、残響・ノイズ抑制を行う。
　なお、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１の後段に設けられてもよい。また、高Ｓ／Ｎ化処理部１３３により処理されたオーディオ信号（ストリームデータ）は、認識部１７による音声認識に用いられたり、通信部Ｉ／Ｆ１９を介して外部に送信されたりする。
　・音場再生信号処理部
　音場再生信号処理部１３５は、複数のスピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。具体的には、例えば音場再生信号処理部１３５は、ユーザ位置推定部１６により推定されたユーザの位置やスピーカー位置情報ＤＢ２１に登録されている各スピーカー２０の位置に基づいて、ユーザを内包する音響閉曲面を形成する最適なスピーカー群を選択する。そして、音場再生信号処理部１３５は、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、信号処理したオーディオ信号を書き込む。
　また、音場再生信号処理部１３５は、音響閉曲面の内側のエリアを適切な音場として制御する。音場の制御方法は、例えばキルヒホッフ・ヘルムホルツの積分則、またはレイリー積分則として知られるものであり、これを応用した波面合成法(ＷＦＳ：Ｗａｖｅ　Ｆｉｅｌｄ　Ｓｙｎｔｈｅｓｉｓ)等が一般的に知られている。また、音場再生信号処理部１３５は、特許第４６７４５０５号、および特許第４７３５１０８号等に記載の信号処理技術を応用してもよい。
　なお、上述したマイクまたはスピーカーにより形成される音響閉曲面の形状は、ユーザを取り囲む立体的な形状であれば特に限定されず、例えば、図４に示すような楕円型の音響閉曲面４０－１、円柱型の音響閉曲面４０－２、または多角形型の音響閉曲面４０－３であってもよい。図４に示す例では、一例としてサイトＢにおいてユーザＢの周辺に配される複数のスピーカー２０Ｂ－１～２０Ｂ－１２による音響閉曲面の形状を示すが、複数のマイク１０による音響閉曲面の形状についても同様である。
　（マイク位置情報ＤＢ）
　マイク位置情報ＤＢ１５は、サイトに配される複数のマイク１０の位置情報を記憶する記憶部である。複数のマイク１０の位置情報は、予め登録されていてもよい。
　（ユーザ位置推定部）
　ユーザ位置推定部１６は、ユーザの位置を推定する機能を有する。具体的には、ユーザ位置推定部１６は、複数のマイク１０から収音した音声の解析結果、イメージセンサにより撮像した撮像画像の解析結果、または人感センサによる検知結果に基づいて、複数のマイク１０または複数のスピーカー２０に対するユーザの相対位置を推定する。また、ユーザ位置推定部１６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）情報を取得し、ユーザの絶対位置（現在位置情報）を推定してもよい。
　（認識部）
　認識部１７は、複数のマイク１０により収音され、信号処理部１３により処理されたオーディオ信号に基づいてユーザの音声を解析し、コマンドを認識する。例えば、認識部１７は、「Ｂさんと話したい」というユーザの音声を形態素解析し、ユーザに指定された所定の対象「Ｂ」および要求「話す」に基づき、発呼要求コマンドを認識する。
　（同定部）
　同定部１８は、認識部１７により認識された所定の対象を同定する機能を有する。具体的には、例えば同定部１８は、所定の対象に対応する音声や画像を取得するための接続先情報を決定してもよい。同定部１８は、例えば所定の対象を示す情報を通信部Ｉ／Ｆ１９から管理サーバ３に送信し、管理サーバ３から所定の対象に対応する接続先情報（ＩＰアドレス等）を取得してもよい。
　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ１９は、ネットワーク５を通じて他の信号処理装置や管理サーバ３との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ１９は、管理サーバ３に対して所定の対象に対応する接続先情報の問い合わせを行ったり、接続先である他の信号処理装置に、マイク１０で収音して信号処理部１３で処理したオーディオ信号を送信したりする。
　（スピーカー位置情報ＤＢ）
　スピーカー位置情報ＤＢ２１は、サイトに配される複数のスピーカー２０の位置情報を記憶する記憶部である。複数のスピーカー２０の位置情報は、予め登録されていてもよい。
　（ＤＡＣ・アンプ部）
　ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生するための各チャンネルの出力バッファに書き込まれたオーディオ信号（デジタルデータ）を音波（アナログデータ）に変換する機能（Ｄｉｇｉｔａｌ・ｔｏ・Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）を有する。
　さらに、ＤＡＣ・アンプ部２３は、変換した音波を増幅（ａｍｐｌｉｆｉｅｒ）し、複数のスピーカー２０から各々再生（出力）する。
　（アレイスピーカー）
　複数のスピーカー２０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のスピーカー２０は、ＤＡＣ・アンプ部２３から出力された音波（音声）を再生する。
　以上、本実施形態による信号処理装置１の構成について詳細に説明した。続いて、本実施形態による管理サーバ３の構成について図５を参照して説明する。
　　［２－３．管理サーバ］
　図５は、本実施形態による管理サーバ３の構成を示すブロック図である。図５に示すように、管理サーバ３は、管理部３２、検索部３３、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９を有する。以下、各構成について説明する。
　　（管理部）
　管理部３２は、信号処理装置１から送信されたユーザＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等に基づいて、ユーザが現在居る場所（サイト）に関する情報を管理する。例えば管理部３２は、ユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けてユーザ位置情報ＤＢ３５に記憶させる。なお、ユーザＩＤは、氏名、暗証番号、または生体情報等を含んでもよい。また、管理部３２は、送信されたユーザＩＤに基づいてユーザの認証処理を行ってもよい。
　　（ユーザ位置情報ＤＢ）
　ユーザ位置情報ＤＢ３５は、管理部３２による管理に応じて、ユーザが現在居る場所に関する情報を記憶する記憶部である。具体的には、ユーザ位置情報ＤＢ３５は、ユーザのＩＤ、および接続先情報（ユーザが居るサイトに対応する信号処理装置のＩＰアドレス等）を対応付けて記憶する。また、各ユーザの現在位置情報は時々刻々と更新されてもよい。
　　（検索部）
　検索部３３は、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３３は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。
　　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ３９は、ネットワーク５を通じて信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ３９は、信号処理装置１からユーザのＩＤを受信したり、接続先問い合わせを受信したりする。また、通信Ｉ／Ｆ３９は、接続先問い合わせに応じて、対象ユーザの接続先情報を送信する。
　以上、本開示の一実施形態による音響システムの各構成について詳細に説明した。次に、本実施形態による音響システムの動作処理について図６～図９を参照して詳細に説明する。
　　＜３．動作処理＞
　　［３－１．基本処理］
　図６は、本実施形態による音響システムの基本処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、信号処理装置１ＡはサイトＡに居るユーザＡのＩＤを管理サーバ３に送信する。信号処理装置１Ａは、ユーザＡのＩＤを、ユーザＡが所有しているＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等のタグから取得してもよいし、ユーザＡの音声から認識してもよい。また、信号処理装置１Ａは、ユーザＡの身体（顔、目、手等）から生体情報を読み取り、ＩＤとして取得してもよい。
　一方、ステップＳ１０６において、信号処理装置１Ｂも同様にサイトＢに居るユーザＢのＩＤを管理サーバ３に送信する。
　次に、ステップＳ１０９において、管理サーバ３は、各信号処理装置１から送信されたユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けて登録する。
　次いで、ステップＳ１１２において、信号処理装置１Ｂは、サイトＢに居るユーザＢの位置を推定する。具体的には、信号処理装置１Ｂは、サイトＢに配された複数のマイクに対するユーザＢの相対位置を推定する。
　次に、ステップＳ１１５において、信号処理装置１Ｂは、推定したユーザＢの相対位置に基づき、サイトＢに配された複数のマイクにより収音されたオーディオ信号に対して、ユーザＢの口元に収音位置がフォーカスするようマイクアレイ処理を行う。このように、信号処理装置１Ｂは、ユーザＢが何らかの発言を行う場合に備える。
　一方、ステップＳ１１８において、信号処理装置１Ａも同様に、ユーザＡの口元に収音位置がフォーカスするようサイトＡに配された複数のマイクにより収音されたオーディオ信号に対してマイクアレイ処理を行い、ユーザＡが何らかの発言を行う場合に備える。そして、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。ここでは、一例としてユーザＡが「Ｂさんと話したい」とつぶやいて、信号処理装置１Ａが「ユーザＢに対する発呼要求」コマンドとして認識した場合について説明を続ける。なお、本実施形態によるコマンド認識処理については、後述の［３－２．コマンド認識処理］において詳細に説明する。
　次に、ステップＳ１２１において、信号処理装置１Ａは、接続先問い合わせを管理サーバ３に対して行う。上述したように、コマンドが「ユーザＢに対する発呼要求」であった場合、信号処理装置１Ａは、ユーザＢの接続先情報を問い合わせる。
　次いで、ステップＳ１２５において、管理サーバ３は、信号処理装置１Ａからの接続先問い合わせに応じて、ユーザＢの接続先情報を検索し、続くステップＳ１２６において、検索結果を信号処理装置１Ａに送信する。
　次に、ステップＳ１２７において、信号処理装置１Ａは、管理サーバ３から受信したユーザＢの接続先情報により接続先を同定（決定）する。
　次いで、ステップＳ１２８において、信号処理装置１Ａは、同定したユーザＢの接続先情報、例えばユーザＢが現在居るサイトＢに対応する信号処理装置１ＢのＩＰアドレスに基づいて、信号処理装置１Ｂに対して発呼処理を行う。
　次に、ステップＳ１３１において、信号処装置１Ｂは、ユーザＡからの呼び出しに応答するか否かをユーザＢに問うメッセージを出力する（呼び出し通知）。具体的には、例えば信号処理装置１Ｂは、ユーザＢの周辺に配されるスピーカーから当該メッセージを再生してもよい。また、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のマイクから収音したユーザＢの音声に基づいて、呼び出し通知に対するユーザＢの回答を認識する。
　次いで、ステップＳ１３４において、信号処理装置１Ｂは、ユーザＢの回答を信号処理装置１Ａに送信する。ここでは、ユーザＢがＯＫ回答を行い、ユーザＡ（信号処理装置１Ａ側）とユーザＢ（信号処理装置１Ｂ側）の双方向通信が開始される。
　具体的には、ステップＳ１３７において、信号処理装置１Ａは、信号処理装置１Ｂとの通信を開始すべく、サイトＡにおいてユーザＡの音声を収音し、音声ストリーム（オーディオ信号）をサイトＢ（信号処理装置１Ｂ側）に送信する収音処理を行う。なお、本実施形態による収音処理については、後述の［３－３．収音処理］において詳細に説明する。
　そして、ステップＳ１４０において、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のスピーカーによりユーザＢを内包する音響閉曲面を形成し、信号処理装置１Ａから送信された音声ストリームに基づいて音場再生処理を行う。なお、本実施形態による音場再生処理では、さらに第３の空間（サイトＣ）の音場を構築し、他の空間に居る他ユーザと通話するユーザに第３の空間への没入感を提供することも可能である。このような音場再生処理については、後述の「４．第３空間の音場構築」において詳細に説明する。
　なお、上記ステップＳ１３７～Ｓ１４０では、一例として一方向の通信を示したが、本実施形態は双方向通信が可能であるので、上記ステップＳ１３７～Ｓ１４０とは逆に、信号処理装置１Ｂで収音処理、信号処理装置１Ａで音場再生処理を行ってもよい。
　以上、本実施形態による音響システムの基本処理について説明した。これにより、ユーザＡは、携帯電話端末やスマートフォン等を所持する必要なく、「Ｂさんと話したい」とつぶやくだけで、周辺に配された複数のマイクおよび複数のスピーカーを利用して他の場所に居るユーザＢと通話を行うことができる。続いて、上記ステップＳ１１８に示したコマンド認識処理について図７を参照して詳細に説明する。
　　［３－２．コマンド認識処理］
　図７は、本実施形態によるコマンド認識処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびマイク位置情報ＤＢ１５に記憶されている各マイクの配置等に基づき、各マイクに対するユーザの相対的な位置、向き、および口の位置を推定してもよい。
　次いで、ステップＳ２０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および口の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群を選出する。
　次に、ステップＳ２０９において、信号処理部１３のマイクアレイ処理部１３１は、選出したマイク群から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。これにより、信号処理装置１は、ユーザが何らかの発言を行う場合に備えることができる。
　次いで、ステップＳ２１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
　次に、ステップＳ２１５において、認識部１７は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号に基づいて、音声認識（音声解析）を行う。
　そして、ステップＳ２１８において、認識部１７は、認識した音声（オーディオ信号）に基づいて、コマンド認識処理を行う。コマンド認識処理の具体的な内容については特に限定しないが、例えば認識部１７は、予め登録された（学習した）要求パターンと認識した音声を比較し、コマンドを認識してもよい。
　上記ステップＳ２１８において、コマンドを認識できなかった場合（Ｓ２１８／Ｎｏ）、信号処理装置１は、ステップＳ２０３～Ｓ２１５に示す処理を繰り返す。この際、Ｓ２０３およびＳ２０６も繰り返されるので、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するマイク群を更新することが可能である。
　　［３－３．収音処理］
　次に、図６のステップＳ１３７に示す収音処理について、図８を参照して詳細に説明する。図８は、本実施形態による収音処理を示すフローチャートである。図８に示すように、まず、ステップＳ３０８において、信号処理部１３のマイクアレイ処理部１３１は、選出／更新した各マイクから収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。
　次いで、ステップＳ３１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
　そして、ステップＳ３１５において、通信Ｉ／Ｆ１９は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号を、上記ステップＳ１２６（図６参照）で同定した対象ユーザの接続先情報で示される接続先（例えば、信号処理装置１Ｂ）に送信する。これにより、ユーザＡがサイトＡで発した音声が、ユーザＡの周辺に配された複数のマイクにより収音され、サイトＢ側に送信される。
　以上、本実施形態によるコマンド認識処理および収音処理について説明した。続いて、本実施形態による音場再生処理について詳細に説明する。
　　＜４．第３空間の音場構築＞
　上述したように、本実施形態による音場再生処理（図６のステップＳ１４０）では、第３の空間（サイトＣ）の音場を構築し、他の空間に居る他ユーザと通話するユーザに第３の空間への没入感を提供することも可能である。以下、このような第３の空間への没入感を提供するための音場構築の概要について図９を参照して説明する。
　図９は、本実施形態による第３の空間の音場構築について説明するための図である。図９に示すように、サイトＡに居るユーザＡおよびサイトＢに居るユーザＢが通話する際、本実施形態による音響システムは、第３の空間であるサイトＣの音場４２を各サイトＡ、Ｂで構築する。ここで、一例として、サイトＡ、サイトＢおよびサイトＣは、各々離れた場所（遠隔地）とする。これにより、例えば東京（サイトＢ）に居るユーザＢが、ユーザＡと一緒に旅行で行く予定のイタリア（サイトＣ）の空間に没入しながら、アメリカ（サイトＡ）に居るユーザＡと通話することができる。
　具体的には、本実施形態による音響システムは、サイトＣにおいて予め測定された音響情報パラメータ（インパルス応答等のパラメータの特性）や、サイトＣで収音した音響コンテンツ（環境音）を用いてサイトＣの音場４２を構築してもよい。なお、このような第３の空間の音響情報パラメータや音響コンテンツは、予め第３の空間において取得され、管理サーバに蓄積されていてもよい。
　（サイトＣの音場構築の手法）
　ここで、サイトＡに居るユーザＡおよびサイトＢに居るユーザＢが通話している際に、各サイトでサイトＣの音場を構築する場合の各手法について図１０を参照して説明する。図１０は、サイトＣの音場構築手法を説明するための図である。図１０に示す例では、一例として、ユーザＡと通話するユーザＢが居るサイトＢにおいて、サイトＣの音場を構築（サイトＣへの没入感を提供）する場合について説明する。
　図１０に示すように、手法１としては、ユーザＢを内包するよう複数のスピーカー２０Ｂで形成される音響閉曲面４０Ｂの外側にユーザＡの声が存在するよう音像を定位し、さらに、ユーザＡの音声がサイトＣで反響したように感じられるよう音響情報パラメータを用いて加工する。
　ここで、音響閉曲面４０の外側にユーザＡの音像を定位させる場合、サイトＢにおいて、図１０に示すように、音響閉曲面４０Ｂの外側に居るユーザＡが発する音声が音響閉曲面４０Ｂに交差する時の波面を想定する。そして、音響閉曲面４０Ｂの内側にその想定波面を創造するよう複数のスピーカー２０から再生することで音像を定位させる。
　また、サイトＣでユーザＡが音声を発したと想定した場合、ユーザＡの音声はサイトＣの構造物や障害物により、反射音（各材質・構造ごとに異なる反射音）を伴って音響閉曲面４０Ｂに到達する場合もある。よって、本実施形態による音響システムは、予めサイトＣで測定された音響情報パラメータ（インパルス応答）を用いてユーザＡの音声を加工することで、ユーザＡの音声がサイトＣで反響したように感じられる音場４２をサイトＢに構築する。これにより、ユーザＢは、サイトＣへの没入感をさらに得ることができる。
　手法２としては、音響閉曲面４０の内側に居るユーザＢの音声を収音し、当該音声をサイトＣの音響情報パラメータを用いて加工し、音響閉曲面４０を形成する複数のスピーカー２０Ｂから再生する。すなわち、音響閉曲面４０の内側に居るユーザＢが、サイトＣの音場を、臨場感を持って体感し、サイトＣへの没入感にさらに浸り、サイトＣの空間の大きさを感じるためには、通話相手の音声の加工（手法１）の他、自らが発した音声の変化も重要である（エコーロケーション）。よって、手法２では、ユーザＢが発した音声が、サイトＣで反響したように感じられる音場４２をサイトＢに構築する。これにより、ユーザＢは、サイトＣの臨場感や、サイトＣへの没入感をさらに得ることができる。なお、手法２の具体的な実現方法については、図１６Ａ、図１６Ｂを参照して後述する。
　手法３としては、ユーザＢを内包する音響閉曲面４０を形成する複数のスピーカー２０Ｂから、サイトＣのざわめき声、環境音等の音響コンテンツを再生することで、サイトＣの臨場感や、サイトＣへの没入感を増加させる。サイトＣの音響コンテンツは、予め録音されたものであってもよいし、リアルタイムで収音されてもよい。
　以上、サイトＣへの没入感を提供するための音場構築における３つの手法について図１０を参照して説明した。本実施形態による音響システムでは、上記３つの手法のうち１の手法により音場構築してもよいし、２以上の手法を組み合わせて音場構築してもよい。
　（サイトＣの指定）
　また、本実施形態において、第３の空間（サイトＣ）は、ユーザが任意に指定してもよいし、予め設定された場所としてもよい。例えば、サイトＡに居るユーザＡが、「ユーザＢと（第１の対象）と、サイトＣ（第２の対象）で話したい」と発言すると、周辺に配された複数のマイク１０Ａ（図１参照）により当該発言が収音され、信号処理装置１Ａによりコマンドとして認識される。
　次いで、信号処理装置１Ａは、管理サーバに対して「ユーザＢ」と通話するための接続先情報、および指定した場所の音場構築用データを要求する。そして、管理サーバは、信号処理装置１Ａに対して、接続先情報（ここでは、ユーザＢが居るサイトＢの信号処理装置１ＢのＩＰアドレス等）および音場構築用データ（ここでは、サイトＣの音響情報パラメータおよび音響コンテンツ）を送信する。
　また、信号処理装置１Ａと信号処理装置１Ｂとの間で通信が開始された場合（ユーザＢがユーザＡからの発呼に対してＯＫ回答した場合）、音場構築用データは、信号処理装置１Ｂにも送信される。これにより、サイトＡおよびサイトＢでサイトＣの音場が構築され、異なるサイトに居るユーザＡおよびユーザＢは、同じ場所への没入感を共有することができる。
　以上、第３の空間への没入感を提供するための音場構築の概要について説明した。続いて、第３の空間の音響情報パラメータや音響コンテンツを蓄積する管理サーバの構成について図１１を参照して説明する。
　　［４－１．管理サーバの構成］
　図１１は、本実施形態による管理サーバの他の構成を示すブロック図である。図１１に示すように、管理サーバ３’は、管理部３２、検索部３４、ユーザ位置情報ＤＢ３５、通信Ｉ／Ｆ３９、音響情報パラメータＤＢ３６、および音響コンテンツＤＢ３７を有する。管理部３２、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９は、図５を参照して上述した通りであるので、ここでの説明は省略する。
　（検索部）
　検索部３４は、まず、上述した検索部３３と同様に、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３４は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。
　さらに、検索部３４は、信号処理装置１からの音場構築用データの要求に応じて、音響情報パラメータＤＢ３６から、指定されたサイトの音響情報パラメータを検索して抽出する。また、検索部３４は、信号処理装置１からの音場構築用データの要求に応じて、音響コンテンツＤＢ３７から、指定されたサイトの音響コンテンツを検索して抽出する。
　（音響情報パラメータ）
　音響情報パラメータＤＢ３６は、各サイトで予め測定された音響情報パラメータを記憶する記憶部である。音響パラメータとは、各サイトにおいて、任意の１点または複数点（音像を定位させたい位置）からのインパルス応答を測定したものであってもよい。また、インパルス応答を測定する際に、ＴＳＰ（Ｔｉｍｅ　Ｓｔｒｅｃｈｅｄ　Ｐｕｌｓｅ）応答、Ｓｗｅｐｔ－Ｓｉｎｅ法、Ｍ系列応答等を利用することで、Ｓ／Ｎ比が向上する。
　ここで、音響情報パラメータの測定について、図１２を参照して説明する。図１２に示す測定１では、図１０を参照して説明した手法１において音響閉曲面４０の外側の任意の位置に定位される通話相手ユーザの音声を加工する際に用いられる音響情報パラメータ（第１の音響情報パラメータ）の測定を説明する。図１２に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、複数のマイク１０Ｃで形成される閉曲面４３の外側の任意の位置に設置された音源（スピーカー２０Ｃ）から各マイク１０Ｃまで、どのように伝達されるか（インパルス応答）を測定する。
　図１２に示す例では、測定１において、スピーカー２０Ｃが一つ配置されているが、これに限定されず、複数のスピーカー２０Ｃを閉曲面４３の外側に配置し、各スピーカー２０からの各マイク１０Ｃへの伝達を各々測定してもよい。これにより、上記手法１において、ユーザＡの音源を定位できる個所を増やすことができる。
　また、図１２に示す測定２では、図１０を参照して説明した手法２において音響閉曲面４０の内側に居るユーザ自身の音声を加工する際に用いられる音響情報パラメータ（第２の音響情報パラメータ）の測定を説明する。図１２に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、複数のマイク１０Ｃで形成される閉曲面４３の内側に設置された音源（スピーカー２０Ｃ）から出力された音（測定用信号）が、サイトＣにおける反射・反響の影響を受けて各マイク１０Ｃまでどのように伝達されるか（インパルス応答）を測定する。図１２に示す例では、測定２において、一例としてスピーカー２０Ｃが一つ配置されているが、本実施形態はこれに限定されず、複数のスピーカー２０Ｃが閉曲面４３の内側に配置され、各スピーカー２０からの各マイク１０Ｃへの伝達が各々測定される。
　（音響コンテンツ）
　音響コンテンツＤＢ３７は、各サイトで収音された音響コンテンツを記憶する記憶部である。音響コンテンツとは、例えば各サイトにおいて録音（測定）された周囲の音（環境音、ざわめき声等）である。
　音響コンテンツの測定は、例えば図１２の測定３に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、周囲の音を測定（録音）する。また、周囲の音の測定は、時間別、平日／休日別に行ってもよい。これにより、本実施形態による音響システムは、サイトＣの時間別、平日／休日別の音場を構築することができる。また、再生環境であるサイトＢにおいて、現在の時刻に近い音響コンテンツを再生することもできる。
　なお、図１２に示す複数のマイク１０Ｃにより形成される閉曲面４３は、聴取環境（再生環境）の音響閉曲面より大きく形成されてもよい。以下、図１３を参照して説明する。図１３は、測定環境（ここでは、サイトＣ）における複数のマイク１０Ｃの配置と、聴取環境（ここでは、サイトＢ）における複数のスピーカー２０Ｂの配置を比較して示す図である。
　図１３に示すように、ユーザＢを内包するよう複数のスピーカー２０Ｂにより形成される音響閉曲面４０に対して、サイトＣにおいて測定時に用いられる複数のマイク１０Ｃは、音響閉曲面４０より大きい閉曲面４３を形成するよう配置される。
　また、図４を参照して上述したように、聴取環境（再生環境）のサイトＢでは、複数のスピーカー２０Ｂ－１～２０Ｂ－１２により立体的な音響閉曲面４０－１、４０－２、４０－３が形成される。よって、測定環境のサイトＣにおいても、図１４に示すように、複数の外側に向けられた有指向性マイク１０Ｃ－１～１０Ｃ－１２により立体的な閉曲面４３－１、４３－２、４０－３が形成され得る。
　以上、本実施形態による管理サーバ３’の各構成について詳細に説明した。続いて、上記手法１～手法３（図１２参照）を用いてサイトＣの音場を構築する聴取環境（再生環境）のサイトＢ側の制御について説明する。サイトＢ側では、信号処理装置１Ｂの音場再生信号処理部１３５（図３参照）により、最適な音場が形成される。以下、図１５を参照し、上記手法１～手法３を実現して音場を構築する音場再生信号処理部１３５の構成について具体的に説明する。
　　［４－２．音場再生信号処理部の構成］
　図１５は、サイトＣへの没入感を提供するよう音場構築を行う音場再生信号処理部１３５の構成について説明するためのブロック図である。また、図１５では、信号処理装置１Ｂのうち、ここでの説明に関係する主要な構成を示し、他の構成は省略している。
　図１５に示すように、音場再生信号処理部１３５は、Ｃｏｎｖｏｌｕｔｉｏｎ（畳み込み積分）部１３６、ハウリング抑制部１３７、１３９、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ（畳み込み行列）部１３８として機能する。
　（Ｃｏｎｖｏｌｕｔｉｏｎ部）
　Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、上記手法１（ユーザＡの音像定位、ユーザＡの反響音声加工）を実現する機能を有する。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、通信Ｉ／Ｆ１９を介してサイトＡの信号処理装置１Ａから取得（受信）したオーディオ信号ｂ（ユーザＡの音声）を、サイトＣの音響情報パラメータｃ（第１の音響情報パラメータ）を用いて、各出力スピーカー別にレンダリングする。また、この際、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、ユーザＡの音像を定位させる位置のパラメータａを考慮し、定位位置に応じたサイトＣの音響情報パラメータｃ（インパルス応答）を用いてもよい。なお、ユーザＡの音像を定位させる位置のパラメータａは、信号処理装置１Ａまたは管理サーバ３’から通信Ｉ／Ｆ１９を介して送信されたものであってもよいし、ユーザＢの指示に基づいて信号処理装置１Ｂで算出されたものであってもよい。また、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、サイトＣの音響情報パラメータｃ（インパルス応答）を、通信Ｉ／Ｆ１９を介して管理サーバ３’から取得してもよい。
　そして、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、図１５に示すように、各出力スピーカー（ユーザＢを内包する音響閉曲面４０Ｂを形成する複数のスピーカー２０Ｂ）の出力バッファに対して、上記信号処理を行ったオーディオ信号を書き込む。
　（ハウリング抑制部）
　ハウリング抑制部１３７、１３９は、フィードバックによるハウリングを避けるため、必要に応じて、図１５に示すようにマイクのアンプ・ＡＤＣ部１１の後段およびスピーカーのＤＡＣ・アンプ部２３の前段に、両者が連携処理できるよう設けられる。上述したように手法２では、ユーザＢの周辺に配された複数のマイク１０Ｂから収音した音を、音響情報パラメータ（インパルス応答）を用いてレンダリングし、ユーザＢの周辺に配された複数のスピーカー２０Ｂから再生する。この時、マイクとスピーカーの位置が近いので、両者の作用で過剰な発振動作が生じてしまう恐れがある。このため、図１５に示す例では、ハウリング抑制部１３７、１３９を設け、ハウリング抑制処理を実施している。なお、音場再生信号処理部１３５は、上記過剰な発振動作を防止するために、ハウリング抑制部１３７、１３９の他、エコーキャンセラを有していてもよい。
　（Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部）
　Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、上記手法２（ユーザＢの反響音声加工）を実現する機能を有する。具体的には、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、サイトＢに配された複数のマイク１０Ｂにより収音されたオーディオ信号（音響閉曲面４０Ｂ内で発生した音）を、サイトＣの音響情報パラメータｃ（第２の音響情報パラメータ；インパルス応答群）を用いて、各出力スピーカー別にレンダリングする。これにより、サイトＢの音響閉曲面４０Ｂ内で発生した音、例えばユーザＢ自身の音声がサイトＣで反響したように感じられる音場をサイトＢで構築するためのオーディオ信号が出力される。
　ここで、本実施形態による手法２の実現方法について、図１６Ａおよび図１６Ｂを参照して具体的に説明する。図１６Ａは、サイトＣにおけるインパルス応答の測定について説明するための図である。図１６Ａに示すように、まず、サイトＣに配置され、閉曲面４３の外側を向いた各スピーカー２０Ｃから、同じくサイトＣに配置され、閉曲面４３の外側を向いた各マイク１０Ｃまでのインパルス応答が測定される。
　具体的には、閉曲面４３上の単一のスピーカーから、同じく閉曲面４３上の複数マイク群へのインパルス応答が測定される。このインパルス応答は、周波数軸で考えると、サイトＣの構造物／障害物などの空間音響の影響を受けた伝達関数としても考えることができる。
　ここで、図１６Ａに示す例では、閉曲面４３上の各マイク・スピーカの位置をＲ１、Ｒ２、・・・ＲＮと表現する。そして、図１６Ａに示すように、Ｒ１に配置されたスピーカー（ＳＰ）から、Ｒ１に配置されたマイク、Ｒ２に配置されたマイク・・・ＲＮに配置されたマイクまでの各伝達関数が測定される。次いで、Ｒ２に配置されたスピーカーから、Ｒ１に配置されたマイク、Ｒ２に配置されたマイク・・・ＲＮに配置されたマイクまでの各伝達関数が測定される。
　次に、Ｒ１に位置するスピーカーからＲ１に位置するマイクまでの伝達関数をＲ１１、Ｒ１に位置するスピーカーからＲ２に位置するマイクまでの伝達関数をＲ１２、と記述すると、図１６Ａに示す式（１）に示すように、伝達関数Ｒを用いた行列表現が可能となる。
　当該行列データは、音響情報パラメータとして、管理サーバ３’等に蓄積され、サイトＢで、サイトＣの音場を構築する際に使用される。続いて、サイトＢで行列データを用いてサイトＣの音場を構築する場合について、図１６Ｂを参照して説明する。
　図１６Ｂは、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８によるインパルス応答群を用いた演算について説明するための図である。図１６Ｂに示す例では、サイトＢ（再生環境）側において、サイトＣにおける測定時と略同じ大きさ・形状の閉曲面を想定する。また、サイトＢに配置される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂの数も、サイトＣにおける測定時と同じであって、配置位置もサイトＣにおける測定時と同じＲ１、Ｒ２、・・・ＲＮである場合を想定する。ただし、図１６Ｂに示すように、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂは、音響閉曲面４０Ｂの内側を向いている。
　また、図１６Ｂに示すように、サイトＢでのＲ１、Ｒ２、・・・ＲＮの位置にある各マイクで収音される周波数軸表現を、Ｖ１、Ｖ２、・・・ＶＮとする。また、サイトＢでのＲ１、Ｒ２、・・・ＲＮの位置にある各スピーカーから出力（再生）される出力信号（オーディオ信号）を、Ｗ１、Ｗ２、・・・ＷＮとする。
　この場合、サイトＢの音響閉曲面４０Ｂの内側で発生した音（ユーザＡの音声や物音）の波面が、音響閉曲面４０Ｂに到達し、Ｒ１、Ｒ２、・・・ＲＮの位置にある内側向きマイク１０Ｂに収音され、それぞれのマイク１０ＢにてＶ１、Ｖ２、・・・ＶＮの収音信号が取得される。
　そして、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、Ｖ１、Ｖ２、・・・ＶＮの信号群（マイク入力）、および図１６Ａを参照して説明した伝達関数群の行列（式１）を用いて、図１６Ｂに示す式２を実行し、各スピーカー２０Ｂからの出力Ｗ１、Ｗ２、・・・ＷＮを算出する。
　以上説明したように、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、複数のマイク１０Ｂにより収音したオーディオ信号（Ｖ１、Ｖ２、・・・ＶＮ）に対して、サイトＣの音響情報パラメータ（伝達関数群）を用いて信号処理を行う。また、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、図１５に示すように、各出力スピーカーの出力バッファに対して、上記信号処理を行ったオーディオ信号（Ｗ１、Ｗ２、・・・ＷＮ）を加算する。
　（音響コンテンツの加算）
　図１５に示すように、音場再生信号処理部１３５は、通信Ｉ／Ｆ１９を介して管理サーバ３’から受信したサイトＣの音響コンテンツｄを、各出力スピーカーの出力バッファに加算するよう処理することで、上記手法３を実現する。
　以上、本実施形態による信号処理装置１Ｂの音場再生信号処理部１３５の構成について詳細に説明した。次に、サイトＢにおいてサイトＣの音場を構築する際の音場再生処理について図１７を参照して具体的に説明する。
　　［４－３．音場再生処理］
　図１７は、本実施形態による音場再生処理を示すフローチャートである。図１７に示すように、まず、ステップＳ４０３において、信号処理装置１Ｂのユーザ位置推定部１６（図３参照）は、ユーザＢの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０Ｂから収音した音、イメージセンサにより撮像した撮像画像、およびスピーカー位置情報ＤＢ２１に記憶されている各スピーカーの配置等に基づき、各スピーカー２０Ｂに対するユーザＢの相対的な位置、向き、口の位置および耳の位置を推定してもよい。
　次いで、ステップＳ４０６において、信号処理部１３は、推定したユーザＢの相対的な位置、向き、口の位置および耳の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群・スピーカー群を選出する。
　次に、ステップＳ４０７において、信号処理部１３の音場再生信号処理部１３５は、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６により、受信したオーディオ信号ｂ（サイトＡで収音されたユーザＡの音声）に対して図１０に示す手法１の処理を行う。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、図１５に示すように、サイトＡの信号処理装置１Ａから受信したオーディオ信号ｂを、サイトＣの音響情報パラメータｃ（第１の音響情報パラメータ）を用いて、選出された各出力スピーカー別にレンダリングする。そして、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、選出された各出力スピーカーの出力バッファに対して、手法１の処理を行ったオーディオ信号を書き込む。
　次いで、ステップＳ４０９において、音場再生信号処理部１３５は、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８により、選出したマイク群によりサイトＢで収音したユーザＢの音声に対して図１０に示す手法２の処理を行う。具体的には、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、ユーザＢを内包する音響閉曲面を形成するマイク群（複数のマイク１０Ｂ）により収音されたオーディオ信号をサイトＣの音響情報パラメータｃ（第２の音響情報パラメータ）を用いて各出力スピーカー別にレンダリングする。そして、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、選出された各出力スピーカーの出力バッファに対して、手法２の処理を行ったオーディオ信号を加算する。
　次に、ステップＳ４１１において、音場再生信号処理部１３５は、図１０に示す手法３の処理として、サイトＣの音響コンテンツｄを、選出された各出力スピーカーの出力バッファに加算する。
　そして、ステップＳ４１５において、信号処理装置１Ｂは、各出力バッファの内容を、ＤＡＣ・アンプ部２３を介して、上記ステップＳ４０６で選出されたスピーカー群から出力する。
　以上説明したように、本実施形態による音響システムでは、サイトＡで収音されたユーザＡの音声が、サイトＣで測定された第１の音響情報パラメータを用いてレンダリングされ、サイトＣでの反響を伴って、サイトＢの複数のスピーカー２０Ｂから再生される。また、サイトＢで収音されたユーザＢ自身の音声が、サイトＣで測定された第２の音響情報パラメータを用いてレンダリングされ、サイトＣでの反響を伴って、サイトＢの複数のスピーカー２０Ｂから再生される。さらに、サイトＣで収音された音響コンテンツが、サイトＢの複数のスピーカー２０Ｂから再生される。
　これにより、本実施形態による音響システムは、一のサイト（ここではサイトＢ）において、他のサイト（ここではサイトＡ）と相互連携（例えば通話）させる際に、第３の空間（ここではサイトＣ）への没入感を提供することができる。ユーザＢは、ユーザＡと共にサイトＣに居るような音場感を得ることができ、より豊かな臨場感に浸ることができる。
　また、音場再生信号処理部１３５は、ユーザＢの周辺に配されたスピーカー群を用いて、受信したオーディオ信号（ユーザＡの音声）の音像を制御することも可能である。例えば、複数のスピーカーによりアレイスピーカー（ビームフォーミング）を形成することで、音場再生信号処理部１３５は、ユーザＢの耳元でユーザＡの音声を再現したり、ユーザＢを内包する音響閉曲面の外側にユーザＡの音像を再現したりすることが可能である。
　なお、上記Ｓ４０３およびＳ４０６を継続的に行うことで、信号処理部１３は、ユーザＢの移動に応じてユーザＢを内包する音響閉曲面を形成するスピーカー群を更新することが可能である。以下、図１８Ａおよび図１８Ｂを参照して具体的に説明する。
　図１８Ａは、サイトＢで構築される音場４２が固定されている場合について説明するための図である。図１８Ａに示すように、まず、ユーザＢを内包する音響閉曲面４０を形成するために複数のスピーカー２０Ｂが選出され（ステップＳ４０３、Ｓ４０６）、サイトＣへの没入感を提供する音場４２が構築されている場合を想定する。この場合に、ユーザＢが部屋の中を移動したり部屋から出たり等して、音響閉曲面４０から出てしまうと、音場４２から外れてしまい、サイトＣへの没入感が得られない。
　そこで、上述したように、上記Ｓ４０３およびＳ４０６を継続的に行い、ユーザＢの移動に応じてユーザＢを内包する音響閉曲面を形成するスピーカー群を更新する。図１８Ｂは、サイトＢで構築される音場４２が流動する場合について説明するための図である。
　図１８Ｂに示すように、ユーザＢの移動に応じて、新たにユーザＢを内包する音響閉曲面４０’を形成するスピーカー群（スピーカー２０Ｂ’）が選出（更新）され、更新された複数のスピーカー２０Ｂ’により、新たに音場４２’が構築される。
　以上、本実施形態による音響システムの各動作処理について詳細に説明した。続いて、本実施形態の補足について説明する。
　　＜５．補足＞
　　［５－１．コマンド入力の変形例］
　上記実施形態では、音声にてコマンドを入力していたが、本開示による音響システムのコマンド入力方法は音声入力に限定されず、他の入力方法であってもよい。例えば、本実施形態による信号処理装置１は、ユーザの周辺に配される各スイッチ（操作入力部の一例）に対するユーザ操作を検出し、発呼要求等のコマンドを認識してもよい。また、この場合、信号処理装置１は、発呼先の指定（対象ユーザの氏名等）や、没入対象の場所の指定（地名等）も、ユーザの周辺に配されるタッチパネル等（操作入力部の一例）により受け付けることが可能である。
　また、信号処理装置１の認識部１７は、ユーザの周辺に配される撮像部により撮像された画像や、赤外線／熱センサにより取得した検知結果に基づいて、ユーザのジェスチャーを解析し、コマンドとして認識してもよい。例えば、認識部１７は、ユーザが電話をかけるジェスチャーを行った場合、発呼要求コマンドとして認識する。また、この場合、信号処理装置１は、発呼先の指定（対象ユーザの氏名等）や、没入対象の場所の指定（地名等）を、ユーザの周辺に配されるタッチパネル等から受け付けてもよいし、音声解析に基づいて判断してもよい。
　また、他のサイトに居る他のユーザと通話中に（ユーザ周辺の複数のマイク１０から他のユーザの音声が再生されている場合に）、音が聴こえにくいと感じた場合、ユーザはジェスチャーにより再生音の制御を要求してもよい。具体的には、例えば認識部１７は、広げた手を耳に近付けるジェスチャーや、両手を頭の上に近付けてウサギの耳を真似するジェスチャーを、音量アップのコマンドとして認識してもよい。
　以上説明したように、本開示による音響システムのコマンド入力方法は、音声入力に限定されず、スイッチ操作やジェスチャー入力等であってもよい。
　　［５－２．他のコマンド例］
　上記実施形態では、所定の対象として人物が指定され、発呼要求（通話要求）をコマンドとして認識する場合について説明したが、本開示による音響システムのコマンドは発呼要求（通話要求）に限定されず、他のコマンドであってもよい。例えば、信号処理装置１の認識部１７は、所定の対象として指定された場所、建物、番組、曲等をユーザが居る空間で再現するコマンドを認識してもよい。
　また、本実施形態による音響システムは、ユーザが居る空間に、他の空間をリアルタイムで再現してもよいし、指定された場所、建物等の過去の空間（例えば、有名な歌劇場で過去に行われた名コンサート等）を再現してもよい。
　　［５－３．大空間から小空間への変換］
　ここで、上述した実施形態では、サイトＢ（再生環境）側の閉曲面と、サイトＣ（測定環境）側の閉曲面が、略同じ大きさ・形状であることを想定しているが、本実施形態はこれに限定されない。例えば、本実施形態は、測定環境側の閉曲面より、再生環境側の閉曲面が小さい場合であっても、再生環境において測定環境の音場（空間の広がり）を再現することが可能である。
　このような大空間から小空間への変換処理は、図１０を参照して上述した手法１、３を実施する前に、信号処理装置１において、受信したオーディオ信号（ユーザＡのオーディオ信号や音響コンテンツ等）に対して行ってもよい。また、本実施形態による音響システムは、かかる変換処理をリアルタイムで行うことで、測定環境側と再生環境側の各スピーカーおよびマイクの位置の対応関係の不整合問題を解決することができる。
　具体的には、例えば音場再生信号処理部１３５は、特許第４７７５４８７号で開示されている伝達関数を用いた信号処理を用いてもよい。特許第４７７５４８７号では、測定環境の音場において伝達関数（インパルス応答の測定データ）を求め、さらに再現環境において伝達関数に基づく演算処理を施された音声信号を再生し、再現環境で測定環境の音場（残響、音像定位等）を再現している。以下、図１９Ａ～図１９Ｃを参照して伝達関数（インパルス応答の測定データ）を用いた信号処理について説明する。
　図１９Ａは、測定対象空間における測定について説明するための図である。まず、図１９Ａに示すように、測定対象空間（大空間）において、大きな閉曲面Ｐを形成するＭ個のマイクが配置され、Ｍｃｈ用（Ｍ個のスピーカー出力チャンネル用）の測定が行われる。また、各Ｍ個のマイクの位置をＰ１、Ｐ２、・・・ＰＭとする。そして、閉曲面Ｐの外部に配置されたスピーカー（ＳＰ）から測定信号を出力し、スピーカーからＰ１、Ｐ２、・・・ＰＭに配置された各マイクまでのインパルス応答が測定される。このように測定したインパルス応答（伝達関数）を図１９Ａの式（３）に示す。
　次に、無響室での測定について図１９Ｂを参照して説明する。図１９Ｂに示すように、無響室において、大きな閉曲面Ｐを形成するＭ個のスピーカーが配置され、閉曲面Ｐの内側には小さな閉曲面Ｑを形成するＮ個のマイクが配置され、Ｎｃｈ用（Ｎ個のスピーカー出力チャンネル用）の測定が行われる。ここで、各Ｍ個のスピーカーの位置を、図１９Ａと同様の位置Ｐ１、Ｐ２、・・・ＰＭとする。また、各Ｎ個のマイクの位置をＱ１、Ｑ２、・・・ＱＮとする。
　そして、Ｐ１に配置されたスピーカーから、図１９ＡのＰ１に配置されたマイクにより収音された音（測定信号）が出力され、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が測定される。次に、Ｐ２に配置されたスピーカーから、図１９ＡのＰ２に配置されたマイクにより収音された音（測定信号）が出力され、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が測定される。このように、Ｍ個のスピーカーの各々から、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が全て測定される。
　このように測定したＭ個の縦ベクトルを、Ｍ×Ｎ行列演算することで、Ｎ個の出力に変換することができる。すなわち、このように測定したインパルス応答（伝達関数）を、図１９Ｂの式（４）に示すように行列化（伝達関数群の行列生成）することで、大空間（Ｍｃｈ用係数）から小空間（Ｎｃｈ用係数）への変換を実現する。
　次いで、再生対象空間（小空間）での再現について図１９Ｃを参照して説明する。図１９Ｃに示すように、再生対象空間において、ユーザＢを内包する小さな閉曲面Ｑを形成するＮ個のスピーカーが配置されている。ここで、各Ｎ個のスピーカーの位置を、図１９Ｂと同様の位置Ｑ１、Ｑ２、・・・ＱＮとする。
　この場合、Ｑ１、Ｑ２、・・・ＱＮに配置される各スピーカーから、受信したオーディオ信号（例えばユーザＡの音声；音声信号Ｓ）を出力する場合、各スピーカーの出力は、図１９Ｃに示す式（５）により求められる。式（５）は、上記式（３）および式（４）に示すインパルス応答（伝達関数）を用いた演算である。
　このように、例えば閉曲面Ｑの外側にユーザＡの音像を定位させる場合、図１９Ｃに示すように、閉曲面Ｑの外側に居るユーザＡが発する音声が閉曲面Ｑに交差する時の波面を想定し、閉曲面Ｑの内側にその想定波面を創造する。この際、測定対象空間におけるマイクの数と、再生対象空間におけるスピーカーの数との不整合を、上記式（５）により変換することで、本実施形態による音響システムは、小さな閉曲面Ｑにおいて、大きな閉曲面Ｐの音場を再現することができる。
　　［５－４．映像構築］
　さらに、上記実施形態では、第３の空間への没入感の提供を音場構築（音場再生処理）により実現しているが、本開示による音響システムはこれに限定されず、併せて映像構築を用いてもよい。
　例えば信号処理装置１は、第３の空間（サイトＣ）に配された複数のイメージセンサで撮像した映像を所定のサーバから受信し、サイトＡに配された複数のマイクで収音した音声をサイトＢで再生する際、サイトＣの映像を再生してサイトＣの空間を再現してもよい。
　映像の再生は、例えばホログラム再生による空間投影であってもよいし、部屋にあるテレビジョン、ディスプレイ、ユーザが装着するヘッドマウントディスプレイで再生してもよい。このように、音場構築と併せて映像構築も行うことで、ユーザは、第３の空間への没入感を得ることができ、より臨場感に浸ることができる。
　　［５－５．他のシステム構成例］
　図１～図２を参照して説明した上記実施形態による音響システムのシステム構成は、発呼側（サイトＡ）および着呼側（サイトＢ）の両者とも、ユーザの周辺に複数のマイクやスピーカーが配され、信号処理装置１Ａ、１Ｂにより信号処理されている。しかし、本実施形態による音響システムのシステム構成は図１～図２に示す構成に限定されず、例えば図２０に示すような構成であってもよい。
　図２０は、本実施形態による音響システムの他のシステム構成を示す図である。図１３に示すように、本実施形態による音響システムは、信号処理装置１、通信端末７、および管理サーバ３が、ネットワーク５を介して接続している。
　通信端末７は、携帯電話端末やスマートフォンといった通常の単数のマイクおよび単数のスピーカーを有し、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間に対して、レガシーなインターフェースである。
　本実施形態による信号処理装置１は、通常の通信端末７と接続し、通信端末７から受信した音声をユーザの周辺に配される複数のスピーカーから再生することができる。また、本実施形態による信号処理装置１は、ユーザの周辺に配される複数のマイクから収音したユーザの音声を、通信端末７に送信することができる。
　以上説明したように、本実施形態による音響システムによれば、周辺に複数のマイクおよび複数のスピーカーが配された空間に居る第１のユーザと、通常の通信端末７を所持する第２のユーザとの通話を実現することができる。すなわち、本実施形態による音響システムの構成は、発呼側および着呼側の一方が、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間であってもよい。
　　［５－６．自律型音響システム］
　上記実施形態では、図１～図３を参照して説明したように、信号処理装置１により、ユーザの周辺に配された複数のマイク１０および複数のスピーカー２０の入出力が制御されているが、本開示による音響システムの構成はこれに限定されない。例えば、ユーザの周辺に、自律型のマイクやスピーカーのデバイスが複数配され、各デバイス同士が通信し、各々の判断により、ユーザを内包する音響閉曲面を形成し、上述した音場構築を実現するようにしてもよい。以下、このような自律型音響システムについて図２１～図２４を参照して具体的に説明する。なお、ここで説明する自律型音響システムでは、一例として、１のマイク１０および１のスピーカー２０を有するデバイス１００が、ユーザの周辺に複数配されている場合について説明する。
　　（システム構成）
　図２１は、本開示による自律型音響システムのシステム構成の一例を示す図である。図２１に示すように、本開示による自律型音響システムは、複数のデバイス１００（１００－１～１００－４）、管理サーバ３、ユーザＩＤＤＢ６、サービスログＤＢ８、およびユーザ個人ＤＢ９を有する。また、図２１に示すように、管理サーバ３、ユーザＩＤＤＢ６、サービスログＤＢ８、およびユーザ個人ＤＢ９は、ネットワーク５を介して接続されている。
　・デバイス
　複数のデバイス１００（１００－１～１００－４）は、部屋、家、ビル、屋外、地域、国等の世界の至る所に配されている。図２１に示す例では、デパートや駅等の公共の場の壁および床に複数のデバイス１００が配されている場合について示す。また、複数のデバイス１００（１００－１～１００－４）は、無線／有線により互いに通信可能であって、互いに自デバイスのＣａｐａｂｉｌｉｔｙを報知し合っている。また、複数のデバイス１００（１００－１～１００－４）のうち、少なくとも１のデバイス１００（例えばデバイス１００－１）は、ネットワーク５とアクセス可能である。また、デバイス１００は、各々マイク１０およびスピーカー２０を有する。なお、本実施形態によるデバイスの構成については、図２２を参照して後述する。
　・情報の報知
　上述したように、複数のデバイス１００（１００－１～１００－４）は、互いに自デバイスのＣａｐａｂｉｌｉｔｙ（特性情報）を報知し合っている。報知する特性情報には、デバイスＩＤ、自デバイスが提供可能なサービス、デバイスの持ち主ＩＤ、デバイスの貸出Ａｔｔｒｉｂｕｔｅ（属性）などが含まれる。ここで、持ち主ＩＤとは、デバイス１００の持ち主（設置者）ＩＤであり、図２１に示す各デバイス１００（１００－１～１００－４）は、個人や法人により各々設置されたことが想定される。また、デバイスの貸出属性とは、デバイス設置者である個人や法人により予め貸出（利用）が許可されたサービスの属性を示す情報である。
　また、情報の報知は、定期的またはオンデマンドで、自律分散的に行われる。また、本実施形態による情報報知方法は、一般的にメッシュネットワーク構成の方法として知られる手順を利用してもよい（ＩＥＥＥ８０２．１１ｓのビーコニング等）。
　また、デバイス１００は、複数種類の通信Ｉ／Ｆ（インターフェース）を備えていてもよい。この場合、各デバイス１００は、どの通信Ｉ／Ｆを使用した場合に、どのデバイスと通信可能であるかを定期的にチェックし、最も多くのデバイスと直接通信できる通信Ｉ／Ｆを高プライオリティで起動する。
　また、各デバイス１００は、自デバイス周辺のデバイスからの報知情報を、無線Ｉ／Ｆを使って数ホップ先のデバイスまで転送してもよいし、ネットワーク５を介して他装置に送信してもよい。
　・管理サーバ
　管理サーバ３は、図２および図５を参照して説明した通り、各ユーザの絶対位置（現在位置）を管理する。または、管理サーバ３は、図１１を参照して説明した第３の空間の音響情報パラメータ等を蓄積する管理サーバ３’であってもよい。
　・サービスログＤＢ
　サービスログＤＢ８は、サービス内容、当該サービスの提供に寄与したデバイス１００、およびサービスを提供したユーザを関連付けて記憶する記憶部である。これにより、サービスログＤＢ８は、どのデバイスがどのようなサービス提供に用いられたか、また、どのユーザにどのようなサービスを提供したか等を把握することができる。
　また、サービスログＤＢ８に記憶されるサービスログは、後にサービスを利用したユーザ（利用者）への課金情報として用いられてもよいし、サービス提供に寄与したデバイス１００の設置者（個人／法人）に対するキックバック情報として用いられてもよい。ここで、キックバック情報とは、デバイス１００のサービス提供への寄与率（頻度）等に応じて、デバイス１００の持ち主（設置者）に、利用料金の一部を提供する際に用いられる情報である。また、サービスログＤＢ８に記憶されるサービスログは、ユーザの行動のメタデータとしてユーザ個人ＤＢ９に送信されてもよい。
　・ユーザ個人ＤＢ
　ユーザ個人ＤＢ９は、ユーザ所有のデータとして、サービスログＤＢ８から送信されたユーザの行動のメタデータを記憶する。ユーザ個人ＤＢ９に記憶されたデータは、様々な個人化サービス等で利用され得る。
　・ユーザＩＤＤＢ
　ユーザＩＤＤＢ６は、登録されたユーザのＩＤ（氏名、暗証番号、生体情報等）と、当該ユーザに提供が許可されているサービスとを関連付けて記憶する記憶部である。ユーザＩＤＤＢ６は、デバイス１００がユーザ認証を行う際に利用される。
　以上、本実施形態による自律型音響システムのシステム構成について図２１を参照して説明した。続いて、本実施形態によるデバイス１００（信号処理装置）の構成について図２２を参照して説明する。
　　（デバイスの構成）
　図２２は、本実施形態によるデバイス１００の構成を示すブロック図である。図２２に示すように、デバイス１００は、マイク１０、アンプ・ＡＤＣ部１１、信号処理部２００、認識部１７、同定部１８、通信Ｉ／Ｆ１９、ユーザ認証部２５、ユーザ位置推定部１６、ＤＡＣ・アンプ部２３、およびスピーカー２０を有する。マイク１０、アンプ・ＡＤＣ部１１、認識部１７、同定部１８、通信Ｉ／Ｆ１９、ユーザ位置推定部１６、ＤＡＣ・アンプ部２３、およびスピーカー２０は、図３を参照して説明したので、ここでの説明は省略する。
　・信号処理部
　信号処理部２００は、高Ｓ／Ｎ化処理部２１０および音場再生信号処理部２２０を有する。高Ｓ／Ｎ化処理部２１０は、図３に示す高Ｓ／Ｎ化処理部１３３と同様に、アンプ・ＡＤＣ部１１から出力されたオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部２１０は、音源を分離し、残響・ノイズ抑制を行う。高Ｓ／Ｎ化処理部２１０により処理されたオーディオ信号は、認識部１７に出力されてコマンド認識のために音声解析されたり、通信Ｉ／Ｆ１９を介して外部装置に送信されたりする。
　音場再生信号処理部２２０は、スピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。また、音場再生信号処理部２２０は、隣接する他のデバイス１００と連携し、ユーザを内包する音響閉曲面を形成するよう、スピーカー２０からの出力内容（オーディオ信号）を制御する。
　・ユーザ認証部
　ユーザ認証部２５は、ユーザが所持するＲＦＩＤ等のタグから取得したユーザＩＤに基づいて、通信Ｉ／Ｆ１９を介してネットワーク５上のユーザＩＤＤＢ６に問い合わせを行い、ユーザ認証を行う。例えば、ユーザ認証部２５は、取得したユーザＩＤが、ユーザＩＤＤＢ６に予め登録されたＩＤと一致する場合、サービス提供が許可されたユーザとして認証する。
　以上、本実施形態によるデバイス１００の構成について詳細に説明した。続いて、本実施形態による自律型音響システムの動作処理について図２３を参照して説明する。
　　（動作処理）
　図２３は、本実施形態による自律型音響システムの動作処理を示すフローチャートである。図２３に示すように、まず、ステップＳ５０３において、デバイス１００は、事前準備処理を行う。具体的には、デバイス１００は、他のデバイス１００と、上述した特性情報の報知をし合って、連携可能な（信頼できる）デバイスを確認する。
　例えば、デバイス１００－１は、隣接するデバイス１００－２から受信した特性情報に含まれる持ち主ＩＤや、貸出属性等に基づいて、隣接デバイス１００－２が信頼に値するか否かを確認してもよい。信頼に値すると確認し合ったデバイス同士は、自デバイスのアクチュエータを動作させ、隣接デバイスのセンサでその出力結果をキャプチャする等して、デバイス同士の特性を組み合わせてどのような連携が可能であるかを把握することができる。このような確認手順は、定期的に行われてもよい。また、かかる確認手順を通じて、隣接する複数のデバイス１００（１００－１～１００－４）が配された空間で、どのようなサービスが提供可能であるかを、各デバイス１００はゆるやかに把握することが可能である。
　次いで、ステップＳ５０６において、複数のデバイス１００（１００－１～１００－４）が配された空間にユーザが登場した場合、デバイス１００はユーザ認証を行う。例えば、図２１に示すように、ユーザがＲＦＩＤ等のタグ６０を所持する場合、周辺に配されたデバイス１００－１～１００－４は、タグ６０から報知される特性情報を受信し、ユーザの登場を検出してもよい。そして、ユーザの登場を検出すると、各デバイス１００は、タグ６０から報知される特性情報に含まれるユーザＩＤに基づいて、ネットワーク５上のユーザＩＤＤＢ６に問い合わせ、サービスを提供してもよいユーザか否かを認証する。
　なお、ユーザがタグ６０を所持しない場合、デバイス１００－１～１００－４は、各種センサ（マイク、カメラ、人感センサ、熱センサ等）によりユーザの登場を検出してもよい。また、デバイス１００－１～１００－４は、各種センサによる検知結果を解析することで、当該ユーザのＩＤ（生体情報等）を抽出してもよい。
　また、図２１に示す例では、デバイス１００－１～１００－４のうち、デバイス１００－１が、ユーザＩＤＤＢ６へのアクセス経路を保有している。この場合、ユーザＩＤを取得したデバイス１００－２、１００－３、または１００－４は、当該ユーザＩＤをデバイス１００－１に送信し、デバイス１００－１がユーザＩＤＤＢ６へ問い合わせを行い、ユーザ認証を行ってもよい。このように、複数のデバイス１００－１～１００－４の全てがユーザＩＤＤＢ６へのアクセスを保持している必要はない。
　また、デバイス１００－１～１００－４のうち１のデバイス１００で行われたユーザ認証の結果は、周辺の他のデバイス１００と共有され、デバイス１００－１～１００－４は、当該ユーザにサービスを提供できることを把握する。
　次に、ステップＳ５０９において、デバイス１００は、ユーザからのコマンド（サービス要求）を認識する。ここで、デバイス１００は、認証されたユーザへ提供可能なサービスに関する情報を、タグ６０に通知してもよい。タグ６０は、スピーカーまたは表示部等の各出力手段（不図示）により、この場所でどのようなサービスが受けられるかをユーザに通知することができる。また、タグ６０は、ユーザからのコマンド入力（マイク、ジャイロ、キータッチ等）により、現在ユーザが所望しているサービスを特定し、周辺のデバイス１００－１～１００－４に通知する。
　なお、ユーザがタグ６０を所持しない場合、デバイス１００－１～１００－４は、各種センサ（マイク、カメラ、人感センサ、熱センサ等）によりユーザの音声やジェスチャーを解析し、ユーザが所望しているサービスを認識してもよい。
　ここでデバイス１００により認識されるコマンドは、上述したような発呼要求（通話要求）の他、所定の対象として指定した場所、建物、番組、曲等の再現を要求するコマンド等であってもよい。
　次いで、ステップＳ５１２において、デバイス１００－１～１００－４は、要求されたサービスが当該ユーザに許可されているサービスである場合、当該サービスの提供を開始する。具体的には、例えばデバイス１００－１～１００－４は、センサ（例えばマイク１０）やアクチュエータ（例えばスピーカー２０）の動作を開始し、さらにデバイス同士の通信路を動作状態とする。また、デバイス１００－１～１００－４は、提供するサービスの種類・利用可能な通信リソース量等に基づいて、デバイス同士で連携し、自デバイスの動作を決定してもよい。
　また、デバイス１００は、複数種類の通信Ｉ／Ｆを有している場合、提供する情報量等に基づいて、必要に応じてトラヒックの伝送に利用する通信Ｉ／Ｆを動作させてもよい。また、デバイス１００は、必要な分だけ動作Ｄｕｔｙ　Ｃｙｃｌｅを上げて、省電力モードを部分的に解除してもよい。さらに、デバイス１００は、通信に利用する送受信時間帯を複数のデバイス間で設定し合う等して、帯域の安定供給が可能な状態へと遷移させてもよい（ＩＥＥＥ８０２．１１ｓの予約アクセスの立ち上げ等）。
　次に、ステップＳ５１５において、デバイス１００は、ユーザによりサービス終了が指示された場合、サービスの提供を終了する。具体的には、例えばデバイス１００は、センサ（例えばマイク１０）やアクチュエータ（例えばスピーカー２０）の動作を終了させ、また、デバイス同士の通信路を停止状態とする。
　次いで、ステップＳ５１８において、デバイス１００は、自デバイスが今回のサービス提供に寄与した内容をサービスログＤＢ８に通達する。また、デバイス１００は、サービスを提供したユーザ（認証したユーザ）の情報も併せてサービスログＤＢ８に通達してもよい。
　以上、本実施形態による自律型音響システムの動作処理について図２３を参照して具体的に説明した。以下、本実施形態による自律型音響システムの追加説明を行う。
　　（サービスの継続）
　本実施形態による自律型音響システムは、認証したユーザが歩く等して、場所を移動した場合でも、サービスを提供する（動作する）デバイス１００を変更することで、継続してユーザにサービスを提供することが可能である。かかる変更処理は、例えばユーザが所有するタグ６０からの電波強度や、各デバイスが有するセンサ（マイク、カメラ、人感センサ等）からの入力信号等に基づいて行われる。以下、図２４を参照して具体的に説明する。
　図２４は、本実施形態による自律型音響システムにおいて、ユーザの移動に応じた動作デバイスの変更について説明するための図である。図２４に示すように、ここでは、ユーザがサービス提供を行うために動作しているデバイス１００－１およびデバイス１００－２から離れ、サービス提供のための動作を行っていないデバイス１００－５、１００－６に近づいた場合を想定する。
　この場合、デバイス１００－５、１００－６は、ユーザが所持するタグ６０からの電波強度や、デバイス１００－５、１００－６が有するセンサからの入力信号等に基づいて、ユーザが移動してきたことを検知する。そして、デバイス１００－５、１００－６は、隣接するデバイス１００－２等から、当該ユーザのＩＤや提供してもよいサービス等の情報を受信する。
　そして、デバイス１００－５、１００－６は、受信した情報に基づいて、当該ユーザへのサービス提供を開始する。一方、サービス提供を行っていたデバイス１００－１、１００－２は、自デバイスのセンサおよびアクチュエータによりサービス提供可能な範囲から当該ユーザが外れたと判断すると、サービス提供を終了し、デバイスの動作や通信路をダウンさせる。
　このように、ユーザがサービス提供を受けている際に移動しても、移動先周辺に配されるデバイス１００が、ユーザＩＤやサービスの内容を引き継いで継続的に提供することができる。
　　（ネットワーク５へのアクセス経路）
　図２１を参照して説明した本実施形態による自律型音響システムでは、デバイス１００－１～１００－４のうち、少なくとも１つのデバイス１００（ここでは、デバイス１００－１）がネットワーク５へのアクセス経路を有していた。しかしながら、本開示による自律型音響システムの構成は図２１に示す例に限定されず、デバイス１００－１～１００－４が閉じたネットワークであって、外部（ネットワーク５）へのアクセス経路を保有しない場合も考えられる。
　このような場合、デバイス１００－１～１００－４は、例えばユーザが保持タグ６０を、外部へのアクセスゲートウエイとして利用してもよい。すなわち、デバイス１００－１～１００－４は、互いに特定情報の報知をし合う状態において、タグ６０が登場した時点で、タグ６０を介してネットワーク５上のユーザＩＤＤＢ６に問い合わせ、ユーザの認証を行う。
　　（複数ユーザへのサービスの提供）
　次に、デバイス１００－１～１００－４が配されている空間に、複数のユーザが登場した場合のサービス提供について図２５を参照して説明する。
　図２５は、本実施形態による自律型音響システムにおいて、複数ユーザにサービス提供を行う場合について説明するための図である。図２５に示すように、デバイス１００－１～１００－４が配されている空間に、複数のユーザが登場し、各々がサービス要求を行った場合、各デバイス１００－１～１００－４は、複数のサービス提供を実施する。
　この場合、各ユーザに対するデバイス１００－１～１００－４の動作は、図２１～図２４を参照して説明した通りであるが、ユーザ１が所持するタグ６０にとっては、ユーザ２が所持するタグ６５は、周辺に配されたデバイスの一つとしてみなされる。また、ユーザ２が所持するタグ６５にとっても、ユーザ１が所持するタグ６０は、周辺に配されたデバイスの一つとしてみなされる。
　よって、デバイス１００－１～１００－４が、タグ６０またはタグ６５とも特性情報の報知を行い、信頼できるデバイスであるか否かを確認することで、タグ６０またはタグ６５の特性をサービス提供に利用してもよい。
　例えば、デバイス１００－１～１００－４が閉じたネットワークである場合、デバイス１００－１～１００－４は、タグ６５との特性情報の報知により、タグ６５が外部のネットワーク５へのアクセス経路を保持していることを把握する。そして、デバイス１００－１～１００－４は、タグ６０を所持するユーザ１へのサービス提供において、ユーザ２が所持するタグ６５を１つのデバイスとして利用し、外部のネットワーク５に接続することができる。
　このように、ユーザ１の周辺に配されたデバイス１００－１～１００－４に限定されず、付近に居るユーザ２が所持するタグ６５が、タグ６０を所持するユーザ１に対して外部ネットワークへのアクセスを提供するといったケースが想定できる。
　なお、このような場合、タグ６５が提供したサービス内容はサービスログＤＢ８に書き込まれ、後にタグ６５を所持するユーザ２に対して、ユーザ１へのサービス提供に寄与したことに基づくキックバックを行う際に利用されてもよい。
　　＜６．まとめ＞
　上述したように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させる際に、第３の空間への没入感を提供することが可能となる。具体的には、本実施形態による音響システムは、第１の所定対象（人物、場所、建物等）に対応する音声や画像を、ユーザの周囲に配された複数のスピーカーやディスプレイから再生することができる。また、この際、本実施形態による音響システムは、第２の所定対象（場所等）の空間を再現し、第２の所定対象への没入感や臨場感を提供することができる。このように、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。
　また、このような新たなコミュニケーション方法を実現する音響システムの構成は、複数のマイクおよび複数のスピーカー等を制御する信号処理装置により実現されてもよい。また、本実施形態による音響システムは、自律した各マイクおよび各スピーカー等のデバイスが隣接する他のデバイスと連携することで実現されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、信号処理装置１の構成は図３に示す構成に限定されず、例えば図３に示す認識部１７および同定部１８が、信号処理装置１ではなくネットワークを介して接続するサーバ側に設けられる構成であってもよい。この場合、信号処理装置１は、信号処理部１３から出力されるオーディオ信号を通信Ｉ／Ｆ１９を介してサーバに送信する。また、サーバは、受信したオーディオ信号に基づいて、コマンド認識や、所定の対象（人物、場所、建物、番組、曲等）を同定する処理を行い、認識結果および同定された所定の対象に対応する接続先情報を信号処理装置１に送信する。
　なお、本技術は以下のような構成も取ることができる。
（１）
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部と、
を備える、情報処理システム。
（２）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺のセンサにより取得された信号、および前記所定の場所周辺のセンサにより取得された信号を処理する、前記（１）に記載の情報処理システム。
（３）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、前記（１）に記載の情報処理システム。
（４）
　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、それぞれ遠隔地に分散して配置される、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記第１および第２の対象を認識する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記特定ユーザの周辺に配される複数のセンサは、イメージセンサであって、
　前記認識部は、前記イメージセンサにより取得された撮像画像に基づいて、前記第１および第２の対象を認識する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（７）
　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、互いに異なる種類のセンサである、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記信号処理部は、前記第１の対象の周辺のセンサにより取得された信号を、前記第２の対象に対応するパラメータの特性に基づいて加工し、前記第２の対象の周辺のセンサにより取得された信号に加算する処理を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記信号処理部は、前記特定ユーザの感覚器官付近に定位するよう、前記第１および第２の対象の周辺のセンサから取得した各信号を処理する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記第１および第２の対象の周辺の各センサは、マイクロフォンであって、
　前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
　前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記ユーザの位置に基づいて、前記第１および第２の対象の周辺の前記マイクロフォンにより収音された各オーディオ信号を処理する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
　前記推定部は、前記特定ユーザの位置を継続的に推定し、
　前記信号処理部は、前記特定ユーザの位置の変化に応じて、前記特定ユーザの位置付近に音場を形成するよう前記各オーディオ信号を処理する、前記（１０）に記載の情報処理システム。
（１２）
　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
を備える、情報処理システム。
（１３）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺に配された複数のセンサにより取得された信号、および前記所定の場所周辺に配された複数のセンサより取得された信号を処理する、前記（１２）に記載の情報処理システム。
（１４）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺に配された複数のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、前記（１２）に記載の情報処理システム。
（１５）
　コンピュータを、
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部、
として機能させるための、プログラムが記憶された記憶媒体。
（１６）
　コンピュータを、
　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部、
として機能させるための、プログラムが記憶された記憶媒体。
　１、１Ａ、１Ｂ　　信号処理装置
　３、３’　　管理サーバ
　５　　ネットワーク
　６　　ユーザＩＤＤＢ
　７　　通信端末
　８　　サービスログＤＢ
　９　　ユーザ個人ＤＢ
　１０、１０Ａ、１０Ｂ、１０Ｃ　　マイクロフォン（マイク）
　１１　　アンプ・ＡＤＣ（アナログデジタルコンバータ）部
　１３、２００　　信号処理部
　１５　　マイク位置情報ＤＢ（データベース）
　１６　　ユーザ位置推定部
　１７　　認識部
　１８　　同定部
　１９　通信Ｉ／Ｆ（インターフェース）
　２０、２０Ａ、２０Ｂ、２０Ｃ　　スピーカー
　２３　　ＤＡＣ（デジタルアナログコンバータ）・アンプ部
　２５　　ユーザ認証部
　３２　　管理部
　３３、３４　　検索部
　３５　　ユーザ位置情報ＤＢ
　３６　　音響情報パラメータＤＢ
　３７　　音響コンテンツＤＢ
　４０、４０－１、４０－２、４０－３　　音響閉曲面
　４２　　音場
　４３、４３－１、４３－２、４３－３　　閉曲面
　６０、６５　　タグ
　１００、１００－１～１００－４　　デバイス
　１３１　　マイクアレイ処理部
　１３３、２１０　　高Ｓ／Ｎ化処理部
　１３５、２２０　　音場再生信号処理部
　１３６　　Ｃｏｎｖｏｌｕｔｉｏｎ部
　１３７、１３９　　ハウリング抑制部
　１３８　　Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部
 

Claims (16)

  1. 　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
    　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
    　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
    　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部と、
    を備える、情報処理システム。
  2. 　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
    　前記信号処理部は、前記所定の人物周辺のセンサにより取得された信号、および前記所定の場所周辺のセンサにより取得された信号を処理する、請求項１に記載の情報処理システム。
  3. 　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
    　前記信号処理部は、前記所定の人物周辺のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、請求項１に記載の情報処理システム。
  4. 　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、それぞれ遠隔地に分散して配置される、請求項１に記載の情報処理システム。
  5. 　前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
    　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記第１および第２の対象を認識する、請求項１に記載の情報処理システム。
  6. 　前記特定ユーザの周辺に配される複数のセンサは、イメージセンサであって、
    　前記認識部は、前記イメージセンサにより取得された撮像画像に基づいて、前記第１および第２の対象を認識する、請求項１に記載の情報処理システム。
  7. 　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、互いに異なる種類のセンサである、請求項１に記載の情報処理システム。
  8. 　前記信号処理部は、前記第１の対象の周辺のセンサにより取得された信号を、前記第２の対象に対応するパラメータの特性に基づいて加工し、前記第２の対象の周辺のセンサにより取得された信号に加算する処理を行う、請求項１に記載の情報処理装置。
  9. 　前記信号処理部は、前記特定ユーザの感覚器官付近に定位するよう、前記第１および第２の対象の周辺のセンサから取得した各信号を処理する、請求項１に記載の情報処理装置。
  10. 　前記第１および第２の対象の周辺の各センサは、マイクロフォンであって、
    　前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
    　前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記ユーザの位置に基づいて、前記第１および第２の対象の周辺の前記マイクロフォンにより収音された各オーディオ信号を処理する、請求項１に記載の情報処理システム。
  11. 　前記推定部は、前記特定ユーザの位置を継続的に推定し、
    　前記信号処理部は、前記特定ユーザの位置の変化に応じて、前記特定ユーザの位置付近に音場を形成するよう前記各オーディオ信号を処理する、請求項１０に記載の情報処理システム。
  12. 　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
    　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
    　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
    を備える、情報処理システム。
  13. 　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
    　前記信号処理部は、前記所定の人物周辺に配された複数のセンサにより取得された信号、および前記所定の場所周辺に配された複数のセンサより取得された信号を処理する、請求項１２に記載の情報処理システム。
  14. 　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
    　前記信号処理部は、前記所定の人物周辺に配された複数のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、請求項１２に記載の情報処理システム。
  15. 　コンピュータを、
    　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
    　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
    　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
    　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部、
    として機能させるための、プログラムが記憶された記憶媒体。
  16. 　コンピュータを、
    　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
    　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
    　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部、
    として機能させるための、プログラムが記憶された記憶媒体。
     
     
PCT/JP2013/061894 2012-07-27 2013-04-23 情報処理システムおよび記憶媒体 WO2014017134A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US14/404,733 US9615173B2 (en) 2012-07-27 2013-04-23 Information processing system and storage medium
CN201380038607.2A CN104488288B (zh) 2012-07-27 2013-04-23 信息处理系统和存储介质
RU2015101724A RU2635046C2 (ru) 2012-07-27 2013-04-23 Система обработки информации и носитель информации
BR112015001214A BR112015001214A2 (pt) 2012-07-27 2013-04-23 sistema de processamento de informação, e, mídia de armazenamento com um programa armazenado na mesma.
IN484DEN2015 IN2015DN00484A (ja) 2012-07-27 2013-04-23
EP13822441.5A EP2879402A4 (en) 2012-07-27 2013-04-23 INFORMATION PROCESSING SYSTEM AND STORAGE MEDIUM
JP2014526785A JP6102923B2 (ja) 2012-07-27 2013-04-23 情報処理システムおよび記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012166977 2012-07-27
JP2012-166977 2012-07-27

Publications (1)

Publication Number Publication Date
WO2014017134A1 true WO2014017134A1 (ja) 2014-01-30

Family

ID=49996953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061894 WO2014017134A1 (ja) 2012-07-27 2013-04-23 情報処理システムおよび記憶媒体

Country Status (8)

Country Link
US (1) US9615173B2 (ja)
EP (1) EP2879402A4 (ja)
JP (1) JP6102923B2 (ja)
CN (1) CN104488288B (ja)
BR (1) BR112015001214A2 (ja)
IN (1) IN2015DN00484A (ja)
RU (1) RU2635046C2 (ja)
WO (1) WO2014017134A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053107A (zh) * 2014-06-06 2014-09-17 重庆大学 用于噪声环境下声源分离和定位的助听装置及方法
US10282727B2 (en) 2014-05-29 2019-05-07 Apple Inc. User interface for payments

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9602916B2 (en) 2012-11-02 2017-03-21 Sony Corporation Signal processing device, signal processing method, measurement method, and measurement device
US10175931B2 (en) 2012-11-02 2019-01-08 Sony Corporation Signal processing device and signal processing method
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015117919A1 (en) * 2014-02-04 2015-08-13 Tp Vision Holding B.V. Handheld device with microphone
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
EP3354044A1 (en) 2015-09-25 2018-08-01 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung E.V. Rendering system
US10014137B2 (en) 2015-10-03 2018-07-03 At&T Intellectual Property I, L.P. Acoustical electrical switch
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US9704489B2 (en) * 2015-11-20 2017-07-11 At&T Intellectual Property I, L.P. Portable acoustical unit for voice recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10657983B2 (en) * 2016-06-15 2020-05-19 Intel Corporation Automatic gain control for speech recognition
CN106898348B (zh) * 2016-12-29 2020-02-07 北京小鸟听听科技有限公司 一种出声设备的去混响控制方法和装置
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
DE102017100628A1 (de) 2017-01-13 2018-07-19 Visteon Global Technologies, Inc. System und Verfahren zum Bereitstellen einer personenbezogenen Audiowiedergabe
KR20190113778A (ko) 2017-01-31 2019-10-08 소니 주식회사 신호 처리 장치, 신호 처리 방법 및 컴퓨터 프로그램
AU2017406808A1 (en) * 2017-04-01 2019-10-17 Beijing Qisheng Science And Technology Co., Ltd. Systems and methods for determining a parking region of vehicles
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN110741330B (zh) * 2017-06-12 2022-02-15 索尼公司 信息处理装置、信息处理方法和程序
GB201716522D0 (en) * 2017-10-09 2017-11-22 Nokia Technologies Oy Audio signal rendering
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11468891B2 (en) * 2018-03-30 2022-10-11 Sony Corporation Information processor, information processing method, and program
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
JP7245034B2 (ja) * 2018-11-27 2023-03-23 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
CN110121132A (zh) * 2019-04-01 2019-08-13 歌尔股份有限公司 麦克风阵列的电子装置及其应用方法
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
EP3973716A1 (en) 2019-05-23 2022-03-30 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11580213B2 (en) 2019-07-03 2023-02-14 Qualcomm Incorporated Password-based authorization for audio rendering
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
GB201914045D0 (en) * 2019-09-30 2019-11-13 Sintef Tto As Wireless charging of devices
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN117836081A (zh) 2021-09-03 2024-04-05 发那科株式会社 线放电加工机的控制装置及控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2006155472A (ja) * 2004-12-01 2006-06-15 Kyocera Corp 端末装置及び該端末装置の情報表示方法
JP2006279565A (ja) 2005-03-29 2006-10-12 Yamaha Corp アレイスピーカ制御装置及びアレイマイク制御装置
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
JP2008543137A (ja) 2005-05-23 2008-11-27 シーメンス ソシエタ ペル アツィオーニ 機械を、ｉｐマルチメディアサブシステムのｉｐリンクを介して遠隔管理するための方法およびシステム、ｉｍｓ
JP2010130411A (ja) * 2008-11-28 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 複数信号区間推定装置とその方法とプログラム
JP2010170166A (ja) * 2009-01-20 2010-08-05 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
JP4735108B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 音声信号処理方法、音場再現システム
JP4775487B2 (ja) 2009-11-24 2011-09-21 ソニー株式会社 音声信号処理方法、音声信号処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050080849A1 (en) * 2003-10-09 2005-04-14 Wee Susie J. Management system for rich media environments
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
US7995768B2 (en) * 2005-01-27 2011-08-09 Yamaha Corporation Sound reinforcement system
US8390665B2 (en) * 2009-09-03 2013-03-05 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
JP2012009998A (ja) * 2010-06-23 2012-01-12 Panasonic Corp 音場制御システム
US10075801B2 (en) * 2012-07-13 2018-09-11 Sony Corporation Information processing system and storage medium
JP2014060647A (ja) * 2012-09-19 2014-04-03 Sony Corp 情報処理システム及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261351A (ja) * 1996-03-22 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 音声電話会議装置
JP2006155472A (ja) * 2004-12-01 2006-06-15 Kyocera Corp 端末装置及び該端末装置の情報表示方法
JP2006279565A (ja) 2005-03-29 2006-10-12 Yamaha Corp アレイスピーカ制御装置及びアレイマイク制御装置
JP2008543137A (ja) 2005-05-23 2008-11-27 シーメンス ソシエタ ペル アツィオーニ 機械を、ｉｐマルチメディアサブシステムのｉｐリンクを介して遠隔管理するための方法およびシステム、ｉｍｓ
JP4674505B2 (ja) 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
JP4735108B2 (ja) 2005-08-01 2011-07-27 ソニー株式会社 音声信号処理方法、音場再現システム
JP2008227773A (ja) * 2007-03-09 2008-09-25 Advanced Telecommunication Research Institute International 音響空間共有装置
JP2010130411A (ja) * 2008-11-28 2010-06-10 Nippon Telegr & Teleph Corp <Ntt> 複数信号区間推定装置とその方法とプログラム
JP2010170166A (ja) * 2009-01-20 2010-08-05 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
JP4775487B2 (ja) 2009-11-24 2011-09-21 ソニー株式会社 音声信号処理方法、音声信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2879402A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282727B2 (en) 2014-05-29 2019-05-07 Apple Inc. User interface for payments
CN104053107A (zh) * 2014-06-06 2014-09-17 重庆大学 用于噪声环境下声源分离和定位的助听装置及方法
CN104053107B (zh) * 2014-06-06 2018-06-05 重庆大学 一种用于噪声环境下声源分离和定位方法

Also Published As

Publication number Publication date
EP2879402A4 (en) 2016-03-23
US20150189435A1 (en) 2015-07-02
US9615173B2 (en) 2017-04-04
CN104488288B (zh) 2018-02-23
BR112015001214A2 (pt) 2017-08-08
EP2879402A1 (en) 2015-06-03
CN104488288A (zh) 2015-04-01
RU2635046C2 (ru) 2017-11-08
RU2015101724A (ru) 2016-08-10
JPWO2014017134A1 (ja) 2016-07-07
IN2015DN00484A (ja) 2015-06-26
JP6102923B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6102923B2 (ja) 情報処理システムおよび記憶媒体
JP6248930B2 (ja) 情報処理システムおよびプログラム
US10694313B2 (en) Audio communication system and method
US9277178B2 (en) Information processing system and storage medium
Bertrand Applications and trends in wireless acoustic sensor networks: A signal processing perspective
US9491033B1 (en) Automatic content transfer
AU2007354781B2 (en) A system and a method for establishing a conversation group among a number of hearing aids
US9111522B1 (en) Selective audio canceling
TW201728857A (zh) 聲光系統
CN106797512A (zh) 多源噪声抑制
US20150358768A1 (en) Intelligent device connection for wireless media in an ad hoc acoustic network
US10757240B1 (en) Headset-enabled ad-hoc communication
CN110072177B (zh) 空间划分信息获取方法、装置及存储介质
CN109218948B (zh) 助听系统、系统信号处理单元及用于产生增强的电音频信号的方法
JP2022514325A (ja) 聴覚デバイスにおけるソース分離及び関連する方法
JP3828185B2 (ja) 会議支援システムおよび会議支援システムの制御方法
Härmä Ambient telephony: Scenarios and research challenges
Noura et al. VOISMA: Indoor Location Identification for Voice-based Smart Home
US20230419943A1 (en) Devices, methods, systems, and media for spatial perception assisted noise identification and cancellation
JP7403392B2 (ja) 複数のマイクによって収音した環境音信号を再生装置へ送信する収音装置、システム、プログラム及び方法
US20240107225A1 (en) Privacy protection in spatial audio capture
Härmä Ambient human-to-human communication
JP6473203B1 (ja) サーバ装置、制御方法及びプログラム
Schmalenstroeer et al. Amigo context management service with applications in ambient communication scenarios
JP2017192025A (ja) 環境音声配信システム、環境音声処理方法及び環境音声処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822441

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14404733

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014526785

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013822441

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015101724

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: IDP00201500481

Country of ref document: ID

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015001214

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015001214

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150119