WO2017098949A1 - 音声処理装置および方法、並びにプログラム - Google Patents

音声処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2017098949A1
WO2017098949A1 PCT/JP2016/085284 JP2016085284W WO2017098949A1 WO 2017098949 A1 WO2017098949 A1 WO 2017098949A1 JP 2016085284 W JP2016085284 W JP 2016085284W WO 2017098949 A1 WO2017098949 A1 WO 2017098949A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
sound
frequency spectrum
spatial frequency
reproduction area
Prior art date
Application number
PCT/JP2016/085284
Other languages
English (en)
French (fr)
Inventor
悠 前野
祐基 光藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/779,967 priority Critical patent/US10524075B2/en
Priority to JP2017555022A priority patent/JP6841229B2/ja
Priority to CN201680070757.5A priority patent/CN108370487B/zh
Priority to EP16872849.1A priority patent/EP3389285B1/en
Publication of WO2017098949A1 publication Critical patent/WO2017098949A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Definitions

  • the present technology relates to an audio processing device, method, and program, and more particularly, to an audio processing device, method, and program that can reproduce a sound field more appropriately.
  • the reproduction area Limited to near the center. Therefore, the number of people who can listen to the correctly reproduced sound field at the same time is limited to a small number.
  • the listener when reproducing omnidirectional content, the listener can enjoy the content while turning his / her head. However, in such a case, if the reproduction area is about the same size as the person's head, the listener's head may go out of the reproduction area and the expected experience may not be obtained. .
  • the listener can listen to the sound of the content while translating (moving) in addition to the rotation of the head, the listener can feel the localization of the sound image more and experience a realistic sound field. be able to. However, even in such a case, if the listener's head position deviates from the vicinity of the center of the speaker array, the sense of reality may be impaired.
  • Non-Patent Document 1 a technique for moving the reproduction area of the sound field in accordance with the position of the listener inside the annular or spherical speaker array has been proposed (for example, see Non-Patent Document 1). If the reproduction area is moved in accordance with the movement of the listener's head by this technique, the listener can always experience a sound field that is correctly reproduced.
  • the entire sound field follows the movement as the reproduction area moves, so that the sound image moves when the listener moves.
  • the reproduced sound when the reproduced sound is a plane wave that reaches from a distance, the arrival direction of the wave front does not change even if the entire sound field moves, so that the sound field reproduction is not greatly affected.
  • the reproduced sound when the reproduced sound is a spherical wave from a sound source that is relatively close to the listener, the sound source sounds like following the listener.
  • the present technology has been made in view of such a situation, and is intended to reproduce a sound field more appropriately.
  • An audio processing apparatus includes a sound source position correction unit that corrects sound source position information indicating a position of an object sound source based on a sound listening position, an object sound source signal of sound of the object sound source, and the listening A reproduction area control unit that calculates a spatial frequency spectrum as a reproduction area in accordance with the listening position inside the spherical or annular speaker array based on the position and the corrected sound source position information obtained by the correction.
  • the reproduction area control unit calculates the spatial frequency spectrum based on the object sound source signal, a sound signal of a sound source different from the object sound source, the listening position, and the corrected sound source position information. Can do.
  • the sound processing apparatus may further include a sound source separation unit that separates a sound signal into the object sound source signal and a sound signal of a sound source different from the object sound source by performing sound source separation.
  • the object sound source signal can be an audio time signal or a spatial frequency spectrum.
  • the sound source position correction unit can perform the correction so that the position of the object sound source moves by the amount of movement of the listening position.
  • the reproduction area control unit can calculate the spatial frequency spectrum obtained by moving the reproduction area by the movement amount of the listening position.
  • the reproduction area control unit can calculate the spatial frequency spectrum by moving the reproduction area on a spherical coordinate system.
  • the speech processing apparatus includes a spatial frequency synthesis unit that calculates a temporal frequency spectrum by performing spatial frequency synthesis on the spatial frequency spectrum calculated by the reproduction area control unit, and a temporal frequency synthesis on the temporal frequency spectrum. And a time-frequency synthesizer for calculating a driving signal for the speaker array.
  • An audio processing method or program corrects sound source position information indicating a position of an object sound source based on a sound listening position, and includes an object sound source signal of sound of the object sound source, the listening position, Based on the corrected sound source position information obtained by the correction, a step of calculating a spatial frequency spectrum as a reproduction area in accordance with the listening position inside the spherical or annular speaker array is included.
  • the sound source position information indicating the position of the object sound source is corrected based on the listening position of the sound, and is obtained by the object sound source signal of the sound of the object sound source, the listening position, and the correction. Based on the corrected sound source position information, a spatial frequency spectrum as a reproduction area in accordance with the listening position inside the spherical or annular speaker array is calculated.
  • the sound field can be reproduced more appropriately.
  • This technology uses the position information of the listener and the position of the object sound source when reproducing the sound field, and makes the reproduction area follow the position of the listener, and the position of the object sound source in the space regardless of the movement of the listener. By fixing, the sound field can be reproduced more appropriately.
  • the shading in the reproduction space represents the sound pressure of the sound reproduced by the speaker array.
  • a cross mark (“X” mark) in the reproduction space represents each speaker constituting the speaker array.
  • an area where the sound field is correctly reproduced that is, a reproduction area R11 called a so-called sweet spot is located near the center of the annular speaker array.
  • a listener U11 who listens to the sound field reproduced almost at the center position of the reproduction area R11, that is, the sound reproduced by the speaker array.
  • the listener U11 feels that the sound from the sound source OB11 is heard.
  • the sound source OB11 is relatively close to the listener U11, and the sound image is localized at the position of the sound source OB11.
  • the listener U11 translates (moves) in the reproduction space in the right direction in the drawing during such a sound field reproduction. Further, at this time, it is assumed that the reproduction area R11 is moved based on the technique of moving the reproduction area according to the movement of the listener U11.
  • the reproduction area R11 moves in accordance with the movement of the listener U11, and the listener U11 can listen to the sound in the reproduction area R11 even after the movement.
  • the position of the sound source OB11 also moves together with the reproduction area R11, and the relative positional relationship between the listener U11 and the sound source OB11 becomes the same before and after the movement. Therefore, for the listener U11, the position of the sound source OB11 viewed from himself / herself is not moved although he / she is moving, and a sense of incongruity occurs.
  • the reproduction area R11 is moved in accordance with the movement of the listener U11, and the position of the sound source OB11 is appropriately corrected when the reproduction area R11 is moved. A more appropriate sound field reproduction can be realized.
  • the listener U11 can not only listen to the sound field (sound) correctly reproduced in the reproduction area R11 even after the movement, but also the sound source OB11 in the reproduction space.
  • the position of can be fixed.
  • listener position information indicating the position of the listener U11 and sound source position information indicating the position of the sound source OB11, that is, the position of the object sound source are used. That's fine.
  • the acquisition of the listener position information is realized by, for example, attaching a sensor such as an acceleration sensor to the listener U11 by some method or detecting the position of the listener U11 by image processing using a camera. Can do.
  • the sound source OB11 that is, the sound source position information of the object sound source
  • different acquisition methods are conceivable depending on the content of audio playback.
  • the sound source position information of the object sound source given as metadata may be acquired and used.
  • the sound source position information may be obtained by using, for example, a technique for separating each object sound source.
  • Reference 1 As for the technology for separating each object sound source, for example, “Shoichi Koyama, Naoki Murata, Hiroshi Saruwatari”, “Group Sparse Signal Representation and Decomposition Algorithm for Super-resolution Sound Field Recording and Reproduction,” This is described in detail in, for example, “Academic Proceedings, 2015.” (hereinafter referred to as Reference 1).
  • a head-related transfer function from an object sound source to a listener can also be used.
  • the sound field can be reproduced by switching the head-related transfer function according to the relative position between the object sound source and the listener, but the amount of calculation increases correspondingly as the number of object sound sources increases.
  • each speaker constituting the speaker array is regarded as a virtual speaker, and the head corresponding to the position of the virtual speaker is detected with respect to the drive signal of each virtual speaker.
  • the part transfer function was convolved. Thereby, it is possible to reproduce a sound field similar to the reproduction using the speaker array.
  • the number of convolution operations of the head-related transfer function can be made constant regardless of the number of object sound sources.
  • the sound source position is corrected using an object that is close to the listener and requires correction of the sound source position as an object sound source, and is not far from the listener and does not require correction of the sound source position. If the sound source position is not corrected as an ambient sound source, the amount of calculation can be further reduced.
  • the sound of the object sound source is a main sound included in the content
  • the sound of the ambient sound source is a surrounding sound such as an environmental sound included in the content.
  • the sound signal of the object sound source is also referred to as an object sound source signal
  • the sound signal of the ambient sound source is also referred to as an ambient signal.
  • the head-related transfer function is convolved with the sound signal of each sound source and the sound field is reproduced with headphones, the head-related transfer function is convoluted only for the object sound source and the head-related transfer is performed for the ambient sound source. Even if the function is not convolved, the amount of calculation can be reduced.
  • the reproduction area can be moved in accordance with the movement of the listener, it is possible to present a correctly reproduced sound field to the listener regardless of the position of the listener. Can do. Further, since the position of the object sound source in the space does not change even if the listener performs a translational movement, the sense of localization of the sound source can be improved.
  • FIG. 2 is a diagram illustrating a configuration example of an embodiment of a sound field controller to which the present technology is applied.
  • the sound field controller 11 shown in FIG. 2 has a recording device 21 arranged in the sound collection space and a reproduction device 22 arranged in the reproduction space.
  • the recording device 21 records the sound field of the sound collection space, and supplies a signal obtained as a result to the reproducing device 22.
  • the reproducing device 22 receives the signal from the recording device 21 and converts the signal into the signal. Based on this, the sound field of the sound collection space is reproduced.
  • the recording device 21 includes a microphone array 31, a time frequency analysis unit 32, a spatial frequency analysis unit 33, and a communication unit 34.
  • the microphone array 31 includes, for example, an annular microphone array or a spherical microphone array, collects sound (sound field) in a sound collection space as content, and obtains a sound collection signal that is a multi-channel sound signal obtained as a result as time. This is supplied to the frequency analysis unit 32.
  • the time frequency analysis unit 32 performs time frequency conversion on the collected sound signal supplied from the microphone array 31 and supplies the time frequency spectrum obtained as a result to the spatial frequency analysis unit 33.
  • the spatial frequency analysis unit 33 performs spatial frequency conversion on the time frequency spectrum supplied from the time frequency analysis unit 32 using the microphone arrangement information supplied from the outside, and communicates the resulting spatial frequency spectrum. To the unit 34.
  • the microphone arrangement information is angle information indicating the direction of the recording device 21, that is, the microphone array 31.
  • the microphone arrangement information includes, for example, the direction of the microphone array 31 at a predetermined time, such as when the recording device 21 starts recording the sound field, that is, when the sound is collected, and more specifically, the direction of each microphone constituting the microphone array 31. It is information which shows.
  • the communication unit 34 transmits the spatial frequency spectrum supplied from the spatial frequency analysis unit 33 to the playback device 22 by wire or wireless.
  • the playback device 22 includes a communication unit 41, a sound source separation unit 42, a listening position detection unit 43, a sound source position correction unit 44, a reproduction area control unit 45, a spatial frequency synthesis unit 46, a time frequency synthesis unit 47, and a speaker array 48. It has.
  • the communication unit 41 receives the spatial frequency spectrum transmitted from the communication unit 34 of the recording device 21 and supplies it to the sound source separation unit 42.
  • the sound source separation unit 42 performs sound source separation to separate the spatial frequency spectrum supplied from the communication unit 41 into object sound source signals and ambient signals, and obtain sound source position information indicating the position of each object sound source.
  • the sound source separation unit 42 supplies the object sound source signal and the sound source position information to the sound source position correction unit 44 and supplies the ambient signal to the reproduction area control unit 45.
  • the listening position detection unit 43 detects the position of the listener in the reproduction space based on sensor information supplied from the outside, and reproduces the movement amount ⁇ x of the listener obtained from the detection result and the sound source position correction unit 44. This is supplied to the area controller 45.
  • the sensor information is, for example, information output from an acceleration sensor or a gyro sensor attached to the listener.
  • the listening position detector 43 detects the position of the listener based on the acceleration and the amount of displacement of the listener supplied as sensor information.
  • image information obtained by an image sensor may be acquired as sensor information.
  • image data including the listener as a subject (image information) or data of surrounding images viewed from the listener is acquired as sensor information, and the listening position detection unit 43 performs listening by image recognition or the like for the sensor information. The position of the person is detected.
  • the movement amount ⁇ x is, for example, a movement amount from the center position of the speaker array 48, that is, the center position of the region surrounded by each speaker constituting the speaker array 48 to the center position of the reproduction area.
  • the position of the listener is set as the center position of the reproduction area. That is, the movement amount of the listener from the center position of the speaker array 48 is directly used as the movement amount ⁇ x.
  • the center position of the reproduction area is assumed to be a position within an area surrounded by the speakers constituting the speaker array 48.
  • the sound source position correction unit 44 corrects the sound source position information supplied from the sound source separation unit 42 based on the movement amount ⁇ x supplied from the listening position detection unit 43, and the corrected sound source position information obtained as a result, the sound source
  • the object sound source signal supplied from the separation unit 42 is supplied to the reproduction area control unit 45.
  • the reproduction area control unit 45 includes the movement amount ⁇ x supplied from the listening position detection unit 43, the corrected sound source position information and the object sound source signal supplied from the sound source position correction unit 44, and the ambient signal supplied from the sound source separation unit 42. Based on the above, a spatial frequency spectrum obtained by moving the reproduction area by the movement amount ⁇ x is obtained and supplied to the spatial frequency synthesis unit 46.
  • the spatial frequency synthesis unit 46 spatially synthesizes the spatial frequency spectrum supplied from the reproduction area control unit 45 based on the speaker arrangement information supplied from the outside, and the time frequency spectrum obtained as a result is synthesized as the time frequency synthesis unit. 47.
  • the speaker arrangement information is angle information indicating the direction of the speaker array 48, more specifically, the direction of each speaker constituting the speaker array 48.
  • the time frequency synthesizer 47 synthesizes the time frequency spectrum supplied from the spatial frequency synthesizer 46 with time, and supplies the time signal obtained as a result to the speaker array 48 as a speaker drive signal.
  • the speaker array 48 is composed of an annular speaker array or a spherical speaker array composed of a plurality of speakers, and reproduces sound on the basis of the speaker drive signal supplied from the time-frequency synthesizer 47.
  • the time-frequency analysis unit 32 outputs a multi-channel sound collection signal s (i, n t ) obtained by collecting sound by each microphone (hereinafter also referred to as a microphone unit) constituting the microphone array 31.
  • a microphone unit a microphone unit constituting the microphone array 31.
  • time-frequency conversion is performed using DFT (Discrete Fourier Transform) to obtain a time-frequency spectrum S (i, n tf ).
  • I indicates the number of microphone units constituting the microphone array 31, and n t indicates a time index.
  • n tf represents a time frequency index
  • M t represents the number of DFT samples
  • j represents a pure imaginary number
  • the time frequency analysis unit 32 supplies the time frequency spectrum S (i, n tf ) obtained by the time frequency conversion to the spatial frequency analysis unit 33.
  • the spatial frequency analysis unit 33 performs spatial frequency conversion on the time frequency spectrum S (i, n tf ) supplied from the time frequency analysis unit 32 using the microphone arrangement information supplied from the outside.
  • spherical harmonic series expansion is used to convert the time frequency spectrum S (i, n tf ) into the spatial frequency spectrum S ′ n m (n tf ).
  • n tf represents time frequency index in the spatial frequency spectrum S 'n m (n tf)
  • n and m represents the order of the spherical harmonic space.
  • the microphone arrangement information is, for example, angle information including an elevation angle and an azimuth indicating the direction of each microphone unit.
  • a straight line connecting a predetermined microphone unit MU11 constituting the microphone array 31 and the origin O is defined as a straight line LN
  • a straight line obtained by projecting the straight line LN from the z-axis direction onto the xy plane is defined as a straight line LN ′.
  • an angle ⁇ formed by the x-axis and the straight line LN ′ is an azimuth indicating the direction of the microphone unit MU11 as viewed from the origin O on the xy plane. Further, an angle ⁇ formed by the xy plane and the straight line LN is an elevation angle indicating the direction of the microphone unit MU11 when viewed from the origin O in a plane perpendicular to the xy plane.
  • the microphone arrangement information includes information indicating the direction of each microphone unit constituting the microphone array 31.
  • the information indicating the direction of the microphone unit whose microphone index is i is an angle ( ⁇ i , ⁇ i ) indicating the relative direction of the microphone unit with respect to the reference direction.
  • ⁇ i is the elevation angle in the direction of the microphone unit as viewed from the reference direction
  • ⁇ i is the azimuth angle in the direction of the microphone unit as viewed from the reference direction.
  • the sound field S on a certain sphere can be expressed as shown in the following equation (2).
  • Equation (2) Y represents a spherical harmonic function matrix, W represents a weighting factor according to the radius of the sphere and the order of spatial frequency, and S ′ represents a spatial frequency spectrum.
  • Y represents a spherical harmonic function matrix
  • W represents a weighting factor according to the radius of the sphere and the order of spatial frequency
  • S ′ represents a spatial frequency spectrum.
  • the spatial frequency spectrum S ′ can be obtained by spatial frequency conversion by calculating the following equation (3).
  • Y + indicates a pseudo inverse matrix of the spherical harmonic function matrix Y, and is obtained by the following Expression (4), where Y T is a transposed matrix of the spherical harmonic function matrix Y.
  • the vector S ′ consisting of the spatial frequency spectrum S ′ n m (n tf ) can be obtained by the following equation (5). I understand.
  • the spatial frequency analysis unit 33 calculates the formula (5) and performs spatial frequency conversion to obtain the spatial frequency spectrum S ′ n m (n tf ).
  • S ′ represents a vector composed of the spatial frequency spectrum S ′ n m (n tf ), and the vector S ′ is represented by Expression (6) below.
  • S represents a vector composed of each time-frequency spectrum S (i, n tf ), and the vector S is represented by the following equation (7).
  • Equation (5) Y mic represents a spherical harmonic function matrix, and the spherical harmonic function matrix Y mic is represented by the following equation (8).
  • Equation (5) Y mic T represents a transposed matrix of the spherical harmonic function matrix Y mic .
  • Equation (5) the spherical harmonic function matrix Y mic corresponds to the spherical harmonic function matrix Y in Equation (4).
  • the weighting factor corresponding to the weighting factor W shown in the equation (3) is omitted.
  • Equation (8) Y n m ( ⁇ i , ⁇ i ) in the equation (8) is a spherical harmonic function represented by the following equation (9).
  • n and m represent the order of the spherical harmonic region, that is, the spherical harmonic function Y n m ( ⁇ , ⁇ ), j represents a pure imaginary number, and ⁇ represents an angular frequency. .
  • ⁇ i and ⁇ i in the spherical harmonic function of Equation (8) indicate the elevation angle ⁇ i and the azimuth angle ⁇ i that constitute the angle ( ⁇ i , ⁇ i ) of the microphone unit indicated by the microphone arrangement information. .
  • the spatial frequency analysis unit 33 transmits the spatial frequency spectrum S ′ n m (n tf ) via the communication unit 34 and the communication unit 41.
  • the sound source separation unit 42 is supplied.
  • the sound source separation unit 42 separates the spatial frequency spectrum S ′ n m (n tf ) supplied from the communication unit 41 into an object sound source signal and an ambient signal by performing sound source separation, and the position of each object sound source. Is obtained.
  • sound source separation any method of sound source separation may be used, but for example, sound source separation can be performed by the method described in Reference Document 1 described above.
  • the sound signal that is, the spatial frequency spectrum is modeled based on the assumption that there are some object sound sources that are point sound sources in the sound collection space near the microphone array 31 and other sound sources are ambient sound sources. And separated into signals of each sound source. That is, in this technique, sound source separation is performed by sparse signal processing. In such sound source separation, the position of each sound source is also specified.
  • the number of sound sources to be separated may be limited according to some criteria.
  • the number of sound sources, the distance from the center of the reproduction area, and the like can be considered. That is, for example, the number of sound sources to be used as object sound sources may be determined in advance, or a sound source whose distance from the center of the reproduction area, that is, the distance from the center of the microphone array 31, is equal to or less than a predetermined distance may be used as the object sound source. You may make it.
  • the sound source separation unit 42 obtains the sound source position information indicating the position of each object sound source obtained as a result of the sound source separation, and the spatial frequency spectrum S ′ n m (n tf ) made the object sound source signal of those object sound sources.
  • the sound source position correction unit 44 is supplied.
  • the sound source separation unit 42 supplies the reproduction area control unit 45 with the spatial frequency spectrum S ′ n m (n tf ), which is an ambient signal as a result of the sound source separation.
  • the listening position detection unit 43 detects the position of the listener in the reproduction space, and obtains the movement amount ⁇ x of the listener based on the detection result.
  • center coordinates x 0 and the coordinates of the center position there is a central position of the speaker array 48 to the position x 0 on the two-dimensional plane as shown in FIG. 4, will be referred to as center coordinates x 0 and the coordinates of the center position.
  • center coordinate x 0 is assumed to be a coordinate of a spherical coordinate system, for example.
  • the center position of the reproduction area obtained based on the position of the listener is the position x c , and the coordinates indicating the center position of the reproduction area are referred to as the center coordinate x c .
  • the center position x c is assumed to be inside the speaker array 48, that is, within a region surrounded by the speaker units constituting the speaker array 48.
  • the center coordinate x c is also assumed to be a coordinate in the spherical coordinate system, like the center coordinate x 0 .
  • the head position of the listener is determined as a center position x c of the reproduced without area
  • the positions of the heads of those listeners are detected by the listening position detector 43, and the positions of the heads of all the listeners are included. and the center position of the circle radius is smallest is the center position x c of the reproduction areas.
  • the listening position detection unit 43 calculates the movement amount ⁇ x by calculating the following equation (10).
  • the position x 0 to the start point the position x c represents the vector r c is the movement amount ⁇ x to end point
  • the calculation of equation (10) the movement amount ⁇ x is obtained expressed in spherical coordinates. Therefore, if the listener is at the position x 0 at the start of sound field reproduction, the movement amount ⁇ x can be referred to as the movement amount of the listener's head, or the movement amount of the center position of the reproduction area. You can also.
  • the center position of the reproduction area is at the position x 0 at the start of sound field reproduction and a predetermined object sound source is at the position x on the two-dimensional plane, the object viewed from the center position of the reproduction area at the start of sound field reproduction.
  • the position of the sound source is the position indicated by the vector r.
  • the position of an object sound source as seen from the center position of the reproduction area in the back and forth movement is changing by the amount of the amount corresponding, i.e. the moving amount ⁇ x of the vector r c. Therefore, in order to move only the reproduction area in the reproduction space and keep the position of the object sound source fixed, it is necessary to appropriately correct the position x of the object sound source, and the correction is performed by the sound source position correction unit 44. Done in
  • ⁇ x (r c , ⁇ c ) by spherical coordinates using the radius r c which is the size of the vector r c and the azimuth angle ⁇ c .
  • ⁇ x (r c , ⁇ c ) by spherical coordinates using the radius r c which is the size of the vector r c and the azimuth angle ⁇ c .
  • the listening position detection unit 43 supplies the movement amount ⁇ x obtained by the above calculation to the sound source position correction unit 44 and the reproduction area control unit 45.
  • the sound source position correction unit 44 corrects the sound source position information supplied from the sound source separation unit 42 based on the movement amount ⁇ x supplied from the listening position detection unit 43 to obtain corrected sound source position information. That is, the sound source position correction unit 44 corrects the position of each object sound source in accordance with the listening position of the sound by the listener.
  • the coordinates indicating the position of the object sound source indicated by the sound source position information is x obj (hereinafter also referred to as sound source position coordinates x obj ), and the position of the corrected object sound source indicated by the corrected sound source position information is Is x ′ obj (hereinafter also referred to as corrected sound source position coordinate x ′ obj ).
  • the sound source position coordinates x obj and the corrected sound source position coordinates x ′ obj are represented by, for example, spherical coordinates.
  • the sound source position correcting unit 44 calculates the corrected sound source position coordinate x ′ obj by calculating the following equation (11) from the sound source position coordinate x obj and the movement amount ⁇ x.
  • the position of the object sound source is moved by the movement amount ⁇ x, that is, the movement of the listening position of the sound by the listener.
  • the sound source position coordinate x obj and the corrected sound source position coordinate x ′ obj are information indicating the position of each object sound source viewed from the position of the listener, that is, based on the center position of the reproduction area before and after the movement. In this way, if the sound source position coordinate x obj indicating the position of the object sound source is corrected by the amount of movement ⁇ x in the reproduction space to be a corrected sound source position coordinate x ′ obj , when viewed in the reproduction space, before and after the correction. The position of the object sound source remains the same.
  • the sound source position correcting unit 44 uses the corrected sound source position coordinates x ′ obj expressed by the spherical coordinates obtained by the calculation of Expression (11) as corrected sound source position information as it is.
  • the corrected sound source position coordinate x ′ obj is set to r ′ as the magnitude of the vector r ′.
  • X ′ obj (r ′, ⁇ ′) where ⁇ ′ is the azimuth angle of the vector r ′. Therefore, the corrected sound source position coordinate x ′ obj is a coordinate indicating the relative position of the object sound source viewed from the center position of the reproduction area after movement.
  • the sound source position correction unit 44 supplies the corrected sound source position information thus obtained and the object sound source signal supplied from the sound source separation unit 42 to the reproduction area control unit 45.
  • the reproduction area control unit 45 includes the movement amount ⁇ x supplied from the listening position detection unit 43, the corrected sound source position information and the object sound source signal supplied from the sound source position correction unit 44, and the ambient signal supplied from the sound source separation unit 42.
  • the spatial frequency spectrum S ′′ n m (n tf ) when the reproduction area is moved by the movement amount ⁇ x is obtained. That is, the spatial frequency spectrum S '' n m (n tf) is the spatial frequency spectrum S 'with respect to n m (n tf), the sound image (sound source) Position repeatability area while fixing that is moved by the movement amount ⁇ x and Is obtained.
  • the speakers constituting the speaker array 48 are arranged in a ring shape on a two-dimensional coordinate system, and the spatial frequency spectrum is calculated by using the ring harmonic function instead of the spherical harmonic function.
  • the spatial frequency spectrum calculated using the ring harmonic function corresponding to the spatial frequency spectrum S ′′ n m (n tf ) will be referred to as the spatial frequency spectrum S ′ n (n tf ).
  • S ′′ n (n tf ) represents a spatial frequency spectrum
  • J n (n tf , r) represents an nth-order Bessel function
  • time frequency spectrum S (n tf ) when the center position x c of the reproduction area after movement is the center can be expressed as shown in the following equation (13).
  • j represents a pure imaginary number
  • r ′ and ⁇ ′ represent a radius and an azimuth indicating the position of the sound source viewed from the center position x c .
  • Equation (13) may be modified as shown in Equation (14) below.
  • the r and phi Shimeshiteri the radius and azimuth indicate the position of the sound source as seen from the center position x 0, the r c and phi c show the radius and azimuth of the movement amount ⁇ x Yes.
  • the spatial frequency spectrum S ′ n (n tf ) to be obtained from the above formulas (12) to (14) can be expressed as the following formula (15).
  • the calculation of equation (15) corresponds to a process of moving the sound field on the spherical coordinate system.
  • the spatial frequency spectrum S ′ n (n tf ) is obtained by calculating equation (15).
  • the reproduction area control unit 45 uses the corrected sound source position coordinates represented by the following Expression (16) as the spatial frequency spectrum S ′′ n ′ (n tf ) of the object sound source signal.
  • Expression (16) A product obtained by multiplying a spherical wave model S ′′ n ′, SW represented by x ′ obj by a spatial frequency spectrum as an object sound source signal is used.
  • r ′ S and ⁇ ′ S indicate the radius and azimuth of the corrected sound source position coordinate x ′ obj for a predetermined object sound source
  • the above-described corrected sound source position coordinate x ′ obj ( r ′, ⁇ ′).
  • the letter S for identifying the object sound source is written at the radius r ′ and the azimuth angle ⁇ ′, which are r ′ S and ⁇ ′ S.
  • H n ′ (2) (n tf , r ′ S ) represents a second kind n′-order Hankel function.
  • the spherical wave model S ′′ n ′, SW shown in Expression (16) can be obtained from the corrected sound source position coordinate x ′ obj .
  • the reproduction area control unit 45 uses the spherical wave model S ′ represented by the following Expression (17) as the spatial frequency spectrum S ′′ n ′ (n tf ) of the ambient signal. What is obtained by multiplying the spatial frequency spectrum as an ambient signal by ' n', PW is used.
  • ⁇ PW indicates the arrival direction of the plane wave
  • this arrival direction ⁇ PW is, for example, a direction specified by some arrival direction estimation technique at the time of sound source separation in the sound source separation unit 42, or an external input The direction specified by.
  • the spherical wave model S ′′ n ′, PW shown in Expression (17) can be obtained from the arrival direction ⁇ PW .
  • the center position of the sound field reproduction area reproduced by the spatial frequency spectrum S ′ n (n tf ) is the listening position after movement inside the annular or spherical speaker array 48.
  • the case in the two-dimensional coordinate system has been described as an example, but the same calculation is possible using the spherical harmonic function in the case of the three-dimensional coordinate system. That is, the sound field (reproduction area) can be moved on the spherical coordinate system using the spherical harmonic function.
  • the reproduction area control unit 45 synthesizes the spatial frequency spectrum S ′′ n m (n tf ) obtained by moving the reproduction area while fixing the sound image on the spherical coordinate system using the spherical harmonic function. To the unit 46.
  • the spatial frequency synthesizing unit 46 is an angle ( ⁇ l , ⁇ indicating the direction of each speaker constituting the speaker array 48 with respect to the spatial frequency spectrum S ′′ n m (n tf ) supplied from the reproduction area control unit 45.
  • the spatial frequency inverse transform is performed using the spherical harmonic function matrix according to l ), and the temporal frequency spectrum is obtained. That is, inverse spatial frequency transformation is performed as spatial frequency synthesis.
  • each speaker constituting the speaker array 48 is also referred to as a speaker unit.
  • the number of speaker units constituting the speaker array 48 is set as the number L of speaker units, and the speaker unit index indicating each speaker unit is set as l.
  • the speaker unit index l 0, 1,..., L-1.
  • the speaker arrangement information supplied from the outside to the spatial frequency synthesizing unit 46 is an angle ( ⁇ l , ⁇ l ) indicating the direction of each speaker unit indicated by the speaker unit index l.
  • ⁇ l and ⁇ l constituting the angle ( ⁇ l , ⁇ l ) of the speaker unit are angles indicating the elevation angle and azimuth angle of the speaker unit corresponding to the above-described elevation angle ⁇ i and azimuth angle ⁇ i , respectively. Yes, it is an angle from a predetermined reference direction.
  • the spatial frequency synthesizer 46 obtains the spherical harmonic function Y n m ( ⁇ l , ⁇ l ) obtained for the angle ( ⁇ l , ⁇ l ) indicating the direction of the speaker unit indicated by the speaker unit index l and the spatial frequency spectrum S '' based on the n m (n tf) performs spatial frequency inversion by calculating the following equation (18), the time-frequency spectrum D (l, n tf) determined.
  • D represents a vector composed of each time-frequency spectrum D (l, n tf ), and the vector D is represented by Expression (19) below.
  • S SP represents a vector composed of each spatial frequency spectrum S ′′ n m (n tf ), and the vector S SP is represented by the following equation (20).
  • Y SP represents a spherical harmonic function matrix composed of the spherical harmonic functions Y n m ( ⁇ l , ⁇ l ), and the spherical harmonic function matrix Y SP is expressed by the following Expression (21). expressed.
  • the spatial frequency synthesizer 46 supplies the time frequency spectrum D (l, ntf ) thus obtained to the time frequency synthesizer 47.
  • the time-frequency synthesizer 47 calculates the following equation (22), so that the time-frequency spectrum D (l, n tf ) supplied from the spatial frequency synthesizer 46 is IDFT (Inverse Discrete Fourier Transform) (inverse discrete). Time-frequency synthesis using Fourier transform is performed to calculate a speaker drive signal d (l, n d ) that is a time signal.
  • IDFT Inverse Discrete Fourier Transform
  • n d represents a time index
  • M dt represents the number of IDFT samples.
  • j represents a pure imaginary number.
  • the time-frequency synthesizer 47 supplies the speaker drive signal d (l, n d ) thus obtained to each speaker unit constituting the speaker array 48, and reproduces sound.
  • step S ⁇ b> 11 the microphone array 31 collects the sound of the content in the sound collection space, and supplies the multi-channel sound collection signal s (i, nt ) obtained as a result to the time frequency analysis unit 32.
  • step S ⁇ b> 12 the time frequency analysis unit 32 analyzes the time frequency information of the collected sound signal s (i, n t ) supplied from the microphone array 31.
  • the time frequency analysis unit 32 performs time frequency conversion on the collected sound signal s (i, n t ), and supplies the time frequency spectrum S (i, n tf ) obtained as a result to the spatial frequency analysis unit 33. To do. For example, in the step S12, the calculation of the above formula (1) is performed.
  • step S13 the spatial frequency analysis unit 33 performs spatial frequency conversion on the time frequency spectrum S (i, n tf ) supplied from the time frequency analysis unit 32 using the microphone arrangement information supplied from the outside. .
  • the spatial frequency analysis unit 33 performs spatial frequency conversion by calculating the above-described equation (5) based on the microphone arrangement information and the time frequency spectrum S (i, ntf ).
  • the spatial frequency analysis unit 33 supplies the communication unit 34 with the spatial frequency spectrum S ′ n m (n tf ) obtained by the spatial frequency conversion.
  • step S ⁇ b > 14 the communication unit 34 transmits the spatial frequency spectrum S ′ n m (n tf ) supplied from the spatial frequency analysis unit 33.
  • step S 15 the communication unit 41 receives the spatial frequency spectrum S ′ n m (n tf ) transmitted by the communication unit 34 and supplies it to the sound source separation unit 42.
  • step S16 the sound source separation unit 42 performs sound source separation based on the spatial frequency spectrum S ′ n m (n tf ) supplied from the communication unit 41, and uses the spatial frequency spectrum S ′ n m (n tf ) as the object sound source. It separates into what makes a signal and what makes an ambient signal.
  • the sound source separation unit 42 uses the sound source position information indicating the position of each object sound source obtained as a result of the sound source separation and the spatial frequency spectrum S ′ n m (n tf ) obtained as the object sound source signal as the sound source position correction unit 44. To supply.
  • the sound source separation unit 42 supplies the spatial frequency spectrum S ′ n m (n tf ), which is an ambient signal, to the reproduction area control unit 45.
  • step S17 the listening position detection unit 43 detects the position of the listener in the reproduction space based on the sensor information supplied from the outside, and obtains the movement amount ⁇ x of the listener based on the detection result.
  • listening position detecting unit 43 calculates the position of the listener based on the sensor information from the position of the listener, and calculates the center position x c of the reproduction area after movement. Then, the listening position detection unit 43 calculates the movement amount ⁇ x from the center position x c and the position x 0 of the center of the speaker array 48 that has been obtained in advance by Expression (10).
  • the listening position detection unit 43 supplies the movement amount ⁇ x thus obtained to the sound source position correction unit 44 and the reproduction area control unit 45.
  • step S18 the sound source position correcting unit 44 corrects the sound source position information supplied from the sound source separating unit 42 based on the movement amount ⁇ x supplied from the listening position detecting unit 43.
  • the sound source position correction unit 44 calculates the equation (11) from the sound source position coordinates x obj as the sound source position information and the movement amount ⁇ x, and calculates the corrected sound source position coordinates x ′ obj as the corrected sound source position information. To do.
  • the sound source position correction unit 44 supplies the obtained corrected sound source position information and the object sound source signal supplied from the sound source separation unit 42 to the reproduction area control unit 45.
  • step S 19 the reproduction area control unit 45 converts the movement amount ⁇ x from the listening position detection unit 43, the corrected sound source position information and object sound source signal from the sound source position correction unit 44, and the ambient signal from the sound source separation unit 42. Based on this, a spatial frequency spectrum S ′′ n m (n tf ) obtained by moving the reproduction area by the movement amount ⁇ x is obtained.
  • the reproduction area control unit 45 obtains the spatial frequency spectrum S ′′ n m (n tf ) by performing the same calculation as in the equation (15) using the spherical harmonic function, and the obtained spatial frequency spectrum S ′. ' n m (n tf ) is supplied to the spatial frequency synthesis unit 46.
  • step S20 the spatial frequency synthesizing unit 46 calculates the above formula based on the spatial frequency spectrum S ′′ n m (n tf ) supplied from the reproduction area control unit 45 and the speaker arrangement information supplied from the outside. (18) is calculated, and spatial frequency inverse transformation is performed.
  • the spatial frequency synthesis unit 46 supplies the temporal frequency spectrum D (l, ntf ) obtained by the spatial frequency inverse transform to the temporal frequency synthesis unit 47.
  • step S ⁇ b > 21 the time-frequency synthesis unit 47 performs time-frequency synthesis on the time-frequency spectrum D (l, n tf ) supplied from the spatial frequency synthesis unit 46 by calculating the above-described equation (22). Then, the speaker drive signal d (l, n d ) is calculated.
  • the time-frequency synthesizer 47 supplies the obtained speaker drive signal d (l, n d ) to each speaker unit constituting the speaker array 48.
  • step S ⁇ b > 22 the speaker array 48 reproduces sound based on the speaker drive signal d (l, n d ) supplied from the time frequency synthesis unit 47. Thereby, the sound of the content, that is, the sound field of the sound collection space is reproduced.
  • the sound field controller 11 corrects the sound source position information for the object sound source, and obtains a spatial frequency spectrum in which the reproduction area is moved using the corrected sound source position information.
  • the sound field controller 11 can reduce the amount of calculation by separating the sound source into an object sound source and an ambient sound source and correcting the sound source position only for the object sound source.
  • the sound field controller to which the present technology is applied is configured, for example, as shown in FIG.
  • parts corresponding to those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the sound field controller 71 shown in FIG. 6 includes a listening position detection unit 43, a sound source position correction unit 44, a reproduction area control unit 45, a spatial frequency synthesis unit 46, a time frequency synthesis unit 47, and a speaker array 48. .
  • the sound field controller 71 acquires the audio signal of each object and its metadata from the outside. For example, based on the importance of the object included in the metadata, each object is set as an object sound source. Divided into ambient sound sources.
  • the sound field controller 71 supplies the audio signal of the object as the object sound source to the sound source position correcting unit 44 as the object sound source signal, and the sound source position information included in the metadata of the object sound source is also the sound source position correcting unit 44. To supply.
  • the sound field controller 71 supplies the audio signal of the object as an ambient sound source as an ambient signal to the reproduction area control unit 45 and, if necessary, the sound source position information included in the metadata of the ambient sound source as the reproduction area. It supplies to the control part 45.
  • the audio signal supplied as the object sound source signal or ambient signal may be a spatial frequency spectrum as in the case of being supplied to the sound source position correction unit 44 or the like in the sound field controller 11 of FIG.
  • it may be a time signal, a time frequency spectrum, or a combination thereof.
  • the reproduction area control unit 45 converts the time signal or the time frequency spectrum into a spatial frequency spectrum and then moves the reproduction area to the spatial frequency spectrum. Desired.
  • step S51 is the same as the process in step S17 in FIG.
  • step S52 the sound source position correcting unit 44 corrects the sound source position information supplied from the sound field controller 71 based on the movement amount ⁇ x supplied from the listening position detecting unit 43.
  • the sound source position correcting unit 44 calculates the equation (11) from the sound source position coordinates x obj that is the sound source position information supplied as metadata and the movement amount ⁇ x, and the corrected sound source position as the corrected sound source position information.
  • the coordinate x ′ obj is calculated.
  • the sound source position correcting unit 44 supplies the obtained corrected sound source position information and the object sound source signal supplied from the sound field controller 71 to the reproduction area control unit 45.
  • step S ⁇ b> 53 the reproduction area control unit 45 includes the movement amount ⁇ x from the listening position detection unit 43, the corrected sound source position information and object sound source signal from the sound source position correction unit 44, and the ambient signal from the sound field controller 71. Based on the above, the spatial frequency spectrum S ′′ n m (n tf ) obtained by moving the reproduction area by the movement amount ⁇ x is obtained.
  • step S53 the spatial frequency spectrum S ′′ n m (n tf ) obtained by moving the sound field (reproduction area) is obtained by calculation using the spherical harmonic function, as in step S19 of FIG. , And supplied to the spatial frequency synthesis unit 46.
  • the object sound source signal and the ambient signal are time signals or time frequency spectra
  • the conversion to the spatial frequency spectrum is performed as appropriate, and then the same calculation as Expression (15) is performed.
  • step S54 to step S56 is performed thereafter, and the sound field reproduction process is terminated.
  • step S20 to step S20 in FIG. Since it is the same as the process of S22, the description thereof is omitted.
  • the sound field controller 71 corrects the sound source position information for the object sound source, and obtains a spatial frequency spectrum in which the reproduction area is moved using the corrected sound source position information. Therefore, the sound field controller 71 can reproduce the sound field more appropriately.
  • an annular microphone array or a spherical microphone array has been described as an example of the microphone array 31, but a linear microphone array may be used as the microphone array 31. Even in such a case, the sound field can be reproduced by the same processing as described above.
  • the speaker array 48 is not limited to the annular speaker array or the spherical speaker array, but may be any type such as a linear speaker array.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • a sound source position correction unit that corrects sound source position information indicating the position of the object sound source based on the listening position of the sound; Based on the object sound source signal of the sound of the object sound source, the listening position, and the corrected sound source position information obtained by the correction, a space serving as a reproduction area according to the listening position inside the spherical or annular speaker array
  • a speech processing apparatus comprising: a reproduction area control unit that calculates a frequency spectrum.
  • the reproduction area control unit calculates the spatial frequency spectrum based on the object sound source signal, a sound signal of a sound source different from the object sound source, the listening position, and the corrected sound source position information. ).
  • the sound processing apparatus further including a sound source separation unit that separates a sound signal into the object sound source signal and a sound signal of a sound source different from the object sound source by performing sound source separation.
  • the object sound source signal is a sound time signal or a spatial frequency spectrum.
  • the sound source position correction unit performs the correction so that the position of the object sound source moves by an amount of movement of the listening position.
  • the reproduction area control unit calculates the spatial frequency spectrum obtained by moving the reproduction area by the amount of movement of the listening position.
  • the speech processing apparatus wherein the reproduction area control unit calculates the spatial frequency spectrum by moving the reproduction area on a spherical coordinate system.
  • the audio processing device according to any one of (1) to (7), further including: a time-frequency synthesis unit that performs time-frequency synthesis on the time-frequency spectrum to calculate a driving signal for the speaker array.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、より適切に音場を再現することができるようにする音声処理装置および方法、並びにプログラムに関する。 音源位置補正部は、音声の聴取位置に基づいて、各オブジェクト音源の位置を示す音源位置情報を補正して、補正音源位置情報を求める。再現エリア制御部は、オブジェクト音源の音声のオブジェクト音源信号と、聴取位置と、補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する。本技術は音声処理装置に適用することができる。

Description

音声処理装置および方法、並びにプログラム
　本技術は音声処理装置および方法、並びにプログラムに関し、特に、より適切に音場を再現することができるようにした音声処理装置および方法、並びにプログラムに関する。
　例えば、環状や球状のスピーカアレイを用いてHOA（Higher Order Ambisonics）により全方位の音場を再生するとき、所望の音場が正しく再現されるエリア（以下、再現エリアと称する）はスピーカアレイの中心付近に限定される。そのため、正しく再現した音場を同時に聴取できる人数は少数に限られてしまうことになる。
　また、全方位のコンテンツを再生する場合、聴取者は頭を回転させながらコンテンツを楽しむことが考えられる。しかしながら、そのような場合、再現エリアが人の頭と同じくらいの大きさであるときには、聴取者の頭が再現エリアの外に出てしまい、期待する体験が得られなくなってしまう可能性もある。
　さらに頭の回転だけでなく、聴取者が並進（移動）しながらコンテンツの音声を聴取することができれば、聴取者は音像の定位感をより感じることができ、臨場感のある音場を体験することができる。しかし、このような場合においても聴取者の頭部位置がスピーカアレイの中心付近から外れると、臨場感が損なわれる可能性がある。
　そこで、環状や球状のスピーカアレイの内部において、聴取者の位置に合わせて音場の再現エリアを移動させる技術が提案されている（例えば、非特許文献１参照）。この技術により聴取者の頭部の移動に合わせて再現エリアを移動させれば、聴取者は常に正しく再現された音場を体験することができる。
　しかしながら、上述した技術では再現エリアの移動に伴って音場全体がその移動に追従してしまうため、聴取者が移動すると音像も移動してしまうことになる。
　この場合、例えば再生される音声が遠方から届くような平面波であるときには、音場全体が移動したとしても波面の到来方向は変わらないため、音場再現に大きな影響は生じない。しかし、再生される音声が比較的聴取者に近い音源からの球面波である場合には、音源が聴取者に追従するように聞こえてしまう。
　このように、再現エリアを移動させる場合においても、音源が聴取者に近いときには適切に音場を再現することが困難であった。
　本技術は、このような状況に鑑みてなされたものであり、より適切に音場を再現することができるようにするものである。
　本技術の一側面の音声処理装置は、音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正する音源位置補正部と、前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する再現エリア制御部とを備える。
　前記再現エリア制御部には、前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号と、前記聴取位置と、前記補正音源位置情報とに基づいて、前記空間周波数スペクトルを算出させることができる。
　音声処理装置には、音源分離を行うことで、音声の信号を前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号とに分離させる音源分離部をさらに設けることができる。
　前記オブジェクト音源信号を、音声の時間信号または空間周波数スペクトルとすることができる。
　前記音源位置補正部には、前記聴取位置の移動量の分だけ前記オブジェクト音源の位置が移動するように前記補正を行わせることができる。
　前記再現エリア制御部には、前記聴取位置の前記移動量だけ前記再現エリアを移動させた前記空間周波数スペクトルを算出させることができる。
　前記再現エリア制御部には、球座標系上で前記再現エリアを移動させることで前記空間周波数スペクトルを算出させることができる。
　音声処理装置には、前記再現エリア制御部により算出された前記空間周波数スペクトルに対して空間周波数合成を行って時間周波数スペクトルを算出する空間周波数合成部と、前記時間周波数スペクトルに対して時間周波数合成を行って、前記スピーカアレイの駆動信号を算出する時間周波数合成部とをさらに設けることができる。
　本技術の一側面の音声処理方法またはプログラムは、音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正し、前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出するステップを含む。
　本技術の一側面においては、音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報が補正され、前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルが算出される。
　本技術の一側面によれば、より適切に音場を再現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 音場制御器の構成例を示す図である。 マイク配置情報について説明する図である。 音源位置情報の補正について説明する図である。 音場再現処理を説明するフローチャートである。 音場制御器の構成例を示す図である。 音場再現処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
　本技術は、音場再現時に聴取者の位置情報とオブジェクト音源の位置情報を用いて、再現エリアを聴取者の位置に追従させつつ、オブジェクト音源の位置を聴取者の移動によらず空間内で固定させることで、より適切に音場を再現できるようにするものである。
　例えば図１の矢印Ａ１１に示すように再生空間において音場を再現する場合について考える。なお、図１において再生空間における濃淡はスピーカアレイにより再生された音声の音圧を表している。また、再生空間内のバツ印（「×」印）はスピーカアレイを構成する各スピーカを表している。
　矢印Ａ１１に示す例では、環状のスピーカアレイの中心付近に、音場が正しく再現される領域、すなわち、いわゆるスイートスポットと呼ばれる再現エリアＲ１１が位置している。また、その再現エリアＲ１１のほぼ中心位置に再現された音場、つまりスピーカアレイで再生された音声を聴取する聴取者Ｕ１１がいる。
　いま、スピーカアレイにより音場を再現すると、聴取者Ｕ１１には音源ＯＢ１１からの音が聞こえているように感じられるものとする。この例では、音源ＯＢ１１は比較的聴取者Ｕ１１から近い位置にあり、この音源ＯＢ１１の位置に音像が定位する。
　このような音場再現を行っているときに、例えば聴取者Ｕ１１が再生空間内を図中、右方向に並進（移動）したとする。また、このとき聴取者Ｕ１１の移動に応じて、再現エリアを移動させる技術に基づいて、再現エリアＲ１１を移動させたとする。
　すると、例えば矢印Ａ１２に示すように聴取者Ｕ１１の移動に合わせて再現エリアＲ１１も移動し、聴取者Ｕ１１は移動後においても再現エリアＲ１１内で音声を聴取することができるようになる。
　しかし、この場合、再現エリアＲ１１とともに音源ＯＢ１１の位置も移動してしまい、移動の前後において、聴取者Ｕ１１と音源ＯＢ１１との相対的な位置関係が同じとなってしまう。したがって、聴取者Ｕ１１にとっては、自分が移動しているのにも関わらず、自分から見た音源ＯＢ１１の位置は移動しておらず、違和感が生じてしまう。
　そこで本技術では、再現エリアを移動させる技術に基づいて、聴取者Ｕ１１の移動に合わせて再現エリアＲ１１を移動させるとともに、再現エリアＲ１１の移動時に適切に音源ＯＢ１１の位置の補正も行うことで、より適切な音場再現を実現できるようにした。
　これにより、例えば矢印Ａ１３に示すように、移動後においても聴取者Ｕ１１が再現エリアＲ１１内で正しく再現された音場（音声）を聴取できるようにするだけでなく、再生空間内において、音源ＯＢ１１の位置を固定させることができる。
　この場合、聴取者Ｕ１１が移動しても再生空間内における音源ＯＢ１１の位置はそのままであるので、聴取者Ｕ１１に対してより臨場感のある音場再現を提供することができる。つまり、再現エリアＲ１１を聴取者Ｕ１１の移動に追従させつつ、音源ＯＢ１１の位置は固定されたままとなる音場再現を実現することができる。
　ここで、再現エリアＲ１１の移動時における音源ＯＢ１１の位置の補正には、聴取者Ｕ１１の位置を示す聴取者位置情報と、音源ＯＢ１１の位置、つまりオブジェクト音源の位置を示す音源位置情報とを用いればよい。
　なお、聴取者位置情報の取得は、例えば加速度センサなどのセンサを聴取者Ｕ１１に何らかの方法で装着させたり、カメラを用いて画像処理により聴取者Ｕ１１の位置を検出したりすることで実現することができる。
　また、音源ＯＢ１１、すなわちオブジェクト音源の音源位置情報については、音声の再生内容によって異なった取得方法が考えられる。
　例えば、オブジェクト音再生の場合には、メタデータとして与えられるオブジェクト音源の音源位置情報を取得し、それを用いればよい。
　これに対して、マイクロホンアレイを用いて波面収音された音場を再現する場合には、例えば各オブジェクト音源を分離する技術を用いて、音源位置情報を得るようにすればよい。
　なお、各オブジェクト音源を分離する技術については、例えば「小山翔一，村田直毅，猿渡洋，”超解像型音場収音・再現のためのグループスパース信号表現と分解アルゴリズム，” 春季日本音響学会講演論文集，2015．」（以下、参照文献１と称する）などに詳細に記載されている。
　また、スピーカアレイではなくヘッドホンで音場を再現することも考えられる。
　例えば一般的な技術として、オブジェクト音源から聴取者までの頭部伝達関数（HRTF（Head-Related Transfer Function））を用いることもできる。この場合、オブジェクト音源と聴取者との相対位置に応じて頭部伝達関数を切り替えることで音場再現が可能であるが、オブジェクト音源の数が増えるとその分だけ演算量も増加してしまう。
　そこで、本技術では、ヘッドホンで音場を再現する場合には、スピーカアレイを構成する各スピーカを仮想スピーカとして捉え、各仮想スピーカの駆動信号に対して、それらの仮想スピーカの位置に対応する頭部伝達関数を畳み込むようにした。これにより、スピーカアレイを用いた再生と同様の音場を再現することができる。また、オブジェクト音源の数によらず頭部伝達関数の畳み込み演算の回数を一定数とすることができる。
　さらに、以上のような本技術において、聴取者に近く、音源位置の補正が必要となるものをオブジェクト音源として音源位置の補正を行い、聴取者から遠く、音源位置の補正が不要であるものをアンビエント音源として音源位置の補正を行わないようにすれば、演算量をさらに削減することができる。
　ここで、オブジェクト音源の音声は、コンテンツに含まれる主たる音声ということができ、アンビエント音源の音声は、コンテンツに含まれる環境音等の周囲の音声であるということができる。以下では、オブジェクト音源の音声信号をオブジェクト音源信号とも称し、アンビエント音源の音声信号をアンビエント信号とも称することとする。
　なお、本技術によれば、各音源の音声信号に頭部伝達関数を畳み込み、ヘッドホンで音場を再現する場合においても、オブジェクト音源についてのみ頭部伝達関数を畳み込み、アンビエント音源については頭部伝達関数の畳み込みを行わないようにしても演算量を削減することができる。
　以上のような本技術によれば、聴取者の動きに合わせて再現エリアを移動させることができるため、聴取者の位置によらず、聴取者に対して正しく再現された音場を提示することができる。また、聴取者が並進運動をしても空間内におけるオブジェクト音源の位置は変化しないので、音源の定位感を向上させることができる。
〈音場制御器の構成例〉
　次に、本技術を音場制御器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
　図２は、本技術を適用した音場制御器の一実施の形態の構成例を示す図である。
　図２に示す音場制御器１１は、収音空間に配置された収録装置２１と、再生空間に配置された再生装置２２とを有している。
　収録装置２１は、収音空間の音場を収録して、その結果得られた信号を再生装置２２へと供給し、再生装置２２は、収録装置２１から信号の供給を受けて、その信号に基づいて収音空間の音場を再現する。
　収録装置２１は、マイクロホンアレイ３１、時間周波数分析部３２、空間周波数分析部３３、および通信部３４を備えている。
　マイクロホンアレイ３１は、例えば環状マイクロホンアレイや球状マイクロホンアレイからなり、収音空間の音声（音場）をコンテンツとして収音して、その結果得られたマルチチャンネルの音声信号である収音信号を時間周波数分析部３２に供給する。
　時間周波数分析部３２は、マイクロホンアレイ３１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部３３に供給する。
　空間周波数分析部３３は、外部から供給されたマイク配置情報を用いて、時間周波数分析部３２から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部３４に供給する。
　ここで、マイク配置情報は収録装置２１、つまりマイクロホンアレイ３１の方向を示す角度情報である。このマイク配置情報は、例えば収録装置２１により音場の収録、つまり音声の収音を開始した時点など、所定時刻におけるマイクロホンアレイ３１の方向、より詳細にはマイクロホンアレイ３１を構成する各マイクロホンの方向を示す情報である。
　通信部３４は、空間周波数分析部３３から供給された空間周波数スペクトルを、有線または無線により再生装置２２に送信する。
　また、再生装置２２は、通信部４１、音源分離部４２、聴取位置検出部４３、音源位置補正部４４、再現エリア制御部４５、空間周波数合成部４６、時間周波数合成部４７、およびスピーカアレイ４８を備えている。
　通信部４１は、収録装置２１の通信部３４から送信されてきた空間周波数スペクトルを受信して音源分離部４２に供給する。
　音源分離部４２は、音源分離を行うことで、通信部４１から供給された空間周波数スペクトルを、オブジェクト音源信号とアンビエント信号とに分離させるとともに、各オブジェクト音源の位置を示す音源位置情報を求める。
　音源分離部４２は、オブジェクト音源信号と、音源位置情報とを音源位置補正部４４に供給し、アンビエント信号を再現エリア制御部４５に供給する。
　聴取位置検出部４３は、外部から供給されたセンサ情報に基づいて、再生空間における聴取者の位置を検出するとともに、その検出結果から得られる聴取者の移動量Δｘを音源位置補正部４４および再現エリア制御部４５に供給する。
　ここで、センサ情報は、例えば聴取者に取り付けられた加速度センサやジャイロセンサから出力された情報などとされる。この場合、聴取位置検出部４３は、センサ情報として供給された、加速度や聴取者の変位量に基づいて聴取者の位置を検出する。
　また、例えばセンサ情報として、画像センサで得られた画像情報を取得するようにしてもよい。この場合、聴取者を被写体として含む画像のデータ（画像情報）、または聴取者から見た周囲の画像のデータがセンサ情報として取得され、聴取位置検出部４３は、センサ情報に対する画像認識等により聴取者の位置を検出する。
　さらに、移動量Δｘは、例えばスピーカアレイ４８の中心位置、つまりスピーカアレイ４８を構成する各スピーカにより囲まれる領域の中心位置から、再現エリアの中心位置までの移動量とされる。例えば聴取者が１人である場合には、その聴取者の位置が再現エリアの中心位置とされる。すなわち、スピーカアレイ４８の中心位置からの聴取者の移動量がそのまま移動量Δｘとされる。なお、再現エリアの中心位置は、スピーカアレイ４８を構成する各スピーカにより囲まれる領域内の位置であるとする。
　音源位置補正部４４は、聴取位置検出部４３から供給された移動量Δｘに基づいて、音源分離部４２から供給された音源位置情報を補正し、その結果得られた補正音源位置情報と、音源分離部４２から供給されたオブジェクト音源信号とを再現エリア制御部４５に供給する。
　再現エリア制御部４５は、聴取位置検出部４３から供給された移動量Δｘと、音源位置補正部４４から供給された補正音源位置情報およびオブジェクト音源信号と、音源分離部４２から供給されたアンビエント信号とに基づいて、再現エリアを移動量Δｘだけ移動させた空間周波数スペクトルを求め、空間周波数合成部４６に供給する。
　空間周波数合成部４６は、外部から供給されたスピーカ配置情報に基づいて、再現エリア制御部４５から供給された空間周波数スペクトルを空間周波数合成し、その結果得られた時間周波数スペクトルを時間周波数合成部４７に供給する。
　ここで、スピーカ配置情報は、スピーカアレイ４８の方向、より詳細にはスピーカアレイ４８を構成する各スピーカの方向を示す角度情報である。
　時間周波数合成部４７は、空間周波数合成部４６から供給された時間周波数スペクトルを時間周波数合成し、その結果得られた時間信号をスピーカ駆動信号としてスピーカアレイ４８に供給する。
　スピーカアレイ４８は、複数のスピーカから構成される環状スピーカアレイや球状スピーカアレイなどからなり、時間周波数合成部４７から供給されたスピーカ駆動信号に基づいて音声を再生する。
　続いて、音場制御器１１を構成する各部についてより詳細に説明する。
（時間周波数分析部）
　時間周波数分析部３２は、マイクロホンアレイ３１を構成する各マイクロホン（以下、マイクユニットとも称する）が音声を収音することで得られたマルチチャンネルの収音信号s(i,nt)を、次式（１）の計算を行うことで、DFT（Discrete Fourier Transform）（離散フーリエ変換）を用いて時間周波数変換し、時間周波数スペクトルS(i,ntf)を求める。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）において、iは、マイクロホンアレイ３１を構成するマイクユニットを特定するマイクロホンインデックスを示しており、マイクロホンインデックスi＝0,1,2,…,I-1である。また、Iはマイクロホンアレイ３１を構成するマイクユニットの数を示しており、ntは時間インデックスを示している。
　さらに式（１）において、ntfは時間周波数インデックスを示しており、MtはDFTのサンプル数を示しており、jは純虚数を示している。
　時間周波数分析部３２は、時間周波数変換により得られた時間周波数スペクトルS(i,ntf)を空間周波数分析部３３に供給する。
（空間周波数分析部）
　空間周波数分析部３３は、外部から供給されたマイク配置情報を用いて、時間周波数分析部３２から供給された時間周波数スペクトルS(i,ntf)に対して空間周波数変換を行う。
　例えば空間周波数変換では、球面調和級数展開が用いられて時間周波数スペクトルS(i,ntf)が空間周波数スペクトルS'n m(ntf)に変換される。なお、空間周波数スペクトルS'n m(ntf)におけるntfは時間周波数インデックスを示しており、ｎおよびｍは球面調和領域の次数を示している。
　また、マイク配置情報は、例えば各マイクユニットの方向を示す仰角および方位角からなる角度情報とされる。
　すなわち、例えば図３に示すように原点Ｏを基準とし、ｘ軸、ｙ軸、およびｚ軸を各軸とする３次元の直交座標系を考えるとする。
　いま、マイクロホンアレイ３１を構成する所定のマイクユニットMU11と原点Ｏとを結ぶ直線を直線ＬＮとし、直線ＬＮをｚ軸方向からｘｙ平面に投影して得られる直線を直線ＬＮ’とする。
　このとき、ｘ軸と直線ＬＮ’とのなす角度φが、ｘｙ平面における原点Ｏから見たマイクユニットMU11の方向を示す方位角とされる。また、ｘｙ平面と直線ＬＮとのなす角度θが、ｘｙ平面と垂直な平面における原点Ｏから見たマイクユニットMU11の方向を示す仰角とされる。
　以下においては、マイク配置情報は、マイクロホンアレイ３１を構成する各マイクユニットの方向を示す情報からなるものとする。
　より具体的には、例えばマイクロホンインデックスがiであるマイクユニットの方向を示す情報は、基準となる方向に対するそのマイクユニットの相対的な方向を示す角度（θi,φi）とされる。ここで、θiは基準となる方向から見たマイクユニットの方向の仰角であり、φiは基準となる方向から見たマイクユニットの方向の方位角である。
　したがって、例えば図３に示した例においてｘ軸方向が基準となる方向であるときには、マイクユニットMU11の角度（θi,φi）は仰角θi＝θおよび方位角φi＝φとなる。
　ここで、空間周波数スペクトルS'n m(ntf)の具体的な算出方法について説明する。
　一般的に、ある球上の音場Ｓは次式（２）に示すように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　なお、式（２）において、Ｙは球面調和関数行列を示しており、Ｗは球の半径および空間周波数の次数による重み係数を示しており、Ｓ’は空間周波数スペクトルを示している。このような式（２）の計算は空間周波数逆変換に相当する。
　また、次式（３）を計算することで、空間周波数変換により空間周波数スペクトルＳ’を求めることができる。
Figure JPOXMLDOC01-appb-M000003
　なお、式（３）においてＹ+は球面調和関数行列Ｙの疑似逆行列を示しており、球面調和関数行列Ｙの転置行列をＹTとして次式（４）により得られるものである。
Figure JPOXMLDOC01-appb-M000004
　以上のことから、時間周波数スペクトルS(i,ntf)からなるベクトルＳに基づいて、次式（５）により、空間周波数スペクトルS'n m(ntf)からなるベクトルＳ’が得られることが分かる。空間周波数分析部３３は、式（５）を計算して空間周波数変換を行うことで、空間周波数スペクトルS'n m(ntf)を求める。
Figure JPOXMLDOC01-appb-M000005
　なお、式（５）において、Ｓ’は空間周波数スペクトルS'n m(ntf)からなるベクトルを示しており、ベクトルＳ’は以下の式（６）により表される。また、式（５）において、Ｓは各時間周波数スペクトルS(i,ntf)からなるベクトルを示しており、ベクトルＳは以下の式（７）により表される。
　さらに、式（５）において、Ymicは球面調和関数行列を示しており、球面調和関数行列Ymicは以下の式（８）により表される。また、式（５）において、Ymic Tは球面調和関数行列Ymicの転置行列を示している。
　ここで、式（５）において、球面調和関数行列Ymicは、式（４）における球面調和関数行列Ｙに対応する。また、式（５）においては、式（３）に示した重み係数Ｗに対応する重み係数については省略されている。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　また、式（８）におけるYn m(θi,φi)は次式（９）に示す球面調和関数である。
Figure JPOXMLDOC01-appb-M000009
　式（９）において、ｎおよびｍは球面調和領域、つまり球面調和関数Yn m(θ,φ)の次数を示しており、ｊは純虚数を示しており、ωは角周波数を示している。
　さらに、式（８）の球面調和関数におけるθiおよびφiは、マイク配置情報により示されるマイクユニットの角度（θi,φi）を構成する仰角θiおよび方位角φiを示している。
　以上の計算により空間周波数スペクトルS'n m(ntf)が得られると、空間周波数分析部３３は、空間周波数スペクトルS'n m(ntf)を、通信部３４および通信部４１を介して音源分離部４２に供給する。
　なお、空間周波数変換により空間周波数スペクトルを求める方法については、例えば「Jerome Daniel, Rozenn Nicol, Sebastien Moreau, “Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging,” AES 114th Convention, Amsterdam, Netherlands, 2003」などに詳細に記載されている。
（音源分離部）
　音源分離部４２は、音源分離を行うことで、通信部４１から供給された空間周波数スペクトルS'n m(ntf)を、オブジェクト音源信号とアンビエント信号とに分離させるとともに、各オブジェクト音源の位置を示す音源位置情報を求める。
　なお、音源分離の方法は、どのような方法であってもよいが、例えば上述した参照文献１に記載されている方法により音源分離を行うようにすることが可能である。
　この場合、収音空間内にはマイクロホンアレイ３１の近くに点音源であるオブジェクト音源がいくつかあり、その他の音源はアンビエント音源であるという仮定に基づいて音声の信号、つまり空間周波数スペクトルがモデル化され、各音源の信号に分離される。すなわち、この技術ではスパース信号処理により音源分離が行われている。このような音源分離では、各音源の位置も特定される。
　なお、音源分離をするにあたっては、何らかの基準により分離する音源数を制限するようにしてもよい。この基準は、例えば音源数そのものや、再現エリアの中心からの距離などが考えられる。すなわち、例えば予めオブジェクト音源とする音源の数を定めておくようにしてもよいし、再現エリアの中心からの距離、つまりマイクロホンアレイ３１の中心からの距離が所定の距離以下である音源をオブジェクト音源とするようにしてもよい。
　音源分離部４２は、音源分離の結果として得られた各オブジェクト音源の位置を示す音源位置情報と、それらのオブジェクト音源のオブジェクト音源信号とされた空間周波数スペクトルS'n m(ntf)とを音源位置補正部４４に供給する。
　また、音源分離部４２は、音源分離の結果、アンビエント信号とされた空間周波数スペクトルS'n m(ntf)を再現エリア制御部４５に供給する。
（聴取位置検出部）
　聴取位置検出部４３は、再生空間における聴取者の位置を検出し、その検出結果に基づいて、聴取者の移動量Δｘを求める。
　具体的には、例えば図４に示すように２次元平面上において位置ｘ0にスピーカアレイ４８の中心位置があり、その中心位置の座標を中心座標ｘ0と称することとする。
　なお、ここでは説明を簡単にするため、２次元平面のみを考えることとし、中心座標ｘ0は、例えば球座標系の座標とされるものとする。
　また、２次元平面上において、聴取者の位置に基づいて求められる再現エリアの中心位置が位置ｘcであり、この再現エリアの中心位置を示す座標を中心座標ｘcと称することとする。但し、この中心位置ｘcは、スピーカアレイ４８の内側、つまりスピーカアレイ４８を構成する各スピーカユニットに囲まれる領域内であるとする。また、中心座標ｘcも中心座標ｘ0と同様に球座標系の座標とされるものとする。
　例えば再生空間内に聴取者が１人だけいる場合、その聴取者の頭部の位置が聴取位置検出部４３により検出され、その聴取者の頭部位置がそのまま再現エリアの中心位置ｘcとされる。
　これに対して、再生空間内に複数の聴取者がいる場合には、それらの聴取者の頭部の位置が聴取位置検出部４３により検出され、それらの全聴取者の頭部の位置を内包し、半径が最小となる円の中心位置が再現エリアの中心位置ｘcとされる。
　なお、再生空間内に複数の聴取者がいる場合、各聴取者の頭部の位置の重心位置を再現エリアの中心位置ｘcとするなど、他の方法により再現エリアの中心位置ｘcを定めるようにしてもよい。
　このようにして再現エリアの中心座標ｘcが求まると、聴取位置検出部４３は次式（１０）を計算することで移動量Δｘを求める。
Figure JPOXMLDOC01-appb-M000010
　図４では位置ｘ0を始点とし、位置ｘcを終点とするベクトルｒcが移動量Δｘを示しており、式（１０）の計算では、球座標で表された移動量Δｘが求められる。したがって、音場再現開始時に聴取者が位置ｘ0にいるものとすると、移動量Δｘは聴取者の頭部の移動量ともいうことができるし、再現エリアの中心位置の移動量であるということもできる。
　また、音場再現開始時に再現エリアの中心位置が位置ｘ0にあり、２次元平面上の位置ｘに所定のオブジェクト音源があったとすると、音場再現開始時における再現エリアの中心位置からみたオブジェクト音源の位置は、ベクトルｒにより示される位置である。
　これに対して、再現エリアの中心位置が当初の位置ｘ0から位置ｘcへと移動したとすると、その移動後における再現エリアの中心位置からみたオブジェクト音源の位置は、ベクトルｒ’により示される位置となる。
　この場合、移動前後における再現エリアの中心位置からみたオブジェクト音源の位置は、ベクトルｒcの分だけ、つまり移動量Δｘの分だけ変化している。そのため、再生空間内で再現エリアのみを移動させ、オブジェクト音源の位置は固定されたままとするためには、オブジェクト音源の位置ｘを適切に補正する必要があり、その補正が音源位置補正部４４で行われる。
　なお、位置ｘ0から見たオブジェクト音源の位置ｘを、図４に示すベクトルｒの大きさである半径ｒと、方位角φとを用いて球座標により表すとｘ＝（ｒ，φ）となる。同様に、移動後の位置ｘcから見たオブジェクト音源の位置ｘを、図４に示すベクトルｒ’の大きさである半径ｒ’と、方位角φ’とを用いて球座標で表すとｘ＝（ｒ’，φ’）となる。
　さらに移動量Δｘもベクトルｒcの大きさである半径ｒcと、方位角φcとを用いて球座標によりΔｘ＝（ｒc，φc）と表すことができる。なお、ここでは各位置や移動量を球座標により表す例について説明するが、各位置や移動量を直交座標で表すようにしてもよい。
　聴取位置検出部４３は、以上の計算により得られた移動量Δｘを、音源位置補正部４４および再現エリア制御部４５に供給する。
（音源位置補正部）
　音源位置補正部４４は、聴取位置検出部４３から供給された移動量Δｘに基づいて、音源分離部４２から供給された音源位置情報を補正し、補正音源位置情報を得る。すなわち、音源位置補正部４４では、聴取者による音声の聴取位置に応じて、各オブジェクト音源の位置が補正される。
　具体的には、例えば音源位置情報により示されるオブジェクト音源の位置を示す座標がｘobj（以下、音源位置座標ｘobjとも称する）であり、補正音源位置情報により示される補正後のオブジェクト音源の位置を示す座標がｘ’obj（以下、補正音源位置座標ｘ’objとも称する）であるとする。なお、これらの音源位置座標ｘobjおよび補正音源位置座標ｘ’objは、例えば球座標で表される。
　音源位置補正部４４は、音源位置座標ｘobjと移動量Δｘとから次式（１１）を計算することで、補正音源位置座標ｘ’objを算出する。
Figure JPOXMLDOC01-appb-M000011
　これにより、移動量Δｘの分だけ、つまり聴取者による音声の聴取位置の移動分だけ、オブジェクト音源の位置が移動される。
　音源位置座標ｘobjおよび補正音源位置座標ｘ’objは、それぞれ移動前後における再現エリアの中心位置を基準とする、つまり聴取者の位置から見た各オブジェクト音源の位置を示す情報となっている。このように、オブジェクト音源の位置を示す音源位置座標ｘobjを、再生空間上における移動量Δｘの分だけ補正して補正音源位置座標ｘ’objとすれば、再生空間で見ると補正の前後でオブジェクト音源の位置は同じ位置のままとなる。
　また、音源位置補正部４４は、式（１１）の計算により得られた球座標で表される補正音源位置座標ｘ’objを、そのまま補正音源位置情報とする。
　例えば図４に示した２次元平面のみを考える場合、オブジェクト音源の位置が位置ｘであるとすると、球座標系では、補正音源位置座標ｘ’objは、ベクトルｒ’の大きさをｒ’とし、ベクトルｒ’の方位角をφ’としてｘ’obj＝（ｒ’，φ’）となる。したがって、補正音源位置座標ｘ’objは、移動後の再現エリアの中心位置から見たオブジェクト音源の相対的な位置を示す座標となる。
　音源位置補正部４４は、このようにして求められた補正音源位置情報と、音源分離部４２から供給されたオブジェクト音源信号とを再現エリア制御部４５に供給する。
（再現エリア制御部）
　再現エリア制御部４５は、聴取位置検出部４３から供給された移動量Δｘと、音源位置補正部４４から供給された補正音源位置情報およびオブジェクト音源信号と、音源分離部４２から供給されたアンビエント信号とに基づいて、再現エリアを移動量Δｘだけ移動させたときの空間周波数スペクトルS''n m(ntf)を求める。すなわち、空間周波数スペクトルS''n m(ntf)は、空間周波数スペクトルS'n m(ntf)に対して、音像（音源）位置を固定したまま再現エリアを移動量Δｘだけ移動させることにより得られるものである。
　但し、ここでは説明を簡単にするため、２次元座標系上にスピーカアレイ４８を構成するスピーカが環状に配置され、球面調和関数の代わりに環調和関数が用いられて空間周波数スペクトルが算出される場合について説明する。以下では、空間周波数スペクトルS''n m(ntf)に対応する、環調和関数が用いられて算出された空間周波数スペクトルを空間周波数スペクトルS'n(ntf)と記すこととする。
　空間周波数スペクトルS'n(ntf)は、次式（１２）に示すように分解することができる。
Figure JPOXMLDOC01-appb-M000012
　なお、式（１２）においてS''n(ntf)は空間周波数スペクトルを示しており、Jn(ntf,r)はｎ次ベッセル関数を示している。
　また、移動後の再現エリアの中心位置ｘcを中心としたときの時間周波数スペクトルS(ntf)は、次式（１３）に示すように表すことができる。
Figure JPOXMLDOC01-appb-M000013
　なお、式（１３）において、ｊは純虚数を示しており、ｒ’およびφ’は中心位置ｘcから見た音源の位置を示す半径および方位角を示している。
　ここから、移動前の再現エリアの中心位置ｘ0を中心としたときの空間周波数スペクトルを求めるためには、式（１３）を以下の式（１４）に示すように変形すればよい。
Figure JPOXMLDOC01-appb-M000014
　なお、式（１４）において、ｒおよびφは中心位置ｘ0から見た音源の位置を示す半径および方位角を示してり、ｒcおよびφcは移動量Δｘの半径および方位角を示している。
　式（１２）による空間周波数スペクトルの分解や式（１４）に示した変形等については、例えば「Jens Ahrens, Sascha Spors, “An Analytical Approach to Sound Field Reproduction with a Movable Sweet Spot Using Circular Distributions of Loudspeakers,” ICASSP, 2009.」などに詳細に記載されている。
　さらに以上の式（１２）乃至式（１４）から、求めようとする空間周波数スペクトルS'n(ntf)は、次式（１５）のように表すことができる。この式（１５）の計算は、球座標系上で音場を移動させる処理に相当する。
Figure JPOXMLDOC01-appb-M000015
　再現エリア制御部４５は、移動量Δｘ＝（ｒc，φc）、補正音源位置情報としての補正音源位置座標ｘ’obj＝（ｒ’，φ’）、オブジェクト音源信号、およびアンビエント信号に基づいて、式（１５）を計算することで空間周波数スペクトルS'n(ntf)を求める。
　但し、式（１５）の計算時においては、再現エリア制御部４５は、オブジェクト音源信号の空間周波数スペクトルS''n'(ntf)として、次式（１６）に示される、補正音源位置座標ｘ’objにより表される球面波モデルS''n',SWを、オブジェクト音源信号としての空間周波数スペクトルに乗算して得られるものを用いる。
Figure JPOXMLDOC01-appb-M000016
　なお、式（１６）においてｒ'S，φ'Sは、所定のオブジェクト音源についての補正音源位置座標ｘ’objの半径および方位角を示しており、上述した補正音源位置座標ｘ’obj＝（ｒ’，φ’）に対応する。すなわち、ここでは各オブジェクト音源を区別するために半径ｒ’および方位角φ’に、オブジェクト音源を識別するための文字Ｓが記されてｒ'Sおよびφ'Sとされている。また、Hn' (2)(ntf,r'S)は第２種ｎ’次ハンケル関数を示している。
　式（１６）に示す球面波モデルS''n',SWは補正音源位置座標ｘ’objから得ることができる。
　これに対して、式（１５）の計算時において再現エリア制御部４５は、アンビエント信号の空間周波数スペクトルS''n'(ntf)として、次式（１７）に示される球面波モデルS''n',PWを、アンビエント信号としての空間周波数スペクトルに乗算して得られるものを用いる。
Figure JPOXMLDOC01-appb-M000017
　なお、式（１７）において、φPWは平面波の到来方向を示しており、この到来方向φPWは、例えば音源分離部４２における音源分離時に何らかの到来方向推定技術により特定された方向や、外部入力により指定された方向などとされる。式（１７）に示す球面波モデルS''n',PWは、到来方向φPWから得ることができる。
　以上の計算によって、再生空間内において再現エリアの中心位置を移動量Δｘだけ移動させ、再現エリアを聴取者の移動に追従させた空間周波数スペクトルS'n(ntf)を得ることができる。換言すれば、聴取者による音の聴取位置に合わせた再現エリアの空間周波数スペクトルS'n(ntf)を得ることができる。この場合、空間周波数スペクトルS'n(ntf)により再現される音場の再現エリアの中心位置は、環状や球状のスピーカアレイ４８の内側における、移動後の聴取位置となる。
　また、ここでは２次元座標系における場合を例として説明したが、３次元座標系における場合にも球面調和関数を用いて同様の計算が可能である。すなわち、球面調和関数を用いて球座標系上で音場（再現エリア）を移動させることが可能である。
　球面調和関数を用いた場合の計算については、例えば「Jens Ahrens, Sascha Spors, “An Analytical Approach to 2.5D Sound Field Reproduction Employing Circular Distributions of Non-Omnidirectional Loudspeakers,” EUSIPCO, 2009.」などに詳細に記載されている。
　再現エリア制御部４５は、球面調和関数を用いて、球座標系上において音像を固定したまま再現エリアを移動させることで得られた空間周波数スペクトルS''n m(ntf)を空間周波数合成部４６に供給する。
（空間周波数合成部）
　空間周波数合成部４６は、再現エリア制御部４５から供給された空間周波数スペクトルS''n m(ntf)に対して、スピーカアレイ４８を構成する各スピーカの方向を示す角度（ξl,ψl）による球面調和関数行列を用いて空間周波数逆変換を行い、時間周波数スペクトルを求める。すなわち、空間周波数合成として空間周波数逆変換が行われる。
　なお、以下、スピーカアレイ４８を構成する各スピーカをスピーカユニットとも称することとする。ここで、スピーカアレイ４８を構成するスピーカユニットの数をスピーカユニット数Ｌとし、各スピーカユニットを示すスピーカユニットインデックスをｌとする。この場合、スピーカユニットインデックスｌ＝0,1,…,L-1である。
　いま、外部から空間周波数合成部４６に供給されるスピーカ配置情報が、スピーカユニットインデックスｌにより示される各スピーカユニットの方向を示す角度（ξl,ψl）であるとする。
　ここで、スピーカユニットの角度（ξl,ψl）を構成するξlおよびψlは、それぞれ上述した仰角θiおよび方位角φiに対応する、スピーカユニットの仰角および方位角を示す角度であり、所定の基準となる方向からの角度である。
　空間周波数合成部４６は、スピーカユニットインデックスｌにより示されるスピーカユニットの方向を示す角度（ξl,ψl）について得られる球面調和関数Yn m(ξl,ψl)と、空間周波数スペクトルS''n m(ntf)とに基づいて次式（１８）を計算することで空間周波数逆変換を行い、時間周波数スペクトルD(l,ntf)を求める。
Figure JPOXMLDOC01-appb-M000018
　なお、式（１８）においてDは各時間周波数スペクトルD(l,ntf)からなるベクトルを示しており、ベクトルDは以下の式（１９）により表される。また、式（１８）において、SSPは各空間周波数スペクトルS''n m(ntf)からなるベクトルを示しており、ベクトルSSPは以下の式（２０）により表される。
　さらに、式（１８）において、YSPは各球面調和関数Yn m(ξl,ψl)からなる球面調和関数行列を示しており、球面調和関数行列YSPは以下の式（２１）により表される。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　空間周波数合成部４６は、このようにして得られた時間周波数スペクトルD(l,ntf)を時間周波数合成部４７に供給する。
（時間周波数合成部）
　時間周波数合成部４７は、次式（２２）を計算することで、空間周波数合成部４６から供給された時間周波数スペクトルD(l,ntf)に対してIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）を用いた時間周波数合成を行い、時間信号であるスピーカ駆動信号d(l,nd)を算出する。
Figure JPOXMLDOC01-appb-M000022
　なお、式（２２）において、ndは時間インデックスを示しており、MdtはIDFTのサンプル数を示している。また、式（２２）においてｊは純虚数を示している。
　時間周波数合成部４７は、このようにして得られたスピーカ駆動信号d(l,nd)を、スピーカアレイ４８を構成する各スピーカユニットに供給し、音声を再生させる。
〈音場再現処理の説明〉
　次に、音場制御器１１の動作について説明する。音場制御器１１は、音場の収録と再現が指示されると、音場再現処理を行って収音空間の音場を再生空間で再現する。以下、図５のフローチャートを参照して、音場制御器１１による音場再現処理について説明する。
　ステップＳ１１において、マイクロホンアレイ３１は、収音空間においてコンテンツの音声を収音し、その結果得られたマルチチャンネルの収音信号s(i,nt)を時間周波数分析部３２に供給する。
　ステップＳ１２において、時間周波数分析部３２は、マイクロホンアレイ３１から供給された収音信号s(i,nt)の時間周波数情報を分析する。
　具体的には、時間周波数分析部３２は収音信号s(i,nt)を時間周波数変換し、その結果得られた時間周波数スペクトルS(i,ntf)を空間周波数分析部３３に供給する。例えば、ステップＳ１２では上述した式（１）の計算が行われる。
　ステップＳ１３において、空間周波数分析部３３は、外部から供給されたマイク配置情報を用いて、時間周波数分析部３２から供給された時間周波数スペクトルS(i,ntf)に対して空間周波数変換を行う。
　具体的には、空間周波数分析部３３は、マイク配置情報および時間周波数スペクトルS(i,ntf)に基づいて、上述した式（５）を計算することで空間周波数変換を行う。
　空間周波数分析部３３は、空間周波数変換により得られた空間周波数スペクトルS'n m(ntf)を、通信部３４に供給する。
　ステップＳ１４において、通信部３４は、空間周波数分析部３３から供給された空間周波数スペクトルS'n m(ntf)を送信する。
　ステップＳ１５において、通信部４１は、通信部３４により送信された空間周波数スペクトルS'n m(ntf)を受信して、音源分離部４２に供給する。
　ステップＳ１６において、音源分離部４２は、通信部４１から供給された空間周波数スペクトルS'n m(ntf)に基づいて音源分離を行い、空間周波数スペクトルS'n m(ntf)をオブジェクト音源信号とするものとアンビエント信号とするものとに分離する。
　音源分離部４２は、音源分離の結果として得られた各オブジェクト音源の位置を示す音源位置情報と、オブジェクト音源信号とされた空間周波数スペクトルS'n m(ntf)とを音源位置補正部４４に供給する。また、音源分離部４２は、アンビエント信号とされた空間周波数スペクトルS'n m(ntf)を再現エリア制御部４５に供給する。
　ステップＳ１７において、聴取位置検出部４３は、外部から供給されたセンサ情報に基づいて、再生空間における聴取者の位置を検出し、その検出結果に基づいて、聴取者の移動量Δｘを求める。
　具体的には、聴取位置検出部４３は、センサ情報に基づいて聴取者の位置を求め、その聴取者の位置から、移動後の再現エリアの中心位置ｘcを算出する。そして、聴取位置検出部４３は、中心位置ｘcと、予め求まっているスピーカアレイ４８の中心の位置ｘ0とから式（１０）により移動量Δｘを算出する。
　聴取位置検出部４３は、このようにして得られた移動量Δｘを音源位置補正部４４および再現エリア制御部４５に供給する。
　ステップＳ１８において、音源位置補正部４４は、聴取位置検出部４３から供給された移動量Δｘに基づいて、音源分離部４２から供給された音源位置情報を補正する。
　すなわち、音源位置補正部４４は、音源位置情報としての音源位置座標ｘobjと、移動量Δｘとから式（１１）の計算を行い、補正音源位置情報としての補正音源位置座標ｘ’objを算出する。
　音源位置補正部４４は、得られた補正音源位置情報と音源分離部４２から供給されたオブジェクト音源信号とを再現エリア制御部４５に供給する。
　ステップＳ１９において、再現エリア制御部４５は、聴取位置検出部４３からの移動量Δｘと、音源位置補正部４４からの補正音源位置情報およびオブジェクト音源信号と、音源分離部４２からのアンビエント信号とに基づいて、再現エリアを移動量Δｘだけ移動させた空間周波数スペクトルS''n m(ntf)を求める。
　すなわち、再現エリア制御部４５は、球面調和関数を用いて式（１５）と同様の計算を行うことで空間周波数スペクトルS''n m(ntf)を求め、得られた空間周波数スペクトルS''n m(ntf)を空間周波数合成部４６に供給する。
　ステップＳ２０において、空間周波数合成部４６は、再現エリア制御部４５から供給された空間周波数スペクトルS''n m(ntf)と、外部から供給されたスピーカ配置情報とに基づいて、上述した式（１８）を計算し、空間周波数逆変換を行う。空間周波数合成部４６は、空間周波数逆変換により得られた時間周波数スペクトルD(l,ntf)を時間周波数合成部４７に供給する。
　ステップＳ２１において、時間周波数合成部４７は、上述した式（２２）を計算することで、空間周波数合成部４６から供給された時間周波数スペクトルD(l,ntf)に対して時間周波数合成を行い、スピーカ駆動信号d(l,nd)を算出する。
　時間周波数合成部４７は、得られたスピーカ駆動信号d(l,nd)を、スピーカアレイ４８を構成する各スピーカユニットに供給する。
　ステップＳ２２において、スピーカアレイ４８は、時間周波数合成部４７から供給されたスピーカ駆動信号d(l,nd)に基づいて音声を再生する。これにより、コンテンツの音声、すなわち収音空間の音場が再現されることになる。
　このようにして収音空間の音場が再生空間で再現されると、音場再現処理は終了する。
　以上のようにして、音場制御器１１は、オブジェクト音源について音源位置情報を補正するとともに、補正された音源位置情報を用いて再現エリアを移動させた空間周波数スペクトルを求める。
　これにより、聴取者の動きに合わせて再現エリアを移動させることができるとともに、オブジェクト音源の位置を再生空間内で固定させることができる。その結果、聴取者に対して正しく再現された音場を提示するだけでなく、音源の定位感を向上させることができ、より適切に音場を再現することができる。しかも、音場制御器１１では、音源をオブジェクト音源とアンビエント音源とに分離し、オブジェクト音源のみ音源位置の補正を行うようにすることで、演算量を削減することができる。
〈第２の実施の形態〉
〈音場制御器の構成例〉
　なお、以上においては、マイクロホンアレイ３１を用いて波面収音された音場を再現する場合について説明したが、オブジェクト音再生を行う場合には、メタデータとして音源位置情報が与えられるので、音源分離が不要となる。
　そのような場合、本技術を適用した音場制御器は、例えば図６に示すように構成される。なお、図６において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図６に示す音場制御器７１は、聴取位置検出部４３、音源位置補正部４４、再現エリア制御部４５、空間周波数合成部４６、時間周波数合成部４７、およびスピーカアレイ４８を有している。
　この例では、音場制御器７１が外部から各オブジェクトのオーディオ信号とそのメタデータとを取得し、例えばメタデータに含まれているオブジェクトの重要度等に基づいて、各オブジェクトを、オブジェクト音源とアンビエント音源とに分ける。
　そして、音場制御器７１は、オブジェクト音源としたオブジェクトのオーディオ信号をオブジェクト音源信号として音源位置補正部４４に供給するとともに、そのオブジェクト音源のメタデータに含まれる音源位置情報も音源位置補正部４４に供給する。
　また、音場制御器７１は、アンビエント音源としたオブジェクトのオーディオ信号をアンビエント信号として再現エリア制御部４５に供給するとともに、必要に応じてそのアンビエント音源のメタデータに含まれる音源位置情報も再現エリア制御部４５に供給する。
　なお、この実施の形態では、オブジェクト音源信号やアンビエント信号として供給されるオーディオ信号は、図２の音場制御器１１において音源位置補正部４４等に供給される場合と同様に空間周波数スペクトルでもよいし、時間信号や時間周波数スペクトル、またはそれらの組み合わせであってもよい。
　例えばオーディオ信号が時間信号や時間周波数スペクトルとされる場合には、再現エリア制御部４５において、時間信号や時間周波数スペクトルが空間周波数スペクトルに変換された後、再現エリアを移動させた空間周波数スペクトルが求められる。
〈音場再現処理の説明〉
　次に、図７のフローチャートを参照して、図６に示した音場制御器７１により行われる音場再現処理について説明する。なお、ステップＳ５１の処理は図５のステップＳ１７の処理と同様であるので、その説明は省略する。
　ステップＳ５２において、音源位置補正部４４は、聴取位置検出部４３から供給された移動量Δｘに基づいて、音場制御器７１から供給された音源位置情報を補正する。
　すなわち、音源位置補正部４４は、メタデータとして供給された音源位置情報である音源位置座標ｘobjと、移動量Δｘとから式（１１）の計算を行い、補正音源位置情報としての補正音源位置座標ｘ’objを算出する。
　音源位置補正部４４は、得られた補正音源位置情報と音場制御器７１から供給されたオブジェクト音源信号とを再現エリア制御部４５に供給する。
　ステップＳ５３において、再現エリア制御部４５は、聴取位置検出部４３からの移動量Δｘと、音源位置補正部４４からの補正音源位置情報およびオブジェクト音源信号と、音場制御器７１からのアンビエント信号とに基づいて、再現エリアを移動量Δｘだけ移動させた空間周波数スペクトルS''n m(ntf)を求める。
　例えばステップＳ５３では、図５のステップＳ１９における場合と同様に、球面調和関数を用いた計算により、音場（再現エリア）を移動させた空間周波数スペクトルS''n m(ntf)が求められ、空間周波数合成部４６に供給される。このとき、オブジェクト音源信号およびアンビエント信号が時間信号や時間周波数スペクトルである場合には、適宜、空間周波数スペクトルへの変換が行われた後、式（１５）と同様の計算が行われる。
　空間周波数スペクトルS''n m(ntf)が求められると、その後、ステップＳ５４乃至ステップＳ５６の処理が行われて音場再現処理は終了するが、これらの処理は図５のステップＳ２０乃至ステップＳ２２の処理と同様であるので、その説明は省略する。
　以上のようにして音場制御器７１は、オブジェクト音源について音源位置情報を補正するとともに、補正された音源位置情報を用いて再現エリアを移動させた空間周波数スペクトルを求める。したがって、音場制御器７１においても、より適切に音場を再現することができる。
　なお、以上においては、マイクロホンアレイ３１として、環状マイクロホンアレイや球状マイクロホンアレイを例として説明したが、マイクロホンアレイ３１として直線マイクロホンアレイを用いるようにしてもよい。そのような場合においても以上において説明した処理と同様の処理により音場を再現することが可能である。
　また、スピーカアレイ４８も環状スピーカアレイや球状スピーカアレイに限らず、直線スピーカアレイなど、どのようなものであってもよい。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
　図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正する音源位置補正部と、
　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する再現エリア制御部と
　を備える音声処理装置。
（２）
　前記再現エリア制御部は、前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号と、前記聴取位置と、前記補正音源位置情報とに基づいて、前記空間周波数スペクトルを算出する
　（１）に記載の音声処理装置。
（３）
　音源分離を行うことで、音声の信号を前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号とに分離させる音源分離部をさらに備える
　（２）に記載の音声処理装置。
（４）
　前記オブジェクト音源信号は、音声の時間信号または空間周波数スペクトルである
　（１）乃至（３）の何れか一項に記載の音声処理装置。
（５）
　前記音源位置補正部は、前記聴取位置の移動量の分だけ前記オブジェクト音源の位置が移動するように前記補正を行う
　（１）乃至（４）の何れか一項に記載の音声処理装置。
（６）
　前記再現エリア制御部は、前記聴取位置の前記移動量だけ前記再現エリアを移動させた前記空間周波数スペクトルを算出する
　（５）に記載の音声処理装置。
（７）
　前記再現エリア制御部は、球座標系上で前記再現エリアを移動させることで前記空間周波数スペクトルを算出する
　（６）に記載の音声処理装置。
（８）
　前記再現エリア制御部により算出された前記空間周波数スペクトルに対して空間周波数合成を行って時間周波数スペクトルを算出する空間周波数合成部と、
　前記時間周波数スペクトルに対して時間周波数合成を行って、前記スピーカアレイの駆動信号を算出する時間周波数合成部と
　をさらに備える（１）乃至（７）の何れか一項に記載の音声処理装置。
（９）
　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正し、
　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する
　ステップを含む音声処理方法。
（１０）
　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正し、
　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　音場制御器，　４２　音源分離部，　４３　聴取位置検出部，　４４　音源位置補正部，　４５　再現エリア制御部，　４６　空間周波数合成部，　４７　時間周波数合成部，　４８　スピーカアレイ

Claims (10)

  1. 　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正する音源位置補正部と、
    　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する再現エリア制御部と
    　を備える音声処理装置。
  2. 　前記再現エリア制御部は、前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号と、前記聴取位置と、前記補正音源位置情報とに基づいて、前記空間周波数スペクトルを算出する
    　請求項１に記載の音声処理装置。
  3. 　音源分離を行うことで、音声の信号を前記オブジェクト音源信号と、前記オブジェクト音源とは異なる音源の音声の信号とに分離させる音源分離部をさらに備える
    　請求項２に記載の音声処理装置。
  4. 　前記オブジェクト音源信号は、音声の時間信号または空間周波数スペクトルである
    　請求項１に記載の音声処理装置。
  5. 　前記音源位置補正部は、前記聴取位置の移動量の分だけ前記オブジェクト音源の位置が移動するように前記補正を行う
    　請求項１に記載の音声処理装置。
  6. 　前記再現エリア制御部は、前記聴取位置の前記移動量だけ前記再現エリアを移動させた前記空間周波数スペクトルを算出する
    　請求項５に記載の音声処理装置。
  7. 　前記再現エリア制御部は、球座標系上で前記再現エリアを移動させることで前記空間周波数スペクトルを算出する
    　請求項６に記載の音声処理装置。
  8. 　前記再現エリア制御部により算出された前記空間周波数スペクトルに対して空間周波数合成を行って時間周波数スペクトルを算出する空間周波数合成部と、
    　前記時間周波数スペクトルに対して時間周波数合成を行って、前記スピーカアレイの駆動信号を算出する時間周波数合成部と
    　をさらに備える請求項１に記載の音声処理装置。
  9. 　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正し、
    　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する
    　ステップを含む音声処理方法。
  10. 　音声の聴取位置に基づいて、オブジェクト音源の位置を示す音源位置情報を補正し、
    　前記オブジェクト音源の音声のオブジェクト音源信号と、前記聴取位置と、前記補正により得られた補正音源位置情報とに基づいて、球状または環状のスピーカアレイ内部の前記聴取位置に合わせた再現エリアとする空間周波数スペクトルを算出する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2016/085284 2015-12-10 2016-11-29 音声処理装置および方法、並びにプログラム WO2017098949A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/779,967 US10524075B2 (en) 2015-12-10 2016-11-29 Sound processing apparatus, method, and program
JP2017555022A JP6841229B2 (ja) 2015-12-10 2016-11-29 音声処理装置および方法、並びにプログラム
CN201680070757.5A CN108370487B (zh) 2015-12-10 2016-11-29 声音处理设备、方法和程序
EP16872849.1A EP3389285B1 (en) 2015-12-10 2016-11-29 Speech processing device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015241138 2015-12-10
JP2015-241138 2015-12-10

Publications (1)

Publication Number Publication Date
WO2017098949A1 true WO2017098949A1 (ja) 2017-06-15

Family

ID=59014079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085284 WO2017098949A1 (ja) 2015-12-10 2016-11-29 音声処理装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10524075B2 (ja)
EP (1) EP3389285B1 (ja)
JP (1) JP6841229B2 (ja)
CN (1) CN108370487B (ja)
WO (1) WO2017098949A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049409A1 (ja) * 2017-09-11 2019-03-14 シャープ株式会社 音声信号処理装置および音声信号処理システム
WO2019075425A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated RENDERED FOR SYSTEMS OF VIRTUAL REALITY
WO2019197403A1 (en) * 2018-04-09 2019-10-17 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
JP2020053791A (ja) * 2018-09-26 2020-04-02 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
KR20200040745A (ko) * 2017-07-14 2020-04-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR20200041307A (ko) * 2017-07-14 2020-04-21 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR20200041860A (ko) * 2017-07-14 2020-04-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
JP2020522171A (ja) * 2017-07-12 2020-07-27 グーグル エルエルシー 指向性分解および経路距離の見積りを用いたアンビソニックス音場ナビゲーション
JP2021513264A (ja) * 2018-02-06 2021-05-20 株式会社ソニー・インタラクティブエンタテインメント スピーカシステムにおける音の定位
WO2022014326A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
US11375332B2 (en) 2018-04-09 2022-06-28 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
WO2022249594A1 (ja) * 2021-05-24 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
RU2803062C2 (ru) * 2018-04-09 2023-09-06 Долби Интернешнл Аб Способы, аппараты и системы для расширения трех степеней свободы (3dof+) mpeg-h 3d audio

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6485711B2 (ja) 2014-04-16 2019-03-20 ソニー株式会社 音場再現装置および方法、並びにプログラム
WO2017038543A1 (ja) 2015-09-03 2017-03-09 ソニー株式会社 音声処理装置および方法、並びにプログラム
JP6881459B2 (ja) 2016-09-01 2021-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020014506A1 (en) 2018-07-12 2020-01-16 Sony Interactive Entertainment Inc. Method for acoustically rendering the size of a sound source
CN109495800B (zh) * 2018-10-26 2021-01-05 成都佳发安泰教育科技股份有限公司 一种音频动态采集系统及方法
CN112379330B (zh) * 2020-11-27 2023-03-10 浙江同善人工智能技术有限公司 一种多机器人协同的3d声源识别定位方法
US20240070941A1 (en) * 2022-08-31 2024-02-29 Sonaria 3D Music, Inc. Frequency interval visualization education and entertainment system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090293A (ja) * 2012-10-30 2014-05-15 Fujitsu Ltd 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
WO2015076149A1 (ja) * 2013-11-19 2015-05-28 ソニー株式会社 音場再現装置および方法、並びにプログラム
WO2015097831A1 (ja) * 2013-12-26 2015-07-02 株式会社東芝 電子機器、制御方法およびプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8800745A (nl) 1988-03-24 1989-10-16 Augustinus Johannes Berkhout Werkwijze en inrichting voor het creeren van een variabele akoestiek in een ruimte.
JP3047613B2 (ja) 1992-04-03 2000-05-29 松下電器産業株式会社 超指向性マイクロホン
JP2005333211A (ja) 2004-05-18 2005-12-02 Sony Corp 音響収録方法、音響収録再生方法、音響収録装置および音響再生装置
WO2006030692A1 (ja) * 2004-09-16 2006-03-23 Matsushita Electric Industrial Co., Ltd. 音像定位装置
JP5054035B2 (ja) 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US8406439B1 (en) * 2007-04-04 2013-03-26 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
JP5245368B2 (ja) * 2007-11-14 2013-07-24 ヤマハ株式会社 仮想音源定位装置
JP5315865B2 (ja) 2008-09-02 2013-10-16 ヤマハ株式会社 音場伝送システムおよび音場伝送方法
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP2010193323A (ja) 2009-02-19 2010-09-02 Casio Hitachi Mobile Communications Co Ltd 録音装置、再生装置、録音方法、再生方法、及びコンピュータプログラム
JP5246790B2 (ja) * 2009-04-13 2013-07-24 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 音データ処理装置、及び、プログラム
CA2731043C (en) 2010-02-05 2015-12-29 Qnx Software Systems Co. Enhanced spatialization system with satellite device
US9025415B2 (en) 2010-02-23 2015-05-05 Koninklijke Philips N.V. Audio source localization
US9107023B2 (en) * 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US9510126B2 (en) * 2012-01-11 2016-11-29 Sony Corporation Sound field control device, sound field control method, program, sound control system and server
WO2013186593A1 (en) 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
CN104010265A (zh) * 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
JP2014215461A (ja) 2013-04-25 2014-11-17 ソニー株式会社 音声処理装置および方法、並びにプログラム
RU2667630C2 (ru) * 2013-05-16 2018-09-21 Конинклейке Филипс Н.В. Устройство аудиообработки и способ для этого
JP6087760B2 (ja) 2013-07-29 2017-03-01 日本電信電話株式会社 音場収音再生装置、方法及びプログラム
DE102013218176A1 (de) * 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
JP2015095802A (ja) 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
EP2884489B1 (en) 2013-12-16 2020-02-05 Harman Becker Automotive Systems GmbH Sound system including an engine sound synthesizer
SG11201605692WA (en) * 2014-01-16 2016-08-30 Sony Corp Audio processing device and method, and program therefor
JP6485711B2 (ja) 2014-04-16 2019-03-20 ソニー株式会社 音場再現装置および方法、並びにプログラム
WO2016056410A1 (ja) 2014-10-10 2016-04-14 ソニー株式会社 音声処理装置および方法、並びにプログラム
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
WO2016167138A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 信号処理装置および方法、並びにプログラム
WO2017038543A1 (ja) 2015-09-03 2017-03-09 ソニー株式会社 音声処理装置および方法、並びにプログラム
JP6881459B2 (ja) 2016-09-01 2021-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090293A (ja) * 2012-10-30 2014-05-15 Fujitsu Ltd 情報処理装置、音像定位強調方法、及び音像定位強調プログラム
WO2015076149A1 (ja) * 2013-11-19 2015-05-28 ソニー株式会社 音場再現装置および方法、並びにプログラム
WO2015097831A1 (ja) * 2013-12-26 2015-07-02 株式会社東芝 電子機器、制御方法およびプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JENS AHRENS; SASCHA SPORS: "An Analytical Approach to 2.5D Sound Field Reproduction Employing Circular Distributions of Non-Omnidirectional Loudspeakers", EUSIPCO, 2009
JENS AHRENS; SASCHA SPORS: "An Analytical Approach to Sound Field Reproduction with a Movable Sweet Spot Using Circular Distributions of Loudspeakers", ICASSP, 2009
JEROME DANIEL; ROZENN NICOL; SEBASTIEN MOREAU: "Further Investigations of High Order Ambisonics and Wavefield Synthesis for Holophonic Sound Imaging", AES 114TH CONVENTION, 2003
See also references of EP3389285A4
SHOICHI KOYAMA; NAOKI MURATA; HIROSHI SARUWATARI: "Group sparse signal representation and decomposition algorithm for super-resolution in sound field recording and reproduction", ACOUSTICAL SOCIETY OF JAPAN, 2015

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10952009B2 (en) 2017-01-13 2021-03-16 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
JP2020522171A (ja) * 2017-07-12 2020-07-27 グーグル エルエルシー 指向性分解および経路距離の見積りを用いたアンビソニックス音場ナビゲーション
JP2020527746A (ja) * 2017-07-14 2020-09-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチポイント音場記述を使用して拡張音場記述または修正音場記述を生成するためのコンセプト
KR102491818B1 (ko) * 2017-07-14 2023-01-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR20200040745A (ko) * 2017-07-14 2020-04-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR20200041307A (ko) * 2017-07-14 2020-04-21 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR20200041860A (ko) * 2017-07-14 2020-04-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR102652670B1 (ko) * 2017-07-14 2024-04-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US11950085B2 (en) 2017-07-14 2024-04-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description
KR20220098261A (ko) * 2017-07-14 2022-07-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR102540642B1 (ko) * 2017-07-14 2023-06-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US11863962B2 (en) 2017-07-14 2024-01-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description
KR102654507B1 (ko) * 2017-07-14 2024-04-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US11477594B2 (en) 2017-07-14 2022-10-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a depth-extended DirAC technique or other techniques
JP2022153626A (ja) * 2017-07-14 2022-10-12 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチポイント音場記述を使用して拡張音場記述または修正音場記述を生成するためのコンセプト
US11153704B2 (en) 2017-07-14 2021-10-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description
US11463834B2 (en) 2017-07-14 2022-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description
KR102448736B1 (ko) * 2017-07-14 2022-09-30 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
JP7119060B2 (ja) 2017-07-14 2022-08-16 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン マルチポイント音場記述を使用して拡張音場記述または修正音場記述を生成するためのコンセプト
KR20220044973A (ko) * 2017-07-14 2022-04-12 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
JPWO2019049409A1 (ja) * 2017-09-11 2020-10-22 シャープ株式会社 音声信号処理装置および音声信号処理システム
WO2019049409A1 (ja) * 2017-09-11 2019-03-14 シャープ株式会社 音声信号処理装置および音声信号処理システム
WO2019075425A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated RENDERED FOR SYSTEMS OF VIRTUAL REALITY
US10469968B2 (en) 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
JP2021513264A (ja) * 2018-02-06 2021-05-20 株式会社ソニー・インタラクティブエンタテインメント スピーカシステムにおける音の定位
CN111886880A (zh) * 2018-04-09 2020-11-03 杜比国际公司 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统
US11877142B2 (en) 2018-04-09 2024-01-16 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DOF+) extension of MPEG-H 3D audio
JP2021519012A (ja) * 2018-04-09 2021-08-05 ドルビー・インターナショナル・アーベー Ｍｐｅｇ−ｈ ３ｄオーディオの３自由度（３ｄｏｆ＋）拡張のための方法、装置およびシステム
RU2826074C2 (ru) * 2018-04-09 2024-09-03 Долби Интернешнл Аб Способ, энергонезависимый машиночитаемый носитель и декодер MPEG-H 3D Audio для расширения трех степеней свободы MPEG-H 3D Audio
EP4030784A1 (en) * 2018-04-09 2022-07-20 Dolby International AB Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
WO2019197403A1 (en) * 2018-04-09 2019-10-17 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
US11375332B2 (en) 2018-04-09 2022-06-28 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
EP4030785A1 (en) * 2018-04-09 2022-07-20 Dolby International AB Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
JP7270634B2 (ja) 2018-04-09 2023-05-10 ドルビー・インターナショナル・アーベー Ｍｐｅｇ－ｈ ３ｄオーディオの３自由度（３ｄｏｆ＋）拡張のための方法、装置およびシステム
CN113993059A (zh) * 2018-04-09 2022-01-28 杜比国际公司 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统
EP4221264A1 (en) * 2018-04-09 2023-08-02 Dolby International AB Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio
RU2803062C2 (ru) * 2018-04-09 2023-09-06 Долби Интернешнл Аб Способы, аппараты и системы для расширения трех степеней свободы (3dof+) mpeg-h 3d audio
US11882426B2 (en) 2018-04-09 2024-01-23 Dolby International Ab Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio
CN111886880B (zh) * 2018-04-09 2021-11-02 杜比国际公司 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统
JP2020053791A (ja) * 2018-09-26 2020-04-02 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
JP7234555B2 (ja) 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US11546713B2 (en) 2018-09-26 2023-01-03 Sony Corporation Information processing device, information processing method, program, and information processing system
WO2022014326A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
WO2022249594A1 (ja) * 2021-05-24 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Also Published As

Publication number Publication date
US20180359594A1 (en) 2018-12-13
EP3389285A1 (en) 2018-10-17
CN108370487A (zh) 2018-08-03
JPWO2017098949A1 (ja) 2018-09-27
JP6841229B2 (ja) 2021-03-10
US10524075B2 (en) 2019-12-31
EP3389285A4 (en) 2019-01-02
EP3389285B1 (en) 2021-05-05
CN108370487B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
WO2017098949A1 (ja) 音声処理装置および方法、並びにプログラム
EP3320692B1 (en) Spatial audio processing apparatus
Zhou et al. Sep-stereo: Visually guided stereophonic audio generation by associating source separation
US10397722B2 (en) Distributed audio capture and mixing
US20160345092A1 (en) Audio Capture Apparatus
US20160073198A1 (en) Spatial audio apparatus
JPWO2018008396A1 (ja) 音場形成装置および方法、並びにプログラム
CN114450977A (zh) 用于在空间变换域中处理声场表示的装置、方法或计算机程序
US10412531B2 (en) Audio processing apparatus, method, and program
EP3402223B1 (en) Audio processing device and method, and program
US10582329B2 (en) Audio processing device and method
US11962991B2 (en) Non-coincident audio-visual capture system
US20240349001A1 (en) Method and system for determining individualized head related transfer functions
US11252524B2 (en) Synthesizing a headphone signal using a rotating head-related transfer function
WO2018066376A1 (ja) 信号処理装置および方法、並びにプログラム
Iida et al. Acoustic VR System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872849

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017555022

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE