WO2019208285A1 - 音像再現装置、音像再現方法及び音像再現プログラム - Google Patents

音像再現装置、音像再現方法及び音像再現プログラム Download PDF

Info

Publication number
WO2019208285A1
WO2019208285A1 PCT/JP2019/016078 JP2019016078W WO2019208285A1 WO 2019208285 A1 WO2019208285 A1 WO 2019208285A1 JP 2019016078 W JP2019016078 W JP 2019016078W WO 2019208285 A1 WO2019208285 A1 WO 2019208285A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual sound
speaker
sound source
image reproduction
acoustic signal
Prior art date
Application number
PCT/JP2019/016078
Other languages
English (en)
French (fr)
Inventor
公孝 堤
賢一 野口
高田　英明
羽田　陽一
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to EP19791922.8A priority Critical patent/EP3787311B1/en
Priority to JP2020516237A priority patent/JP6970366B2/ja
Priority to US17/050,102 priority patent/US11356790B2/en
Publication of WO2019208285A1 publication Critical patent/WO2019208285A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • G10K11/346—Circuits therefor using phase variation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • G10K11/341—Circuits therefor
    • G10K11/348—Circuits therefor using amplitude variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to a sound image reproduction technique for creating a virtual sound source in a space.
  • Patent Document 1 There is a method called wavefront synthesis for sound image reproduction technology for creating a virtual sound source in a screening space (Patent Document 1).
  • Patent Document 1 After collecting sound signals at points where sound signals are recorded by microphones installed at a plurality of points, the arrival directions of the sound signals in the vertical and horizontal directions are analyzed, and a plurality of sound signals installed in the presentation space are analyzed. The sound signal of the recording venue is physically reproduced using the speakers.
  • Non-Patent Document 1 a drive signal based on the drive function derived from the first type Rayleigh integration is given to the speaker array, so that the virtual sound source is placed in front of the speaker.
  • Non-Patent Document 2 a technique using a method of circle harmony expansion is known (Non-Patent Document 2).
  • Circle harmonic expansion is a technique for expressing the directivity of sound by expanding acoustic signals observed by a microphone array arranged in a circle around a sound source into a circular harmonic series.
  • the sound source with the directional characteristics modeled on the sound collection side is reproduced by using the drive signal of the drive function obtained from the circular harmonic series obtained on the recording side from the speaker array arranged in a circle. Can do.
  • Patent Document 1 has high reproducibility in reproducing a virtual sound source in order to faithfully reproduce the acoustic signal at the recording point, but it requires not only a speaker array but also a microphone array, which increases the scale of the entire system. To do.
  • the recorded sound is reproduced faithfully, it is difficult to edit content such as adding a sound effect that does not exist every day as a special effect, as represented by a movie, for example.
  • the sound signals emitted from a plurality of sound sources are mixed in the microphone at the same time, it is extremely difficult to edit such as taking out each sound source and adjusting the position and sound quality.
  • Non-Patent Document 1 does not require a microphone array to generate a virtual sound source, generates sound signals for channels corresponding to a plurality of speakers from a monaural sound source recorded from a normal microphone, A virtual sound source can be created. Since a monaural sound source is used, the scale of the entire system can be reduced, and content editing can be performed easily. However, since omnidirectionality is assumed as the radiation characteristic of the virtual sound source, it is not possible to generate a directional sound source using the virtual sound source.
  • the present invention has been made in view of the above circumstances, and can be applied to a monaural sound source, and can provide directivity to a virtual sound source in a space, a sound image reproduction method, a sound image reproduction method, and a sound image reproduction program.
  • the purpose is to provide.
  • a sound image reproduction device is a sound image reproduction device that generates a virtual sound source in a space using a plurality of speakers arranged in a straight line.
  • a focus position determination unit that determines the position of each virtual sound source for generating the sound source, and a driving function for driving a speaker used to generate a virtual sound source at the position of each virtual sound source.
  • a filter function determining unit that calculates an impulse response vector for each speaker by performing inverse Fourier transform on the driving function for each speaker to which a weight different from the others is applied, and for each speaker with respect to one input acoustic signal
  • a convolution operation unit that outputs the respective acoustic signals to the plurality of speakers, respectively.
  • the sound image reproduction device is a sound image reproduction device that generates a virtual sound source in a space using a plurality of speakers arranged in a straight line, and each virtual sound source for generating a plurality of virtual sound sources in a circular shape.
  • the focus position determination unit for determining the position of each of the virtual sound sources, and the speaker driving function used for generating the virtual sound sources at the positions of the respective virtual sound sources are given different weights to some of the respective virtual sound sources.
  • a filter operation unit that performs inverse Fourier transform on a driving function for each speaker, and convolves an impulse response vector for each speaker calculated in advance with respect to one input acoustic signal and outputs a weighted acoustic signal; For each speaker, the output time of the weighted sound signal is delayed by the time required to travel at the speed of sound through the distance between the speaker and the plurality of virtual sound sources.
  • a delay adjustment unit that outputs a delayed acoustic signal, and a gain determined from a distance between each of the speakers and the plurality of virtual sound sources for each speaker, the plurality of virtual sound sources And a gain multiplier for multiplying and outputting each of the delayed acoustic signals.
  • the sound image reproduction device is the sound image reproduction device according to claim 1 or 2, wherein the drive function for each speaker circularly develops the directivity characteristics of the virtual sound source in advance with respect to the plurality of virtual sound sources.
  • the n-th order circular harmonic series obtained in this way is divided for each order by a two-dimensional green function circularly expanded with respect to the virtual sound source, and the divided values are summed to obtain a weighting coefficient for each virtual sound source, It is a function obtained by weighted averaging the weighting coefficient of each virtual sound source and the driving function for driving the speaker.
  • the sound image reproduction method is a sound image reproduction method for generating a virtual sound source in a space using a plurality of speakers arranged in a straight line, and the sound image reproduction device generates a plurality of virtual sound sources in a circle. Determining a position of each virtual sound source and a driving function for driving a speaker used for generating a virtual sound source at the position of each virtual sound source, a part of the virtual sound source having a weight different from others A step of calculating an impulse response vector for each speaker by performing inverse Fourier transform on the given drive function for each speaker, and convolution of the impulse response vector for each speaker with each input acoustic signal, And a step of outputting each of the acoustic signals to the plurality of speakers.
  • the sound image reproduction method is a sound image reproduction method for generating a virtual sound source in a space using a plurality of speakers arranged in a straight line, and the sound image reproduction device generates a plurality of virtual sound sources in a circle.
  • Determining a position of each virtual sound source and a driving function for driving a speaker used for generating a virtual sound source at the position of each virtual sound source, a part of the virtual sound source having a weight different from others By applying inverse Fourier transform to the given drive function for each speaker, convolution of the impulse response vector calculated for each speaker with respect to one input acoustic signal, and outputting a weighted acoustic signal; For each speaker, the output time of the weighted sound signal is delayed by the time necessary to advance the distance between the speaker and the plurality of virtual sound sources at the speed of sound.
  • a sound image reproduction program according to claim 6 causes a computer to function as the sound image reproduction device according to any one of claims 1 to 3.
  • a sound image reproduction device a sound image reproduction method, and a sound image reproduction program that can be applied to a monaural sound source and that can impart directivity to a virtual sound source in a space.
  • the present invention generates a virtual sound source in a circular shape in a space by using a linear speaker array using an input acoustic signal, and uses a circular harmonic expansion method that expands the acoustic signal into a circular harmonic series. It is characterized by giving directivity to the sound source.
  • the present invention forms a circular array of virtual sound sources by generating a plurality of virtual sound sources in a circle on the front surface of the linear speaker array using the technique of Non-Patent Document 1, and Non-Patent Document 2 Using this technique, a virtual sound source having directivity is realized by giving different weights to the virtual sound sources in the circular array.
  • FIG. 1 is a diagram illustrating a functional block configuration of an acoustic signal processing device 1 according to the first embodiment.
  • the acoustic signal processing device (sound image reproduction device) 1 is a general computer including a processing device (not shown), a memory 10 and the like.
  • a general computer implements the functions shown in FIG. 1 by executing an acoustic signal processing program (sound image reproduction program).
  • the acoustic signal processing apparatus 1 receives an input acoustic signal I from a monaural sound source, uses a linear speaker array in which a plurality of speakers are arranged in a straight line, jumps to the front of the speakers, and has a virtual directivity. Realize the sound source.
  • the acoustic signal processing device 1 converts the input acoustic signal I from the monaural sound source into an output acoustic signal O to each speaker of the linear speaker array in order to realize such a virtual sound source.
  • the acoustic signal processing apparatus 1 includes a memory 10, a focal position determination unit 12, a filter coefficient determination unit 13, a convolution operation unit 14, an input / output interface (not shown), and the like. Composed.
  • the input / output interface is an interface for inputting the input sound signal I from the monaural sound source to the sound signal processing apparatus 1 and outputting the output sound signal O to each speaker.
  • the input / output interface inputs information about the coordinates of the virtual sound source and the direction of directivity realized by the acoustic signal processing device 1 to the acoustic signal processing device 1.
  • the memory 10 stores focal coordinate data 11.
  • the focal coordinate data 11 includes coordinate information for realizing a virtual sound source (hereinafter also referred to as a focal sound source) in the space.
  • the focal point coordinate data 11 includes coordinates in an absolute coordinate system in which the line of linear speakers is the X axis and the front direction of the linear speaker is the Y axis.
  • the center of a plurality of focal sound sources generated in a circle in the absolute coordinate system is defined as an origin O ′, and each axis parallel to the X and Y axes of the absolute coordinate system passing through the origin O ′ is represented by X ′.
  • X ′ includes the coordinates of the relative coordinate system as the axis and Y 'axis.
  • the focal position determination unit 12 receives information on the coordinates of the virtual sound source, the direction of directivity, and the target frequency, and outputs coordinates related to a predetermined number of necessary focal points.
  • the focal position determination unit 12 determines the coordinate position of each focal sound source for generating a plurality of focal sound sources in a circular shape.
  • the focal position determination unit 12 acquires the coordinate positions of a plurality of focal sound sources that are generated in a circle in the space of the absolute coordinate system, and uses the focal coordinate data 11 stored in the memory 10 to determine the relative coordinate system. Each polar coordinate is determined.
  • the focal position determination unit 12 starts from the origin O ′ of the relative coordinate system.
  • the relative coordinate system corresponding to the coordinate X s (x s , y s ) in the absolute coordinate system, where r s is the distance to the coordinate X s, and ⁇ s is the counterclockwise angle from the X ′ axis of the relative coordinate system.
  • Determine the polar coordinate X s (r s , ⁇ s ).
  • FIG. 2 is a diagram showing a focus position determination processing flow.
  • FIG. 3 is a diagram illustrating an example of the coordinate position of the focal sound source in the absolute coordinate system and the relative coordinate system.
  • step S11 the focal position determination unit 12 acquires each piece of information on the coordinates of the virtual sound source and the directionality of the virtual sound source generated in a circular shape in the space of the absolute coordinate system. Read data 11.
  • the focal position determination unit 12 performs step S13 for each of the plurality of focal sound sources, and after step S13 has been performed for a predetermined number of focal sound sources, the process ends.
  • the filter coefficient determining unit 13 processes the polar coordinates.
  • the filter coefficient determination unit 13 receives the polar coordinates of all the focal sound sources output from the focal position determination unit 12, and also receives the coordinates of all the focal sound sources in the absolute coordinate system, and filters them in the frequency domain for each speaker. After designing, an impulse response vector given to each speaker is output by inverse Fourier transform.
  • the filter coefficient determination unit 13 sets a drive function for each speaker in which a weight different from the others is given to a part of each focus sound source to a drive function for driving the speaker used to generate a focus sound source at the position of each focus sound source.
  • the impulse response vector for each speaker is calculated by inverse Fourier transform.
  • the filter coefficient determination unit 13 calculates an impulse response vector to be convoluted with the input acoustic signal I from each of the focal coordinates determined by the focal position determination unit 12 for each speaker of the linear speaker array.
  • the filter coefficient determination unit 13 calculates a target frequency by an external input or the like, and applies the formula (3) and the formula (4) obtained by applying the formula (2) to the formula (1) to the speaker.
  • the drive function to be given is calculated.
  • X i (x i , y i ) is the coordinate position of the i-th speaker in the absolute coordinate system.
  • X s (x s , y s ) is the coordinate position of the sth focal sound source in the absolute coordinate system.
  • k ⁇ / c is the wave number.
  • ⁇ is an angular frequency (2 ⁇ f).
  • f is the frequency.
  • c is the speed of sound.
  • j is ⁇ ( ⁇ 1).
  • H 1 (1) is a first-order first-class Hankel coefficient.
  • g0 is ⁇ (2 ⁇
  • W (r f , ⁇ f ) is a weight given to the focal sound source at the position (r f , ⁇ f ).
  • S (2) (n, ⁇ ) is an n-th order circular harmonic series.
  • J n (kr f ) is an nth-order Bessel function.
  • the filter coefficient determination unit 13 calculates and uses the drive function of Expression (3) from Expression (1) and Expression (2).
  • X i (x i , y i ) is the coordinate position of the i-th speaker in the absolute coordinate system.
  • X s (x s , y s ) is the coordinate position of the s-th focal sound source in the absolute coordinate system (however, excluding X s of ⁇ Xs W (X s )).
  • W (X s ) is a weight given to the focal sound source at the position X s .
  • X s of W (X s) is the polar coordinate position of the s-th focus sound source in relative coordinates.
  • the weight W (X s ) is given by Equation (4).
  • X s (r s , ⁇ s ) is a polar coordinate position of the sth focal sound source in the relative coordinate system.
  • S (2) (n, ⁇ ) is an n-th order circular harmonic series.
  • J n (kr ′ f ) is an nth order Bessel function.
  • X s used in the weight calculation of Expression (4) is a relative coordinate (r s , ⁇ s ) of each focal point with respect to the center of the circular array.
  • the filter coefficient determination unit 13 circularly expands the n-order circular harmonic series obtained by circularly expanding the directivity characteristics of the focal sound source in advance with respect to a plurality of focal sound sources.
  • the mode strength for each order is calculated by dividing the order by the two-dimensional green function, and the weighting coefficient of each focal sound source is obtained from the sum of the mode strengths for each order.
  • a drive function consisting of Expressions (3) and (4) is derived.
  • the two-dimensional Green function is known and can be uniquely defined.
  • the filter coefficient determination unit 13 gives the i-th speaker among the speakers of the linear speaker array.
  • a drive signal can be obtained.
  • a virtual sound source having directivity can be realized by giving different weights to a plurality of focal sound sources based on information on the direction of directivity inputted externally.
  • the filter coefficient determination unit 13 calculates this with respect to each speaker of the linear speaker array, and thereby obtains a drive signal with directivity to be given to each speaker.
  • the filter coefficient determination unit 13 obtains an impulse response vector to be given to each speaker by performing an inverse Fourier transform on the drive function consisting of Expressions (3) and (4).
  • FIG. 4 is a diagram showing a filter coefficient determination processing flow.
  • step S21 the filter coefficient determination unit 13 acquires each focal point coordinate determined in the focal position determination process.
  • the filter coefficient determination unit 13 repeats the processing from step S22 to step S26 to perform processing for calculating an impulse response vector for each speaker.
  • the filter coefficient determination unit 13 initializes the impulse response vector of the target speaker to be processed with zero.
  • the filter coefficient determination unit 13 initializes the impulse response vector in step S22, and then repeats the processing from step S23 to step S25 for each focal point.
  • step S ⁇ b> 23 the filter coefficient determination unit 13 calculates a drive function composed of Expression (3) and Expression (4) for all desired target frequencies using the target focal coordinates to be processed.
  • step S24 the filter coefficient determination unit 13 performs inverse Fourier transform on the drive function calculated in step S23 to obtain a time domain drive function.
  • step S25 the filter coefficient determination unit 13 adds the time domain drive function acquired in step S24 to the impulse response vector.
  • step S26 the filter coefficient determination unit 13 determines the impulse response vector at this time point as the impulse response vector to be given to the target speaker.
  • step S23 to step S26 When the processing from step S23 to step S26 is completed for each speaker, the filter coefficient determination unit 13 ends the processing.
  • or step S26 should just be performed with respect to each speaker, and may be performed in what order.
  • the processing in steps S23 to S25 only needs to be performed for each focal point, and may be performed in any order.
  • the convolution operation unit 14 convolves the impulse response vector with the input acoustic signal I, thereby giving output sound to each speaker.
  • the signal O is calculated.
  • the convolution operation unit 14 convolves an impulse response vector corresponding to each speaker with respect to one input acoustic signal I inputted to each speaker of the linear speaker array, and each of the weighted output acoustic signals O to the speakers. Output.
  • the convolution operation unit 14 obtains a weighted output acoustic signal O for a predetermined speaker by convolving an impulse response vector corresponding to the speaker with the input acoustic signal I.
  • the convolution operation unit 14 repeats the same processing for each speaker to obtain a weighted output acoustic signal O for each speaker.
  • FIG. 5 is a diagram showing a convolution calculation process flow.
  • the convolution operation unit 14 repeats the processing of step S31 and step S32 for each speaker of the linear speaker array.
  • step S ⁇ b> 31 the convolution calculation unit 14 acquires the impulse response vector of the target speaker to be processed from the filter coefficient determination unit 13.
  • step S ⁇ b> 32 the convolution operation unit 14 convolves the input acoustic signal I with the impulse response vector acquired in step S ⁇ b> 31 to acquire the output acoustic signal O.
  • step S31 to step S32 When the processing from step S31 to step S32 is completed for each speaker, the convolution operation unit 14 ends the processing. Note that the processing in steps S31 to S32 only needs to be performed for each speaker, and may be performed in any order.
  • the acoustic signal processing device (sound image reproduction device) 1 is a drive function used for generating a plurality of virtual sound sources in a circular shape, and a part of the virtual sound sources. Since a driving function to which a different weight is applied is used, a sound image reproduction device, a sound image reproduction method, and a sound image reproduction program capable of imparting directivity to a virtual sound source in a space can be provided.
  • the acoustic signal processing device 1 convolves the impulse response vector for each speaker with each input acoustic signal, so that it can cope with a monaural sound source.
  • FIG. 6 is a diagram illustrating a functional block configuration of the acoustic signal processing device 1 according to the second embodiment.
  • the acoustic signal processing device (sound image reproduction device) 1 uses a filter calculation unit 15, a delay adjustment unit 16, and a gain multiplication unit 17 in place of the convolution calculation unit 14 shown in FIG. Is realized.
  • the acoustic signal processing device 1 includes a memory 10, a focal position determination unit 12, a filter calculation unit 15, a delay adjustment unit 16, and a gain multiplication unit 17.
  • the memory 10 and the focus position determination unit 12 are the same as those in the first embodiment.
  • the filter calculation unit 15 uses the same method as in the first embodiment to calculate impulse response vectors calculated in advance using the equations (3) and (4) for each input acoustic signal I. Outputs convolutional and weighted acoustic signals. Similarly to the first embodiment, the filter calculation unit 15 calculates an impulse response vector in advance using Expression (3) and Expression (4) by the filter coefficient determination method illustrated in FIG.
  • FIG. 7 is a diagram showing a filter calculation processing flow.
  • step S41 the filter calculation unit 15 convolves the impulse response vector calculated in advance using Equation (3) and Equation (4) with the input acoustic signal I, and outputs a weighted acoustic signal.
  • the delay adjustment unit 16 delays the output time of the weighted acoustic signal for each speaker of the linear speaker array by a time required to travel the distance between the speaker and the plurality of focal sound sources at the speed of sound. A delayed acoustic signal is output for each of the focal sound sources. The delay adjustment unit 16 calculates a delayed acoustic signal for all the focal points output by the focal position determination unit 12 using Equation (5). n is time.
  • the gain multiplication unit 17 multiplies the delayed acoustic signals of the plurality of focal sound sources by the gains determined from the distances between the speakers and the plurality of focal sound sources, and outputs them to the speakers.
  • An acoustic signal O is output.
  • the gain multiplication unit 17 uses a delay adjustment unit 16 to obtain a gain obtained by dividing the distance between the focal point coordinates and the speaker array by the 3/2 power of the distance between the focal sound source and the speaker position for a predetermined speaker. By multiplying the obtained delayed acoustic signal, the output acoustic signal O is calculated.
  • the “distance between the focal coordinate and the speaker array” is a difference between the value on the Y axis of the speaker array and the value on the Y axis of the focal coordinate when the speaker array is arranged on the X axis. .
  • An output acoustic signal O for a predetermined speaker is obtained by Expression (6).
  • the gain multiplication unit 17 calculates the output acoustic signal O for each speaker according to Expression (6).
  • the delay adjusting unit 16 and the gain multiplying unit 17 perform processing of the delay adjusting unit 16 and the gain multiplying unit 17 that set a delay and a gain corresponding to the position of the speaker for a predetermined speaker of the linear speaker array, and output acoustic signals. Is generated.
  • the delay adjustment unit 16 and the gain multiplication unit 17 obtain an output acoustic signal O for each speaker of the linear speaker array by performing the same processing while changing the speakers focused on this one after another.
  • FIG. 8 is a diagram showing a flow of delay adjustment and gain multiplication processing.
  • the acoustic signal processing device 1 performs the processing of step S51 and step S52 for each speaker of the linear speaker array.
  • the delay adjustment unit 16 performs the process of step S51 for each focus.
  • step S51 the delay adjusting unit 16 outputs a delayed acoustic signal obtained by delaying between the target speaker and the target focal point by the time of traveling at the speed of sound.
  • step S52 the gain multiplication unit 17 multiplies the delayed acoustic signal for each focal point calculated in step S51 by the gain of the target speaker, and outputs the acoustic signal for the target speaker. Output O.
  • step S51 and step S52 When the processing of step S51 and step S52 is completed for each speaker, the acoustic signal processing device 1 ends the processing.
  • step S51 may be performed for each focus, and may be performed in any order.
  • step S52 should just be performed with respect to each speaker, and may be performed in what order. Further, predetermined processing may be performed in parallel according to the processing environment or the like.
  • the acoustic signal processing device (sound image reproduction device) 1 is a drive function used for generating a plurality of virtual sound sources in a circular shape, and among the virtual sound sources, Since a driving function having a weight different from others is used in part, it is possible to provide a sound image reproduction device, a sound image reproduction method, and a sound image reproduction program capable of imparting directivity to a virtual sound source in a space.
  • the acoustic signal processing apparatus 1 since the acoustic signal processing apparatus 1 convolves the impulse response vector for each speaker with the inputted one acoustic signal, it can cope with a monaural sound source.

Abstract

モノラル音源にも対応可能であり、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供する。直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音響信号処理装置（音像再現装置）１において、音響信号処理装置１は、複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部１２と、各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するフィルタ係数決定部１３と、入力された１つの音響信号に対してスピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を複数のスピーカへそれぞれ出力する畳み込み演算部１４と、を備える。

Description

音像再現装置、音像再現方法及び音像再現プログラム
　本発明は、空間中に仮想的な音源を作り出す音像再現技術に関する。
　パブリックビューイングやコンサートでは、上映会場に設置した複数のスピーカから音声や音楽等を再生する。近年、仮想的な音源（仮想音源）を上映空間内に作り出すことにより、これまで以上に臨場感のある音響再生を実現する取り組みが行われている。特に直線状に複数のスピーカを並べたスピーカアレイを用いて、スピーカよりも前面に位置する客席近くにまで飛び出る仮想音源を生成することにより、高い臨場感の音響コンテンツを実現することが行なわれている。
　また、一般に楽器や人間の声は方向によって放射されるパワーが異なるため、上映空間内に仮想音源を生成する際に、方向による音響信号のパワーの違い（指向性）を再現することにより、より高い臨場感の音響コンテンツを実現することが期待されている。
　上映空間内に仮想音源を作り出す音像再現技術に関し、波面合成と呼ばれる方法がある（特許文献１）。特許文献１の方法は、音響信号を収録する地点の音響信号を複数地点に設置したマイクロフォンで収音した上で、上下左右方向の音響信号の到来方向を分析し、上映空間内に設置した複数のスピーカを用いて収録会場の音響信号を物理的に再現する。
　また、想定する仮想音場に吸込み型音源（acoustic sink）を仮定し、第１種レイリー積分から導出される駆動関数に基づく駆動信号をスピーカアレイに与えることにより、スピーカよりも前面に仮想音源を作り出す技術がある（非特許文献１）。
　また、音源の指向性をモデル化する方法として、円調和展開の手法を用いる技術が知られている（非特許文献２）。円調和展開は、音源を中心とする円状に並べたマイクロフォンアレイで観測される音響信号を円調和級数に展開することにより、音の指向性を表現する手法である。一方、再生側では、円状に並べたスピーカアレイから収録側で求めた円調和級数から求まる駆動関数の駆動信号を用いることで、収音側でモデル化した指向特性を持つ音源を再現することができる。
特開２０１１－２４４３０６号公報
Sascha Spors、外３名、"Physical and Perceptual Properties of Focused Sources in Wave Field Synthesis"、127th Audio Engineering Society Convention paper 7914、2009年10月 Koya Sato、外１名、"Filter design of a circular loudspeaker array considering the three dimensional directivity patterns reproduced by circular harmonic modes"、142nd Audio Engineering Society Convention paper 9765、2017年5月
　特許文献１に開示される技術は、収録地点の音響信号を忠実に再現するため仮想音源の再現において高い再現性をもつものの、スピーカアレイだけでなくマイクアレイも必要になりシステム全体の規模が増大する。また、収録した音を忠実に再生する発明であるため、例えば映画に代表されるように日常存在しないような効果音を特殊効果として加えるといったコンテンツの編集が困難である。更に、複数の音源が発した音響信号が同時にマイクロフォンに混入するため、個々の音源を取り出して位置や音質を調整するといった編集が極めて困難である。
　非特許文献１に開示される技術は、仮想音源の生成にマイクアレイを必要とせず、通常のマイクロフォンから収録されたモノラルの音源から複数のスピーカに対応するチャネル分の音響信号を生成して、仮想音源を作り出すことができる。モノラル音源を用いるため、システム全体の規模を小さくでき、コンテンツ編集を簡便に行うことができる。しかし、仮想音源の放射特性として無指向性を仮定しているため、仮想音源を用いて指向性のある音源を生成することはできない。
　本発明は、上記事情を鑑みてなされたものであり、モノラル音源にも対応可能であり、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供することを目的とする。
　以上の課題を解決するため、請求項１に係る音像再現装置は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するフィルタ係数決定部と、入力された１つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力する畳み込み演算部と、を備えることを特徴とする。
　請求項２に係る音像再現装置は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された１つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するフィルタ演算部と、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力する遅延調整部と、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するゲイン乗算部と、を備えることを特徴とする。
　請求項３に係る音像再現装置は、請求項１又は２に記載の音像再現装置において、前記スピーカ毎の駆動関数は、前記複数の仮想音源に対して予め仮想音源の指向特性を円調和展開して得られたｎ次の円調和級数を、仮想音源に対して円調和展開された２次元グリーン関数で次数毎に除し、除した値を総和して各仮想音源の重み係数を求め、前記各仮想音源の重み係数と前記スピーカ駆動用の駆動関数とを加重平均した関数であることを特徴とする。
　請求項４に係る音像再現方法は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、音像再現装置が、複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するステップと、入力された１つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力するステップと、を行うことを特徴とする。
　請求項５に係る音像再現方法は、直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、音像再現装置が、複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された１つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するステップと、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力するステップと、スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するステップと、を行うことを特徴とする。
　請求項６に係る音像再現プログラムは、請求項１乃至３のいずれかに記載の音像再現装置としてコンピュータを機能させることを特徴とする。
　本発明によれば、モノラル音源にも対応可能であり、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
第１の実施形態に係る音響信号処理装置の機能ブロック構成を示す図である。 第１の実施形態に係る焦点位置決定処理フローを示す図である。 第１の実施形態に係る絶対座標系及び相対座標系での焦点音源の座標位置の例を示す図である。 第１の実施形態に係るフィルタ係数決定処理フローを示す図である。 第１の実施形態に係る畳み込み演算処理フローを示す図である。 第２の実施形態に係る音響信号処理装置の機能ブロック構成を示す図である。 第２の実施形態に係るフィルタ演算処理フローを示す図である。 第２の実施形態に係る遅延調整及びゲイン乗算処理フローを示す図である。
　本発明は、入力した音響信号を用いて直線状スピーカアレイにより空間内に円状に仮想音源を生成するとともに、音響信号を円調和級数に展開する円調和展開の手法を用いて円状の仮想音源に指向性を持たせることを特徴とする。
　つまり、本発明は、非特許文献１の技術を用いて、直線状スピーカアレイの前面に複数の仮想音源を円状に生成することにより仮想音源の円状アレイを形成するとともに、非特許文献２の技術を用いて、円状アレイの各仮想音源に異なる重みを与えることにより指向性を有する仮想音源を実現する。
　以下、本発明を実施する一実施の形態について図面を用いて説明する。
　＜第１の実施形態＞
　図１は、第１の実施形態に係る音響信号処理装置１の機能ブロック構成を示す図である。音響信号処理装置（音像再現装置）１は、処理装置（図示せず）、メモリ１０などを備える一般的なコンピュータである。一般的なコンピュータが、音響信号処理プログラム（音像再現プログラム）を実行することにより、図１に示す機能を実現する。
　音響信号処理装置１は、モノラル音源からの入力音響信号Ｉを入力し、複数のスピーカを直線状に並べた直線状スピーカアレイを用いて、スピーカよりも前面に飛び出し、かつ、指向性を有する仮想音源を実現する。音響信号処理装置１は、このような仮想音源を実現するために、モノラル音源からの入力音響信号Ｉを、直線状スピーカアレイの各スピーカへの出力音響信号Ｏに変換する。
　音響信号処理装置１は、図１に示すように、メモリ１０と、焦点位置決定部１２と、フィルタ係数決定部１３と、畳み込み演算部１４と、入出力インタフェース（図示せず）等を備えて構成される。
　入出力インタフェースは、モノラル音源からの入力音響信号Ｉを音響信号処理装置１に入力し、各スピーカへの出力音響信号Ｏを出力するためのインタフェースである。入出力インタフェースは、音響信号処理装置１が実現する仮想音源の座標及び指向性の方向の各情報を、音響信号処理装置１に入力する。
　メモリ１０は、焦点座標データ１１を記憶する。焦点座標データ１１は、空間内に仮想音源（以降、焦点音源ともいう）を実現するための座標情報を含む。焦点座標データ１１は、直線状スピーカの列をＸ軸とし、直線状スピーカの前方向をＹ軸とした絶対座標系の座標を含む。焦点座標データ１１は、絶対座標系に円状に生成する複数の焦点音源の中心を原点Ｏ’とし、原点Ｏ’を通り絶対座標系のＸ軸，Ｙ軸にそれぞれ平行な各軸をＸ’軸，Ｙ’軸とした相対座標系の座標を含む。
　焦点位置決定部１２は、仮想音源の座標、指向性の方向、対象周波数の各情報を受け取り、予め定めた必要な数の焦点に関する座標を出力する。焦点位置決定部１２は、複数の焦点音源を円状に生成するための各焦点音源の座標位置を決定する。焦点位置決定部１２は、絶対座標系の空間内に円状に生成する複数の焦点音源の各座標位置を取得し、メモリ１０に記憶された焦点座標データ１１を用いて、相対座標系での極座標をそれぞれ決定する。
　例えば、焦点位置決定部１２は、絶対座標系の空間内に円状に生成するｓ番目の焦点音源の座標Ｘｓを（ｘｓ，ｙｓ）とした場合、相対座標系の原点Ｏ’から座標Ｘｓまでの距離をｒｓ、相対座標系のＸ’軸から反時計周りの角度をφｓとして、絶対座標系での座標Ｘｓ＝（ｘｓ，ｙｓ）に対応する相対座標系での極座標Ｘｓ＝（ｒｓ，φｓ）を決定する。
　次に、焦点位置決定部１２による焦点位置決定処理を説明する。図２は、焦点位置決定処理フローを示す図である。図３は、絶対座標系及び相対座標系での焦点音源の座標位置の例を示す図である。
　まず、ステップＳ１１において、焦点位置決定部１２は、絶対座標系の空間内に円状に生成する仮想音源の座標と指向性の方向の各情報を取得し、ステップＳ１２において、メモリ１０から焦点座標データ１１を読み出す。
　次に、ステップＳ１３において、焦点位置決定部１２は、絶対座標系の空間内に円状に生成する１番目の焦点音源の座標Ｘ１＝（ｘ１，ｙ１）について、焦点座標データ１１を用いて、絶対座標系での座標Ｘ１＝（ｘ１，ｙ１）に対応する相対座標系での極座標Ｘ１＝（ｒ１，φ１）を決定する。
　その後、焦点位置決定部１２は、複数の焦点音源についてステップＳ１３をそれぞれ行い、予め定めた数の焦点音源についてステップＳ１３が行われた後、処理を終了する。
　焦点位置決定部１２によって、絶対座標系の空間内に円状に生成する複数の焦点音源の相対座標系での各極座標がそれぞれ算出されると、フィルタ係数決定部１３により、処理される。
　フィルタ係数決定部１３は、焦点位置決定部１２から出力された全ての焦点音源の極座標を受け取り、全ての焦点音源の絶対座標系での座標も併せて受け取って、スピーカ毎に周波数領域でフィルタを設計した後、逆フーリエ変換することで各スピーカに与えるインパルス応答ベクトルを出力する。フィルタ係数決定部１３は、各焦点音源の位置に焦点音源を生成するために用いるスピーカ駆動用の駆動関数に、各焦点音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出する。フィルタ係数決定部１３は、直線状スピーカアレイの各スピーカについて、焦点位置決定部１２により決定された焦点座標のそれぞれから、入力音響信号Ｉに畳み込むインパルス応答ベクトルを算出する。
　例えば、フィルタ係数決定部１３は、外部入力等により対象周波数を算出し、この対象周波数に対して、式（１）に式（２）を応用した式（３）及び式（４）によりスピーカに与える駆動関数を算出する。
　スピーカに与えるスピーカ駆動用の駆動信号は、絶対座標系でのｓ番目の焦点音源の位置Ｘｓ＝（ｘｓ，ｙｓ）と、対象となるｉ番目のスピーカの位置Ｘｉ＝（ｘｉ，ｙｉ）とから、式（１）に従い周波数領域で設計できる。
Figure JPOXMLDOC01-appb-M000001
　Ｘｉ＝（ｘｉ，ｙｉ）は、絶対座標系でのｉ番目のスピーカの座標位置である。Ｘｓ＝（ｘｓ，ｙｓ）は、絶対座標系でのｓ番目の焦点音源の座標位置である。ｋ＝ω／ｃは、波数である。ωは、角周波数（２πｆ）である。ｆは、周波数である。ｃは、音速である。ｊは、√（－１）である。Ｈ１ （１）は、１次の第１種ハンケル係数である。ｇ０は、√（２π｜ｙｓ－ｙｉ｜）であり、｜ｙｓ－ｙｉ｜は、焦点音源からスピーカアレイまでの距離である。
　また、円調和級数から式（２）に従い求まる駆動信号を用いることで、指向特性を持つ音源を再現することができる。
Figure JPOXMLDOC01-appb-M000002
　Ｗ（ｒｆ，φｆ）は、位置（ｒｆ，φｆ）の焦点音源に与える重みである。Ｓ（２）（ｎ，ω）は、ｎ次の円調和級数である。Ｊｎ（ｋｒｆ）は、ｎ次のベッセル関数である。
　そこで、フィルタ係数決定部１３は、式（１）と式（２）より、式（３）の駆動関数を算出して用いる。
Figure JPOXMLDOC01-appb-M000003
　Ｘｉ＝（ｘｉ，ｙｉ）は、絶対座標系でのｉ番目のスピーカの座標位置である。Ｘｓ＝（ｘｓ，ｙｓ）は、絶対座標系でのｓ番目の焦点音源の座標位置（但し、ΣＸｓＷ（Ｘｓ）のＸｓは除く）である。Ｗ（Ｘｓ）は、位置Ｘｓの焦点音源に与える重みである。Ｗ（Ｘｓ）のＸｓは、相対座標系でのｓ番目の焦点音源の極座標位置である。重みＷ（Ｘｓ）は、式（４）で与えられる。
Figure JPOXMLDOC01-appb-M000004
　Ｘｓ＝（ｒｓ，φｓ）は、相対座標系でのｓ番目の焦点音源の極座標位置である。Ｓ（２）（ｎ，ω）は、ｎ次の円調和級数である。Ｊｎ（ｋｒ’ｆ）は、ｎ次のベッセル関数である。式（４）の重み計算で用いるＸｓは、円状アレイの中心に対する各焦点の相対座標（ｒｓ，φｓ）である。
　つまり、フィルタ係数決定部１３は、複数の焦点音源に対して、予め焦点音源の指向特性を円調和展開して得られたｎ次の円調和級数を、仮想音源に対して円調和展開された２次元グリーン関数で次数毎に除することにより、次数毎のモードストレングスを算出し、次数毎のモードストレングスの総和により、各焦点音源の重み係数を求め、各焦点音源の重み係数とスピーカ駆動用の駆動関数との加重平均を算出することにより、式（３）及び式（４）から成る駆動関数を導出する。上記２次元グリーン関数は公知であり一意に定義できる。
　式（３）を、事前に決めた周波数範囲（例えば、１００Ｈｚ≦ｆ＜２０００Ｈｚ）について計算することで、フィルタ係数決定部１３は、直線状スピーカアレイの各スピーカのうち、ｉ番目のスピーカに与える駆動信号を求めることができる。また、式（４）により、外部入力された指向性の方向の情報に基づき、複数の焦点音源に異なる重みをそれぞれ与えることにより、指向性を有する仮想音源を実現できる。フィルタ係数決定部１３は、これを直線状スピーカアレイの各スピーカに対して計算することにより、各スピーカに対して与える指向性付き駆動信号が求まる。
　フィルタ係数決定部１３は、式（３）及び式（４）から成る駆動関数を逆フーリエ変換することで、各スピーカに与えるインパルス応答ベクトルを得る。
　次に、フィルタ係数決定部１３によるフィルタ係数決定処理を説明する。図４は、フィルタ係数決定処理フローを示す図である。
　まず、ステップＳ２１において、フィルタ係数決定部１３は、焦点位置決定処理で決定された各焦点座標を取得する。
　フィルタ係数決定部１３は、ステップＳ２２乃至ステップＳ２６の処理を繰り返して、各スピーカについて、インパルス応答ベクトルを算出する処理を行う。ステップＳ２２において、フィルタ係数決定部１３は、処理対象の対象スピーカのインパルス応答ベクトルをゼロで初期化する。
　フィルタ係数決定部１３は、ステップＳ２２においてインパルス応答ベクトルを初期化した後、各焦点について、ステップＳ２３乃至ステップＳ２５の処理を繰り返す。ステップＳ２３において、フィルタ係数決定部１３は、処理対象の対象焦点座標を用いて、所望の全ての対象周波数に対して、式（３）及び式（４）から成る駆動関数を計算する。ステップＳ２４において、フィルタ係数決定部１３は、ステップＳ２３で計算された駆動関数を逆フーリエ変換して、時間領域の駆動関数を取得する。ステップＳ２５において、フィルタ係数決定部１３は、ステップＳ２４で取得した時間領域の駆動関数をインパルス応答ベクトルに加算する。
　各焦点についてステップＳ２３乃至ステップＳ２５の処理が終了すると、ステップＳ２６において、フィルタ係数決定部１３は、この時点のインパルス応答ベクトルを、対象スピーカに与えるインパルス応答ベクトルに決定する。
　各スピーカについてステップＳ２３ないしステップＳ２６の処理が終了すると、フィルタ係数決定部１３は、処理を終了する。
　なお、ステップＳ２２乃至ステップＳ２６の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。同様に、ステップＳ２３乃至ステップＳ２５の処理は、各焦点に対して行われればよく、どのような順序で行われてもよい。
　フィルタ係数決定部１３により、直線状スピーカアレイの各スピーカに対するインパルス応答ベクトルが算出されると、畳み込み演算部１４が、入力音響信号Ｉに、インパルス応答ベクトルを畳み込むことにより、各スピーカに与える出力音響信号Ｏを算出する。
　畳み込み演算部１４は、直線状スピーカアレイの各スピーカについて、入力された１つの入力音響信号Ｉに対して、スピーカに対応するインパルス応答ベクトルをそれぞれ畳み込み、スピーカへの重み付き出力音響信号Ｏをそれぞれ出力する。畳み込み演算部１４は、所定のスピーカについて、このスピーカに対応するインパルス応答ベクトルを、入力音響信号Ｉに畳み込むことにより、このスピーカに対する重み付き出力音響信号Ｏを得る。畳み込み演算部１４は、各スピーカについて同様の処理を繰り返し、各スピーカに対する重み付き出力音響信号Ｏを得る。
　次に、畳み込み演算部１４による畳み込み演算処理を説明する。図５は、畳み込み演算処理フローを示す図である。
　畳み込み演算部１４は、ステップＳ３１及びステップＳ３２の処理を、直線状スピーカアレイの各スピーカに対して繰り返す。ステップＳ３１において、畳み込み演算部１４は、フィルタ係数決定部１３から、処理対象の対象スピーカのインパルス応答ベクトルを取得する。ステップＳ３２において、畳み込み演算部１４は、入力音響信号Ｉに、ステップＳ３１で取得したインパルス応答ベクトルを畳み込み、出力音響信号Ｏを取得する。
　各スピーカについてステップＳ３１乃至ステップＳ３２の処理が終了すると、畳み込み演算部１４は、処理を終了する。なお、ステップＳ３１乃至ステップＳ３２の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。
　以上より、第１の実施形態によれば、音響信号処理装置（音像再現装置）１が、複数の仮想音源を円状に生成するために用いる駆動関数であって、各仮想音源のうち一部に他と異なる重みを付与した駆動関数を用いるので、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
　また、第１の実施形態によれば、音響信号処理装置１が、入力された１つの音響信号に対してスピーカ毎のインパルス応答ベクトルをそれぞれ畳み込むので、モノラル音源にも対応できる。
　＜第２の実施形態＞
　第２の実施形態では、時間領域での波面合成を用いて、低演算量で仮想音源を多重極音源にする方法について説明する。
　図６は、第２の実施形態に係る音響信号処理装置１の機能ブロック構成を示す図である。音響信号処理装置（音像再現装置）１は、図１に示した畳み込み演算部１４の代わりに、フィルタ演算部１５、遅延調整部１６、ゲイン乗算部１７を用いることにより、大幅な演算量の削減を実現する。
　音響信号処理装置１は、メモリ１０と、焦点位置決定部１２と、フィルタ演算部１５と、遅延調整部１６と、ゲイン乗算部１７と、を備えて構成される。メモリ１０及び焦点位置決定部１２は、第１の実施形態と同様である。
　フィルタ演算部１５は、第１の実施形態と同様の方法で、式（３）及び式（４）を用いて予め算出したインパルス応答ベクトルを、入力された１つの入力音響信号Ｉに対してそれぞれ畳み込み、重み付き音響信号を出力する。フィルタ演算部１５は、第１の実施形態と同様に、図４に示したフィルタ係数決定方法により、式（３）及び式（４）を用いてインパルス応答ベクトルを事前に算出しておく。
　次に、フィルタ演算部１５によるフィルタ演算処理を説明する。図７は、フィルタ演算処理フローを示す図である。
　ステップＳ４１において、フィルタ演算部１５は、式（３）及び式（４）を用いて予め算出したインパルス応答ベクトルを入力音響信号Ｉに畳み込み、重み付き音響信号を出力する。
　遅延調整部１６は、直線状スピーカアレイのスピーカ毎に、スピーカと複数の焦点音源との間のそれぞれの距離を音速で進むのに必要な時間だけ重み付き音響信号の出力時間を遅延させ、複数の焦点音源のそれぞれについて、遅延音響信号を出力する。遅延調整部１６は、焦点位置決定部１２が出力した全ての焦点について、式（５）により遅延音響信号を算出する。ｎは時間である。
Figure JPOXMLDOC01-appb-M000005
　ゲイン乗算部１７は、直線状スピーカアレイのスピーカ毎に、スピーカと複数の焦点音源との間のそれぞれの距離から定まるゲインを、複数の焦点音源のそれぞれの遅延音響信号に乗じ、スピーカへの出力音響信号Ｏを出力する。
　ゲイン乗算部１７は、所定のスピーカについて、焦点座標とスピーカアレイとの間の距離を、焦点音源とスピーカ位置との距離の３／２乗で割ることで得られるゲインを、遅延調整部１６によって得られた遅延音響信号に乗ずることによって、出力音響信号Ｏを算出する。「焦点座標とスピーカアレイとの間の距離」とは、スピーカアレイがＸ軸上に配列されている場合の、スピーカアレイのＹ軸上の値と、焦点座標のＹ軸の値の差分である。所定のスピーカに対する出力音響信号Ｏは、式（６）によって得られる。ゲイン乗算部１７は、各スピーカについて、式（６）により出力音響信号Ｏを算出する。
Figure JPOXMLDOC01-appb-M000006
　遅延調整部１６及びゲイン乗算部１７は、直線状スピーカアレイの所定のスピーカについて、スピーカの位置に対応する遅延とゲインを設定した遅延調整部１６とゲイン乗算部１７の処理を行って出力音響信号を生成する。これを着目するスピーカを次々に変化させて同様の処理を行うことにより、遅延調整部１６及びゲイン乗算部１７は、直線状スピーカアレイの各スピーカに対する出力音響信号Ｏを得る。
　次に、遅延調整部１６及びゲイン乗算部１７による遅延調整及びゲイン乗算処理を説明する。図８は、遅延調整及びゲイン乗算処理フローを示す図である。
　まず、音響信号処理装置１は、直線状スピーカアレイの各スピーカについて、ステップＳ５１及びステップＳ５２の処理を行う。
　遅延調整部１６は、各焦点について、ステップＳ５１の処理を行う。ステップＳ５１において、遅延調整部１６は、対象スピーカと対象焦点との間を、音速で進む時間だけ遅延させた遅延音響信号を出力する。各焦点について遅延音響信号が出力されると、ステップＳ５２において、ゲイン乗算部１７は、ステップＳ５１で算出された各焦点に対する遅延音響信号に、対象スピーカのゲインを乗じて、対象スピーカに対する出力音響信号Ｏを出力する。
　各スピーカについて、ステップＳ５１及びステップＳ５２の処理が終了すると、音響信号処理装置１は、処理を終了する。
　なお、ステップＳ５１の処理は、各焦点に対して行われればよく、どのような順序で行われてもよい。同様に、ステップＳ５２の処理は、各スピーカに対して行われればよく、どのような順序で行われてもよい。また、処理環境等に応じて、所定の処理が並列に行われてもよい。
　以上より、第２の実施形態によれば、予めインパルス応答ベクトルを算出しておき、かつ、スピーカ毎にパワー乗算（ゲイン）とディレイ（遅延）を加えるだけで済むため、演算量を劇的に削減できる。
　また、第２の実施形態の場合であっても、音響信号処理装置（音像再現装置）１が、複数の仮想音源を円状に生成するために用いる駆動関数であって、各仮想音源のうち一部に他と異なる重みを付与した駆動関数を用いるので、空間内の仮想音源に指向性を持たせることが可能な音像再現装置、音像再現方法及び音像再現プログラムを提供できる。
　また、第２の実施形態の場合であっても、音響信号処理装置１が、入力された１つの音響信号に対してスピーカ毎のインパルス応答ベクトルをそれぞれ畳み込むので、モノラル音源にも対応できる。
　＜その他の実施の形態＞
　上記のように、本発明の第１及び第２の実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
　本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
　１…音響信号処理装置（音像再現装置）
　１０…メモリ
　１１…焦点座標データ
　１２…焦点位置決定部
　１３…フィルタ係数決定部
　１４…畳み込み演算部
　１５…フィルタ演算部
　１６…遅延調整部
　１７…ゲイン乗算部

Claims (6)

  1. 　直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、
    　複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、
    　前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するフィルタ係数決定部と、
    　入力された１つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力する畳み込み演算部と、
    　を備えることを特徴とする音像再現装置。
  2. 　直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現装置において、
    　複数の仮想音源を円状に生成するための各仮想音源の位置を決定する焦点位置決定部と、
    　前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された１つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するフィルタ演算部と、
    　スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力する遅延調整部と、
    　スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するゲイン乗算部と、
    　を備えることを特徴とする音像再現装置。
  3. 　前記スピーカ毎の駆動関数は、
    　前記複数の仮想音源に対して予め仮想音源の指向特性を円調和展開して得られたｎ次の円調和級数を、仮想音源に対して円調和展開された２次元グリーン関数で次数毎に除し、除した値を総和して各仮想音源の重み係数を求め、前記各仮想音源の重み係数と前記スピーカ駆動用の駆動関数とを加重平均した関数であることを特徴とする請求項１又は２に記載の音像再現装置。
  4. 　直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、
    　音像再現装置が、
    　複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、
    　前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、スピーカ毎のインパルス応答ベクトルを算出するステップと、
    　入力された１つの音響信号に対して前記スピーカ毎のインパルス応答ベクトルをそれぞれ畳み込み、それぞれの音響信号を前記複数のスピーカへそれぞれ出力するステップと、
    　を行うことを特徴とする音像再現方法。
  5. 　直線状に並べられた複数のスピーカを用いて仮想音源を空間内に生成する音像再現方法において、
    　音像再現装置が、
    　複数の仮想音源を円状に生成するための各仮想音源の位置を決定するステップと、
    　前記各仮想音源の位置に仮想音源を生成するために用いるスピーカ駆動用の駆動関数に、前記各仮想音源のうち一部に他と異なる重みを付与したスピーカ毎の駆動関数を、逆フーリエ変換することにより、予め算出されたスピーカ毎のインパルス応答ベクトルを、入力された１つの音響信号に対してそれぞれ畳み込み、重み付き音響信号を出力するステップと、
    　スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離を音速で進むのに必要な時間だけ前記重み付き音響信号の出力時間を遅延させ、前記複数の仮想音源のそれぞれについて、遅延音響信号を出力するステップと、
    　スピーカ毎に、前記スピーカと前記複数の仮想音源との間のそれぞれの距離から定まるゲインを、前記複数の仮想音源のそれぞれの前記遅延音響信号に乗じて出力するステップと、
    　を行うことを特徴とする音像再現方法。
  6. 　請求項１乃至３のいずれかに記載の音像再現装置としてコンピュータを機能させることを特徴とする音像再現プログラム。
PCT/JP2019/016078 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム WO2019208285A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19791922.8A EP3787311B1 (en) 2018-04-26 2019-04-15 Sound image reproduction device, sound image reproduction method and sound image reproduction program
JP2020516237A JP6970366B2 (ja) 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム
US17/050,102 US11356790B2 (en) 2018-04-26 2019-04-15 Sound image reproduction device, sound image reproduction method, and sound image reproduction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018085142 2018-04-26
JP2018-085142 2018-04-26

Publications (1)

Publication Number Publication Date
WO2019208285A1 true WO2019208285A1 (ja) 2019-10-31

Family

ID=68294589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016078 WO2019208285A1 (ja) 2018-04-26 2019-04-15 音像再現装置、音像再現方法及び音像再現プログラム

Country Status (4)

Country Link
US (1) US11356790B2 (ja)
EP (1) EP3787311B1 (ja)
JP (1) JP6970366B2 (ja)
WO (1) WO2019208285A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329319A (zh) * 2021-05-27 2021-08-31 音王电声股份有限公司 一种扬声器阵列的沉浸声还音制式算法及其应用
WO2024075159A1 (ja) * 2022-10-03 2024-04-11 日本電信電話株式会社 空間音響復元装置、空間音響復元方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244306A (ja) 2010-05-20 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 音場収音再生装置、方法及びプログラム
JP2012156899A (ja) * 2011-01-27 2012-08-16 Kanazawa Univ 指向性音響ビームの設計方法およびスピーカアレーシステム
JP2019047478A (ja) * 2017-09-04 2019-03-22 日本電信電話株式会社 音響信号処理装置、音響信号処理方法および音響信号処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404406A (en) * 1992-11-30 1995-04-04 Victor Company Of Japan, Ltd. Method for controlling localization of sound image
EP1825713B1 (en) * 2004-11-22 2012-10-17 Bang & Olufsen A/S A method and apparatus for multichannel upmixing and downmixing
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
DE102012200512B4 (de) * 2012-01-13 2013-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Lautsprechersignalen für eine Mehrzahl von Lautsprechern unter Verwendung einer Verzögerung im Frequenzbereich
KR102257695B1 (ko) * 2013-11-19 2021-05-31 소니그룹주식회사 음장 재현 장치 및 방법, 그리고 프로그램
WO2016162058A1 (en) * 2015-04-08 2016-10-13 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers
US11310617B2 (en) * 2016-07-05 2022-04-19 Sony Corporation Sound field forming apparatus and method
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244306A (ja) 2010-05-20 2011-12-01 Nippon Telegr & Teleph Corp <Ntt> 音場収音再生装置、方法及びプログラム
JP2012156899A (ja) * 2011-01-27 2012-08-16 Kanazawa Univ 指向性音響ビームの設計方法およびスピーカアレーシステム
JP2019047478A (ja) * 2017-09-04 2019-03-22 日本電信電話株式会社 音響信号処理装置、音響信号処理方法および音響信号処理プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KOYA SATO: "Filter design of a circular loudspeaker array considering the three dimensional directivity patterns reproduced by circular harmonic modes", 142ND AUDIO ENGINEERING SOCIETY CONVENTION PAPER 9765, May 2017 (2017-05-01)
SASCHA SPORS: "Physical and Perceptual Properties of Focused Sources in Wave Field Synthesis", 127TH AUDIO ENGINEERING SOCIETY CONVENTION PAPER 7914, October 2009 (2009-10-01)
See also references of EP3787311A4
TSUTSUMI KIINITAKA; TAKADA HIDEAKI: "Listening area expansion of focus sound source by wave field synthesis using auxiliary array (non-official translation )", REPORTS OF THE 2017 SPRING MEETING THE ACOUSTICAL SOCIETY OF JAPAN, 1 March 2017 (2017-03-01), pages 433 - 436, XP009524324, ISSN: 1880-7658 *
TSUTSUMI KIMITAKA; TAKADA HIDEAKI; HANEDA YOICHI: "Directivity control with multi-poles comprising plural focused sources in wave field synthesis", ACOUSTICAL SOCIETY OF JAPAN 2015 SPRING MEETING, 11 September 2017 (2017-09-11), pages 469 - 470, XP009523050, ISSN: 1880-7658 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329319A (zh) * 2021-05-27 2021-08-31 音王电声股份有限公司 一种扬声器阵列的沉浸声还音制式算法及其应用
CN113329319B (zh) * 2021-05-27 2022-10-21 音王电声股份有限公司 一种扬声器阵列的沉浸声还音制式方法及其应用
WO2024075159A1 (ja) * 2022-10-03 2024-04-11 日本電信電話株式会社 空間音響復元装置、空間音響復元方法、及びプログラム

Also Published As

Publication number Publication date
EP3787311B1 (en) 2022-11-23
US11356790B2 (en) 2022-06-07
JPWO2019208285A1 (ja) 2021-05-13
EP3787311A4 (en) 2022-02-09
EP3787311A1 (en) 2021-03-03
JP6970366B2 (ja) 2021-11-24
US20210105571A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
US10382849B2 (en) Spatial audio processing apparatus
US10785589B2 (en) Two stage audio focus for spatial audio processing
US9578439B2 (en) Method, system and article of manufacture for processing spatial audio
WO2018008395A1 (ja) 音場形成装置および方法、並びにプログラム
US9774981B2 (en) Audio rendering system
JP6865440B2 (ja) 音響信号処理装置、音響信号処理方法および音響信号処理プログラム
KR20140138907A (ko) 통합 또는 하이브리드 사운드-필드 제어 전략을 적용하는 방법
Zotter et al. A beamformer to play with wall reflections: The icosahedral loudspeaker
JP6613078B2 (ja) 信号処理装置及びその制御方法
JP2009100354A (ja) 全方位周波数指向性音響装置
JP6970366B2 (ja) 音像再現装置、音像再現方法及び音像再現プログラム
CN113766396A (zh) 扬声器控制
JP6955186B2 (ja) 音響信号処理装置、音響信号処理方法および音響信号処理プログラム
JP2019050492A (ja) フィルタ係数決定装置、フィルタ係数決定方法、プログラム、および音響システム
Zotter et al. Compact spherical loudspeaker arrays
WO2018211984A1 (ja) スピーカアレイ、および信号処理装置
JP6670259B2 (ja) 音響再生装置
Mickiewicz et al. Spatialization of sound recordings using intensity impulse responses
JP6774912B2 (ja) 音像生成装置
WO2021024806A1 (ja) スピーカアレイ、信号処理装置、信号処理方法および信号処理プログラム
Becker Franz Zotter, Markus Zaunschirm, Matthias Frank, and Matthias Kronlachner
JP2009139615A (ja) 音響再生装置、音響再生方法、音響再生プログラム、及び音響再生システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19791922

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020516237

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019791922

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019791922

Country of ref document: EP

Effective date: 20201126