WO2019065447A1 - 音響信号のミキシング装置及びコンピュータ可読記憶媒体 - Google Patents

音響信号のミキシング装置及びコンピュータ可読記憶媒体 Download PDF

Info

Publication number
WO2019065447A1
WO2019065447A1 PCT/JP2018/034801 JP2018034801W WO2019065447A1 WO 2019065447 A1 WO2019065447 A1 WO 2019065447A1 JP 2018034801 W JP2018034801 W JP 2018034801W WO 2019065447 A1 WO2019065447 A1 WO 2019065447A1
Authority
WO
WIPO (PCT)
Prior art keywords
microphones
acoustic signal
microphone
section
attenuation
Prior art date
Application number
PCT/JP2018/034801
Other languages
English (en)
French (fr)
Inventor
堀内　俊治
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Publication of WO2019065447A1 publication Critical patent/WO2019065447A1/ja
Priority to US16/749,368 priority Critical patent/US10951984B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays

Definitions

  • the present invention relates to a technology for mixing acoustic signals collected by a plurality of microphones.
  • a virtual reality (VR) system using a head mounted display is provided.
  • VR virtual reality
  • an image corresponding to the field of view of the user wearing the head mounted display is displayed on the display.
  • FIG. 1 is a diagram showing an example of this sound collection method.
  • a total of eight microphones 51 to 58 are arranged on the circumference of a predetermined radius centering on the position 60.
  • the sounds collected by the microphones 51 to 58 are output from the speakers at the same level. For example, when the images mounted in the ranges indicated by reference numerals 61 and 62 in FIG. 1 are displayed on the head mounted display, if the sounds collected by the microphones 51 to 58 are reproduced at the same level, the user sees them. There is a divergence between the range of motion and the range of sound field.
  • Patent document 1 processes the acoustic signal collected by two microphones based on the expansion ratio of the sound field to generate two acoustic signals of right (R) channel and left (L) channel, R channel and L channel A configuration is disclosed in which the range of the sound field is adjusted by driving one set of speakers with the two acoustic signals.
  • Patent No. 3905364 gazette
  • patent document 1 discloses adjusting the range of the sound field of the sound signal collected by two microphones, adjusting the range of the sound field of the sound signal collected by three or more microphones. Not disclosed.
  • a mixing device for mixing sound signals collected by a plurality of microphones corresponds to each of two microphone sets of the plurality of microphones determined based on the arrangement position of the plurality of microphones.
  • Processing units provided for processing the acoustic signals output from the two microphones of the corresponding set to output a first acoustic signal and a second acoustic signal, and the processing corresponding to each set A first adding unit configured to add and output the first acoustic signal output from the unit, and a second adding unit that outputs the second acoustic signal output from the processing unit corresponding to each set
  • the processing unit is configured to output the scaling factor for determining the scaling factor of the sound field, the shift factor for determining the shift amount of the sound field, and the microphone. Treating the damping coefficient which determines the attenuation amount of the sound signal, an acoustic signal the set of the two microphones is output corresponding based on.
  • BRIEF DESCRIPTION OF THE DRAWINGS The block diagram of the mixing apparatus by one Embodiment.
  • the block diagram of the acoustic signal processing part by one embodiment. Explanatory drawing of the process in the process part by one Embodiment.
  • Explanatory drawing of the process in the process part by one Embodiment. Explanatory drawing of the process in the process part by one Embodiment.
  • FIG. 2 is a block diagram of the mixing apparatus 10 according to the present embodiment.
  • An acoustic signal is input to the acoustic signal processing unit 11 of the mixing device 10 from each of the plurality of microphones 50.
  • the plurality of microphones 50 are arranged on the circumference of a predetermined radius centered on the position 60.
  • the plurality of microphones 50 may be disposed at geographically different positions, such as on a straight line or in an arbitrary curved shape, not on the circumference.
  • a plurality of directional microphones can be arranged at different positions 60 in different directions to collect sound.
  • the acoustic signal processing unit 11 generates an acoustic signal of the right channel (R) (hereinafter, acoustic signal R) and an acoustic signal of the left channel (L) (hereinafter, acoustic signal L) based on the acoustic signals from the plurality of microphones 50 respectively. Output two acoustic signals. These two acoustic signals are used to drive a set of speakers.
  • the microphones 50 adjacent to each other in the arrangement position are one set.
  • the microphone 51 and the microphone 52 are one set, and the microphone 52 and the microphone 53 are one set.
  • the microphone 57 and the microphone 58 are one set, and the microphone 58 and the microphone 51 are one set. That is, in the arrangement of FIG. 1, a total of eight sets can be made.
  • N sets can be made for N microphones.
  • N-1 sets can be made for N microphones. Even when multiple microphones are arranged in a closed curve, (N-1) pairs are generated for N microphones when the microphones are arranged in a part of the section. Can also be configured.
  • the sound signal processing unit 11 is provided with processing units according to the number of sets.
  • a total of N processing units ie, a first processing unit to an N-th processing unit, are provided.
  • the processes in the first processing unit to the Nth processing unit are the same.
  • the processing unit outputs an acoustic signal R of the right channel and an acoustic signal L of the left channel based on the acoustic signals input from the two microphones of the set to be processed.
  • an acoustic signal collected by the microphone A is referred to as an acoustic signal A
  • an acoustic signal collected by the microphone B is referred to as an acoustic signal B
  • the processing unit receives the acoustic signal A and the acoustic signal B.
  • the processing unit performs discrete Fourier transform on the acoustic signal A and the acoustic signal B at predetermined time intervals.
  • signals in the frequency domain obtained by discrete Fourier transform of the acoustic signal A and the acoustic signal B will be referred to as a signal A and a signal B, respectively.
  • the processing unit generates a signal R (right channel) and a signal L (left channel) in the frequency domain from the signal A and the signal B according to the following equation (1).
  • the process shown by Formula (1) is performed with respect to each frequency component (bin) of each of the signal A and the signal B.
  • the processing unit performs discrete inverse Fourier transform on the signal R and the signal L in the frequency domain, and outputs two acoustic signals of an acoustic signal R and an acoustic signal L.
  • the R synthesis unit adds the acoustic signals R output from the first processing unit to the Nth processing unit, and outputs one acoustic signal R.
  • the L synthesis unit adds the acoustic signals L output from the first processing unit to the Nth processing unit, and outputs one acoustic signal L.
  • the acoustic signal R and the acoustic signal L output from the R combining unit and the L combining unit are used to drive an R channel speaker and an L channel speaker, respectively, as described above.
  • f is the frequency (bin) to be processed
  • ⁇ is the principal value of the declination of the two acoustic signals A and B. Therefore, in the equation (1), f and ⁇ are values determined in accordance with the acoustic signal A and the acoustic signal B to be processed.
  • m 1 , m 2 , ⁇ and ⁇ are variables which are determined by the coefficient determination unit and notified to the respective processing units. The technical meaning of each variable will be described below.
  • m 1 and m 2 are attenuation coefficients and have values of 0 or more and 1 or less.
  • m 1 determines the amount of attenuation of the signal A
  • m 2 determines the amount of attenuation of the signal B.
  • m 1 is referred to as the attenuation coefficient of the microphone A
  • m 2 is referred to as the attenuation coefficient of the microphone B.
  • ⁇ is a scaling factor, which determines the range of the sound field.
  • the scaling coefficient ⁇ is a value of 0 or more and 2 or less.
  • the microphone A and the microphone B shall be arrange
  • m 1 and m 2 are set to 1 and ⁇ is set to 0. That is, the matrices M and T are set to values which do not change the signals A and B at all.
  • the acoustic signal R and the acoustic signal L obtained by discrete inverse Fourier transformation of the signal R and the signal L are the microphone A and the microphone, respectively. It is the same as the time domain signal collected by B. Therefore, for example, when speakers are placed at the positions of microphone A and microphone B and each is driven by acoustic signal R and acoustic signal L, the range of the sound field in the direction in which microphones A and B are arranged is as shown in FIG. 4A. , And the pickup range of the microphone A and the microphone B.
  • sound sources C and D are at the positions shown in FIG. 4A.
  • the position 63 is an intermediate position of a straight line connecting the microphone A and the microphone B. In this case, in the sound to be reproduced, the positions of the sound images of the sound source C and the sound source D are the same as the arrangement positions of the sound source C and the sound source D.
  • ⁇ is a shift coefficient and takes a value in the range of -x to + x.
  • the matrix T has no effect on the signals A and B.
  • the matrix T gives the signal A and the signal B phase changes of different signs with the same absolute value. Therefore, the position of the sound image shifts in the direction of the microphone A or the microphone B according to the value of ⁇ .
  • the direction of the shift is determined according to the positive or negative of ⁇ , and the larger the absolute value of ⁇ , the larger the shift amount.
  • FIG. 4C shows the range of the sound field when ⁇ is set to a value other than 0 after setting ⁇ to be the range of the sound field shown in FIG. 4B.
  • the positions of the sound images of the sound sources C and D are shifted to the left of the figure from the time shown in FIG. 4B. That is, the sound field is shifted to the left.
  • the speakers are placed at the positions of the microphone A and the microphone B for the sake of explanation, the distance between the two speakers of R channel and L channel may be an arbitrary distance. it can. In this case, the range of the sound field also corresponds to the arrangement distance of the speakers.
  • the coefficient determination unit of the sound processing unit 11 determines the coefficients of each of the first to Nth processing units, that is, m 1 , m 2 , ⁇ , and ⁇ . Notify the processing unit.
  • Section information indicating a section is input to the coefficient determination section from the section determination section 12 (FIG. 2).
  • Section information is indicated by a section along a straight line or a curve in which a plurality of microphones are arranged. For example, as shown in FIG. 1, microphones 51 to 58 are arranged on the circumference, and the angle at the center position and the direction thereof are designated by the user.
  • the range between the line 61 and the line 62 is designated by the user.
  • a section 64 which is a range of two intersections of the circumference on which a plurality of microphones are arranged and the line 61 and the line 62 is indicated by section information.
  • the shape of the circumference is shown by a straight line for simplification of the explanation.
  • the coefficient determination unit of the sound processing unit 11 holds information indicating the arrangement position of each of the plurality of microphones, and classifies the set of microphones based on the section 64 indicated by the section information and the arrangement position of the microphones.
  • 6A and 6B are explanatory diagrams of classification of sets. The circles in FIGS. 6A and 6B indicate microphones, respectively.
  • the coefficient determination unit determines whether at least one microphone is included in the section 64. When at least one microphone is included in the section 64, as shown in FIG.
  • the coefficient determination unit makes a set including two microphones in the section 64 as a first set, and in the section 64, both of the two microphones A set not included is a second set, and a set including one microphone in the section 64 but not including the other microphone in a section 64 is a third set.
  • the coefficient determination unit sets the two microphones closest to the section 64 to the third set and sets the other microphones as shown in FIG. 6B. Make it a second set.
  • the following describes how to determine the coefficients used by the corresponding processing unit for each of the first to third sets.
  • the coefficients used by a certain set of processing units are simply expressed as “a set of coefficients”.
  • the length of the section 64 between the second set of two microphones is L1 as shown in FIGS. 6A and 6B, and the section of this length L1 is called an overlapping section.
  • a section other than the section 64 between the third set of two microphones is called a non-overlapping section.
  • the section indicated by the distance L2 is a non-overlapping section, and in FIG. 6B, two non-overlapping sections exist on both sides of the section 64.
  • the coefficient determination unit sets, for example, ⁇ to 0, ⁇ to 1 for the first set, and 1 for both attenuation coefficients. That is, the expansion and reduction of the sound field is not performed, and the attenuation amount is set to a value that does not attenuate the acoustic signals collected by the two microphones.
  • the coefficient determining unit determines the third set of scaling coefficients ⁇ and shift coefficients ⁇ such that the range of the sound field corresponds to the overlapping section. That is, the coefficient determination unit determines the third set of scaling coefficients ⁇ ⁇ ⁇ based on the length L1 of the overlapping section. Specifically, for example, when the distance L between the third set of two microphones is set, the scaling coefficient ⁇ for the third set is determined so as to obtain a scaling ratio of L1 / L. Therefore, the coefficient determining unit determines the third set of scaling coefficients ⁇ so as to shorten the sound field range as the length of the third set of overlapping sections decreases.
  • the coefficient determination unit also determines the third set of shift coefficients ⁇ such that the center position of the sound field is at the center position of the overlapping section. Therefore, the coefficient determination unit determines the third set of shift coefficients according to the distance between the center of the arrangement position of the two microphones and the center of the overlapping section. In addition, the coefficient determination unit sets the attenuation coefficients of the third set of two microphones to one.
  • the coefficient determination unit may set the attenuation coefficient of the microphones included in the section 64 to 1 or the same value as the attenuation coefficient of the first set of two microphones in the third set, and the microphones not included in the interval 64 Regarding the attenuation coefficient, the attenuation coefficient is set such that the amount of attenuation is larger than the amount of attenuation of the microphone included in the section 64.
  • the coefficient determination unit increases the length of the non-overlapping sections, that is, as the shortest distance L2 from the arrangement position of the microphones to the section 64 increases. The amount of attenuation can be set to be large.
  • the attenuation coefficients of the two microphones are set to values at which the amount of attenuation is larger than the attenuation coefficients set for the first and third sets of microphones.
  • the coefficient determination unit sets the attenuation coefficients of the second set of two microphones to a value at which the attenuation amount is maximum, that is, to 0 or a predetermined value close to 0.
  • the set of the microphones 51 and 52 and the set of the microphones 52 and 53 are both the third set, and the other sets are all the second set.
  • the sound sources 51 and 52 when the sound sources are located at the positions of the microphone 51 and the microphone 52 (hereinafter referred to as the sound sources 51 and 52), the position of the sound image of the sound source 51 becomes the position 61.
  • the position of the sound image of the sound source 52 is the position 65.
  • the position of the sound image of the sound source 53 becomes the position 62 and the position of the sound source of the sound source 52 is the position 65 It becomes.
  • the attenuation amount to the second set of microphones is large, the acoustic signals from these sets are hardly included in the acoustic signal R and the acoustic signal L output from the acoustic signal processing unit 11.
  • the section determination unit 12 determines a section based on a user operation. For example, when the user directly designates a section, the section determination unit 12 functions as a reception unit that receives an operation in which the user specifies a section. In this case, the section designated by the user is output to the acoustic signal processing unit 11. On the other hand, for example, when applied to viewing a video on a VR head mounted display or viewing a 360-degree panoramic video on a tablet, the section determination unit 12 calculates a section based on the range of the video viewed by the user. The calculated section is output to the acoustic signal processing unit 11.
  • the mixing device 10 can be realized by a program that causes a computer including a processor and a storage unit to operate as the mixing device 10.
  • These computer programs are stored in a computer readable storage medium or can be distributed via a network.
  • the computer program is stored in the storage unit, and the processor executes the program, whereby the functions of the units in FIG. 2 are realized.

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

複数のマイクロフォンで収音した音響信号をミキシングするミキシング装置は、前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの２つのマイクロフォンの組それぞれに対応して設けられ、対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力する様に構成された処理部と、各組に対応する前記処理部が出力する前記第１音響信号を加算して出力する様に構成された第１加算部と、各組に対応する前記処理部が出力する前記第２音響信号を加算して出力する様に構成された第２加算部と、を備え、前記処理部は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理する。

Description

音響信号のミキシング装置及びコンピュータ可読記憶媒体
　本発明は、複数のマイクロフォンで収音した音響信号のミキシング技術に関する。
　現在、ヘッドマウントディスプレイを使用したバーチャルリアリティ（ＶＲ）システムが提供されている。この様なＶＲシステムにおいては、ヘッドマウントディスプレイを装着したユーザの視野に相当する映像をディスプレイに表示する。
　これら映像と共にヘッドマウントディスプレイのスピーカから出力される音は、例えば、複数のマイクロフォン（以下、マイクと呼ぶ。）により収音される。図１は、この収音方法の一例を示す図である。図１によると、マイク５１～５８の計８個のマイクが、位置６０を中心とする所定半径の円周上に配置されている。マイク５１～マイク５８のそれぞれが収音した音響信号をそのままミキシングしてスピーカに出力すると、マイク５１～マイク５８のそれぞれが収音した音が同じレベルでスピーカから出力される。例えば、ヘッドマウントディスプレイに、図１の参照符号６１及び６２で示す範囲の映像が表示されているときにマイク５１～マイク５８のそれぞれが収音した音を同じレベルで再生すると、ユーザが見ている範囲と、音場の範囲とに乖離が生じる。
　特許文献１は、音場の伸縮率に基づき２つのマイクにより収音した音響信号を処理して右（Ｒ）チャネルと左（Ｌ）チャネルの２つの音響信号を生成し、Ｒチャネル及びＬチャネルの２つの音響信号で１組のスピーカを駆動することで、音場の範囲を調整する構成を開示している。
特許第３９０５３６４号公報
　特許文献１は、２つのマイクで収音した音響信号の音場の範囲を調整することを開示しているが、３つ以上のマイクで収音した音響信号の音場の範囲を調整することを開示してはいない。
　本発明の一態様によると、複数のマイクロフォンで収音した音響信号をミキシングするミキシング装置は、前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの２つのマイクロフォンの組それぞれに対応して設けられ、対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力する様に構成された処理部と、各組に対応する前記処理部が出力する前記第１音響信号を加算して出力する様に構成された第１加算部と、各組に対応する前記処理部が出力する前記第２音響信号を加算して出力する様に構成された第２加算部と、を備え、前記処理部は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理する。
収音方法の一例を示す図。 一実施形態によるミキシング装置の構成図。 一実施形態による音響信号処理部の構成図。 一実施形態による処理部での処理の説明図。 一実施形態による処理部での処理の説明図。 一実施形態による処理部での処理の説明図。 一実施形態による区間の説明図。 一実施形態による各係数決定の説明図。 一実施形態による各係数決定の説明図。
　以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
　図２は、本実施形態によるミキシング装置１０の構成図である。ミキシング装置１０の音響信号処理部１１には、複数のマイク５０それぞれから音響信号が入力される。複数のマイク５０は、例えば、図１に示す様に、位置６０を中心とする所定半径の円周上に配置される。なお、円周上でなく、例えば、直線上や、任意の曲線状等、地理的に異なる位置に複数のマイク５０を配置する構成であっても良い。また、位置６０に複数の指向性のマイクをそれぞれ異なる方向に向けて配置して収音することもできる。音響信号処理部１１は、複数のマイク５０それぞれからの音響信号に基づき右チャネル（Ｒ）の音響信号（以下、音響信号Ｒ）と左チャネル（Ｌ）の音響信号（以下、音響信号Ｌ）の２つの音響信号を出力する。これら２つの音響信号は、１組のスピーカを駆動するために使用される。
　まず、図３を用いて、音響信号処理部１１について説明する。本実施形態において、配置位置が隣り合うマイク５０を１つの組とする。例えば、図１の配置においては、マイク５１とマイク５２が１つの組であり、マイク５２とマイク５３が１つの組である。以下、同様に、マイク５７とマイク５８が１つの組であり、マイク５８とマイク５１が１つの組である。つまり、図１の配置においては計８個の組ができる。この様に、閉じた曲線状に複数のマイクを配置する場合、Ｎ個のマイクに対してＮ個の組ができる。一方、直線状に複数のマイクを配置する等、閉じていない線状に複数のマイクを配置する場合には、Ｎ個のマイクに対して（Ｎ－１）個の組ができる。なお、閉じた曲線状に複数のマイクを配置する場合であっても、その一部の区間にマイクを配置する場合には、Ｎ個のマイクに対して（Ｎ－１）個の組を生成する構成とすることもできる。
　音響信号処理部１１には、図３に示す様に、組数に応じた処理部が設けられる。図３においては、第１処理部～第Ｎ処理部の計Ｎ個の処理部が設けられている。なお、第１処理部～第Ｎ処理部における処理は同様である。処理部は、処理対象の組の２つのマイクから入力される音響信号に基づき右チャネルの音響信号Ｒと、左チャネルの音響信号Ｌを出力する。
　以下、処理部での処理について説明する。まず、マイクＡが収音した音響信号を音響信号Ａと呼び、マイクＢが収音した音響信号を音響信号Ｂと呼び、処理部には、音響信号Ａ及び音響信号Ｂが入力されるものとする。処理部は、音響信号Ａ及び音響信号Ｂを所定の時間区間毎に離散フーリエ変換する。以下では、音響信号Ａ及び音響信号Ｂを離散フーリエ変換した周波数領域の信号を、それぞれ、信号Ａ及び信号Ｂとする。処理部は、以下の式（１）により信号Ａ及び信号Ｂから周波数領域の信号Ｒ（右チャネル）及び信号Ｌ（左チャネル）を生成する。なお、式（１）で示す処理は、信号Ａ及び信号Ｂそれぞれの各周波成分（ビン）に対して行われる。そして、処理部は、周波数領域の信号Ｒ及び信号Ｌを離散逆フーリエ変換して、音響信号Ｒと音響信号Ｌの２つの音響信号を出力する。Ｒ合成部は、第１処理部～第Ｎ処理部のそれぞれが出力する音響信号Ｒを加算して１つの音響信号Ｒを出力する。同様に、Ｌ合成部は、第１処理部～第Ｎ処理部のそれぞれが出力する音響信号Ｌを加算して１つの音響信号Ｌを出力する。Ｒ合成部及びＬ合成部が出力する音響信号Ｒ及び音響信号Ｌは、上述した様に、それぞれ、Ｒチャネルのスピーカ及びＬチャネルのスピーカを駆動するために使用される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｆは処理対象の周波数（ビン）であり、Φは２つの音響信号Ａ及び音響信号Ｂの偏角の主値である。したがって、式（１）においてｆ及びΦは処理対象の音響信号Ａ及び音響信号Ｂに応じて決まる値である。一方、式（１）において、ｍ１、ｍ２、τ及びκは係数決定部が決定して処理部それぞれに通知する変数である。以下、それぞれの変数の技術的な意味について説明する。
　ｍ１及びｍ２は減衰係数であり０以上１以下の値である。なお、ｍ１は信号Ａの減衰量を決定し、ｍ２は信号Ｂの減衰量を決定する。以下では、ｍ１をマイクＡの減衰係数と呼び、ｍ２をマイクＢの減衰係数と呼ぶものとする。
　κはスケーリング（拡縮）係数であり、音場の範囲を決定する。なお、スケーリング係数κは、０以上２以下の値である。例えば、図４Ａに示す様に、マイクＡとマイクＢが配置されているものとする。ここで、ｍ１及びｍ２を１に設定し、τを０に設定するものとする。つまり、行列Ｍ及びＴについては、信号Ａ及び信号Ｂを何ら変化させない値に設定するものとする。このときに、κを１とすると、信号Ｒ＝信号Ａ及び信号Ｌ＝信号Ｂとなる。つまり、信号Ｒ及び信号Ｌは、信号Ａと信号Ｂと同じであり、よって、信号Ｒ及び信号Ｌを離散逆フーリエ変換して得られる音響信号Ｒ及び音響信号Ｌは、それぞれ、マイクＡ及びマイクＢが収音した時間領域の信号と同じである。したがって、例えば、マイクＡ及びマイクＢの位置にスピーカを置いて音響信号Ｒ及び音響信号Ｌでそれぞれを駆動すると、マイクＡ及びＢが配置されている方向における音場の範囲は図４Ａの様に、マイクＡ及びマイクＢの収音範囲と同等になる。例えば、音源Ｃ及びＤが図４Ａに示す位置あるものとする。なお、位置６３は、マイクＡとマイクＢとを結ぶ直線の中間位置である。この場合、再生される音において、音源Ｃ及び音源Ｄの音像の位置は、音源Ｃ及び音源Ｄの配置位置と同じ位置となる。
　一方、ｍ１及びｍ２を１に設定し、τを０に設定したときに、κを１より小さくすると、図４Ｂに示す様に、音場の範囲はκが１のときより短くなる。このとき、例えば、マイクＡ及びＢの位置にスピーカを置いて音響信号Ｒ及び音響信号Ｌで駆動すると、音源Ｃの音像の位置は、音源Ｃの配置位置と同じ中間位置６３になる。しかしながら、音源Ｄの音像の位置は、音源Ｄの配置位置より中間位置６３に近づく様になる。逆に、κを１より大きくすると、音場の範囲はκが１のときより長くなる。この様に、スケーリング係数κは音場の範囲を拡大・縮小させる係数である。
　τはシフト係数であり、－ｘ～＋ｘの範囲の値をとる。上述した様にτ＝０のとき、行列Ｔは、信号Ａ及び信号Ｂに何ら影響を与えない。一方、τ＝０以外のとき、行列Ｔは、信号Ａ及び信号Ｂにそれぞれ同じ絶対値で異なる符号の位相変化を与える。したがって、音像の位置がτの値に応じてマイクＡ又はマイクＢの方向にシフトする。なお、シフトの方向は、τの正負に応じて決定され、τの絶対値が大きくなる程、そのシフト量は大きくなる。図４Ｃは、図４Ｂに示す音場の範囲となる様なκとしたうえで、τを０以外の値に設定したときの音場の範囲を示している。音源Ｃ及びＤの音像の位置は、図４Ｂに示すときから図の左側にシフトしている。つまり、音場が左側にシフトしている。なお、図４Ａ～図４Ｃにおいては、説明のためスピーカをマイクＡ及びマイクＢの位置に置くものとしたが、ＲチャネルとＬチャネルの２つのスピーカを設置する距離は任意の距離とすることができる。この場合、音場の範囲はスピーカの配置距離に応じたものにもなる。
　上述した様に、音響処理部１１の係数決定部は、第１処理部～第Ｎ処理部それぞれの係数、つまり、ｍ１、ｍ２、τ及びκを決定し、第１処理部～第Ｎ処理部に通知する。以下、音響処理部１１の係数決定部が、各処理部の係数をどの様に決定するかについて説明する。係数決定部には、区間判定部１２（図２）より区間を示す区間情報が入力される。区間情報は、複数のマイクが配置された直線又は曲線に沿った区間で示される。例えば、図１に示す様に、マイク５１～５８が円周上に配置されており、その中心位置における角度とその方向をユーザ指定したものとする。つまり、線６１と線６２との間の範囲をユーザが指定したものとする。この場合、図５に示す様に、複数のマイクが配置された円周と線６１及び線６２との２つの交点の範囲である区間６４が区間情報により示されることになる。なお、図５においては、説明の簡略化のため、円周の形状を直線で示している。
　音響処理部１１の係数決定部は、複数のマイクそれぞれの配置位置を示す情報を保持しており、区間情報が示す区間６４と、マイクの配置位置に基づきマイクの組を分類する。図６Ａ及び図６Ｂは、組の分類の説明図である。図６Ａ及び図６Ｂの丸はマイクをそれぞれ示している。まず、係数決定部は、区間６４内に少なくとも１つのマイクが含まれるか否かを判定する。区間６４内に少なくとも１つのマイクが含まれる場合、係数決定部は、図６Ａに示す様に、区間６４に２つのマイクが含まれる組を第１組とし、区間６４には２つのマイクが共に含まれない組を第２組とし、区間６４に１つのマイクが含まれるが他方のマイクが区間６４に含まれない組を第３組とする。一方、区間６４内にマイクが１つも含まれない場合、係数決定部は、図６Ｂに示す様に、区間６４に最も近い２つのマイクの組を第３組とし、それ以外のマイクの組を第２組とする。
　以下、第１組から第３組それぞれについて、対応する処理部が使用する係数をどの様に決定するかについて説明する。なお、以下では、ある組の処理部が使用する係数を、単に、「組の係数」と表現する。また、第３組の２つのマイクの間における区間６４の長さを、図６Ａ及び図６Ｂに示す様にＬ１とし、この長さＬ１の区間を重複区間と呼ぶものとする。また、第３組の２つのマイクの間における区間６４以外の区間を非重複区間と呼ぶものとする。図６Ａの場合、距離Ｌ２で示す区間が非重複区間であり、図６Ｂにおいては、区間６４の両側に２つの非重複区間が存在する。
　係数決定部は、第１組については、例えば、τは０とし、κを１とし、減衰係数については２つのマイクとも１にする。つまり、音場の拡縮、シフトを行わせず、減衰量については２つのマイクが収音する音響信号共、減衰させない値とする。
　一方、係数決定部は、第３組のスケーリング係数κと、シフト係数τについては、音場の範囲が重複区間に応じたものとなる様に決定する。つまり、係数決定部は、第３組のスケーリング係数κを、重複区間の長さＬ１に基づき決定する。具体的には、例えば、第３組の２つのマイク間の距離Ｌとすると、Ｌ１／Ｌの拡縮率となる様に当該第３組に対するスケーリング係数κを決定する。したがって、係数決定部は、第３組の重複区間の長さが短くなる程、音場の範囲を短くする様に当該第３組のスケーリング係数κを決定する。また、係数決定部は、重複区間の中心位置に音場の中心位置がくるように第３組のシフト係数τを決定する。したがって、係数決定部は、２つのマイクの配置位置の中心と重複区間の中心との距離に応じて第３組のシフト係数を決定する。また、係数決定部は、第３組の２つのマイクの減衰係数をそれぞれ１に設定する。あるいは、係数決定部は、第３組のうち、区間６４に含まれるマイクの減衰係数を１、又は、第１組の２つのマイクの減衰係数と同じ値にし、区間６４に含まれないマイクの減衰係数については、区間６４に含まれるマイクの減衰量より大きい減衰量となる様に減衰係数を設定する。あるいは、係数決定部は、第３組の区間６４に含まれないマイクの減衰係数については、非重複区間の長さ、つまり、マイクの配置位置から区間６４までの最短距離Ｌ２が大きくなる程、減衰量が大きくなる様に設定することができる。
　さらに、係数決定部は、第２組については、第１組と同様に、例えば、τは０とし、κを１とする。しかしながら、２つのマイクの減衰係数については、第１組及び第３組のマイクに対して設定した減衰係数より減衰量が大きくなる値に設定する。一例として、係数決定部は、第２組の２つのマイクの減衰係数を減衰量が最大となる値、つまり、０に設定、或いは、０に近い所定の値に設定する。
　例えば、図５の区間６４の場合、マイク５１とマイク５２の組と、マイク５２とマイク５３の組は共に第３組であり、その他の組は総て第２組となる。上記の通りに各係数を決定することで、マイク５１とマイク５２の位置に音源があるとしたとき（以下、音源５１と音源５２と呼ぶ。）、音源５１の音像の位置が位置６１になり、音源５２の音像の位置が位置６５となる。同様に、マイク５３とマイク５２の位置に音源があるとしたとき（以下、音源５３と音源５２と呼ぶ）、音源５３の音像の位置が位置６２になり、音源５２の音源の位置が位置６５となる。また、第２組のマイクに対する減衰量は大きいためこれらの組からの音響信号は、音響信号処理部１１が出力する音響信号Ｒ及び音響信号Ｌには殆ど含まれなくなる。以上の構成により、音響信号処理部１１が出力する音響信号Ｒ及び音響信号Ｌでステレオスピーカを駆動すると、ユーザが指定した区間に対応する音場が再現できる。
　最後に、区間判定部１２は、ユーザ操作に基づき区間を判定する。例えば、ユーザが区間を直接指定する場合、区間判定部１２は、ユーザが区間を指定する操作を受け付ける受付部として機能する。この場合、ユーザが指定した区間を音響信号処理部１１に出力する。一方、例えば、ＶＲのヘッドマウントディスプレイでの映像の視聴や、３６０度パノラマ映像のタブレットでの視聴に適用する場合、区間判定部１２は、ユーザが見ている映像の範囲に基づき区間を計算し、計算した区間を音響信号処理部１１に出力する。
　本発明によるミキシング装置１０は、プロセッサ及び記憶部を含むコンピュータを上記ミキシング装置１０として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータ可読記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。コンピュータプログラムは、記憶部に記憶され、プロセッサが当該プログラムを実行することで、図２の各部の機能が実現される。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

Claims (12)

  1. 　複数のマイクロフォンで収音した音響信号をミキシングするミキシング装置であって、
    　前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの２つのマイクロフォンの組それぞれに対応して設けられ、対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力する様に構成された処理部と、
    　各組に対応する前記処理部が出力する前記第１音響信号を加算して出力する様に構成された第１加算部と、
    　各組に対応する前記処理部が出力する前記第２音響信号を加算して出力する様に構成された第２加算部と、
    を備えており、
    　前記処理部は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理する、ミキシング装置。
  2. 　ユーザ操作を受け付ける様に構成された受付部と、
    　前記ユーザ操作に基づき各組を分類し、各組の分類結果に基づき前記処理部それぞれが使用する前記拡縮係数、前記シフト係数及び前記減衰係数を決定する様に構成された決定部と、
    をさらに備えている、請求項１に記載のミキシング装置。
  3. 　前記複数のマイクロフォンは所定の線上に沿って配置され、前記組の前記２つのマイクロフォンは、前記所定の線上において隣り合うマイクロフォンであり、
    　前記ユーザ操作は、前記所定の線上における区間を指定する操作であり、
    　前記決定部は、
    　前記区間内に少なくとも１つのマイクロフォンが含まれる場合、前記区間内に２つのマイクロフォンが含まれる組を第１組、前記区間内に２つのマイクロフォンが含まれない組を第２組、前記区間内に１つのマイクロフォンのみが含まれる組を第３組に分類し、
    　前記区間内に１つもマイクロフォンが含まれない場合、前記区間の両端それぞれに最も近い２つのマイクロフォンの組を前記第３組に分類し、それ以外の組を前記第２組に分類する様にさらに構成されている、請求項２に記載のミキシング装置。
  4. 　前記決定部は、前記第１組及び前記第２組に対応する前記処理部が使用する前記拡縮係数を音場の拡縮が無い値に決定し、前記第１組及び前記第２組に対応する前記処理部が使用するシフト係数を音場のシフトが無い値に決定する様にさらに構成されている、請求項３に記載のミキシング装置。
  5. 　前記決定部は、前記第３組に対応する前記処理部が使用する前記拡縮係数を、前記第３組の２つのマイクロフォンの間における前記区間の長さに応じて決定し、前記第３組に対応する前記処理部が使用するシフト係数を、前記第３組の２つのマイクロフォンの配置位置の中心と、前記第３組の２つのマイクロフォンの間における前記区間の中心との距離に応じて決定する様にさらに構成されている、請求項３に記載のミキシング装置。
  6. 　前記決定部は、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数及び前記第３組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を、前記第２組の２つのマイクロフォンが出力する２つの音響信号の減衰係数より減衰量が小さくなる値に決定する様にさらに構成されている、請求項３に記載のミキシング装置。
  7. 　前記決定部は、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を減衰量が０となる値に決定する様にさらに構成されている、請求項３に記載のミキシング装置。
  8. 　前記決定部は、前記第３組の前記区間内に含まれるマイクロフォンが出力する音響信号の減衰係数を、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数と同じにする様にさらに構成されている、請求項６に記載のミキシング装置。
  9. 　前記決定部は、前記第３組の前記区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数より減衰量が大きくなる値に決定する様にさらに構成されている、請求項６に記載のミキシング装置。
  10. 　前記決定部は、前記第３組の前記区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、前記区間との距離に応じて決定する様にさらに構成されている、請求項９に記載のミキシング装置。
  11. 　前記決定部は、前記第２組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を減衰量が最大となる値に決定する様にさらに構成されている、請求項６に記載のミキシング装置。
  12. 　コンピュータプログラムを格納するコンピュータ可読記憶媒体であって、
    　前記コンピュータプログラムは、１つ以上のプロセッサを有する装置の前記１つ以上のプロセッサで実行されると、前記装置に、
    　複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの２つのマイクロフォンの組それぞれについて、前記組の前記２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力することと、
    　各組について出力された前記第１音響信号を加算して出力することと、
    　各組について出力された前記第２音響信号を加算して出力することと、
    を実行させる命令を含み、
    　前記第１音響信号と前記第２音響信号を出力することは、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応する前記組の前記２つのマイクロフォンが出力する音響信号を処理することを含む、コンピュータ可読記憶媒体。
PCT/JP2018/034801 2017-09-29 2018-09-20 音響信号のミキシング装置及びコンピュータ可読記憶媒体 WO2019065447A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/749,368 US10951984B2 (en) 2017-09-29 2020-01-22 Acoustic signal mixing device and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017190863A JP6841743B2 (ja) 2017-09-29 2017-09-29 音響信号のミキシング装置及びプログラム
JP2017-190863 2017-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/749,368 Continuation US10951984B2 (en) 2017-09-29 2020-01-22 Acoustic signal mixing device and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2019065447A1 true WO2019065447A1 (ja) 2019-04-04

Family

ID=65901366

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034801 WO2019065447A1 (ja) 2017-09-29 2018-09-20 音響信号のミキシング装置及びコンピュータ可読記憶媒体

Country Status (3)

Country Link
US (1) US10951984B2 (ja)
JP (1) JP6841743B2 (ja)
WO (1) WO2019065447A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951984B2 (en) 2017-09-29 2021-03-16 Kddi Corporation Acoustic signal mixing device and computer-readable storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6900350B2 (ja) 2018-09-27 2021-07-07 Kddi株式会社 音響信号のミキシング装置及びプログラム
JP7217716B2 (ja) 2020-02-18 2023-02-03 Kddi株式会社 複数のマイクロフォンの収音信号をミキシングする装置、プログラム及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244664A (ja) * 2004-02-26 2005-09-08 Toshiba Corp 音配信装置およびその方法、音再生装置、バイノーラルシステム、バイノーラル音響配信装置およびその方法、バイノーラル音響再生装置、記録媒体作成装置およびその方法、画像配信装置、画像表示装置
JP2006503526A (ja) * 2002-10-18 2006-01-26 ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニア 動的なバイノーラルサウンドの取込及び再生
JP3905364B2 (ja) * 2001-11-30 2007-04-18 株式会社国際電気通信基礎技術研究所 ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JP2016046699A (ja) * 2014-08-25 2016-04-04 株式会社 ゼネテック 画像音声入出力システム
JP2018026701A (ja) * 2016-08-10 2018-02-15 株式会社カプコン 録音装置、映像音声処理プログラム及びゲーム装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070009120A1 (en) 2002-10-18 2007-01-11 Algazi V R Dynamic binaural sound capture and reproduction in focused or frontal applications
US20080056517A1 (en) 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
JP4051408B2 (ja) * 2005-12-05 2008-02-27 株式会社ダイマジック 収音・再生方法および装置
EP1965603B1 (en) * 2005-12-19 2017-01-11 Yamaha Corporation Sound emission and collection device
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
JP6841743B2 (ja) 2017-09-29 2021-03-10 Kddi株式会社 音響信号のミキシング装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3905364B2 (ja) * 2001-11-30 2007-04-18 株式会社国際電気通信基礎技術研究所 ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JP2006503526A (ja) * 2002-10-18 2006-01-26 ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニア 動的なバイノーラルサウンドの取込及び再生
JP2005244664A (ja) * 2004-02-26 2005-09-08 Toshiba Corp 音配信装置およびその方法、音再生装置、バイノーラルシステム、バイノーラル音響配信装置およびその方法、バイノーラル音響再生装置、記録媒体作成装置およびその方法、画像配信装置、画像表示装置
JP2016046699A (ja) * 2014-08-25 2016-04-04 株式会社 ゼネテック 画像音声入出力システム
JP2018026701A (ja) * 2016-08-10 2018-02-15 株式会社カプコン 録音装置、映像音声処理プログラム及びゲーム装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951984B2 (en) 2017-09-29 2021-03-16 Kddi Corporation Acoustic signal mixing device and computer-readable storage medium

Also Published As

Publication number Publication date
JP6841743B2 (ja) 2021-03-10
US10951984B2 (en) 2021-03-16
US20200162816A1 (en) 2020-05-21
JP2019068210A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US11310617B2 (en) Sound field forming apparatus and method
JP5603325B2 (ja) マイクロホン配列からのサラウンド・サウンド生成
WO2019065447A1 (ja) 音響信号のミキシング装置及びコンピュータ可読記憶媒体
CN106797526A (zh) 音频处理装置、方法和程序
KR20220038478A (ko) 공간 변환 도메인에서 음장 표현을 처리하기 위한 장치, 방법 또는 컴퓨터 프로그램
JP2011211312A (ja) 音像定位処理装置及び音像定位処理方法
JP5010148B2 (ja) ３次元パンニング装置
JP6834985B2 (ja) 音声処理装置および方法、並びにプログラム
JP2016010021A (ja) 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム
JP7217716B2 (ja) 複数のマイクロフォンの収音信号をミキシングする装置、プログラム及び方法
JP7065801B2 (ja) 音響信号の合成装置及びプログラム
WO2023164173A1 (en) Real-time sound field synthesis by modifying produced audio streams
WO2018066384A1 (ja) 信号処理装置および方法、並びにプログラム
WO2020066373A1 (ja) 音響信号のミキシング装置及びプログラム
KR102650846B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
JP7212747B2 (ja) 音響信号の合成装置及びプログラム
JP5754967B2 (ja) 画像情報処理装置及びその制御方法
US10939221B2 (en) Audio processing method and audio processing system
CN110312198A (zh) 用于数字影院的虚拟音源重定位方法及装置
US10616704B1 (en) Audio processing method and audio processing system
JP2020167471A (ja) 情報処理装置、情報処理方法、及びプログラム
JPH1042398A (ja) サラウンド再生方法及び装置
US20220369032A1 (en) Signal processing device, signal processing method, program, and image display device
WO2023047620A1 (ja) 情報処理装置、情報処理方法およびプログラム
Ohira et al. Automatic design environment using high-level synthesis for reconfigurable 3D sound processor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18862931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18862931

Country of ref document: EP

Kind code of ref document: A1