JP6466251B2 - Sound field reproduction system - Google Patents

Sound field reproduction system Download PDF

Info

Publication number
JP6466251B2
JP6466251B2 JP2015102966A JP2015102966A JP6466251B2 JP 6466251 B2 JP6466251 B2 JP 6466251B2 JP 2015102966 A JP2015102966 A JP 2015102966A JP 2015102966 A JP2015102966 A JP 2015102966A JP 6466251 B2 JP6466251 B2 JP 6466251B2
Authority
JP
Japan
Prior art keywords
sound field
combination
speakers
transfer function
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015102966A
Other languages
Japanese (ja)
Other versions
JP2016220032A (en
Inventor
伊勢 友彦
友彦 伊勢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2015102966A priority Critical patent/JP6466251B2/en
Publication of JP2016220032A publication Critical patent/JP2016220032A/en
Application granted granted Critical
Publication of JP6466251B2 publication Critical patent/JP6466251B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車室内空間等に含まれる1あるいは複数の聴取位置における音場を制御する音場再現システムに関する。   The present invention relates to a sound field reproduction system for controlling a sound field at one or a plurality of listening positions included in a vehicle interior space.

近年、「超臨場感システム」が注目を浴びている。超臨場感システムとは、あたかもその場にいるような感覚をもたらすために「その場」の五感情報をできる限り物理的に忠実に取得し、伝送し、再生するシステムのことである。超臨場感システムは、映画や放送などのエンターテイメントだけでなく、医療、教育、芸術とさまざまな分野に応用できる可能性があり、その実現に期待されている。   In recent years, “super-realistic systems” have attracted attention. The ultra-realistic system is a system that obtains, transmits, and reproduces the "sense of the senses" as physically as possible in order to create the feeling of being at the location. The ultra-realistic system can be applied not only to entertainment such as movies and broadcasts, but also to various fields such as medical care, education, and art.

臨場感の高い音響システムを実現するために、さまざまな音響システムが研究されており、その中に音場再生技術がある。音場再生技術とは、所望の音場を音の波動性を考慮して物理的に再現するもので、既存の音響システムに対してより高い臨場感が得られ、その発展が期待されている。音場再生技術の主要な技術として、波面合成法、境界音場制御、高次アンビソニックスが挙げられる。   In order to realize a highly realistic sound system, various sound systems have been studied, including sound field reproduction technology. Sound field reproduction technology is a physical reproduction of the desired sound field in consideration of the wave nature of the sound, and a higher sense of presence is obtained with respect to existing acoustic systems, and its development is expected. . Major sound field reproduction techniques include wavefront synthesis, boundary sound field control, and higher-order ambisonics.

波面合成法(WFS)は、ホイヘンスの原理に基づいて平面上の音圧を再現することで、特定の方向から到来する音を提示する手法である。波面合成法は、他の音場再生技術と比較して、簡単に利用することができ、また、スピーカアレイで囲まれた領域内のすべての音場を再現することができる。しかし、波面合成法では、境界面を分割して制御するため、表現可能な音の方向が制限されてしまう。そのうえ、波面合成法で用いる音場を収音するためにはマイクロホンアレイが必要で、そのアレイの設置が簡単ではないという問題がある。   Wavefront synthesis (WFS) is a technique for presenting sound coming from a specific direction by reproducing sound pressure on a plane based on Huygens' principle. The wavefront synthesis method can be easily used as compared with other sound field reproduction technologies, and can reproduce all sound fields in the region surrounded by the speaker array. However, in the wavefront synthesis method, since the boundary surface is divided and controlled, the direction of sound that can be expressed is limited. In addition, a microphone array is required to collect the sound field used in the wavefront synthesis method, and there is a problem that the installation of the array is not easy.

境界音場制御(BoSC)は、キルヒホッフ・ヘルムホルツ積分方程式と逆システム理論を適用した手法である。ある再現したい音場の領域の境界面上の音圧と音圧勾配を測定し、逆システムを用いて、他の空間にその音圧と音圧勾配を再現することで音場を再現することができる。境界音場制御は、波面合成法のように広い範囲の音場を再現することはできないが、より高精度に音場を再現することができる。しかし、逆システム理論を適応させているため、境界音場制御の収音システムと再生システムは一対一の関係にある。それゆえに、境界音場制御の収音再生システムで利用できる音場情報は、別の境界音場制御の収音再生システムに利用することが難しいという点がある。また、同様の理由から、既存のステレオ音源、5.1chサラウンド音源などに活用することができない。   Boundary sound field control (BoSC) is a technique that applies Kirchhoff-Helmholtz integral equations and inverse system theory. Reproduce the sound field by measuring the sound pressure and sound pressure gradient on the boundary surface of the area of the sound field that you want to reproduce, and using the inverse system to reproduce the sound pressure and sound pressure gradient in another space Can do. The boundary sound field control cannot reproduce a wide range of sound fields like the wavefront synthesis method, but can reproduce sound fields with higher accuracy. However, since the inverse system theory is applied, there is a one-to-one relationship between the sound collection system and the reproduction system for boundary sound field control. Therefore, the sound field information that can be used in the boundary sound field control sound collection and reproduction system is difficult to use in another boundary sound field control sound collection and reproduction system. For the same reason, it cannot be used for an existing stereo sound source, 5.1ch surround sound source, or the like.

高次アンビソニックス(HOA)は、境界面の音場を球面調和関数を用いて表現し、キルヒホッフ・ヘルムホルツ積分方程式に基づき音場を再現する手法である(例えば、特許文献1参照。)。高次アンビソニックスでは、収音した音場情報を球面調和係数で表現するため、収音データはあらゆる再生システムに適応することができる。そのため、この収音データをステレオ再生や5.1chサラウンドなどの既存の再生システムに応用することが可能である。また、既存の音源データをアンビソニックスの再生システムに応用することも可能である。高次アンビソニックスはその適用できる範囲の広さから、今後、実用的な高臨場感システムとしての発展が予想される。   Higher order ambisonics (HOA) is a technique for representing a sound field at a boundary surface using a spherical harmonic function and reproducing the sound field based on the Kirchhoff-Helmholtz integral equation (see, for example, Patent Document 1). In higher-order ambisonics, the collected sound field information is expressed by spherical harmonic coefficients, so the collected sound data can be applied to any reproduction system. Therefore, the collected sound data can be applied to an existing reproduction system such as stereo reproduction or 5.1ch surround. It is also possible to apply existing sound source data to an ambisonics playback system. Higher-order ambisonics is expected to develop as a practical high-sense system because of its wide range of applicable areas.

特開2014−161122号公報JP, 2014-161122, A

ところで、従来の高次アンビソニックスは、音場を高い精度で再現できる領域(制御領域)を一つしか生成することができないという問題があった。例えば、車室内空間を考えた場合に、音楽等を聴取する利用者としては、運転者だけでなく、他の搭乗者も考慮する必要があるため、各利用者に対応する複数の制御領域が必要になるが、従来の高次アンビソニックスでは、一人の利用者にしか臨場感のある音場を提供できないことになる。   By the way, the conventional higher-order ambisonics has a problem that it can generate only one region (control region) in which the sound field can be reproduced with high accuracy. For example, when considering the interior space of a vehicle, it is necessary to consider not only the driver but also other passengers as users who listen to music, etc., so there are a plurality of control areas corresponding to each user. Although necessary, conventional high-order ambisonics can only provide a realistic sound field to one user.

本発明は、このような点に鑑みて創作されたものであり、その目的は、1あるいは複数の利用者のそれぞれに対応する制御領域において音場を高い精度で再現することができる音場再現システムを提供することにある。   The present invention was created in view of such points, and its purpose is to reproduce a sound field that can reproduce a sound field with high accuracy in a control region corresponding to each of one or a plurality of users. To provide a system.

上述した課題を解決するために、本発明の音場再現システムは、複数のスピーカと、複数のスピーカのそれぞれに対応しており、オーディオ信号に重み付けを行い、それぞれの重みに対応する利得が設定された複数の利得調整手段と、1人から複数人までの利用者の組み合わせ毎の聴取位置を想定し、所定の波面を用いて前記組み合わせ毎の聴取位置に対応する制御領域を実現するために必要な複数のスピーカのそれぞれに対応する重みを、前記組み合わせ毎に格納するスピーカ重み格納手段と、利用者の人数と聴取位置とによる実際の聴取形態に合わせて組み合わせの内容を決定する組み合わせ決定手段と、組み合わせ決定手段による決定内容に対応する複数のスピーカのそれぞれの重みをスピーカ重み格納手段から読み出して、複数の利得調整手段のそれぞれの利得を設定する利得設定手段とを備えている。また、組み合わせ決定手段は、利用者の人数と、複数のスピーカによる音響空間において実現される制御領域の数とが等しくなるように組み合わせの内容を決定することが望ましい。また、上述した所定の波面は平面波であることが望ましい。 In order to solve the above-described problems, the sound field reproduction system of the present invention is compatible with a plurality of speakers and a plurality of speakers, weights the audio signal, and sets a gain corresponding to each weight. In order to realize a control region corresponding to the listening position for each combination using a predetermined wavefront, assuming a listening position for each combination of a plurality of gain adjusting means and one to a plurality of users the weights corresponding to each of the required plurality of speakers, and the speaker weight storage means for storing for each of the combinations, the combination determining means for determining the content of the combination according to the actual listening mode by a number of people and the listening position of the user Then, the respective weights of the plurality of speakers corresponding to the content determined by the combination determining unit are read from the speaker weight storing unit, and a plurality of Gain setting means for setting each gain of the obtaining adjustment means. In addition, it is desirable that the combination determination unit determines the contents of the combination so that the number of users and the number of control areas realized in an acoustic space with a plurality of speakers are equal. The predetermined wavefront described above is preferably a plane wave.

利用者による実際の聴取形態に合わせて必要最小限の聴取位置を設定することが可能になるため、1あるいは複数の利用者のそれぞれに対応する制御領域において音場を高い精度で再現することができる。また、聴取位置の組み合わせを変更する際に、必要なスピーカの重みを読み出して利得の設定を行うだけであるため、音場を再現する際の処理の簡略化が可能となる。   Since it is possible to set the minimum required listening position according to the actual listening mode by the user, the sound field can be reproduced with high accuracy in the control area corresponding to each of one or a plurality of users. it can. Also, when changing the combination of listening positions, it is only necessary to read out the necessary speaker weights and set the gain, so that the process for reproducing the sound field can be simplified.

また、上述したスピーカ重み格納手段に格納されている重みは、複数のスピーカと1あるいは複数の制御領域との間の音場の伝達関数を用いて決定されることが望ましい。各スピーカと各制御領域の間の音場の伝達関数を用いて、例えば、音場を球面調和関数を用いて表現する高次アンビソニックスの手法を1あるいは複数の制御領域に対して適用して、各スピーカの重みを決定することにより、各制御領域において音場を高い精度で再現することが可能となる。   Further, it is desirable that the weight stored in the above-described speaker weight storage means is determined using a sound field transfer function between the plurality of speakers and one or a plurality of control regions. Using a transfer function of a sound field between each speaker and each control region, for example, applying a higher-order ambisonics method that expresses a sound field using a spherical harmonic function to one or more control regions. By determining the weight of each speaker, it is possible to reproduce the sound field in each control region with high accuracy.

また、上述したスピーカ重み格納手段に格納される重みは、伝達関数測定手段によって測定された伝達関数を用いてスピーカ重み決定手段によって決定されることが望ましい。音場を球面調和関数を用いて表現する高次アンビソニックスの手法を1あるいは複数の制御領域に対して同時に適用して各スピーカの重みを決定する際に、伝達関数を実測することにより、音響空間内で生じる反射等の影響を加味した伝達関数を得ることができ、1あるいは複数の制御領域において音場をさらに高い精度で再現することが可能となる。   The weight stored in the speaker weight storage means described above is preferably determined by the speaker weight determination means using the transfer function measured by the transfer function measurement means. By applying the higher-order ambisonics method, which expresses the sound field using spherical harmonics, to one or more control regions at the same time and determining the weight of each speaker, A transfer function that takes into account the influence of reflection or the like that occurs in the space can be obtained, and the sound field can be reproduced with higher accuracy in one or a plurality of control regions.

また、上述した伝達関数測定手段は、適応フィルタのタップ係数をLMSアルゴリズムを用いて設定することにより、伝達関数の同定を行うことが望ましい。特に、上述した伝達関数測定手段は、測定信号を発生する測定信号源と、測定信号が入力される適応フィルタと、測定信号を複数の制御領域が含まれる音響空間に出力する複数のスピーカと、複数の制御領域に設置されており、複数のスピーカから出力される音を収音するマイクロホンと、マイクロホンの出力信号と適応フィルタの出力信号の差を計算して誤差信号を出力する演算部と、測定信号と誤差信号とが入力されており、LMSアルゴリズムを用いることにより、適応フィルタのタップ係数を設定するLMSアルゴリズム処理部とを備え、適応フィルタの特性を伝達関数として同定を行うことが望ましい。これにより、正確に伝達関数を測定することが可能となる。   Further, it is desirable that the above-described transfer function measuring means identifies the transfer function by setting the tap coefficient of the adaptive filter using the LMS algorithm. In particular, the transfer function measuring means described above includes a measurement signal source that generates a measurement signal, an adaptive filter to which the measurement signal is input, a plurality of speakers that output the measurement signal to an acoustic space including a plurality of control regions, A microphone that is installed in a plurality of control areas, picks up sounds output from a plurality of speakers, a calculation unit that calculates a difference between the output signal of the microphone and the output signal of the adaptive filter, and outputs an error signal; A measurement signal and an error signal are input, and it is desirable to include an LMS algorithm processing unit for setting tap coefficients of the adaptive filter by using the LMS algorithm, and to identify the characteristics of the adaptive filter as a transfer function. This makes it possible to accurately measure the transfer function.

また、上述したスピーカ重み決定手段は、高次アンビソニックスの変換関数行列をB、スピーカの重み行列をP、伝達関数により各要素が設定される再変換関数行列をCとしたときに、これらの各行列間の関係に基づいて複数のスピーカの重みを決定することが望ましい。また、上述した変換関数行列B、スピーカの重み行列P、再変換関数行列Cの間には、CP=Bの関係式が成立し、スピーカ重み決定手段は、関係式に基づいて複数のスピーカの重みを決定することが望ましい。これにより、既知の値を有する変換関数行列Bおよび再変換関数行列Cを用いて複数のスピーカの重みを容易に決定することが可能となる。   The speaker weight determination means described above is such that when the high-order ambisonics conversion function matrix is B, the speaker weight matrix is P, and the reconversion function matrix in which each element is set by the transfer function is C, these It is desirable to determine the weights of a plurality of speakers based on the relationship between each matrix. Further, a relational expression of CP = B is established among the conversion function matrix B, the speaker weighting matrix P, and the reconversion function matrix C described above, and the speaker weight determining means determines whether the plurality of speakers are based on the relational expression. It is desirable to determine the weight. As a result, it is possible to easily determine the weights of a plurality of speakers using the transformation function matrix B and the retransformation function matrix C having known values.

また、利用者によって操作される操作手段をさらに備え、組み合わせ決定手段は、操作手段を用いた利用者の指示に応じて組み合わせの内容を決定することが望ましい。これにより、利用者による実際の聴取形態を、構成の複雑化を招くことなく容易に取得することが可能となる。   In addition, it is preferable that an operation unit operated by the user is further provided, and the combination determination unit determines the content of the combination in accordance with a user instruction using the operation unit. Thereby, it is possible to easily acquire the actual listening mode by the user without causing the configuration to be complicated.

また、所定の検出範囲内に含まれる1あるいは複数の利用者の聴取位置を検出する聴取位置検出手段をさらに備え、組み合わせ決定手段は、聴取位置検出手段によって検出された聴取位置に基づいて組み合わせの内容を決定することが望ましい。これにより、利用者自身が何らかの操作を行うことなく、利用者による実際の聴取形態を容易に取得することが可能となる。   The apparatus further comprises listening position detecting means for detecting listening positions of one or a plurality of users included in a predetermined detection range, and the combination determining means is configured to perform a combination based on the listening position detected by the listening position detecting means. It is desirable to determine the contents. Thereby, it is possible to easily acquire the actual listening mode by the user without performing any operation by the user himself.

原点から見た平面波の音場に着目した場合の伝達関数Cの球面調和表現を示す説明図である。It is explanatory drawing which shows the spherical harmonic expression of the transfer function C at the time of paying attention to the sound field of the plane wave seen from the origin. 各スピーカから原点以外に設定された制御領域までの伝達関数の説明図である。It is explanatory drawing of the transfer function from each speaker to the control area | region set other than the origin. 各スピーカから原点以外に設定された制御領域までの伝達関数の説明図である。It is explanatory drawing of the transfer function from each speaker to the control area | region set other than the origin. 再現した音場の制御領域の直径を示す図である。It is a figure which shows the diameter of the control area | region of the reproduced sound field. 音場再現装置の構成を示す図である。It is a figure which shows the structure of a sound field reproduction apparatus. 図5に示した音場再現装置を用いてスピーカの重みPを決定する動作手順を示す流れ図である。It is a flowchart which shows the operation | movement procedure which determines the weight P of a speaker using the sound field reproduction apparatus shown in FIG. 本発明を適用した一実施形態の音場制御装置の構成を示す図である。It is a figure which shows the structure of the sound field control apparatus of one Embodiment to which this invention is applied. 本実施形態で再現される複数の制御領域を実際の車室内空間に適用する場合の聴取位置の組み合わせの一例を示す説明図である。It is explanatory drawing which shows an example of the combination of a listening position in the case of applying the some control area reproduced by this embodiment to actual vehicle interior space. 実際の音響空間に合わせて、複数の聴取位置の中の少なくとも1つからなる任意の組み合わせK毎にスピーカの重みPを決定する音場再現装置の構成を示す図である。It is a figure which shows the structure of the sound field reproduction apparatus which determines the weight P of a speaker for every arbitrary combination K which consists of at least 1 in several listening positions according to actual acoustic space. 図9に示した伝達関数測定部の詳細構成を示す図である。It is a figure which shows the detailed structure of the transfer function measurement part shown in FIG. 図9および図10に示した音場再現装置を用いてスピーカの重みPを決定する動作手順を示す流れ図である。It is a flowchart which shows the operation | movement procedure which determines the weight P of a speaker using the sound field reproduction apparatus shown in FIG. 9 and FIG. C特性(伝達特性)同定を行う説明図である。It is explanatory drawing which performs C characteristic (transfer characteristic) identification. 変形例の音場制御装置の構成を示す図である。It is a figure which shows the structure of the sound field control apparatus of a modification.

以下、本発明を適用した一実施形態の音場再現システムについて、図面を参照しながら説明する。   A sound field reproduction system according to an embodiment to which the present invention is applied will be described below with reference to the drawings.

(1)球面調和関数
原点から見た平面波の音場は、
(1) Spherical harmonic function The sound field of a plane wave seen from the origin is

Figure 0006466251
Figure 0006466251

となる。ここで、 It becomes. here,

Figure 0006466251
Figure 0006466251

は、着目位置を示す位置ベクトル、 Is a position vector indicating the position of interest,

Figure 0006466251
Figure 0006466251

は、平面波の波数ベクトル、Jn(kr)は第1種球ベッセル関数、 Is the wave vector of plane waves, Jn (kr) is the first kind Bessel function,

Figure 0006466251
Figure 0006466251

は球面調和関数である。また、 Is a spherical harmonic function. Also,

Figure 0006466251
Figure 0006466251

は、 Is

Figure 0006466251
Figure 0006466251

となる。また、 It becomes. Also,

Figure 0006466251
Figure 0006466251

から見た平面波の音場は、 The sound field of plane waves seen from

Figure 0006466251
Figure 0006466251

となる。したがって、 It becomes. Therefore,

Figure 0006466251
Figure 0006466251

となる。ここで、 It becomes. here,

Figure 0006466251
Figure 0006466251

は、 Is

Figure 0006466251
Figure 0006466251

となる。 It becomes.

次に、   next,

Figure 0006466251
Figure 0006466251

にあるスピーカの音場は、 The sound field of the speaker in

Figure 0006466251
Figure 0006466251

となる。ここで、 It becomes. here,

Figure 0006466251
Figure 0006466251

は、 Is

Figure 0006466251
Figure 0006466251

となる。 It becomes.

Figure 0006466251
Figure 0006466251

から見た Seen from

Figure 0006466251
Figure 0006466251

にあるスピーカの音場は、 The sound field of the speaker in

Figure 0006466251
Figure 0006466251

となる。ここで、 It becomes. here,

Figure 0006466251
Figure 0006466251

は、以下のようになる。 Is as follows.

Figure 0006466251
Figure 0006466251

図1は、原点から見た平面波の音場に着目した場合の伝達関数Cの球面調和表現を示す説明図である。図1では、原点の周囲の円周上にM個のスピーカL1〜LMが配置されており、原点における高次アンビソニックス(HOA)の変換関数である FIG. 1 is an explanatory diagram showing a spherical harmonic expression of the transfer function C when attention is paid to a plane wave sound field viewed from the origin. In FIG. 1, M speakers L 1 to L M are arranged on the circumference around the origin, and this is a high-order ambisonics (HOA) conversion function at the origin.

Figure 0006466251
Figure 0006466251

が上述した(2)式で表される。また、各スピーカから原点までの伝達関数である Is expressed by the above-described equation (2). Also, the transfer function from each speaker to the origin

Figure 0006466251
Figure 0006466251

が上述した(9)式で表される。 Is expressed by the above-described equation (9).

(2)複数領域音場再現の基本的な考え方
任意の平面波の音場領域s1,s2,・・・,sNを、複数のスピーカL1,L2,・・・,LMを使って再現する。平面波の波数ベクトル
(2) the sound field area s 1 Basic Concept any plane waves of the plurality regions sound reproduction, s 2, ···, a s N, a plurality of speakers L 1, L 2, ···, a L M Use to reproduce. Wave vector of plane wave

Figure 0006466251
Figure 0006466251

The

Figure 0006466251
Figure 0006466251

とすると、平面波を再現するためには、以下のような、すべての領域(α)と球面調和関数(n,m)に対するスピーカの重みPaを求める必要がある。 When, in order to reproduce the plane wave, such as the following, it is necessary to obtain the weight P a speaker for all areas (alpha) and spherical harmonics (n, m).

Figure 0006466251
Figure 0006466251

よって、 Therefore,

Figure 0006466251
Figure 0006466251

Figure 0006466251
Figure 0006466251

は通常の高次アンビソニックス(HOA)の変換関数である。ここで、球面調和関数のorder(n)とdegree(m)が与えられているものとすると、各再現領域の変換関数は以下のようになる。 Is a normal high-order ambisonics (HOA) conversion function. Here, assuming that order (n) and degree (m) of the spherical harmonic functions are given, the conversion function of each reproduction region is as follows.

Figure 0006466251
Figure 0006466251

上式をまとめると、 To summarize the above formula:

Figure 0006466251
Figure 0006466251

したがって、複数領域再現式は以下のようになる。 Therefore, the multi-region reproduction formula is as follows.

Figure 0006466251
Figure 0006466251

スピーカの重みをP、高次アンビソニックス(HOA)変換行列をB、再変換行列をCとし、行列で表現すると、 When the speaker weight is P, the higher order ambisonics (HOA) transformation matrix is B, the retransformation matrix is C,

Figure 0006466251
Figure 0006466251

のようになる。ここで、各行列は以下のようになる。 become that way. Here, each matrix is as follows.

Figure 0006466251
Figure 0006466251

したがって、音場を再現するためのスピーカの重みは以下のようになる。 Therefore, the speaker weights for reproducing the sound field are as follows.

Figure 0006466251
Figure 0006466251

この重みをスピーカで出力することにより、音場を再現することができる。 The sound field can be reproduced by outputting this weight by a speaker.

このような手法では、スピーカから制御領域への音場の伝達関数を球面調和展開で表現し、各制御領域の伝達関数を求め、その伝達関数から、各音場を再現するようなスピーカの重みを求めることで、複数の制御領域の音場を再現している。   In such a technique, the transfer function of the sound field from the speaker to the control area is expressed by spherical harmonic expansion, the transfer function of each control area is obtained, and the weight of the speaker that reproduces each sound field from the transfer function is obtained. The sound field of a plurality of control areas is reproduced.

図2および図3は、各スピーカから原点以外に設定された制御領域までの伝達関数の説明図である。このようにして、原点以外に設定された複数の制御領域のそれぞれまでの伝達関数を求めることにより、(24)式で表される逆変換行列Cの各要素の値を決定することができる。これにより、(25)式の右辺の各要素が既知となって、各スピーカの重みを決定することが可能となる。   2 and 3 are explanatory diagrams of a transfer function from each speaker to a control region set other than the origin. Thus, the value of each element of the inverse transformation matrix C expressed by the equation (24) can be determined by obtaining the transfer function up to each of the plurality of control regions set other than the origin. Thereby, each element on the right side of the equation (25) becomes known, and the weight of each speaker can be determined.

図4は、再現した音場の制御領域の直径を示す図である。図4に示した例では、横軸で示されたX方向に沿って到来した平面波が生成され、その中にエラーが少ない箇所が4箇所存在することがわかる。具体的には、以下の位置に直径dの制御領域が再現されている。   FIG. 4 is a diagram showing the diameter of the reproduced sound field control region. In the example shown in FIG. 4, it can be seen that plane waves that have arrived along the X direction indicated by the horizontal axis are generated, and there are four locations with few errors. Specifically, a control region having a diameter d is reproduced at the following position.

x=−0.5m、y=0.5m :d=24cm
x=−0.5m、y=−0.5m :d=22cm
x=0.5m、y=0.5m :d=26cm
x=0.5m、y=−0.5m :d=32cm
この図4に示した例では、4箇所の制御領域を実現する場合を示しているが、これらの制御領域の直径dは、それぞれの制御領域の位置や個数によって変化する。特に、制御領域の数については、少ないほど直径dが大きくなり、多くなるに従って直径dが小さくなる傾向がある。したがって、利用者の数をNとし、実際の音響空間において実現する複数の制御領域の数をMとすると、上述した各制御領域の直径dをできるだけ大きく設定するためには、MをNと等しくすることが望ましく、大きな直径dを確保する観点からは、利用者の人数を超えて多くの制御領域を設定することは避けるべきである。
x = −0.5 m, y = 0.5 m: d = 24 cm
x = −0.5 m, y = −0.5 m: d = 22 cm
x = 0.5 m, y = 0.5 m: d = 26 cm
x = 0.5 m, y = −0.5 m: d = 32 cm
The example shown in FIG. 4 shows a case where four control areas are realized, but the diameter d of these control areas varies depending on the position and number of each control area. In particular, regarding the number of control areas, the smaller the diameter d, the larger the diameter d, and the larger the number, the smaller the diameter d. Therefore, if the number of users is N and the number of control regions realized in the actual acoustic space is M, M is set equal to N in order to set the diameter d of each control region as large as possible. From the viewpoint of securing a large diameter d, setting a large number of control areas beyond the number of users should be avoided.

(3)複数領域音場再現の具体的な構成
図5は、音場再現装置の構成の一例を示す図である。図5に示す音場再現装置100は、上述した(25)式に基づいてスピーカの重みPを決定する処理を行っており、制御領域位置設定部110、操作部112、伝達関数設定部120、HOA関数設定部130、スピーカ重み決定部140を備えている。
(3) Specific Configuration of Multi-field Sound Field Reproduction FIG. 5 is a diagram illustrating an example of the configuration of a sound field reproduction device. The sound field reproduction device 100 shown in FIG. 5 performs processing for determining the speaker weight P based on the above-described equation (25), and includes a control region position setting unit 110, an operation unit 112, a transfer function setting unit 120, An HOA function setting unit 130 and a speaker weight determination unit 140 are provided.

制御領域位置設定部110は、複数の制御領域の位置を設定する。操作部112は、利用者によって操作されるテンキーや各種つまみ、あるいはタッチパネル等を用いて構成されており、利用者によって入力される位置データ等の入力を受け付ける。上述した制御領域位置設定部110は、この操作部112を用いた利用者の指示(位置データ)に基づいて複数の制御領域の位置を設定する。   The control area position setting unit 110 sets the positions of a plurality of control areas. The operation unit 112 is configured using a numeric keypad, various knobs, a touch panel, or the like operated by the user, and receives input of position data and the like input by the user. The control area position setting unit 110 described above sets the positions of a plurality of control areas based on a user instruction (position data) using the operation unit 112.

伝達関数設定部120は、複数のスピーカと複数の制御領域との間の音場の伝達関数を球面調和展開で表現し、制御領域位置設定部110によって設定された複数の制御領域の位置を用いて、上述した(11)〜(13)式で示された伝達関数を設定(算出)する。   The transfer function setting unit 120 expresses the transfer function of the sound field between the plurality of speakers and the plurality of control regions by spherical harmonic expansion, and uses the positions of the plurality of control regions set by the control region position setting unit 110. Then, the transfer function shown by the above-described equations (11) to (13) is set (calculated).

HOA関数設定部130は、高次アンビソニックス変換関数を設定する。具体的には、上述した(23)式で示された高次アンビソニックス変換関数行列の各要素の値を保持する。   The HOA function setting unit 130 sets a high-order ambisonics conversion function. Specifically, the value of each element of the high-order ambisonics transformation function matrix expressed by the above-described equation (23) is held.

スピーカ重み決定部140は、伝達関数設定部120によって設定された伝達関数を用いて、平面波による複数の制御領域を再現するために必要な複数のスピーカの重みであって、複数のスピーカに入力するオーディオ信号に重み付けを行う重みを決定する。   The speaker weight determination unit 140 uses a transfer function set by the transfer function setting unit 120 to input a plurality of speaker weights necessary for reproducing a plurality of control areas by plane waves to the plurality of speakers. A weight for weighting the audio signal is determined.

具体的には、高次アンビソニックスの変換関数行列をB、スピーカの重み行列をP、伝達関数により各要素が設定される再変換関数行列をCとしたときに、上述した(21)式で示された関係式が成立する。スピーカ重み決定部140は、この(21)式に基づいて、実際には上述した(25)式を用いて、複数のスピーカの重み行列Pを決定する。   Specifically, when the transformation function matrix of higher-order ambisonics is B, the weight matrix of the speaker is P, and the reconversion function matrix in which each element is set by the transfer function is C, The indicated relational expression holds. The speaker weight determination unit 140 actually determines the weight matrix P of a plurality of speakers using the above-described equation (25) based on the equation (21).

図6は、図5に示した音場再現装置100を用いてスピーカの重みPを決定する動作手順を示す流れ図である。   FIG. 6 is a flowchart showing an operation procedure for determining the speaker weight P using the sound field reproduction device 100 shown in FIG.

まず、制御領域位置設定部110は、複数の制御領域の位置を設定する(ステップ100)。   First, the control region position setting unit 110 sets the positions of a plurality of control regions (step 100).

次に、伝達関数設定部120は、制御領域位置設定部110によって設定された複数の制御領域の位置を用いて伝達関数を設定する(ステップ102)。   Next, the transfer function setting unit 120 sets a transfer function using the positions of the plurality of control regions set by the control region position setting unit 110 (step 102).

次に、スピーカ重み決定部140は、伝達関数設定部120によって設定された伝達関数を用いて、複数の制御領域を再現するために必要な複数のスピーカの重みであって、複数のスピーカに入力するオーディオ信号に重み付けを行う重みを決定する(ステップ104)。   Next, the speaker weight determination unit 140 uses the transfer function set by the transfer function setting unit 120 to input a plurality of speaker weights necessary for reproducing a plurality of control areas. The weight for weighting the audio signal is determined (step 104).

ところで、本発明の音場再現システムは、利用者の聴取位置となり得る位置の組み合わせを予め想定し、それぞれの組み合わせに対応する1あるいは複数の制御領域の音場を再現するものである。図7は、本発明を適用した一実施形態の音場制御装置の構成を示す図である。   By the way, the sound field reproduction system of the present invention reproduces the sound field of one or a plurality of control regions corresponding to each combination by assuming a combination of positions that can be the listening position of the user in advance. FIG. 7 is a diagram showing a configuration of a sound field control apparatus according to an embodiment to which the present invention is applied.

図7に示す音場制御装置500は、オーディオ装置600の出力側に接続されており、M個の増幅器510−1、510−2、・・・、510−M、パラメータ格納部520、パラメータ設定部526、組み合わせ決定部522、操作部524、M個のスピーカ530−1、530−2、・・・、530−M、を備えている。   A sound field control device 500 shown in FIG. 7 is connected to the output side of the audio device 600, and includes M amplifiers 510-1, 510-2,..., 510-M, a parameter storage unit 520, parameter setting. A unit 526, a combination determination unit 522, an operation unit 524, and M speakers 530-1, 530-2,..., 530-M.

増幅器510−1等のそれぞれは、利得が変更可能であって、オーディオ装置600から入力されるオーディオ信号を所定の利得で増幅(あるいは減衰)して出力する。出力されたオーディオ信号は、1対1に対応するスピーカ530−1等に入力される。   Each of the amplifiers 510-1 and the like can change the gain, and amplifies (or attenuates) the audio signal input from the audio device 600 with a predetermined gain and outputs the amplified signal. The output audio signal is input to the speaker 530-1 or the like corresponding to one to one.

パラメータ格納部520は、1あるいは複数の利用者による聴取位置を想定し、所定の波面を用いて、聴取位置に1対1に対応する1あるいは複数の制御領域を実現するために必要な複数のスピーカ530−1等のそれぞれに対応する重みを、複数の聴取位置の中の少なくとも1つからなる任意の組み合わせK毎に格納する。   The parameter storage unit 520 assumes a listening position by one or a plurality of users, and uses a predetermined wavefront, and a plurality of control areas necessary for realizing one or a plurality of control areas corresponding to the listening position on a one-to-one basis. A weight corresponding to each of the speakers 530-1 and the like is stored for each arbitrary combination K including at least one of a plurality of listening positions.

組み合わせ決定部522は、利用者による実際の聴取形態に合わせて聴取位置の組み合わせKを決定する。具体的には、本実施形態の音場制御装置500には、利用者によって操作される操作部524が備わっており、組み合わせ決定部522は、操作部524を用いた利用者の指示に応じて聴取位置の組み合わせKを決定する。   The combination determination unit 522 determines the listening position combination K in accordance with the actual listening mode by the user. Specifically, the sound field control device 500 of the present embodiment includes an operation unit 524 operated by a user, and the combination determination unit 522 responds to a user instruction using the operation unit 524. A listening position combination K is determined.

上述した増幅器510−1等が利得調整手段に、パラメータ格納部520がスピーカ重み格納手段に、組み合わせ決定部522が組み合わせ決定手段に、パラメータ設定部526が利得設定手段に、操作部524が操作手段にそれぞれ対応する。   The amplifier 510-1 and the like described above are gain adjusting means, the parameter storage unit 520 is speaker weight storage means, the combination determination unit 522 is combination determination means, the parameter setting unit 526 is gain setting means, and the operation unit 524 is operation means. Correspond to each.

図8は、本実施形態で再現される複数の制御領域を実際の車室内空間に適用する場合の聴取位置の組み合わせの一例を示す説明図である。図8に示す車室内空間S1には複数の座席D(例えば6席)が備わっており、最小で運転者1人の場合から最大で運転者が1人と他の搭乗者が5人で合計6人の場合までに対応した聴取位置の組み合わせが考えられる。   FIG. 8 is an explanatory diagram illustrating an example of a combination of listening positions when a plurality of control regions reproduced in the present embodiment are applied to an actual vehicle interior space. The vehicle interior space S1 shown in FIG. 8 is provided with a plurality of seats D (for example, 6 seats), which is a minimum of one driver and a maximum of one driver and five other passengers. Combinations of listening positions corresponding to up to six people are possible.

利用者は、図8に示す6つの座席Dの中で、1あるいは複数の聴取位置を選択する。この選択では、オーディオ音の聴取を実際に行う1あるいは複数の利用者の着座位置が指定される。例えば、図8に示した6つの座席Dが模式的に表された座席図が表示装置(図示せず)に表示された状態で、利用者によって操作部524が操作され、1あるいは複数の座席Dが選択される。なお、必ずしも模式的な座席図を用いる必要はなく、「前列・中列・後列」と「左・右」の組み合わせの内容を指定できればよい。組み合わせ決定部522は、操作部524の操作結果に応じて聴取位置の組み合わせKを決定する。   The user selects one or a plurality of listening positions among the six seats D shown in FIG. In this selection, the seating positions of one or more users who actually listen to the audio sound are designated. For example, the operation unit 524 is operated by the user in a state where a seat diagram schematically representing the six seats D shown in FIG. 8 is displayed on a display device (not shown), and one or a plurality of seats are operated. D is selected. Note that it is not always necessary to use a schematic seat map, and it is only necessary to specify the content of the combination of “front row / middle row / back row” and “left / right”. The combination determination unit 522 determines the listening position combination K according to the operation result of the operation unit 524.

パラメータ設定部526は、組み合わせ決定部524によって決定された組み合わせKに対応する複数のスピーカ530−1等のそれぞれの重みをパラメータ格納部520から読み出して、増幅器510−1等のそれぞれの利得を設定する。具体的には、組み合わせKに対応して、上述した(25)式を用いて決定したスピーカの重み行列Pの各要素であるP1,P2,・・・,PMのそれぞれを、増幅器510−1、510−2、・・・、510−Mのそれぞれの利得として設定する。 The parameter setting unit 526 reads the weights of the plurality of speakers 530-1 and the like corresponding to the combination K determined by the combination determination unit 524 from the parameter storage unit 520, and sets the gains of the amplifiers 510-1 and the like. To do. Specifically, corresponding to the combination K, each of the elements P 1 , P 2 ,..., P M of the speaker weight matrix P determined by using the above-described equation (25) is used as an amplifier. 510-1, 510-2,..., 510-M.

このように、本実施形態の音場再現システムでは、音場を球面調和関数を用いて表現する高次アンビソニックスの手法を1あるいは複数の制御領域に対して同時に適用して、各スピーカの重みを決定することにより、1あるいは複数の制御領域において音場を高い精度で再現することが可能となる。   As described above, in the sound field reproduction system of this embodiment, the higher-order ambisonics method for expressing the sound field using a spherical harmonic function is simultaneously applied to one or a plurality of control regions, and the weight of each speaker is determined. It is possible to reproduce the sound field with high accuracy in one or a plurality of control areas.

また、利用者が操作部524を操作して複数の制御領域の位置を指定しているため、利用者が指定した複数の位置における音場を高い精度で実現することができる。   In addition, since the user operates the operation unit 524 to specify the positions of the plurality of control areas, the sound field at the plurality of positions specified by the user can be realized with high accuracy.

また、上述した(25)式を用いることにより、既知の値を有する変換関数行列Bおよび再変換関数行列Cを用いて複数のスピーカの重みを容易に決定することが可能となる。   Also, by using the above-described equation (25), it is possible to easily determine the weights of a plurality of speakers using the conversion function matrix B and the reconversion function matrix C having known values.

図9は、実際の音響空間(例えば、図8に示す車室内空間)に合わせて、複数の聴取位置の中の少なくとも1つからなる任意の組み合わせK毎にスピーカの重みPを決定する音場再現装置の構成を示す図である。図9に示す音場再現装置200は、聴取位置の複数の組み合わせKのそれぞれについて、上述した(25)式に基づいてスピーカの重みPを決定する処理を行っており、組み合わせ設定部210、伝達関数測定部220、HOA関数設定部130、スピーカ重み決定部140を備えている。HOA関数設定部130とスピーカ重み決定部140は、図5に示したものと基本的に同じであり、以下では組み合わせ設定部210と伝達関数測定部220について詳細に説明する。   FIG. 9 shows a sound field in which the speaker weight P is determined for each arbitrary combination K consisting of at least one of a plurality of listening positions in accordance with the actual acoustic space (for example, the vehicle interior space shown in FIG. 8). It is a figure which shows the structure of a reproduction apparatus. The sound field reproduction device 200 shown in FIG. 9 performs a process of determining the speaker weight P based on the above-described equation (25) for each of a plurality of combinations K of listening positions. A function measurement unit 220, a HOA function setting unit 130, and a speaker weight determination unit 140 are provided. The HOA function setting unit 130 and the speaker weight determination unit 140 are basically the same as those shown in FIG. 5, and the combination setting unit 210 and the transfer function measurement unit 220 will be described in detail below.

組み合わせ設定部210は、聴取位置の複数の組み合わせKの中から1つを指定し、この指定した組み合わせKに対応する1あるいは複数の制御領域を設定する。   The combination setting unit 210 designates one of a plurality of combinations K of listening positions, and sets one or a plurality of control areas corresponding to the designated combination K.

伝達関数測定部220は、複数のスピーカ530−1等と、組み合わせ設定部210によって設定した1あるいは複数の制御領域との間の音場の伝達関数を測定する。この伝達関数測定部220は、適応フィルタのタップ係数をLMSアルゴリズムを用いて設定することにより、伝達関数の同定を行う。   The transfer function measurement unit 220 measures the transfer function of the sound field between the plurality of speakers 530-1 and the like and one or more control regions set by the combination setting unit 210. The transfer function measurement unit 220 identifies the transfer function by setting the tap coefficient of the adaptive filter using the LMS algorithm.

上述した伝達関数測定部220が伝達関数測定手段に、スピーカ重み決定部140がスピーカ重み決定手段にそれぞれ対応する。   The transfer function measuring unit 220 described above corresponds to the transfer function measuring unit, and the speaker weight determining unit 140 corresponds to the speaker weight determining unit.

図10は、図9に示した伝達関数測定部220の詳細構成を示す図である。図10に示すように、伝達関数測定部220は、測定信号源221、スイッチ222、226、C特性同定部224、N個のマイクロホン225−1、225−2、・・・、M個のスピーカ530−1、530−2、・・・を備える。   FIG. 10 is a diagram showing a detailed configuration of the transfer function measuring unit 220 shown in FIG. As shown in FIG. 10, the transfer function measurement unit 220 includes a measurement signal source 221, switches 222 and 226, a C characteristic identification unit 224, N microphones 225-1, 225-2,..., M speakers. 530-1, 530-2,.

測定信号源221は、伝達関数測定のための測定信号(例えば、白色ノイズ信号)を発生する。スイッチ222は、測定信号源221から出力される測定信号をM個のスピーカ530−1等のいずれかに選択的に入力する。C特性同定部224は、M個のスピーカ530−1等のそれぞれとN個のマイクロホン225−1等の中の1つあるいは複数(着目している組み合わせKに含まれる聴取位置に1対1に対応するマイクロホン)との間の音響空間の伝達関数を同定する。伝達関数を同定する具体的な構成および動作については後述する。スイッチ226は、N個のマイクロホン225−1等の出力の中から、着目している組み合わせKに含まれる聴取位置に1対1に対応する出力を選択してC特性同定部224に入力する。   The measurement signal source 221 generates a measurement signal (for example, a white noise signal) for measuring a transfer function. The switch 222 selectively inputs the measurement signal output from the measurement signal source 221 to any of the M speakers 530-1 or the like. The C characteristic identification unit 224 has one or more of each of the M speakers 530-1, etc. and one of the N microphones 225-1, etc. (one-to-one at the listening position included in the combination K of interest). The transfer function of the acoustic space with the corresponding microphone) is identified. A specific configuration and operation for identifying the transfer function will be described later. The switch 226 selects an output corresponding to the listening position included in the combination K of interest from among the outputs of the N microphones 225-1 and the like, and inputs the selected output to the C characteristic identification unit 224.

ところで、この実施形態におけるM個のスピーカ530−1等とN個のマイクロホン225−1等の配置は、実際に音響空間を用いて行われる。例えば、図8に示した例では、車室内空間に設置された6つの座席Dに6人の利用者が着座する場合の各利用者の頭部位置に6個のマイクロホン225−1等が設置され、これらの座席を囲むように車室内空間を形成する壁面に沿ってM個のスピーカ510−1等が設置される。組み合わせ設定部210によって組み合わせKが指定されると、この組み合わせK(あるいは、この組み合わせに対応する聴取位置を特定する情報)がスイッチ226に入力される。スイッチ226は、組み合わせKに含まれる聴取位置に1対1に対応する座席に設置されたマイクロホン225−1等の出力のみをC特性同定部224に入力する選択動作を行う。   By the way, the arrangement of the M speakers 530-1 and the like and the N microphones 225-1 and the like in this embodiment is actually performed using an acoustic space. For example, in the example shown in FIG. 8, six microphones 225-1 and the like are installed at the head position of each user when six users are seated in six seats D installed in the vehicle interior space. Then, M speakers 510-1 and the like are installed along the wall surface forming the vehicle interior space so as to surround these seats. When the combination K is designated by the combination setting unit 210, the combination K (or information for specifying the listening position corresponding to the combination) is input to the switch 226. The switch 226 performs a selection operation in which only the output of the microphone 225-1 or the like installed in the seat corresponding to the listening position included in the combination K is input to the C characteristic identification unit 224.

図11は、図9および図10に示した音場再現装置200を用いてスピーカの重みPを決定する動作手順を示す流れ図である。   FIG. 11 is a flowchart showing an operation procedure for determining the speaker weight P using the sound field reproduction device 200 shown in FIGS. 9 and 10.

まず、組み合わせ設定部210は、聴取位置の複数の組み合わせKの中から1つを選択する(ステップ200)。次に、組み合わせ設定部210(あるいは、他の制御部(図示せず、C特性同定部224が同じ動作を行うようにしてもよい))は、選択された組み合わせKに含まれる1つの制御領域に対応する1つのマイクロホン225−1等を選択するとともに(ステップ202)、1つのスピーカ530−1等を選択する(ステップ204)。   First, the combination setting unit 210 selects one from a plurality of combinations K of listening positions (step 200). Next, the combination setting unit 210 (or another control unit (not shown, and the C characteristic identification unit 224 may perform the same operation)) includes one control region included in the selected combination K. One microphone 225-1 etc. corresponding to is selected (step 202), and one speaker 530-1 etc. is selected (step 204).

次に、測定信号源221から測定信号を出力する(ステップ206)。この測定信号は、ステップ204で選択されたスピーカ530−1等から出力される。   Next, a measurement signal is output from the measurement signal source 221 (step 206). This measurement signal is output from the speaker 530-1 selected in step 204.

次に、C特性同定部224は、ステップ202で選択されたマイクロホン225−1等によってこの測定信号を収音し(ステップ208)、選択されたスピーカとマイクロホン間のC特性(伝達関数)を同定する(ステップ210)。   Next, the C characteristic identification unit 224 picks up the measurement signal using the microphone 225-1 selected in Step 202 (Step 208), and identifies the C characteristic (transfer function) between the selected speaker and the microphone. (Step 210).

次に、組み合わせ設定部210は、選択していない他のスピーカがあるか否かを判定する(ステップ212)。ある場合には肯定判断が行われ、ステップ204に戻って他のスピーカについて同様の同定動作が繰り返される。また、すべてのスピーカについての同定動作が終了するとステップ212の判定において否定判断が行われる。   Next, the combination setting unit 210 determines whether there is another speaker that has not been selected (step 212). In some cases, an affirmative determination is made, and the process returns to step 204 to repeat the same identification operation for other speakers. Further, when the identification operation for all the speakers is completed, a negative determination is made in the determination in step 212.

次に、組み合わせ設定部210は、選択していない他の制御領域(他のマイクロホン)があるか否かを判定する(ステップ214)。ある場合には肯定判断が行われ、ステップ202に戻って他の制御領域について同様の同定動作が繰り返される。また、すべての制御領域についての同定動作が終了するとステップ214の判定において否定判断が行われる。   Next, the combination setting unit 210 determines whether there is another control area (other microphone) that has not been selected (step 214). In some cases, an affirmative determination is made, and the process returns to step 202 to repeat the same identification operation for other control regions. Further, when the identification operation for all the control regions is completed, a negative determination is made in the determination of step 214.

次に、スピーカ重み決定部140は、すべてのスピーカと組み合わせKに対応する1あるいは複数のマイクロホンとの組み合わせについて測定した伝達関数を用いて、組み合わせKに対応する1あるいは複数の制御領域を再現するために必要なM個のスピーカの重みであって、これらM個のスピーカに入力するオーディオ信号に重み付けを行う重みを決定する(ステップ216)。   Next, the speaker weight determination unit 140 reproduces one or a plurality of control regions corresponding to the combination K using a transfer function measured for a combination of all speakers and one or a plurality of microphones corresponding to the combination K. Therefore, the weights of the M speakers necessary to weight the audio signals input to the M speakers are determined (step 216).

次に、組み合わせ設定部210は、選択していない他の組み合わせKがあるか否かを判定する(ステップ218)。未選択の組み合わせKが存在する場合には肯定判断が行われ、ステップ200に戻って他の組み合わせKの選択動作以降の処理が繰り返される。また、全ての組み合わせKについて選択が終了した場合にはステップ218の判定において否定判断が行われ、全ての組み合わせKについてスピーカ重みの重みを決定する一連の処理が終了する。   Next, the combination setting unit 210 determines whether there is another combination K that has not been selected (step 218). If there is an unselected combination K, an affirmative determination is made, and the process returns to step 200 and the processing after the selection operation of another combination K is repeated. When selection for all combinations K is completed, a negative determination is made in the determination in step 218, and a series of processes for determining the weights of speaker weights for all combinations K is completed.

次に、C特性(伝達特性)を同定する具体的な構成と動作について説明する。図12は、C特性(伝達特性)同定を行う説明図である。図12に示す説明図では、例えばスピーカ530−1とマイクロホン225−1との間のC特性を同定する場合が示されている。   Next, a specific configuration and operation for identifying the C characteristic (transfer characteristic) will be described. FIG. 12 is an explanatory diagram for performing C characteristic (transfer characteristic) identification. In the explanatory diagram shown in FIG. 12, for example, the case where the C characteristic between the speaker 530-1 and the microphone 225-1 is identified is shown.

図12に示すように、C特性同定部224は、適応フィルタ224A、演算部224B、LMSアルゴリズム処理部224Cを備えており、適応フィルタ224Aの特性を伝達関数として同定を行う。   As shown in FIG. 12, the C characteristic identification unit 224 includes an adaptive filter 224A, a calculation unit 224B, and an LMS algorithm processing unit 224C, and identifies the characteristic of the adaptive filter 224A as a transfer function.

適応フィルタ224Aは、測定信号源221から出力される測定信号が入力されるFIR型のフィルタである。演算部224Bは、マイクロホン530−1等の出力信号と適応フィルタ224Aの出力信号の差分を計算して誤差信号εを出力する。   The adaptive filter 224A is an FIR type filter to which the measurement signal output from the measurement signal source 221 is input. The arithmetic unit 224B calculates the difference between the output signal of the microphone 530-1 and the like and the output signal of the adaptive filter 224A, and outputs an error signal ε.

LMSアルゴリズム処理部224Cは、測定信号と誤差信号とが入力されており、適応アルゴリズムとしてLMSアルゴリズムを用いることにより適応フィルタ224Aのタップ係数W(n)を設定する。   The LMS algorithm processing unit 224C receives the measurement signal and the error signal, and sets the tap coefficient W (n) of the adaptive filter 224A by using the LMS algorithm as the adaptive algorithm.

このように、本実施形態の音場再現装置200では、音場を球面調和関数を用いて表現する高次アンビソニックスの手法を複数の制御領域に対して同時に適用して各スピーカの重みを決定する際に、伝達関数を実測することにより、音響空間内で生じる反射等の影響を加味した伝達関数を得ることができ、複数の制御領域において音場をさらに高い精度で再現することが可能となる。   As described above, in the sound field reproduction device 200 according to the present embodiment, the weight of each speaker is determined by simultaneously applying a higher-order ambisonics method that expresses a sound field using a spherical harmonic function to a plurality of control regions. When measuring the transfer function, it is possible to obtain a transfer function that takes into account the effects of reflection, etc. that occur in the acoustic space, and to reproduce the sound field in a plurality of control areas with higher accuracy. Become.

このように、本実施形態の音場再現システムでは、利用者による実際の聴取形態に合わせて必要最小限の聴取位置を設定することが可能になるため、1あるいは複数の利用者のそれぞれに対応する制御領域において音場を高い精度で再現することができる。また、聴取位置の組み合わせKを変更する際に、必要なスピーカの重みPを読み出して利得の設定を行うだけであるため、音場を再現する際の処理の簡略化が可能となる。   As described above, in the sound field reproduction system according to the present embodiment, it is possible to set a minimum listening position according to the actual listening form by the user, and therefore it corresponds to each of one or a plurality of users. The sound field can be reproduced with high accuracy in the control region. Also, when changing the listening position combination K, only the necessary speaker weight P is read and the gain is set, so that the process for reproducing the sound field can be simplified.

また、パラメータ格納部520に格納されている重みPは、伝達関数測定部220によって測定された伝達関数を用いてスピーカ重み決定部140によって決定される。音場を球面調和関数を用いて表現する高次アンビソニックスの手法を1あるいは複数の制御領域に対して同時に適用して各スピーカの重みPを決定する際に、伝達関数を実測することにより、音響空間内で生じる反射等の影響を加味した伝達関数を得ることができ、1あるいは複数の制御領域において音場をさらに高い精度で再現することが可能となる。   In addition, the weight P stored in the parameter storage unit 520 is determined by the speaker weight determination unit 140 using the transfer function measured by the transfer function measurement unit 220. When the weight P of each speaker is determined by simultaneously applying a higher-order ambisonics method for expressing a sound field using a spherical harmonic function to one or a plurality of control regions, A transfer function that takes into account the influence of reflection or the like that occurs in the acoustic space can be obtained, and the sound field can be reproduced with higher accuracy in one or a plurality of control regions.

また、伝達関数測定部220は、適応フィルタのタップ係数をLMSアルゴリズムを用いて設定することにより、伝達関数の同定を行っている。特に、伝達関数測定部220は、測定信号を発生する測定信号源221と、測定信号が入力される適応フィルタ224Aと、測定信号を複数の制御領域が含まれる音響空間に出力する複数のスピーカ530−1等と、複数の制御領域に設置されており、複数のスピーカ530−1等から出力される音を収音するマイクロホン225−1等と、マイクロホン225−1等の出力信号と適応フィルタ224Aの出力信号の差を計算して誤差信号を出力する演算部224Bと、測定信号と誤差信号とが入力されており、LMSアルゴリズムを用いることにより、適応フィルタ224Aのタップ係数を設定するLMSアルゴリズム処理部224Cとを備え、適応フィルタ224Aの特性を伝達関数として同定を行っている。これにより、正確に伝達関数を測定することが可能となる。   The transfer function measurement unit 220 identifies the transfer function by setting the tap coefficient of the adaptive filter using the LMS algorithm. In particular, the transfer function measurement unit 220 includes a measurement signal source 221 that generates a measurement signal, an adaptive filter 224A to which the measurement signal is input, and a plurality of speakers 530 that output the measurement signal to an acoustic space including a plurality of control regions. -1 etc., which are installed in a plurality of control areas and pick up sound output from a plurality of speakers 530-1 etc., output signals from the microphone 225-1 etc. and the adaptive filter 224A The calculation unit 224B that calculates the difference between the output signals and outputs the error signal, the measurement signal and the error signal are input, and the LMS algorithm processing that sets the tap coefficient of the adaptive filter 224A by using the LMS algorithm 224C, and the characteristic of the adaptive filter 224A is identified as a transfer function. This makes it possible to accurately measure the transfer function.

また、スピーカ重み決定部140は、高次アンビソニックスの変換関数行列をB、スピーカの重み行列をP、伝達関数により各要素が設定される再変換関数行列をCとしたときに、これらの各行列間の関係に基づいて複数のスピーカの重みを決定している。また、上述した変換関数行列B、スピーカの重み行列P、再変換関数行列Cの間には、CP=Bの関係式が成立し、スピーカ重み決定部140は、上述した関係式に基づいて複数のスピーカの重みPを決定している。これにより、既知の値を有する変換関数行列Bおよび再変換関数行列Cを用いて複数のスピーカ530−1等の重みを容易に決定することが可能となる。   Further, the speaker weight determination unit 140 has a higher-order ambisonics conversion function matrix as B, a speaker weight matrix as P, and a reconversion function matrix in which each element is set by a transfer function as C. The weights of a plurality of speakers are determined based on the relationship between the matrices. Further, a relational expression of CP = B is established among the conversion function matrix B, the speaker weight matrix P, and the reconversion function matrix C described above, and the speaker weight determination unit 140 is configured based on the above relational expressions. The speaker weight P is determined. This makes it possible to easily determine the weights of the plurality of speakers 530-1, etc., using the conversion function matrix B and the reconversion function matrix C having known values.

また、利用者によって操作される操作部524を備えており、組み合わせ決定部522は、操作部524を用いた利用者の指示に応じて組み合わせの内容を決定している。これにより、利用者による実際の聴取形態を、構成の複雑化を招くことなく容易に取得することが可能となる。   In addition, an operation unit 524 operated by the user is provided, and the combination determination unit 522 determines the content of the combination in accordance with a user instruction using the operation unit 524. Thereby, it is possible to easily acquire the actual listening mode by the user without causing the configuration to be complicated.

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、利用者が操作部524を操作して聴取位置の組み合わせKを指示するようにしたが、自動で検出するようにしてもよい。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, in the above-described embodiment, the user operates the operation unit 524 to instruct the listening position combination K, but may be automatically detected.

図13は、変形例の音場制御装置500Aの構成を示す図である。図13に示す音場制御装置500Aは、図7に示した音場制御装置500に対して、操作部524を聴取位置検出部524Aに置き換えた点が異なっている。聴取位置検出部524Aが聴取位置検出手段に対応する。この聴取位置検出部524Aは、例えば、車室内空間を撮像するカメラと、撮像された画像に含まれる人の頭部位置を認識する画像処理部を含んで構成されている。この聴取位置検出部524Aによって、どの座席に利用者が着座しているか、この利用者は大人か子供かを、利用者が特別な操作を行うことなく検出することができる。なお、パラメータ格納部520には各聴取位置に対応して予め測定された伝達関数を格納しておく必要があるため、検出した大人あるいは子供の頭部位置そのものを用いるのではなく、これらに近い代表値を予め用意しておいて、最も近い代表値を選択する必要がある。組み合わせ決定部522は、聴取位置検出部524Aによって検出された聴取位置に基づいて組み合わせの内容を決定する。これにより、利用者自身が何らかの操作を行うことなく、利用者による実際の聴取形態を容易に取得することが可能となる。   FIG. 13 is a diagram showing a configuration of a modified sound field control device 500A. The sound field control device 500A shown in FIG. 13 differs from the sound field control device 500 shown in FIG. 7 in that the operation unit 524 is replaced with a listening position detection unit 524A. The listening position detector 524A corresponds to the listening position detector. The listening position detection unit 524A includes, for example, a camera that images a vehicle interior space and an image processing unit that recognizes a human head position included in the captured image. The listening position detection unit 524A can detect in which seat the user is seated and whether the user is an adult or a child without performing a special operation by the user. In addition, since it is necessary to store the transfer function measured beforehand corresponding to each listening position in the parameter storage unit 520, the detected head position of the adult or child is not used, but close to these. It is necessary to prepare a representative value in advance and select the closest representative value. The combination determination unit 522 determines the content of the combination based on the listening position detected by the listening position detection unit 524A. Thereby, it is possible to easily acquire the actual listening mode by the user without performing any operation by the user himself.

また、上述した実施形態では、複数の制御領域が含まれる具体例として車室内空間を説明したが、本発明を適用する音響空間はこれら以外、例えば、ホームシアター用の室内などであってもよい。   In the above-described embodiment, the vehicle interior space has been described as a specific example including a plurality of control areas. However, the acoustic space to which the present invention is applied may be, for example, a room for a home theater.

また、上述した実施形態では、平面波によって複数の制御領域を再現する場合について説明したが、平面波以外の所定の波面を用いて複数の制御領域を再現する場合についても本発明を適用することができる。   In the above-described embodiment, a case where a plurality of control areas are reproduced by plane waves has been described. However, the present invention can also be applied to a case where a plurality of control areas are reproduced using a predetermined wavefront other than plane waves. .

上述したように、本発明によれば、利用者による実際の聴取形態に合わせて必要最小限の聴取位置を設定することが可能になるため、1あるいは複数の利用者のそれぞれに対応する制御領域において音場を高い精度で再現することができる。また、聴取位置の組み合わせを変更する際に、必要なスピーカの重みを読み出して利得の設定を行うだけであるため、音場を再現する際の処理の簡略化が可能となる。   As described above, according to the present invention, it is possible to set the minimum necessary listening position in accordance with the actual listening mode by the user. Therefore, the control area corresponding to each of one or a plurality of users. The sound field can be reproduced with high accuracy. Also, when changing the combination of listening positions, it is only necessary to read out the necessary speaker weights and set the gain, so that the process for reproducing the sound field can be simplified.

100、200 音場再現装置
110 制御領域位置設定部
112 操作部
120 伝達関数設定部
130 HOA関数設定部
140 スピーカ重み決定部
210 組み合わせ設定部
220 伝達関数測定部
221 測定信号源
222 スイッチ
224 C特性同定部
225−1、225−2、・・・ マイクロホン
500 音場制御装置
510−1、510−2、・・・ 増幅器
520 パラメータ格納部
522 組み合わせ決定部
524 操作部
524A 聴取位置検出部
526 パラメータ設定部
530−1、530−2、・・・ スピーカ
600 オーディオ装置
100, 200 Sound field reproduction device 110 Control region position setting unit 112 Operation unit 120 Transfer function setting unit 130 HOA function setting unit 140 Speaker weight determination unit 210 Combination setting unit 220 Transfer function measurement unit 221 Measurement signal source 222 Switch 224 C characteristic identification Unit 225-1, 255-2,... Microphone 500 sound field control device 510-1, 510-2,... Amplifier 520 parameter storage unit 522 combination determination unit 524 operation unit 524 A listening position detection unit 526 parameter setting unit 530-1, 530-2,... Speaker 600 Audio device

Claims (11)

複数のスピーカと、
前記複数のスピーカのそれぞれに対応しており、オーディオ信号に重み付けを行い、それぞれの重みに対応する利得が設定された複数の利得調整手段と、
1人から複数人までの利用者の組み合わせ毎の聴取位置を想定し、所定の波面を用いて前記組み合わせ毎の聴取位置に対応する制御領域を実現するために必要な前記複数のスピーカのそれぞれに対応する前記重みを、前記組み合わせ毎に格納するスピーカ重み格納手段と、
利用者の人数と聴取位置とによる実際の聴取形態に合わせて前記組み合わせの内容を決定する組み合わせ決定手段と、
前記組み合わせ決定手段による決定内容に対応する前記複数のスピーカのそれぞれの前記重みを前記スピーカ重み格納手段から読み出して、前記複数の利得調整手段のそれぞれの利得を設定する利得設定手段と、
を備えることを特徴とする音場再現システム。
Multiple speakers,
A plurality of gain adjusting means that correspond to each of the plurality of speakers, weight the audio signal, and set a gain corresponding to each weight;
Assuming a listening position for each combination of one to a plurality of users, each of the plurality of speakers necessary for realizing a control area corresponding to the listening position for each combination using a predetermined wavefront the corresponding the weight, and the speaker weight storage means for storing for each of the combinations,
Combination determining means for determining the content of the combination in accordance with the actual listening mode according to the number of users and the listening position ;
Gain setting means for reading the weights of the plurality of speakers corresponding to the determination content by the combination determination means from the speaker weight storage means and setting the gains of the plurality of gain adjustment means;
Sound field reproduction system characterized by comprising.
請求項1において、
前記所定の波面は平面波であることを特徴とする音場再現システム。
In claim 1,
The sound field reproduction system, wherein the predetermined wavefront is a plane wave.
請求項1または2において、
前記スピーカ重み格納手段に格納されている前記重みは、前記複数のスピーカと前記1あるいは複数の制御領域との間の音場の伝達関数を用いて決定されることを特徴とする音場再現システム。
In claim 1 or 2,
The sound field reproduction system characterized in that the weight stored in the speaker weight storage means is determined using a transfer function of a sound field between the plurality of speakers and the one or more control regions. .
請求項3において、
前記スピーカ重み格納手段に格納される前記重みは、伝達関数測定手段によって測定された前記伝達関数を用いてスピーカ重み決定手段によって決定されることを特徴とする音場再現システム。
In claim 3,
The sound field reproduction system according to claim 1, wherein the weight stored in the speaker weight storage unit is determined by a speaker weight determination unit using the transfer function measured by the transfer function measurement unit.
請求項4において、
前記伝達関数測定手段は、適応フィルタのタップ係数をLMSアルゴリズムを用いて設定することにより、前記伝達関数の同定を行うことを特徴とする音場再現システム。
In claim 4,
The sound field reproduction system characterized in that the transfer function measurement means identifies the transfer function by setting tap coefficients of an adaptive filter using an LMS algorithm.
請求項4または5において、
前記伝達関数測定手段は、
測定信号を発生する測定信号源と、
前記測定信号が入力される適応フィルタと、
前記測定信号を前記複数の制御領域が含まれる音響空間に出力する前記複数のスピーカと、
前記複数の制御領域に設置されており、前記複数のスピーカから出力される音を収音するマイクロホンと、
前記マイクロホンの出力信号と前記適応フィルタの出力信号の差を計算して誤差信号を出力する演算部と、
前記測定信号と前記誤差信号とが入力されており、LMSアルゴリズムを用いることにより、前記適応フィルタのタップ係数を設定するLMSアルゴリズム処理部と、
を備え、前記適応フィルタの特性を前記伝達関数として同定を行うことを特徴とする音場再現システム。
In claim 4 or 5,
The transfer function measuring means includes
A measurement signal source for generating a measurement signal; and
An adaptive filter to which the measurement signal is input;
The plurality of speakers for outputting the measurement signal to an acoustic space including the plurality of control regions;
A microphone that is installed in the plurality of control areas, and that collects sound output from the plurality of speakers;
An arithmetic unit that calculates a difference between an output signal of the microphone and an output signal of the adaptive filter and outputs an error signal;
The measurement signal and the error signal are input, and an LMS algorithm processing unit that sets a tap coefficient of the adaptive filter by using an LMS algorithm;
The sound field reproduction system comprising: identifying the characteristic of the adaptive filter as the transfer function.
請求項4〜6のいずれか一項において、
前記スピーカ重み決定手段は、高次アンビソニックスの変換関数行列をB、前記スピーカの重み行列をP、前記伝達関数により各要素が設定される再変換関数行列をCとしたときに、これらの各行列間の関係に基づいて前記複数のスピーカの重みを決定することを特徴とする音場再現システム。
In any one of Claims 4-6,
The speaker weight determining means is configured such that a higher-order ambisonics conversion function matrix is B, a speaker weight matrix is P, and a reconversion function matrix in which each element is set by the transfer function is C. A sound field reproduction system, wherein weights of the plurality of speakers are determined based on a relationship between matrices.
請求項7において、
前記変換関数行列B、前記スピーカの重み行列P、前記再変換関数行列Cの間には、CP=Bの関係式が成立し、
前記スピーカ重み決定手段は、前記関係式に基づいて前記複数のスピーカの重みを決定することを特徴とする音場再現システム。
In claim 7,
A relational expression of CP = B is established between the conversion function matrix B, the speaker weight matrix P, and the reconversion function matrix C.
The sound field reproduction system characterized in that the speaker weight determination means determines the weights of the plurality of speakers based on the relational expression.
請求項1〜8のいずれか一項において、
利用者によって操作される操作手段をさらに備え、
前記組み合わせ決定手段は、前記操作手段を用いた利用者の指示に応じて前記組み合わせの内容を決定することを特徴とする音場再現システム。
In any one of Claims 1-8,
It further comprises operating means operated by the user,
The sound field reproduction system according to claim 1, wherein the combination determining unit determines the content of the combination in accordance with a user instruction using the operation unit.
請求項1〜8のいずれか一項において、
所定の検出範囲内に含まれる1あるいは複数の利用者の聴取位置を検出する聴取位置検出手段をさらに備え、
前記組み合わせ決定手段は、前記聴取位置検出手段によって検出された聴取位置に基づいて前記組み合わせの内容を決定することを特徴とする音場再現システム。
In any one of Claims 1-8,
A listening position detecting means for detecting listening positions of one or more users included in a predetermined detection range;
The sound field reproduction system characterized in that the combination determining means determines the content of the combination based on the listening position detected by the listening position detecting means.
請求項1〜10のいずれか一項において、  In any one of Claims 1-10,
前記組み合わせ決定手段は、前記利用者の人数と、前記複数のスピーカによる音響空間において実現される制御領域の数とが等しくなるように前記組み合わせの内容を決定することを特徴とする音場再現システム。  The combination determination means determines the content of the combination so that the number of users and the number of control areas realized in an acoustic space by the plurality of speakers are equal. .
JP2015102966A 2015-05-20 2015-05-20 Sound field reproduction system Active JP6466251B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015102966A JP6466251B2 (en) 2015-05-20 2015-05-20 Sound field reproduction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015102966A JP6466251B2 (en) 2015-05-20 2015-05-20 Sound field reproduction system

Publications (2)

Publication Number Publication Date
JP2016220032A JP2016220032A (en) 2016-12-22
JP6466251B2 true JP6466251B2 (en) 2019-02-06

Family

ID=57581691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015102966A Active JP6466251B2 (en) 2015-05-20 2015-05-20 Sound field reproduction system

Country Status (1)

Country Link
JP (1) JP6466251B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171081A1 (en) * 2019-02-18 2020-08-27 国立大学法人東京大学 Signal processing device, signal processing method, and program
WO2020195407A1 (en) 2019-03-25 2020-10-01 林テレンプ株式会社 Acoustic simulation device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006246310A (en) * 2005-03-07 2006-09-14 Sony Corp Method and device for reproducing audio signal
JP4507951B2 (en) * 2005-03-31 2010-07-21 ヤマハ株式会社 Audio equipment
JP2010124251A (en) * 2008-11-19 2010-06-03 Kenwood Corp Audio device and sound reproducing method
JP5439602B2 (en) * 2009-11-04 2014-03-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for calculating speaker drive coefficient of speaker equipment for audio signal related to virtual sound source
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data

Also Published As

Publication number Publication date
JP2016220032A (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN1728892B (en) Sound-field correcting apparatus and method therefor
Cheer et al. Design and implementation of a car cabin personal audio system
JP4819823B2 (en) Acoustic system driving apparatus, driving method, and acoustic system
JP6069368B2 (en) Method of applying combination or hybrid control method
KR102507476B1 (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
JP4285457B2 (en) Sound field measuring apparatus and sound field measuring method
JP5024792B2 (en) Omnidirectional frequency directional acoustic device
JP5826996B2 (en) Acoustic signal conversion device and program thereof, and three-dimensional acoustic panning device and program thereof
JP6927196B2 (en) Sound reproduction equipment and methods, and programs
US20060083391A1 (en) Multichannel sound reproduction apparatus and multichannel sound adjustment method
Zotter et al. A beamformer to play with wall reflections: The icosahedral loudspeaker
JP2006507727A (en) Audio reproduction system and method for reproducing an audio signal
CN111630877B (en) Sound processing device, sound processing method, and program
JP2011182135A (en) Three-dimensional sound field reproduction system
JP5543106B2 (en) Spatial audio signal reproduction apparatus and spatial audio signal reproduction method
KR20220038478A (en) Apparatus, method or computer program for processing a sound field representation in a spatial transformation domain
JP6466251B2 (en) Sound field reproduction system
Brinkmann et al. Audio quality assessment for virtual reality
Barron Auditorium acoustic modelling now
JP2008118559A (en) Three-dimensional sound field reproducing apparatus
JP2004279525A (en) Sound field control system and sound field control method
KR20180018464A (en) 3d moving image playing method, 3d sound reproducing method, 3d moving image playing system and 3d sound reproducing system
JP6388551B2 (en) Multi-region sound field reproduction system and method
Grimm et al. Virtual acoustic environments for comprehensive evaluation of model-based hearing devices
JP2012010011A (en) Sound field reproduction system using principle of boundary surface control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190109

R150 Certificate of patent or registration of utility model

Ref document number: 6466251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150