JP4616736B2 - Sound collection and playback device - Google Patents
Sound collection and playback device Download PDFInfo
- Publication number
- JP4616736B2 JP4616736B2 JP2005262435A JP2005262435A JP4616736B2 JP 4616736 B2 JP4616736 B2 JP 4616736B2 JP 2005262435 A JP2005262435 A JP 2005262435A JP 2005262435 A JP2005262435 A JP 2005262435A JP 4616736 B2 JP4616736 B2 JP 4616736B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- signals
- band
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Description
この発明はステレオ収音した音を再生する収音再生装置に関し、特に空間に複数の音源が異なる位置に位置されている場合に、音源の方向情報を強調し、聴取者の位置によらず、全ての聴取者に音の方向を正しく知覚させることを可能とする収音再生装置に関する。 The present invention relates to a sound collection / reproduction device that reproduces stereo-collected sound, particularly when a plurality of sound sources are located at different positions in space, and emphasizes the direction information of the sound source, regardless of the position of the listener. The present invention relates to a sound collecting / reproducing apparatus that enables all listeners to correctly perceive the direction of sound.
従来のステレオ収音再生技術は、2本のマイクロホンで収音することで、収音する際に生じる音の方向情報(一つの音源から2本のマイクロホンへ収音される時に生じるマイクロホン間の到達レベル差及び到達時間差(到達位相差))を利用し、二つのスピーカで音を再生することで、各音源の方向を聴取者に知覚させることができるものとなっている(例えば、非特許文献1参照)。
しかしながら、従来のステレオ収音再生技術では二つのスピーカの真ん中(スイートスポット)に位置した場合にのみ、音の方向を知覚可能であり、聴取者の位置に制限があった。即ち、二つのスピーカのどちらか一方の近くに位置した聴取者、例えば左側のスピーカの近くに位置した聴取者は近くのスピーカから再生される音に影響され、すべての音が左側から鳴っているように聞こえるという問題があった。
この発明の目的はこの問題に鑑み、聴取者の位置によらず、全ての聴取者に音の方向を正しく知覚させることを可能とする収音再生装置を提供することにある。
However, in the conventional stereo sound collection and reproduction technology, the direction of the sound can be perceived only when it is located in the middle (sweet spot) of the two speakers, and the position of the listener is limited. That is, a listener located near one of the two speakers, for example, a listener located near the left speaker is affected by the sound reproduced from the nearby speaker, and all sounds are played from the left side. There was a problem that it sounded like.
In view of this problem, an object of the present invention is to provide a sound collecting / reproducing apparatus that allows all listeners to correctly perceive the direction of sound regardless of the position of the listener.
この発明によれば、位置関係が既知の複数の音源からの音を収音して再生する収音再生装置は、互いに離して配置され、上記音を収音する2本のマイクロホンと、それら2本のマイクロホンの各収音信号が入力され、それら各収音信号をそれぞれ複数の周波数帯域信号に分割・変換する帯域分割手段と、その帯域分割手段から上記各複数の周波数帯域信号が入力され、それら両周波数帯域信号の同一帯域毎に、2本のマイクロホンの位置に起因して生ずる上記周波数帯域信号のレベルもしくは位相の差を帯域別チャネル間パラメータ値差として検出する帯域別チャネル間パラメータ値差検出手段と、各音源に対して個別に測定した帯域別チャネル間パラメータ値差の全周波数帯域での平均と分散を求め、各音源毎に、帯域別チャネル間パラメータ値差検出手段から入力された帯域別チャネル間パラメータ値差が、上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にあるかを判定し、帯域別チャネル間パラメータ値差が上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にある場合に、上記周波数帯域信号の帯域が上記判定を行った音源から入力された音を主に含むと判定して、その判定情報を出力する音源信号判定手段と、上記判定情報及び上記各複数の周波数帯域信号が入力され、上記各複数の周波数帯域信号を上記判定情報で主に含むと判定された音源に対応する上記周波数帯域信号はそのまま出力用音源信号とし、それ以外の音源に対応する上記周波数帯域信号には0に近い小さな正の重み値を乗算して出力用音源信号とすることで、音源と対応する音源数と同数の出力用音源信号を作成する重み乗算手段と、上記各出力用音源信号が入力され、それら出力用音源信号をそれぞれ時間波形に戻して出力信号とする音源信号合成手段と、上記出力信号がそれぞれ入力され、その入力された出力信号を再生する音源数と同数の拡声手段とを備え、それら拡声手段はそれぞれ入力される上記出力信号に音が強調されている音源の位置と対応付けられて配列されているものとされる。 According to the present invention, a sound collecting / reproducing apparatus for collecting and reproducing sounds from a plurality of sound sources having a known positional relationship is arranged apart from each other, the two microphones for collecting the sound, and the two Each collected sound signal of the microphone is input, and each divided sound signal is divided and converted into a plurality of frequency band signals, and each of the plurality of frequency band signals is input from the band dividing means, For each same band of both frequency band signals, the parameter value difference between channels by band for detecting the difference in level or phase of the frequency band signal caused by the position of two microphones as the parameter value difference between channels by band The average and dispersion of the difference between the detection means and the parameter value for each channel separately measured for each sound source in all frequency bands are obtained. The channel-by-band parameter value difference input from the data value difference detecting means determines whether the difference is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average. When the difference between the parameter values is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average, the frequency band signal band is input from the sound source that has performed the determination. Sound source signal determination means that outputs the determination information, and the determination information and each of the plurality of frequency band signals are input, and the plurality of frequency band signals are mainly used as the determination information. said frequency band signals as an output sound signal, said frequency band signals to a small positive multiplier to output the sound source signal weighting values near 0 corresponding to the other sound source corresponding to the determined sound source and comprising Thus, the weight multiplying means for generating the same number of output sound source signals as the number of sound sources corresponding to the sound sources, and each of the output sound source signals are input, and each of the output sound source signals is converted back to a time waveform and the output signal Sound source signal synthesizing means, and the above output signals are input, and the number of sound output means is the same as the number of sound sources for reproducing the input output signals. It is assumed that the sound source is arranged in association with the position of the sound source.
この発明によれば、音源数と同数の出力信号を作成し、かつ各出力信号には一つの音源からの信号成分が主に含まれるように信号を作成し、それら出力信号を音源数と同数とされ、かつ音源の位置関係と対応する位置関係をもって配列された拡声手段で再生するものとなっており、よって聴取者の位置によらず、全ての聴取者に音の方向を正しく知覚させることができる。 According to the present invention, the same number of output signals as the number of sound sources are created, and signals are created so that each output signal mainly includes signal components from one sound source, and these output signals are the same as the number of sound sources. And is reproduced by the loudspeaker arranged in the positional relationship corresponding to the positional relationship of the sound source, so that all listeners correctly perceive the direction of the sound regardless of the position of the listener. Can do.
この発明の実施形態を図面を参照して実施例により説明する。
図1はこの発明による収音再生装置の一実施例として、音源の個数が3個の場合の構成を示したものであり、この例では収音再生装置は2本のマイクロホン11,12と帯域分割手段13と帯域別チャネル間パラメータ値差検出手段14と音源信号判定手段15と重み乗算手段16と音源信号合成手段17と拡声手段とによって構成されている。拡声手段はスピーカとされ、この例では三つのスピーカ18L,18C,18Rを備えている。なお、図中、L,C及びRはそれぞれ音源を示す。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration of a sound collecting / reproducing apparatus according to an embodiment of the present invention when the number of sound sources is three. In this example, the sound collecting / reproducing apparatus includes two
2本のマイクロホン11,12は所定距離、互いに離して配置されており、マイクロホン11,12に対して音源Lは左側に、つまりマイクロホン11の近くに位置しているものとし、音源Rはマイクロホン11,12に対して右側に、つまりマイクロホン12の近くに位置しているものとする。また、音源Cはマイクロホン11,12の正面方向において2本のマイクロホン11,12の真ん中に(中心線上に)位置しているものとする。なお、これら音源L,C,Rの位置関係は既知とする。
ここで、これら音源L,C,Rの発する音(音波)をそれぞれSL(n),SC(n),SR(n)とし、それらが左側のマイクロホン11で収音された収音信号をxL(n)とし、右側のマイクロホン12で収音された収音信号をxR(n)とする。
The two
Here, the sounds (sound waves) emitted by the sound sources L, C, and R are S L (n), S C (n), and S R (n), respectively, and they are collected by the
収音信号xL(n),xR(n)は帯域分割手段13に入力され、帯域分割手段13においてはこれら入力された収音信号xL(n),xR(n)を時間区間毎に区切り、その区間に対して例えば高速フーリエ変換などで周波数帯域信号XL(ωi)及びXR(ωi),i=1,…,Nに変換し、予め決められた複数の帯域に分割する。ここで、Nは帯域数とする。なお、各帯域の信号が主として一つの音源からの信号成分よりなる程度に細かく分割する。
周波数帯域信号XL(ωi),XR(ωi)は帯域別チャネル間パラメータ値差検出手段14に入力され、帯域別チャネル間パラメータ値差検出手段14においては下記式(1),(2)で定義されるチャネル間レベル差(チャネル間到達レベル差)ΔLev(ωi)及びチャネル間位相差(チャネル間到達位相差)Δang(ωi)を算出する。
The collected sound signals x L (n) and x R (n) are input to the
The frequency band signals X L (ω i ) and X R (ω i ) are input to the band-specific channel parameter value difference detection means 14, and the band-specific channel parameter value difference detection means 14 receives the following equations (1), ( An inter-channel level difference (inter-channel arrival level difference) ΔLev (ω i ) and an inter-channel phase difference (inter-channel arrival phase difference) Δang (ω i ) defined in 2) are calculated.
ΔLev(ωi)=20 log10(|XL(ωi)|/|XR(ωi)|)…(1)
Δang(ωi)=angXL(ωi)−angXR(ωi) …(2)
音源信号判定手段15では帯域別チャネル間パラメータ値差検出手段14で算出されたチャネル間レベル差ΔLev(ωi)やチャネル間位相差Δang(ωi)を用いて各帯域がどの音源から発せられた信号であるかを判定する。
ΔLev (ω i ) = 20 log 10 (| X L (ω i ) | / | X R (ω i ) |) (1)
Δang (ω i ) = angX L (ω i ) −angX R (ω i ) (2)
The sound source signal determining means 15 uses which sound source each band is generated using the inter-channel level difference ΔLev (ω i ) and the inter-channel phase difference Δang (ω i ) calculated by the band-specific inter-channel parameter value difference detecting means 14. It is determined whether the signal is correct.
まず、全帯域をチャネル間レベル差ΔLev(ωi)で判定する場合について説明する。
各音源L,C,Rのチャネル間レベル差を個別に測定し、それぞれその平均と分散を求める。ここで、個別に測定した場合の音源Lのチャネル間レベル差ΔLevL(ωi)の平均をMLとし、分散をρLとする。同様に、音源Cのチャネル間レベル差ΔLevC(ωi)の平均をMC、分散をρCとし、音源Rのチャネル間レベル差ΔLevR(ωi)の平均をMR、分散をρRとする。
First, the case where the entire band is determined by the inter-channel level difference ΔLev (ω i ) will be described.
The level difference between channels of each sound source L, C, R is individually measured, and the average and variance are obtained respectively. Here, the average of the inter-channel level difference ΔLevL (ω i ) of the sound source L when measured individually is ML, and the variance is ρL. Similarly, the average of the inter-channel level differences ΔLevC sound source C (ω i) MC, dispersed and .rho.c, the average of the inter-channel level differences ΔLevR sound source R (ω i) MR, the dispersion and pr.
音源L,C,Rは図1に示したような配置関係にあるため、ML,MC,MRを比較すると、下記式(3)の大小関係が成立する。
ML>MC>MR …(3)
従って、全帯域のチャネル間レベル差ΔLev(ωi)に対し、下記式(4)を満たす帯域を選定することにより、音源Lの信号を主に含む帯域を判定する。
ML−ρL≦ΔLev(ωi)≦ML+ρL …(4)
同様に、下記式(5),(6)により音源Cの信号を主に含む帯域及び音源Rの信号を主に含む帯域を判定する。
Since the sound sources L, C, and R are in an arrangement relationship as shown in FIG. 1, when ML, MC, and MR are compared, the magnitude relationship of the following equation (3) is established.
ML>MC> MR (3)
Therefore, the band mainly including the signal of the sound source L is determined by selecting a band satisfying the following formula (4) for the inter-channel level difference ΔLev (ω i ) of the entire band.
ML−ρL ≦ ΔLev (ω i ) ≦ ML + ρL (4)
Similarly, the band mainly including the signal of the sound source C and the band mainly including the signal of the sound source R are determined by the following formulas (5) and (6).
MC−ρC≦ΔLev(ωi)≦MC+ρC …(5)
MR−ρR≦ΔLev(ωi)≦MR+ρR …(6)
このように、音源信号判定手段15では各帯域がいずれの音源の信号を主に含むかを判定し、その判定結果として各帯域毎にどの音源の信号を主に含むかの下記式(7−1)〜(7−3)に示したような判定情報を重み乗算手段16に送る。式(7−1)は帯域iが音源Lの信号を主に含むと判定した場合の判定情報を示し、式(7−2),(7−3)は帯域iが音源C、音源Rの信号をそれぞれ主に含むと判定した場合の判定情報を示す。
MC−ρC ≦ ΔLev (ω i ) ≦ MC + ρC (5)
MR−ρR ≦ ΔLev (ω i ) ≦ MR + ρR (6)
In this way, the sound source signal determination means 15 determines which sound source signal each band mainly includes, and as a determination result, which sound source signal is mainly included for each band (7− Determination information as shown in 1) to (7-3) is sent to the weight multiplication means 16. Expression (7-1) indicates determination information when it is determined that the band i mainly includes the signal of the sound source L. Expressions (7-2) and (7-3) indicate that the band i is the sound source C and the sound source R. The determination information when it is determined that each signal is mainly included is shown.
Res(ωi)=L …(7−1)
Res(ωi)=C …(7−2)
Res(ωi)=R …(7−3)
次に、チャネル間位相差Δang(ωi)で判定する場合について説明する。
判定のためのパラメータの値の差としてチャネル間位相差Δang(ωi)を用いる場合もチャネル間レベル差ΔLev(ωi)を用いた場合と同様の考え方ができる。即ち、各音源L,C,Rのチャネル間位相差を個別に測定し、それぞれその平均と分散を求める。個別に測定した場合の音源Lのチャネル間位相差ΔangL(ωi)の平均をangMLとし、分散をangρLとする。同様に、音源Cのチャネル間位相差ΔangC(ωi)の平均をangMC、分散をangρCとし、音源Rのチャネル間位相差ΔangR(ωi)の平均をangMR、分散をangρRとする。
Res (ω i ) = L (7-1)
Res (ω i ) = C (7-2)
Res (ω i ) = R (7-3)
Next, a case where determination is performed using the inter-channel phase difference Δang (ω i ) will be described.
Even when the inter-channel phase difference Δang (ω i ) is used as the difference between the parameter values for determination, the same idea as when the inter-channel level difference ΔLev (ω i ) is used can be used. That is, the inter-channel phase differences of the sound sources L, C, and R are individually measured, and the average and variance are obtained respectively. The average of the inter-channel phase difference ΔangL (ω i ) of the sound source L when measured individually is angML, and the variance is angρL. Similarly, AngMC the average of inter-channel phase difference ΔangC sound source C (ω i), the dispersion and AngroC, the average of the inter-channel phase difference ΔangR sound source R (ω i) angMR, the dispersion and Angroaru.
angMLとangMCとangMRとはMLとMCとMRの場合と同様、下記の大小関係が成立する。
angML>angMC>angMR …(8)
従って、例えば音源Lの信号を主に含む帯域を判定する場合、下記式(9)を満たす帯域を選定すればよく、同様に音源C,Rの信号をそれぞれ主に含む帯域を判定する場合、それぞれ下記式(10),(11)を満たす帯域を選定すればよい。
angML−angρL≦Δang(ωi)≦angML+angρL …(9)
angMC−angρC≦Δang(ωi)≦angMC+angρC …(10)
angMR−angρR≦Δang(ωi)≦angMR+angρR …(11)
各帯域においてチャネル間レベル差ΔLev(ωi)とチャネル間位相差Δang(ωi)のうち、どちらを使うかについては、例えば入力系の特性により異なる。例えばマイクロホン11,12に2本の指向性マイクロホンを使う場合には全帯域でチャネル間レベル差ΔLev(ωi)が安定して算出され、これに対し、指向性の影響でチャネル間位相差Δang(ωi)は乱れやすいため、全帯域をチャネル間レベル差ΔLev(ωi)で判定するのが好ましい。
angML, angMC, and angMR have the following magnitude relationship as in the case of ML, MC, and MR.
angML>angMC> angMR (8)
Therefore, for example, when determining a band mainly including the signal of the sound source L, a band satisfying the following equation (9) may be selected. Similarly, when determining a band mainly including the signals of the sound sources C and R, Bands satisfying the following expressions (10) and (11) may be selected.
angML−angρL ≦ Δang (ω i ) ≦ angML + angρL (9)
angMC−angρC ≦ Δang (ω i ) ≦ angMC + angρC (10)
angMR-angρR ≦ Δang (ω i ) ≦ angMR + angρR (11)
Which one of the inter-channel level difference ΔLev (ω i ) and the inter-channel phase difference Δang (ω i ) is used in each band depends on, for example, the characteristics of the input system. For example, when two directional microphones are used for the
一方、マイクロホン11,12に2本の無指向性マイクロホンを使う場合にはチャネル間位相差Δang(ωi)を用いてもよい。この場合、一般的に低域(1kHz以下)ではチャネル間レベル差ΔLev(ωi)がつきにくいため、チャネル間位相差Δang(ωi)を用い、高域では位相が回転するため、チャネル間位相差Δang(ωi)を一意に求めることが難しくなることから、チャネル間レベル差ΔLev(ωi)を用いるようにしてもよい。
重み乗算手段16には音源信号判定手段15から判定情報が入力され、また帯域分割手段13から周波数帯域信号XL(ωi),XR(ωi)が入力され、重み乗算手段16においては音源信号判定手段15で判定された結果に基づき、下記の方法で重み値を乗算する。
On the other hand, when two omnidirectional microphones are used for the
Determination information is input to the
まず、3つの音源L,C,Rからの信号を個別に音源信号合成手段17から出力するために、出力のための周波数帯域信号を音源の個数分(3つ)用意する。これらを例えばYL(ωi),YC(ωi),YR(ωi),i=1,…,Nとする。これらを以後、出力用音源信号と呼ぶ。これら出力用音源信号YL(ωi),YC(ωi),YR(ωi)は音源信号判定手段15からの判定情報に基づいて下記のように重みを乗算される。
Res(ωi)=Lの場合、
YL(ωi)=XL(ωi)
YC(ωi)=(α/2)・(XL(ωi)+XR(ωi))
YR(ωi)=α・XR(ωi)
Res(ωi)=Cの場合、
YL(ωi)=α・XL(ωi)
YC(ωi)=(XL(ωi)+XR(ωi))/2
YR(ωi)=α・XR(ωi)
Res(ωi)=Rの場合、
YL(ωi)=α・XL(ωi)
YC(ωi)=(α/2)・(XL(ωi)+XR(ωi))
YR(ωi)=XR(ωi)
ここで、αは0に近い小さな値とし、例えば0.1や0.2程度とする。なお、αを0にしても各出力用音源信号YL(ωi),YC(ωi),YR(ωi)は一つの音源からの成分を主に含むことには変わりはないが、0にすれば、どこの出力用音源信号YL(ωi),YC(ωi),YR(ωi)からも出力されない周波数成分が生じるために、歪が生じやすくなる。よって、αの値は0.1や0.2程度とする。
First, in order to individually output signals from the three sound sources L, C, and R from the sound source
If Res (ω i ) = L,
Y L (ω i ) = X L (ω i )
Y C (ω i ) = (α / 2) · (X L (ω i ) + X R (ω i ))
Y R (ω i ) = α · X R (ω i )
If Res (ω i ) = C,
Y L (ω i ) = α · X L (ω i )
Y C (ω i ) = (X L (ω i ) + X R (ω i )) / 2
Y R (ω i ) = α · X R (ω i )
If Res (ω i ) = R,
Y L (ω i ) = α · X L (ω i )
Y C (ω i ) = (α / 2) · (X L (ω i ) + X R (ω i ))
Y R (ω i ) = X R (ω i )
Here, α is a small value close to 0, for example, about 0.1 or 0.2. Note that even if α is set to 0, each output sound source signal Y L (ω i ), Y C (ω i ), Y R (ω i ) does not change without including a component from one sound source. However, if 0 is set, a frequency component that is not output from any output sound source signal Y L (ω i ), Y C (ω i ), Y R (ω i ) is generated, so that distortion is likely to occur. Therefore, the value of α is set to about 0.1 or 0.2.
なお、各出力用音源信号YL(ωi),YC(ωi),YR(ωi)の作成に用いる周波数帯域信号として上記においてはXL(ωi)とXR(ωi)の両者を使っているが、これは下記の理由による。
XL(ωi)とXR(ωi)のいずれを使うかについては各音源L,C,Rからの信号がXL(ωi)とXR(ωi)のうち、どちらの方に高いSN比で受音されているかに依存する。例えば、音源Lは左側のマイクロホン11の方に近いのでXL(ωi)の方に高いSN比で受音される。そのため、XL(ωi)に重み付けした信号を出力用音源信号YL(ωi)として用いる。音源Rについては逆に右側のマイクロホン12の方に近いので、XR(ωi)の方に高いSN比で受音される。そのため、XR(ωi)に重み付けした信号を出力用音源信号YR(ωi)として用いる。真ん中の音源Cについてはマイクロホン11と12に同じ大きさで受音されるため、両方の信号XL(ωi),XR(ωi)を用いる。その際、大きさを音源Lや音源Rと揃えるため、XL(ωi)とXR(ωi)の和に乗算する重み値の値を半分とする。
In the above description, X L (ω i ) and X R (ω i ) are used as the frequency band signals used for generating the output sound source signals Y L (ω i ), Y C (ω i ), and Y R (ω i ). ) Is used for the following reasons.
As to whether to use X L (ω i ) or X R (ω i ), the signal from each sound source L, C, R is either X L (ω i ) or X R (ω i ) Depending on whether the sound is received with a high SN ratio. For example, since the sound source L is closer to the
各出力用音源信号YL(ωi),YC(ωi),YR(ωi)は音源信号合成手段17に入力され、音源信号合成手段17では各出力用音源信号YL(ωi),YC(ωi),YR(ωi)それぞれを逆フーリエ変換により時間波形に戻して出力信号yL(n),yC(n),yR(n)とする。そして、その出力信号yL(n),yC(n),yR(n)をスピーカ18L,18C,18Rでそれぞれ再生する。なお、スピーカは音源数と同数用意されている。
スピーカ18L,18C,18Rの配置については音源Lの信号を強調して出力する出力信号yL(n)を再生するためのスピーカ18Lは聴取者の左側に、音源Rの信号を強調して出力する出力信号yR(n)を再生するためのスピーカ18Rは聴取者の右側に、音源Cの信号を強調して出力する出力信号yC(n)を再生するためのスピーカ18Cはスピーカ18Lと18Rの間に、つまり中央に設置する必要がある。
Each output sound source signal Y L (ω i ), Y C (ω i ), Y R (ω i ) is input to the sound source
As for the arrangement of the speakers 18 L , 18 C , and 18 R , the speaker 18 L for reproducing the output signal y L (n) that emphasizes and outputs the signal of the sound source L outputs the signal of the sound source R to the left side of the listener. A speaker 18 R for reproducing the output signal y R (n) to be output with emphasis is a speaker for reproducing the output signal y C (n) to be output with emphasis on the signal of the sound source C on the right side of the listener. 18 C needs to be installed between the speakers 18 L and 18 R , that is, in the center.
以上説明した構成及び処理により、この例では2本のマイクロホン11,12で収音した信号に対し、チャネル間レベル差もしくはチャネル間位相差に基づいて各帯域に重みをつけた信号を、音源の個数と同じ数の出力信号として出力し、それら出力信号を別々のスピーカで再生するものであって、各出力信号には一つの音源からの信号が主に含まれることになり、その結果、出力信号には音の方向情報が受音信号よりも強調された状態で含まれることになり、よってスイートスポット以外の場所、例えばいずれかのスピーカの近くに位置する聴取者に対しても音の方向がわかるように音を聞かせることができるものとなる。なお、スピーカ18Lと18Rは聴取者に対して左右対称に配置すると、最も高い効果が得られる。また、スピーカ18L,18C,18Rは例えば一直線上に配列すればよいが、これに限らず、聴取者を囲むように円弧状をなすように配置してもよい。
With the configuration and processing described above, in this example, a signal weighted to each band based on the inter-channel level difference or inter-channel phase difference with respect to the signal collected by the two
上述した実施例では音源の個数が3個の場合を例に説明したが、音源の個数が例えば4個以上に増えた場合も同じ考え方で適用できる。以下、音源の個数がQ個に増えた場合について図2を参照して説明する。なお、図1と対応する部分には同一符号を付してある。
図2では2本のマイクロホン11,12の位置から見て音源を左から順に音源1,音源2,…,音源Qとする。各音源1,2,…,Qの発する音S1(n),S2(n),…,SQ(n)はマイクロホン11,12で収音され、収音信号xL(n),xR(n)は帯域分割手段13に入力されて周波数帯域信号XL(ωi)及びXR(ωi),i=1,…,Nに変換される。
In the above-described embodiments, the case where the number of sound sources is three has been described as an example. However, the same idea can be applied when the number of sound sources is increased to, for example, four or more. Hereinafter, a case where the number of sound sources is increased to Q will be described with reference to FIG. The parts corresponding to those in FIG. 1 are denoted by the same reference numerals.
In FIG. 2, it is assumed that the sound sources are
周波数帯域信号XL(ωi),XR(ωi)は帯域別チャネル間パラメータ値差検出手段14に入力されてチャネル間レベル差ΔLev(ωi)及びチャネル間位相差Δang(ωi)が前述した式(1),(2)により算出され、音源信号判定手段15ではこれらチャネル間レベル差ΔLev(ωi)やチャネル間位相差Δang(ωi)を用いて各帯域がどの音源から発せられた信号であるかを判定する。
以下、一例としてチャネル間レベル差ΔLev(ωi)で判定する場合について説明する。
The frequency band signals X L (ω i ) and X R (ω i ) are input to the inter-channel parameter value difference detecting means 14 for each band, and the inter-channel level difference ΔLev (ω i ) and the inter-channel phase difference Δang (ω i ). Is calculated by the above-described equations (1) and (2), and the sound source signal determination means 15 uses the inter-channel level difference ΔLev (ω i ) and the inter-channel phase difference Δang (ω i ) to determine which sound source each band has. It is determined whether the signal is emitted.
Hereinafter, as an example, a case where the determination is made based on the inter-channel level difference ΔLev (ω i ) will be described.
各音源からのチャネル間レベル差を個別に測定し、それぞれその平均と分散を求める。ここで、各音源1,2,…,Qのチャネル間レベル差ΔLev1(ωi),ΔLev2(ωi),…,ΔLevQ(ωi)の平均をそれぞれM1,M2,…,MQとし、分散をそれぞれρ1,ρ2,…,ρQとすると、下記式(12)の大小関係が成立する。
M1>M2>…>MQ …(12)
従って、例えば音源1の信号を主に含む帯域を判定するためには下記式(13)を満たす帯域を選定すればよい。
The level difference between channels from each sound source is measured individually, and the average and variance are obtained respectively. Here, the average of the inter-channel level differences ΔLev1 (ω i ), ΔLev2 (ω i ),..., ΔLevQ (ω i ) of each
M1>M2>...> MQ (12)
Therefore, for example, in order to determine the band mainly including the signal of the
M1−ρ1≦ΔLev(ωi)≦M1+ρ1 …(13)
そして、式(13)を満たす帯域は音源1の信号を主に含むと判定し、下記式(14−1)に示したような判定情報を音源信号判定手段15は重み乗算手段16に送る。
Res(ωi)=1 …(14−1)
同様にして、音源2や音源Qの信号を主に含むと判定した帯域は下記式(14−2),(14−3)に示したような判定情報を重み乗算手段16に送る。
Res(ωi)=2 …(14−2)
Res(ωi)=Q …(14−3)
重み乗算手段16においては出力のための出力用音源信号を音源の個数分(Q個)用意する。これらをY1(ωi),Y2(ωi),…,YQ(ωi),i=1,…,Nとする。これら出力用音源信号Y1(ωi),Y2(ωi),…,YQ(ωi)は音源信号判定手段15からの判定情報に基づいて重みを乗算される。
M1−ρ1 ≦ ΔLev (ω i ) ≦ M1 + ρ1 (13)
Then, it is determined that the band satisfying Expression (13) mainly includes the signal of the
Res (ω i ) = 1 (14-1)
Similarly, the band determined to contain mainly the signals of the
Res (ω i ) = 2 (14-2)
Res (ω i ) = Q (14-3)
The weight multiplication means 16 prepares output sound source signals for output corresponding to the number of sound sources (Q). These are Y 1 (ω i ), Y 2 (ω i ),..., Y Q (ω i ), i = 1,. These output sound source signals Y 1 (ω i ), Y 2 (ω i ),..., Y Q (ω i ) are multiplied by weights based on the determination information from the sound source signal determination means 15.
ここで、音源のインデックスをm(1≦m≦Q)とし、2本のマイクロホン11,12の正面方向において2本のマイクロホン11,12の真ん中に位置している音源のインデックスをmcとする。また、音源mcより左側に位置している音源m(1≦m<mc)の信号はXL(ωi)の方に高いSN比で受音されており、音源mcより右側に位置している音源m(mc<m≦Q)の信号はXR(ωi)の方に高いSN比で受音されているとする。
今、音源信号判定手段15からの判定情報が、
Res(ωi)=k
とされ、つまり帯域iにおいて信号を主に含むと判定された音源のインデックスがkの場合、各出力用音源信号Y1(ωi),Y2(ωi),…,YQ(ωi)は下記のように重みを乗算される。なお、k<mcとする。
Here, the index of the sound source is m (1 ≦ m ≦ Q), and the index of the sound source located in the middle of the two
Now, the determination information from the sound source signal determination means 15 is
Res (ω i ) = k
That is, if the index of the sound source determined to mainly include a signal in the band i is k, each output sound source signal Y 1 (ω i ), Y 2 (ω i ),..., Y Q (ω i ) Is multiplied by the weight as follows: Note that k <mc.
Yk(ωi)=XL(ωi)
Y1≦m<k,k<m<mc(ωi)=α・XL(ωi)
Ymc(ωi)=(α/2)・(XL(ωi)+XR(ωi))
Ymc<m≦Q(ωi)=α・XR(ωi)
これら出力用音源信号は音源信号合成手段17に入力され、逆フーリエ変換することにより時間波形に戻され、出力信号y1(n),y2(n),…,yQ(n)とされる。
拡声手段は例えばスピーカとされて音源数と同数用意され、これらスピーカ181,182,…,18Qにそれぞれ出力信号y1(n),y2(n),…,yQ(n)が入力されて再生される。なお、スピーカ181,182,…,18Qは聴取者に対して左側から順に配列されて設置される。
Y k (ω i ) = X L (ω i )
Y 1 ≦ m <k, k <m <mc (ω i ) = α · X L (ω i )
Y mc (ω i ) = (α / 2) · (X L (ω i ) + X R (ω i ))
Y mc <m ≦ Q (ω i ) = α · X R (ω i )
These output sound source signals are input to the sound source signal synthesizing means 17 and are converted back to time waveforms by inverse Fourier transform, and output signals y 1 (n), y 2 (n),..., Y Q (n) are obtained. The
Loudspeaker means are provided the same number as the number of sound sources is a speaker for example, these speaker 18 1, 18 2, ..., respectively 18 Q output signal y 1 (n), y 2 (n), ..., y Q (n) Is input and played. The speakers 18 1 , 18 2 ,..., 18 Q are arranged and arranged in order from the left side with respect to the listener.
なお、上記においてはk<mcの場合について説明したが、k>mc及びk=mcの場合には下記のように各出力用音源信号に重みが乗算される。
k>mcの場合、
Yk(ωi)=XR(ωi)
Y1≦m<mc(ωi)=α・XL(ωi)
Ymc(ωi)=(α/2)・(XL(ωi)+XR(ωi))
Ymc<m<k,k<m≦Q(ωi)=α・XR(ωi)
k=mcの場合、
Yk(ωi)=(XL(ωi)+XR(ωi))/2
Y1≦m<mc(ωi)=α・XL(ωi)
Ymc<m≦Q(ωi)=α・XR(ωi)
以上説明したように、音源の個数がQ個の場合でも、聴取者の位置によらず、全ての聴取者に音の方向がわかるように音を聞かせることができる。
In the above description, the case of k <mc has been described. However, when k> mc and k = mc, each output sound source signal is multiplied by a weight as follows.
If k> mc,
Y k (ω i ) = X R (ω i )
Y 1 ≦ m <mc (ω i ) = α · X L (ω i )
Y mc (ω i ) = (α / 2) · (X L (ω i ) + X R (ω i ))
Y mc <m <k, k <m ≦ Q (ω i ) = α · X R (ω i )
If k = mc,
Y k (ω i ) = (X L (ω i ) + X R (ω i )) / 2
Y 1 ≦ m <mc (ω i ) = α · X L (ω i )
Y mc <m ≦ Q (ω i ) = α · X R (ω i )
As described above, even when the number of sound sources is Q, it is possible to make all the listeners hear the sound so that the direction of the sound can be understood regardless of the position of the listener.
なお、上述した例では例えば式(4)に示したように、各音源のチャネル間レベル差を個別に測定し、その平均と分散を用いて全帯域のチャネル間レベル差ΔLev(ωi)に対し、どの音源の信号を主に含むか判定しているが、各音源のチャネル間レベル差の分布が重なり合うような場合には例えば式(4)に替えて下記のような式を用いて判定するようにすればよい。
ML−a・ρL≦ΔLev(ωi)≦ML+a・ρL
ここで、a<1とする。
In the example described above, for example, as shown in Equation (4), the inter-channel level difference of each sound source is individually measured, and the average and variance are used to obtain the inter-channel level difference ΔLev (ω i ) of the entire band. On the other hand, it is determined which sound source signal is mainly included. However, when the distribution of the level difference between channels of each sound source overlaps, for example, the following expression is used instead of Expression (4). You just have to do it.
ML−a · ρL ≦ ΔLev (ω i ) ≦ ML + a · ρL
Here, a <1.
この発明による収音再生装置は例えばテレビ会議システムなどにおける収音再生に活用される。 The sound collecting / reproducing apparatus according to the present invention is utilized for sound collecting / reproducing in, for example, a video conference system.
11 マイクロホン
12 マイクロホン
13 帯域分割手段
14 帯域別チャネル間パラメータ値差検出手段
15 音源信号判定手段
16 重み乗算手段
17 音源信号合成手段
DESCRIPTION OF
Claims (4)
互いに離して配置され、上記音を収音する2本のマイクロホンと、
それら2本のマイクロホンの各収音信号が入力され、それら各収音信号をそれぞれ複数の周波数帯域信号に分割・変換する帯域分割手段と、
その帯域分割手段から上記各複数の周波数帯域信号が入力され、それら両周波数帯域信号の同一帯域毎に、上記2本のマイクロホンの位置に起因して生ずる上記周波数帯域信号のレベルの差を帯域別チャネル間パラメータ値差として検出する帯域別チャネル間パラメータ値差検出手段と、
上記各音源に対して個別に測定した上記帯域別チャネル間パラメータ値差の全周波数帯域での平均と分散を求め、上記各音源毎に、上記帯域別チャネル間パラメータ値差検出手段から入力された上記帯域別チャネル間パラメータ値差が、上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にあるかを判定し、上記帯域別チャネル間パラメータ値差が上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にある場合に、上記周波数帯域信号の帯域が上記判定を行った音源から入力された音を主に含むと判定して、その判定情報を出力する音源信号判定手段と、
上記判定情報及び上記各複数の周波数帯域信号が入力され、上記各複数の周波数帯域信号を上記判定情報で主に含むと判定された音源に対応する上記周波数帯域信号はそのまま出力用音源信号とし、それ以外の音源に対応する上記周波数帯域信号には0に近い小さな正の重み値を乗算して出力用音源信号とすることで、上記音源と対応する上記音源数と同数の出力用音源信号を作成する重み乗算手段と、
上記各出力用音源信号が入力され、それら出力用音源信号をそれぞれ時間波形に戻して出力信号とする音源信号合成手段と、
上記出力信号がそれぞれ入力され、その入力された出力信号を再生する上記音源数と同数の拡声手段とを備え、
それら拡声手段はそれぞれ入力される上記出力信号に音が強調されている音源の位置と対応付けられて配列されていることを特徴とする収音再生装置。 A device that collects and reproduces sound from a plurality of sound sources whose positional relationships are known ,
Two microphones arranged apart from each other and picking up the sound,
Band-splitting means for receiving the collected sound signals of the two microphones and dividing / converting the collected sound signals into a plurality of frequency band signals,
Each of the plurality of frequency band signals is input from the band dividing means, and the difference in the level of the frequency band signal caused by the position of the two microphones for each same band of both frequency band signals is classified by band. Channel-by-band parameter value difference detecting means for detecting a parameter value difference between channels;
The average and variance of the channel-by-band parameter value difference measured individually for each sound source in all frequency bands were obtained, and input from the channel-to-band parameter value difference detecting unit for each sound source. It is determined whether the parameter value difference between the band-specific channels is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average. If the frequency band signal is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average, it is determined that the frequency band signal band mainly includes sound input from the sound source that performed the determination. Sound source signal determination means for outputting the determination information;
The determination information and each of the plurality of frequency band signals are input, and the frequency band signal corresponding to the sound source determined to mainly include the plurality of frequency band signals in the determination information is directly used as an output sound source signal, The frequency band signals corresponding to the other sound sources are multiplied by a small positive weight value close to 0 to obtain an output sound source signal, so that the same number of output sound source signals as the number of sound sources corresponding to the sound source are obtained. A weight multiplication means to be created;
Each of the output sound source signals is input, and the sound source signal synthesizing means for returning the output sound source signals to time waveforms and using them as output signals,
Each of the output signals is input, and includes the same number of sounding means as the number of sound sources for reproducing the input output signal,
The sound collecting and reproducing apparatus is characterized in that the loudspeakers are arranged in association with the positions of the sound sources in which the sound is emphasized in the input output signals.
互いに離して配置され、上記音を収音する2本のマイクロホンと、
それら2本のマイクロホンの各収音信号が入力され、それら各収音信号をそれぞれ複数の周波数帯域信号に分割・変換する帯域分割手段と、
その帯域分割手段から上記各複数の周波数帯域信号が入力され、それら両周波数帯域信号の同一帯域毎に、上記2本のマイクロホンの位置に起因して生ずる上記周波数帯域信号の位相の差を帯域別チャネル間パラメータ値差として検出する帯域別チャネル間パラメータ値差検出手段と、
上記各音源に対して個別に測定した上記帯域別チャネル間パラメータ値差の全周波数帯域での平均と分散を求め、上記各音源毎に、上記帯域別チャネル間パラメータ値差検出手段から入力された上記帯域別チャネル間パラメータ値差が、上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にあるかを判定し、上記帯域別チャネル間パラメータ値差が上記平均に上記分散を加算した値と上記平均から上記分散を減算した値との間にある場合に、上記周波数帯域信号の帯域が上記判定を行った音源から入力された音を主に含むと判定して、その判定情報を出力する音源信号判定手段と、
上記判定情報及び上記各複数の周波数帯域信号が入力され、上記各複数の周波数帯域信号を上記判定情報で主に含むと判定された音源に対応する上記周波数帯域信号はそのまま出力用音源信号とし、それ以外の音源に対応する上記周波数帯域信号には0に近い小さな正の重み値を乗算して出力用音源信号とすることで、上記音源と対応する上記音源数と同数の出力用音源信号を作成する重み乗算手段と、
上記各出力用音源信号が入力され、それら出力用音源信号をそれぞれ時間波形に戻して出力信号とする音源信号合成手段と、
上記出力信号がそれぞれ入力され、その入力された出力信号を再生する上記音源数と同数の拡声手段とを備え、
それら拡声手段はそれぞれ入力される上記出力信号に音が強調されている音源の位置と対応付けられて配列されていることを特徴とする収音再生装置。 A device that collects and reproduces sound from a plurality of sound sources whose positional relationships are known ,
Two microphones arranged apart from each other and picking up the sound,
Band-splitting means for receiving the collected sound signals of the two microphones and dividing / converting the collected sound signals into a plurality of frequency band signals,
The plurality of frequency band signals are inputted from the band dividing means, and the phase difference of the frequency band signals generated due to the positions of the two microphones is classified by band for the same band of both frequency band signals. Channel-by-band parameter value difference detection means for detecting as a parameter value difference between channels;
The average and variance of the channel-by-band parameter value difference measured individually for each sound source in all frequency bands were obtained, and input from the channel-to-band parameter value difference detecting unit for each sound source. It is determined whether the parameter value difference between the band-specific channels is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average. If the frequency band signal is between the value obtained by adding the variance to the average and the value obtained by subtracting the variance from the average, it is determined that the frequency band signal band mainly includes sound input from the sound source that performed the determination. Sound source signal determination means for outputting the determination information;
The determination information and each of the plurality of frequency band signals are input, and the frequency band signal corresponding to the sound source determined to mainly include the plurality of frequency band signals in the determination information is directly used as an output sound source signal, The frequency band signals corresponding to the other sound sources are multiplied by a small positive weight value close to 0 to obtain an output sound source signal, so that the same number of output sound source signals as the number of sound sources corresponding to the sound source are obtained. A weight multiplication means to be created;
Each of the output sound source signals is input, and the sound source signal synthesizing means for returning the output sound source signals to time waveforms and using them as output signals,
Each of the output signals is input, and includes the same number of sounding means as the number of sound sources for reproducing the input output signal,
The sound collecting and reproducing apparatus, wherein the loudspeakers are arranged in association with the positions of the sound sources in which the sound is emphasized in the output signals respectively inputted.
上記判定情報により判定された音源と対応付けされた上記出力用音源信号の作成における上記重み値を1とする時、その判定された音源以外の音源と対応付けされた上記出力用音源信号の作成における上記重み値が0.1乃至0.2とされることを特徴とする収音再生装置。 The sound collecting and reproducing apparatus according to claim 1 or 2,
Creation of the output sound source signal associated with a sound source other than the determined sound source when the weight value in creation of the output sound source signal associated with the sound source determined by the determination information is 1. The sound collecting / reproducing apparatus according to claim 1, wherein the weight value is 0.1 to 0.2.
上記帯域分割手段における帯域分割は各帯域の周波数帯域信号が主として一つの音源からの信号成分よりなる程度に分割されることを特徴とする収音再生装置。 The sound collecting and reproducing apparatus according to claim 1 or 2,
The sound collecting / reproducing apparatus according to claim 1, wherein the band division in the band dividing means is performed so that the frequency band signal of each band is mainly composed of signal components from one sound source.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262435A JP4616736B2 (en) | 2005-09-09 | 2005-09-09 | Sound collection and playback device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262435A JP4616736B2 (en) | 2005-09-09 | 2005-09-09 | Sound collection and playback device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007074665A JP2007074665A (en) | 2007-03-22 |
JP4616736B2 true JP4616736B2 (en) | 2011-01-19 |
Family
ID=37935675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005262435A Active JP4616736B2 (en) | 2005-09-09 | 2005-09-09 | Sound collection and playback device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4616736B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5294603B2 (en) * | 2007-10-03 | 2013-09-18 | 日本電信電話株式会社 | Acoustic signal estimation device, acoustic signal synthesis device, acoustic signal estimation synthesis device, acoustic signal estimation method, acoustic signal synthesis method, acoustic signal estimation synthesis method, program using these methods, and recording medium |
JP6693340B2 (en) * | 2016-08-30 | 2020-05-13 | 富士通株式会社 | Audio processing program, audio processing device, and audio processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10313497A (en) * | 1996-09-18 | 1998-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Sound source separation method, system and recording medium |
JPH1146400A (en) * | 1997-07-25 | 1999-02-16 | Yamaha Corp | Sound image localization device |
JP2003078988A (en) * | 2001-09-06 | 2003-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Sound pickup device, method and program, recording medium |
-
2005
- 2005-09-09 JP JP2005262435A patent/JP4616736B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10313497A (en) * | 1996-09-18 | 1998-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Sound source separation method, system and recording medium |
JPH1146400A (en) * | 1997-07-25 | 1999-02-16 | Yamaha Corp | Sound image localization device |
JP2003078988A (en) * | 2001-09-06 | 2003-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Sound pickup device, method and program, recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2007074665A (en) | 2007-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3320692B1 (en) | Spatial audio processing apparatus | |
US8831231B2 (en) | Audio signal processing device and audio signal processing method | |
US20200053457A1 (en) | Merging Audio Signals with Spatial Metadata | |
JP5865899B2 (en) | Stereo sound reproduction method and apparatus | |
KR100608002B1 (en) | Method and apparatus for reproducing virtual sound | |
JP2013211906A (en) | Sound spatialization and environment simulation | |
JP6284480B2 (en) | Audio signal reproducing apparatus, method, program, and recording medium | |
KR20100081300A (en) | A method and an apparatus of decoding an audio signal | |
CN104604254A (en) | Audio processing device, method, and program | |
WO2014053875A1 (en) | An apparatus and method for reproducing recorded audio with correct spatial directionality | |
KR20130080819A (en) | Apparatus and method for localizing multichannel sound signal | |
KR20120050157A (en) | Apparatus and method for reproducing surround wave field using wave field synthesis based speaker array | |
US20050047619A1 (en) | Apparatus, method, and program for creating all-around acoustic field | |
JP2009071406A (en) | Wavefront synthesis signal converter and wavefront synthesis signal conversion method | |
JP4616736B2 (en) | Sound collection and playback device | |
JP4116600B2 (en) | Sound collection method, sound collection device, sound collection program, and recording medium recording the same | |
JP5743003B2 (en) | Wavefront synthesis signal conversion apparatus and wavefront synthesis signal conversion method | |
JP3174965U (en) | Bone conduction 3D headphones | |
US20150146897A1 (en) | Audio signal processing method and audio signal processing device | |
JP5590169B2 (en) | Wavefront synthesis signal conversion apparatus and wavefront synthesis signal conversion method | |
WO2018193160A1 (en) | Ambience generation for spatial audio mixing featuring use of original and extended signal | |
JP2002152897A (en) | Sound signal processing method, sound signal processing unit | |
JP4917946B2 (en) | Sound image localization processor | |
Glasgal | Improving 5.1 and Stereophonic Mastering/Monitoring by Using Ambiophonic Techniques | |
JP2019087839A (en) | Audio system and correction method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101012 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4616736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |