JP5611393B2 - Delay time measuring apparatus, delay time measuring method and program - Google Patents
Delay time measuring apparatus, delay time measuring method and program Download PDFInfo
- Publication number
- JP5611393B2 JP5611393B2 JP2013040791A JP2013040791A JP5611393B2 JP 5611393 B2 JP5611393 B2 JP 5611393B2 JP 2013040791 A JP2013040791 A JP 2013040791A JP 2013040791 A JP2013040791 A JP 2013040791A JP 5611393 B2 JP5611393 B2 JP 5611393B2
- Authority
- JP
- Japan
- Prior art keywords
- delay time
- signal
- section
- time measuring
- voice call
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Monitoring And Testing Of Exchanges (AREA)
- Telephone Function (AREA)
Description
本発明は、遅延時間測定装置、遅延時間測定方法及びプログラムに関する。特に、本発明は、音声通話の品質制御技術に関し、音声通話サービスにおける送信側又は受信側での音声信号の有音区間の開始・終了位置の時刻差に基づく遅延時間推定技術に関する。 The present invention relates to a delay time measuring device, a delay time measuring method, and a program. In particular, the present invention relates to a quality control technique for a voice call, and relates to a delay time estimation technique based on a time difference between start and end positions of a voiced section of a voice signal on a transmission side or a reception side in a voice call service.
近年、モバイル端末を利用する様々な形態の音声通話サービスが普及している。特に音声データをIPパケットに格納して伝送する音声通話サービスは、ネットワークや端末の影響を受けることにより、データ到着時間の揺らぎが生じる。モバイルソフトフォンの音声通話アプリケーションを中心としたいくつかの音声通話サービスでは、音声パケットの到着が遅れた場合に一定時間到着を待つとともに、それまで受領している音声パケットデータに基づき信号を出力し、遅れていた音声パケットが到着次第その音声パケットデータを出力している。 In recent years, various forms of voice call services using mobile terminals have become widespread. In particular, in a voice call service in which voice data is stored in an IP packet and transmitted, the data arrival time fluctuates due to the influence of the network and the terminal. In some voice call services centered on voice call applications for mobile softphones, when a voice packet arrives late, it waits for a certain period of time and outputs a signal based on the voice packet data received so far. When the delayed voice packet arrives, the voice packet data is output.
このような音声通話サービスにおける遅延時間を測定することが検討されている(非特許文献1及び2参照)。
It has been studied to measure the delay time in such a voice call service (see Non-Patent
上記のような音声パケットデータの出力処理を実施した場合、実際には存在しないタイミングの信号データを挿入することになるため、通話中に遅延時間が増加することとなる。また、このような遅延時間の増加に対して、無音区間を中心に特定のタイミングで信号データを一定時間欠落させることにより遅延時間を減少させることがある。このときのアプリケーション内のバッファ時間の設定において、長時間のバッファは遅延時間の増減頻度を少なくすることができる一方で全体の遅延時間を増大させ、短時間のバッファは全体の遅延時間を少なくする一方で、遅延時間の増減頻度を多くする。このことから、サービス提供者は最適なバッファ時間の設定のために、バッファ設定時の有音・無音区間における遅延時間の変動を確認する必要があり、そのためには通話環境時の有音区間の開始・終了位置の遅延時間測定が必要である。 When the output processing of voice packet data as described above is performed, signal data at a timing that does not actually exist is inserted, so that the delay time increases during a call. Further, in response to such an increase in the delay time, the delay time may be reduced by dropping signal data for a certain period of time at a specific timing centering on a silent section. In setting the buffer time in the application at this time, the long time buffer can reduce the increase / decrease frequency of the delay time, while the overall delay time is increased, and the short time buffer reduces the overall delay time. On the other hand, increase / decrease frequency of the delay time is increased. For this reason, the service provider needs to check the fluctuation of the delay time in the voiced / silent period at the time of buffer setting in order to set the optimal buffer time. It is necessary to measure the delay time at the start and end positions.
遅延時間測定器であるVoicePinger(非特許文献2参照)では、一定間隔で送信されるパルス信号を用いて片道遅延時間を測定しているため、有音・無音区間を考慮して処理をする音声通話サービスに対して、実際の音声通話時に生じる遅延時間変動を再現した測定がなされず、音声通話サービスの性能を正確に把握することができない。 VoicePinger (see Non-Patent Document 2), which is a delay time measuring instrument, measures the one-way delay time using pulse signals transmitted at regular intervals. For the call service, measurement that reproduces the variation in delay time that occurs during an actual voice call is not performed, and the performance of the voice call service cannot be accurately grasped.
さらに電話機通話品質標準規格ガイドライン(非特許文献1参照)では、入出力音声波形の時間差分の比較処理を有するため、多大な解析時間を要する。 Furthermore, the telephone call quality standard guideline (see Non-Patent Document 1) requires a long analysis time because it includes a time difference comparison process for input and output speech waveforms.
上記課題を解決するために、本発明は、発話区間の開始・終了位置の遅延時間を測定指標とするために、出力音声信号に対し短区間毎に有音/無音を判別することで有音区間の開始・終了時刻を特定し、遅延時間を推定することを目的とする。 In order to solve the above-mentioned problems, the present invention is characterized by determining whether the output speech signal is audible / silent for each short interval in order to use the delay time of the start / end positions of the utterance interval as a measurement index. The purpose is to identify the start / end time of the section and estimate the delay time.
本発明の一形態に係る遅延時間測定装置は、
音声通話サービスにおける遅延時間を測定する遅延時間測定装置であって、
試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信手段と、
前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定手段と、
を備え、
前記遅延時間測定手段は、
特定の時間長の短区間が有音短区間であるか否かを判別する有音短区間判別手段と、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出する遅延時間算出手段と、
を備えることを特徴とする。
A delay time measuring apparatus according to one aspect of the present invention is
A delay time measuring device for measuring a delay time in a voice call service,
Signal receiving means for acquiring a signal output from the second terminal of the voice call service when the test signal is input to the first terminal of the voice call service;
A delay time measuring means for measuring a delay time at a start position and an end position of a sound section of the test signal from the signal acquired by the signal receiving means;
With
The delay time measuring means includes
A voiced short section discriminating means for discriminating whether or not a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. Delay time calculating means for
It is characterized by providing.
本発明の一形態に係る遅延時間測定方法は、
音声通話サービスにおける遅延時間を測定する遅延時間測定装置による遅延時間測定方法であって、
前記遅延時間測定装置の信号受信手段が、試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信ステップと、
前記遅延時間測定装置の遅延時間測定手段が、前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定ステップと、
を備え、
前記遅延時間測定ステップは、
特定の時間長の短区間が有音短区間であるか否かを判別するステップと、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出するステップと、
を備えることを特徴とする。
A delay time measuring method according to an aspect of the present invention includes:
A delay time measuring method by a delay time measuring device for measuring a delay time in a voice call service,
A signal receiving step in which the signal receiving means of the delay time measuring device acquires a signal output from the second terminal of the voice call service when the test signal is input to the first terminal of the voice call service;
A delay time measuring step in which the delay time measuring means of the delay time measuring device measures a delay time at a start position and an end position of a voiced section of the test signal from the signal acquired by the signal receiving means;
With
The delay time measuring step includes:
Determining whether a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. And steps to
It is characterized by providing.
本発明の一形態に係るプログラムは、
音声通話サービスにおける遅延時間を測定する遅延時間測定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを
試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信手段、及び
前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定手段、
として機能させ、
前記遅延時間測定手段は、
特定の時間長の短区間が有音短区間であるか否かを判別する有音短区間判別手段と、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出する遅延時間算出手段と、
を備えることを特徴とする。
A program according to one aspect of the present invention is:
A program for causing a computer to function as a delay time measuring device for measuring a delay time in a voice call service, wherein when the test signal is input to the first terminal of the voice call service, the computer A signal receiving means for acquiring a signal output from the second terminal; and a delay time measuring means for measuring a delay time at a start position and an end position of a sound section of the test signal from the signal acquired by the signal receiving means;
Function as
The delay time measuring means includes
A voiced short section discriminating means for discriminating whether or not a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. Delay time calculating means for
It is characterized by providing.
本発明によれば、出力音声信号の有音区間の開始・終了時刻を特定し、遅延時間を推定することが可能になる。 According to the present invention, it is possible to specify the start / end time of the sound section of the output audio signal and estimate the delay time.
本発明の実施例では、音声通話サービスにおける遅延時間を測定するために、主に以下の手法を用いる。 In the embodiment of the present invention, the following method is mainly used to measure the delay time in the voice call service.
(a)発話区間の開始・終了位置を遅延時間の測定指標とする。 (a) The start / end position of the utterance interval is used as a measurement index of the delay time.
(b)遅延時間は、出力音声の波形を用いて算出する。 (b) The delay time is calculated using the waveform of the output sound.
従来では、入出力音声波形の時間差分の比較によって遅延時間を算出していたが、本発明の実施例では、遅延時間は出力音声の波形を用いて算出される。 Conventionally, the delay time is calculated by comparing the time difference between the input and output speech waveforms. However, in the embodiment of the present invention, the delay time is calculated using the waveform of the output speech.
以下、本発明の実施例について詳細に説明する。 Examples of the present invention will be described in detail below.
<第1実施例>
本発明の第1実施例では、特定の波形パターンを有する試験信号を用いて有音区間の開始・終了位置における片道遅延時間を算出する手法について説明する。
<First embodiment>
In the first embodiment of the present invention, a method for calculating a one-way delay time at a start / end position of a sound section using a test signal having a specific waveform pattern will be described.
図1は、本発明の第1実施例に係る遅延時間測定装置10を示すブロック図である。遅延時間測定装置10は、送信側端末と受信側端末とから構成される音声通話サービスにおいて遅延時間を測定する装置である。遅延時間測定装置10は、有音と無音が繰り返される試験信号Sを記録しており、試験信号Sを送信側端末に送信する信号送信部101と、受信側端末の信号を取得(録音)する信号受信部102と、取得した信号に基づき試験信号の有音区間の開始・終了位置における片道遅延時間を測定する遅延時間測定部103とを備える。
FIG. 1 is a block diagram showing a delay
試験信号Sは、ここでは有音区間と無音区間をT秒毎にi回交互に繰り返す信号とする。ここではT=2,i=300とし、これらの情報は遅延時間測定部103において保存されているものとする。ここでは、有音区間の信号に500,1000,2000Hzのサイン波を合成しデジタル信号レベルをZ1[dBov]に調整した波形を用いる。図2にここで使用する試験信号Sの波形パターンを示す。ここで、Z1=-26とするが、これに限ったものではない。信号の有音区間の開始・終了位置が相対的に把握できるものであれば他の試験信号Sが用いられてもよい。
Here, the test signal S is a signal in which a voiced section and a silent section are alternately repeated i times every T seconds. Here, it is assumed that T = 2 and i = 300, and these pieces of information are stored in the delay
信号送信部101は、試験信号Sをアナログ信号S1に変換し、測定対象となる音声通話サービスの送信側端末に送信する。このとき送信を開始した送信開始時刻をtとし、この送信開始時刻tを遅延時間測定部103に送信する。
The
信号受信部102は、測定対象となる音声通話サービスの受信側端末から受信したアナログ信号S2をキャプチャし、キャプチャしたアナログ信号をデジタル信号に変換したデジタル信号S3を遅延時間測定部103に送信する。
The
遅延時間測定部103は、有音短区間判別部104と遅延時間算出部105とを備え、受信した送信開始時刻tおよびデジタル信号S3に基づき試験信号Sの有音区間の開始・終了位置における片道遅延時間を測定する。具体的な測定方法を以下に示す。
The delay
有音短区間判別部104では、図3に示すフローチャートによりデジタル信号S3の有音短区間の時刻を取得する。図3は、本発明の第1実施例に係る遅延時間測定装置10の有音短区間判別部104における処理を示すフローチャートである。
The voiced short
有音短区間判別部104は、デジタル信号S3と送信開始時刻tとを受信する(ステップS101)。ここで、送信開始時刻tを開始時間として、デジタル信号S3の時間長2*T*i秒にP秒を加算した時間長を測定対象とする。ここでP=2とするが、これに限ったものではない。有音短区間判別部104は、判別対象のデジタル信号S3を区切った特定の長さの短区間X_j(1≦j≦N)毎に、j=0から順に以下の処理を行う。
The voiced short
測定対象の時間長2*T*i+Pに対して、受信したデジタル信号S3をA[s]ごとに区切り、各短区間X_j(1≦j≦N)を抜き出す(ステップS103)。X_jは有音判別対象となる短区間であり、デジタル信号S3の時刻t+j*Aからt+(j+1)*Aの短区間に相当する。X_jの中心時刻をx_j(1≦j≦N)とする。ここでA=0.002とするが、これに限ったものではない。Nは区間数である。
For the
次に、対象短区間の有音判別を行うために、時間順に短区間X_jに対してピッチ解析を行い、490〜510Hzのピッチ周波数を有する場合はこの短区間X_jを有音短区間と判別する(ステップS105)。490〜510Hzのピッチ周波数を有さない場合はこの短区間X_jを無音短区間と判別し、次の中心時刻の算出は行わない。 Next, in order to determine the sound of the target short section, the pitch analysis is performed on the short section X_j in time order, and if the pitch frequency is 490 to 510 Hz, the short section X_j is determined as the sound short section. (Step S105). When the pitch frequency is not 490 to 510 Hz, the short section X_j is determined as a silent short section, and the next central time is not calculated.
有音短区間と判別された短区間X_jについて中心時刻x_j=t+(j+0.5)*Aを算出し(ステップS107)、中心時刻x_jを遅延時間算出部105に送信する(ステップS109)。 The central time x_j = t + (j + 0.5) * A is calculated for the short section X_j determined as the voiced short section (step S107), and the central time x_j is transmitted to the delay time calculation unit 105 (step S109).
jをインクリメントして(ステップS111)、測定対象となる時間長に対して有音短区間判別が全て終了するまで、すなわち、j*A<2T*i+Pとなるまで(ステップS113)、上記のステップS103〜S111を繰り返す。測定対象となる時間長に対して有音短区間判別が終了した場合、終了のサイン「END」を遅延時間算出部105に送信する(ステップS115)。 j is incremented (step S111) until all the short sound segment determination for the time length to be measured is completed, that is, until j * A <2T * i + P (step S113). Steps S103 to S111 are repeated. When the short sound segment determination is completed for the time length to be measured, an end sign “END” is transmitted to the delay time calculation unit 105 (step S115).
遅延時間算出部105では、図4に示すフローチャートにより試験信号Sの有音・終了位置における片道遅延時間を算出する。図4は、本発明の第1実施例に係る遅延時間測定装置の遅延時間算出部105における処理を示すフローチャートである。
The delay
遅延時間算出部105は、送信開始時刻tを受信すると共に(ステップS201)、各有音短区間の中心時刻x_j又は終了のサイン「END」を受信する(ステップS203)。遅延時間算出部105では、受信した送信開始時刻tおよび各有音短区間の中心時刻x_jに基づき、k番目の有音区間についてk=0から順に次のように試験信号Sの有音区間の開始・終了位置における遅延時間を算出する。
The delay
測定対象区間の終了を確認するために、受信順で次のデータが中心時刻x_jであるか否かを確認する(ステップS205)。次のデータが終了のサイン「END」である場合、遅延時間の算出は行われない。次のデータが中心時刻x_jである場合、すなわち、測定対象区間である場合、受信した中心時刻x_jが最初の有音短区間の中心時刻か否か、すなわちk>0であるか否か(ステップS207)により以下の処理を行う。 In order to confirm the end of the measurement target section, it is confirmed whether or not the next data is the central time x_j in the order of reception (step S205). When the next data is the end sign “END”, the delay time is not calculated. If the next data is the central time x_j, that is, the measurement target section, whether or not the received central time x_j is the central time of the first voiced short section, that is, whether or not k> 0 (step The following processing is performed according to S207.
最初の有音短区間であれば(k=0)、kをインクリメントして(ステップS215)、この中心時刻x_jを試験信号Sの1番目の音声区間の開始位置に対応する時刻xb_kとし(ステップS217)、送信開始時刻tを用いてk(=1)番目の有音区間における開始位置の片道遅延時間db_kを式(1)により算出する(ステップS219)。すなわち、現在の中心時刻を1番目の有音区間の開始時刻とし、このときの遅延時間を算出する。式(1)は図5に示す考え方に基づく。
db_k = xb_k - (t + 2*(k-1)*T) (1)
さらに、中心時刻x_jを直前中心時刻xとして保存し(ステップS221)、ステップS203に戻り、以降の短区間の解析を続ける。
If it is the first voiced short section (k = 0), k is incremented (step S215), and this central time x_j is set as time xb_k corresponding to the start position of the first voice section of the test signal S (step S215). S217) Using the transmission start time t, the one-way delay time db_k at the start position in the k (= 1) -th sound section is calculated using equation (1) (step S219). That is, the current center time is set as the start time of the first sound section, and the delay time at this time is calculated. Equation (1) is based on the concept shown in FIG.
db_k = xb_k-(t + 2 * (k-1) * T) (1)
Further, the central time x_j is stored as the previous central time x (step S221), the process returns to step S203, and the analysis of the subsequent short section is continued.
2回目以降に検出された有音短区間については、すなわち、ステップS207においてk>0である場合には、この中心時刻x_jと直前中心時刻xとの差分を算出し、この差分がT/mを上回るかどうかを確認する(ステップS209)。すなわち、現在の中心時刻と直前の中心時刻との時間差が一定値以上であるか確認する。これは、音声通話サービスの出力音声の有音区間に短時間の損失が混入した場合に、誤って損失前後を有音区間の開始・終了位置に対応する時刻として検出することを避けるためである。この差分が小さい場合にはこの区間は損失による有音・無音の切り替わりとして扱い、試験信号Sの有音区間の開始・終了位置に対応する時刻として扱わない。ここでm=2とするが、これに限ったものではない。この差分がT/mを上回る場合には、直前中心時刻xを有音区間の終了位置xe_kに対応する時刻とするとともに(ステップS211)、送信開始時刻tを用いてk番目の有音区間における終了位置の片道遅延時間de_kを式(2)により算出する(ステップS213)。すなわち、ステップS209において時間差が一定値以上であると確認された場合、現在の中心時刻をk番目の有音区間の終了時刻とし、このときの遅延時間を算出する。式(2)は図5に示す考え方に基づく。
de_k = xe_k - (t + (2*k-1)*T) (2)
さらに、kをインクリメントして(ステップS215)、中心時刻x_jを試験信号Sの次の有音区間の開始位置に対応する時刻xb_kとし(ステップS217)、送信開始時刻tを用いてk番目の有音区間における開始位置の片道遅延時間db_kを式(1)により算出する(ステップS219)。すなわち、ステップS209において時間差が一定値以上であると確認された場合、現在の中心時刻をk番目の有音区間の開始時刻とし、このときの遅延時間を算出する。最後に、中心時刻x_jを直前中心時刻xとして保存し(ステップS221)、以降の短区間の解析を続ける。
For the voiced short interval detected after the second time, that is, when k> 0 in step S207, the difference between the central time x_j and the previous central time x is calculated, and this difference is calculated as T / m. It is confirmed whether it exceeds (step S209). That is, it is confirmed whether the time difference between the current center time and the immediately preceding center time is a certain value or more. This is to avoid erroneously detecting the time before and after the loss as the time corresponding to the start / end position of the sound section when a short time loss is mixed in the sound section of the output voice of the voice call service. . When this difference is small, this section is treated as switching between sound and silence due to loss, and is not treated as the time corresponding to the start / end position of the sound section of the test signal S. Here, m = 2 is set, but the present invention is not limited to this. When this difference exceeds T / m, the immediately preceding central time x is set as the time corresponding to the end position xe_k of the sound section (step S211), and the transmission start time t is used in the kth sound section. The one-way delay time de_k at the end position is calculated by equation (2) (step S213). That is, when it is confirmed in step S209 that the time difference is greater than or equal to a certain value, the current center time is set as the end time of the kth sound section, and the delay time at this time is calculated. Equation (2) is based on the concept shown in FIG.
de_k = xe_k-(t + (2 * k-1) * T) (2)
Further, k is incremented (step S215), and the center time x_j is set to a time xb_k corresponding to the start position of the next voiced section of the test signal S (step S217), and the k-th existence is determined using the transmission start time t. The one-way delay time db_k at the start position in the sound section is calculated by equation (1) (step S219). That is, when it is confirmed in step S209 that the time difference is greater than or equal to a certain value, the current center time is set as the start time of the kth sound section, and the delay time at this time is calculated. Finally, the central time x_j is stored as the previous central time x (step S221), and the analysis of the subsequent short section is continued.
データ受信順に遅延時間を算出するにあたり、終了のサイン「END」の時点では試験信号Sの最終有音区間の終了位置における遅延時間が算出されていないため、終了のサインの時点で直前中心時刻xを最終有音区間の終了位置に対応する時刻xe_kとするとともに(ステップS225)、送信開始時刻tを用いてk番目の有音区間における終了位置の片道遅延時間de_kを式(2)により算出する(ステップS227)。なお、k=0である場合、有音短区間が測定対象区間に存在しないため、ステップS225の前に、有音短区間が測定対象区間に存在したか否かを確認してもよい(ステップS223)。 In calculating the delay time in the order of data reception, since the delay time at the end position of the last sound section of the test signal S is not calculated at the end sign `` END '', the center time immediately before the end sign x Is the time xe_k corresponding to the end position of the last sound section (step S225), and the one-way delay time de_k of the end position in the kth sound section is calculated by the equation (2) using the transmission start time t. (Step S227). In addition, when k = 0, since the voiced short section does not exist in the measurement target section, it may be confirmed whether or not the voiced short section exists in the measurement target section before step S225 (step S225). S223).
遅延時間測定部103は、以上のようにして測定した片道遅延時間db_k,de_kを遅延時間測定装置10の出力値として出力する(ステップS229)。
The delay
図5は、式(1)及び式(2)で求められる片道遅延時間db_k,de_kの概念を示す図である。上記の式(1)で算出されたdb_k=(db_1,db_2,....)は、有音区間の開始位置の遅延時間を示し、上記の式(2)で算出されたde_k=(de_1,de_2,....)は、有音区間の終了位置の遅延時間を示す。例えば、db_1はxb_1 - Tとして求められ、db_2はxb_2 - (t + 2T)として求められる。また、de_1はxe_1 - (t + T)として求められ、de_2はxe_2 - (t + 3T)として求められる。このように、遅延時間db_k,de_kは、試験信号の送信開始時刻tと、Tで表現される試験信号の波形パターンと、有音区間の開始・終了位置xb_k,xe_kから求められる。なお、デジタル信号S3のxb_2からxe_2の間に短時間の無音区間が存在するが、図4のステップS209で説明した通り、この無音区間の前後は有音区間の開始・終了位置に対応する時刻として扱われない。 FIG. 5 is a diagram illustrating the concept of the one-way delay times db_k and de_k obtained by the equations (1) and (2). Db_k = (db_1, db_2,...) Calculated by the above equation (1) indicates the delay time of the start position of the sound section, and de_k = (de_1 calculated by the above equation (2) , de_2, ....) indicates the delay time of the end position of the sound section. For example, db_1 is obtained as xb_1-T, and db_2 is obtained as xb_2- (t + 2T). Also, de_1 is obtained as xe_1-(t + T), and de_2 is obtained as xe_2-(t + 3T). As described above, the delay times db_k and de_k are obtained from the transmission start time t of the test signal, the waveform pattern of the test signal expressed by T, and the start / end positions xb_k and xe_k of the sound section. Note that there is a short silent section between xb_2 and xe_2 of the digital signal S3, but as described in step S209 in FIG. 4, the time before and after this silent section is the time corresponding to the start / end position of the voiced section. Not treated as.
<第2実施例>
本発明の第2実施例では、有音短区間判別部104における別の有音短区間判別方法について説明する。第2実施例に係る遅延時間測定装置10は、図1と同じ構成を備え、第1実施例とは短区間に対する有音判別方法が異なる。
<Second embodiment>
In the second embodiment of the present invention, another voiced short section determination method in the voiced short
第2実施例の試験信号S、信号送信部101、および信号受信部102は、第1実施例で説明した試験信号S、信号送信部101、および信号受信部102と同一である。
The test signal S, the
遅延時間測定部103は、第1実施例の遅延時間測定部103の有音短区間判別部104のステップS105における有音短区間の有音判別処理のみを以下の処理を行うものとし、他の処理は第1実施例と同一である。遅延時間測定部103は、時間順に短区間X_jに対して音声信号レベルを測定し、閾値Z2[dBov]を上回る場合はこの区間X_jを有音短区間と判別する。ここでZ2=-30とするがこれに限ったものではない。
The delay
第2実施例に係る遅延時間測定装置10は、第1実施例と同様に有音区間の開始・終了位置における片道遅延時間を算出することができ、第1実施例よりも計算負荷が軽い。
The delay
<第3実施例>
本発明の第3実施例では、実音声信号を含む試験信号を用いる場合について説明する。第3実施例に係る遅延時間測定装置10は、図1と同じ構成を備え、第1実施例とは試験信号として実音声信号を含むものを用いる点および有音区間の開始・終了位置における片道遅延時間の算出方法が異なる。
<Third embodiment>
In the third embodiment of the present invention, a case where a test signal including a real voice signal is used will be described. The delay
第3実施例に係る遅延時間測定装置10は、実音声を含むとともに有音と無音が繰り返される試験信号S'を記録しており、試験信号S'を送信側端末に送信する信号送信部101と、受信側端末の信号を取得する信号受信部102と、取得した信号に基づき試験信号の有音区間の開始・終了位置における片道遅延時間を測定する遅延時間測定部103とを備える。
The delay
試験信号S'は、図6に示すような信号を用いる。Q名が発話するY1秒以下の短文章発話サンプルを用意し、各短文章の有音区間をY2〜Y2+Y1秒の間に配置し、さらにY2-Y3〜Y2秒およびY2+Y1〜Y2+Y1+Y3秒に500,1000,2000Hzのサイン波を合成しデジタル信号レベルをZ1[dBov]に調整したサイン波合成信号を加える。ここで、Z1=-26とするがこれに限ったものではない。各短文章発話サンプルに対して前記のようにしてY4秒のデジタル信号を作成し、これらを発話者分だけ連結しかつR回繰り返したY4*Y1*R秒のデジタル信号を試験信号S'とする。ここでQ=4,Y1=2,Y2=1,Y3=0.2,Y4=4,R=60とし、これらの値は遅延時間測定部103に保存されているものとする。ただし、これらの値はこれに限ったものではない。また、サイン波合成信号については、その区間を判別できるものであれば特にこれに限ったものではない。
As the test signal S ′, a signal as shown in FIG. 6 is used. Prepare a short sentence utterance sample of Q name uttered by Y1 seconds or less, arrange the voiced section of each short sentence between Y2 ~ Y2 + Y1 seconds, and Y2-Y3 ~ Y2 seconds and Y2 + Y1 ~ Y2 Sine waves of 500, 1000, 2000Hz are synthesized at + Y1 + Y3 seconds, and a sine wave synthesized signal with the digital signal level adjusted to Z1 [dBov] is added. Here, Z1 = −26, but is not limited to this. For each short sentence utterance sample, a Y4 second digital signal is created as described above, and the Y4 * Y1 * R second digital signal obtained by concatenating them for the utterer and repeating R times is designated as test signal S ′. To do. Here, Q = 4, Y1 = 2, Y2 = 1, Y3 = 0.2, Y4 = 4, and R = 60, and these values are stored in the delay
第3実施例の信号送信部101は、試験信号S'を送信側端末に送信する点を除き、第1実施例の信号送信部101と同一である。
The
第3実施例の信号受信部102は、第1実施例の信号受信部102と同一である。
The
第3実施例の遅延時間測定部103は、有音短区間判別部104と遅延時間算出部105とを備え、受信した時刻tを基準に信号S'の有音区間の開始・終了位置における片道遅延時間を測定する。
The delay
有音短区間判別部104は、測定対象となる時間長がY4*Y1*R秒にP秒を加算した時間長となる点を除き、第1実施例の有音短区間判別部104と同一である。
The voiced short
遅延時間算出部105では、受信した送信開始時刻tおよび各有音短区間の中心時刻x_jに基づき、試験信号S'の有音区間の開始・終了位置における遅延時間を算出するにあたり、図4のステップS209における中心時刻x_jと直前中心時刻xとの差分の閾値、および図4のステップS213、S219、S229で用いる片道遅延時間db_k,de_kの算出式が異なる。ステップS209では中心時刻x_jと直前中心時刻xとの差分がY1/n[s]を上回る場合にはx_jを試験信号S'のサイン波合成信号区間の開始位置に対応する時刻とし、xを試験信号Sのサイン波合成信号区間の終了位置に対応する時刻とする。ここでn=2とするが、これに限ったものではない。ステップS213、S219、s229で用いるk番目の有音区間における開始・終了位置の片道遅延時間db_k, de_kは式(3)及び(4)によりそれぞれ算出する。式(3)及び(4)は図7に示す考え方に基づく。
db_k = xb_(2*k - 1) - (t + (k-1)*Y4 + Y2 - Y3) (3)
de_k = xe_(2*k) - (t + (k-1)*Y4+Y2+Y1+Y3) (4)
図7は、式(3)及び式(4)で求められる片道遅延時間db_k,de_kの概念を示す図である。上記の式(3)で算出されたdb_k=(db_1,db_2,....)は、有音区間の開始位置の遅延時間を示し、上記の式(4)で算出されたde_k=(de_1,de_2,....)は、有音区間の終了位置の遅延時間を示す。例えば、db_1はxb_1 - (t + Y2 - Y3)として求められ、db_2はxb_3 - (t + Y4 + (Y2 - Y3))として求められる。また、de_1はxe_2 - (t + Y2 + Y1 + Y3)として求められ、de_2はxe_4 - (Y4 + (Y2 + Y1+ Y3))として求められる。このように、遅延時間db_k,de_kは、試験信号の送信開始時刻tと、Y1,Y2,Y3,Y4で表現される試験信号の波形パターンと、有音区間の開始・終了位置xb_k,xe_kから求められる。
The delay
db_k = xb_ (2 * k-1)-(t + (k-1) * Y4 + Y2-Y3) (3)
de_k = xe_ (2 * k)-(t + (k-1) * Y4 + Y2 + Y1 + Y3) (4)
FIG. 7 is a diagram illustrating the concept of the one-way delay times db_k and de_k obtained by the equations (3) and (4). Db_k = (db_1, db_2,...) Calculated by the above equation (3) indicates the delay time of the start position of the sound section, and de_k = (de_1 calculated by the above equation (4) , de_2, ....) indicates the delay time of the end position of the sound section. For example, db_1 is obtained as xb_1-(t + Y2-Y3), and db_2 is obtained as xb_3-(t + Y4 + (Y2-Y3)). Also, de_1 is obtained as xe_2-(t + Y2 + Y1 + Y3), and de_2 is obtained as xe_4-(Y4 + (Y2 + Y1 + Y3)). Thus, the delay times db_k and de_k are determined from the test signal transmission start time t, the waveform pattern of the test signal represented by Y1, Y2, Y3, and Y4, and the start / end positions xb_k and xe_k of the sound section. Desired.
第3実施例に係る遅延時間測定装置10は、第1実施例と同様に有音区間の開始・終了位置における片道遅延時間を算出することができ、実際の通話時の遅延時間変動をより正確に反映することが可能である。
The delay
<第4実施例>
本発明の第4実施例では、受信側端末と送信側端末とが遠隔地にある場合において、有音区間の開始・終了位置における片道遅延時間を算出する手法について説明する。
<Fourth embodiment>
In the fourth embodiment of the present invention, a method for calculating a one-way delay time at the start / end positions of a voiced section when the receiving side terminal and the transmitting side terminal are at remote locations will be described.
図8は、本発明の第4実施例に係る遅延時間測定を実施するための装置構成を示すブロック図である。第4実施例では信号送信装置40と遅延時間測定装置41とを要する。信号送信装置40は、試験信号Sを記録しており、試験信号S を送信側端末に送信する信号送信部401と、遅延時間測定装置41との時刻同期を行うためのNTPサーバ406とを備える。遅延時間測定装置41は、受信側端末の信号を取得する信号受信部402と、取得した信号に基づき試験信号の有音区間の開始・終了位置における片道遅延時間を測定する遅延時間測定部403と、信号送信装置40との時刻同期を行うためのNTPサーバ407とを備える。第4実施例では、測定開始時刻tがあらかじめ設定され、信号送信部401と遅延時間測定部403に入力されている。
FIG. 8 is a block diagram showing an apparatus configuration for performing delay time measurement according to the fourth embodiment of the present invention. In the fourth embodiment, a
試験信号Sは、第1実施例の試験信号Sと同一であり、信号送信装置40の信号送信部401は試験信号Sを、遅延時間測定装置41の遅延時間測定部403は試験信号Sに関する情報(有音/無音区間の時間間隔、繰り返し回数)を、それぞれ保存している。
The test signal S is the same as the test signal S of the first embodiment, the
信号送信部401では、あらかじめ設定した測定開始時刻tにおいて試験信号Sを送信側端末に送信する。このとき、測定開始時刻tにおける信号送信の開始 はNTPサーバ406により時刻同期させた時刻に基づくものとする。
The
信号受信部402は、第1実施例の信号受信部102と同一である。
The
遅延時間測定部403は、第1実施例の遅延時間測定部103の有音短区間判別部104で図3のステップS103において行われる各短区間X_j(1≦j≦N)の抜粋を、NTPサーバ407により時刻同期させた時刻に基づき実施するものとし、他の処理は遅延時間測定部103と同一である。
The delay
第4実施例に係る遅延時間測定装置41は、試験信号の送信を開始した時刻と録音した信号の有音区間の開始・終了位置の受信時刻との同期をとることにより、測定対象となる遠隔地にある2地点間の通話時の遅延時間変動を測定することが可能である。
The delay
<第5実施例>
本発明の第5実施例では、受信側端末と送信側端末とが異なる場所にある場合において、有音区間の開始・終了位置における往復遅延時間を算出する手法について説明する。
<Fifth embodiment>
In the fifth embodiment of the present invention, a description will be given of a method for calculating a round trip delay time at the start / end positions of a voiced section when the receiving terminal and the transmitting terminal are in different locations.
図9は、本発明の第5実施例に係る遅延時間測定装置50を示すブロック図である。遅延時間情報測定装置50は、試験信号Sを記録しており、試験信号Sを送信側端末に送信する信号送信部501と、送信側端末の信号を受信する信号受信部502と、受信した信号に基づき試験信号の有音区間の開始・終了位置における往復遅延時間を測定する遅延時間測定部503とを備える。ただし、測定時において受信側端末で出力されるアナログ信号S4をダイレクトに受信側端末に入力する。
FIG. 9 is a block diagram showing a delay
第5実施例の試験信号S、信号送信部501、は、第1実施例の試験信号S、信号送信部101と同一である。
The test signal S and
信号受信部502は、測定対象となる音声通話サービスの送信側端末から受信したアナログ信号S2をキャプチャし、キャプチャしたアナログ信号をデジタル信号に変換したデジタル信号S3を遅延時間測定部503に送信する。
The
遅延時間測定部503は、第1実施例の遅延時間測定部103と同一であり、算出されるdb_k,de_kを試験信号の有音区間の開始・終了位置における往復遅延時間として出力する。
The delay
第5実施例に係る遅延時間測定装置50は、受信側端末と送信側端末が異なる場所にある場合において、有音区間の開始・終了位置における往復遅延時間を算出することができ、NTPサーバを用いずに測定対象となる2地点間の通話時の遅延時間変動を測定することが可能である。
The delay
<本発明の実施例の効果>
本発明の実施例によれば、出力音声信号の有音区間の開始・終了時刻を特定し、遅延時間を推定することが可能になる。
<Effect of the embodiment of the present invention>
According to the embodiment of the present invention, it is possible to specify the start / end time of the sound section of the output audio signal and estimate the delay time.
このため、有音・無音区間を考慮して処理をする音声通話サービスに対して、有音区間の開始・終了位置における遅延時間を測定でき、実サービスにおける遅延時間変動に近い遅延時間変動傾向を把握することができ、サービスのバッファ時間や無音圧縮時間を設定した際の動作確認や、前記動作に基づいたバッファ時間や無音圧縮時間の最適な設定が可能となる。
説明の便宜上、本発明の実施例に係る遅延時間測定装置は機能的なブロック図を用いて説明しているが、本発明の実施例に係る遅延時間測定装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施例に係る方法は処理の流れを示すフローチャートを用いて説明しているが、本発明の実施例に係る方法は、実施例に示す順序と異なる順序で実施されてもよい。
For this reason, it is possible to measure the delay time at the start / end positions of a voiced section for a voice call service that takes into account the voiced / silent period, and the delay time fluctuation tendency is close to the delay time fluctuation in the actual service. Thus, it is possible to confirm the operation when setting the buffer time and silence compression time of the service, and to optimally set the buffer time and silence compression time based on the operation.
For convenience of explanation, the delay time measuring apparatus according to the embodiment of the present invention is described using a functional block diagram. However, the delay time measuring apparatus according to the embodiment of the present invention may be hardware, software, or their It may be realized in combination. In addition, the functional units may be used in combination as necessary. Further, although the method according to the embodiment of the present invention has been described using the flowchart showing the flow of processing, the method according to the embodiment of the present invention may be performed in an order different from the order shown in the embodiment. .
以上、音声通話サービスにおける遅延時間を測定するための手法について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。 The method for measuring the delay time in the voice call service has been described above. However, the present invention is not limited to the above-described embodiments, and various modifications and applications can be made within the scope of the claims. .
10,41,50 遅延時間測定装置
40 信号送信装置
101,401,501 信号送信部
102,402,502 信号受信部
103,403,503 遅延時間測定部
104,404,504 有音短区間判別部
105,405,505 遅延時間算出部
406,407 NTPサーバ
10, 41, 50 Delay
Claims (8)
試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信手段と、
前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定手段と、
を備え、
前記遅延時間測定手段は、
特定の時間長の短区間が有音短区間であるか否かを判別する有音短区間判別手段と、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出する遅延時間算出手段と、
を備えることを特徴とする遅延時間測定装置。 A delay time measuring device for measuring a delay time in a voice call service,
Signal receiving means for acquiring a signal output from the second terminal of the voice call service when the test signal is input to the first terminal of the voice call service;
A delay time measuring means for measuring a delay time at a start position and an end position of a sound section of the test signal from the signal acquired by the signal receiving means;
With
The delay time measuring means includes
A voiced short section discriminating means for discriminating whether or not a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. Delay time calculating means for
A delay time measuring apparatus comprising:
試験信号を前記音声通話サービスの送信側端末に入力する信号送信装置と時刻同期を行う時刻同期手段を更に備えることを特徴とする、請求項1乃至4のうちいずれか1項に記載の遅延時間測定装置。 When the first terminal is a transmitting terminal of a voice call service and the second terminal is a receiving terminal of a voice call service,
The delay time according to any one of claims 1 to 4, further comprising time synchronization means for performing time synchronization with a signal transmission device that inputs a test signal to a terminal on the transmission side of the voice call service. measuring device.
前記信号受信手段は、前記音声通話サービスの送信側端末に入力された試験信号が音声通話サービスの受信側端末を介して前記音声通話サービスの送信側端末に戻ってきた信号を取得することを特徴とする、請求項1乃至4のうちいずれか1項に記載の遅延時間測定装置。 When both the first terminal and the second terminal are transmitting terminals of a voice call service,
The signal receiving means obtains a signal returned from the test signal input to the transmitting terminal of the voice call service via the receiving terminal of the voice call service to the transmitting terminal of the voice call service. The delay time measuring device according to any one of claims 1 to 4.
前記遅延時間測定装置の信号受信手段が、試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信ステップと、
前記遅延時間測定装置の遅延時間測定手段が、前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定ステップと、
を備え、
前記遅延時間測定ステップは、
特定の時間長の短区間が有音短区間であるか否かを判別するステップと、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出するステップと、
を備えることを特徴とする遅延時間測定方法。 A delay time measuring method by a delay time measuring device for measuring a delay time in a voice call service,
A signal receiving step in which the signal receiving means of the delay time measuring device acquires a signal output from the second terminal of the voice call service when the test signal is input to the first terminal of the voice call service;
A delay time measuring step in which the delay time measuring means of the delay time measuring device measures a delay time at a start position and an end position of a voiced section of the test signal from the signal acquired by the signal receiving means;
With
The delay time measuring step includes:
Determining whether a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. And steps to
A delay time measuring method comprising:
試験信号が音声通話サービスの第1の端末に入力されたときに音声通話サービスの第2の端末から出力される信号を取得する信号受信手段、及び
前記信号受信手段において取得した信号から前記試験信号の有音区間の開始位置及び終了位置における遅延時間を測定する遅延時間測定手段、
として機能させ、
前記遅延時間測定手段は、
特定の時間長の短区間が有音短区間であるか否かを判別する有音短区間判別手段と、
判別された有音短区間から前記信号受信手段において取得した信号の有音区間の開始位置及び終了位置を判別することにより、前記試験信号の有音区間の開始位置及び終了位置における遅延時間を算出する遅延時間算出手段と、
を備えることを特徴とするプログラム。 A program for causing a computer to function as a delay time measuring device for measuring a delay time in a voice call service, wherein when the test signal is input to the first terminal of the voice call service, the computer A signal receiving means for acquiring a signal output from the second terminal; and a delay time measuring means for measuring a delay time at a start position and an end position of a sound section of the test signal from the signal acquired by the signal receiving means;
Function as
The delay time measuring means includes
A voiced short section discriminating means for discriminating whether or not a short section of a specific time length is a voiced short section;
By determining the start position and end position of the sound section of the signal acquired in the signal receiving means from the determined short sound section, the delay time at the start position and end position of the test signal is calculated. Delay time calculating means for
A program comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013040791A JP5611393B2 (en) | 2013-03-01 | 2013-03-01 | Delay time measuring apparatus, delay time measuring method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013040791A JP5611393B2 (en) | 2013-03-01 | 2013-03-01 | Delay time measuring apparatus, delay time measuring method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014171021A JP2014171021A (en) | 2014-09-18 |
JP5611393B2 true JP5611393B2 (en) | 2014-10-22 |
Family
ID=51693121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013040791A Active JP5611393B2 (en) | 2013-03-01 | 2013-03-01 | Delay time measuring apparatus, delay time measuring method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5611393B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106448698B (en) * | 2016-11-17 | 2024-04-02 | 北京世纪东方智汇科技股份有限公司 | Testing device, system and method for analyzing voice delay of voice equipment |
CN113824843B (en) * | 2020-06-19 | 2023-11-21 | 大众问问(北京)信息科技有限公司 | Voice call quality detection method, device, equipment and storage medium |
-
2013
- 2013-03-01 JP JP2013040791A patent/JP5611393B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014171021A (en) | 2014-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105472191B (en) | A kind of method and apparatus tracking echo delay time | |
RU2651616C2 (en) | Method and apparatus for audio interference estimation | |
JP4745916B2 (en) | Noise suppression speech quality estimation apparatus, method and program | |
CN105301594B (en) | Range measurement | |
JP2004282700A (en) | Echo detection and monitoring | |
EP2202730A1 (en) | Noise detection apparatus, noise removal apparatus, and noise detection method | |
WO2009145192A1 (en) | Voice detection device, voice detection method, voice detection program, and recording medium | |
CN102576535B (en) | Method and system for determining a perceived quality of an audio system | |
JP5204904B2 (en) | Audio signal quality prediction | |
US9773510B1 (en) | Correcting clock drift via embedded sine waves | |
US20190253154A1 (en) | Method and system for acoustic communication of data | |
WO2004054319A1 (en) | Method and device for measuring sound wave propagation time between loudspeaker and microphone | |
CN101426169A (en) | Time-domain tracking filter fast detecting acoustic response parameter of sounding body and system | |
JPWO2017061023A1 (en) | Audio signal processing method and apparatus | |
JP5611393B2 (en) | Delay time measuring apparatus, delay time measuring method and program | |
JP2008116954A (en) | Generation of sample error coefficients | |
US10356518B2 (en) | First recording device, second recording device, recording system, first recording method, second recording method, first computer program product, and second computer program product | |
JP6361680B2 (en) | Sound field control system, analysis device, acoustic device, control method for sound field control system, control method for analysis device, control method for acoustic device, program, recording medium | |
JP4960838B2 (en) | Distance measuring device, distance measuring method, distance measuring program, and recording medium | |
US11856478B2 (en) | Double-sided two-way ranging protocol based on composite, ultrasonic tones | |
CN102314882B (en) | Method and device for estimating time delay between channels of sound signal | |
CN112995882B (en) | Intelligent equipment audio open loop test method | |
JP6011188B2 (en) | Echo path delay measuring apparatus, method and program | |
JP2016119635A (en) | Time difference calculator and terminal device | |
Möller | Telephone transmission impact on synthesized speech: quality assessment and prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140902 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5611393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |