JP5118099B2 - Sidetone canceling method and sidetone canceller - Google Patents
Sidetone canceling method and sidetone canceller Download PDFInfo
- Publication number
- JP5118099B2 JP5118099B2 JP2009125115A JP2009125115A JP5118099B2 JP 5118099 B2 JP5118099 B2 JP 5118099B2 JP 2009125115 A JP2009125115 A JP 2009125115A JP 2009125115 A JP2009125115 A JP 2009125115A JP 5118099 B2 JP5118099 B2 JP 5118099B2
- Authority
- JP
- Japan
- Prior art keywords
- procedure
- sidetone
- filter coefficient
- value
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
本発明は、電話機のハンドセットの代わりにハンズフリー装置を接続して行う音声会議などにおける側音キャンセル方法および側音キャンセラに関するものである。 The present invention relates to a side-tone canceling method and a side-tone canceller in an audio conference or the like performed by connecting a hands-free device instead of a telephone handset.
従来の側音キャンセラについて説明する。図10は非特許文献1に開示された従来の側音キャンセラの構成を示すブロック図である。側音キャンセラ802は、適応フィルタを側音キャンセルに適用したものであり、可変フィルタ部102とフィルタ係数更新部103と減算部104とから構成される。
A conventional side tone canceller will be described. FIG. 10 is a block diagram showing a configuration of a conventional sidetone canceller disclosed in Non-Patent
図11は側音キャンセラの動作を説明するための図であり、側音キャンセラの適用先であるハンズフリー装置の使い方を示す図である。ハンズフリー装置702は、電話機701のハンドセット接続端子705と接続され、電話機701のハンドセットの代わりとして使用することができ、さらにTV会議装置703などとも接続され、電話機701とTV会議装置703の両方と同時に通話を行うことができる。
FIG. 11 is a diagram for explaining the operation of the sidetone canceller, and is a diagram showing how to use the hands-free device to which the sidetone canceller is applied. The hands-
図12は、図11の接続を行った場合の信号の流れを示す図である。電話機701は、ハンドセット使用時の耳の閉塞感を軽減するために、送話音声を受話側に戻す側音付加回路801を有している。しかし、耳の閉塞感のないハンズフリー通話において側音は不要であり、ハウリングの発生の要因となり得ることから、側音を消去することが必要である。側音キャンセラ802は、この側音を消去するために用いられる。 FIG. 12 is a diagram illustrating a signal flow when the connection of FIG. 11 is performed. The telephone set 701 has a side tone adding circuit 801 for returning the transmitted voice to the receiving side in order to reduce the feeling of blockage of the ear when using the handset. However, in the hands-free call with no sense of blockage of the ear, side sounds are unnecessary and can cause howling. Therefore, it is necessary to eliminate the side sounds. The side tone canceller 802 is used to erase the side tone.
ハンズフリー装置702は、側音キャンセラ802のほかに、スピーカ708からマイク709に音が回り込む音響エコーを消去する音響エコーキャンセラ804と、電話機接続用の端子706と通常の機器接続用の端子707とを両方同時に使用できるように信号を混合するミキシング部803とを有する。ミキシング部803は、電話機701からの送話信号とTV会議装置703からの送話信号とを混合してスピーカ708に送り、マイク709で集音された受話信号とTV会議装置703からの送話信号とを混合して電話機701に送る。また、ミキシング部803は、電話機701からの送話信号とマイク709で集音された受話信号とを混合してTV会議装置703に送る。
In addition to the side-tone canceller 802, the hands-
次に図10を用いて側音キャンセラ802について詳細に説明する。側音キャンセラ802は、電話機701からの受話信号y(t)とミキシング部803から電話機701に送出する送話信号x(t)を入力とし、受話信号y(t)から側音成分を消去した信号e(t)をミキシング部803へ出力する。ただし、tは時刻を表す。 Next, the side tone canceller 802 will be described in detail with reference to FIG. Sidetone canceller 802 receives reception signal y (t) from telephone set 701 and transmission signal x (t) sent from mixing unit 803 to telephone set 701, and deletes sidetone components from reception signal y (t). The signal e (t) is output to the mixing unit 803. However, t represents time.
可変フィルタ部102は、電話機701に送出する送話信号x(t)をフィルタ係数H(t)でフィルタリングし、疑似側音信号y’(t)を出力する。減算部104は、電話機701からの受話信号y(t)から疑似側音信号y’(t)を減算し、受話信号y(t)から側音成分を消去した信号e(t)を出力する。フィルタ係数H(t)は時刻tにおけるフィルタ係数のベクトルであり、H(t)=(h(0,t),h(1,t),・・・・,h(L−1,t))Tで表される。h(i,t)は時刻tの時点でのiタップ目のフィルタ係数であり、Lはフィルタのタップ長である。
The
フィルタ係数更新部103は、送話信号x(t)と受話信号y(t)から側音成分を消去した信号e(t)を入力とし、NLMS(Normalized Least Mean Square)アルゴリズムを用いて、フィルタ係数を更新し、側音が消去されるようにフィルタ係数を更新する。NLMS法の更新式は式(1)で表される。
H(t+1)=H(t)+a・X(t)・e(t)/X(t)TX(t) ・・(1)
The filter
H (t + 1) = H (t) + a · X (t) · e (t) / X (t) T X (t) (1)
ただし、aは事前設定されたステップサイズであり、0<a<2の値をとる。X(t)は、時刻tにおける受話信号y(t)のLサンプル分のベクトルであり、X(t)=(x(t−0),x(t−1),・・・・,x(t−L+1))Tで表される。以上の処埋により、受話信号y(t)に含まれる側音が消去される。 However, a is a preset step size and takes a value of 0 <a <2. X (t) is a vector of L samples of the received signal y (t) at time t, and X (t) = (x (t-0), x (t-1),..., X (T−L + 1)) T By the above processing, the side sound included in the received signal y (t) is deleted.
電話機が接続されていない状態や電話機が通話状態にない場合には、側音は全く発生しない。しかし、従来の側音キャンセラでは、受話信号y(t)に含まれるノイズ成分や計算機の演算精度の影響により、フィルタ係数H(t)が完全に0とはならないため、疑似側音信号y’(t)が0とはならない。このため、通常の機器接続用の端子を用いて通話を行った際に、疑似側音信号y’(t)がミキシング部に入力され、通話の品質を低下させてしまう。 When the telephone is not connected or when the telephone is not in a talking state, no side sound is generated. However, in the conventional side tone canceller, the filter coefficient H (t) is not completely zero due to the noise component included in the received signal y (t) and the calculation accuracy of the computer. (T) is not 0. For this reason, when a call is made using a normal device connection terminal, the pseudo-side sound signal y ′ (t) is input to the mixing unit, thereby degrading the quality of the call.
このように、従来の側音キャンセラでは、電話機が接続されていない状態や電話機が通話状態にない状態で、通常の機器接続用の端子を用いて通話を行った際に、側音キャンセラが疑似側音を発生させてしまうために、通話時に側音が戻っているように聞こえてしまうという問題点があった。 As described above, in the conventional side tone canceller, when the phone is not connected or the phone is not in a call state, the side tone canceller is simulated when a call is performed using a normal device connection terminal. Since a side sound is generated, there is a problem that it sounds as if the side sound has returned during a call.
本発明の目的は、側音を発生する電話機等の機器が接続されていない状態や電話機等の機器が通話状態にない状態で、他の機器を用いて通話を行った際に、疑似側音を発生させることがない側音キャンセラを提供し、通話品質を向上させることである。 It is an object of the present invention to provide a pseudo side sound when a phone call is made using another device in a state where a device such as a phone that generates a side tone is not connected or a device such as a phone is not in a call state. It is to provide a side tone canceller that does not generate a voice and to improve call quality.
本発明の側音キャンセル方法は、通話相手へ送信する送話信号を設定されたフィルタ係数でフィルタリングする可変フィルタ手順と、通話相手からの受話信号から前記可変フィルタ手順で得られた出力信号を減算する減算手順と、前記送話信号と前記減算手順で得られた出力信号に基づいて、前記受話信号に含まれる送話信号成分である側音の二乗平均が小さくなるように、前記可変フィルタ手順のフィルタ係数を逐次更新するフィルタ係数更新手順と、前記可変フィルタ手順のフィルタ係数に基づいて前記側音の有無を検出する側音検出手順と、前記側音検出手順の検出結果が側音有りであった場合に、前記減算手順で得られた出力信号を選択して出力し、検出結果が側音無しであった場合に、前記受話信号を選択して出力するスイッチ手順とを備えることを特徴とするものである。 The sidetone canceling method of the present invention includes a variable filter procedure for filtering a transmission signal to be transmitted to a call partner with a set filter coefficient, and subtracting an output signal obtained by the variable filter procedure from a reception signal from the call partner And the variable filter procedure so that the mean square of the side tone, which is the transmission signal component included in the received signal, is reduced based on the subtraction procedure to be performed and the transmission signal and the output signal obtained by the subtraction procedure. A filter coefficient update procedure for sequentially updating the filter coefficient of the side filter, a side sound detection procedure for detecting the presence or absence of the side sound based on the filter coefficient of the variable filter procedure, and the detection result of the side sound detection procedure includes a side sound. If there is a switch, the output signal obtained in the subtraction procedure is selected and output. It is characterized in further comprising and.
また、本発明の側音キャンセル方法の1構成例において、前記側音検出手順は、前記可変フィルタ手順のフィルタ係数の絶対値を計算する絶対値計算手順と、前記フィルタ係数の絶対値の最大値を求める最大値検出手順と、あらかじめ設定された固定閾値と前記最大値とを比較し、前記固定閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記固定閾値以下の場合に側音無しと判定する固定閾値比較手順とを含むことを特徴とするものである。
また、本発明の側音キャンセル方法の1構成例において、前記側音検出手順は、前記可変フィルタ手順のフィルタ係数の絶対値を計算する絶対値計算手順と、前記フィルタ係数の絶対値の最大値を求める最大値検出手順と、前記フィルタ係数の絶対値の平均値を計算する平均値計算手順と、前記平均値にあらかじめ設定された定数を乗じた値を閾値として設定する閾値設定手順と、前記閾値と前記最大値とを比較し、前記閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記閾値以下の場合に側音無しと判定する閾値比較手順とを含むことを特徴とするものである。
Further, in one configuration example of the sidetone canceling method of the present invention, the sidetone detection procedure includes an absolute value calculation procedure for calculating an absolute value of a filter coefficient of the variable filter procedure, and a maximum value of the absolute value of the filter coefficient. The maximum value detection procedure for obtaining the maximum threshold value is compared with a preset fixed threshold value and the maximum value is determined. If the maximum value is larger than the fixed threshold value, it is determined that there is a side sound. In this case, a fixed threshold value comparison procedure for determining that there is no side sound is included.
Further, in one configuration example of the sidetone canceling method of the present invention, the sidetone detection procedure includes an absolute value calculation procedure for calculating an absolute value of a filter coefficient of the variable filter procedure, and a maximum value of the absolute value of the filter coefficient. A maximum value detection procedure for obtaining, an average value calculation procedure for calculating an average value of absolute values of the filter coefficients, a threshold value setting procedure for setting a value obtained by multiplying the average value by a preset constant as a threshold value, A threshold comparison procedure that compares a threshold value with the maximum value, determines that there is a side sound when the maximum value is greater than the threshold value, and determines that there is no side sound when the maximum value is less than or equal to the threshold value. It is characterized by this.
また、本発明の側音キャンセル方法の1構成例は、さらに、前記側音が有る状態から前記側音が無い状態に移行した際に、前記可変フィルタ手順のフィルタ係数を0とするフィルタ係数リセット手順を備えることを特徴とするものである。
また、本発明の側音キャンセル方法の1構成例において、前記フィルタ係数リセット手順は、前記減算手順で得られた出力信号のレベルを計算する第1のレベル計算手順と、前記受話信号のレベルを計算する第2のレベル計算手順と、前記受話信号のレベルにあらかじめ設定された定数を乗じる定数乗算手順と、この定数乗算手順で得られた出力信号のレベルと前記減算手順で得られた出力信号のレベルとを比較し、前記減算手順で得られた出力信号のレベルの方が大きい場合に、前記可変フィルタ手順のフィルタ係数を0とする比較手順とを含むことを特徴とするものである。
In addition, one configuration example of the sidetone canceling method of the present invention further includes a filter coefficient reset for setting the filter coefficient of the variable filter procedure to 0 when the sidetone is present and the sidetone is absent. A procedure is provided.
In the configuration example of the sidetone cancellation method of the present invention, the filter coefficient reset procedure includes a first level calculation procedure for calculating a level of the output signal obtained by the subtraction procedure, and a level of the received signal. A second level calculation procedure for calculating, a constant multiplication procedure for multiplying the level of the received signal by a preset constant, the level of the output signal obtained by the constant multiplication procedure, and the output signal obtained by the subtraction procedure And a comparison procedure for setting the filter coefficient of the variable filter procedure to 0 when the level of the output signal obtained by the subtraction procedure is larger.
また、本発明の側音キャンセラは、通話相手へ送信する送話信号を設定されたフィルタ係数でフィルタリングする可変フィルタ手段と、通話相手からの受話信号から前記可変フィルタ手段の出力信号を減算する減算手段と、前記送話信号と前記減算手段の出力信号に基づいて、前記受話信号に含まれる送話信号成分である側音の二乗平均が小さくなるように、前記可変フィルタ手段のフィルタ係数を逐次更新するフィルタ係数更新手段と、前記可変フィルタ手段のフィルタ係数に基づいて前記側音の有無を検出する側音検出手段と、前記側音検出手段の検出結果が側音有りであった場合に、前記減算手段の出力信号を選択して出力し、検出結果が側音無しであった場合に、前記受話信号を選択して出力するスイッチ手段とを備えることを特徴とするものである。 Further, the sidetone canceller of the present invention includes variable filter means for filtering a transmission signal to be transmitted to a call partner with a set filter coefficient, and subtraction for subtracting an output signal of the variable filter means from a reception signal from the call partner. And, based on the transmission signal and the output signal of the subtracting means, the filter coefficients of the variable filter means are successively set so that the mean square of the side tone, which is the transmission signal component included in the reception signal, becomes small. A filter coefficient updating means for updating, a side sound detecting means for detecting the presence or absence of the side sound based on a filter coefficient of the variable filter means, and when the detection result of the side sound detection means is a side sound, Switch means for selecting and outputting the reception signal when the output signal of the subtraction means is selected and output, and the detection result is that there is no side sound. It is intended to.
本発明では、従来の側音キャンセル方法に、側音検出手順とスイッチ手順を追加し、側音検出手順の検出結果が側音有りであった場合には、減算手順で得られた出力信号、すなわち側音をキャンセルした信号を選択して出力し、検出結果が側音無しであった場合には、受話信号、すなわち側音をキャンセルする前の信号を選択して出力する。この結果、本発明では、自装置(例えばハンズフリー装置)に側音を発生する電話機等の機器が接続されていない状態や電話機等の機器が通話状態にない状態で、他の機器を用いて通話を行った際に、自装置のスピーカや他の機器側で側音が戻っているように聞こえてしまうことを防止することができる。 In the present invention, a side-tone detection procedure and a switch procedure are added to the conventional side-tone cancellation method, and when the detection result of the side-tone detection procedure includes a side tone, the output signal obtained by the subtraction procedure, That is, a signal with a side sound canceled is selected and output. If the detection result is that there is no side sound, a received signal, that is, a signal before the side sound is canceled is selected and output. As a result, according to the present invention, when a device such as a telephone that generates a side sound is not connected to the own device (for example, a hands-free device) or a device such as a telephone is not in a talking state, another device is used. When a call is made, it is possible to prevent the side sound from being heard on the speaker of the own device or another device side.
また、本発明では、可変フィルタ手順のフィルタ係数の絶対値を計算し、フィルタ係数の絶対値の最大値を求め、この最大値があらかじめ設定された固定閾値よりも大きい場合に、側音ありと検出する。これにより、本発明では、自装置に側音を発生する電話機等の機器が接続されていない状態や電話機等の機器が通話状態にない揚合には、側音をキャンセルする前の受話信号を出力することができ、不要な擬似側音の発生を抑えることができる。 Further, in the present invention, the absolute value of the filter coefficient of the variable filter procedure is calculated, the maximum value of the absolute value of the filter coefficient is obtained, and when the maximum value is larger than a preset fixed threshold, it is determined that there is a side sound. To detect. As a result, in the present invention, when a device such as a telephone that generates a side sound is not connected to the own device or when a device such as a telephone is not in a talking state, the received signal before canceling the side sound is displayed. It is possible to output, and generation of unnecessary pseudo side sounds can be suppressed.
また、本発明では、側音検出手順における閾値を、フィルタ係数の絶対値の平均値にあらかじめ設定された定数を乗じた値とし、この閾値とフィルタ係数の絶対値の最大値を比較し、最大値の方が大きい揚合に、側音ありと検出することにより、側音の大きさによらずに、側音の検出ができるようになる。これにより、本発明では、自装置に側音の大きさが一般的でない電話機等の機器が接続された場合でも側音の有無を検出することが可能となり、側音キャンセラを正常に動作させることができる。 In the present invention, the threshold in the sidetone detection procedure is a value obtained by multiplying the average value of the absolute value of the filter coefficient by a preset constant, and the maximum value of the absolute value of the filter coefficient is compared. By detecting that there is a side sound when the value is larger, the side sound can be detected regardless of the size of the side sound. As a result, in the present invention, it is possible to detect the presence or absence of a side sound even when a device such as a telephone with a non-common side sound level is connected to the device, and the side sound canceller can be operated normally. Can do.
また、本発明では、側音が有る状態から側音が無い状態に移行した際に、可変フィルタ手順のフィルタ係数を0とする。これにより、本発明では、側音が有る状態(自装置に側音を発生する電話機等の機器が接続されている状態)から、側音が無い状態(側音を発生する電話機等の機器が接続されていない状態)に移行した際に、即座に疑似側音の生成を止めることができ、側音が戻っているように聞こえてしまう現象を防止することができる。 Further, in the present invention, the filter coefficient of the variable filter procedure is set to 0 when shifting from a state where there is a side sound to a state where there is no side sound. As a result, in the present invention, there is no side sound (a device such as a phone that generates a side sound) from a state where a side sound is present (a device such as a phone that generates a side sound is connected to the own device). When the process shifts to a state in which the side sound is not connected, the generation of the pseudo side sound can be stopped immediately, and the phenomenon that the side sound is heard to be returned can be prevented.
[第1の実施の形態]
以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の第1の実施の形態に係る側音キャンセラの構成を示すブロック図である。
本実施の形態の側音キャンセラ101は、可変フィルタ部102と、フィルタ係数更新部103と、減算部104と、側音検出部105と、スイッチ部106とから構成される。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a sidetone canceller according to the first embodiment of the present invention.
Sidetone canceller 101 according to the present embodiment includes
図2(A)は可変フィルタ部102とフィルタ係数更新部103と減算部104の動作を示すフローチャート、図2(B)は側音検出部105とスイッチ部106の動作を示すフローチャートである。
2A is a flowchart showing the operations of the
可変フィルタ部102は、電話機に送出する送話信号x(t)をフィルタ係数H(t)でフィルタリングし、疑似側音信号y’(t)を出力する(図2(A)ステップS100)。減算部104は、電話機からの受話信号y(t)から疑似側音信号y’(t)を減算し、受話信号y(t)から側音成分を消去した信号e(t)を出力する(ステップS101)。フィルタ係数更新部103は、送話信号x(t)と減算部104の出力信号e(t)とに基づいて、受話信号y(t)に含まれる側音の二乗平均が小さくなるように、可変フィルタ部102のフィルタ係数H(t)を逐次更新する(ステップS102)。以上の可変フィルタ部102とフィルタ係数更新部103と減算部104の動作は従来の側音キャンセラと同様であるので、詳細な説明は省略する。
The
側音検出部105は、側音の有無を検出し(図2(B)ステップS103)、検出結果が側音有りであった場合には(ステップS104においてYES)、スイッチ部106に減算部104の出力信号e(t)を選択して出力させ(ステップS105)、検出結果が側音無しであった場合には(ステップS104においてNO)、スイッチ部106に受話信号y(t)を選択して出力させる(ステップS106)。以下、側音検出部105とスイッチ部106の動作をより詳細に説明する。
The side
側音検出部105は、可変フィルタ部102のフィルタ係数H(t)から、側音の有無、すなわち側音キャンセラを含む自装置(ハンズフリー装置)が側音を発生する機器(電話機接続用の端子に接続される電話機等の機器)と接続されているか否かを検出する。図3は側音検出部105の構成を示すブロック図、図4は側音検出部105の動作を示すフローチャートである。本実施の形態の側音検出部105は、絶対値計算部201と、最大値検出部202と、固定閾値比較部203とから構成される。
The side-
絶対値計算部201は、可変フィルタ部102のフィルタ係数H(t)の絶対値F(t)を計算する(図4ステップS200)。この絶対値計算部201の計算処理は、式(2)で表わされる。ただし、|x|はxの絶対値を取ることを表す。
F(t)=|H(t)| ・・・(2)
The absolute
F (t) = | H (t) | (2)
次に、最大値検出部202は、絶対値計算部201で計算されたフィルタ係数H(t)の絶対値F(t)の最大値Fm(t)を検出する(ステップS201)。この最大値検出部202の処理は、式(3)で表される。ただし、max(Z)は、ベクトルZの要素の中の最大値を取ることを意味する。
Fm(t)=max(F(t)) ・・・(3)
Next, the maximum
Fm (t) = max (F (t)) (3)
次に、固定閾値比較部203は、最大値検出部202によって検出された最大値Fm(t)とあらかじめ設定された固定閾値Gとを比較し(ステップS202)、最大値Fm(t)が固定閾値Gよりも大きい場合には、側音有り、すなわち自装置が側音を発生する電話機等の機器と接続されていると判定し(ステップS203)、最大値Fm(t)が固定閾値G以下の場合には、側音無し、すなわち自装置が側音を発生する機器と接続されていないと判定する(ステップS204)。ここで、固定閾値Gは、通常想定される側音の伝達経路の利得の大きさよりも十分に小さい値に設定される。通常はG=0.01〜0.2程度の範囲である。そして、固定閾値比較部203は、側音の有無の検出結果をスイッチ部106に出力する(ステップS205)。
Next, the fixed threshold
スイッチ部106は、側音検出部105の検出結果に応じて、受話信号y(t)または減算部104の出力信号e(t)のいずれかを選択して出力信号z(t)として出力する。スイッチ部106は、側音検出部105の検出結果が側音有りであった場合には、減算部104の出力信号e(t)を選択して出力し(図2(B)ステップS105)、検出結果が側音無しであった場合には、受話信号y(t)を選択して出力する(ステップS106)。スイッチ部106の出力信号z(t)は、図12で説明したミキシング部へ送出される。
The switch unit 106 selects either the reception signal y (t) or the output signal e (t) of the
以上説明したように、本実施の形態では、側音検出部105とスイッチ部106とを設けることで、自装置に側音を発生する電話機等の機器が接続されていない場合に、側音の除去処埋をかける前の受話信号をそのまま出力することができ、疑似側音をミキシング部に送出してしまうことを防止することができる。また、自装置に側音を発生する機器が接続されている場合は、側音の除去処埋をかけた後の受話信号を出力することができる。これにより、本実施の形態では、電話機が接続されていない状態や電話機が通話状態にない状態で、通常の機器接続用の端子を用いて通話を行った際に、通話時に自装置のスピーカや通常の機器接続用の端子に接続されているTV会議装置等の機器側で側音が戻っているように聞こえてしまうことを防止することができる。
As described above, in the present embodiment, by providing the side
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。図5は本発明の第2の実施の形態に係る側音キャンセラの側音検出部の構成を示すブロック図、図6は側音検出部の動作を示すフローチャートである。本実施の形態の側音キャンセラは、第1の実施の形態の側音検出部105を、図5に示す構成としたものである。本実施の形態の側音キャンセラの全体の構成は図1に示したブロック図と同様であり、可変フィルタ部102と、フィルタ係数更新部103と、減算部104と、側音検出部105と、スイッチ部106とから構成される。可変フィルタ部102、フィルタ係数更新部103、減算部104、スイッチ部106は、第1の実施の形態の側音キャンセラと同様であるので、説明は省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 5 is a block diagram showing the configuration of the side tone detection unit of the side tone canceller according to the second embodiment of the present invention, and FIG. 6 is a flowchart showing the operation of the side tone detection unit. In the sidetone canceller of the present embodiment, the
図5に示すように、本実施の形態の側音検出部105は、絶対値計算部201と、最大値検出部202と、平均値計算部301と、閾値設定部302と、閾値比較部303とから構成される。
絶対値計算部201と最大値検出部202の動作は、第1の実施の形態と同じである(図6ステップS200,S201)。
As shown in FIG. 5, the side
The operations of the absolute
平均値計算部301は、絶対値計算部201で計算されたフィルタ係数H(t)の絶対値F(t)の平均値Fa(t)を計算する(ステップS206)。平均値計算部301の計算処理は、式(4)で表される。
Fa(t)=cF(t)/L ・・・(4)
式(4)のcは、1行L列の1を要素に持つベクトルであり、式(5)で表わされる。
c={1,1,1,・・・・,1} ・・・(5)
The average
Fa (t) = cF (t) / L (4)
C in Expression (4) is a vector having 1 in 1 row and L column as an element, and is expressed by Expression (5).
c = {1, 1, 1,..., 1} (5)
閾値設定部302は、平均値計算部301で計算された平均値Fa(t)に、あらかじめ設定された定数A(A≧1)を乗算し、閾値G(t)を計算する(ステップS207)。閾値設定部302の計算処理は、式(6)で表される。
G(t)=A・Fa(t) ・・・(6)
The threshold
G (t) = A · Fa (t) (6)
閾値比較部303は、最大値検出部202によって検出された最大値Fm(t)と閾値設定部302によって設定された閾値G(t)とを比較し(ステップS208)、最大値Fm(t)が閾値G(t)よりも大きい場合には、側音有り、すなわち自装置が側音を発生する電話機等の機器と接続されていると判定し(ステップS209)、最大値Fm(t)が閾値G(t)以下の場合には、側音無し、すなわち自装置が側音を発生する機器と接続されていないと判定する(ステップS210)。そして、閾値比較部303は、側音の有無の検出結果をスイッチ部106に出力する(ステップS211)。
The
以上示したように、本実施の形態では、固定閾値Gではなく、可変フィルタ部102のフィルタ係数の平均値に応じた閾値G(t)を用いて、側音を発生する電話機等の機器との接続の有無を判定することにより、自装置に側音の大きさが一般的でない機器が接続された場合でも側音の有無を検出することが可能となる。これ以外の効果については、第1の実施の形態と同様である。
As described above, in the present embodiment, a device such as a telephone that generates a side sound using not the fixed threshold G but the threshold G (t) corresponding to the average value of the filter coefficients of the
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。図7は本発明の第3の実施の形態に係る側音キャンセラの構成を示すブロック図である。本実施の形態の側音キャンセラ402は、第1の実施の形態または第2の実施の形態の側音キャンセラに、フィルタ係数リセット部401を追加したものである。
可変フィルタ部102、フィルタ係数更新部103、減算部104、側音検出部105、スイッチ部106については、第1の実施の形態または第2の実施の形態と同様であるので、説明は省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. FIG. 7 is a block diagram showing the configuration of a side tone canceller according to the third embodiment of the present invention. The sidetone canceller 402 according to this embodiment is obtained by adding a filter
The
フィルタ係数リセット部401は、側音キャンセラを含む自装置(ハンズフリー装置)が側音を発生する機器(電話機接続用の端子に接続される電話機等の機器)に接続されている状態から、接続されていない状態に移行した際に、可変フィルタ部102のフィルタ係数を全て0にクリアする。図8はフィルタ係数リセット部401の構成を示すブロック図、図9はフィルタ係数リセット部401の動作を示すフローチャートである。
フィルタ係数リセット部401は、レベル計算部501と、レベル計算部502と、定数乗算部503と、比較部504とから構成される。
The filter
The filter
レベル計算部501は、減算部104の出力である側音キャンセル後の受話信号e(t)の時間平均レベルP(t)を計算する(図9ステップS300)。時間平均レベルP(t)は、式(7)により計算される。
P(t)=(1−b)・P(t−1)+b・|e(t)| ・・・(7)
ただし、bは1未満のあらかじめ設定される定数であり、bが1に近いほど、レベル計算の時間平均の時定数が長くなる。|x|はxの絶対値を取ることを表す。
The
P (t) = (1-b) · P (t−1) + b · | e (t) | (7)
However, b is a preset constant less than 1, and as b is closer to 1, the time constant of the time average of level calculation becomes longer. | X | represents taking the absolute value of x.
レベル計算部502は、側音キャンセル前の受話信号y(t)の時間平均レベルQ(t)を計算する(ステップS301)。時間平均レベルQ(t)は、式(8)により計算される。
Q(t)=(1−b)・Q(t−1)+b・|y(t)| ・・・(8)
The
Q (t) = (1-b) · Q (t−1) + b · | y (t) | (8)
側音があり、側音キャンセラが働いていれば、側音キャンセル前の受話信号y(t)よりも、側音キャンセル後の受話信号e(t)の方が信号のレベルが小さくなるので、P(t)<Q(t)という関係が成立する。この状態で、側音が急になくなった場合、可変フィルタ部102の疑似側音信号y’(t)のレベルが、側音キャンセル前の受話信号y(t)の時間平均レベルQ(t)に加算されるので、P(t)>Q(t)という関係となる。この現象を利用して、側音キャンセラを含む自装置が側音を発生する電話機等の機器に接続されている状態から接続されていない状態に移行したことを検出する。
If there is a side tone and the side tone canceller is working, the signal level of the received signal e (t) after canceling the side tone is lower than the received signal y (t) before canceling the side tone. The relationship P (t) <Q (t) is established. In this state, when the side sound suddenly disappears, the level of the pseudo side sound signal y ′ (t) of the
定数乗算部503は、あらかじめ設定された定数d(d≧1)を、レベル計算部502で計算された時間平均レベルQ(t)に乗算する(ステップS302)。
比較部504は、定数乗算部503の出力d・Q(t)とレベル計算部501の出力P(t)とを比較し(ステップS303)、定数乗算部503の出力d・Q(t)よりもレベル計算部501の出力P(t)の方が大きい場合に、可変フィルタ部102のフィルタ係数を全て0にクリアする(ステップS304)。
The
The
このように、側音キャンセラを含む自装置が側音を発生する機器に接続されている状態から、接続されていない状態に移行したことを検出した際に、可変フィルタ部102のフィルタ係数を0とすることにより、側音を発生する機器に接続されている状態から、接続されていない状態に移行した際に、不要音として付加されてしまう擬似側音を、フィルタ係数の学習が行われる前に、発生しないようにすることができる。
以上示したように本実施の形態によれば、第1の実施の形態または第2の実施の形態の効果に加えて、側音を発生する機器に接続されている状態から、接続されていない状態に移行した際に不要音として付加される擬似側音をいち早く消去することができる。
As described above, when it is detected that the own apparatus including the sidetone canceller shifts from a state in which it is connected to a device that generates a sidetone to a state in which it is not connected, the filter coefficient of the
As described above, according to the present embodiment, in addition to the effects of the first embodiment or the second embodiment, it is not connected from a state where it is connected to a device that generates a side sound. The pseudo side sound added as an unnecessary sound when the state is shifted can be quickly erased.
なお、第1〜第3の実施の形態の側音キャンセラ101,402は、CPU、記憶装置および外部とのインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、CPUは、記憶装置に格納されたプログラムに従って第1〜第3の実施の形態で説明した処理を実行する。 The sidetone cancellers 101 and 402 according to the first to third embodiments can be realized by a computer having a CPU, a storage device, and an external interface, and a program for controlling these hardware resources. . In such a computer, the CPU executes the processes described in the first to third embodiments in accordance with a program stored in the storage device.
本発明は、ハンズフリー通話等において側音を消去する側音キャンセラに適用することができる。 The present invention can be applied to a side-tone canceller that eliminates side-tones in a hands-free call or the like.
101,402…側音キャンセラ、102…可変フィルタ部、103…フィルタ係数更新部、104…減算部、105…側音検出部、106…スイッチ、201…絶対値計算部、202…最大値検出部、203…固定閾値比較部、301…平均値計算部、302…閾値設定部、303…閾値比較部、401…フィルタ係数リセット部、501…レベル計算部、502…レベル計算部、503…定数乗算部、504…比較部。 DESCRIPTION OF SYMBOLS 101,402 ... Side-tone canceller, 102 ... Variable filter part, 103 ... Filter coefficient update part, 104 ... Subtraction part, 105 ... Side-tone detection part, 106 ... Switch, 201 ... Absolute value calculation part, 202 ... Maximum value detection part , 203 ... fixed threshold value comparison unit, 301 ... average value calculation unit, 302 ... threshold value setting unit, 303 ... threshold value comparison unit, 401 ... filter coefficient reset unit, 501 ... level calculation unit, 502 ... level calculation unit, 503 ... constant multiplication Part, 504... Comparison part.
Claims (10)
通話相手からの受話信号から前記可変フィルタ手順で得られた出力信号を減算する減算手順と、
前記送話信号と前記減算手順で得られた出力信号に基づいて、前記受話信号に含まれる送話信号成分である側音の二乗平均が小さくなるように、前記可変フィルタ手順のフィルタ係数を逐次更新するフィルタ係数更新手順と、
前記可変フィルタ手順のフィルタ係数に基づいて前記側音の有無を検出する側音検出手順と、
前記側音検出手順の検出結果が側音有りであった場合に、前記減算手順で得られた出力信号を選択して出力し、検出結果が側音無しであった場合に、前記受話信号を選択して出力するスイッチ手順とを備えることを特徴とする側音キャンセル方法。 A variable filter procedure for filtering a transmission signal to be transmitted to a call partner with a set filter coefficient;
A subtraction procedure for subtracting the output signal obtained by the variable filter procedure from the received signal from the other party;
Based on the transmission signal and the output signal obtained by the subtraction procedure, the filter coefficients of the variable filter procedure are sequentially set so that the mean square of the side tone, which is the transmission signal component included in the reception signal, becomes small. A filter coefficient update procedure to be updated;
A sidetone detection procedure for detecting the presence or absence of the sidetone based on a filter coefficient of the variable filter procedure;
When the detection result of the sidetone detection procedure is that there is a sidetone, the output signal obtained in the subtraction procedure is selected and output, and when the detection result is that there is no sidetone, the received signal is A sidetone canceling method comprising: a switching procedure for selecting and outputting.
前記側音検出手順は、
前記可変フィルタ手順のフィルタ係数の絶対値を計算する絶対値計算手順と、
前記フィルタ係数の絶対値の最大値を求める最大値検出手順と、
あらかじめ設定された固定閾値と前記最大値とを比較し、前記固定閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記固定閾値以下の場合に側音無しと判定する固定閾値比較手順とを含むことを特徴とする側音キャンセル方法。 In the sidetone canceling method according to claim 1,
The sidetone detection procedure is:
An absolute value calculation procedure for calculating an absolute value of a filter coefficient of the variable filter procedure;
A maximum value detection procedure for obtaining a maximum absolute value of the filter coefficient;
A preset fixed threshold value is compared with the maximum value, and it is determined that there is a side sound when the maximum value is larger than the fixed threshold value, and it is determined that there is no side sound when the maximum value is equal to or less than the fixed threshold value. And a fixed threshold comparison procedure.
前記側音検出手順は、
前記可変フィルタ手順のフィルタ係数の絶対値を計算する絶対値計算手順と、
前記フィルタ係数の絶対値の最大値を求める最大値検出手順と、
前記フィルタ係数の絶対値の平均値を計算する平均値計算手順と、
前記平均値にあらかじめ設定された定数を乗じた値を閾値として設定する閾値設定手順と、
前記閾値と前記最大値とを比較し、前記閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記閾値以下の場合に側音無しと判定する閾値比較手順とを含むことを特徴とする側音キャンセル方法。 The sidetone canceling method according to claim 1,
The sidetone detection procedure is:
An absolute value calculation procedure for calculating an absolute value of a filter coefficient of the variable filter procedure;
A maximum value detection procedure for obtaining a maximum absolute value of the filter coefficient;
An average value calculation procedure for calculating an average value of absolute values of the filter coefficients;
A threshold setting procedure for setting a value obtained by multiplying the average value by a preset constant as a threshold;
Comparing the threshold value with the maximum value, determining that there is a side sound when the maximum value is larger than the threshold value, and a threshold comparison procedure for determining that there is no side sound when the maximum value is less than or equal to the threshold value. A side-tone canceling method comprising:
さらに、前記側音が有る状態から前記側音が無い状態に移行した際に、前記可変フィルタ手順のフィルタ係数を0とするフィルタ係数リセット手順を備えることを特徴とする側音キャンセル方法。 In the sidetone canceling method according to any one of claims 1 to 3,
The method further comprises: a filter coefficient reset procedure for setting a filter coefficient of the variable filter procedure to 0 when the side sound is present and the side sound is absent.
前記フィルタ係数リセット手順は、
前記減算手順で得られた出力信号のレベルを計算する第1のレベル計算手順と、
前記受話信号のレベルを計算する第2のレベル計算手順と、
前記受話信号のレベルにあらかじめ設定された定数を乗じる定数乗算手順と、
この定数乗算手順で得られた出力信号のレベルと前記減算手順で得られた出力信号のレベルとを比較し、前記減算手順で得られた出力信号のレベルの方が大きい場合に、前記可変フィルタ手順のフィルタ係数を0とする比較手順とを含むことを特徴とする側音キャンセル方法。 In the sidetone canceling method according to claim 4,
The filter coefficient reset procedure includes:
A first level calculation procedure for calculating the level of the output signal obtained by the subtraction procedure;
A second level calculation procedure for calculating the level of the received signal;
A constant multiplication procedure for multiplying the level of the received signal by a preset constant;
When the level of the output signal obtained by the subtraction procedure is compared with the level of the output signal obtained by the constant multiplication procedure, and the level of the output signal obtained by the subtraction procedure is greater, the variable filter A sidetone canceling method comprising a comparison procedure for setting a filter coefficient of the procedure to 0.
通話相手からの受話信号から前記可変フィルタ手段の出力信号を減算する減算手段と、
前記送話信号と前記減算手段の出力信号に基づいて、前記受話信号に含まれる送話信号成分である側音の二乗平均が小さくなるように、前記可変フィルタ手段のフィルタ係数を逐次更新するフィルタ係数更新手段と、
前記可変フィルタ手段のフィルタ係数に基づいて前記側音の有無を検出する側音検出手段と、
前記側音検出手段の検出結果が側音有りであった場合に、前記減算手段の出力信号を選択して出力し、検出結果が側音無しであった場合に、前記受話信号を選択して出力するスイッチ手段とを備えることを特徴とする側音キャンセラ。 Variable filter means for filtering a transmission signal to be transmitted to the other party with a set filter coefficient;
Subtracting means for subtracting the output signal of the variable filter means from the received signal from the other party;
A filter that sequentially updates the filter coefficient of the variable filter means based on the transmitted signal and the output signal of the subtracting means so that the mean square of the side tone that is the transmitted signal component included in the received signal is reduced. Coefficient updating means;
Side sound detecting means for detecting the presence or absence of the side sound based on a filter coefficient of the variable filter means;
When the detection result of the sidetone detection means is a side sound, the output signal of the subtraction means is selected and output, and when the detection result is no side sound, the reception signal is selected. A side-tone canceller comprising switch means for outputting.
前記側音検出手段は、
前記可変フィルタ手段のフィルタ係数の絶対値を計算する絶対値計算手段と、
前記フィルタ係数の絶対値の最大値を求める最大値検出手段と、
あらかじめ設定された固定閾値と前記最大値とを比較し、前記固定閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記固定閾値以下の場合に側音無しと判定する固定閾値比較手段とからなることを特徴とする側音キャンセラ。 The side-tone canceller according to claim 6,
The side sound detection means includes
Absolute value calculating means for calculating the absolute value of the filter coefficient of the variable filter means;
Maximum value detecting means for obtaining the maximum absolute value of the filter coefficient;
A preset fixed threshold value is compared with the maximum value, and it is determined that there is a side sound when the maximum value is larger than the fixed threshold value, and it is determined that there is no side sound when the maximum value is equal to or less than the fixed threshold value. A side-tone canceller comprising: a fixed threshold value comparison means.
前記側音検出手段は、
前記可変フィルタ手段のフィルタ係数の絶対値を計算する絶対値計算手段と、
前記フィルタ係数の絶対値の最大値を求める最大値検出手段と、
前記フィルタ係数の絶対値の平均値を計算する平均値計算手段と、
前記平均値にあらかじめ設定された定数を乗じた値を閾値として設定する閾値設定手段と、
前記閾値と前記最大値とを比較し、前記閾値よりも前記最大値が大きい場合に側音有りと判定し、前記最大値が前記閾値以下の場合に側音無しと判定する閾値比較手段とからなることを特徴とする側音キャンセラ。 The side-tone canceller according to claim 6,
The side sound detection means includes
Absolute value calculating means for calculating the absolute value of the filter coefficient of the variable filter means;
Maximum value detecting means for obtaining the maximum absolute value of the filter coefficient;
An average value calculating means for calculating an average value of absolute values of the filter coefficients;
Threshold setting means for setting a value obtained by multiplying the average value by a preset constant as a threshold;
From the threshold value comparison means that compares the threshold value with the maximum value, determines that there is a side sound when the maximum value is larger than the threshold value, and determines that there is no side sound when the maximum value is equal to or less than the threshold value. A side-tone canceller characterized by
さらに、前記側音が有る状態から前記側音が無い状態に移行した際に、前記可変フィルタ手段のフィルタ係数を0とするフィルタ係数リセット手段を備えることを特徴とする側音キャンセラ。 In the side-tone canceller according to any one of claims 6 to 8,
The sidetone canceller further comprising filter coefficient resetting means for setting the filter coefficient of the variable filter means to 0 when the sidetone is present and the sidetone is absent.
前記フィルタ係数リセット手段は、
前記減算手段の出力信号のレベルを計算する第1のレベル計算手段と、
前記受話信号のレベルを計算する第2のレベル計算手段と、
前記受話信号のレベルにあらかじめ設定された定数を乗じる定数乗算手段と、
この定数乗算手段の出力信号のレベルと前記減算手段の出力信号のレベルとを比較し、前記減算手段の出力信号のレベルの方が大きい場合に、前記可変フィルタ手段のフィルタ係数を0とする比較手段とからなることを特徴とする側音キャンセラ。 The side-tone canceller according to claim 9,
The filter coefficient reset means includes
First level calculating means for calculating the level of the output signal of the subtracting means;
Second level calculating means for calculating the level of the received signal;
Constant multiplication means for multiplying the level of the received signal by a preset constant;
The level of the output signal of the constant multiplying means and the level of the output signal of the subtracting means are compared. When the level of the output signal of the subtracting means is larger, the comparison is performed with the filter coefficient of the variable filter means being 0. A side-tone canceller characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009125115A JP5118099B2 (en) | 2009-05-25 | 2009-05-25 | Sidetone canceling method and sidetone canceller |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009125115A JP5118099B2 (en) | 2009-05-25 | 2009-05-25 | Sidetone canceling method and sidetone canceller |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010273249A JP2010273249A (en) | 2010-12-02 |
JP5118099B2 true JP5118099B2 (en) | 2013-01-16 |
Family
ID=43420890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009125115A Expired - Fee Related JP5118099B2 (en) | 2009-05-25 | 2009-05-25 | Sidetone canceling method and sidetone canceller |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5118099B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10652381B2 (en) * | 2016-08-16 | 2020-05-12 | Bose Corporation | Communications using aviation headsets |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05167716A (en) * | 1991-12-13 | 1993-07-02 | Nagano Japan Radio Co | Sidetone muffling method for telemarketting equipment |
JPH06338936A (en) * | 1993-05-26 | 1994-12-06 | Sanyo Electric Co Ltd | Telephone set |
-
2009
- 2009-05-25 JP JP2009125115A patent/JP5118099B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010273249A (en) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8311234B2 (en) | Echo canceller and communication audio processing apparatus | |
US7856097B2 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
KR100974370B1 (en) | Echo suppressing method and device | |
US8867735B2 (en) | Echo cancelling device, communication device, and echo cancelling method having the error signal generating circuit | |
JP2008141735A (en) | Echo canceller and communication audio processing apparatus | |
KR20160016880A (en) | Echo removal | |
US20050243995A1 (en) | Method and apparatus for canceling acoustic echo in a double-talk period | |
KR102194165B1 (en) | Echo removal | |
JP2009118139A (en) | Echo canceler, and echo canceling program | |
US20170310360A1 (en) | Echo removal device, echo removal method, and non-transitory storage medium | |
JP2004165888A (en) | Howling processor | |
JP4544040B2 (en) | Echo cancellation device, telephone using the same, and echo cancellation method | |
JP5118099B2 (en) | Sidetone canceling method and sidetone canceller | |
JPH08251081A (en) | Echo removing device | |
JP3982823B2 (en) | Audio processing apparatus, audio processing method, and audio processing program | |
JP2009021859A (en) | Talk state judging apparatus and echo canceler with the talk state judging apparatus | |
JP4887181B2 (en) | Echo prevention device and program | |
CN111292760B (en) | Sounding state detection method and user equipment | |
JP2005033771A (en) | Echo canceler, echo canceling method, and recording medium | |
JP2006304260A (en) | Echo prevention circuit, digital signal processing circuit, filter coefficient setting method for echo prevention circuit, filter coefficient setting method for digital signal processing circuit, program for setting filter coefficient of echo prevention circuit, and program for setting filter coefficient of digital signal processing circuit | |
JP4642711B2 (en) | Echo canceller | |
JP4324036B2 (en) | Echo cancellation device | |
JP2005318571A (en) | Echo canceler | |
JP3442535B2 (en) | Echo canceller | |
JP2003274481A (en) | Voice processing apparatus, computer program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121009 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121018 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |