JP4579301B2 - エコー消去装置 - Google Patents
エコー消去装置 Download PDFInfo
- Publication number
- JP4579301B2 JP4579301B2 JP2007554750A JP2007554750A JP4579301B2 JP 4579301 B2 JP4579301 B2 JP 4579301B2 JP 2007554750 A JP2007554750 A JP 2007554750A JP 2007554750 A JP2007554750 A JP 2007554750A JP 4579301 B2 JP4579301 B2 JP 4579301B2
- Authority
- JP
- Japan
- Prior art keywords
- amount
- echo
- signal
- echo cancellation
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims description 77
- 238000011156 evaluation Methods 0.000 claims description 36
- 230000003044 adaptive effect Effects 0.000 claims description 28
- 238000005314 correlation function Methods 0.000 claims description 13
- 230000007423 decrease Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010219 correlation analysis Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 2
- CBGUOGMQLZIXBE-XGQKBEPLSA-N clobetasol propionate Chemical compound C1CC2=CC(=O)C=C[C@]2(C)[C@]2(F)[C@@H]1[C@@H]1C[C@H](C)[C@@](C(=O)CCl)(OC(=O)CC)[C@@]1(C)C[C@@H]2O CBGUOGMQLZIXBE-XGQKBEPLSA-N 0.000 description 43
- 241000219498 Alnus glutinosa Species 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 229940069205 cormax Drugs 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 208000019300 CLIPPERS Diseases 0.000 description 2
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
- H04B3/234—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using double talk detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
実施の形態1.
図1は、この発明の実施の形態1によるエコー消去装置を示す構成図である。
図示のエコー消去装置は、適応フィルタ1、状態判定器2、アッテネータ制御器3、可変アッテネータ4を備えている。
適応フィルタ1は、受信信号から疑似エコー信号を生成し、その疑似エコー信号を送信信号から差し引いてエコー消去を行う公知の適応フィルタである。状態判定器2は、受信信号と送信信号と適応フィルタ1でエコー消去された残差信号とに基づいて受信側や送信側のシングルトークやダブルトークといった通信状態を判定する判定器である。尚、この状態判定器2の詳細については後述する。
状態判定器2は、受信側有無音判定部201、送信側有無音判定部202、エコー消去量評価部203、エコー消去量変動評価部204、状態判定部205からなる。
エコー消去装置には、受信信号R(k)、送信信号S(k)が入力される。ここで、kはデジタルで表された時刻であり、エコー消去装置の動作の開始時点から、信号のサンプリング周期と同じ周期で1ずつカウントされるものとする。
受信側有無音判定部201はR(k)を受け、R(k)の短時間平均信号レベルLR(k)を算出する。
エコー消去量評価部203は、更に、ERLE(k)が所定の閾値THR_ERLE以下であればエコー消去量が低い状態を示す評価結果flg_ERLE(k)=0を出力する。逆に閾値以上であればエコー消去量が高い状態を示す評価結果flg_ERLE(k)=1を出力する。尚、この時の閾値THR_ERLEは、外乱によるERLE(k)の僅かな低下でダブルトークを誤検出しない程度に十分低く設定する。
エコー消去量変動評価部204は、ERLE(k)の変動量ERLE_DEF(k)を以下の式に従って算出する。
ERLE_DEF(k)≦THR_ERLE_DEF
|LR_DEF(k)|≦THR_LR_DEF (6)
が成立すれば、エコー消去量が急峻に変動している状態を示す判定結果flg_ST_ERLE(k)=0を出力する。それ以外の場合は、エコー消去量が安定している状態を示す判定結果flg_ST_ERLE(k)=1を出力する。
ERLE_DEF(k)−LR_DEF(k)≦THR_ERLE_LR (7)が成立する場合、flg_ST_ERLE(k)=0、それ以外の場合では、flg_ST_ERLE(k)=1を出力するようにしても良い。また、ERLE_DEF(k)とLR_DEF(k)との差分ではなく、ERLE_DEF(k)/LR_DEF(k)が、所定の基準値以上であるか否かによって評価してもよい。
状態判定部205は、始めに送信・受信双方の有無音判定結果を参照する。双方共に無音である場合、即ち、flg_S(k)=0,flg_R(k)=0であれば、無音を示す状態判定結果flg(k)=0を出力する。
また、flg_S(k)=1,flg_R(k)=0であれば送信側のシングルトークを示す判定結果flg(k)=1を、flg_S(k)=0,flg_R(k)=1であれば受信側のシングルトークを示す判定結果flg(k)=2をそれぞれ出力する。
尚、loss{flg(k)}の値は予め任意に定めるものとするが、一般的には下記のようになる。
loss(0)=loss(1)=A[dB]
loss(2)=B[dB]
loss(3)=C[dB]
但し、A≦C≦Bである。
上述した実施の形態1では、適応フィルタによるエコー消去量の変動量からダブルトークの立ち上がりを検知し、立ち上がり時点から所定の時間ダブルトーク判定を継続する事によってダブルトーク区間の検出を行っているが、この実施の形態2のエコー消去装置では、エコー消去量の変動状態からダブルトークの立ち上がりと立ち下がりを検知してダブルトーク区間を検出する。
実施の形態2では、状態判定器2のエコー消去量変動評価部204と状態判定部205の構成が実施の形態1と異なっている。即ち、エコー消去量変動評価部204は、エコー消去量の所定時間当たりの減少量を判定すると共に、所定時間当たりの増大量を判定するよう構成されている。また、状態判定部205は、エコー消去量変動評価部204によるエコー消去量の急激な減少という判定結果によりダブルトークの始点を判定すると共に、エコー消去量の急激な増大という判定結果により、ダブルトークの終点を判定するよう構成されている。これ以外の構成は実施の形態1と同様であるため、ここでの説明は省略する。
ERLE_DEF(k)≦THR_ERLE_DEF_L
|LR_DEF(k)|≦THR_LR_DEF (8)
が成立する場合、エコー消去量が急峻に減少している事を示す評価結果flg_ST_ERLE(k)=−1を出力する。
ERLE_DEF(k)≧THR_ERLE_DEF_H
|LR_DEF(k)|≦THR_LR_DEF (9)
が成立する場合は、エコー消去量が急速に増大している事を示す評価結果flg_ST_ERLE(k)=1を出力する。これ以外ではエコー消去量が安定している事を示す評価結果flg_ST_ERLE(k)=0を出力する。
状態判定部205は、flg_R(k)=1,flg_S(k)=1,flg_ERLE(k)=1である時、flg_ST_ERLE(k)=0である間は、flg(k)=2(受信側のシングルトーク)を出力するが、エコー消去量の急峻な減少を示すflg_ST_ERLE(k)=−1を受けると、次にエコー消去量の急峻な上昇を示すflg_ST_ERLE(k)=1を受けるまでの間、flg_R(k)=1,flg_S(k)=1,flg_ERLE(k)=1の状態が持続する限り、flg(k)=3(ダブルトーク)を出力する。flg_ST_ERLE(k)=1を受けた後は、再びflg(k)=2(受信側のシングルトーク)を出力する
図面から明らかなように、エコー消去量の急峻な減少と上昇を検知し、その間の時間区間をダブルトークとして判定する事によって、精度よくダブルトークを検出している。尚、図4のflg(k)においても、網掛け部分がflg(k)=3(ダブルトーク)、それ以外の部分がflg(k)=2(受信側シングルトーク)を示している。
実施の形態1のエコー消去装置は、ダブルトーク状態の判定において、適応フィルタによるエコー消去量の変動の大きさを判定条件の一つとしているが、この実施の形態3のエコー消去装置では、更に送信・受信信号間の相互相関を判定条件に加える。
実施の形態3の状態判定器2aは、受信側有無音判定部201、送信側有無音判定部202、エコー消去量評価部203、エコー消去量変動評価部204、状態判定部205aおよび相関分析部206を備えている。ここで、相関分析部206は、送信信号と受信信号との間の相互相関を分析し、相互相関関数の絶対値の最大を求める機能を有している。また、状態判定部205aは、受信側有無音判定部201〜相関分析部206の判定結果に基づいて状態判定を行うものある。即ち、状態判定部205aは、送信信号と受信信号とが共に有音で、かつ、エコー消去量の所定時間当たりの減少量が所定の閾値以下であり、かつ、相関分析部206で求めた相互相関関数の絶対値の最大値が所定の基準よりも高い場合は、エコー消去量変動評価部204の判定結果にかかわらず、受信側のシングルトークと判定するよう構成されている。
これ以外の構成は、実施の形態1または実施の形態2と同様であるため、ここでの説明は省略する。
図6に示す状態は、ダブルトークの後、エコー伝播経路の変化が発生した場合を示している。ERLE(k)は、ダブルトーク区間とエコー伝播経路の発生した瞬間の双方で不安定となっているが、COR_MAX(k)はダブルトーク区間では安定しており、エコー経路の変化が起きた瞬間にのみ急峻な立ち上がりを見せている。この立ち上がりを検出することにより、ダブルトークとエコーの伝播経路の変化の区別が可能となる。
COR_MAX(k)≧THR_COR (11)
が成立する場合、送信信号と受信信号の相関性が高い事を示す判定結果flg_COR(k)=1を出力する。そうでなければ相関性が低い事を示す判定結果flg_COR(k)=0を出力する。
Claims (6)
- 受信信号から疑似エコー信号を生成し、当該疑似エコー信号を送信信号から差し引いてエコー消去を行う適応フィルタと、
前記受信信号と前記送信信号とが有音であり、かつ、現在の時刻から所定時間過去の時刻までの期間に、当該送信信号と前記適応フィルタでエコー消去された残差信号とのレベル差で表されるエコー消去量の所定時間当たりの減少量が予め定めた閾値を越え、同時に、前記受信信号の信号レベルの変化量が所定の基準以下となる状態が存在した場合、ダブルトークと判定する状態判定器と、
前記残差信号に対して損失を付加する可変アッテネータと、
前記状態判定器の判定結果に基づいて前記可変アッテネータの損失量を制御するアッテネータ制御器とを備えたエコー消去装置。 - 受信信号から疑似エコー信号を生成し、当該疑似エコー信号を送信信号から差し引いてエコー消去を行う適応フィルタと、
前記受信信号と前記送信信号とが有音であり、かつ、現在の時刻から所定時間過去の時刻までの期間に、当該送信信号と前記適応フィルタでエコー消去された残差信号とのレベル差で表されるエコー消去量の所定時間当たりの減少量と、前記受信信号の信号レベルの所定時間当たりの変化量との差が所定の基準を越えているか、または、これら減少量と変化量との比が、当該減少量と変換量との比に対応して定めた所定の基準を越えた状態が存在した場合、ダブルトークと判定する状態判定器と、
前記残差信号に対して損失を付加する可変アッテネータと、
前記状態判定器の判定結果に基づいて前記可変アッテネータの損失量を制御するアッテネータ制御器とを備えたエコー消去装置。 - 状態判定器は、
受信信号の有音と無音の判定を行う受信側有無音判定部と、
送信信号の有音と無音の判定を行う送信側有無音判定部と、
前記送信信号と残差信号とに基づいて、エコー消去量が所定の基準より高いか低いかを判定するエコー消去量評価部と、
前記エコー消去量の所定時間当たりの減少量と、前記受信信号の信号レベルの所定時間当たりの変化量とに基づいて、エコー消去量の所定時間当たりの減少量が所定の基準より高いか否かを判定するエコー消去量変動評価部と、
前記受信側有無音判定部と前記送信側有無音判定部の判定結果が共に無音であれば、送信側・受信側共に無音と判定し、前記送信側有無音判定部の判定結果が有音であり、前記受信側有無音判定部の判定結果が無音であれば送信側シングルトークと判定し、前記送信側有無音判定部判定結果が無音であり、前記受信側有無音判定部の判定結果が有音であれば受信側シングルトークと判定し、前記受信側有無音判定部および送信側有無音判定部の判定結果が共に有音であり、かつ、前記エコー消去量評価部の判定結果として、エコー消去量が所定の基準より高く、かつ、エコー消去量変動評価部の判定結果として、エコー消去量の所定時間当たりの減少量が所定の基準より低い場合、受信側シングルトークと判定し、前記受信側有無音判定部および送信側有無音判定部の判定結果が共に有音であり、かつ、前記エコー消去量評価部の判定結果として、エコー消去量が所定の基準より低く、かつ、エコー消去量変動評価部の判定結果として、エコー消去量の所定時間当たりの減少量が所定の基準より高い場合、ダブルトークと判定する状態判定部とを備えたことを特徴とする請求項1記載のエコー消去装置。 - 状態判定器は、
ダブルトークと判定した後、エコー消去量の所定時間当たりの増大量が予め定めた閾値を越えた場合、または、受信信号あるいは送信信号が無音状態に変化した場合、当該時点迄の間をダブルトークの期間と判定することを特徴とする請求項1記載のエコー消去装置。 - 状態判定器は、
送信信号と受信信号との間の相互相関を分析し、相互相関関数の絶対値の最大を求める相関分析部を備え、
前記送信信号と前記受信信号とが共に有音で、かつ、エコー消去量の所定時間当たりの減少量が所定の閾値以下であり、かつ、前記相関分析部で求めた相互相関関数の絶対値の最大値が所定の基準よりも高い場合、前記エコー消去量の所定時間当たりの減少量と、受信信号の変化量とにかかわらず、受信側のシングルトークと判定することを特徴とする請求項1記載のエコー消去装置。 - 相関分析部は、
適応フィルタの係数列において、係数値の絶対値が最大となる係数を探索し、相互相関関数の計算は、前記探索した係数の、適応フィルタ係数列上の順位に対応した時間差付近に限定して計算を行い、その中で絶対値の最大値を探索することを特徴とする請求項5記載のエコー消去装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2006/300530 WO2007083349A1 (ja) | 2006-01-17 | 2006-01-17 | エコー消去装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007083349A1 JPWO2007083349A1 (ja) | 2009-06-11 |
JP4579301B2 true JP4579301B2 (ja) | 2010-11-10 |
Family
ID=38287311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007554750A Active JP4579301B2 (ja) | 2006-01-17 | 2006-01-17 | エコー消去装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8229107B2 (ja) |
EP (1) | EP1976139B1 (ja) |
JP (1) | JP4579301B2 (ja) |
WO (1) | WO2007083349A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5712350B2 (ja) * | 2009-04-21 | 2015-05-07 | パナソニックIpマネジメント株式会社 | 拡声通話装置 |
JP5501527B2 (ja) | 2011-05-10 | 2014-05-21 | 三菱電機株式会社 | エコー消去装置およびエコー検出装置 |
JP5963077B2 (ja) * | 2012-04-20 | 2016-08-03 | パナソニックIpマネジメント株式会社 | 通話装置 |
JP6446893B2 (ja) | 2014-07-31 | 2019-01-09 | 富士通株式会社 | エコー抑圧装置、エコー抑圧方法及びエコー抑圧用コンピュータプログラム |
JP6109450B2 (ja) | 2014-12-15 | 2017-04-05 | 三菱電機株式会社 | エコーキャンセラ装置およびエコーキャンセル方法 |
JP6180689B1 (ja) * | 2016-11-10 | 2017-08-16 | 三菱電機株式会社 | エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム |
JP6945158B2 (ja) * | 2017-06-16 | 2021-10-06 | パナソニックIpマネジメント株式会社 | 通話装置、プログラム及び通話システム |
US10819857B1 (en) * | 2019-01-22 | 2020-10-27 | Polycom, Inc. | Minimizing echo due to speaker-to-microphone coupling changes in an acoustic echo canceler |
CN109640223B (zh) * | 2019-02-22 | 2020-08-11 | 昆腾微电子股份有限公司 | 一种啸叫抑制方法、装置、音响及扩音系统 |
US20230171346A1 (en) * | 2020-04-15 | 2023-06-01 | Hewlett-Packard Development Company, L.P. | Double talk detectors |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4645883A (en) * | 1984-05-09 | 1987-02-24 | Communications Satellite Corporation | Double talk and line noise detector for a echo canceller |
JP2573234B2 (ja) | 1987-07-21 | 1997-01-22 | 日本電信電話株式会社 | 音声会議装置 |
US5274705A (en) * | 1991-09-24 | 1993-12-28 | Tellabs Inc. | Nonlinear processor for an echo canceller and method |
US5745564A (en) * | 1995-01-26 | 1998-04-28 | Northern Telecom Limited | Echo cancelling arrangement |
US5764753A (en) * | 1995-09-29 | 1998-06-09 | Crystal Semiconductor Corp. | Half-duplex controller |
JP3386327B2 (ja) | 1996-04-25 | 2003-03-17 | 三菱電機株式会社 | エコーキャンセラ |
JPH1023172A (ja) * | 1996-07-08 | 1998-01-23 | Matsushita Electric Ind Co Ltd | エコー除去装置 |
KR100239361B1 (ko) * | 1997-06-25 | 2000-01-15 | 구자홍 | 음향반향 제어시스템 및 그의 동시통화 제어방법 |
JP3394425B2 (ja) * | 1997-06-27 | 2003-04-07 | 松下電器産業株式会社 | エコーキャンセラ |
US6198819B1 (en) * | 1997-11-14 | 2001-03-06 | Tellabs Operations, Inc. | Echo canceller having improved non-linear processor |
JP2001016142A (ja) * | 1999-07-01 | 2001-01-19 | Matsushita Electric Ind Co Ltd | エコーキャンセラ方法、装置およびプログラム記録媒体 |
GB2379369B (en) * | 2001-08-29 | 2005-06-29 | Zarlink Semiconductor Inc | Subband echo location and double-talk detection in communication systems |
US7050576B2 (en) * | 2002-08-20 | 2006-05-23 | Texas Instruments Incorporated | Double talk, NLP and comfort noise |
-
2006
- 2006-01-17 US US12/085,326 patent/US8229107B2/en not_active Expired - Fee Related
- 2006-01-17 WO PCT/JP2006/300530 patent/WO2007083349A1/ja active Application Filing
- 2006-01-17 JP JP2007554750A patent/JP4579301B2/ja active Active
- 2006-01-17 EP EP06711810.9A patent/EP1976139B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20090168993A1 (en) | 2009-07-02 |
US8229107B2 (en) | 2012-07-24 |
EP1976139A8 (en) | 2008-12-17 |
EP1976139A4 (en) | 2010-05-26 |
JPWO2007083349A1 (ja) | 2009-06-11 |
WO2007083349A1 (ja) | 2007-07-26 |
EP1976139B1 (en) | 2014-10-08 |
EP1976139A1 (en) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4579301B2 (ja) | エコー消去装置 | |
JP5332733B2 (ja) | エコーキャンセラ | |
JP4282260B2 (ja) | エコーキャンセラ | |
US8644496B2 (en) | Echo suppressor, echo suppressing method, and computer readable storage medium | |
JP5036874B2 (ja) | エコー消去装置 | |
KR100989266B1 (ko) | 스펙트럼 음향 특성에 기초한 더블 토크 검출 방법 | |
CN108134863B (zh) | 一种基于双统计量的改进型双端检测装置及检测方法 | |
JPH06338827A (ja) | エコー制御装置 | |
WO2002095975A1 (fr) | Appareil de traitement d'echos | |
JP6833616B2 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
US20090103743A1 (en) | Echo canceller | |
JP4607015B2 (ja) | エコー抑圧装置 | |
JPH1174822A (ja) | 音響反響制御システム、音響反響制御システムの同時通話検出器及び音響反響制御システムの同時通話制御方法 | |
JP2009094802A (ja) | 通信装置 | |
WO2012125230A1 (en) | Apparatus and method for convergence control of acoustic echo cancelling | |
KR20050105693A (ko) | 동시통화구간 검출에 따른 음향 반향 제거 방법 및 장치 | |
JP4888262B2 (ja) | 通話状態判定装置および該通話状態判定装置を備えたエコーキャンセラ | |
JP3881300B2 (ja) | 音声スイッチ方法、音声スイッチ及び音声スイッチプログラム、そのプログラムを記録した記録媒体 | |
US20040252652A1 (en) | Cross correlation, bulk delay estimation, and echo cancellation | |
JP4475155B2 (ja) | エコーキャンセラ | |
JP2003051879A (ja) | 通話装置 | |
JP4348924B2 (ja) | エコーキャンセラ装置及びそれに用いるエコーキャンセラ方法 | |
JP4735419B2 (ja) | 音声通話装置 | |
JP7382273B2 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
JP3725052B2 (ja) | 音声通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100825 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4579301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |