JP4098083B2 - 電気通信網における電話リンクの会話品質の測定 - Google Patents
電気通信網における電話リンクの会話品質の測定 Download PDFInfo
- Publication number
- JP4098083B2 JP4098083B2 JP2002541902A JP2002541902A JP4098083B2 JP 4098083 B2 JP4098083 B2 JP 4098083B2 JP 2002541902 A JP2002541902 A JP 2002541902A JP 2002541902 A JP2002541902 A JP 2002541902A JP 4098083 B2 JP4098083 B2 JP 4098083B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise
- telephone link
- representation
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001629 suppression Effects 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 230000005236 sound signal Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 17
- 230000000873 masking effect Effects 0.000 abstract description 16
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000000691 measurement method Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/26—Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
- H04M3/28—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor
- H04M3/32—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges
- H04M3/323—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges for the arrangements providing the connection (test connection, test call, call simulation)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2236—Quality of speech transmission monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Telephonic Communication Services (AREA)
- Monitoring And Testing Of Exchanges (AREA)
- Telephone Function (AREA)
- Prepayment Telephone Systems (AREA)
Description
(背景技術)
本発明は、電気通信システムにおける電話リンクの質を測定する分野にある。詳細には、本発明は、電気通信網における電話リンクの会話品質の測定、つまり、電話中に話者により主観的に観察される電気通信システムにおける電話リンクの知覚的品質に対する、エコー妨害及び側音歪みなどの復帰信号の影響を測定することに関する。
【0002】
このような方法及び対応する装置は、本願に参照して組み込まれている適時にではなく公開された国際特許出願PCT/EP第00/08884号(参考資料[1]、参考資料に関する図書目録詳細については、Dを参照すること)に説明されている。電気通信網における電話リンクの話者側での知覚的品質に対するエコーの影響を測定するための説明された方法及び装置に従って、トーカー音声信号及び結合された信号が、PSQMシステムなどの、知覚会話品質の推定値を表す出力信号を取得するための客観的な測定装置に送られる。結合された信号は、ネットワークから発信し、トーカー音声信号に対応する復帰信号と、トーカー音声信号自体の信号組み合わせである。説明された技法には以下の問題がある。復帰信号が、電話システム内に存在する雑音、電話接続の相手側にいる話者の背景雑音から引き出される雑音、あるいは干渉信号から引き出される雑音のような話者の声に直接的に関係しない信号成分を含む場合、このような信号成分には、エコーに対するいわゆるマスキング効果がある可能性があり、したがって主観的に知覚される会話品質が高まることになる。しかしながら、ITU−T勧告R.861により勧告された知覚的な音声会話品質計測(PSQM)モデル(参考資料[2]を参照すること)、またはITU−T勧告P.862により勧告された音声品質の知覚的評価(PESQ)(参考資料[3]を参照すること)に基づいたような客観的な測定システムは、雑音成分を、通常、品質の低下という点で解釈するだろう。無線リンクを介して受信される音声信号の品質の客観的な測定におけるPSQMなどの客観的な測定の適用は、例えば、参考資料[4]に開示されている。言及された問題は、一般的に音声処理(例えば参考資料[5]から[8]を参照すること)、あるいは音響システム(参考資料[9]を参照すること)の世界で既知であるような雑音抑制または減衰技法を使用することによって解決を試みられてよい。ただし、これらの既知の抑制技法または減衰技法は、聴音品質を最適化するために開発されており、会話品質の測定及び最適化には適していない。特にマスキング雑音及び自分自身の声によるマスキングの影響において、会話品質は、聴音品質とは異なる。雑音は、一般的には聴音品質を減少させるが、会話品質を上昇させる。
【0003】
(発明の要約)
本発明の目的は、前記問題を持たない、電気通信網における電話リンクの会話品質を測定するため、つまり電話リンクの話者側での知覚的品質に及ぼされる雑音の影響を含む、エコー、側音歪みなどの復帰信号の影響を測定するための客観的な測定方法及び対応する装置を提供することである。
【0004】
本発明の第1態様に従って、電気通信網における電話リンクの会話品質を測定する方法は、トーカー音声信号に関して低下した音声信号を客観的な測定技法にかけ、品質信号を発生する主要ステップを有する。該低下音声信号は、電話リンクの順方向チャネルでのトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号を含む。該主要ステップは、復帰信号に存在する雑音の結果におけるマスキング効果をモデル化するステップを含む。
【0005】
本発明の別の態様に従って、電気通信網における電話リンクの会話品質を測定する装置は、トーカー音声信号に関して低下した音声信号を客観的な測定技法にかけ、品質信号を発生する測定手段を有する。該低下音声信号は、電話リンクの順方向チャネルにおけるトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号を含む。該測定手段は、復帰信号に存在する雑音の結果におけるマスキング効果のモデル化の手段を含む。
【0006】
本発明は、とりわけ、PSQM及びPESQなどの客観的な測定システムが音声信号の聴音品質を測定するために開発されたという認識に基づいている。したがって、電話リンクの会話品質を測定するために同様の客観的な測定を提供するためには、エコーマスキング効果をモデル化するステップが客観的な測定方法及び装置に導入される。
【0007】
既知の測定システム(つまり、PSQM)の1つに従って、最初に、オーディオまたは音声の処理またはトランスポートシステムの出力信号であり、信号品質が評価されなければならない音声信号及び基準信号が、人間の聴覚組織の精神物理学知覚モデルの表現信号にマッピングされる。これらの表現信号は、事実上、音声信号と基準信号の圧縮されたラウドネス密度関数である。したがって、2つの認識効果をモデル化するために非対称処理と無音間隔加重を暗示する2つの演算が、評価される音声信号の聴覚の基準である品質信号を発生するために、2つの表現信号の差異信号で実行される。しかしながら、エコー信号中の雑音、特に電話リンクの加入者B側で発する背景雑音がエコー信号に対してマスキング効果を有することがあり、したがって主観的に知覚される会話品質の改善につながることが知られている。それから、アルゴリズムの差異に対して実行される演算では、エコー信号中の雑音が挿入された歪みとして解釈され、客観的に測定される会話品質の劣化につながり、したがってこれらの演算が、雑音のエコーマスキング効果をモデル化するステップによって修正、及び/または補足されなければならないことが理解された。同は、言及された既知の測定技法(つまり、PESQ)の他方に当てはまる。
【0008】
したがって、本発明の追加の目的は、会話品質を客観的に測定するために適切となるために、言及された既知の客観的な測定方法及び装置を適応させることである。
【0009】
本発明の追加の態様に従って、方法は、低下音声信号及びトーカー音声信号を処理し、それぞれ第1表現信号と第2表現信号を発生するための第1処理ステップと第2処理ステップを有する。方法は、さらに、品質信号を発生できるように第1表現信号と第2表現信号を結合する結合ステップを有する。第1表現信号は、トーカー音声信号と復帰信号の信号組み合わせの表現信号であり、結合ステップは復帰信号に存在する雑音の結果においてマスキング効果をモデル化するステップを含む。
【0010】
本発明のさらに追加の態様に従って、装置は低下音声信号とトーカー音声信号を処理し、第1表現信号と第2表現信号を発生する第1処理手段と第2処理手段を有する。装置は、さらに、品質信号を発生できるように第1表現信号と第2表現信号を結合する結合手段を有する。結合手段はマスキング効果をモデル化する手段を含む。
【0011】
(参考資料)
[1]PCT/EP第00/08884号(出願人所有、提出日:08.09.2000)
[2]ITU−T勧告P.861:電話帯域(330−3400Hz)音声コーデックの客観的な品質測定、1996年8月
[3]ITU−T勧告P.862(2001年2月)、「音声品質の知覚的評価、(PESQ)、今日帯域電話網及び音声コーデックのエンドツーエンド音声品質評価の客観的な方法」、2001年2月
[4]WO第98/59509号
[5]R.Le Bouquin、「騒々しい音声信号の改良:移動無線通信への適用(Enhancement of Noisy Speech Signals:Applications to Mobile Radio Communications)、音声通信(Speech Communication)、第18巻、3−19ページ(1996年)
[6]J.−H Chen及びA.Gersho、「コード化された音声の品質改良のための適応ポストフィルタリング(Adaptive Postfiltering for Quality Enhancement of Coded Speech)」、音声及びオ−ディイオ処理に関するIEEE議事録(IEEE Trans. on Speech and Audio Processing)、第3巻、59−71ページ(1995年1月)
[7]D.E.Tsoukalas,J.Mourjopoulos及びG.Kokkinakis、「音声信号改良のための知覚フィルタ(Perceptual Filters for Audio Signal Enhancement)」、日本音声工学学会(J.Audio Eng. Soc.)、第45巻、22−36ページ(1997年1月/2月)
[8]F.Xie及びD.van Compernolle、「スペクトル規模推定による音声改良――統一アプローチ(Speech Enhancement by Spectral Magnitude Estimation――A Unifying Approach)、音声通信(Speech Communication)第19巻、89−104ページ(1996年)
[9]米国A第4,677,676号
参考資料[1]から[9]は、本願に参照して組み込まれている。
【0012】
本発明は、例証となる実施形態の説明によってさらに説明され、以下の図を有する図面が参照される。
【0013】
(例証となる実施形態の説明)
GSM、UMTS、DECT、IP及びATMのような現代の無線及び/またはパケットベースのネットワーク技法は、本来、SDHとPDHのような古典的な回線交換網技術より多くの遅延を生じさせるため、遅延及びエコーは、電話サービスの質において増大する役割を果たしている。遅延及びエコーは、側音とともに、話者が自分自身の声を電話リンクでどのように知覚するのかを決定する。話者が自分自身の声を知覚する品質が、会話品質と定義される。それは、リスナーが他の声(及び音楽)をどのように知覚するのかを扱う聴音品質とは区別されなければならない。会話品質と聴音品質は、対話品質とともに、電話リンクの会話の質を決定する。対話品質は、電話呼で他者と対話する容易さとして定義され、又、システムの遅延に支配される。本発明は、電話リンクの会話品質の客観的な測定に、詳細にはそこでの雑音の影響を考慮するものである。
【0014】
図1は、電気通信網の加入者Aと加入者Bの間に確立された通常の電話リンクの例を示す。それぞれ加入者Aと加入者Bの電話機11と12は、2線接続13と14及び4線インタフェース、つまりハイブリッド15と16によってネットワーク10に接続されている。ネットワークを通して、確立された電話リンクは2線部分、つまり2線接続13と14、及び加入者Aからの音声信号が伝達される4線送信部17を含む順方向チャネル、及び2線部分、つまり2線接続14と13、及び加入者Bからの音声信号が伝達される4線受信部18を含む帰路チャネルを有する。加入者Aの電話機11のマイクMに当たる音声信号sは、電話リンクの順方向チャネル(13、17、14)を介して電話機12のイヤホンRに渡され、そこでネットワークによって影響された音声信号s"として加入者Bにとって可聴になる。順方向チャネル上の各音声信号s(t)は、通常、特に前記ハイブリッドの存在のために電話リンクの帰路チャネル(18、13)上で電気的な型のエコー信号を含む復帰信号r(t)を生じさせ、これが電話機11のイヤホンRに渡され、したがってそこで加入者Aを困惑させる。さらに、イヤホンまたはラウドスピーカ信号の加入者Bの電話機のマイクへの音響及び/または機械的な結合が、加入者Aの電話機に戻る音響型のエコー信号を引き起こし、復帰信号に寄与する。(GSMシステムで、あるいはボイスオーバIPシステムでなど)エンドツーエンドデジタル電話リンクでは、このような音響エコー信号は復帰信号に貢献する唯一の種類のエコー信号である。
【0015】
復帰信号r(t)を要約すると、電話リンクの順方向チャネルでの音声信号s(t)により引き起こされるような電話リンクの帰路チャネルでの多様な段階で、以下を含むことがある。
【0016】
−音響エコーを表す信号r1
−音響エコーとおそらく組み合わされる電気エコーを表す信号r2
−ネットワーク10によって影響を受ける、つまり遅延される、または歪められる信号r2を表す信号r3
−側音と組み合わせて信号r3を表す信号r4、及び
−やはり局所的に発生する側音を含む、信号r4から引き出される音響信号である信号r5
図2は、参考資料[1]に説明されるように、音声信号の知覚的な品質を測定するための既知の客観的な測定技法を使用して電話リンクの会話品質を測定するためのセットアップを概略で示す。該セットアップは、これ以後簡略さのためにネットワーク20と呼ばれる、試験中のシステムまたは電気通信網20、及び以後簡略さのためだけにPSQMシステムと示される、提供される音声信号の知覚分析用のシステム22を有する。一方、ネットワーク20の入力信号として、及び他方、PSQMシステム22の第1入力(つまり基準)信号として任意のトーカー音声信号s(t)が使用される。入力トーカー音声信号s(t)に対応するネットワーク20から得られる復帰信号r(t)は、結合回路24内でトーカー音声信号s(t)と結合され、次にPSQMシステムの第2入力(つまり低下)信号として使用される結合音声信号s’(t)を提供する。必要ならば、信号s(t)は結合回路内で復帰信号r(t)と結合される前に正しいレベルに拡大縮小される。PSQMシステム22の出力信号qは、会話品質の、つまりそれが電話ユーザによって自分自身の電話機で会話中に経験されるように、ネットワーク20を通した電話リンクの知覚的な品質の推定値を表す。ここでは、データベースに記憶されている信号が使用されてよい。これらの信号は、シミュレーションによって、あるいは加入者Bの音声無音中にリンクが確立された場合、加入者Aの電話機から得られてよい、あるいは得られた可能性がある(例えば、電子ドメイン内の信号r4または音響ドメイン内の信号r5)。電話加入者アクセスポイントとネットワークとの4線インタフェースの間の2線接続は、復帰信号r(t)のエコー成分に寄与しない、あるいはほとんど寄与しない(言うまでもなく、それは電話リンクの加入者Bの帰路チャネルで発生する復帰信号のエコー成分には資する)。しかしながら、任意のこのような信号の寄与は短い遅延を有し、それどころか側音の一部を形成する。
【0017】
信号s(t)及びr(t)は、それぞれ順方向チャネルの4線部分17と4線インタフェース15近くの帰路チャネルの4線部分18から分岐されてよい。これは、参考資料[1]にすでに説明されたように、電話リンクが確立された場合に、ライブトラフィックをじゃませずに使用し、会話品質の測定の恒久的な機会を提供する。
【0018】
試験されているシステムまたはネットワークは、言うまでもなく、電気通信ネットワークをシミュレーションするシミュレーションシステムでもあってよい。
【0019】
しかしながら、説明されている技法には以下の問題がある。試験中のシステムまたはネットワークは、通常理想的ではないため、任意の復帰信号r(t)は、電話システムに存在する雑音、電話接続の相手側でのリスナーの背景雑音から引き出される雑音、あるいは干渉する信号から引き出される雑音のような話者の声に直接的に関係しない信号成分も含むだろう。このようなケースでは、これらの信号成分は、エコーに対するいわゆるマスキング効果を有してよく、したがって結果的に会話品質を高める。しかしながら、現在まで音声信号の聴音品質を評価するために開発されてきたPSQMのような客観的な測定システムは、このような雑音成分を品質の減少という点で解釈するだろう。以下では、問題を回避するために、および図2に図示されるようなセットアップで使用されるときに、変型を使用しない場合より、主観的に測定される会話品質と高い相関性をもって会話品質を客観的に測定するのに既存のアルゴリズムを適切とするために、本質的にPSQMのようなアルゴリズムの変型を暗示する方法及び装置が説明される。
【0020】
図3は、可聴信号の知覚的な品質を客観的に測定する測定装置を概略で示す。装置は信号プロセッサ31及び結合装置32を有する。信号プロセッサには信号入力33と34が、及び結合装置32の対応する信号入力に結合される信号出力35と36が備えられる。結合装置32の信号出力37は、同時に測定装置の信号出力である。信号プロセッサは、それぞれ信号入力33と34に結合される、入力信号s(t)とs'(t)を処理し、人間の聴覚組織の知覚モデルに従ってそれぞれ入力信号s(t)とs'(t)の時間/周波数表現を形成する表現信号R(t,f)とR'(t,f)を発生するための知覚モデル化手段38と39を含む。表現信号は、時間と周波数の関数(Hzスケールまたはバークスケール)である。通常、信号処理は、フレームごとに実行される。つまり、音声信号は(10msと100msの間の)人間の耳のウィンドウにほぼ等しいフレームで分割され、フレームあたりのラウドネスは知覚モデルに基づいて計算される。簡略さの理由からだけ、このフレームに関しての処理は図に示されていない。
【0021】
表現信号R(t,f)とR’(t,f)は、信号出力35と36を介して結合装置32に渡される。既知のPSQMのようなアルゴリズムの結合装置では、最初に、表現信号の差異信号が決定され、続いて差異信号について多様な処理ステップが実行される。多様な処理ステップの最後のステップは、周波数と時間に関しての積分ステップを暗示し、信号出力37で使用可能な品質信号を生じさせる結果となる。
【0022】
聴音品質を決定する場合、入力信号s’(t)は、信号処理またはトランスポート動作が評価されるオーディオ信号または音声信号処理またはトランスポートシステムの出力信号であるが、評価されるシステムの対応する入力信号である入力信号s(t)は基準信号として使用される。しかしながら、図2に関して説明されたように、入力信号s’(t)が信号s(t)と復帰信号r(t)の組み合わせである場合に会話品質を決定するためには、既知の結合装置を修正する必要がある。
【0023】
推奨されるPSQMのようなアルゴリズム(参考資料[2]、詳細には図3/861ページを参照すること)に従って、結合装置によって(内で)実行される多様な処理ステップは、いくつかの知覚効果をモデル化するための非対称処理及び無音間隔加重ステップを含む。エコー信号中の雑音、特に電話リンクの加入者Bの側で発する背景雑音が、エコー信号に対するマスキング効果を有し、このようにして主観的に知覚される会話品質の改善につながることが知られている。しかしながら、次に、エコー信号中の雑音が挿入された歪みとして解釈されるだろうアルゴリズムの認知効果をモデル化するためのステップの存在が、客観的に測定される会話品質の劣化につながるため、このようにして維持できないことが理解された。
【0024】
代わりに、会話品質を正しく測定するためには、復帰信号に存在する雑音が近くされるエコー妨害に対して有するだろうマスキング効果をモデル化するステップが導入される。このようなモデル化ステップは、復帰信号r(t)に存在するエコー成分及び雑音成分の考えられる分離に基づかせることができるだろう。しかしながら、信頼できるモデル化には、別のさらに簡略な方法で到達できるだろう。このモデル化ステップは、原則的には知覚モデル化手段(図3の39)の中で復帰信号に対し実行されてよいが、好ましくは雑音の推定値を使用することによって、差異信号に関して実行される特定的な雑音抑制ステップを暗示する。したがって、結合装置32は、
−第1部分32aでは、信号プロセッサ31から受信される2つの表現信号R(t,f)とR'(t,f)を知覚的に差し引き、差異信号D(t、f)を発生する減算手段40と、
−第2部分32bでは、入力信号s'(t)に存在する雑音の推定雑音値Neを発生する雑音推定手段41と、差異信号D(t,f)と推定雑音値Neとから修正差異信号D'(t,f)を導き出すための雑音抑制手段42と、
−第3部分32cでは、修正された差異信号D'(t,f)を周波数と時間に対して連続して積分し、品質信号qを発生する積分手段43と、
を有する。
【0025】
推定雑音値Neは、例えば電話リンクの種類から引き出される所定の値であってよいか、あるいは好ましくは信号出力36と雑音推定手段41の信号入力44の間の破点線によって図3で視覚化される表現信号、つまりR’(t,f)の1つから得られる。表現信号R(t,f)とR’(t、f)は、通常、それぞれ基準音声信号s(t)と低下音声信号s’(t)のラウドネス密度関数である。減算手段40の出力信号、つまりD(t,f)は、好ましくは、小さな知覚補正、つまりいわゆる内部雑音の小さな密度補正によって削減される、低下された(つまり、復帰信号中のエコー、側音、及び雑音信号の存在により歪められた)信号と基準信号(つまり、元のトーカー音声信号)のラウドネス密度間の符号付きの差異を表す。
【0026】
事実上ラウドネス密度関数である、結果として生じる差異信号D(t、f)は、背景マスキング雑音推定を受ける。この背景となる重要な考え方とは、電話呼の間に話者がつねに話の中に無音間隔を有するため、このような間隔の間(言うまでもなくエコー遅延時間後)経時的な低下信号の最小のラウドネスは、背景雑音によってほぼ完全に引き起こされるということである。音声信号処理はフレームで実行されるので、この最小値は表現信号R’(t,f)のフレームで発見される最小ラウドネス密度Neに等しく置かれてよい。それから、この最小Neは、この閾値以下のラウドネスを有する差異信号D(t、f)の全てのフレームの内容をゼロに設定し、他のフレームの内容を未変更のままとするための閾値T(Ne)を定めるために使用できる。ゼロに設定されたフレーム及び未変更のフレームは、ともに修正された差異信号D’(t,f)、つまり雑音抑制手段42の出力信号が引き出される信号を構成する(以下を参照すること)。その結果、表現信号を引き出すPSQMのようなアルゴリズムの主要ステップで使用される標準ホス雑音背景マスキング雑音は、アルゴリズムから省略されなければならない。
【0027】
図4は、流れ図によってさらに詳細に、雑音推定手段41によって発生される推定雑音値Neを使用して雑音抑制手段42が差異信号D(t、f)に対して実行するようなモデル化ステップを図解して示す。再び、簡略さのためだけに図には示されないが、信号処理がフレームに関してであることが理解される。流れ図は以下のボックスを含む。
【0028】
−ボックス45は、周波数に関して、出力36を介して信号プロセッサ31によって発生されるような表現信号R’(t,f)を積分し、ラウドネスが低下した信号R’(t)を生じさせるステップを示す。
【0029】
−ボックス46は、ラウドネスが低下した信号R’(t)に存在する雑音の推定雑音値Neを求め、Nがラウドネス低下信号R’(t)で発見されるラウドネスの最小値に等しいステップを示す。
【0030】
−差異信号から閾値差異信号Dc(t,f)を引き出す基準Cに差異信号D(t、f)を照らすステップを示すボックス47、48及び49であって、ボックス48は、ラウドネスが低下した信号R’(t)のフレームのラウドネスが基準に十分であるフレームについてDc(t,f)=D(t,f)であることを示し、ボックス49は、ラウドネスが低下した信号R’(t)のフレームのラウドネスが基準Cに十分ではないフレームについてDc(t,f)=0であることを示す。
【0031】
−ボックス50は、閾値差異信号Dc(t,f)とラウドネスが低下した信号R’(t)、の歪みラウドネス対信号ラウドネス比(DSR)つまりD’(t,f)=DSR(t,f)を計算することにより、閾値差異信号Dc(t、f)から修正された差異信号D’(t,f)を求めるステップを示す。
【0032】
実験的に、適切な基準Cは、ラウドネスが低下した信号R’(t)のフレームのラウドネスが、閾値T(Ne)より大きい、または等しいかどうかであるように考えられ、前期閾値が定数因子Cfかける推定値Ne、つまりT(Ne)=Cf.Neであることを選ぶ。定数因子に適切な値はCf=1.6であると考えられる。
【0033】
差異信号のDSRを計算する際に、信号ラウドネスで、閾値を導入することによりクリッピングが実行され、それ以下では、信号ラウドネスはその閾値に設定される。閾値の最適化において、4Soneが見出された。
【0034】
最後に、修正された差異信号D’(t,f)は、p=0.8のLpノルム(つまり、一般的に知られているルベーグp平均化関数またはルベーグノルム)を使用して、及び経時的にはp=6のLpノルムを使用して、まず周波数に関して積分手段43によって積分され、結果として会話品質の出力値qが生じる。
【0035】
試験音声信号の7つのデータベースについて実験的に得られるような会話品質を評価するための、このようにして修正された客観的な測定方法及び装置の品質出力値は、主観的に知覚される会話品質の平均オピニオン評点(MOS)で(0.93を超える)高い相関性を示した。
【0036】
会話品質の測定のためには、表現信号R'(t、f)がトーカー音声信号と復帰信号の信号組み合わせの表現であることが必要である。しかしながら、これを実現するために、低下信号s'(t)が、図2(信号結合器24)に、及び図3(s'(t)=s(t)+r(t))に示されるようなこれら2つの信号の信号組み合わせであることは必要ではない。また、復帰信号(r(t))を低下信号(s'(t))として使用し、知覚モデル化手段38によって実行されるように、基準信号を処理する中間段階で中間信号を取得することも可能であり、それからそれは、知覚モデル化手段39によって実行されるように、低下信号を処理する対応する中間段階で取得される対応する中間信号(Pr(f))と組み合わされる。好ましくは、中間信号は、基準音声信号(s(t))の高速フーリエ変換べき表現(Ps(f))である。この修正は、図5にさらに詳細に図解して示される。知覚モデル化手段38と39は、それぞれトーカー音声信号s(t)と、ここでは復帰信号r(t)に等しい低下信号s'(t)のFFTべき表現である中間信号Ps(f)とPr(f)を発生するために、それぞれボックス51と52で示される、通常通り(参考資料[2]を参照すること)に処理する第1段階でハニング窓(HW)を決定するステップと、続いて高速フーリエ変換(FFT)ベキ表現を決定するステップを実行する。処理の第2段階では、表現信号R(t,f)とR'(t,f)を発生するために、それぞれボックス53と54で示される、勾配定規への周波数曲がり(frequency warping)(FW)のステップが実行され、周波数スミアリング(frequency smearing)(FS)と強度曲がり(intensity warping)(IW)のステップが続く。第1段階と第2段階の間で、ボックス52と54で示されるように、信号加算器55により示される中間信号Ps(f)とPr(f)の中間信号加算が実行され、加算での中間信号合計は第2処理段階(ボックス54)の入力である。中間信号加算が適用される前に、中間信号P(s(f))は、通常通り正しいレベルに縮小拡大されなければならない。
【0037】
その結果、外部加算(s’(t)=s(t)+r(t))の代わりに、このような中間信号加算(Ps(f)+Pr(f))を知覚モデル化手段の内側で使用するとき、組み合わせ回路24は不必要になる。図5に関して説明されるような修正を含んだ図3に関して説明されるような装置が、参考資料[1]ですでに説明されているように、電話リンクで直接的に使用される場合には、装置の入力ポート33と34は、それぞれ電話リンクの順方向チャネルと帰路チャネルの4線部分17と18に直接的に結合されてよい。
【図面の簡単な説明】
【図1】 図1は電気通信網における通常の電話リンクの例を示す。
【図2】 図2は音声信号の知覚的品質を測定するための既知の客観的な測定技法を使用して電話リンクの会話品質を測定するための前述されたセットアップを概略で示す。
【図3】 図3は図2のセットアップで使用される本発明による電話リンクの会話品質の客観的測定のための装置を概略で示す。
【図4】 図4は図3に図示される装置の一部の詳細な動作の流れ図を示す。
【図5】 図5は図3に示される装置の追加の部分の変型を概略で示す。
Claims (8)
- 電話リンクの知覚品質を客観的に測定するために、測定装置を用いて、通信ネットワークの電話リンクの会話品質を測定する方法であって、
前記測定装置へ第1入力信号として、前記電話リンクの順方向チャンネルのトーカー音声信号s(t)を印加し、
前記測定装置へ第2入力信号として、前記電話リンクの前記順方向チャネルでの前記トーカー音声信号の伝送中に前記電話リンクの帰路チャネルで発生するエコー、側音、雑音により歪んだ復帰信号r(t)を含む低下音声信号s ' (t)を印加し、
前記測定装置は、
前記第2入力信号の第1表現信号(R ' (t,f))と、前記第1入力信号の第2表現信号(R(t,f))間の差異を示す差異信号(D(t,f))を生成するステップ(32a)と、
前記復帰信号r(t)に存在する雑音から雑音ラウドネスの推定値(Ne)を生成するステップ(41、46)と、
差異信号(D(t,f))に存在する雑音を抑圧するために、前記雑音ラウドネスの推定値(Ne)を用いて、修正された差異信号(D ' (t,f))を生成するステップ(32b)と、
前記修正された差異信号(D ' (t,f))を周波数及び時間に関して積分し、品質信号(q)を生成するステップ(32c)と、
を含むことを特徴とする、電気通信網における電話リンクの会話品質を測定するための方法。 - 前記雑音ラウドネスの推定値が、前記第2信号の第1表現信号(R'(t,f))から引き出されることを特徴とする請求項1に記載の方法。
- 前記低下音声信号(s'(t))が、トーカー音声信号(s(t))と復帰信号(r(t))の信号との和であることを特徴とする請求項1又は2に記載の方法。
- 前記第1の中間信号Ps(f)として前記トーカー音声信号(s(t))の高速フーリエ変換べき表現を生成すると共に、前記第2の中間信号Pr(f)として前記低下音声信号(s ' (t))の高速フーリエ変換べき表現を生成するステップと、
前記第1の中間信号Ps(f)を用いて、前記トーカー音声信号(s(t))の前記第2表現信号(R(t,f))を生成するステップと、
前記第1の中間信号Ps(f)と前記第2の中間信号Pr(f)との和により、前記低下音声信号(s ' (t))の前記第1表現信号(R ' (t,f))を生成するステップと、
を更に含むことを特徴とする請求項1又は2に記載の方法。 - 前記トーカー音声信号及び復帰信号が前記電話リンクから得られることを特徴とする請求項1から4のいずれかに記載の方法。
- 電気通信網(10)における電話リンクの会話品質を測定する装置であって、前記装置が、前記電話リンクの順方向チャンネルのトーカー音声信号s(t)を第1入力信号として、この装置に入力せしめる第1入力部と、前記電話リンクの前記順方向チャネルでの前記トーカー音声信号の伝送中に前記電話リンクの帰路チャネルで発生するエコー、側音、雑音により歪んだ復帰信号r(t)を含む低下音声信号s ' (t)を第2入力信号として、この装置に入力せしめる第2入力部とを具備し、
前記装置が、
前記第2信号の第1表現信号(R ' (t,f))と、前記第1信号の第2表現信号(R(t,f))とをそれぞれ生成する信号処理手段(31)と、
前記第2信号の第1表現信号(R ' (t,f))と、前記第1信号の第2表現信号(R(t,f))間の差異を示す差異信号(D(t,f))を生成する減算手段(32a)と、
前記復帰信号r(t)に存在する雑音から雑音ラウドネスの推定値(Ne)を生成する雑音推定手段(41)と、
前記差異信号(D(t,f))に存在する雑音を抑制するために、前記雑音ラウドネスの推定値(Ne)を用いて、修正された差異信号(D ' (t,f))を生成する雑音抑制手段(42)と、
前記修正された差異信号(D ' (t,f))を周波数及び時間に関して積分し、品質信号(q)を生成する積分手段(43)とを含むことを特徴とする装置。 - 前記装置が、前記低下音声信号(s'(t))を形成するために、トーカー音声信号(s(t))と復帰信号(r(t))とを足すための信号結合器を含むことを特徴とする請求項6に記載の装置。
- 前記装置が、第1の中間信号Ps(f)として前記トーカー音声信号(s(t))の高速フーリエ変換べき表現を生成する手段(51)と、
第2の中間信号Pr(f)として前記低下音声信号(s ' (t))の高速フーリエ変換べき表現を生成する手段(52)と、
前記第1の中間信号Ps(f)と前記第2の中間信号Pr(f)とを足す手段とを含み、
前記低下音声信号(s'(t))が前記復帰信号(r(t))であることを特徴とする請求項6に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00203936A EP1206104B1 (en) | 2000-11-09 | 2000-11-09 | Measuring a talking quality of a telephone link in a telecommunications network |
PCT/EP2001/011777 WO2002039707A2 (en) | 2000-11-09 | 2001-10-11 | Measuring a talking quality of a telephone link in a telecommunications network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004514327A JP2004514327A (ja) | 2004-05-13 |
JP4098083B2 true JP4098083B2 (ja) | 2008-06-11 |
Family
ID=8172245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002541902A Expired - Fee Related JP4098083B2 (ja) | 2000-11-09 | 2001-10-11 | 電気通信網における電話リンクの会話品質の測定 |
Country Status (9)
Country | Link |
---|---|
US (1) | US7366663B2 (ja) |
EP (2) | EP1206104B1 (ja) |
JP (1) | JP4098083B2 (ja) |
AT (1) | ATE333751T1 (ja) |
AU (1) | AU2002223612A1 (ja) |
DE (1) | DE60029453T2 (ja) |
DK (1) | DK1206104T3 (ja) |
ES (1) | ES2267457T3 (ja) |
WO (1) | WO2002039707A2 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000507788A (ja) * | 1996-12-13 | 2000-06-20 | コニンクリジケ ケーピーエヌ エヌブィー | 信号特性決定のための装置および方法 |
EP1241663A1 (en) * | 2001-03-13 | 2002-09-18 | Koninklijke KPN N.V. | Method and device for determining the quality of speech signal |
US20040167774A1 (en) * | 2002-11-27 | 2004-08-26 | University Of Florida | Audio-based method, system, and apparatus for measurement of voice quality |
SG185134A1 (en) * | 2003-05-28 | 2012-11-29 | Dolby Lab Licensing Corp | Method, apparatus and computer program for calculating and adjusting the perceived loudness of an audio signal |
EP1492084B1 (en) * | 2003-06-25 | 2006-05-17 | Psytechnics Ltd | Binaural quality assessment apparatus and method |
US7353002B2 (en) | 2003-08-28 | 2008-04-01 | Koninklijke Kpn N.V. | Measuring a talking quality of a communication link in a network |
US7525952B1 (en) * | 2004-01-07 | 2009-04-28 | Cisco Technology, Inc. | Method and apparatus for determining the source of user-perceived voice quality degradation in a network telephony environment |
CA2580763C (en) * | 2004-09-20 | 2014-07-29 | John Gerard Beerends | Frequency compensation for perceptual speech analysis |
CA2581810C (en) | 2004-10-26 | 2013-12-17 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
US8199933B2 (en) | 2004-10-26 | 2012-06-12 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
US20060200346A1 (en) * | 2005-03-03 | 2006-09-07 | Nortel Networks Ltd. | Speech quality measurement based on classification estimation |
US8005675B2 (en) * | 2005-03-17 | 2011-08-23 | Nice Systems, Ltd. | Apparatus and method for audio analysis |
CN102276769B (zh) * | 2005-04-18 | 2013-12-04 | 巴斯夫欧洲公司 | 一种呈由至少三种不同的单烯属不饱和单体构成的聚合物形式的共聚物 |
TWI517562B (zh) | 2006-04-04 | 2016-01-11 | 杜比實驗室特許公司 | 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式 |
WO2007120452A1 (en) * | 2006-04-04 | 2007-10-25 | Dolby Laboratories Licensing Corporation | Audio signal loudness measurement and modification in the mdct domain |
CA2648237C (en) | 2006-04-27 | 2013-02-05 | Dolby Laboratories Licensing Corporation | Audio gain control using specific-loudness-based auditory event detection |
RU2413357C2 (ru) | 2006-10-20 | 2011-02-27 | Долби Лэборетериз Лайсенсинг Корпорейшн | Обработка динамических свойств аудио с использованием перенастройки |
US8521314B2 (en) * | 2006-11-01 | 2013-08-27 | Dolby Laboratories Licensing Corporation | Hierarchical control path with constraints for audio dynamics processing |
US8456840B1 (en) | 2007-07-06 | 2013-06-04 | Exaflop Llc | Modular data center cooling |
CN101790758B (zh) * | 2007-07-13 | 2013-01-09 | 杜比实验室特许公司 | 用于控制音频信号的信号处理的设备和方法 |
ES2403509T3 (es) | 2007-09-11 | 2013-05-20 | Deutsche Telekom Ag | Método y sistema para la evaluación integral y diagnóstica de la calidad de la voz de escucha |
WO2009086174A1 (en) | 2007-12-21 | 2009-07-09 | Srs Labs, Inc. | System for adjusting perceived loudness of audio signals |
WO2009141790A2 (en) * | 2008-05-21 | 2009-11-26 | Nxp B.V. | Filter device for detecting and/or removing erroneous components in and/or from a signal |
DE102008030086A1 (de) * | 2008-06-25 | 2010-01-14 | Siemens Aktiengesellschaft | Automatisierte Rückmeldung über eine Sprachqualtität |
WO2010140940A1 (en) * | 2009-06-04 | 2010-12-09 | Telefonaktiebolaget Lm Ericsson (Publ) | A method and arrangement for estimating the quality degradation of a processed signal |
WO2011010962A1 (en) * | 2009-07-24 | 2011-01-27 | Telefonaktiebolaget L M Ericsson (Publ) | Method, computer, computer program and computer program product for speech quality estimation |
US8538042B2 (en) * | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
US9031221B2 (en) * | 2009-12-22 | 2015-05-12 | Cyara Solutions Pty Ltd | System and method for automated voice quality testing |
JP5606764B2 (ja) * | 2010-03-31 | 2014-10-15 | クラリオン株式会社 | 音質評価装置およびそのためのプログラム |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
CN103077727A (zh) * | 2013-01-04 | 2013-05-01 | 华为技术有限公司 | 一种用于语音质量监测和提示的方法和装置 |
CN106531190B (zh) * | 2016-10-12 | 2020-05-05 | 科大讯飞股份有限公司 | 语音质量评价方法和装置 |
CN106713623A (zh) * | 2016-12-08 | 2017-05-24 | 深圳市传测科技有限公司 | 一种通信终端植入式的通话检测系统与方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4449238A (en) * | 1982-03-25 | 1984-05-15 | Bell Telephone Laboratories, Incorporated | Voice-actuated switching system |
US4677676A (en) * | 1986-02-11 | 1987-06-30 | Nelson Industries, Inc. | Active attenuation system with on-line modeling of speaker, error path and feedback pack |
US5001703A (en) * | 1989-01-23 | 1991-03-19 | Motorola, Inc. | Spectrally efficient TDM duplex communication system |
DE69232202T2 (de) * | 1991-06-11 | 2002-07-25 | Qualcomm, Inc. | Vocoder mit veraendlicher bitrate |
US5271057A (en) * | 1991-10-09 | 1993-12-14 | Bell Communications Research, Inc. | Audio processing system for teleconferencing system |
US5649299A (en) * | 1993-10-27 | 1997-07-15 | Motorola, Inc. | Apparatus and method for adapting a digital radiotelephone system to increased subscriber traffic |
US5933506A (en) * | 1994-05-18 | 1999-08-03 | Nippon Telegraph And Telephone Corporation | Transmitter-receiver having ear-piece type acoustic transducing part |
TW271524B (ja) * | 1994-08-05 | 1996-03-01 | Qualcomm Inc | |
AU683183B2 (en) * | 1994-08-18 | 1997-10-30 | British Telecommunications Public Limited Company | Analysis of audio quality |
US6201960B1 (en) * | 1997-06-24 | 2001-03-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Speech quality measurement based on radio link parameters and objective measurement of received speech signals |
KR100244193B1 (ko) * | 1997-06-30 | 2000-02-01 | 윤종용 | 더미 파일럿을 이용한 하드 핸드오프 방법 |
-
2000
- 2000-11-09 DE DE60029453T patent/DE60029453T2/de not_active Expired - Lifetime
- 2000-11-09 EP EP00203936A patent/EP1206104B1/en not_active Expired - Lifetime
- 2000-11-09 ES ES00203936T patent/ES2267457T3/es not_active Expired - Lifetime
- 2000-11-09 DK DK00203936T patent/DK1206104T3/da active
- 2000-11-09 AT AT00203936T patent/ATE333751T1/de not_active IP Right Cessation
-
2001
- 2001-10-11 AU AU2002223612A patent/AU2002223612A1/en not_active Abandoned
- 2001-10-11 JP JP2002541902A patent/JP4098083B2/ja not_active Expired - Fee Related
- 2001-10-11 EP EP01994017A patent/EP1336288A2/en not_active Withdrawn
- 2001-10-11 WO PCT/EP2001/011777 patent/WO2002039707A2/en not_active Application Discontinuation
- 2001-10-11 US US10/398,263 patent/US7366663B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20040042617A1 (en) | 2004-03-04 |
US7366663B2 (en) | 2008-04-29 |
WO2002039707A3 (en) | 2002-07-18 |
DE60029453T2 (de) | 2007-04-12 |
DE60029453D1 (de) | 2006-08-31 |
DK1206104T3 (da) | 2006-10-30 |
ATE333751T1 (de) | 2006-08-15 |
EP1206104B1 (en) | 2006-07-19 |
EP1206104A1 (en) | 2002-05-15 |
JP2004514327A (ja) | 2004-05-13 |
EP1336288A2 (en) | 2003-08-20 |
AU2002223612A1 (en) | 2002-05-21 |
ES2267457T3 (es) | 2007-03-16 |
WO2002039707A2 (en) | 2002-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4098083B2 (ja) | 電気通信網における電話リンクの会話品質の測定 | |
US6389111B1 (en) | Measurement of signal quality | |
EP1927192B1 (en) | Method for measuring speech intelligibility | |
JP3568922B2 (ja) | エコー処理装置 | |
JP2004282700A (ja) | エコー検出および監視 | |
US6718036B1 (en) | Linear predictive coding based acoustic echo cancellation | |
JP2003501894A (ja) | 不可聴情報の包含により適応型フィルタ性能を向上させる方法及び装置 | |
JP4317222B2 (ja) | ネットワークにおける通信リンクの送話品質の測定 | |
JP2001251652A (ja) | エコーおよび/またはノイズを協働して低減するための方法 | |
Moeller et al. | Objective estimation of speech quality for communication systems | |
EP1492084B1 (en) | Binaural quality assessment apparatus and method | |
Gierlich et al. | Advances in perceptual modeling of speech quality in telecommunications | |
Gierlich et al. | Advanced speech quality testing of modern telecommunication equipment: An overview | |
Möller et al. | Extending the e-model for capturing noise reduction and echo canceller impairments | |
JP2001036625A (ja) | 通話装置におけるエコー量調整方法 | |
Reimes | Assessment of Listening Effort for various Telecommunication Scenarios | |
Gierlich et al. | Background Noise Transmission and Comfort Noise Insertion: The Influence of Signal Processing on" Speech"-Quality in Complex Telecommunication Scenarios | |
EP1216519B1 (en) | Measuring the perceptual quality of speech signals including echo disturbances | |
JPH10150343A (ja) | 反響消去方法および装置 | |
JP3579622B2 (ja) | 反響抑圧における所望エコー抑圧量導出方法及びその装置 | |
Biscainho et al. | An objective method for quality assessment of ultra-wideband speech corrupted by echo | |
Kettler et al. | Evaluation of hands-free terminals | |
Möller et al. | Factors Influencing the Quality of Service | |
Kettler et al. | Objective end-to-end (mouth-to-ear) conversational speech quality tests for VoIP scenarios | |
Rietz et al. | Towards conversational crowdsourcing tests: Measuring loudness ratings and delay of German crowdworkers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070507 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070514 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070627 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080312 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |