JP3992596B2 - 音声再生方法、音声再生装置および音声再生プログラム - Google Patents
音声再生方法、音声再生装置および音声再生プログラム Download PDFInfo
- Publication number
- JP3992596B2 JP3992596B2 JP2002335278A JP2002335278A JP3992596B2 JP 3992596 B2 JP3992596 B2 JP 3992596B2 JP 2002335278 A JP2002335278 A JP 2002335278A JP 2002335278 A JP2002335278 A JP 2002335278A JP 3992596 B2 JP3992596 B2 JP 3992596B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- masker
- audio
- frequency
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
【産業上の利用分野】
この発明は、音声再生方法、音声再生装置および音声再生プログラムに関し、特に、マスキング効果の大きい音声再生方法、音声再生装置および音声再生プログラムに関する。
【0002】
【従来の技術】
近隣から到来する漏れ音声に対して、雑音を発生させてスピーカにより拡声して放射し、マスキング効果を利用して漏れ伝わってきた音声を聞こえ難くする方法が提案されている。マスキング効果とは、複数の音が存在する場合に、一方の音により他方の音の最小可聴値が引き上げられる、即ち、聴感的に聞こえ難くなる効果である。上述した方法は、近隣から到来する漏れ音声が存在する場合に、音声とは関連のない雑音を発生させてスピーカにより拡声して放射することにより、音声の最小可聴値を引き上げる、即ち、音声を聴感的に聞こえ難くするものである。
【0003】
図3を参照して従来例を説明するに、機器の周囲騒音がマイクロホン1に入力され、環境音分析手段2では入力された騒音を分析し、環境音選択手段3では分析された騒音のパターンに応じて、最適な環境背景音12と環境効果音13を自動的に選択し、環境音発生手段4に出力される。環境音発生手段4では、選択された環境音に対して、環境音分析手段2で分析された騒音パターンに応じてさらに最適な特性となるように音響パラメータを制御し、増幅器9で適切な大きさにして左右のスピーカ10−1、10−2から出力される。この左右のスピーカ10−1、10−2の出力する音響により、マルチメディア機器その他の発する騒音をマスキングし、かつ機器使用者のストレスを軽減する。環境音選択手段3では、自動的に環境音を選択する以外に、入力手段8により環境音の種類と組み合わせを外部から受信したり、環境音そのものを入力したり、機器使用者の感性を入力することができる(特許文献1 参照)。
【0004】
図4を参照して他の従来例を説明するに、これはスピーカ14を介して音声信号を再生するに際して車両における走行騒音をマスキングする走行騒音マスキング回路である。この走行騒音マスキング回路は、スピーカ17に前置されている等化器13が設けられている。この等化器13の信号入力側は、第1切り替えスイッチ14を介して選択的にラジオ受信機7の出力側および演算装置2の較正のために等化器13の調整のための増幅器3を介してノイズ信号発生器4の出力側に接続することができ、かつノイズ信号発生器4の出力側に第1の周波数分離回路16が設けられている。この第1の周波数分離回路16の出力側は第2切り替えスイッチ15を介して増幅器3に接続することができる。増幅器3の調整値は演算装置2に記憶され、かつ速度センサ1の測定値と相関される。そして、ラジオ受信機7の出力側には第2の周波数分離回路9が設けられている。この第2の周波数分離回路9には相関器5および6はが後置接続されており、この相関器において第2の周波数分離回路9の出力信号が等化器13を調整するために演算装置2からの重み付け量と相関される(特許文献2 参照)。
【0005】
【特許文献1】
特開平9−319389号公報
【特許文献2】
特開平6−186986号公報
【0006】
【発明が解決しようとする課題】
音声をスピーカで拡声して放射する場合に近隣に対する音声漏れを防止するに以上の方法を適用することができる。この方法はマスキング効果を利用した方法であるが、マスキング効果は、マスキングする信号とマスキングされる信号の周波数特性、信号レベルに依存する。以降、マスキングする信号を「マスカ」と記載し、マスキングされる信号を「マスキ」と記載する。一般的傾向としては、マスカの周波数特性がマスキの周波数特性に近似している程、そして、マスカの信号レベルがマスキの信号レベルと比較して大きい程、マスキング効果は大きい。即ち、マスキの最小可聴値を引き上げることにより、マスキを聞こえ難くすることができる。この方法には、マスカが雑音である一方マスキが音声信号であって両者間には全く相関がなく、周波数特性が異なるところからマスキング効果が小さく、音声漏れを効果的に防止することができないという第一の問題があった。
【0007】
そして、この方法はマスカとして使用する雑音信号が一般的に人間に不快感を与える音であるところから、会議が行われている様な場においては、雑音レベルを余り大きくすることはできない。この結果、この方法には、マスキング効果が小さく音声漏れを効果的に防止することができないという第二の問題があった。
また、近隣に対する音声漏れを防止する以上の方法は、スピーカを使用して受話音声を拡声する拡声電話通信においても、近隣に対する音声漏れを防止する方法として適用することができる。しかし、この方法には、マスカが雑音である一方マスキが受話音声であり、両者間には全く相関がなく周波数特性が異なるところから、マスキング効果は小さく音声漏れを効果的に防止することができないという第三の問題があった。
【0008】
更に、この方法は、マスカとして使用する雑音信号が一般的に人間に不快感を与える音であるところから、会議が行われている様な場においては雑音レベルを余り大きくすることはできない。この結果、この方法には、マスキング効果が小さく音声漏れが効果的に防止することができないという第四の問題があった。
この発明は、以上の問題を解消する音声再生方法、音声再生装置および音声再生プログラムを提供するものである。
【0009】
【課題を解決するための手段】
音声信号X(n)を音声再生用スピーカ18で拡声放射し、音声信号X(n)とは異なるマスカ信号N(n)をマスカ再生用スピーカ17で拡声放射する音声再生方法において、音声信号X(n)とマスカ信号N(n)を複数の周波数帯域に分割し、分割した周波数帯域毎に音声信号の振幅を計算すると共にマスカ信号N(n)の位相を計算し、各周波数帯域毎に音声信号X(n)の振幅とマスカ信号N(n)の位相とを有するボコーダ信号Sk(n)を合成し、各周波数帯域毎のボコーダ信号Sk(n)を周波数合成してこれを音声再生用スピーカ18で拡声放射する音声再生方法を構成した。
【0010】
そして、マスカ信号N(n)は音楽或いは雑音の内の何れかをベースとした信号より成る音声再生方法を構成した。
ここで、音声信号X(n)を音声再生用スピーカ18で拡声放射し、音声信号X(n)とは異なるマスカ信号N(n)をマスカ再生用スピーカ17で拡声放射する音声再生装置において、音声信号X(n)とマスカ信号N(n)を複数の周波数帯域に分割する周波数分割部12と、音声信号X(n)の振幅を計算するパワー計算部13と、マスカ信号N(n)の位相を計算する位相計算部14と、音声信号X(n)の振幅PX,k(n)とマスカ信号N(n)の位相ΦN,k(n) とを有するボコーダ信号Sk(n)を合成するボコーダ信号合成部15と、ボコーダ信号Sk(n)を周波数合成する周波数合成部16とを具備する音声再生装置を構成した。
【0011】
そして、マスカ信号N(n)は音楽或いは雑音の内の何れかをベースとした信号より成る音声再生装置を構成した。
また、音声信号X(n)を入力すると共にマスカ信号N(n)を生成し、
音声信号X(n)とマスカ信号N(n)を複数の周波数帯域に分割し、音声信号の振幅を計算すると共にマスカ信号N(n)の位相を計算し、音声信号X(n)の振幅とマスカ信号N(n)の位相とを有するボコーダ信号Sk(n)を合成し、ボコーダ信号Sk(n)を周波数合成し、周波数合成ボコーダ信号S(n)とマスカ信号N(n)を出力する指令をコンピュータに対して実行する音声再生プログラムを構成した。
更に、先の音声再生プログラムにおいて、音楽或いは雑音の内の何れかをベースとしたマスカ信号を生成する音声再生プログラムを構成した。
【0012】
【発明の実施の形態】
音声信号を音声再生用スピーカで拡声するに先だって前処理し、マスカ信号との間に相関を持たせる。音声信号とマスカ信号を複数の周波数帯域に分割し、音声信号の振幅とマスカ信号の位相を有するボコーダ信号を合成し、ボコーダ信号を周波数合成した周波数合成ボコーダ信号を音声信号として音声再生用スピーカから拡声放射する。この周波数合成ボコーダ信号は、もともとの音声情報を残したままで、マスカ信号との間に相関を持つという特色を持つことにより、その再生音声の周波数特性はマスカの周波数特性に近くなり、従来例と比較して小さなレベルのマスカでも効果的なマスキングをすることができる。その結果、拡声された音声が近隣に漏れても、音声漏れを充分に消去することができ、第一の課題を解決することができる。
【0013】
拡声通話の受話音声信号を音声再生用スピーカで拡声するに先だって前処理して、マスカ信号との間に相関を持たせる。受話音声信号とマスカ信号を複数の周波数帯域に分割し、受話音声信号の振幅とマスカ信号の位相を有するボコーダ信号を再合成し、ボコーダ信号を周波数合成した周波数合成ボコーダ信号を受話音声信号として音声再生用スピーカから拡声放射する。この受話音声信号は、もともとの音声情報を残したままで、マスカ信号と相関を持つという特色を持つことにより、その再生音声の周波数特性はマスカの周波数特性に近くなり、従来例と比較して小さなレベルのマスカでも効果的なマスキングをすることができる。その結果、拡声された受話音声が近隣に漏れても音声漏れを充分に消去することができ、第三の課題を解決することができる。
【0014】
マスカ信号として音楽信号或いは音楽信号の一部から生成した信号を使用してマスカを放射することで近隣の人間の快適性を損なうことがなく、マスカとして一般的な雑音を使用する場合と比較して大きなレベルで放射することができ、更なるマスキング効果の向上を図ることができる。その結果、拡声された音声および拡声された受話音声が近隣に漏れても、音声漏れを充分に消去することができて、第二および第四の課題を解決することができる。
【0015】
【実施例】
この発明の実施の形態を図1の実施例を参照して説明する。1は音声漏れ防止装置である。この音声漏れ防止装置1はマスカ信号生成部11、周波数分割部12、パワー計算部13、位相計算部14、ボコーダ信号合成部15、周波数合成部16、マスカを再生するマスカ再生用スピーカ17、周波数合成ボコーダ信号を再生する音声再生用スピーカ18より成る。
音声漏れ防止装置1の動作を説明するに、先ず、マスカ信号生成部11でマスカ信号を生成する。ここで、マスカ信号の時間表現として、これを離散時間を表わす整数値nを用いてN(n)と表わす。マスカ信号N(n)として雑音信号を生成する。また、マスカ信号N(n)として、ギター音楽、弦楽四重奏その他の実際の音楽をそのまま流用し、或いは、これらの音楽から切り出した音楽の音色を持つ信号を繰り返しつなげた音響を生成する。マスカ信号N(n)は、マスカ再生用スピーカ17および周波数分割部12に転送される。
【0016】
ここで、周波数分割部12には、拡声電話通信の受話音声信号の如き音声信号X(n)が転送される。周波数分割部12においては、転送されたマスカ信号N(n)および音声信号X(n)の双方を複数の周波数帯域に分割する。時間信号である以上のマスカ信号N(n)および音声信号X(n)を周波数帯域へ分割するには、これらを離散的フーリエ変換する。ここで、周波数帯域分割された信号は一般に複素数であるが、分割方法によっては実数となる場合もある。ここにおいては、一般的に、複素数であるものと仮定して議論するが、実数の場合も同じ議論が成り立つ。音声信号X(n)の周波数帯域に分割されたk番目の周波数帯域の信号、マスカ信号N(n)の周波数帯域に分割されたk番目の周波数帯域の信号をXk(n)、Nk(n)とすると、それぞれ、
Xk(n)=Xk,r(n)+jXk,i(n) (1)
(但し、Xk,r(n)、Xk,i(n)は、それぞれ、Xk(n)の実数部および虚数部)
Nk(n)=Nk,r(n)+jNk,i(n) (2)
(但し、Nk,r(n)、Nk,i(n)は、それぞれ、Nk(n)の実数部および虚数部)
と表される。Xk(n)はパワー計算部13へ転送され、Nk(n)は位相計算部14に転送される。パワー計算部13においては、音声信号Xk(n)のパワーレベル
PX,k(n)=Xk,r(n)2+Xk,i(n)2 (3)
が計算される。また、入力信号位相計算部14においてはマスカ信号Nk(n)の位相
ΦN,k(n)=tan-1[Nk,i(n)/Nk,r(n)] (4)
が計算される。その後、パワーPX,k(n)、位相ΦN,k(n)は、ボコーダ信号合成部15に転送される。
ボコーダ信号合成部15においては、各周波数帯域毎に音声信号Xk(n)の位相をマスカ信号Nk(n)の位相で置き換えたボコーダ信号Sk(n)を合成する。即ち、パワー計算部13から転送されたパワーPX,k(n)および位相計算部14から送られてきた位相ΦN,k(n)を用いて、
Sk(n)=Sk,r(n)+jSk,i(n)
但し、Sk,r(n)=√(PX,k(n)cos[ΦN,k(n)])
Sk,i(n)=√(PX,k(n)sin[ΦN,k(n)]) (5)
を生成する。
【0017】
各周波数帯域毎に合成されたボコーダ信号Sk(n)は周波数合成部16に転送され、各周波数帯域毎のボコーダ信号Sk(n)を周波数合成した結果の周波数合成ボコーダ信号S(n)を生成する。この周波数合成ボコーダ信号S(n)は、音声信号X(n)のパワースペクトラムを維持して音声情報を残しながらマスカ信号N(n)の位相を有してマスカ信号N(n)の音色を持った信号になる。即ち、周波数合成部16が出力する周波数合成ボコーダ信号S(n)は音声信号X(n)に対応する信号であり、音声信号X(n)に代えてこれを音声再生用スピーカ18を介して拡声放射する。一方、マスカ再生用スピーカ17からもマスカが拡声放射される。
【0018】
図2を参照して音声漏れ防止装置のマスカの奏する効果について説明する。
23は周波数合成ボコーダ信号S(n)を受聴する受聴者、24は受聴者23の近傍の第三者、S1(n)は音声再生用のスピーカ18から拡声される受聴者23に到達した音声、S2(n)は音声再生用のスピーカ18から拡声され第三者24に到達した音声の漏れ、N1(n)はマスカ再生用のスピーカ17から拡声され受聴者23に到達したマスカ、N2(n)はマスカ再生用のスピーカ17から拡声され第三者24に到達したマスカを、それぞれ示す。
音声漏れ防止装置1は、周波数合成ボコーダ信号S(n)を音声再生用スピーカ18に転送すると共に、マスカ信号N(n)をマスカ再生用スピーカ17に転送する。音声再生用スピーカ18は転送された周波数合成ボコーダ信号S(n)により音声S1(n)およびS2(n)を拡声放射する。マスカ再生用スピーカ17は転送されたマスカ信号N(n)によりマスカN1(n)およびN2(n)を拡声放射する。
【0019】
周波数合成ボコーダ信号S(n)は、受聴者23に対して音声 S1(n)を音声再生用スピーカ18を介して供給すると共に、第三者24に対してこの音声を漏れ S2(n)として供給する。マスカ信号N(n)は、受聴者23に対してマスカ再生用スピーカ17を介してマスカ N1(n)を供給すると共に第三者24に対してマスカN2(n)を供給する。 ここで、
X1(n)=S1(n)+N1(n) (6)
X2(n)=S2(n)+N2(n) (7)
と表される。この時、受聴者23は音声再生スピーカ18に充分に近接しているところから、S1(n)はN1(n)と比較して充分に大きいので、X1(n)は、ほぼS1(n)に等しく、
X1(n)≒S1(n) (8)
の関係が成り立つ。即ち、受聴者23はその位置において明瞭に音声 S1(n)を受聴することができる。
【0020】
一方、第三者24は音声再生スピーカ18から遠いところに位置し、或いは音声再生スピーカ18の指向性から外れていることに起因して、到達する音声は減衰し、これは第三者24には減衰した音声の漏れ S2(n)として受聴される。この漏れS2(n)がマスカN2(n)により完全にマスキングされるには、マスカN2(n)の音圧のレベルが漏れS2(n)と同等或いはそれ以下であることが必要であるが、以上の通り音圧のレベルに関する要件は満足された。漏れS2(n)がマスカ N2(n)により完全にマスキングされる要件として更に、漏れS2(n)とマスカN2(n)の周波数特性が類似していることが必要とされる。ここで、この発明は漏れS2(n)とマスカN2(n)の相関は、音声信号 Xk(n)の位相をマスカ信号Nk(n)の位相で置き換えたことにより高いので、再生音声の周波数特性の類似の要件も満足され、漏れS2(n)はマスカN2(n)によって充分にマスキングされるに到る。マスカ信号N(n)として、特に、音楽信号或いは音楽信号の一部から生成した信号を用いると、この音楽信号のマスカを大きく拡声放射しても人間の快適性を妨げることがなく、マスカのレベルを大きくすることで更にマスキング効果を上げることができ、大きな音漏れにも対処することができる。
【0021】
【発明の効果】
以上の通りであって、一般に、音声をスピーカで拡声放射する場合にマスカを別スピーカから拡声放射することにより音声信号の近隣への音漏れを消去することができるが、この発明の音声漏れ防止装置は、マスキング効果が大きいので、オープンスペースで近くにいる人の声を充分にマスキングすることができる。マスカ信号N(n)として、特に、音楽信号或いは音楽信号の一部から生成した信号を用いると、この音楽信号のマスカを大きく拡声放射しても人間の快適性を妨げることがなく、マスカのレベルを大きくすることで、更にマスキング効果を上げることができ、大きな音漏れにも対処することができる。そして、オフィスの如き音場において拡声通信の受話音声の受聴をするに際して充分な秘話効果を発揮することができる。これにより、通信内容が漏れることによるプライバシー侵害、音声漏れによる周りへの迷惑、その他の不都合を解消することができ、音声をスピーカで自由に拡声して受聴をすることができる。
【図面の簡単な説明】
【図1】実施例を説明する図。
【図2】実施例の動作を説明する図。
【図3】従来例を説明する図。
【図4】他の従来例を説明する図。
【符号の説明】
1 音声漏れ防止装置 11 マスカ信号生成部
12 周波数分割部 13 パワー計算部
14 位相計算部 15 ボコーダ信号合成部
16 周波数合成部 17 マスカ再生用スピーカ
18 音声再生用スピーカ
Claims (5)
- 音声信号を音声再生用スピーカで拡声放射し、
前記音声信号のマスカ信号をマスカ再生用スピーカで拡声放射する音声再生方法において、
音声信号とマスカ信号を複数の周波数帯域に分割し、
分割した周波数帯域毎に音声信号の振幅を計算し、
分割した周波数帯域毎にマスカ信号の位相を計算し、
各周波数帯域毎に音声信号の振幅とマスカ信号の位相とを有するボコーダ信号を合成し、
各周波数帯域毎のボコーダ信号を周波数合成し、
周波数合成されたボコーダ信号を、前記音声信号に代えて前記音声再生用スピーカで拡声放射することを特徴とする音声再生方法。 - 請求項1に記載される音声再生方法において、
マスカ信号は、音楽或いは雑音の内の何れかをベースとした信号より成ることを特徴
とする音声再生方法。 - 音声信号を音声再生用スピーカで拡声放射し、
前記音声信号のマスカ信号をマスカ再生用スピーカで拡声放射する音声再生方法において、
音声信号とマスカ信号を複数の周波数帯域に分割する周波数分割部と、
分割した周波数帯域毎に音声信号の振幅を計算するパワー計算部と、
分割した周波数帯域毎にマスカ信号の位相を計算する位相計算部と、
各周波数帯域毎に音声信号の振幅とマスカ信号の位相とを有するボコーダ信号を合成す
るボコーダ信号合成部と、
各周波数帯域毎のボコーダ信号を周波数合成する周波数合成部を具備し、
音声再生用スピーカで、周波数合成されたボコーダ信号を、前記音声信号に代えて拡声放射することを特徴とする音声再生装置。 - 請求項3に記載される音声再生装置において、
マスカ信号は、音楽或いは雑音の内の何れかをベースとした信号より成ることを特徴
とする音声再生装置。 - 請求項3または4に記載された音声再生装置を構成する各手段としてコンピュータを機能させるための音声再生プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002335278A JP3992596B2 (ja) | 2002-11-19 | 2002-11-19 | 音声再生方法、音声再生装置および音声再生プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002335278A JP3992596B2 (ja) | 2002-11-19 | 2002-11-19 | 音声再生方法、音声再生装置および音声再生プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004170621A JP2004170621A (ja) | 2004-06-17 |
JP3992596B2 true JP3992596B2 (ja) | 2007-10-17 |
Family
ID=32699451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002335278A Expired - Fee Related JP3992596B2 (ja) | 2002-11-19 | 2002-11-19 | 音声再生方法、音声再生装置および音声再生プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3992596B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4306708B2 (ja) | 2006-09-25 | 2009-08-05 | ヤマハ株式会社 | オーディオ信号処理装置 |
CN107154256B (zh) * | 2017-06-27 | 2023-11-24 | 山东省计算中心(国家超级计算济南中心) | 基于声源定位的声掩蔽系统及自适应调整方法 |
-
2002
- 2002-11-19 JP JP2002335278A patent/JP3992596B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004170621A (ja) | 2004-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021200589B2 (en) | Speech reproduction device configured for masking reproduced speech in a masked speech zone | |
KR100800725B1 (ko) | 이동통신 단말의 오디오 재생시 주변 잡음에 적응하는 자동음량 조절 방법 및 장치 | |
US20110144779A1 (en) | Data processing for a wearable apparatus | |
US20070083361A1 (en) | Method and apparatus for disturbing the radiated voice signal by attenuation and masking | |
US20160125867A1 (en) | An Audio Scene Apparatus | |
US20210104222A1 (en) | Wearable electronic device for emitting a masking signal | |
JP2002078100A (ja) | ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体 | |
JP3153113B2 (ja) | ヘッドホン装置 | |
CN105284133A (zh) | 基于信号下混比进行中心信号缩放和立体声增强的设备和方法 | |
US8009834B2 (en) | Sound reproduction apparatus and method of enhancing low frequency component | |
US8170229B2 (en) | Audio privacy apparatus and method | |
WO2020036058A1 (ja) | 信号処理装置および方法、並びにプログラム | |
JP3845382B2 (ja) | 携帯電話スピーカの実装システム及び着信鳴動方法 | |
JP3992596B2 (ja) | 音声再生方法、音声再生装置および音声再生プログラム | |
EP4181529A1 (en) | Acoustic output device and control method for acoustic output device | |
CN115225997A (zh) | 一种声音播放方法、装置、耳机及存储介质 | |
JP2005505177A (ja) | 音声信号を再生する方法及び音声再生システム | |
JP2006324917A (ja) | ノイズキャンセルヘッドフォン | |
Coker et al. | A survey on virtual bass enhancement for active noise cancelling headphones | |
KR101971608B1 (ko) | 웨어러블 음향 장치 | |
Sigismondi | Personal monitor systems | |
GB2361395A (en) | A method of audio signal processing for a loudspeaker located close to an ear | |
JP2002051108A (ja) | 電話装置および着信音制御方法 | |
JP2005101988A (ja) | 立体音再生用ヒンジスピーカ及び立体音再生用携帯電話 | |
WO2014209434A1 (en) | Voice enhancement methods and systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070724 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |