JP3845034B2 - 事故音検出装置 - Google Patents

事故音検出装置 Download PDF

Info

Publication number
JP3845034B2
JP3845034B2 JP2002079202A JP2002079202A JP3845034B2 JP 3845034 B2 JP3845034 B2 JP 3845034B2 JP 2002079202 A JP2002079202 A JP 2002079202A JP 2002079202 A JP2002079202 A JP 2002079202A JP 3845034 B2 JP3845034 B2 JP 3845034B2
Authority
JP
Japan
Prior art keywords
accident sound
signal
sound
accident
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002079202A
Other languages
English (en)
Other versions
JP2003281680A (ja
Inventor
登 興野
俊光 瀬利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Priority to JP2002079202A priority Critical patent/JP3845034B2/ja
Publication of JP2003281680A publication Critical patent/JP2003281680A/ja
Application granted granted Critical
Publication of JP3845034B2 publication Critical patent/JP3845034B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、交差点などにおける交通音、事故音(衝突等の事故音や事故につながるような急ブレーキ音等も含む)から事故音のみを効率良く検出するための事故音検出装置に関するものである。
【0002】
【従来の技術】
一般に、交差点では交通事故が多く発生するので、従来から事故発生の状況を記録する交通事故状況記録装置が考えられてきた。
図8は、例えば特開平4−338900号公報に開示された従来の交通事故状況記録装置を示すブロック図である。
図8において1、4は交通信号機、1B、1Y、1R、4B、4Y、4Rは信号灯、2B、2Y、2Rは信号線、3は信号灯点滅装置、5は信号灯記号発生装置、6は時刻文字発生部、7は加算部、8は撮像装置、9はエンドレス記録装置、10は周囲音検出装置、11は衝突音検出回路、12は記録制御装置、13は磁気記録再生装置である。
【0003】
ここで、事故音を検出する部分は周囲音検出装置10および衝突音検出回路11である。すなわち周囲音検出装置10で音響信号が検出され、衝突音検出回路11に送られる。衝突音検出回路11では検出された音響信号が車両の衝突音か否かを判別し、衝突音と判別した時には衝突音検出信号が記録制御装置12に送られる。
衝突音検出回路11において、検出された交通音が事故(衝突)音であるか否かは、入力された音響信号のレベルとあらかじめ定められた閾値とを比較し、そのレベルが閾値以上になった場合に事故と判断している。また誤動作対策としては周囲音検出装置10には指向性マイクロホンが使用されるとともに、音響信号の経路中に帯域除去フィルタが設けられている。
【0004】
【発明が解決しようとする課題】
ところで、上記公報に記載の衝突音検出回路では、衝突音の判別に検出された音響信号とあらかじめ設定された固定の閾値とのレベル比較を行っている。しかしながら一般の交通音では例えば急ブレーキ音、警笛音、暴走音など、事故音以外でもレベルの大きな音が多く存在している。そのため、このような検出された音響信号と固定の閾値とのレベル比較を行う方法では、実際の事故音に加えてその他多くの交通音も事故音と判別してしまうという問題点があった。
また、検出される事故音に関して衝突音であるか、あるいは急ブレーキ音であるかといった種類に関する情報はまったく得られない等の問題点もあった。
【0005】
この発明は、上記のような問題点を解消するためになされたもので、事故音の判別に信号レベルの閾値を利用するのではなく、一定時間毎に事故音を取り込んで、そのの基本周波数の変動(ピッチ変動)を計算し、ピッチ変動が大きい場合はサイレン音と判断して事故音から除外することによって、これまで識別不可能であった急ブレーキ音とサイレン音との識別が可能とし、事故音の検出能力を向上できる事故音検出装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
請求項1の発明に係る事故音検出装置は、外部からの音響信号を用いて事故音を検出するための事故音検出装置であって、上記事故音を取り込む事故音取込手段と、該事故音取込手段の出力信号から事故音を検出する事故音検出手段と、上記外部からの音響信号を所定の一定時間を周期とする異なる複数の取り込み時間で周期的に取り込み、該取り込んだ複数の上記音響信号を出力信号として上記一定時間毎に出力する周期的事故音取込手段と、該周期的事故音取込手段からの複数の出力信号のピッチ変動率の大小を判定するピッチ変動判定演算手段と、上記事故音から該ピッチ変動率が所定のピッチ変動率よりも大きい出力信号を除去して出力するピッチ変動音除去手段とを備えたものである。
【0007】
請求項2の発明に係る事故音検出装置は、上記事故音取込手段が、上記外部からの音響信号の波形を整形する波形整形回路と、該波形整形回路のアナログ信号をディジタル信号に変換するA/D変換器と、該A/D変換器からの出力信号から差分信号を取り出す差分演算手段と、該差分演算手段からの差分信号とあらかじめ値が設定された基準差分値とを比較し、その比較結果に応じてトリガ信号を発生する比較回路と、該比較回路からのトリガ信号に基づいて上記A/D変換器からの出力信号を上記ピッチ変動判定演算手段に取り込むスイッチとを有するものである。
【0008】
請求項3の発明に係る事故音検出装置は、上記ピッチ変動判定演算手段が、上記周期的事故音取込手段から取り込まれた複数の出力信号からそれぞれその自己相関関数を算出する複数の自己相関演算手段と、該複数の自己相関演算手段からの各自己相関関数に基づいて対応する基本周波数を算出する複数の基本周波数演算手段と、該複数の基本周波数演算手段からの各基本周波数に基づいて上記A/D変換器からの出力信号のピッチ変動を判定するピッチ変動判定手段とを有するものである。
【0009】
請求項4の発明に係る事故音検出装置は、上記ピッチ変動判定手段が、上記複数の基本周波数演算手段からの各基本周波数に基づいてピッチ変動率を求め、該ピッチ変動率が所定値より大きい場合のみ事故音外のピッチ変動音であると判定するものである。
【0010】
【発明の実施の形態】
以下、この発明の一実施の形態を、図面を参照しながら説明する。
実施の形態1.
図1は、この発明の実施の形態1を示す機能ブロック図である。
図1において、20は事故音取込手段、100は周囲音検出装置10(図8参照)からの音響入力信号、110は事故音取込手段20の出力信号、30は事故音取込手段20からの出力信号110から事故音を検出する事故音検出手段、120は事故音検出手段30の出力信号、40は事故音の有無に拘わらず一定時間毎に常に信号を取込む周期的事故音取込手段、130,140は周期的事故音取込手段40から一定時間差を保って出力される2個の出力信号である。なお、周期的事故音取込手段40の出力としては、2個或いはそれ以上個存在し、それぞれが取り込み時間に等しい一定時間毎に出力される。また、50は出力信号130,140のピッチ変動の大小を判定するピッチ変動判定演算手段、150はピッチ変動判定演算手段50の出力信号、60はピッチ変動判定演算手段50の出力信号150に基づいて事故音検出手段30の出力信号120からピッチ変動音例えばサイレン音を除去するピッチ変動音除去手段、160はピッチ変動音除去手段60の出力信号である。
【0011】
図2は、事故音取込手段20の具体的回路構成の一例を示す回路構成図である。
図2において、21は外部からの音響信号100の波形を整形する波形整形回路、101は波形整形回路21からの出力信号、22は波形整形回路21からの出力信号101をアナログ信号からディジタル信号に変換するためのA/D変換器、102はA/D変換器22のディジタル出力信号、23はディジタル出力信号102から差分信号を取り出すための差分演算手段、103は差分演算手段23からの差分信号、25は基準とするレベルの差分信号(基準差分値)を発生させる基準差分値発生回路、24は差分演算手段23からの差分信号103と基準差分値発生回路25からの基準差分値とを比較し、差分演算手段23からの差分信号103が設定された基準差分値より大きい場合に出力信号104を発生する比較回路である。26は比較回路24からの出力信号104をトリガ信号としてA/D変換器22の出力信号102を取り込むためのスイッチ、110はスイッチ26により取り込まれた出力信号(OUT)である。
【0012】
図3は、ピッチ変動判定演算手段30の具体的回路構成の一例を示す回路構成図である。
図3において、51は周期的事故音取込手段40からの出力信号130即ち入力信号IN1の自己相関関数を算出する自己相関演算手段、52は自己相関演算手段51からの出力信号の基本周波数(ピッチ)f1を演算する基本周波数演算手段、53は同様に周期的事故音取込手段40からの出力信号140即ちが入力信号IN2の自己相関関数を算出する自己相関演算手段、54は自己相関演算手段53からの出力信号の基本周波数(ピッチ)f2を演算する基本周波数演算手段、55は基本周波数演算手段52からの基本周波数f1と基本周波数演算手段54からの基本周波数f2からピッチ変動の大小を判定するピッチ変動判定手段である。
【0013】
次に動作について、図4〜図7を参照して説明する。
いま、事故発生時に音響入力信号100が発生し、事故音取込手段20に入力されると、波形整形回路21により不要な信号成分が除去され、出力信号101が生成される。
出力信号101はA/D変換器22でアナログ信号からディジタル信号102に変換される。出力されたディジタル信号102は差分演算手段23に入力され、差分演算手段23からディジタル出力信号102の差分信号103が出力される。差分信号103は一般に信号レベルの変化分を表し、急激なレベル変化があるほど大きな信号レベルを発生する。逆に信号レベルが大くてもレベル変化が小さい場合にはそのレベルは小さい。従って、例えば事故発生時のように突発的な現象が起こると差分信号103は大きなレベル変化を示す。そこであらかじめ基準差分値発生回路25により基準とする基準差分値を発生し、比較回路24を用いて差分信号103と基準差分値とを比較する。そして、差分信号103が基準差分値より大きい場合には信号レベルが急激に変化する交通事故音が発生したものと判断し、出力信号104をトリガ信号として発生させる。
【0014】
この比較回路24からの出力信号110によりスイッチ26をONしてA/D変換器22の出力信号102を取り込み、出力信号110として事故音検出手段30へ入力する。事故音検出手段30では事故音を検出し、出力信号120としてピッチ変動音除去手段60へ入力する。
また、周期的事故音取込手段40では一定時間毎に音響入力信号100を取り込んで、出力信号130,140としてピッチ変動判定演算手段50の自己相関演算手段51,53へそれぞれ入力する。
【0015】
自己相関演算手段51および53は入力された出力信号111および112の自己相関関数を算出するが、自己相関演算手段51および53に入力される各出力信号のスペクトルグラムみると、図4に示すように、時間の経過と共に周波数即ちピッチが変動する場合がある。なお、図4において、太線で表している特性は、各出力信号の一番低い周波数即ち基本周波数f0(ピッチ)を表している。そこで、自己相関演算手段51および53では、図5に示すような自己相関関数を計算する。ここで、自己相関関数は時間0を中心にして対称で、正の時間についてみれば時間と共に山谷を繰り返す関数である。この自己相関関数で最初の山の位置に与える時間をt0とすると、その逆数1/t0が基本周波数(ピッチ)f0となる。
【0016】
自己相関演算手段51および53の出力信号はそれぞれ基本周波数演算手段52および54に供給され、上記のように自己相関関数から基本周波数(ピッチ)が求められる。従って、周期的事故音取込手段40から取り込まれた出力信号130に対して取り込み時間をti−1とする基本周波数fi−1(=f1)が演算され、同様に、周期的事故音取込手段40からの出力信号140に対して取り込み時間をtiとする基本周波数fi(=f2)が演算される。
【0017】
図6は、このときの基本周波数演算手段52および54で演算された基本周波数f1とf2の関係を、それぞれ例えばfi−1,fiとして示したもので、時間ti−1は基本周波数fi−1に関して出力信号130を取り込んだときの時間を実質的に表し、時間tiは基本周波数fiに関して出力信号140を取り込んだときの時間を実質的に表している。
【0018】
このようにして、基本周波数演算手段52および54で求められた基本周波数f1とf2はピッチ変動判定手段55に供給され、ここで、ピッチ変動率rpが求められる。このピッチ変動率rpは基本周波数f2をf1で除した値即ちrp=f2/f1(rp=fi/fi−1)より算出される。
【0019】
次に、ピッチ変動判定手段55では、図7に示すように、この算出されたピッチ変動率rpが所定のピッチ変動率Δrより大きいかどうかを判別し、ピッチ変動率rpが所定のピッチ変動率Δrより大きい場合は、周期的事故音取込手段40からピッチ変動判定演算手段50に取り込まれた信号はピッチ変動がある、つまりピッチ変動音と判定し、ピッチ変動率rpが所定のピッチ変動率Δrより小さい場合は、周期的事故音取込手段40からピッチ変動判定演算手段50に取り込まれた信号はピッチ変動がない、つまり事故音と判定して、その判定結果をピッチ変動音除去手段60へ出力信号150として供給する。
【0020】
ピッチ変動音除去手段40では、入力された出力信号150がピッチ変動の大きいことを表す信号の場合は、これはピッチ変動音例えばサイレン音であるので、その信号成分を事故音から除外した出力信号160を出力する。また、ピッチ変動音除去手段60では、入力された出力信号150がピッチ変動の小さいことを表す信号の場合は、事故音であるので、その信号成分を何等除去することなく例えばこの事故音を記録するためのトリガ信号用の出力信号160として出力する。
【0021】
このように本実施の形態では、入力される事故音などの音響信号の中で、急ブレーキ音とサイレン音とを識別するため、基本周波数(ピッチ)の変動を計算し、そのピッチ変動が所定の値より大きい場合はサイレン音と判断して事故音から除外し、ピッチ変動が所定の値より小さい場合は事故音として記録するためのトリガ信号を出力するようにしたので、これまで識別不可能であった急ブレーキ音とサイレン音との識別が可能となり、事故音のみ効率よく検出して事故音の検出能力を向上できる。
【0022】
【発明の効果】
以上に述べたように、請求項1の発明によれば、外部からの音響信号を用いて事故音を検出するための事故音検出装置であって、上記事故音を取り込む事故音取込手段と、該事故音取込手段の出力信号から事故音を検出する事故音検出手段と、上記外部からの音響信号を所定の一定時間を周期とする異なる複数の取り込み時間で周期的に取り込み、該取り込んだ複数の上記音響信号を出力信号として上記一定時間毎に出力する周期的事故音取込手段と、該周期的事故音取込手段からの複数の出力信号のピッチ変動率の大小を判定するピッチ変動判定演算手段と、上記事故音から該ピッチ変動率が所定のピッチ変動率よりも大きい出力信号を除去して出力するピッチ変動音除去手段とを備えたので、これまで識別不可能であった急ブレーキ音とサイレン音との識別が可能となり、事故音のみ効率よく検出して事故音の検出能力を向上できるという効果がある。
【0023】
また、請求項2の発明によれば、上記事故音取込手段が、上記外部からの音響信号の波形を整形する波形整形回路と、該波形整形回路のアナログ信号をディジタル信号に変換するA/D変換器と、該A/D変換器からの出力信号から差分信号を取り出す差分演算手段と、該差分演算手段からの差分信号とあらかじめ値が設定された基準差分値とを比較し、その比較結果に応じてトリガ信号を発生する比較回路と、該比較回路からのトリガ信号に基づいて上記A/D変換器からの出力信号を上記ピッチ変動判定演算手段に取り込むスイッチとを有するので、事故音のみ効率よく検出するのに寄与できるという効果がある。
【0024】
また、請求項3の発明によれば、上記ピッチ変動判定演算手段が、上記周期的事故音取込手段から取り込まれた複数の出力信号からそれぞれその自己相関関数を算出する複数の自己相関演算手段と、該複数の自己相関演算手段からの各自己相関関数に基づいて対応する基本周波数を算出する複数の基本周波数演算手段と、該複数の基本周波数演算手段からの各基本周波数に基づいて上記A/D変換器からの出力信号のピッチ変動を判定するピッチ変動判定手段とを有するので、急ブレーキ音とサイレン音との識別を可能して、事故音の検出能力の向上に寄与できるという効果がある。
【0025】
また、請求項4の発明によれば、上記ピッチ変動判定手段が、上記複数の基本周波数演算手段からの各基本周波数に基づいてピッチ変動率を求め、該ピッチ変動率が所定値より大きい場合のみ事故音外のピッチ変動音であると判定するので、事故音のピッチ変動を効率よく且つ確実に判断することができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1を示す機能ブロック図である。
【図2】 この発明の実施の形態1における事故音取込手段の一例を示すブロック構成図である。
【図3】 この発明の実施の形態1におけるピッチ変動判定演算手段の一例を示すブロック図である。
【図4】 この発明の実施の形態1における自己相関演算手段の動作説明に供するための図である。
【図5】 この発明の実施の形態1における自己相関演算手段の動作説明に供するための図である。
【図6】 この発明の実施の形態1における基本周波数演算手段の動作説明に供するための図である。
【図7】 この発明の実施の形態1におけるピッチ変動判定手段の動作説明に供するための図である。
【図8】 従来の交通事故状況記録装置を示すブロック図である。
【符号の説明】
20 事故音取込手段、21波形整形回路、22 A/D変換器、23 差分演算手段、24 比較回路、25 基準差分値発生回路、26 スイッチ、30事故音検出手段、40 周期的事故音取込手段、50 ピッチ変動判定演算手段、51,53 自己相関演算手段、52,54 基本周波数演算手段、55 ピッチ変動判定手段、60 ピッチ変動音除去手段。

Claims (4)

  1. 外部からの音響信号を用いて事故音を検出するための事故音検出装置であって、
    上記事故音を取り込む事故音取込手段と、
    該事故音取込手段の出力信号から事故音を検出する事故音検出手段と、
    上記外部からの音響信号を所定の一定時間を周期とする異なる複数の取り込み時間で周期的に取り込み、該取り込んだ複数の上記音響信号を出力信号として上記一定時間毎に出力する周期的事故音取込手段と、
    該周期的事故音取込手段からの複数の出力信号のピッチ変動率の大小を判定するピッチ変動判定演算手段と、
    上記事故音から該ピッチ変動率が所定のピッチ変動率よりも大きい出力信号を除去して出力するピッチ変動音除去手段と
    を備えたことを特徴とする事故音検出装置。
  2. 上記事故音取込手段は、上記外部からの音響信号の波形を整形する波形整形回路と、該波形整形回路のアナログ信号をディジタル信号に変換するA/D変換器と、該A/D変換器からの出力信号から差分信号を取り出す差分演算手段と、該差分演算手段からの差分信号とあらかじめ値が設定された基準差分値とを比較し、その比較結果に応じてトリガ信号を発生する比較回路と、該比較回路からのトリガ信号に基づいて上記A/D変換器からの出力信号を上記ピッチ変動判定演算手段に取り込むスイッチとを有することを特徴とする請求項1記載の事故音検出装置。
  3. 上記ピッチ変動判定演算手段は、上記周期的事故音取込手段から取り込まれた複数の出力信号からそれぞれその自己相関関数を算出する複数の自己相関演算手段と、該複数の自己相関演算手段からの各自己相関関数に基づいて対応する基本周波数を算出する複数の基本周波数演算手段と、該複数の基本周波数演算手段からの各基本周波数に基づいて上記A/D変換器からの出力信号のピッチ変動を判定するピッチ変動判定手段とを有することを特徴とする請求項2記載の事故音検出装置。
  4. 上記ピッチ変動判定手段は、上記複数の基本周波数演算手段からの各基本周波数に基づいてピッチ変動率を求め、該ピッチ変動率が所定値より大きい場合のみ事故音外のピッチ変動音であると判定する請求項3記載の事故音検出装置。
JP2002079202A 2002-03-20 2002-03-20 事故音検出装置 Expired - Lifetime JP3845034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002079202A JP3845034B2 (ja) 2002-03-20 2002-03-20 事故音検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002079202A JP3845034B2 (ja) 2002-03-20 2002-03-20 事故音検出装置

Publications (2)

Publication Number Publication Date
JP2003281680A JP2003281680A (ja) 2003-10-03
JP3845034B2 true JP3845034B2 (ja) 2006-11-15

Family

ID=29228767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002079202A Expired - Lifetime JP3845034B2 (ja) 2002-03-20 2002-03-20 事故音検出装置

Country Status (1)

Country Link
JP (1) JP3845034B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189444A1 (en) * 2020-12-14 2022-06-16 Slate Digital France Note stabilization and transition boost in automatic pitch correction system

Also Published As

Publication number Publication date
JP2003281680A (ja) 2003-10-03

Similar Documents

Publication Publication Date Title
JP3069529B2 (ja) 事故音検出回路
JP4242422B2 (ja) 突発事象の記録・解析システム
EP2759843A1 (en) Sound source detection device
JP4742750B2 (ja) 車外音処理装置
JP6146470B2 (ja) 物体検出装置及び物体検出方法
US6087960A (en) Accident sound detection circuit
JP4371119B2 (ja) 異常監視方法
JP2978132B2 (ja) 事故音検出装置
CN116386277A (zh) 疲劳驾驶检测方法、装置、电子设备及介质
JP3845034B2 (ja) 事故音検出装置
EP1496499A3 (en) Apparatus and method of voice recognition in an audio-video system
JP4886461B2 (ja) 異常監視装置
JP3895621B2 (ja) 事故音検出装置
JP2003202260A (ja) 音源識別装置および突発事象検出装置並びに突発事象自動記録装置
JP3895657B2 (ja) 事故音検出回路
JP3810332B2 (ja) 事故音検出装置
JP2950771B2 (ja) 事故音検出回路および事故音検出装置
JP2010241371A (ja) 運転状態検出装置
JP5780724B2 (ja) 物音検知装置、物音検知方法および物音検知システム
JP2841515B2 (ja) 音響認識装置
JP3015298B2 (ja) 事故音検出回路および事故音検出装置
Bonarini et al. A composite system for real-time robust whistle recognition
JPH09136573A (ja) 車両用周囲状況監視装置
JP2570395B2 (ja) 音響認識装置
JP2761800B2 (ja) 車両の衝突判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3845034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100825

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110825

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120825

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130825

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term