JP4153265B2 - 音声レベル調整システム - Google Patents

音声レベル調整システム Download PDF

Info

Publication number
JP4153265B2
JP4153265B2 JP2002253747A JP2002253747A JP4153265B2 JP 4153265 B2 JP4153265 B2 JP 4153265B2 JP 2002253747 A JP2002253747 A JP 2002253747A JP 2002253747 A JP2002253747 A JP 2002253747A JP 4153265 B2 JP4153265 B2 JP 4153265B2
Authority
JP
Japan
Prior art keywords
voice
level
sound
speaker
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002253747A
Other languages
English (en)
Other versions
JP2004096342A (ja
Inventor
雄二 是永
清孝 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kajima Corp
Foster Electric Co Ltd
Original Assignee
Kajima Corp
Foster Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kajima Corp, Foster Electric Co Ltd filed Critical Kajima Corp
Priority to JP2002253747A priority Critical patent/JP4153265B2/ja
Publication of JP2004096342A publication Critical patent/JP2004096342A/ja
Application granted granted Critical
Publication of JP4153265B2 publication Critical patent/JP4153265B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ホール、教室、オフィス、マーケット、駅舎、公共空間などにおける一般放送又は非常放送の拡声技術に関し、更に詳しくは、暗騒音変動に対応して音声拡声レベルを調整する音声レベル調整システムに関する。
【0002】
【従来の技術】
例えば音声又は音楽を拡声する場合においては、音声レベル又は音量を調整する必要がある。図19に示した従来の一般的な放送拡声例における音響調整は、概ね次の(a)〜(c)の3つの操作による。(a)話者の声の大きさに合わせてミキサー1の音量調節器であるボリューム(フェーダ)3を操作する。(b)アンプ(電力増幅器)5のボリューム7を操作する。(c)スピーカ9のボリューム13(減衰器)を操作する。この例は、放送室15からアナウンス又はBGMを建物17の各場所に放送する場合である。スピーカ9の一部は個別のボリューム13を備えている。
【0003】
図20はホールなどで行われている従来の一般的な音量調整システムの構成図である。話者の音声がマイクロホンMIC1によって集音されミキサー1とアンプ5を経てスピーカ9から拡声される場合に、音量調整は調整マンがミキサー1のフェーダ3を操作して行う。ヒトが拡声音を聴取するとき、暗騒音は聞き取りを妨害する。暗騒音とは、聞き取ろうとする音以外の音全体を指している。図21は聴取場所における騒音と拡声音の音量をモデル的に示している。この例では拡声音の音量はコントロールされていない。このため、騒音が変動し拡声音よりも大きくなると、拡声音を聞き取ることができなくなる。
【0004】
これに対し、騒音を検出し、装置を安定に動作させるようにしたものに特公昭52−10001号公報記載の騒音順応形自動音量制御装置の騒音検出方式がある。ここでは、長時間にわたって調べた図22に示す騒音の平均値としての分布特性と、図23に示す放送音声周波数分布特性とを重ね合わせて図24を作り、この斜線の部分に対応する周波数を通過する濾波器を回路中におき、これを通して騒音を検出し、濾波器の通過する周波数分布のエネルギーをもって全体の騒音を代表せしめ、これによって騒音順応形自動音量制御装置を構成している。
【0005】
また、騒音レベルを検出し、その騒音レベルに応じて再生音レベルをコントロールして良好な明瞭度を得るようにしたものには例えば特開昭60−43902号公報記載の拡声装置がある。この拡声装置では、騒音検出用マイクロホン、低域通過濾波器、自動利得制御回路、高域通過濾波器等から構成され、この構成によって再生する各スピーカ周囲の騒音レベルを検出し、その騒音レベルに応じて再生音レベルをコントロールすることにより、変動する騒音下においても明瞭度の高い再生音を得るようにしている。
【0006】
【発明が解決しようとする課題】
ところで、明瞭度の高い再生音が得られない原因には大きく分けて二つのものがあり、その第一の原因としては、話者の音量調整が最適に行われないこと、第二の原因としては、話者の音量は最適に調節されているがその拡声音が暗騒音に対応した大きさとなっていないことである。従って、これら二つの課題が同時に取り除かれていなければ最適な音量調整を実現することはできない。
【0007】
しかしながら、上記第一の原因となる話者の音量調整では、通常の放送、音声拡声が図19又は図20のようなシステム方式で行われていることから、一般的には図19に示した3種類のボリューム3、7、13を操作して話者の音量を調整しなければならず、以下の(1)〜(4)の問題が生じていた。
(1)ボリューム3(ミキサーフェーダ)についての問題。
拡声音場の拡声音が聞こえない、又は聞こえにくい状態となるため、最適な調整が困難であった。例えば、図20において調整室19の調整マンは窓から聞こえてくる室内の拡声音を頼りに、ボリューム3を操作することになる。この図において、調整マンはリスナーが聴いている拡声音と同じ音を聞いていない。そのため、より精度の高い調整を行うには、調整マンは窓からの拡声音を聴いて拡声音場の拡声音が判るように訓練する必要がある。
また、一般に話者の声質には個人差があり、話の内容によっても変化する。更に、話者とマイクとの距離は、必ずしも一定でないため、同じ話者であってもマイクの集音レベルは常に変化している。これを適宜に判断しボリューム3を操作しなければならない。
【0008】
(2)ボリューム5(アンプボリューム)についての問題。
ボリューム5は、ボリューム位置を固定的に設定するため、音量調整に向いていない。また。アンプ5が操作場所から離れて置かれていることが多いため、迅速な操作が行えない。
【0009】
(3)ボリューム13(スピーカアッテネータ)についての問題。
アンプ5から十分な音声信号が供給されないとボリューム13で最大としても音量が足りないことがある。これは、拡声レベルがボリューム3からボリューム13までの調整結果を総合的に反映したものとなるからである。このため、放送室15であっても、或いは個別スピーカ9側であっても最適に音量調整を行うことは難しい。その結果、拡声音が聞こえない、又は大きすぎて煩わしいなどの問題がおこる。
【0010】
(4)ハウリング問題。
従来の放送システムでは図25に示すように▲1▼話者音声、▲2▼暗騒音、▲3▼拡声音の、常に変動する条件を全て把握したうえで、即時に音量調整操作を行うという必要があった。
拡声音▲3▼は常にマイクMIC1から集音されており、それがまた拡声されるというループを形成している。このループに関してループゲインが1を超えると、瞬時に最大拡声レベルまで拡声されるハウリング現象が起こる。これによりスピーカ9が破損する危険があった。
【0011】
また、上記第二の原因となる拡声音の暗騒音に対する音量調整では、以下の(5)〜(6)の問題が生じていた。
(5)ボリューム3(ミキサーフェーダ)についての問題。
図19において、放送室15から拡声音場の騒音を把握することはできないため、音量は予想で設定するほかに方法がない。更に、実際には拡声場所ごとに騒音の状況が異なるため、全体の音量調整しかできない放送室15からのコントロールは事実上不可能であった。
【0012】
(6)ボリューム13(スピーカアッテネータ)についての問題。
図19において、騒音が変動している場合にはボリューム位置を常に調整する必要がある。ところが、各スピーカ9ごとの音量コントロールであるため、各スピーカ9ごとに担当者を置くことは極めて難しい。
【0013】
一方、上記した特公昭52−10001号公報記載の騒音順応形自動音量制御装置の騒音検出方式では、図24の斜線の部分に対応する周波数を通過する濾波器を回路中におき、この濾波器の通過する周波数分布のエネルギーをもって全体の騒音を代表させている。また、特開昭60−43902号公報記載の拡声装置では、再生音と騒音とを分離するため、騒音検出用マイクホンに入った信号を低域通過濾過器に通し、ある帯域(約300Hz以下)の成分だけとしている。このため、ある帯域(例えば約300Hz以下)以外の帯域(例えば約300Hz以上)の音声そのものが騒音となっている場合には、再生音がこの帯域(例えば約300Hz以上)の音声によってマスクされてしまい、最適な音量調整が行えず、明瞭度の高い再生音を得ることができなかった。
【0014】
このように、従来の技術では、話者の声が大きすぎる場合或いは小さすぎる場合の音量調整と、当該音量調整によって拡声された拡声音と暗騒音との相対的な音量調整とを同時に最適に実現することはできなかった。
【0015】
本発明は上記状況に鑑みてなされたもので、話者の音量調整と、暗騒音に対する拡声音の音量調整とが最適に行われ、その結果、最終的な再生音が最適に音量調整可能となる音声レベル調整システムを提供し、もって、再生音における明瞭度の向上を図ることを目的とする。
【0016】
【課題を解決するための手段】
上記目的を達成するための本発明に係る請求項1記載の音声レベル調整システムは、話者マイクロホンと、拡声音場に設けた少なくとも一つの第二のマイクロホンと、話者が音声を発している音声区間に前記話者マイクロホンに入力される話者の音声レベルが基準音声レベルに近づくように話者音声レベルの音量を調整する第一の音量調整手段と、話者が音声を発していない暗騒音分析区間に前記第2のマイクロホンから得られる拡声音場の暗騒音レベルに基づいて、前記第1の音量調整手段で音量調整がなされた話者音声レベルを更に当該暗騒音レベルに応じた音量へ調整する第二の音量調整手段とを有する自動音量調整手段と、前記自動音量調整手段で音量の調整がなされた話者音声レベルの音量出力信号を受けるスピーカとを具備したことを特徴とする。
【0017】
この音声レベル調整システムでは、話者音声レベルが評価され、第二のマイクロホンの位置での暗騒音が評価される。これにより、拡声されるべき音量目標が決定可能となり、暗騒音に応じた適切な拡声音が得られ、ハウリングなどの問題を避けながら最適な音量調整が可能となる。
【0018】
請求項2記載の音声レベル調整システムは、請求項1記載の音声レベル調整システムにおいて、前記自動音量調整手段は、前記話者マイクロホンからの音声を入力する音声測定手段、該音声測定手段からの信号を受ける音声レベル算定手段、該音声レベル算定手段からの信号を受ける音声補正レベル算定手段からなり、前記第一の音量調整手段へ調整量を指示する処理シーケンスAと、前記第二のマイクロホンからの暗騒音を入力する暗騒音測定手段、該暗騒音測定手段からの信号を受ける暗騒音レベル算定手段、該暗騒音レベル算定手段からの信号を受ける拡声目標レベル算定手段からなり、前記第二の音量調整手段へ調整量を指示する処理シーケンスBと、前記話者マイクロホンからの音声入力の有無に応じて前記処理シーケンスAと該処理シーケンスBとを切り替え動作させる音声信号入力識別手段とを備えることを特徴とする。
また、請求項3記載の音声レベル調整システムは、請求項2記載の音声レベル調整システムにおいて、前記音声測定手段は、前記音声区間に前記話者マイクロホンから入力される話者の音声信号を、複数のメモリーアドレスをもつメモリーにタイムコードと対応付けて順次記憶することにより、話者の音声データをサンプリングし、前記音声レベル算出手段は、前記音声測定手段でサンプリングされた音声データを用いて、前記話者の音声レベルと相関のある音声レベル評価量を算出することを特徴とする。
【0019】
この音声レベル調整システムでは、処理シーケンスAの音声測定手段によって音声測定処理がなされ、音声レベル算定手段によって音声レベルの評価計算がなされ、話者音声が評価される。また、音声補正レベル算定手段によって音声レベルの補正処埋がなされ、調整量が計算される。一方、処理シーケンスBの暗騒音測定手段によって音声測定手段の場合と同様に、暗騒音測定処理がなされ、暗騒音レベル算定手段によって暗騒音レベルが算定される。更に、その算定結果から拡声目標レベル算定手段によって、調整量が計算される。これら処理シーケンスAと処理シーケンスBとの処理が音声信号入力識別手段によってスイッチングされ、話者マイクロホン及び第二のマイクロホンから得られる話者音声と拡声音場とを用いて、話者音声レベル、暗騒音レベルに応じた音量の拡声レベルが決定される。
【0020】
請求項記載の音声レベル調整システムは、請求項1、2又は3記載の音声レベル調整システムにおいて、騒音レベルの異なる空間に対して複数台の前記スピーカを配設し、それぞれの該スピーカに応じて前記第二のマイクロホンを配設したことを特徴とする。
【0021】
この音声レベル調整システムでは、各スピーカの配置ごとにその付近の暗騒音が測定され、評価されるため、音声聴取環境が異なる場合においても各スピーカの設置場所ごとで目的の音量補正、即ち、分散処理を行うことが可能となる。
【0022】
請求項記載の音声レベル調整システムは、請求項1、2又は3記載の音声レベル調整システムにおいて、前記第二の音量調整手段と前記スピーカとの間にリレーを介装し、前記第二のマイクロホンを用いずに、前記暗騒音測定手段を、前記リレーを用いて前記第二の動音量調整手段と選択的に前記スピーカへ接続可能としたことを特徴とする。
【0023】
この音声レベル調整システムでは、音声区間外であるときには、リレーがオープンとされ、音量調整手段とスピーカとが切り離され、同時に暗騒音によってゆすられたスピーカのボイスコイルに生じる起電力が、暗騒音測定手段によって騒音として評価され、更に拡声目標レベルが決定される。その結果により音量調整が行われる。音声区間のときには、リレーがクローズされ、通常のスピーカとしての使用が可能となる。つまり、この音声レベル調整システムによれば、第二のマイクロホンの省略が可能となる。また、複数個のスピーカを第二のマイクロホンとして用いる場合、常に1個のスピーカを第二のマイクロホンとして用い順次切り替えて暗騒音を測定するが、音声信号は1つのスピーカから音声が出ていないだけなので全体の拡声音が途切れることはない。
【0024】
請求項記載の音声レベル調整システムは、請求項1、2又は3記載の音声レベル調整システムにおいて、前記スピーカが、二つのボイスコイルを備え、前記第二の音量調整手段を、一方のボイスコイルに接続し、前記第二のマイクロホンを用いずに、前記暗騒音測定手段を、他方のボイスコイルに接続したことを特徴とする。
【0025】
この音声レベル調整システムでは、ボイスコイルの一つが、常に騒音測定用として使用可能となる。従って、第二のマイクロホン、及びリレーが不要になる。また、一方のボイスコイルは、常に騒音測定用として用いることができる。更に、このボイスコイルは、スピーカの動作チェックをリモート監視するためのものとしても利用が可能となる。
【0026】
【発明の実施の形態】
以下、本発明に係る音声レベル調整システムの好適な実施の形態を図面を参照して詳細に説明する。
最初に、本実施の形態による音声レベル調整システムの主要動作の概略を説明する。
先ず、話者の音声が入っている場合には、どの程度の補正が必要であるかを設定する。即ち、入力音声に応じてマイクロホンアンプの出力を自動的に上げる。その際、話者の音量調整と、暗騒音に対する拡声音の音量調整とを最適に行うのに、話者の音声がマイクロホンに入ったか否かを調べる必要がある。本実施の形態では、話者が音声を発しているとき(音声区間)と、発していないとき(暗騒音分析区間)とを区別する。これにより、話者自身の拡声音を測定しないようにしている。拡声音が入ったか否かの判定において、拡声音が入っていないときには外部の音、即ち、暗騒音を測定する。外部の音が測定できたなら、その測定結果に合わせて話者の拡声音量を調整する。つまり、後述する音声信号入力識別手段F1によって、音声が入ったか否かを識別し、音声が入っていないときには暗騒音の測定を行い、音声が入ったときには音声の測定を行うこととしている。以上が、本実施の形態による音声レベル調整システムの主要動作の概略である。
【0027】
次に、本実施の形態による音声レベル調整システム21を、その構成から順に詳述する。図1は本発明に係る音声レベル調整システムの概略を表す構成図である。
音声レベル調整システム21は、話者マイクロホンMIC1を備え、更に拡声音場に調整マンの耳に相当する第二のマイクロホンMIC2を備える。なお、本発明に係る音声レベル調整システム21におけるマイクロホンMIC1、マイクロホンMIC2の数はこれに限定されるものではない。即ち、話者マイクロホンMIC1と第二のマイクロホンMIC2とは、それぞれを複数個備えることができる。
【0028】
このマイクロホンMIC1と、マイクロホンMIC2とは、それぞれがアンプ23a、23bを介して自動音量調整手段25に接続される。自動音量調整手段25は、その出力が出力側アンプ27を介して各スピーカ9に接続されている。このような基本構成を有する音声レベル調整システム21は、マイクロホンMIC1とマイクロホンMIC2から得られる話者音声と拡声音場とを用いて、自動音量調整手段25が話者音声レベル、暗騒音レベルに応じた最適な音量の拡声レベルを決定するようになっている。そして、このようにして決定された最適な拡声レベルの音量処理信号が、出力側アンプ27とスピーカ9を経てリスナーに拡声されるものである。ここで、自動音量調整手段25は、図2に示す複数の構成手段からなる。
【0029】
自動音量調整手段25は、マイクロホンMIC1からの信号を受けることにより、音声と暗騒音との切り分けを行う音声信号入力識別手段F1を有している。音声信号入力識別手段F1は、マイクロホンMIC1から信号を受けることにより、音声区間開始の制御信号を出力し、マイクロホンMIC1から信号を受けないことにより、暗騒音区間開始の制御信号を出力する。
【0030】
自動音量調整手段25は、音声信号入力識別手段F1からの音声区間開始の制御信号を受ける音声測定手段F2と、音声測定手段F2からの信号を受ける音声レベル算定手段F3と、音声レベル算定手段F3からの信号を受ける音声補正レベル算定手段F4と、音声補正レベル算定手段F4からの信号を受ける第一の音量調整手段F8aとを有する。これら音声測定手段F2、音声レベル算定手段F3、音声補正レベル算定手段F4は、処理シーケンスAを構成している。
【0031】
また、自動音量調整手段25は、音声信号入力識別手段F1からの信号を受ける暗騒音測定手段F5と、暗騒音測定手段F5からの暗騒音区間開始の制御信号を受ける暗騒音レベル算定手段F6と、暗騒音レベル算定手段F6からの信号を受ける拡声目標レベル算定手段F7と、拡声目標レベル算定手段F7からの信号を受ける第二の音量調整手段F8bとを有する。これら暗騒音測定手段F5、暗騒音レベル算定手段F6、拡声目標レベル算定手段F7は、処理シーケンスBを構成している。
【0032】
即ち、マイクロホンMIC1から入った音声信号は、音声信号入力識別手段F1を通過した後、音量調整手段F8a、音量調整手段F8bを通過して出力側アンプ27に入力される。この際、音声信号は、音量調整手段F8aを通過することによって処理シーケンスAにより補正されるとともに、音量調整手段F8bを通過することによって処理シーケンスBにより補正される。
【0033】
図3はリスナー位置における暗騒音と拡声音のレベルを表すグラフである。
音声信号入力識別手段F1は、マイクロホンMIC1が接続されたアンプ23aの出力を識別機能により、図3に示す「音声区間」と「暗騒音分析区間」とに識別する。即ち、音声信号入力識別手段F1は、拡声音がマイクロホンMIC1に入ったときには音声区間としての識別を行い、拡声音がマイクロホンMIC1に入らないときには暗騒音分析区間としての識別を行う。
【0034】
音声信号入力識別手段F1の機能詳細を図4に示す。
音声信号入力識別手段F1は、上記の作動内容から音声区間識別手段とも称することができ、所謂ゲート回路と判定結果保持回路(フリップ・フロップ回路)とを組み合わせたものである。
ゲート回路に入力される音声信号は通常、図4下図(ゲート回路出力レベルと信号入力レベルの相関図)のように分析される音声・暗騒音・拡声音により構成されると考えられる。ここで、音声区間の開始はゲート設定レベル31を超えたときと定義する。図4はゲート設定レベル31が−20dBUの場合である。なお、この値は、暗騒音などの条件により適宜に設定することができる。この例では、マイクアンプ23aからの信号入力レベルが−20dBU以下の場合、音声が入っていないと識別され、マイクアンプ23aからの信号入力レベルが−20dBU以上の場合、音声が入っていると識別される。ゲート回路とフリップ・フロップとからなる音声信号入力識別手段F1は、この識別結果から音声区間切り出し信号33と、音声区間判定信号35とを出力する。音声区間判定信号35は、フリップフロップ=1のときに音声区間とされ、フリップフロップ=0のときに非音声区間(即ち、暗騒音区間)とされる。これにより、話者音声入力時には話者音声レベルの調整を行う一方、話者音声非入力時には調整のなされた話者音声レベルを更に暗騒音レベルに応じた音量へ調整する自動音量調整が可能となる。
【0035】
図5は図2に示した音声測定手段F2の機能説明図である。
音声測定手段F2は、サンプルホールド回路41と、適当なサンプルーレートと語長をもつ量子化器43と、十分な大きさのデータ格納メモリー45と、外部タイムコード入力部47と、これらの制御MPU(図示せず)とにより構成されている。メモリー45は、指定長さのチェーンメモリーとして動作するように制御する。例えば100個のアドレスをループ状にして順次記憶を行う。メモリーアドレスk(k=1〜100)のタイムコードはT1kであり、データ値はV1kとなる。メモリーアドレスkは、101番目のとき、再び1番目のアドレスへと戻るが、その際のタイムコードT1kと、データ値V1kは1番目のものとは異なるため、タイムコードT1kを基準としてデータ値V1kを特定することで、サンプリングごとのデータは上書きされることなく呼び出し可能となる。つまり、タイムコードT1kを絶対時間としてシーケンシャルなデータを作成している。音声測定手段F2における音声測定処理は、音声信号入力識別手段F1からの音声測定開始制御(即ち、図4のフリップフロップ=1のとき)により、音声サンプリングを開始するとともに、音声信号入力識別手段F1からの騒音測定開始制御(音声区間判定信号35)によりサンプリングを終了する。この測定完了と同時に音声測定手段F2からの測定データは、音声レベル算定手段F3に渡るように処理される。
【0036】
図6は音声レベル算定の手順を表すフローチャートである。
音声レベル算定手段F3は、図6に示すように、音声測定手段F2からのデータに基づき音声レベル評価計算を行い、測定区間における話者音声を評価する。即ち、音声測定手段F2からのデータ値V1k、タイムコードT1kを受け(st1)、データ区間長さTLを算出し(st3)、このデータ区間長さTLが最小分析時間より大きい場合(st5)には音声レベル評価量を計算する(st7)。一方、ある程度の分析時間が確保されない場合には、st5から再びst1へと処理を戻す。この評価量に関しては、音声レベル又はそれと一定程度相関のある物理量であればよく、評価量を限定するものではない。
【0037】
例えば母音又は拗音の主力周波数領域である125Hzから1kHz程度までの周波数に関して、帯域フィルタリングを施した後に、平均自乗信号を時定数0.1s程度の時定数フィルターにより処理した信号を用いても良い。最終的に用いる物理量としては音声区間内の音声レベル変動を統計処理したもの、例えば最頻値L50や90%レンジ上端値L5などが良い。但し、一度評価量と決定したならば、以下に関係する処理機能においても当該評価量を用いなければならない。
【0038】
当該処理機能は、話者音声レベルに着目した処理であり、基準音声レベルに対しての偏差を評価するために用いる。アンプ23a(マイクアンプ)以降のミキサー内部回路から、後段の各種音響信号処理回路に至る回路の基準ゲイン及びスピーカ能率を仮定した場合に得られるスピーカ前方1m点の音圧が設定値になるような音声レベルを基準音声レベルと定義する。
従って、音声レベル算定手段F3の処理結果、基準音声レベルよりも10dB低い音声であれば、スピーカ前方1m点の拡声音は10dB低くなる。但し、後述する音量調整手段F8a、F8bの補正を受けないときである。
なお、音声区間が指定した時間以下であった時は、評価量を算出することなく、再び音声信号入力識別手段F1による測定開始待ちに戻る。
【0039】
図7は音声レベル補正処理の手順を表すフローチャートである。
音声補正レベル算定手段F4は、音声レベル算定手段F3で音声レベル評価量が算出されたとき、図7に示す音声レベル補正処埋を実行する。ここで、調整速度時定数をTc、最大音声レベルをVCmax、最小音声レベルをVCmin、基準音声レベルをVCref、基準音声レベルを与えるボリューム値をVC1、ボリューム現在値をVCt、補正量d1とする。
【0040】
音声補正レベル算定手段F4は、音声レベル算定手段F3から音声レベル評価量VCtを受けたなら(st11)、調整目標値VC0を計算する(st13)。次いで、タイマー起動値t=0としてタイマーをリセットする(st15)。調整速度時定数Tcがタイマー値tより小さい場合には(st17)、d1=VCn−VC0(dt/Tc)の式から補正量d1を得る(st19)。この補正量d1を指示(音量調整手段F8aへ送出)する(st21)。なお、st15以後の処理は、t=t+dtの加算処理を行い(st23)、一つ一つの所定時間tを加えながらゆっくりと補正量d1を算出する。これは、拡声音に急激な変化が生じて不自然とならないようにするためである。この補正量d1の指示処理(st17、st19、st21、st23)をt>Tcとなるまで繰り返す。
【0041】
ここで注意すべき点は、ハードウエア上の制約により最大音声レベルVCmax、最小音声レベルVCminが決まっていること、更には音声補正は瞬時に行えるが、聴感上の問題があるため調整速度はある程度ゆっくりする必要があることである。
以上のシステムパラメータは予め適当な数値を与えることとする。このようにして得た補正量d1は、音量調整手段F8aへの指示となるが、指示の実現方法は各種あるので後述する。
【0042】
図8は図2に示した暗騒音測定手段の機能説明図である。
暗騒音測定手段F5は、前述の音声測定手段F2と同様の方法を暗騒音処理機能として用いる。従って、その構成は、音声測定手段F2と同様となる。
【0043】
図9は暗騒音レベル算定の手順を表すフローチャートである。
暗騒音レベル算定手段F6は、暗騒音レベル算定では、評価量としてJISZ8731に定める騒音レベルdB(A)の統計処理値を用いる。即ち、LAeqT、L5、L50などである。この処理手順は、音声レベル算定手段F3の場合と略同一となる。即ち、図9に示すように、暗騒音測定手段F5からのデータ値V2k、タイムコードT2kを受け(st31)、データ区間長さTLを算出し(st33)、このデータ区間長さTLが最小分析時間より大きい場合(st35)には騒音レベル評価量を計算する(st37)。ここでもハードウエアの制約として、暗騒音レベルの最小・最大が決められる。
【0044】
音声の拡声では、明瞭度確保の目的から、暗騒音よりも一定程度大きな値を設定する。経験値からその差は10dB程度とするが、状況によって設定できるようにする。
一方、BGMを目的とした音楽再生では暗騒音よりも小さく拡声すべきである。このように、拡声目的により算定される目標値は異なるので、このシステムパラメータは拡声ソースによりダイナミックに変更される必要がある。
【0045】
図10は音量調整手段に対して調整量を指示する処理の手順を表すフローチャートである。
図10に示す処理フローは、算定された暗騒音レベルと基準拡声レベル差及びボリューム現在値から調整目標を算定し、音量調整手段F8bに対して適当な調整時定数に従って調整量d2を指示するものである。この処理は、音声補正レベル算定手段F4の場合と略同様にして行われる。即ち、暗騒音レベル算定手段F6から騒音レベル評価量Ptを受けたなら(st41)、調整目標値ATT0を計算する(st43)。次いで、タイマー起動値t=0としてタイマーをリセットする(st45)。タイマー値tが調整速度時定数Tcより小さい場合には(st47)、d2=ATTn−ATTo(dt/Tc)の式から補正量d2を得る(st49)。この補正量d2を指示(音量調整手段F8bへ送出)する(st51)。次いで、t=t+dtの加算処理を行い(st53)、t>Tcとなるまで以上の処理を繰り返す。
【0046】
以上により処理シーケンスAにおける補正量d1と、処理シーケンスBにおける補正量d2とが得られたことになる。
【0047】
図11は音量調整手段の接続構成図である。この図では、図2に示した音量調整手段F8aと、音量調整手段F8bとを部分的に示している。また同図では、音量調整手段F8aによる機能を音量調整機能1、音量調整手段F8bによる機能を音量調整機能2として表している。即ち、音量調整機能1によって音声に対する調整量が決められ、音量調整機能2によって暗騒音に対する調整量が決められることになる。
音量調整手段F8a、F8bは、音声補正レベル算定手段F4又は拡声目標レベル算定手段F7からの調整指示を実現できる手段であればよい。これらは例えば図11に示したように音量調整手段F8a、音量調整手段F8bの順に直列接続されている。しかし、それらの処理はいずれも線形独立な処理であるため、順序は問題ではない。なお、その処理方式としては、アナログ型、デジタル型など各種の方法が考えられる。
【0048】
従って、音声レベル調整システム21において、音声信号入力識別手段F1は、処理シーケンスA(F2、F3及びF4)と、処理シーケンスB(F5、F6及びF7)とをスイッチングする処理機能を有することになる。これら音声信号入力識別手段F1、処理シーケンスA、Bは、コンピュータ上のデジタル信号処理として同一筐体内で実現しても良いし、空間的に全く異なる位置にバラバラに置かれ、それらを適当な通信手段(後述の通信手段51、LAN53等)で連結することにより実現しても良い。更には、処理の必要なパフォーマンスが満足されれば処理シーケンスA、Bの各処理を同一のPCボード上で実現することも、バラバラに実現することも、それ自体は制約とならない。
【0049】
個別ないしは部分空間に対する自動音量調整機能は、多くのメリットがある。しかし、実際には調整用パラメータを与える必要がある。この音声レベル調整システム21における設定方法では、各種用意すべきことが好ましい。また音量の好みに関しては、個人差が存在するため、BGMの基準拡声レベルや騒音に対する拡声レベル差などの調整用パラメータは各種方法によって設定可能としておくことが好ましい。
【0050】
このような構成を有する音声レベル調整システム21によれば、拡声音聴取に次のような(A)〜(C)の作用を奏する。
(A)話者音声レベルが評価されるので、切り出された音声区間信号が最適に処理され(減衰又は増幅され)、電力増幅器に対する所定の信号が生成可能となる。
(B)マイクロホンMIC2の位置での暗騒音が評価されるので、拡声されるべき音量目標が決定される。
(C)上記(A)の作用を受けた信号を、音量調整手段F8a、F8bの音量調整機能により、上記(B)の目標信号になるようにできる。
(D)最終的には暗騒音に応じた適切な拡声音が得られる。
従って、話者の声が大きすぎる場合或いは小さすぎる場合の音量調整と、当該音量調整によって拡声された拡声音と暗騒音との相対的な音量調整とを同時に最適に実現でき、その結果、最終的な再生音が最適に音量調整可能となり、再生音の明瞭度を向上させることができる。
また、暗騒音を特定の帯域をある帯域(約300Hz以下)の成分だけとしないので、ある帯域(例えば約300Hz以下)以外の帯域(例えば約300Hz以上)の音声そのものの騒音も検出でき、再生音がこの帯域(例えば約300Hz以上)の音声によってマスクされてしまうこともなく、これによっても明瞭度の高い再生音を得ることができる。
【0051】
次に、上記した基本構成を有する音声レベル調整システム21の変形例を説明する。
(変形例1)
図12は変形例1の説明図である。
この変形例1では、放送室15から行うアナウンスを、騒音レベルが異なる空間に対して複数台のスピーカ9を用いて拡声する場合を示している。本例では放送室15において、アナウンス音声の自動音量補正(前述のF1、F2、F3、F4、F8aによる処理)を行う。一方、各スピーカ9に併設してマイクロホンMIC2があり、拡声エリアの騒音レベルの測定、評価、拡声レベル目標設定並びに拡声レベル補正(前述のF5、F6、F7、F8bによる処理)を、放送室15とは離れた場所(例えばデパートの特定の売り場等)15aで行う。
【0052】
音声信号入力識別手段F1からの暗騒音測定開始制御命令及び音量補正後の音声信号は、通信手段51を介して音声パケットとしてLAN53に流される。本例ではすべてのIPAで音声パケットを受け取る、所謂ブロードキャスト方式の通信を行う。同時に「暗騒音区間の開始」「暗騒音区間の終了」の判定結果も同じLAN53に流される。つまり、処理シーケンスAと処理シーケンスBとをLAN53によって通信送受可能に接続した構成となっている。
本変形例では複数のスピーカ9を設置した場合において、各スピーカ9の配置ごとにその付近の暗騒音が測定・評価されるため、音声聴取環境が異なる場合(例えば、図12に示すように、静かな場所・ザワザワした場所・うるさい場所が混在する場所)においてもそれぞれの場所ごとに目的の音量補正を行うことが可能となる。また、複数個のスピーカ9を第二のマイクロホンとして用いる場合、常に1個のスピーカをマイクロホンMIC2として用い順次切り替えて暗騒音を測定するが、音声信号は1つのスピーカ9から音声が出ていないだけなので全体の拡声音が途切れることはない。
【0053】
(変形例2:話者音声補正)
変形例1において、話者音声補正を行う機能群の変形例2(音声音量補正)を図13に示す。マイクロホンMIC1のアンプ出力はエフェクトアウトから取り出し、前述の音声信号入力識別手段F1に送る。音声区間判定が決定されると処理シーケンスA(音声測定手段F2、音声レベル算定手段F3、音声補正レベル算定手段F4)が働き、調整量d1が指示される。この指示はMIDI55からコントロールチェンジ命令形でデジタルミキサー56内のマイクフェーダを制御する。音量調整を施された音声信号は、バスアウトから通信手段51a、51bに送られ、音声バケットなど通信可能なデータに変換されてLAN53に送出される。通信手段51a、51bは、上記した音声信号入力識別手段F1の動作により、音声信号の場合には一方の通信手段51a、暗騒音区間開始信号の場合には他方の通信手段51bが交互に動作することになる。
【0054】
(変形例3:拡声目標決定と音量調整)
この変形例3は、図14に示すように、通常のスピーカ9とマイクロホンMIC2、及び自動音量調整機能を一体で構成した例である。図12ではスピーカ9近傍の枠部分をIPAとして表示している。この方式の場合、通信手段51からの音声と、処理シーケンスBからの指示とが一緒に音量調整手段F8bへと入り、各拡声エリアごとに拡声音量の調整が可能となる。即ち、各拡声エリアごとのスピーカ9の近傍に設けたマイクロホンMIC2から騒音が検出され、通信手段51を介して入力された調整済みの音声信号が、更に各拡声エリアごとに分散配置した音量調整手段F8bによって、暗騒音に応じた調整量で調整される。
【0055】
(変形例4:拡声目標決定と音量調整)
この変形例5は、図15に示すように、複数のスピーカ9、マイクロホンMIC2での処理が行えるように、図14とは異なり、暗騒音レベル算定手段F6による結果をマイクロホンMIC2ごとに分離してLAN53へ送出している。即ち、通常のマイクロホンMIC2を用いて暗騒音測定手段F5及び暗騒音レベル算定手段F6にて、騒音測定、評価までを行い、その結果を通信手段51dを介してLAN53に送り処理した上で、音量調整機能(拡声目標レベル算定手段F7、音量調整手段F8b)を持つスピーカ9に通信手段51cを介して結果を反映させる例である。
本例でマイクロホンMIC2による暗騒音レベル算定結果を任意のIPAに送るようにすれば、暗騒音測定に関わるコストを低減できる。更に複教のマイクロホンMIC2による騒音測定結果により、拡声エリアの騒音変動を面的に把握し、別設置の制御PCなどでそれらの平均値など計算した上でIPAにデータ通信することにより、安定した拡声が可能となる。
【0056】
(変形例5:拡声目標決定と音量調整)
この変形例5では、図16に示すように、通常のスピーカ9をマイクロホンMIC2として利用する。音声区間外であるときには、リレー58をオープンにしてパワーアンプ27とスピーカ9とを切り離す。同時に暗騒音によってゆすられたスピーカ9のボイスコイルに生じる起電力を増幅し、騒音測定と評価して、更に拡声目標レベルを決定する。その結果により音量調整を行い、音声区間のときにはリレー58をクローズしてスピーカ9をドライブする。なお、この際のリレー58は、接点切り替え制御信号を、音声信号入力識別手段F1から通信手段51を介して送ることにより、制御することができる。
【0057】
(変形例6:拡声目標決定と音量調整)
この変形例5では、図17に示すように、変形例5において用いた通常のスピーカ9の代わりに、ボイスコイル57a、57bを二つ持ったスピーカ9aを用いる。この場合、上記のリレー58が不要になる。ボイスコイル57a、57bの一つは、常に騒音測定用として用いることができるためである。この場合は変形例4などと組み合わせて、「音声区間識別結果」をLAN53から受け取る。ボイスコイル57a、57bは、交互に作動することとなる。
【0058】
この変形例6に用いるスピーカ9は、ダブルボイスコイル構造となるが、この場合のコイル巻回構造としては、2つのコイルの電磁結合を少なくしてマイクロホンMIC2として使用できる周波数帯域を広く確保でき、また、スピーカ動作とマイクロホン動作の双方に最適なコイル設計となることが好ましい。例えば、図18(a)に示すように、一方のボイスコイル57aの上に、他方のボイスコイル57bを重ね巻きする構造、図18(b)に示すように、一方のボイスコイル57aと、他方のボイスコイル57bとを同軸上で横並びに巻回する構造、図18(c)に示すように、一つの磁気回路デダブルギャップ(所謂、D.D.Drive等)構成とし、2つのボイスコイル57a、57bを離間して巻回した構造、図示は省略するが、1つの振動板に独立した磁気回路とコイルが設置され、電気・磁気回路的に略独立している構造等が好適となる。なお、図18中、61は駆動マグネット、63はコーンサポートを示す。
また、上記の変形例5、変形例6は、各スピーカ9に対して信号電線の接続がなされるので、スピーカ9の動作チェックをリモート監視する機能としても利用することが可能となる。
【0059】
【発明の効果】
以上詳細に説明したように、本発明に係る音声レベル調整システムによれば、話者マイクロホン及び第二のマイクロホンから得られる話者音声と拡声音場とのいずれか一方を逐次選択的に入力し、話者音声入力時には話者音声レベルの調整を行う一方、話者音声非入力時には調整のなされた話者音声レベルを更に暗騒音レベルに応じた音量へ調整する自動音量調整手段を備えたので、話者音声レベルが評価され、第二のマイクロホンの位置での暗騒音が評価され、拡声されるべき音量目標が決定可能となり、暗騒音に応じた適切な拡声音が得られる。この結果、ハウリングなどの問題を避けながら最適な音量調整を可能とし、再生音の明瞭度を向上させることができる。
【図面の簡単な説明】
【図1】本発明に係る音声レベル調整システムの概略を表す構成図である。
【図2】図1に示した自動音量調整手段の構成を表すブロック図である。
【図3】リスナー位置における暗騒音と拡声音のレベルを表すグラフである。
【図4】図2に示した音声信号入力識別手段の機能説明図である。
【図5】図2に示した音声測定手段の機能説明図である。
【図6】音声レベル算定の手順を表すフローチャートである。
【図7】音声レベル補正処理の手順を表すフローチャートである。
【図8】図2に示した暗騒音測定手段の機能説明図である。
【図9】暗騒音レベル算定の手順を表すフローチャートである。
【図10】音量調整手段に対して調整量を指示する処理の手順を表すフローチャートである。
【図11】音量調整手段の接続構成図である。
【図12】本発明に係る実施の形態の変形例1を表す構成図である。
【図13】本発明に係る実施の形態の変形例2を表す構成図である。
【図14】本発明に係る実施の形態の変形例3を表す構成図である。
【図15】本発明に係る実施の形態の変形例4を表す構成図である。
【図16】本発明に係る実施の形態の変形例5を表す構成図である。
【図17】本発明に係る実施の形態の変形例6を表す構成図である。
【図18】ダブルボイスコイル構造のコイル巻回例を表す構成図である。
【図19】従来の一般的な放送拡声例を行うシステム構成図である。
【図20】ホールなどで行われている従来の一般的な音量調整システムの構成図である。
【図21】聴取場所における騒音と拡声音の音量をモデル的に表したグラフである。
【図22】騒音の周波数分布特性を表すグラフである。
【図23】放送音声周波数分布特性を表すグラフである。
【図24】図22及び図23を重ね合わせて作ったグラフである。
【図25】従来の放送システムにおけるマイク音の成分を分析した説明図である。
【符号の説明】
9…スピーカ、21…音声レベル調整システム、25…自動音量調整手段、58…リレー、57a、57b…ボイスコイル、F1…音声信号入力識別手段、F2…音声測定手段、F3…音声レベル算定手段、F4…音声補正レベル算定手段、F8a…第一の音量調整手段、F5…暗騒音測定手段、F6…暗騒音レベル算定手段、F7…拡声目標レベル算定手段、F8b…第二の音量調整手段、MIC1…話者マイクロホン、MIC2…第二のマイクロホン

Claims (6)

  1. 話者マイクロホンと、
    拡声音場に設けた少なくとも一つの第二のマイクロホンと、
    話者が音声を発している音声区間に前記話者マイクロホンに入力される話者の音声レベルが基準音声レベルに近づくように話者音声レベルの音量を調整する第一の音量調整手段と、話者が音声を発していない暗騒音分析区間に前記第2のマイクロホンから得られる拡声音場の暗騒音レベルに基づいて、前記第1の音量調整手段で音量調整がなされた話者音声レベルを更に当該暗騒音レベルに応じた音量へ調整する第二の音量調整手段とを有する自動音量調整手段と、
    前記自動音量調整手段で音量の調整がなされた話者音声レベルの音量出力信号を受けるスピーカと
    を具備したことを特徴とする音声レベル調整システム。
  2. 請求項1記載の音声レベル調整システムにおいて、
    前記自動音量調整手段は、
    前記話者マイクロホンからの音声を入力する音声測定手段、該音声測定手段からの信号を受ける音声レベル算定手段、該音声レベル算定手段からの信号を受ける音声補正レベル算定手段からなり、前記第一の音量調整手段へ調整量を指示する処理シーケンスAと、
    前記第二のマイクロホンからの暗騒音を入力する暗騒音測定手段、該暗騒音測定手段からの信号を受ける暗騒音レベル算定手段、該暗騒音レベル算定手段からの信号を受ける拡声目標レベル算定手段からなり、前記第二の音量調整手段へ調整量を指示する処理シーケンスBと、
    前記話者マイクロホンからの音声入力の有無に応じて前記処理シーケンスAと該処理シーケンスBとを切り替え動作させる音声信号入力識別手段と
    を備えることを特徴とする音声レベル調整システム。
  3. 請求項2記載の音声レベル調整システムにおいて、
    前記音声測定手段は、前記音声区間に前記話者マイクロホンから入力される話者の音声信号を、複数のメモリーアドレスをもつメモリーにタイムコードと対応付けて順次記憶することにより、話者の音声データをサンプリングし、
    前記音声レベル算出手段は、前記音声測定手段でサンプリングされた音声データを用いて、前記話者の音声レベルと相関のある音声レベル評価量を算出する
    ことを特徴とする音声レベル調整システム。
  4. 請求項1、2又は3記載の音声レベル調整システムにおいて、
    騒音レベルの異なる空間に対して複数台の前記スピーカを配設し、それぞれの該スピーカに応じて前記第二のマイクロホンを配設したことを特徴とする音声レベル調整システム。
  5. 請求項1、2又は3記載の音声レベル調整システムにおいて、
    前記第二の音量調整手段と前記スピーカとの間にリレーを介装し、
    前記第二のマイクロホンを用いずに、
    前記暗騒音測定手段を、前記リレーを用いて前記第二の音量調整手段と選択的に前記スピーカへ接続可能としたことを特徴とする音声レベル調整システム。
  6. 請求項1、2又は3記載の音声レベル調整システムにおいて、
    前記スピーカが、二つのボイスコイルを備え、
    前記第二の音量調整手段を、一方のボイスコイルに接続し、
    前記第二のマイクロホンを用いずに、
    前記暗騒音測定手段を、他方のボイスコイルに接続したことを特徴とする音声レベル調整システム。
JP2002253747A 2002-08-30 2002-08-30 音声レベル調整システム Expired - Fee Related JP4153265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002253747A JP4153265B2 (ja) 2002-08-30 2002-08-30 音声レベル調整システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002253747A JP4153265B2 (ja) 2002-08-30 2002-08-30 音声レベル調整システム

Publications (2)

Publication Number Publication Date
JP2004096342A JP2004096342A (ja) 2004-03-25
JP4153265B2 true JP4153265B2 (ja) 2008-09-24

Family

ID=32059665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002253747A Expired - Fee Related JP4153265B2 (ja) 2002-08-30 2002-08-30 音声レベル調整システム

Country Status (1)

Country Link
JP (1) JP4153265B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5082541B2 (ja) * 2007-03-29 2012-11-28 ヤマハ株式会社 拡声装置
JP2009005059A (ja) * 2007-06-21 2009-01-08 Hitachi Communication Technologies Ltd 放送端末及び音量制御方法
JP2011013995A (ja) * 2009-07-03 2011-01-20 Nec Corp 同報無線システム、拡声音量制御方法、拡声音量制御プログラムおよびプログラム記録媒体
JP5477854B2 (ja) * 2010-01-22 2014-04-23 株式会社タムラ製作所 ゲイン自動設定装置およびゲイン自動設定方法
JP2013106197A (ja) * 2011-11-14 2013-05-30 Toshiba Corp 音質制御装置、音質制御方法及び音質制御用プログラム
CN107750038B (zh) * 2017-11-09 2020-11-10 广州视源电子科技股份有限公司 音量调节方法、装置、设备及存储介质
WO2020226472A1 (ko) 2019-05-09 2020-11-12 주식회사 엘지화학 전고체 전지용 전해질막 및 이를 포함하는 전고체 전지
CN113709625B (zh) * 2021-06-04 2023-12-29 北京工业大学 自适应的音量调节方法

Also Published As

Publication number Publication date
JP2004096342A (ja) 2004-03-25

Similar Documents

Publication Publication Date Title
EP2494792B1 (en) Speech enhancement method and system
US6912289B2 (en) Hearing aid and processes for adaptively processing signals therein
JP4311402B2 (ja) 拡声システム
US8315400B2 (en) Method and device for acoustic management control of multiple microphones
US9066167B2 (en) Method and device for personalized voice operated control
CN1988737B (zh) 用于控制助听器的传递函数的系统
CN106463107A (zh) 在耳机与源之间协作处理音频
US11457319B2 (en) Hearing device incorporating dynamic microphone attenuation during streaming
US20180167747A1 (en) Method of reducing noise in an audio processing device
EP1730992A1 (en) Hearing aid with anti feedback system
JP4153265B2 (ja) 音声レベル調整システム
US20100020989A1 (en) Method for operating a hearing device and a hearing device
EP4258689A1 (en) A hearing aid comprising an adaptive notification unit
JP4529780B2 (ja) 拡声システム
Ngo Digital signal processing algorithms for noise reduction, dynamic range compression, and feedback cancellation in hearing aids
JP2005184154A (ja) 自動利得制御装置及び自動利得制御方法
JPH08317496A (ja) ディジタル音声信号処理装置
US12114134B1 (en) Enhancement equalizer for hearing loss
DK181039B1 (en) Hearing device with microphone switching and related method
US20220093075A1 (en) Audio enhancement and noise cancelling systems and methods
JP3067409B2 (ja) ハウリング防止プロセッサ
JP2010273305A (ja) 録音装置
JP3125632B2 (ja) 信号検出装置及びその方法
JPH0630499A (ja) 音響信号処理方法及び装置
JPS6130161A (ja) 音声会議装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080703

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140711

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees