JP4052313B2 - 音声入出力装置 - Google Patents

音声入出力装置 Download PDF

Info

Publication number
JP4052313B2
JP4052313B2 JP2005090224A JP2005090224A JP4052313B2 JP 4052313 B2 JP4052313 B2 JP 4052313B2 JP 2005090224 A JP2005090224 A JP 2005090224A JP 2005090224 A JP2005090224 A JP 2005090224A JP 4052313 B2 JP4052313 B2 JP 4052313B2
Authority
JP
Japan
Prior art keywords
unit
output
signal
electric signal
unit device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005090224A
Other languages
English (en)
Other versions
JP2006279105A (ja
Inventor
隆行 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005090224A priority Critical patent/JP4052313B2/ja
Publication of JP2006279105A publication Critical patent/JP2006279105A/ja
Application granted granted Critical
Publication of JP4052313B2 publication Critical patent/JP4052313B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、複数のスピーカを面状に配してなるスピーカアレイに関し、特に、各スピーカから出力される音の遅延および信号レベルを調整する技術に関する。
複数のスピーカを面状に配してなるスピーカアレイを、コンサートホールや映画館、各種のイベント会場等の音響空間に設置し、臨場感のある音響を再現させることが広く行われている。このようなスピーカアレイを利用して臨場感のある音響を再現するには、そのスピーカアレイが配置される音響空間の音響特性や、各スピーカが備える振動板の振動特性など各スピーカの出力特性に応じて各スピーカから出力される音の信号レベルや遅延を調整する必要がある。しかしながら、例えば数百など多大な数のスピーカでスピーカアレイが構成されている場合には、各スピーカについてその出力特性を把握することや、その出力特性に応じた調整を行うことには、多大な労力が必要になってしまう。
これに対して、単一のスピーカについては、その出力特性を正確に把握しその出力特性に応じて各種調整を行うことを容易にする技術が種々提案されており、その一例としては、特許文献1に開示された技術が挙げられる。特許文献1には、スピーカの近傍にマイクロホンを配置し、そのスピーカから所定の音声を出力させるとともに、その音声をマイクロホンに受音させ、そのマイクロホンから出力される電気信号(すなわち、上記スピーカから出力された音声に対応する電気信号)を解析することによって、上記スピーカの出力特性を把握する技術が開示されている。
特開平06−233393号公報
上述したように単一のスピーカについては、特許文献1に開示された技術を用いることによって、その出力特性を把握することや、その出力特性に応じて各種調整を行うことが容易になる。しかしながら、複数のスピーカを含んでいるスピーカアレイについて特許文献1に開示された技術をそのまま適用することはできない。何故ならば、スピーカアレイでは複数のスピーカが近接して配置されているため、各スピーカから出力される音声を個別に受音させることは不可能だからである。また、特許文献1に開示された技術では、スピーカから放音された音声をそのスピーカの近傍に配置されたマイクロホンによって受音しているのであるから、マイクロホンにより集音される音声には、そのスピーカが置かれている音響空間の音響特性が必ずしも反映している訳ではない。つまり、特許文献1に開示された技術を用いたとしても、上記音響特性を加味した調整を行うことはできないといった問題点もある。
本発明は、上記課題に鑑みて為されたものであり、面状に配置された複数のスピーカを有するスピーカアレイについて、各スピーカから出力される音声の遅延や信号レベルを各スピーカの出力特性に応じて調整することを容易にするとともに、そのスピーカアレイが置かれる音響空間の音響特性を加味した調整を行うことを可能にする技術を提供することを目的としている。
上記課題を解決するために、本発明は、振動板を備え、音像を定位させる位置に置かれている外部音源から放音された音による前記振動板の振動を第1の電気信号に変換して出力するマイクロホン機能および第2の電気信号に応じて前記振動板を振動させて該第2の電気信号に応じた音を出力するスピーカ機能を併有する単位デバイスを複数配置してなる音声入出力デバイスアレイと、前記各単位デバイスから出力される第1の電気信号を解析し、該第1の電気信号の遅延および信号レベルを前記単位デバイス毎に特定する特定手段と、前記特定手段が特定した遅延および信号レベルを、当該遅延および信号レベルが特定された前記第1の電気信号の出力元である前記単位デバイス毎に設定し、入力された電気信号の遅延および信号レベルを前記各単位デバイスに設定された遅延および信号レベルに応じて前記単位デバイス毎に調整して前記第2の電気信号として前記各単位デバイスへ出力する信号処理手段とを具備することを特徴とする音声入出力装置を提供する。
別の好ましい態様においては、記憶手段と、前記特定手段により前記単位デバイス毎に特定された遅延または信号レベルを表すパラメータをその単位デバイス毎に前記記憶手段へ書き込む書き込み手段と、を備え、前記信号処理手段は、外部から入力される電気信号の遅延および信号レベルを、前記単位デバイス毎に前記記憶手段に記憶されているパラメータに応じて調整し前記各単位デバイスへ出力することを特徴としている。このような態様においては、上記特定手段によって特定された遅延および信号レベルを表すパラメータが上記単位デバイス毎に上記記憶手段へ書き込まれる一方、上記各単位デバイスへ供給される電気信号の遅延および信号レベルがその単位デバイスに対応付けて記憶手段に記憶されているパラメータにしたがって調整される。
また、別の好ましい態様においては、前記単位デバイスから出力される電気信号を増幅して前記特定手段へ入力するとともに、前記信号処理手段から出力される電気信号を増幅して前記単位デバイスへ入力するアンプが前記単位デバイス毎に設けられていることを特徴としている。
本発明によれば、面状に配置された複数のスピーカを有するスピーカアレイについて、各スピーカから出力される音声の遅延や信号レベルを各スピーカの出力特性に応じて調整することが容易になるとともに、そのスピーカアレイが置かれる音響空間の音響特性を加味した調整を行うことが可能になる、といった効果を奏する。
以下、本発明を実施する際の最良の形態について図面を参照しつつ説明する。
(A:構成)
図1は、本発明の1実施形態に係る音声入出力装置10の構成例を表すブロック図である。この音声入出力装置10は、例えば、コンサートホールなどの音響空間に置かれるスピーカアレイとして機能する音声入出力デバイスアレイ110を含んでおり、この音声入出力デバイスアレイ110は、例えば、図2に示すように、m×n個の単位デバイスDU(i、j)(i=1〜m,j=1〜n)を面状に並べて構成されている。なお、以下では、これら複数の単位デバイスDU(i,j)の各々を区別する必要がない場合には、「単位デバイスDU」と表記する。この単位デバイスDUは、詳細な図示は省略したが、振動板を備えており、入力された電気信号に応じてその振動板を振動させ、その電気信号に対応する音声を出力するスピーカ機能と、外部音源から放音された音声に応じて上記振動板が振動した場合に、その振動を電気信号に変換して出力するマイクロホン機能とを併有している。また、本実施形態では、m×n個の単位デバイスDUがマトリクス状に配置されて矩形状のスピーカ面を形成している場合について説明するが、例えば円筒の周面状のスピーカ面を形成するように各単位デバイスDUが配置されている場合など、その配置は図2に示す配置に限定されるものではないことは言うまでもない。また、本実施形態では、音声入出力デバイスアレイ110がコンサートホールなどに置かれるスピーカアレイである場合について説明するが、一般家屋のリビングなどに置かれホームシアターシステムを形成するスピーカアレイであっても良いことは勿論である。
図1においては詳細な図示は省略したが、音声入出力装置10では、単位ユニットDUの各々に一対一に対応するように、第1スイッチ120、第2スイッチ130、アンプ140およびAD変換器150が設けられている。また、図1に示すように、この音声入出力装置10は、音声入出力デバイスアレイ110、第1スイッチ120、第2スイッチ130、アンプ140およびAD変換器150の他に、記憶部160、制御部170および信号処理部180を有している。
第1スイッチ120と第2スイッチ130とは、単位デバイスDUをスピーカとして機能させる場合(すなわち、上記スピーカ機能を有効化させる場合)と、マイクロホンとして機能させる場合(すなわち、上記マイクロホン機能を有効化させる場合)とで、上記各構成要素の接続を切替えるためのものである。具体的には、単位デバイスDUのスピーカ機能を有効化させる場合には、図1の破線で示すように接続を切替え、逆に、その単位デバイスDUのマイクロホン機能を有効化させる場合には、図1の実線で示すように接続を切替える。なお、図1では詳細な図示は省略したが、m×n個の第1スイッチ120および第2スイッチ130は、上記m×n個の単位デバイスDUについて、一括してマイクロホン機能とスピーカ機能との何れか一方を有効化させるようにできるように、上記接続切り替えを連動させて行うことができるように構成されている。また、以下では、各単位デバイスDUのスピーカ機能を有効化させる場合の動作モードを「音声出力モード」と称し、マイクロホン機能を有効化させる場合の動作モードを「特性特定モード」と称する。
アンプ140は、動作モードが音声出力モードに設定されている場合には、第2スイッチ130を介して信号処理部180から引渡された電気信号を増幅し、第1スイッチ120を介して対応する単位デバイスDUへ引渡す一方、動作モードが特性特定モードに設定されている場合には、第1スイッチ120および第2スイッチ130を介して対応する単位デバイスDUから引渡された電気信号を増幅し、対応するAD変換器150へ引渡すものである。なお、本実施形態では、信号処理部180から各単位デバイスDUへ引渡される電気信号と各単位デバイスDUからAD変換器150へ引渡される電気信号とを、アンプ140により増幅する場合について説明したが、各電気信号が十分な信号強度を有している場合には、このような増幅が必ずしも必須ではないことは言うまでもない。
AD変換器150は、アンプ140から引渡された電気信号にアナログデジタル変換を施し、その変換結果に対応するデジタルデータを制御部170へ引渡すものである。記憶部160は、例えばEEPROM(Electronically Erasable and Programmable Read Only Memory)やハードディスクなどで構成されている。この記憶部160は、本音声入出力装置10によって所定の音像を所定の位置に定位させる際に、各単位デバイスDUへ供給するべき電気信号の遅延および信号レベルを表すパラメータを単位デバイスDU毎に格納しておくためのものである。
制御部170は、例えば、CPU(Central Processing Unit)であり、図示せぬROM(Read Only Memory)などに書き込まれているソフトウェアにしたがって本発明に係る音声入出力装置10に特有な機能を実現するためのものである。
より詳細に説明すると、制御部170は、動作モードが特性特定モードに設定されている場合には、AD変換器150から引渡されたデジタルデータを解析して、そのデジタルデータに対応する電気信号の遅延および信号レベルを特定するとともに、その特定結果を表すパラメータ(すなわち、上記遅延や信号レベルを表すパラメータ)をその電気信号の出力元である単位デバイスDU毎に、記憶部160へ書き込む処理を行う。つまり、制御部170は、特性特定モードで作動している場合には、各単位デバイスDUへ供給する電気信号の遅延や信号レベルを特定する特定手段として機能する。逆に、動作モードが音声出力モードに設定されている場合には、制御部170は、単位デバイスDU毎に記憶部160に書き込まれているパラメータを読み出し、そのパラメータを信号処理部180へ設定するパラメータ設定処理を行う。
図1の信号処理部180は、例えばDSP(Digital Signal Processor)であり、外部から入力されるオーディオ信号(すなわち、上記音響空間内に音声入出力装置10により再現させる音響を表す電気信号)に各単位デバイスDU毎に固有な信号処理(すなわち、上記各パラメータに応じた遅延や信号レベルの調整)を施して各単位デバイスDUに対応するアンプ140へ出力するものである。
(B:動作)
次いで、本実施形態に係る音声入出力装置10が行う動作のうち、その特徴を顕著に示す動作について図面を参照しつつ説明する。
(B−1:特性特定モードの動作例)
まず、動作モードが特性特定モードに設定されている場合に、音声入出力装置10が行う動作について説明する。なお、以下に説明する動作例では、所定の音響空間内において音声入出力装置10により音像が定位される位置に音源が置かれ、所定の音声(例えば、ピンクノイズやホワイトノイズなど)が出力されるものとする。具体的には、図3に示すような音響空間300において、音声入出力デバイスアレイ110のスピーカ面から距離Lだけ離れた位置に音源310が置かれ、この音源310から所定の音声が出力されるものとする。
図4は、動作モードが特性特定モードに設定されている場合に、音声入出力装置10が行う動作の流れを示すフローチャートである。図4に示すように、音源310から出力された音声を受音した各単位デバイスDUは、その音声に対応する電気信号を出力する(ステップSA1)。このようにして各単位デバイスDUから出力された電気信号は、アンプ140によって増幅された後、さらに、AD変換器150によってデジタルデータに変換され、そのデジタルデータが制御部170へ入力される(ステップSA2)。
制御部170は、上記各デジタルデータを解析し、そのデジタルデータに対応する電気信号の遅延および信号レベルを特定する(ステップSA3)。そして、制御部170は、ステップSA3にて特定した遅延および信号レベルを表すパラメータを各単位デバイスDU毎に記憶部160へ書き込み(ステップSA4)、特性特定モードにおける動作を完了する。
ここで注目すべき点は、各単位デバイスDU毎に記憶部160へ書き込まれるパラメータは、その単位デバイスDUの振動板が、音源310から出力され音響空間300を伝播してきた音声に応じて振動した際にその単位デバイスDUから出力された電気信号の遅延および信号レベルを表しているとともに、その音源310は、音声入出力装置10によって音像を定位させる位置に置かれている点である。つまり、音声入出力装置10を音声出力モードで作動させ、上記音源310の位置に音像を定位させる場合には、各単位デバイスDUへ供給する電気信号の遅延および信号レベルを上記パラメータに応じて調整するようにすれば良い。そして、各単位デバイスDUが受音する音声は、音源310から放音され音響空間300を伝播してきた音声(すなわち、音響空間300の音響特性を反映した音声)であるから、上記のようにして特定されるパラメータに音響空間300の音響特性が加味されていることは言うまでもない。
このように本実施形態に係る音声入出力装置10によれば、ある音響空間内において所望の音像を所望の位置に定位させる際に、各単位デバイスDUについて設定するべきパラメータを容易に特定し記憶させることが可能になるといった効果を奏する。
(B−2:音声出力モードの動作例)
次いで、動作モードが音声出力モードに設定されている場合に、音声入出力装置10が行う動作について説明する。なお、以下に説明する動作例では、図3に示す音響空間300において、上記音源310が置かれていた位置に音像を定位させるためのパラメータ(すなわち、上記特性特定モードの動作にて特定されたパラメータ)が各単位デバイス毎に記憶部160に記憶されているものとする。
図5は、動作モードが音声出力モードに設定されている場合に、音声入出力装置10が行う動作の流れを示すフローチャートである。図5に示すように、制御部170は、まず、各単位デバイスDU毎に記憶部160に記憶されているパラメータをその記憶部160から読出し、信号処理部180へ設定する(ステップSB1)。このようにしてパラメータの設定が為されると、信号処理部180は、入力されたオーディオ信号に各パラメータに応じた信号処理を施して出力する(ステップSB2)。信号処理部180から出力された電気信号は、各アンプ140によって増幅された後に各単位デバイスDUへ入力され、その電気信号に応じた音声が各単位デバイスDUから出力される(ステップSB3)。その結果、図3に示す音響空間300において、音声入出力デバイスアレイ110から距離Lだけ離れた所定の位置に音像が定位されることになる。
以上に説明したように、本実施形態に係る音声入出力装置10によれば、各単位デバイスDUから出力される音声の遅延および信号レベルを各単位デバイスの出力特性に応じて調整することが容易になるとともに、その音声入出力装置10が置かれる音響空間の音響特性を加味して上記調整を行うことが可能になる、といった効果を奏する。
(C:変形)
以上、本発明の1実施形態について説明したが、上記実施形態に以下のような変形を加えても良いことは勿論である。
(1)上述した実施形態では、音声入出力デバイスアレイ110のスピーカ面から距離Lだけ離れた位置に音像を定位させる場合に、各単位デバイスについて設定するべきパラメータを特定する場合について説明した。しかしながら、例えば、音響空間300内の複数の位置について上記パラメータの特定を行い、各単位デバイスDUの各々について、上記パラメータを各位置毎に記憶部160へ格納しておくとしても勿論良い。このようにすると、オーディオ信号とともに、音像を定位させるべき位置を表すデータ(以下、位置データ)とを音声入出力装置10へ入力し、制御部170に、その位置データに対応するパラメータを記憶部160から読み出させて信号処理部180へ設定させるようにすることによって、音響空間300内を移動する音像を再現することが容易になるといった効果を奏する。
(2)上述した実施形態では、各単位デバイスDU毎に制御部170により特定されたパラメータを記憶部160へ書き込む場合について説明したが、例えば、LAN(Local Area Network)などの通信網経由でこれらパラメータを所定の宛先(例えば、音響技術者が音響効果の制御を行うために利用するコンピュータ装置)へ送信するとしても勿論良い。
(3)上述した実施形態では、音響空間内の所望の位置に音像を定位させる場合のパラメータを特定し記憶するとともに、各単位デバイスへ供給する電気信号の遅延および信号レベルをそのパラメータにしたがって調整する場合について説明した。しかしながら、上記音響空間内の特定の受音点でのみ、上記音像を知覚できるようにするために、各単位デバイスDUから出力される音声で音響ビームが形成されるように、各単位デバイスへ供給する電気信号の遅延および信号レベルを調整するようにしても勿論良い。具体的には、上記音像を定位させるための調整に加えて、上記音響ビームが形成されるようにするための調整を信号処理部180にて行った後に、各単位デバイスDUへ電気信号を供給するようにしても勿論良い。
(4)上述した実施形態では、音声入出力装置10の各構成要素であるハードウェアモジュールを図4や図5に示すフローチャートにしたがって連携作動させることによって、本発明に係る音声入出力装置に特有な機能を実現させる場合について説明した。しかしながら、上記各構成要素をソフトウェアモジュールで実現するようにしても良いことは勿論である。
本発明に係る音声入出力装置10の構成を表すブロック図である。 同音声入出力デバイスアレイ110と単位デバイスDUとの関係を示す図である。 同音声入出力装置10の使用例を説明するための図である。 同音声入出力装置10が特性特定モードにて行う動作の流れを示すフローチャートである。 同音声入出力装置10が音声出力モードにて行う動作の流れを示すフローチャートである。
符号の説明
10…音声入出力装置、110…音声入出力デバイスアレイ、DU…単位デバイス、120…第1スイッチ、130…第2スイッチ、140…アンプ、150…AD変換器、160…記憶部、170…制御部、180…信号処理部。

Claims (3)

  1. 振動板を備え、音像を定位させる位置に置かれている外部音源から放音された音による前記振動板の振動を第1の電気信号に変換して出力するマイクロホン機能および第2の電気信号に応じて前記振動板を振動させて該第2の電気信号に応じた音を出力するスピーカ機能を併有する単位デバイスを複数配置してなる音声入出力デバイスアレイと、
    前記各単位デバイスから出力される第1の電気信号を解析し、該第1の電気信号の遅延および信号レベルを前記単位デバイス毎に特定する特定手段と、
    前記特定手段が特定した遅延および信号レベルを、当該遅延および信号レベルが特定された前記第1の電気信号の出力元である前記単位デバイス毎に設定し、入力された電気信号の遅延および信号レベルを前記各単位デバイスに設定された遅延および信号レベルに応じて前記単位デバイス毎に調整して前記第2の電気信号として前記各単位デバイスへ出力する信号処理手段と
    を具備することを特徴とする音声入出力装置。
  2. 記憶手段と、
    前記特定手段により前記単位デバイス毎に特定された遅延または信号レベルを表すパラメータをその単位デバイス毎に前記記憶手段へ書き込む書き込み手段と、
    を備え、
    前記信号処理手段は、
    外部から入力される電気信号の遅延および信号レベルを、前記単位デバイス毎に前記記憶手段に記憶されているパラメータに応じて調整し前記各単位デバイスへ出力する
    ことを特徴とする請求項1に記載の音声入出力装置。
  3. 前記単位デバイスから出力される電気信号を増幅して前記特定手段へ入力するとともに、前記信号処理手段から出力される電気信号を増幅して前記単位デバイスへ入力するアンプが前記単位デバイス毎に設けられている
    ことを特徴とする請求項1または2に記載の音声入出力装置。
JP2005090224A 2005-03-25 2005-03-25 音声入出力装置 Expired - Fee Related JP4052313B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005090224A JP4052313B2 (ja) 2005-03-25 2005-03-25 音声入出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005090224A JP4052313B2 (ja) 2005-03-25 2005-03-25 音声入出力装置

Publications (2)

Publication Number Publication Date
JP2006279105A JP2006279105A (ja) 2006-10-12
JP4052313B2 true JP4052313B2 (ja) 2008-02-27

Family

ID=37213449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005090224A Expired - Fee Related JP4052313B2 (ja) 2005-03-25 2005-03-25 音声入出力装置

Country Status (1)

Country Link
JP (1) JP4052313B2 (ja)

Also Published As

Publication number Publication date
JP2006279105A (ja) 2006-10-12

Similar Documents

Publication Publication Date Title
EP0762801B1 (en) Non-directional speaker system with point sound source
US20200374610A1 (en) Method and apparatus for capturing and rendering an audio scene
JP5446275B2 (ja) 拡声システム
JP6090120B2 (ja) 信号処理システムおよび信号処理方法
EP3061266B1 (en) Headphones and method for producing headphones
JP4258472B2 (ja) 拡声システム
US20050141735A1 (en) Speaker system to control directivity of a speaker unit using a plurality of microphones and a method thereof
JP5293291B2 (ja) スピーカアレイ装置
JP2005538589A (ja) スマートスピーカ
CN102165791A (zh) 双模扬声器
US20060072765A1 (en) Acoustic system, control method therefor, program for implementing the method, and storage medium storing the program
JP4052313B2 (ja) 音声入出力装置
JP4305407B2 (ja) 音声入出力装置
JP7060905B1 (ja) 収音システム、収音方法及びプログラム
JP2004349795A (ja) 局所空間拡声方法、局所空間拡声装置、局所空間拡声プログラム及びこのプログラムを記録した記録媒体
WO2014021178A1 (ja) 音場支援装置および音場支援システム
JP4359208B2 (ja) エリア限定拡声方法、エリア限定拡声装置
JP2020038329A (ja) サウンドシステム
JP2007295634A (ja) 音出力システム
JP2015192256A (ja) スピーカ装置
JP2012142650A (ja) 音声システム及び受話者端末
JP4528280B2 (ja) 楽音装置及び楽音制御方法。
JP2006262290A (ja) マルチチャネルオーディオ再生システムおよびマルチチャネルオーディオ再生方法
JP2004023244A (ja) 音響再生装置及び音響再生システム
JP2019087839A (ja) オーディオシステムおよびその補正方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071009

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees