JP4269892B2 - オーディオデータ処理方法及び装置 - Google Patents

オーディオデータ処理方法及び装置 Download PDF

Info

Publication number
JP4269892B2
JP4269892B2 JP2003369395A JP2003369395A JP4269892B2 JP 4269892 B2 JP4269892 B2 JP 4269892B2 JP 2003369395 A JP2003369395 A JP 2003369395A JP 2003369395 A JP2003369395 A JP 2003369395A JP 4269892 B2 JP4269892 B2 JP 4269892B2
Authority
JP
Japan
Prior art keywords
audio data
gain
gain value
equalizer
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003369395A
Other languages
English (en)
Other versions
JP2005136635A (ja
Inventor
正弘 奥納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003369395A priority Critical patent/JP4269892B2/ja
Publication of JP2005136635A publication Critical patent/JP2005136635A/ja
Application granted granted Critical
Publication of JP4269892B2 publication Critical patent/JP4269892B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は、例えば各種媒体から再生されたオーディオデータを出力させるオーディオ機器に適用して好適なオーディオデータ処理方法及び装置に関する。
従来、CD(Compact Disc)やMD(Mini Disc )などの記録媒体(記憶媒体)に記録されたオーディオデータをオーディオ機器で再生する場合には、ユーザがその機器に設けられた各種調整用の操作部を操作して、好みの音質で再生させることができる。例えば、再生されるオーディオの音質に合わせて、高音域や低音域を強調させたり、逆に弱めるような調整が可能である。
また、グラフィックイコライザと称される機能が内蔵されている場合には、細かく帯域分けされた各帯域毎に強調させたり、弱めるようなことが可能である。さらに、パラメトリックイコライザと称される機能が内蔵されている場合には、調整できる帯域を自由に可変設定することが可能である。
このような従来の音質調整処理では、そのときに再生される音楽などを実際にユーザが聞きながら、調整用の摘まみなどを操作して、好みの音質となるように調整するのであるが、音を聞きながら手動で調整する作業であるので、手間がかかる問題がある。また、再生するオーディオソースには、クラシック、ロック、ジャズ、ポップスなど様々のジャンルのものが存在し、さらに同じジャンルであっても曲毎に周波数成分などの特性は多種多様である。従って、仮にソースAというオーディオソースで適正に調整を行ったとしても、ソースBという別のオーディオソースを再生する際には、そのままでは非常に不自然な音質になってしまう。
この問題点を解決する手法として、例えば特許文献1には、スピーカから出力された音をマイクロホンで拾って、その拾った音から周波数特性を測定して、音場補正を行うものが開示されている。
特開平5−184000号公報
ところが、特許文献1に記載されているように、マイクロホンを使用して再生される音を拾って、その音の周波数特性を測定する処理では、オーディオ信号を再生させる系とは全く別のオーディオ処理系が必要になり、装置構成が非常に複雑になる問題がある。
本発明はかかる点に鑑みてなされたものであり、オーディオ再生を行う場合の再生音質の調整が簡単な構成で良好に行えるようにすることを目的とする。
本発明は、入力又は再生して得たオーディオデータの周波数特性を解析し、解析された周波数特性から、オーディオデータに多く含まれる周波数帯域について、ゲインを上げるように周波数帯域毎に調整したゲイン値を得て、1回目に入力又は再生したオーディオデータについて調整を行った場合には、得られたゲイン値でオーディオデータにイコライザ処理を行うとともに、得られたゲイン値を記憶手段に記憶し、2回目以降に入力又は再生したオーディオデータについて調整を行った場合には、記憶手段に記憶されているゲイン値と前回までの調整回数とを乗算し、その乗算した積に今回得られたゲイン値を加算した値を、今回までの調整回数で除算する加算平均処理によってゲイン値を求め、その求めたゲイン値でオーディオデータにイコライザ処理を行うとともに、その求めたゲイン値で記憶手段の記憶内容を更新し、そのイコライザ処理が行われたオーディオデータを出力処理するようにしたものである。
このようにしたことで、出力用に処理を行うオーディオデータそのものから周波数特性を解析するようにしたので、実際に出力されるオーディオの出力特性に合わせた周波数特性の調整が可能になる。
また、2回目以降に入力又は再生したオーディオデータについては、記憶手段内に記憶されている前回のゲイン値と、今回の周波数特性の解析結果から得られたゲイン値との加算平均処理によって求めたゲイン値でイコライザ処理を行うので、ユーザがオーディオデータの再生を行う毎に、再生を行うオーディオデータの傾向に合致したイコライザ特性に徐々に調整されていく。
本発明によると、出力用に処理を行うオーディオデータそのものから周波数特性を解析するようにしたので、実際に出力されるオーディオの出力特性に合わせた周波数特性の調整が可能になり、自動的に最適な調整が行えると共に、出力処理用の回路内で周波数特性の解析と調整が行えることになり、再生音をマイクロホンなどで拾って解析する場合に比べて、簡単な構成で処理が行える。
また、2回目以降に入力又は再生したオーディオデータについては、記憶手段内に記憶されている前回のゲイン値と、今回の周波数特性の解析結果から得られたゲイン値との加算平均処理によって求めたゲイン値でイコライザ処理を行うので、ユーザがオーディオデータの再生を行う毎に、再生を行うオーディオデータの傾向に合致したイコライザ特性に徐々に調整されていき、自動的に良好な再生特性が得られるようになる。
この場合、さらに解析された周波数特性から、オーディオデータに含まれる成分が少ない周波数帯域について、ゲインを下げるように調整したゲイン値を得ることで、より良好に調整できるようになる。
また、イコライザ処理を行う周波数帯域は、解析された周波数特性に基づいて可変設定すると共に、ゲインを変化させる周波数幅についても解析結果に基づいて可変設定することで、より再生されるオーディオデータに合わせた良好な調整が可能になる。
以下、本発明の一実施の形態を、添付図面を参照して説明する。
図1は、本発明の一実施の形態に係るオーディオ再生装置の全体構成例を示すブロック図である。本例のオーディオ再生装置は、オーディオ信号源として、オーディオデータが記録された光ディスクであるCDを再生するCD再生部11と、オーディオデータが記録された光ディスク又は光磁気ディスクであるMDを再生するMD再生部12と、オーディオデータが記憶されたメモリカードの記憶データを読出すメモリカードリーダ13と、アナログディスク又はテープカセットを再生するアナログ再生部14とを備える。アナログ再生部14で再生されたアナログオーディオ信号については、アナログ/デジタル変換器15でデジタルデータ化する。また、メモリカードから読出したオーディオデータなどが、圧縮符号化されている場合には、デコード処理についても行う。
各再生部11,12及びカードリーダ13で再生して得たオーディオデータと、アナログ/デジタル変換器15で変換されたオーディオデータは、入力切換部16に供給して、所望の入力オーディオを選択する入力処理を行う。入力切換部16で選択されたオーディオデータは、DSP(Digital Signal Processor)部20に供給する。このDSP部20は、デジタルデータ処理でオーディオデータに処理を施す回路であり、集積回路されている。このDSP部20には、メモリ30が接続してあり、処理に基づいて得たデータを記憶させるようにしてある。DSP部20の詳細と、メモリ30を使用した処理については後述する。
DSP部20で処理が施されたオーディオデータは、デジタル/アナログ変換器17に供給してアナログオーディオ信号とし、変換されたアナログオーディオ信号を、左右2チャンネルのアンプ18L,18Rに供給して、スピーカ駆動用に増幅させ、増幅されたオーディオ信号を、左右それぞれ別のスピーカ19L,19Rに供給して出力させる。
図2は、DSP部20内の本例での処理に関係した部分を示したブロック図である。入力したオーディオデータは、フィルタ21でノイズ除去などのフィルタリングを行い、そのフィルタ出力を、FFT部22に供給する。FFT部22では、高速フーリエ変換処理で、複数の周波数帯域毎のオーディオ成分に分割し、その帯域分割されたオーディオデータを、イコライザ部23に供給する。
イコライザ部23では、制御データ生成部25からの制御に基づいて、必要に応じて、各帯域毎にゲインを上げる処理、又はゲインを下げる処理を行い、その処理が行われた各帯域のデータを合成する。この合成を行う処理として、例えばFFT部22とは逆の演算を行うIFFT部(逆高速フーリエ変換部)を設けても良い。
そして本例においては、FFT部22で帯域分割されたオーディオデータを、解析部24に供給し、その解析部24で、各帯域毎にオーディオデータがどの程度含まれているかを解析する。そして、その解析結果に基づいて、オーディオデータが多く含まれていると判断された帯域については、イコライザ部23でゲインを上げる処理を行う。また、解析結果に基づいて、オーディオデータが含まれているデータ量が少ないと判断された帯域については、イコライザ部23でゲインを下げる処理を行う。ゲインを下げる処理は行わず、上げる処理だけを行うようにしても良い。
イコライザ部23として、イコライザ処理を行う周波数帯域及びゲインを変化させる周波数幅が可変設定可能である場合には、解析された周波数特性に基づいて可変設定すると共に、ゲインを変化させる周波数幅についても解析結果に基づいて可変設定するようにすれば良い。イコライザ部23でイコライザ処理を行う周波数帯域が固定設定である場合には、例えば、オーディオデータが最も多く含まれていると判断されたピークの周波数帯に最も近い帯域のゲインを上昇させる。
イコライザ部23での調整については、各再生部などから実際に再生を行う際に、リアルタイムで調整するようにしても良いが、例えば、CD再生部11やMD再生部12に装填されたディスクに記録されたオーディオデータを再生に先立って読出すことが可能である場合には、その読出しを行って、DSP部20で解析を行って、イコライザ部23を予め該当するオーディオデータの再生に適した状態に設定しても良い。
制御データ生成部25で生成されたイコライザ部23の制御データについては、メモリ30に記憶させる。このメモリ30への記憶としては、処理途中のデータを一時的に記憶させるためだけではなく、例えば、メモリ30に記憶を残すようにして、以後の再生時にも利用できるようにする。メモリ30の記憶データを使用する処理としては、例えば、新たに再生されたオーディオデータの解析結果と、メモリ30に記憶された制御データとの加算平均で、イコライザ部23を制御する処理が行える。
図3〜図5のフローチャートに示した処理は、この加算平均を行う場合の処理例である。以下、その処理について説明すると、まず図3のフローチャートに示すように、オーディオデータの読み込み処理を行い(ステップS11)、その読み込まれたオーディオデータを高速フーリエ変換処理で周波数帯域毎にデータ量を解析して、その周波数成分毎のデータをメモリ30に格納させる(ステップS12)。周波数帯域としては、例えば、各帯域の中心周波数として、100Hz,400Hz,1kHz,4kHz,7kHz,10kHzのように設定する。その後、その格納したデータに基づいてイコライザ部での調整処理を行う(ステップS13)。
図4のフローチャートは、このステップS13での調整処理の具体例を示した図である。まず、得られた周波数成分毎のデータより、設定されている各周波数帯域毎のゲインレベルを得て、そのゲインレベルのデータを、予め用意したおいたメモリ30の所定領域に格納する(ステップS21)。そして、ある基準となる周波数(例えば1kHz)のゲインを基準(0dB)とし、その基準レベルと比較し、その比較に基づいてゲインの調整値を変更する(ステップS22)。具体的には、例えば基準レベルである1kHzで35dB、100Hzで30dBとすると、100Hzのゲインを−5dB、1kHzのゲインを0dBとする。
その後、全ての周波数(帯)にて、調整できる範囲内にゲイン値が入っているか否か判断する(ステップS23)。この判断で、調整できる範囲内に入っていない値がある場合には、ゲイン値を補正する(ステップS24)。例えば、調整できる範囲内が±10dBで、得られたゲイン値が+12dBであるとすると、+12dBを+10dBに補正する。
その後、調整結果用のメモリ30の記憶領域(ここでは調整結果1の記憶領域)に、得られたゲイン値(ステップS22で得たゲイン値、またはステップS14で補正されたゲイン値)を格納する(ステップS25)。その後、制御データ生成部25内に構成されたカウンタのカウント値を1つ加算させる(ステップS26)。なお、このカウンタは初期値が0である。そして、そのカウンタ値についても、メモリ30に記憶させ(ステップS27)、調整処理を終了する。
調整処理が終了すると、図3のフローチャートに戻り、ステップS14で調整を行った回数が1回目か、2回目以降かが判断される。この判断は、メモリ30に記憶させたカウント値が1か、2以上かで判断される。1回目である場合には、ステップS16に移って、調整結果をそのままメモリ30に保存させて、ここでの処理を終了する。2回目以降である場合には、ステップS15の加算平均処理に移る。
図5のフローチャートは、ステップS15での加算平均処理を示した図である。以下、図5のフローチャートに従って処理を説明すると、加算平均処理を行う最初の周波数を設定し(ステップS31)、その周波数について、メモリ内に保存されている調整結果と、新たに検出された結果(上述した調整結果1)とを使用した加算平均処理を行う(ステップS32)。具体的な加算平均処理例については後述する。そして、その結果得られた調整結果としてのゲイン値を、調整結果2としてメモリ30に格納させる。その後、全ての周波数帯で加算平均を行ったか否か判断し(ステップS34)、まだ加算平均してない帯域がある場合には、まだ処理を行っていない周波数を加算平均する周波数に設定し(ステップS35)、ステップS32の処理に戻る。ステップS35での設定としては、例えばまだ設定していない周波数の中から、周波数の低い順に行う。全ての周波数帯域で処理が終了すると、調整結果2にこのときのカウンタ値を格納させて(ステップS36)、ここでの加算平均処理を終了する。
ここで、ステップS32での加算平均処理の計算例について説明すると、例えば、メモリ30に格納されている保存結果のゲイン調整値をa、保存結果のカウンタ値をb、直前に得られた調整結果1のゲイン調整値をc、調整結果1のカウンタ値をd、調整結果2のゲイン調整値をe、調整結果2のカウンタ値をfとすると、調整結果2のゲイン調整値eは、次式の演算で求まる。
(a×b+c)/d=e
但し、d=b+1、またeの値として、例えば小数点第2位以下は四捨五入する。調整結果2のカウンタ値fは、dの値をそのまま入れる。
図6は、メモリ30に保存された結果(図6A)と、新たに得られた調整結果1(図6B)との加算平均処理で、調整結果2(図6C)を得て、その調整結果2を保存させる場合の値の例を示した図である。この図6中のa〜fは、上述した数式中のa〜fに対応している。この図6の例では、周波数1kHzを基準として、0.1dB単位で調整するようにした例である。
このようにして加算平均で調整を行うことで、オーディオ信号の再生を行う毎に、その機器で再生を行うオーディオソースの特性に合致したイコライザ特性に徐々に調整されていき、自動的に良好な再生特性が得られるようになる。
なお、上述した実施の形態では、装置内で扱うオーディオデータについては、内蔵されたCDやMDなどの媒体を再生する機器で再生したオーディオデータとしたが、再生する装置は、これらのオーディオ再生機器に限定されるのではなく、例えば外部から入力したオーディオデータを処理するようにしても良い。外部から入力されたオーディオデータとしては、別体の再生装置からのオーディオデータの他に、例えばインターネットなどを経由してダウンロードしたオーディオデータを入力させて処理するようにしても良い。
また、上述した実施の形態においては、オーディオ信号源で再生させたオーディオデータを、再生処理するオーディオ機器に適用するようにしたが、例えば、パーソナルコンピュータ装置などのデータ処理装置に、オーディオデータを処理するプログラムをインストールして、そのプログラムで、上述した本発明の周波数特性の調整処理を行うようにしても良い。
本発明の一実施の形態による再生装置の全体構成例を示したブロック図である。 本発明の一実施の形態によるDSP内での処理構成例を示したブロック図である。 本発明の一実施の形態による再生処理例を示したフローチャートである。 本発明の一実施の形態による調整処理例を示したフローチャートである。 本発明の一実施の形態による加算平均例を示したフローチャートである。 本発明の一実施の形態による調整例理例を示した説明図である。
符号の説明
11…CD再生部、12…MD再生部、13…メモリカードリーダ、14…アナログ再生部、15…アナログ/デジタル変換器、16…入力切換部、17…デジタル/アナログ変換器、18L,18R…アンプ、19L,19R…スピーカ、20…DSP部、21…FFT(高速フーリエ変換)部、23…イコライザ部、24…解析部、25…制御データ生成部、26…メモリ

Claims (6)

  1. 入力又は再生して得たオーディオデータの周波数特性を解析し、
    解析された周波数特性から、前記オーディオデータに多く含まれる周波数帯域についてゲインを上げるように調整したゲイン値を得て、
    1回目に入力又は再生したオーディオデータについて前記調整を行った場合には、得られたゲイン値で前記オーディオデータにイコライザ処理を行うとともに、得られたゲイン値を記憶手段に記憶し、
    2回目以降に入力又は再生したオーディオデータについて前記調整を行った場合には、前記記憶手段に記憶されているゲイン値と前回までの調整回数とを乗算し、その乗算した積に今回得られたゲイン値を加算した値を、今回までの調整回数で除算する加算平均処理によってゲイン値を求め、その求めたゲイン値で前記オーディオデータにイコライザ処理を行うとともに、その求めたゲイン値で前記記憶手段の記憶内容を更新し、
    前記イコライザ処理が行われたオーディオデータを出力処理する
    オーディオデータ処理方法。
  2. 請求項1記載のオーディオデータ処理方法において、
    さらに、前記解析された周波数特性から、前記オーディオデータに含まれる成分が少ない周波数帯域について、ゲインを下げるように調整したゲイン値を得る
    オーディオデータ処理方法。
  3. 請求項1記載のオーディオデータ処理方法において、
    前記イコライザ処理を行う周波数帯域は、前記解析された周波数特性に基づいて可変設定すると共に、ゲインを変化させる周波数幅についても解析結果に基づいて可変設定する
    オーディオデータ処理方法。
  4. 入力又は再生したオーディオデータの入力処理を行うオーディオデータ入力手段と、
    前記オーディオデータ入力手段で入力処理したオーディオデータの周波数特性を解析する解析手段と、
    前記オーディオデータ入力手段で入力処理したオーディオデータの周波数帯域毎にゲインを変化させるためのイコライザ手段と、
    記憶手段と、
    前記解析手段で解析された周波数特性から、前記オーディオデータに多く含まれる周波数帯域についてゲインを上げるように調整したゲイン値を得て、1回目に入力又は再生したオーディオデータについて前記調整を行った場合には、得られたゲイン値でイコライザ処理を行うように前記イコライザ手段を制御するとともに、得られたゲイン値を前記記憶手段に記憶し、2回目以降に入力又は再生したオーディオデータについて前記調整を行った場合には、前記記憶手段に記憶されているゲイン値と前回までの調整回数とを乗算し、その乗算した積に今回得られたゲイン値を加算した値を、今回までの調整回数で除算する加算平均処理によってゲイン値を求め、その求めたゲイン値でイコライザ処理を行うように前記イコライザ手段を制御するとともに、その求めたゲイン値で前記記憶手段の記憶内容を更新する制御データ生成手段と、
    前記イコライザ手段で処理が行われたオーディオデータを出力処理するオーディオデータ出力手段とを備えた
    オーディオデータ処理装置。
  5. 請求項4記載のオーディオデータ処理装置において、
    前記制御データ生成手段は、さらに、前記解析手段で解析された周波数特性から、前記オーディオデータに含まれる成分が少ない周波数帯域について、ゲインを下げるように調整したゲイン値を得る
    オーディオデータ処理装置。
  6. 請求項4記載のオーディオデータ処理装置において、
    前記イコライザ手段は、ゲインを上げる周波数帯域及びその帯域幅を可変設定できる手段であり、
    前記解析手段で解析された周波数特性に基づいてゲインを上げる周波数帯域を可変設定すると共に、ゲインを変化させる周波数幅についても解析結果に基づいて可変設定する
    オーディオデータ処理装置。
JP2003369395A 2003-10-29 2003-10-29 オーディオデータ処理方法及び装置 Expired - Lifetime JP4269892B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003369395A JP4269892B2 (ja) 2003-10-29 2003-10-29 オーディオデータ処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003369395A JP4269892B2 (ja) 2003-10-29 2003-10-29 オーディオデータ処理方法及び装置

Publications (2)

Publication Number Publication Date
JP2005136635A JP2005136635A (ja) 2005-05-26
JP4269892B2 true JP4269892B2 (ja) 2009-05-27

Family

ID=34646765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003369395A Expired - Lifetime JP4269892B2 (ja) 2003-10-29 2003-10-29 オーディオデータ処理方法及び装置

Country Status (1)

Country Link
JP (1) JP4269892B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100810077B1 (ko) 2006-05-26 2008-03-05 권대훈 표준 청력특성을 이용한 이퀄라이제이션 방법
US8527876B2 (en) 2008-06-12 2013-09-03 Apple Inc. System and methods for adjusting graphical representations of media files based on previous usage
JP7028613B2 (ja) * 2017-11-10 2022-03-02 ローム株式会社 オーディオプロセッサおよびオーディオ再生装置
CN111045634B (zh) * 2018-10-12 2023-07-07 北京微播视界科技有限公司 音频处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292491A (ja) * 2000-02-03 2001-10-19 Alpine Electronics Inc イコライザ装置
JP4147445B2 (ja) * 2001-02-26 2008-09-10 アドフォクス株式会社 音響信号処理装置

Also Published As

Publication number Publication date
JP2005136635A (ja) 2005-05-26

Similar Documents

Publication Publication Date Title
US6341166B1 (en) Automatic correction of power spectral balance in audio source material
US5172358A (en) Loudness control circuit for an audio device
JP5124068B2 (ja) ディジタル・サウンド・レコーディングの音量調整の方法
US6285767B1 (en) Low-frequency audio enhancement system
US20020159607A1 (en) Method for using source content information to automatically optimize audio signal
KR0129429B1 (ko) 오디오신호처리장치
US20040002781A1 (en) Methods and apparatuses for adjusting sonic balace in audio reproduction systems
JP4269892B2 (ja) オーディオデータ処理方法及び装置
JP4706666B2 (ja) 音量制御装置及びコンピュータプログラム
WO2011121955A1 (ja) オーディオ装置
WO2011034520A1 (en) System and method for modifying an audio signal
US20120308042A1 (en) Subwoofer Volume Level Control
JP2000022470A (ja) 適応音質音量制御装置
KR20070042319A (ko) 사용자 특성정보 및 위치정보를 고려한 멀티미디어 재생기 및 재생방법
JP3024502B2 (ja) オーディオ装置
JP2002269916A (ja) 音声再生装置
JP4328601B2 (ja) 音声処理装置、編集装置、制御プログラム及び記録媒体
JP5332348B2 (ja) オーディオ再生システム、オーディオ再生機器、携帯プレイヤおよびオーディオ再生制御方法
KR100199983B1 (ko) 음악신호 내의 반주신호 재생방법 및 반주신호재생기
KR19990026008A (ko) 오디오시스템의 볼륨 제어방법
JP6807769B2 (ja) 音響装置及び音質調整方法
KR0136024B1 (ko) 레이저디스크플레이어의 음량조절장치
JP2009116938A (ja) 再生装置及び再生制御方法
JPH06261387A (ja) 音響再生方法および装置
KR970002843B1 (ko) 레이저디스크플레이어의 음량조절장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20060720

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20090203

Free format text: JAPANESE INTERMEDIATE CODE: A01

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090216

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20120306

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20120306

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4