JP4190735B2 - 音声認識方法および装置とナビゲーション装置 - Google Patents

音声認識方法および装置とナビゲーション装置 Download PDF

Info

Publication number
JP4190735B2
JP4190735B2 JP2001016611A JP2001016611A JP4190735B2 JP 4190735 B2 JP4190735 B2 JP 4190735B2 JP 2001016611 A JP2001016611 A JP 2001016611A JP 2001016611 A JP2001016611 A JP 2001016611A JP 4190735 B2 JP4190735 B2 JP 4190735B2
Authority
JP
Japan
Prior art keywords
voice
noise
recognition
frequency distribution
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001016611A
Other languages
English (en)
Other versions
JP2002221987A (ja
Inventor
聡 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001016611A priority Critical patent/JP4190735B2/ja
Publication of JP2002221987A publication Critical patent/JP2002221987A/ja
Application granted granted Critical
Publication of JP4190735B2 publication Critical patent/JP4190735B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術的分野】
本発明は、音声認識方法および装置とそれを用いたナビゲーション装置に関する。
【0002】
【従来の技術】
従来において、ナビゲーション装置の音声認識手段は、リモコン装置に代わる操作手段であり、使用者の発声する声により目的地までの推奨ルートの設定や任意の場所の検索などの操作を行うことができるため、操作に気をとられることが少なく、使い勝手の良さと車両用装置として場合の安全性を向上させることができる。
【0003】
図4は従来技術における音声認識手段を備えた車載用ナビゲーション装置のシステム構成図である。図4において、音声認識用マイク21は、使用者からの音声を入力するものである。雑音検出用マイク22は、車室内の所定の位置に設置されて車内雑音を入力するものである。音声認識手段23は、音声認識用マイク21から入力された音声を解析し、辞書ワードデータの中から近似しているデータを検索して音声認識を行うものである。雑音検出手段24は、雑音検出用マイク22から入力された車内雑音を検出し、ノイズ量をCPU33に送信する。地域施設探索手段25は、自車位置から目的地までのルート設定や自車位置周辺の施設などを探索する。入出力手段28は、方位センサ26や距離センサ27などの入力信号を処理し、CPU33により周辺装置との通信や制御を行なう。DVD−ROM(またはCD−ROM)30は、地図データや音声データ、音声認識に使用される辞書ワードデータなどが記憶されている。DVD−ROM(またはCD−ROM)ドライブ31は、DVD−ROM30から地図データ、音声データ、または音声認識に使用される辞書ワードデータなどを読み出す。通信インターフェイス29は、DVD−ROMドライブ31などの外部接続機器とCPU33との間の信号やデータの受け渡しを行う。メモリ32は、テンプレートとして複数の異なるノイズ量を格納したメモリであり、DVD−ROM30に格納された音声認識用辞書ワードデータの単語モデルに加算するノイズ量をノイズテンプレートとして格納してある。
【0004】
使用者の音声が音声認識用マイク21から入力されると、音声認識手段23は、予めDVD−ROM30に登録されている辞書ワードデータから比較対照語彙を算出し、同時にCPU33は、雑音検出手段24で検出された雑音と同等なノイズ量をノイズテンプレートから選出し、そのノイズ量を比較対照語彙に加算したデータと使用者の発声語句とを比較演算し、最も近似している比較対照語彙を認識結果とする。また音声認識における最高得点を獲得したノイズ係数またはテンプレートを学習することで、実際に最適なノイズ量を加算できるため認識率を高めることができる。
【0005】
図5は従来技術における音声認識方法を説明するブロック図である。図5において、辞書ワードデータDは、記憶手段であるDVD−ROMまたはCD−ROMに記録されている音声認識用の単語モデルを収録したものであり、複数の異なるノイズ量を記憶したノイズテンプレートTから、実際に検出したノイズ量の結果から雑音相当のノイズ係数を決定する。辞書ワードデータD内の比較対照語彙に加算手段Aにより上記ノイズ量を合成した結果と、マイクMから入力された使用者の音声とを比較手段Cにより比較演算することで、一致する単語モデルを決定する。学習手段Iは、辞書ワードデータDから取り出した比較対照語彙となる単語モデルと、ノイズテンプレートTから取り出した最適なノイズ量を加算手段Aにより合成し、使用者の発声語句と比較した結果の一番得点の高いノイズ係数またはテンプレートを学習する。
【0006】
音声認識用マイクや雑音検出用マイクの設置場所およびこれらマイクの方向、また使用者の発声音量などにより実際に加算するノイズ量は異なるため、複数の異なるノイズ加算量を記憶したテンプレートを予め用意することで、車内ノイズに対応した音声認識を実現できる。
【0007】
なお、上記従来の技術では、音声認識用マイクの他に雑音検出用マイクを用いた雑音学習方法を示したが、その他音声認識用マイク単体において、使用者の発話直前の雑音レベルおよび雑音成分を検出し、解析する方法もある。
【0008】
【発明が解決しようとする課題】
しかしながら、上記従来の音声認識方法では、使用者が簡単に、そして安心してナビゲーション装置の操作が行えることを意図するものであるにも拘わらず、その認識率には課題があった。車載装置における音声認識の場合、車両にはエンジン音やタイヤの走行音などの様々な雑音を発生する原因があり、その雑音は走行状況によりノイズ成分やノイズレベルなどが多様に変化する。使用者が実際に発声した音声に外部からの雑音が重なり、記憶手段に格納された辞書ワードデータの比較対照語彙である単語モデルと比較した場合、実際の音声との比較が困難になることがある。また音声認識用マイクの設置場所や設置方向の違いによっても、車両室内の音声反射、反響のため、ノイズ成分やノイズレベルが異なり、予め雑音を加えた辞書ワードデータを用意しても、あらゆる雑音による安定した認識率を確保することが困難である。
【0009】
また、複数のノイズテンプレートを用意し、車速または雑音検出用マイクで集音した雑音などから該当ノイズを予測し、そのノイズ量を辞書ワードデータの単語モデルの原音に加算して使用者の発話音声と比較する方法があるが、車速からノイズ成分やノイズレベルを予測する場合、変速機の切換時やワイパー動作、ウインカー動作や走行場所により、一概に車速に比例してノイズ量が大きくなるとは限らない。また発話する音質や音声レベルが使用者により異なり、さらに車両の種類によってもノイズ成分は異なるため、実際の使用者の発話音声の音量や音質と車両のノイズ分がどのくらいあるか切り分けることが困難である。
【0010】
本発明は、上記課題を解決するものであり、ノイズ成分をより正確に算出して認識率を向上させることのできる音声認識方法および装置とそれを利用したナビゲーション装置を提供するものである。
【0011】
【課題を解決するための手段】
本発明の音声認識方法は、使用者の音声認識を行う前に再生される定型フレーズを音声認識用マイクで集音し、前記集音した音声の周波数分布と前記定型フレーズの原音の周波数分布とを比較した差分である伝搬減衰量を環境係数として算出し、次いで前記使用者が発話した音声の周波数分布から辞書ワードデータ内で選択した単語モデルの原音の周波数分布と前記環境係数を減算した結果からノイズ量を求めてノイズテンプレートを作成することを特徴するものである。この方法により、ノイズ成分をより正確に算出することができ、認識率を向上させることができる。
【0012】
また、本発明の音声認識方法は、前記辞書ワードデータ内の単語モデルの原音と、前記使用者の発話音声から前記算出したノイズ量を減算した結果とを比較演算し、最も近似している単語モデルを認識結果とするものであり、ノイズ成分をより正確に算出することができ、認識率を向上させることができる。
【0013】
また、本発明の音声認識装置は、音声認識用辞書ワードデータを記憶した記憶手段と、使用者の発話音声を入力する音声認識用マイクと、音声による案内を出力する音声案内用スピーカと、前記スピーカから再生した定型フレーズを前記音声認識用マイクで集音した音声の周波数分布と、前記定型フレーズの原音の周波数分布とを比較した結果を基にノイズ量を作成し、前記音声認識用辞書ワードデータ内の単語モデルの原音の周波数分布と、前記音声認識用マイクで集音した音声の周波数分布から前記ノイズ量を減産した周波数分布を比較演算することにより音声認識を行う音声認識手段とを備えたものである。この構成により、ノイズ成分をより正確に算出することができ、認識率を向上させることができる。
【0014】
また、本発明の音声認識装置は、前記算出したノイズ量を学習することを特徴とするものであり、種々の異なる状況に対応したノイズテンプレートを件成することができるため、使用者の発話音声に対する認識率を向上させることができる。
【0015】
また、本発明は、上記音声認識装置を備えたナビゲーション装置である。使用者がリモコンなどの音声認識開始ボタンを操作した後にナビゲーション装置が再生する「ボイスワードをお話しください」などの音声や発話開始を促す信号音である定型フレーズは、その音量や周波数分布などがナビゲーション装置の記憶手段に格納されているため確定された値となり、この定型フレーズを特定の場所に設置された音声認識用マイクで集音した音声データと比較演算することで、音声認識用マイクと音声案内用スピーカとの距離を現在の環境係数として算出できる。この環境係数は、音声案内用スピーカの設置位置や設置方向により車室内の音声反射や反響により異なり、さらに道路の状況や天候などによっても異なるので、使用者の発話直前の車内環境を正確に算出することができる。さらに上記算出した環境係数を学習させることで、異なる車種や走行状況に対応したノイズテンプレートを件成することができるため、使用者の発話音声に対する認識率を向上させることができる。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の実施の形態における音声認識方法および装置を用いた車載ナビゲーション装置の構成を示すブロック図である。図1において、音声認識用マイク1は、使用者からの発話音声の入力を行なうものである。音声認識手段2は、音声認識用マイク1から入力された音声を解析し、辞書ワードデータの中から近似しているデータを検索するものである。音声案内用スピーカ3は、目的地までの経路案内や走行案内または音声認識の発話誘導などの音声を出力するものである。D/A変換部4は、スピーカ3から音声を出力するために、デジタル音声データをアナログ音声データに変換および増幅する。方位センサ5は、車両の進行方向を検出する。各種センサ信号6は、パーキングスイッチやウインカーまたは変速機のスイッチ入力などの信号である。入出力装置7は、方位センサ5や各種センサ信号6からの入力信号を処理し、CPU12により周辺装置との通信や制御を行なう。DVD−ROM(またはCD−ROM)8は、地図データや音声データ、さらに音声認識で使用される比較対照語彙である単語モデルを集めた辞書ワードデータなどが記憶されている。DVD−ROM(またはCD−ROM)ドライブ9は、DVD−ROM8から地図データ、音声データ、または辞書ワードデータなどを読み出す。通信インターフェイス10は、DVD−ROMドライブ9とCPU12との間の信号やデータの受け渡しを行う。メモリ11は、テンプレートとして複数の異なるノイズ量やノイズレベルから算出された各種データおよびその他の作業データを記憶する。CPU12は、装置全体を制御し、音声認識において環境係数の演算やノイズテンプレートの作成などを行ない、使用者の発話音声とDVD−ROM8に格納された辞書ワードデータの単語モデルとを比較演算する。
【0017】
次に、本実施の形態の動作について説明する。使用者からリモコンなどの操作により音声認識要求を検出した場合、CPU12は、音声データの格納されたDVD−ROM8から使用者に発話開始を促す定型フレーズ音声をD/A変換部4により変換、増幅した後、音声案内用スピーカ3より再生する。再生された定型フレーズ音声は、音声認識用マイク1に帰還入力した後、DVD−ROM8に格納された定型フレーズ音声の原音と比較演算した差分である音声の伝搬減衰量を環境係数として算出する。この定型フレーズ音声の伝搬減衰量を算出することで、音声案内用スピーカ3と音声認識用マイク1との距離を算出することができる。その後、入力された使用者の発話音声と辞書ワードデータ内の単語モデルの原音と上記環境係数として算出した値を演算することで、当該ノイズ量であるノイズテンプレートを作成する。上記の処理を行なった後、音声認識手段2は、辞書ワードデータ内の単語モデルの原音にノイズテンプレートを加算したデータと使用者の発話音声とを比較、または上記単語モデルの原音と使用者の発話音声音からノイズテンプレートを減算したデータとを比較することにより、現在の車室内のノイズ環境においてより正確な認識率を確保することができる。
【0018】
図2は本実施の形態における動作フロー図である。ステップS1は初期設定であり、Scは音声の伝搬減衰量である環境係数、Snはノイズテンプレート、Siは使用者の発話音声である。ステップS2において使用者から音声認識の開始要求があった場合、ステップS3においてナビゲーション装置は「ボイスワードをお話しください」などの定型フレーズを再生するとともに、再生した定型フレーズを音声認識用マイク1に帰還入力して集音量を取り込む。ステップS4では、記憶手段であるDVD−ROM8などに記録された辞書ワードデータの単語モデルの原音とステップS3で集音した定型フレーズとの音声とを演算し、実際の単語モデルの原音との差分である音声の伝搬減衰量を環境係数Scとして算出する。ステップS5では、使用者の発話音声の検出待ちの後、ステップS6において使用者の発話音声Siから辞書ワードデータ内の単語モデルの原音Soを減算し、さらにステップS4で算出した環境係数Scを減算し、その結果をノイズテンプレートSnとして求める。ステップS7は音声認識手段2が行う比較処理であり、辞書ワードデータ内の単語モデルの原音Soと使用者の発話音声SiからステップS6で算出したノイズテンプレートSnを減算した結果を比較演算し、音声認識処理にて最高得点を得た単語モデルを認識結果としてCPU12に出力する。音量や周波数分布特性などが確定している定型フレーズ音声を利用して音声の伝搬減衰量である環境係数を算出することで、より正確にノイズ量であるノイズテンプレートを作成でき、このため結果として認識率を向上させることができる。
【0019】
図3は本実施の形態における車室内の各装置の設置位置を説明するための図である。図3(a)において、Dは運転者であり、Mは音声認識用マイクであり、SPは表示手段に内蔵された音声案内用スピーカである。図3(b)も同様であるが、音声案内用スピーカSPは任意の位置に設置可能である。図3に示すように、マイクMやスピーカSPは、通常ある一定の場所に配置され、運転者Dからは一定の距離があるものと想定することができるが、スピーカSPの設置位置により車室内の音声の反射および反響に違いが生じる。例として図3(a)の表示手段内蔵型スピーカSPの場合、運転者Dに向けて設置される場合と、表示手段後面に設置されている場合とでは、運転者Dに伝わる音声の伝搬減哀量は異なる。したがって、種々の条件下における伝搬減衰量を音声認識手段2に学習させることで、異なる車種や走行状況に対応したノイズテンプレートを件成することができ、使用者の発話音声に対する認識率を向上させることができる。
【0020】
以上のように、上記実施の形態によれば、音声認識用マイクや音声案内用スピーカを車両により異なる位置に設置した場合でも、予め音量や周波数分布特性などが確定している定型フレーズを利用してノイズ量を算出してノイズテンプレートを作成するため、車両の種類や走行状況、天候、ワイパーやウインカーまたはオーディオなどの車両装備の動作音などにより車内ノイズ環境の異なる場合でも、従来に比べてより正確に使用者の発話音声に対する認識率を向上させることができる。
【0021】
なお、上記実施の形態では、音声認識装置を組み込んだ車載ナビゲーション装置として説明したが、本発明は音声認識装置単独としても構成することができる。また、上記実施の形態では、車載ナビゲーション装置として説明したが、本発明は、単に車両内に持ち込まれる、または車両に着脱可能に搭載される移動型のナビゲーション装置としても構成することができる。
【0022】
【発明の効果】
本発明の音声認識方法は、上記実施の形態から明らかなように、使用者の音声認識を行う前に再生される定型フレーズを音声認識用マイクで集音し、前記集音した音声の周波数分布前記定型フレーズの原音の周波数分布とを比較した差分である伝搬減衰量を環境係数として算出し、次いで前記使用者が発話した音声の周波数分布から辞書ワードデータ内で選択した単語モデルの原音の周波数分布と前記環境係数を減算した結果からノイズ量を求めてノイズテンプレートを作成するものであり、再生音声の音量や周波数分布の確定している定型フレーズを利用することにより、ノイズ成分をより正確に算出することができる。また、辞書ワードデータ内の単語モデルの原音と、使用者の発話音声からノイズ量を減算した結果とを比較演算し、最も近似している単語モデルを認識結果とすることにより、認識率を一層向上させることができる。
【0023】
また、本発明の音声認識装置は、音声認識用辞書ワードデータを記憶した記憶手段と、使用者の発話音声を入力する音声認識用マイクと、音声による案内を出力する音声案内用スピーカと、前記スピーカから再生した定型フレーズを前記音声認識用マイクで集音した音声の周波数分布、前記定型フレーズの原音の周波数分布とを比較した結果を基にノイズ量を作成し、前記音声認識用辞書ワードデータ内の単語モデルの原音の周波数分布と、前記音声認識用マイクで集音した音声の周波数分布から前記ノイズ量を減産した周波数分布を比較演算することにより音声認識を行う音声認識手段とを備えたものであり、ノイズ成分をより正確に算出することができるので、認識率を一層向上させることができる。
【0024】
さらに本発明の音声認識装置を備えたナビゲーション装置は、車両の走行速度や走行場所、天候などの車外状況やマイクの設置場所や設置方向または車載オーディオの音量、音質などの車内状況により、実際に異なる雑音成分や雑音レベルが発生する場合でも、音声認識を行なう直前にナビゲーション装置自体が再生する定型フレーズを音声認識マイクで入力して比較演算し、音声認識用マイクと音声案内用スピーカとの距離を算出して、使用者と音声認識用マイク間における発話音声の伝搬減衰量を環境係数とすることで、正確に現在のノイズ量を算出し、さらに環境係数を学習することにより、様々な車内環境において、音声認識の認識精度を向上させる効果を有する。さらに、使用者の発話直前の車室内のノイズ量を算出できるため、車速信号やその他のセンサ信号により車両の走行状態を監視および検出する必要がなくなり、さらに対話習熟させるにことに従い、上記環境係数の値も定まり、より精度の高い認識率を確保できるという効果を有する。
【図面の簡単な説明】
【図1】本発明の実施の形態におけるナビゲーション装置の構成を示すブロック図
【図2】本発明の実施の形態における音声認識処理のフロー図
【図3】本発明の実施の形態における車室内の設置位置を示す説明図
【図4】従来におけるナビゲーション装置の構成を示すブロック図
【図5】従来における音声認識方法を説明するブロック図
【符号の説明】
1 音声認意用マイク
2 音声認識手投
3 音声案内用スピーカ
4 D/A変換郁
5 方位センサ
6 各種センサ信号
7 入出力手段
8 DVD−ROM
9 DVD−ROMドライブ
10 通信インターフェイス
11 メモリ
12 CPU

Claims (5)

  1. 使用者の音声認識を行う前に再生される定型フレーズを音声認識用マイクで集音し、前記集音した音声の周波数分布と前記定型フレーズの原音の周波数分布とを比較した差分である伝搬減衰量を環境係数として算出し、次いで前記使用者が発話した音声の周波数分布から辞書ワードデータ内で選択した単語モデルの原音の周波数分布と前記環境係数を減算した結果からノイズ量を求めてノイズテンプレートを作成することを特徴とする音声認識方法。
  2. 前記辞書ワードデータ内の単語モデルの原音と、前記使用者の発話音声から前記算出したノイズ量を減算した結果とを比較演算し、最も近似している単語モデルを認識結果とする請求項1記載の音声認識方法。
  3. 音声認識用辞書ワードデータを記憶した記憶手段と、使用者の発話音声を入力する音声認識用マイクと、音声による案内を出力する音声案内用スピーカと、前記スピーカから再生した定型フレーズを前記音声認識用マイクで集音した音声の周波数分布と、前記定型フレーズの原音の周波数分布とを比較した結果を基にノイズ量を作成し、前記音声認識用辞書ワードデータ内の単語モデルの原音の周波数分布と、前記音声認識用マイクで集音した音声の周波数分布から前記ノイズ量を減産した周波数分布を比較演算することにより音声認識を行う音声認識手段とを備えた音声認識装置。
  4. 前記算出したノイズ量を学習することを特徴とする請求項3記載の音声認識装置。
  5. 請求項3または4記載の音声認識装置を備えたナビゲーション装置。
JP2001016611A 2001-01-25 2001-01-25 音声認識方法および装置とナビゲーション装置 Expired - Fee Related JP4190735B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001016611A JP4190735B2 (ja) 2001-01-25 2001-01-25 音声認識方法および装置とナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001016611A JP4190735B2 (ja) 2001-01-25 2001-01-25 音声認識方法および装置とナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2002221987A JP2002221987A (ja) 2002-08-09
JP4190735B2 true JP4190735B2 (ja) 2008-12-03

Family

ID=18882948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001016611A Expired - Fee Related JP4190735B2 (ja) 2001-01-25 2001-01-25 音声認識方法および装置とナビゲーション装置

Country Status (1)

Country Link
JP (1) JP4190735B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5041934B2 (ja) * 2006-09-13 2012-10-03 本田技研工業株式会社 ロボット
US10115392B2 (en) * 2010-06-03 2018-10-30 Visteon Global Technologies, Inc. Method for adjusting a voice recognition system comprising a speaker and a microphone, and voice recognition system

Also Published As

Publication number Publication date
JP2002221987A (ja) 2002-08-09

Similar Documents

Publication Publication Date Title
US8010354B2 (en) Noise cancellation system, speech recognition system, and car navigation system
US9230538B2 (en) Voice recognition device and navigation device
JP4304952B2 (ja) 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム
US20180204570A1 (en) Adaptive infotainment system based on vehicle surrounding and driver mood and/or behavior
JP3567864B2 (ja) 音声認識装置及び記録媒体
JP4859982B2 (ja) 音声認識装置
EP2045140A1 (en) Adjustment of vehicular elements by speech control
US20050071159A1 (en) Speech recognizer performance in car and home applications utilizing novel multiple microphone configurations
US20050108249A1 (en) Wirelessly delivered owner's manual
JP4405370B2 (ja) 車両用機器制御装置
JP3654045B2 (ja) 音声認識装置
JPH11126092A (ja) 音声認識装置および車両用音声認識装置
KR101755308B1 (ko) 음성 인식 모듈, 그를 가지는 단말기 및 차량
JP5181533B2 (ja) 音声対話装置
JP2000322078A (ja) 車載型音声認識装置
WO2000010160A1 (fr) Dispositif et procede de reconnaissance vocale, dispositif de navigation, telephone portable et processeur d'informations
JP2008250236A (ja) 音声認識装置および音声認識方法
JP4016529B2 (ja) 雑音抑圧装置,音声認識装置及び車両用ナビゲーション装置
JP4190735B2 (ja) 音声認識方法および装置とナビゲーション装置
JP2000322074A (ja) 音声入力区間判定装置,音声データ抽出装置,音声認識装置,車両用ナビゲーション装置及び入力用マイク
JP3384165B2 (ja) 音声認識装置
JP2004301875A (ja) 音声認識装置
JP2002091488A (ja) 車載ナビゲーション装置
JP5037041B2 (ja) 車載用音声認識装置及び音声コマンド登録方法
JP4300596B2 (ja) 車載用ナビゲーションシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees