JP4400951B2 - 車載用音声認識装置、及び車載用音声認識制御方法 - Google Patents
車載用音声認識装置、及び車載用音声認識制御方法 Download PDFInfo
- Publication number
- JP4400951B2 JP4400951B2 JP14784599A JP14784599A JP4400951B2 JP 4400951 B2 JP4400951 B2 JP 4400951B2 JP 14784599 A JP14784599 A JP 14784599A JP 14784599 A JP14784599 A JP 14784599A JP 4400951 B2 JP4400951 B2 JP 4400951B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- recognition
- voice
- time
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【発明の属する技術分野】
本発明は車載用音声認識装置、及び車載用音声認識制御方法に関し、詳細には車載機器を音声入力により操作するための車載用音声認識装置、及び車載用音声認識制御方法に関する。
【0002】
【従来の技術】
従来、車載用音声認識装置は、運転者の発した音声によって操作されるものであるとともに、ナビゲーション機器やオーディオ機器等の車載機器を操作するためのものとなっている。このような車載用音声認識装置は、例えば入力された音声を音声認識対象語(以下、認識語と記す)と比較照合して認識する認識処理を行う音声認識部部と、該音声認識部が認識した音声内容にしたがって制御信号を生成して出力する処理を行う制御部と、音声を発する音声出力部とを備えており、前記制御部の応答処理によりトークバックのメッセージを前記音声出力部から出力させる、いわゆる対話形式のものが知られている。
【0003】
【発明が解決しようとする課題】
ところで、車両の運転を安全に行うには、運転中における運転者の手足の動作以外に、運転者の注意力が重要である。しかしながら、上記した従来の車載用音声認識装置では、音声認識部の認識処理に要する認識処理時間と制御部の応答処理に要する応答時間とが一定であるため、車両がどのような走行状況にあっても操作者が発声してから常に一定の時間経過後に応答がなされる。したがって、特に車両の走行状況が大きく変動している状態において、音声認識部に認識させる音声の発声やトークバックのメッセージの聞き取り、画面表示された提示内容の視認等は、操作者が運転者である場合に運転者の注意力を散漫にしてしまう。
【0004】
また従来では認識処理時間と応答時間とが一定であるため、走行速度を上げている場合のように走行時の騒音レベルが高くなるにつれて認識率が低下するという不都合も生じている。
さらに、車両が停止した状態(アイドリング状態)と運転中のときとは操作者の操作タイミングの感覚が異なるにもかかわらず、認識処理時間と応答時間とが一定であるために、車載用音声認識装置と操作者との対話のリズムが一本調子となってしまい、結果として、操作者の操作タイミングの感覚を満足させることができず、操作者にとって操作性の良くないものとなっている。
【0005】
本発明は上記課題に鑑みなされたものであって、運転者の注意力の低下を防止することができ、またどのような走行状況においても認識率を高めてほぼ一定とすることができ、また操作者の操作タイミングの感覚を満足させることができる車載用音声認識装置、及び車載用音声認識制御方法を提供することを目的としている。
【0008】
【課題を解決するための手段及びその効果】
上記課題を解決するために本発明に係る車載用音声認識装置(1)は、入力された音声の認識処理を行う音声認識部と、該音声認識部が認識した音声内容にしたがい制御信号を生成し出力する応答処理を行う制御部とを備えた車載用音声認識装置において、
車両の走行状況に応じて前記応答処理に要する応答時間を調整するとともに、前記音声認識部による認識処理に要する認識処理時間を調整する時間調整手段を備えていることを特徴としている。
【0009】
上記した車載用音声認識装置(1)によれば、前記時間調整手段が、車両の走行状況に応じて前記応答時間を調整するとともに、前記認識処理時間を調整するため、車両の走行状況が大きく変動している状態においては、前記音声認識部に認識させる音声の発声やトークバックのメッセージの聞き取り、画面表示された提示内容の視認等を操作者に行わせないように前記応答時間を調整することができ、操作者が運転者である場合の運転者の注意力の低下を防止することができる。また、車両が停止した状態(アイドリング状態)と運転中のときとで前記応答時間を異なるように調整することが可能になるため、操作者の操作タイミングの感覚を満足させる対話を実現することができる。したがって、音声認識による操作性の向上を図ることができる。
また、さらに例えば車両の速度の変化に応じて認識処理時間を変化させることができる。その結果、騒音レベルの低いアイドリング状態から騒音レベルの高い高速走行状態までほぼ一定の認識率を得ることができるようになる。したがって、上記した作用、効果に加えて、走行状況にかかわりなく音声認識率が安定するといった利点を有する車載用音声認識装置を提供することができる。
【0010】
また本発明に係る車載用音声認識装置(2)は、上記車載用音声認識装置(1)において、車両の走行状況を検出する検出手段を備え、前記時間調整手段が、前記検出手段が検出した情報に基づいて前記応答時間、又は前記応答時間及び前記認識処理時間を調整するものであると共に、前記検出手段が、運転者による車両の運転状況を画像処理により解析して車両の走行状況として検出するものであることを特徴としている。
【0011】
上記した車載用音声認識装置(2)によれば、前記時間調整手段が、前記検出手段が検出した車両の走行状況に応じて前記応答時間、又は前記応答時間及び前記認識処理時間を調整するため、リアルタイムで検出される車両の走行状況に則して前記応答時間の調整、又は前記応答時間と前記認識処理時間との調整を行うことができる。したがって、車両の走行状況が変動している状態において、前記音声認識部に認識させる音声の発声やトークバックのメッセージの聞き取り、画面表示された提示内容の視認等を操作者に確実に行わせないようにすることができる。また、常に操作者の感覚にあった音声操作を行え、かつ一定の高い認識率が保証される車載用音声認識装置を提供することができる。
【0012】
また、前記検出手段が、運転者による車両の運転状況を画像処理により解析して車両の走行状況として検出するものであるので、車両の走行状況を具体的にかつリアルタイムに把握することができる。
【0013】
また、前記検出手段を、前記音声認識部に入力された車両の暗騒音のレベルを、前記車両の走行状況として検出するものにしてもよい。この場合にも上記と同様に、車両の走行状況を具体的にかつリアルタイムに把握することができる。
【0014】
また本発明に係る車載用音声認識装置(3)は、上記車載用音声認識装置(1)又は(2)において、前記時間調整手段が、車両の走行状況に応じて前記制御信号の出力を一時中断させるように前記応答時間を調整し、その後車両の走行状況の変化に応じて前記制御信号の出力を再開させるように前記応答時間を調整するものであることを特徴としている。
【0015】
上記した車載用音声認識装置(3)によれば、車両の走行状況に応じて前記応答時間の調整により、認識された音声内容にしたがって生成された前記制御信号の出力が一時中断され、その後車両の走行状況に応じて、中断されていた前記制御信号の出力が再開される。このため、前記制御信号が例えば画像表示や音声出力のように操作者に向けての提示を行う制御信号であったとしても、車両の走行状況によっては運転者に向けての提示がなされないので、運転者を運転に集中させることができる。
一般に、車両が加速又は減速している走行状況では運転者の運転に対する負荷量が大きく、車両の走行速度がほぼ一定又は車両がほぼ停止した(アイドリング状態にある)走行状況では運転負荷量が小さい。
そのため、例えば、車両が所定の範囲を越えて加速又は減速していると判断すると、前記応答時間の調整によって前記制御信号の出力を一時中断するようにし、車両の走行速度がほぼ一定又は車両がほぼ停止した(アイドリング状態にある)と判断すると、中断されていた前記制御信号の出力を再開するようにしても良い。これにより、前記制御信号が例えば画像表示や音声出力のように操作者に向けての提示を行う制御信号であったとしても、運転負荷量が大きいときは運転者に向けての提示がなされないので、運転者を運転に集中させることができる。また運転負荷量が小さいときは、通常の音声操作が可能になる。
【0016】
また、上記車載用音声認識装置(1)において、ハンドルの角度を検出するハンドル角センサが検出した情報を基に車両がコーナリングしているとの走行状況を検出すると前記制御信号の出力を一時中断させるように前記応答時間を調整し、その後コーナリングが終了したとの走行状況を検出すると前記制御信号の出力を再開させるように前記応答時間を調整するようにしても良い。
【0017】
一般に、コーナリングしている走行状況では運転者の運転負荷量が大きく、コーナリングが終了すると運転負荷量が小さくなる。
上記したように構成すれば、車両がコーナリングしている際は前記制御信号の出力が一時中断され、コーナリングが終了すると中断されていた前記制御信号の出力が再開される。このため、前記制御信号が例えば画像表示や音声出力のように操作者に向けての提示を行わせる制御信号であったとしても、運転者に対する運転負荷量が大きいときは運転者に向けての提示がなされないので、運転者を運転に集中させることができる。また運転負荷量が小さいときは、通常の音声操作が可能になる。
【0018】
上記車載用音声認識装置(1)において、車両のエンジン回転数を検出する回転数センサが検出した情報を基にエンジン回転数の変化が所定の範囲を越えていて変動が激しいとの走行状況を検出すると前記制御信号の出力を一時中断させるように前記応答時間を調整し、その後エンジン回転数の変化が所定の範囲内となって変動が小さいとの走行状況を検出すると前記制御信号の出力を再開させるように前記応答時間を調整するようにしても良い。
【0019】
一般に、エンジン回転数の変化が大きいときは走行状況が安定していない状態であるため、運転者にとっての運転負荷量は大きく、エンジン回転数の変化が小さい時は走行状況が安定している状態であるため、運転者にとっての運転負荷量は小さい。
上記したように構成すれば、エンジン回転数の変動が激しいと、前記制御信号の出力が一時中断され、エンジン回転数の変動が小さいと、中断されていた前記制御信号の出力が再開される。このため、前記制御信号が例えば画像表示や音声出力のように操作者に向けての提示を行うものであったとしても、運転者にとっての運転負荷量が大きいときは運転者に向けての提示がなされないので、運転者を運転に集中させることができる。また運転者にとっての運転負荷量が小さいときは、通常の音声操作が可能になる。
【0020】
本発明に係る車載用音声認識装置(4)は、上記車載用音声認識装置(1)において、車両の走行状況を検出する検出手段を複数備え、
前記時間調整手段が、予め設定された前記認識処理時間の調整パターンを、前記複数の検出手段が検出した情報を基に演算した補正値を用いて補正することにより、前記認識処理時間の調整を行うものであることを特徴としている。
【0021】
上記した車載用音声認識装置(4)によれば、前記時間調整手段が、予め設定された認識処理時間の前記調整パターンを、前記複数の検出手段が実際に検出した車両の走行状況の情報を基に演算した補正値を用いて補正し、この補正された前記調整パターンに基づいて前記認識処理時間を調整するため、様々な走行状況に柔軟に対応して前記認識処理時間の調整を行える。よって、車種に拘束されない、汎用性の高い車載用音声認識装置を提供することができる。
【0022】
また本発明に係る車載用音声認識装置(5)は、上記車載用音声認識装置(1)〜(4)のいずれかにおいて、前記制御信号の出力によりトークバックのメッセージを発声させるように構成されていることを特徴としている。
【0023】
上記した車載用音声認識装置(5)によれば、認識された音声内容にしたがって生成されたトークバックのメッセージを発声させる制御信号を出力してそのメッセージを発声させることができる。
また、このメッセージの発声タイミングを車両の走行状況に応じて調整するようにして、車両の走行状況が安定した状態においてのみトークバックのメッセージを発声させるようにしても良い。これにより、走行状況が大きく変動している状態においてトークバックのメッセージの聞き取り及びトークバックのメッセージに対する音声入力を回避できるため、運転者を運転に集中させることができる。また、メッセージの発声タイミングを車両の走行状況に応じて調整すれば、操作者の操作タイミングの感覚を満足させる対話を実現することができる。したがって、音声認識による操作性の向上を図ることができる。
【0024】
さらに、車両の走行状況に基づいて運転者の運転に対する負荷量を判定し、その判定結果から前記負荷量が所定値を越えたと判断すると前記トークバックのメッセージの発声を一時中断するように該メッセージの発声タイミングを調整し、その後前記負荷量が所定値以下であると判断すると前記トークバックのメッセージの発声を再開するように該メッセージの発声タイミングを調整するようにしても良い。
【0025】
上記したように構成すれば、運転者にかかる運転負荷量が大きいとトークバックのメッセージの発声が一時中断され、運転負荷量が小さいとトークバックのメッセージの発声が再開されるので、車両の走行状況が安定した状態においてのみトークバックのメッセージを発声させて車載用音声認識装置と操作者との対話を成立させることになる。よって、運転上の安全性が確保された車載用音声認識装置を提供することができる。
また本発明に係る車載用音声認識制御方法(1)は、音声認識部が、入力された音声の音声認識処理を行い、制御部が、前記音声認識部により認識された音声内容にしたがい制御信号を出力する応答処理を行う車載用音声認識制御方法において、前記制御部が、車両の走行状況に応じて前記応答処理に要する応答時間を調整するとともに、前記音声認識部による音声認識処理に要する認識処理時間を調整することを特徴としている。
上記した車載用音声認識制御方法(1)によれば、前記制御部が、車両の走行状況に応じて前記応答時間を調整するとともに、前記認識処理時間を調整するため、車両の走行状況が大きく変動している状態においては、前記音声認識部に認識させる音声の発声やトークバックのメッセージの聞き取り、画面表示された提示内容の視認等を操作者に行わせないように前記応答時間を調整することができ、操作者が運転者である場合の運転者の注意力の低下を防止することができる。また、車両が停止した状態(アイドリング状態)と運転中のときとで前記応答時間を異なるように調整することが可能になるため、操作者の操作タイミングの感覚を満足させる対話を実現することができる。したがって、音声認識による操作性の向上を図ることができる。
また、さらに例えば車両の速度の変化に応じて認識処理時間を変化させることができる。その結果、騒音レベルの低いアイドリング状態から騒音レベルの高い高速走行状態までほぼ一定の認識率を得ることができるようになる。したがって、上記した作用、効果に加えて、走行状況にかかわりなく音声認識率が安定するといった利点を有する車載用音声認識方法を提供することができる。
【0026】
【発明の実施の形態】
以下、本発明に係る車載用音声認識装置、及び車載用音声認識制御方法の実施の形態を図面に基づいて説明する。
図1は実施の形態(1)に係る車載用音声認識装置の構成を示すブロック図である。図1に示す車載用音声認識装置10は、車両に搭載されてナビゲーション機器やオーディオ機器等の車載機器を音声操作するためのものである。また、車載用音声認識装置10自体も音声操作されるものとなっている。このような車載用音声認識装置10は、音声認識部11及び各種の制御を行うマイコン15を含んで構成されている。
【0027】
音声認識部11は、例えば運転者である操作者の発声によりマイクロホン12から入力された音声の認識処理を行うものである。この音声認識部11には、例えばROM等から構成されて音素等の音声の基本的な単位の標準パターン(モデル)を記憶した音素辞書13と、RAM等で構成されて車載機器の使用状況に応じて後述する認識語全辞書(以下、単に全辞書と記す)16から読み出された複数の認識語を一時的に記憶する認識辞書14とが接続されている。
【0028】
音声認識部11は、音声収録用のマイクロホン12から入力された音声のアナログ信号をデジタル信号に変換し、このデジタル信号から特徴パラメータを抽出するとともに、認識辞書14に記憶された認識語についての標準パターンを音素辞書13から読み出し、この標準パターンと抽出した特徴パラメータとを比較照合することによって入力された音声を認識する処理を行うようになっている。
【0029】
マイコン15は、操作者の発声により入力されて音声認識部11により認識された音声内容にしたがい制御信号を生成し出力する応答処理を行う。マイコン15には、全辞書16、車両の走行状況を検出する検出手段17、ディスプレイ18、音声出力部19、車載用音声認識装置10により音声操作される車載機器(図示略)等が接続されている。
【0030】
またマイコン15は、検出手段17が検出した車両の走行状況に応じて上記した応答処理に要する応答時間及び音声認識部11による認識処理に要する認識処理時間を調整する時間調整手段15aと、上記車両の走行状況に基づいて車両運転に対する負荷量を判定する判定手段15bとを備えている。
ここで、車両の走行状況とは、例えば走行速度やハンドル角、エンジンの回転数、マイクロホン12から得られる車両内の暗騒音(発声していないときの走行騒音等)のレベル、運転者の運転動作状態等の情報から得られる状況であり、またこれらの情報を処理し、解析することにより総合的にかつリアルタイムに検出される状況、例えば、車両が加速又は減速している状態、交差点等を曲がっている(コーナリング)最中、信号待ちの状態、高速道路を走行中、曲がりくねった山道を走行中等の状況を含むものである。
【0031】
図2は実施の形態(1)に係る時間調整手段15aによる応答時間及び認識処理時間の調整を説明するための図である。ここで図2の(a)、(b)はそれぞれ、車両の走行状況を判断する情報の1つとなる走行速度(車速)に対する応答時間、認識処理時間の調整例を示している。また同図(c)、(d)はそれぞれ、一般的な認識率と認識処理量、認識率と走行速度との関係を示している。
【0032】
図2の(c)に示すごとく、一般に音声の認識処理では、認識処理量が多くなるほど認識率が上がることが知られている。つまり、認識処理時に、入力された音声と比較照合する認識語の語彙数や、音素辞書13が記憶している各音素の標準パターンの数が増加するほど入力された音声が認識される確率が高くなる。また認識処理量が多くなるほど、認識処理時間を要することになる。また、図2の(d)に示すごとく一般に車載用音声認識装置では、車両の走行速度が速くなればなるほど車両内の暗騒音のレベルが大きくなり、認識率が低下することが知られている。
【0033】
一方、操作者が運転者である場合、走行速度が速くなるにつれて運転者の運転負荷量が大きくなることから、走行速度が速くなるにしたがって応答時間を延ばすことが運転者の注意力の低下を防止するうえで好ましい。さらに、運転負荷量が大きくなるにしたがい応答時間を長くすることは、操作者である運転者の操作タイミングの感覚を満足させることにつながることが発明者らの研究結果により明らかとなっている。このため、運転者の感覚に合った応答を可能とする点からも、走行速度が速くなるにしたがって応答時間を延ばすことが有効となる。
【0034】
以上のことから、この実施の形態(1)における時間調整手段15aは、走行速度が速くなるにつれて応答時間が遅くなる図2(a)に示す関係を満たすように応答時間の調整を行うものとなっている。これとともに、走行速度が速くなるのに伴い認識率が低下するのを防止するために、走行速度が速くなるにつれて認識処理時間を長く取る図2(b)に示す関係を満たすように認識処理時間の調整を行うものとなっている。
【0035】
認識処理時間を変化させる具体的な方法としては、例えば、音声認識に際して、入力された音声と比較照合する認識語の語彙数を削減する方法や、音素辞書13が記憶している各音素の標準パターンの数を削減する方法が挙げられる。前者の比較照合する認識語の語彙数を削減する方法は、例えば認識辞書14に記憶されて入力音声との比較照合の対象となる認識語を全辞書16から読み出して認識辞書14に記憶させる際に、時間調整手段15aが通常1度に読み出す数よりも少ない数の認識語を認識辞書14に記憶させることで行える。
【0036】
なお、1度目の認識処理にて入力された音声が認識されなかった場合に2〜3回繰り返し行われる音声入力のやり直しにおいて、通常1度に読み出す認識語のうち、1度目の認識処理にて比較照合の対象にならなかった認識語を2度目の認識処理にて比較照合の対象とし、また1度目、2度目の認識処理にて比較照合の対象にならなかった認識語を3度目の認識処理にて比較照合の対象とすることにより、各認識処理時間の調整を行えるとともに入力された音声の音声認識部11における認識率を高めることができる。
【0037】
また後者の各音素の標準パターンの数を削減する方法は、音素辞書13が記憶している各音素の標準パターンの数のデータを、各音素毎に通常よりも少ない標準パターンの数としたデータと入れ替えることにより行える。例えば通常の各音素の標準パターンの数を男女それぞれ100人ずつとすると、各音素毎に男女それぞれ100人より少ない、例えば50人ずつの標準パターンを有するデータと入れ替えることにより行える。
【0038】
実施の形態(1)におけるマイコン15により構成される判定手段15bは、走行状況に基づいて運転負荷量を判定し、予め設定された最大、大、中、小の4段階の負荷量のいずれに該当するかを判断するするように構成されている。そのため、上記の時間調整手段15aでは4段階の運転負荷量に対応して応答時間が予め段階的に設定され、この設定を基にして走行状況に応じた応答時間の調整を行っている。例えば、運転負荷量が最大の場合には次の運転負荷量の判断結果が出力されるまで延長されるように応答時間を調整し、運転負荷量が大、中、小と変化するにしたがって応答時間も長、中、短となるように調整している。また、時間調整手段15aは、検出手段17により検出された情報に基づく走行状況の判断結果を直接、認識処理時間の調整に用いている。この認識処理時間の調整方式については、後に詳述する。
【0039】
また、マイコン15は、図示しないが例えば、制御信号を生成するための演算処理、調整を施す応答時間及び認識処理時間の演算処理、運転負荷量の判定処理の結果や、音声認識部11や検出手段17から取り込んだ情報等を一時記憶するRAMと、時間調整手段15aや判定手段15bの上記各演算処理のためのプログラム等を格納したROMとを備えている。また、マイコン15には、音声操作による処理の開始、終了を操作者が音声入力するための図示しない操作スイッチが接続されている。
【0040】
全辞書16は、車載用音声認識装置10及び車載機器を音声により操作するための様々な音声認識語が予め設定登録されているものであり、例えばフロッピーディスク、ハードディスク、CD−ROM等の記憶媒体に磁気的、光学的に記録された情報からなる。
【0041】
検出手段17は、車両に搭載されて車両の走行状況を検出する複数のセンサ、例えば、車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17c等からなっている。車速センサ17aは、車両の走行状況の情報となる車両の走行速度を検出するセンサである。この車速センサ17aが検出した検出結果は加速度の計算に用いられ、また、走行時の燃料噴射量やタイミングの制御のための情報、あるいは車載機器がナビゲーション機器でナビゲーション処理を行う場合において自律航法で車両の位置を検出する際の情報としても用いられている。
【0042】
ハンドル角センサ17bは、車両の走行状況の情報の1つとなるハンドルの角度(車両の操舵角)を検出するセンサである。このハンドル角センサ17bから得られる検出結果も、車速センサ17aと同様に、車載機器がナビゲーション処理を行う場合において自律航法で車両の位置を検出する際の情報としても用いられている。
さらにエンジン回転数センサ17cは、車両の走行状況の情報となるエンジン回転数を検出するセンサである。エンジン回転数センサ17cによる検出結果は、スピードメータや走行時の燃料噴射量やタイミングの制御のための情報としても使用されている。
【0043】
検出手段17を構成するセンサは、これら車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17cに限定されるものではなく、車両の走行状況を検出するためのものであれば、より多くのセンサを用いて総合的に判断することが、車両の走行状況をより正確に判断する上からは好ましい。この際、上記実施の形態の場合のように、車載機器の制御に必要な情報を取得するために既に車両に搭載されているセンサを用いて検出手段17を構成することが、車両にセンサを新たに搭載する必要がなく、搭載の手間も省略できて搭載場所の確保も要らず、またコストの上昇を抑える点からも望ましい。
【0044】
ディスプレイ18は、マイコン15が生成した制御信号に基づいて所定の画面表示、例えば認識された音声内容、音声内容に対する応答内容、操作者への指示、案内等の内容の画面表示を行うもので、例えば液晶ディスプレイやCRT、プラズマディスプレイ等からなる。また音声出力部19は、車載用音声認識装置10を操作するに際しての操作者に向けての指示や案内、トークバックのメッセージ、認識された音声等をマイコン15からの制御信号に基づいて合成し出力するようになっている。
【0045】
この音声出力部19は、例えば、RAMで構成されて所要の音声を合成するためのテキストデータを記憶する音声辞書19aと、音声辞書19aからテキストデータを読み出して音声合成処理を行い、合成した音声をアナログ信号に変換して出力する音声合成手段19bと、音声合成手段19bから出力された音声のアナログ信号を増幅するアンプ19cと、アンプ19cから出力されたアナログ信号を音声として出力するスピーカ19dとを含んで構成されている。
【0046】
上記のごとく構成された車載用音声認識装置10は、図1に示すようにマイコン15に接続された手動入力部20とリモートコントローラ(図示略)との双方又はどちらか一方を備え、これらからの手動入力によっても操作可能なものとなっている。ここで、マイコン15に接続された手動入力部20は、例えば操作ボタン、タッチパネル等で構成されている。タッチパネルで構成されている場合には、上記したディスプレイ18と一体的に構成することも可能である。
【0047】
次に、このような車載用音声認識装置10における音声認識時のマイコン15の行う動作を図3に示すフローチャートを用いて説明する。
ステップS1に示すように、音声認識に際して検出手段17である車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17c等により車両の走行状況に関する情報が検出され、検出された情報がマイコン15に入力されると、マイコン15は入力された情報を処理・解析し、車両の走行状況を総合的に判断する。次いで判定手段15bが、ステップS1にて検出された走行状況に基づき、運転者に対する運転の負荷量を判定し(ステップS2)、判定結果から負荷量が、小、中、大、最大の4段階のいずれに該当するかを判断する(ステップS3)。
【0048】
ステップS3において負荷量が小さいと判断すると、時間調整手段15aは、予め設定された応答時間のうち最も短い応答時間に設定を切り替える(ステップS4)。またステップS3において負荷量が中と判断すると、時間調整手段15aは、予め設定された応答時間のうち中程度の応答時間に設定を切り替える(ステップS5)。さらにステップS3において負荷量が大きいと判断すると、時間調整手段15aは、予め設定された応答時間のうち長い応答時間に設定を切り替える(ステップS6)。また、ステップS3において負荷量が最大と判断すると、時間調整手段15aは、予め設定された応答時間のうち、次の運転負荷量の判断結果が出力されるまで延長される最も長い応答時間に設定を切り替える。つまり、応答を出さないとする設定に切り替える(ステップS7)。ステップS7の後は、ステップS1に戻り、再び車両の走行状況を検出する。
【0049】
一方、ステップS4、ステップS5、ステップS6の後は、次いでマイコン15が操作者から音声が入力されて認識した旨が音声認識部11から出力されたか否かを検知する(ステップS8)。音声が入力されたことを検知すると、入力された音声と、認識辞書14に記憶されている認識語とを比較照合させて認識する認識処理を音声認識部11に行わせる(ステップS9)。この際、時間調整手段15aが検出した走行状況に応じて認識処理時間を調整する。
【0050】
続いてマイコン15は、音声認識部11が認識した音声内容にしたがって制御信号を生成し出力して応答する処理を行うが、その際、ステップS4〜ステップS7のいずれかにて切り替えられた応答時間の設定に基づき時間調整手段15aが応答時間を調整する(ステップS10)。応答時間を経過すると、音声認識部11が認識した音声内容にしたがって生成された制御信号を出力することにより、車載用音声認識装置10から操作者に向けての認識結果を出力する(ステップS11)。そしてステップS1に戻り、再び車両の走行状況を検出する。
【0051】
このように実施の形態(1)に係る車載用音声認識装置10では、判定手段15bが、車両の走行状況に基づいて運転者の運転負荷量を判定し、時間調整手段15aが、判定された運転負荷量を基にして走行状況に応じた認識処理の応答時間を調整する。
【0052】
このため、認識された音声内容にしたがって生成された制御信号が例えばディスプレイ18における画像表示や音声出力部19によるトークバックのメッセージの音声出力のように操作者に向けての提示を行わせる制御信号であったとしても、車両の走行状況が中程度に変動している状態においては、操作者への提示を少しの時間延ばすことができる。また車両の走行状態が激しく変動している状態においては、操作者への提示をしばらく中断させることができる。よって、車両の走行状況が安定するまで、認識させる音声の発声やトークバックのメッセージの聞き取り、ディスプレイ18で画面表示された提示内容の視認等を運転者に行わせないようにすることができるため、運転者の注意力の低下を防止することができ、運転の安全性を向上させることができる。
【0053】
また、車両が停止した状態(アイドリング状態)と運転中のときとで応答時間を調整することが可能になるため、運転者の操作タイミングの感覚を満足させる対話を行うことができる。したがって、従来に比較して音声認識による操作性の向上を図ることができる。さらに時間調整手段15aが、車両の走行状況に応じて音声認識部11による認識処理時間を調整するため、走行時の騒音レベルの低いアイドリング状態から騒音レベルの高い高速走行状態までほぼ一定の高い認識率で認識処理を行う音声認識の性能に優れた車載用音声認識装置10を実現することができる。
【0054】
また時間調整手段15aが、車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17cを含んで構成された検出手段17が車両の走行状況を総合的にかつリアルタイムに検出した情報に基づいて応答時間を調整することから、車両の走行状況に則したきめ細かい応答時間と認識処理時間との調整を行うことができる。よって、上記した運転者の注意力の低下防止と、音声認識による操作性の向上と、安定した高い認識率の確保とを確実に図ることができる。
【0055】
なお、上記の実施の形態(1)に係る車載用音声認識装置10では、マイコン15が時間調整手段15aと判定手段15bとを含んで構成されている例を述べたが、別の実施の形態では、例えばマイコン15が時間調整手段15aのみを有したものとして構成されていてもよい。この場合には、マイコン15内のROMに車両の走行状況に応じた応答時間の調整パターンを格納し、この調整パターンに基づき時間調整手段15aが直接、応答時間を調整することになる。
【0056】
また実施の形態(1)では、判定手段15bにより判定された運転負荷量に基づき、運転者に加わっている負荷が、予め設定された小、中、大、最大の4段階の負荷のいずれに属するかを判断し、段階的に応答時間を調整しているが、別の実施の形態では、判定手段15bにより判定された運転負荷量に基づいて応答時間を連続的に調整することも可能である。さらに実施の形態(1)では、検出手段17が車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17c等の複数のセンサで構成されている例を述べたが、別の実施の形態では、いずれか1つのセンサ、あるいはいずれか2つのセンサの組み合わせで構成されていてもよい。
【0057】
例えば検出手段が車速センサ17aのみで構成されている場合には、次のように応答時間の調整を行うこととなる。すなわち、時間調整手段15aが、車速センサ17aが検出した車両の走行速度の情報を基に、車両が加速又は減速しているか否かの車両の走行状況を判断する。そして、車両が所定の範囲を越えて加速又は減速しているとの走行状況を検出すると、音声認識部11が認識した音声内容にしたがって生成した制御信号の出力を一時中断させるように応答時間を調整する。ここで実施の形態(1)の場合のように、検出された走行状況から運転者の運転負荷量を判定し、この判定結果から上記のように応答時間の調整を行うようにすることも可能である。その後、車両の走行速度がほぼ一定又は車両がほぼ停止したとの走行状況を検出すると、中断していた制御信号の出力を再開させるように応答時間を調整する。
【0058】
また例えば検出手段がハンドル角センサ17bのみで構成されている場合には、次のような応答時間の調整を行うこととなる。すなわち、時間調整手段15aが、ハンドル角センサ17bが検出したハンドル角情報を基に、車両がコーナリングしている状態か否かの走行状況を判断する。そして、車両がコーナリングしているとの走行状況を検出すると、音声認識部11が認識した音声内容にしたがって生成した制御信号の出力を一時中断させるように応答時間を調整する。この場合も、検出された走行状況から運転者の運転負荷量を判定し、この判定結果から上記のように応答時間の調整を行うようにすることも可能である。その後、コーナリングが終了したとの走行状況を検出すると、中断していた制御信号の出力を再開させるように応答時間を調整する。
【0059】
また例えば検出手段がエンジン回転数センサ17cのみで構成されている場合には、次のような応答時間の調整を行うこととなる。すなわち、時間調整手段15aが、エンジン回転数センサ17cが検出したエンジン回転数の情報を基に、エンジン回転数の変化が所定の範囲を越えていて変動が激しいか否かの車両の走行状況を検出する。そして、エンジン回転数の変動が激しいとの走行状況を検出すると、音声認識部11が認識した音声内容にしたがって生成した制御信号の出力を一時中断させるように応答時間を調整する。この場合も、検出された走行状況から運転者の運転負荷量を判定し、この判定結果から上記のように応答時間の調整を行うようにしてもよい。その後、エンジン回転数の変化が所定の範囲内に納まり、エンジン回転数の変動が小さいとの走行状況を検出すると、中断していた制御信号の出力を再開させるように応答時間を調整する。
【0060】
一般に、車両が加速又は減速している走行状況、車両がコーナリングしている走行状況、エンジン回転数の変動が激しい走行状況では、運転者の運転に対する負荷量は大きい。また、車両の走行速度がほぼ一定又は車両がほぼ停止した走行状況、コーナリングが終了した走行状況、エンジン回転数の変動幅が小さい走行状況では、運転負荷量は小さい。したがって、車速センサ17a、ハンドル角センサ17b、エンジン回転数センサ17cのそれぞれが検出した情報のみを基に判断される車両の走行状況に応じて応答時間を調整することによっても、実施の形態(1)の場合と同様に、車両の走行状況が安定するまで、認識させる音声の発声、トークバックのメッセージの聞き取りや画面表示された提示内容の視認等を運転者に行わせないようにすることができるため、運転の安全性を向上させることができる。また、車両が停止した状態と運転中のときとで応答時間を調整することができるので、運転者の感覚に合った操作性の良好な車載用音声認識装置を実現することができる。
【0061】
また実施の形態(1)に係る車載用音声認識装置では、検出手段が車両の走行状況を検出するセンサからなる例を述べたが、本発明はこれに限定されるものではない。例えば別の実施の形態では、検出手段が、音声認識に不可欠な音声収録用のマイクロホン12から得られる車両内の暗騒音のレベルを車両の走行状況として検出するレベル検出手段や、車両の運転者の運転状況を画像処理により解析して車両の走行状況として検出する画像処理手段から構成されていてもよい。また、さらに別の実施の形態では、検出手段が、上記のセンサとレベル検出手段と画像処理手段とのうちの2つ以上が組み合わされて構成されていてもよい。
【0062】
上記の画像処理手段は、例えばCCDカメラ等の小型カメラからなり、車両内に取り付けられて運転者がハンドルを切っている等の運転状況を画像に捉え、車両の走行状況を検出するように構成されたものからなる。
センサだけでなく、上記したようなそれ以外の検出手段が検出した情報も車両の走行状況を検出する情報として用いれば、よりきめ細かい応答時間の調整や認識処理時間の調整を行うことができることとなる。
【0063】
次に、本発明に係る車載用音声認識装置の実施の形態(2)を説明する。
実施の形態(2)に係る車載用音声認識装置において、実施の形態(1)に係る車載用音声認識装置10と相違することろは、時間調整手段15aによる認識処理時間の調整方式にある。実施の形態(2)は、認識処理時間の調整方式以外の構成要素は実施の形態(1)と同様に構成されている。そのため、ここでは、図1に示した各構成要素の符号を用いて実施の形態(2)の説明を行う。
【0064】
図4は実施の形態(2)に係る車載用音声認識装置における認識処理時間の調整方式を説明するための図であり、(a)は実施の形態(1)に採用した基本形、(b)は実施の形態(2)に採用した汎用形を示している。
【0065】
図4(a)に示すように実施の形態(1)で採用した基本形では、検出手段17の車速センサ17a、ハンドル角センサ17b、エンジン(E/G)回転数センサ17cから検出される車速、ハンドル角、エンジン回転数等の情報から直接走行状況を判断し、認識処理時間の演算処理を行い、演算処理結果に基づいて認識処理時間を調整している。
【0066】
一方、図4(b)に示すように実施の形態(2)で採用した汎用形では、予め認識処理時間の調整パターンを設定して例えばマイコン15のROMに格納しておく。認識処理時には、上記の車速センサ17a、ハンドル角センサ17b、エンジン(E/G)回転数センサ17cから検出される車速、ハンドル角、エンジン回転数等の情報を基に補正値(パラメータ)を演算し、求められた補正値から予め設定された調整パターンの選択を決定する。このことにより、認識処理時間の調整を行っている。
【0067】
このように構成された車載用音声認識装置10によれば、予め設定された認識処理時間の調整パターンが、検出手段17の各センサ17a〜17cが検出した実際の車両の走行状況を基に演算された補正値を用いて決定されるので、様々な検出結果に柔軟に対応して認識処理時間の調整を行うことができる。よって、汎用形の調整方式を採用した実施の形態(2)に係る車載用音声認識装置10では、例えば走行速度に基づく暗騒音のレベルの違い等、様々な車種に対応できる汎用性の高いものとなる。つまり、後付けで車両に装備できる市販品として対応できるものとなるので、製品化が容易となる点で有効である。
【0068】
次に、本発明に係る車載用音声認識装置の実施の形態(3)を説明する。
図5は実施の形態(3)に係る車載用音声認識装置のマイコン21の構成を示す図である。図5に示したように、実施の形態(3)に係る車載用音声認識装置が、実施の形態(1)に係る車載用音声認識装置10と相違することろは、マイコン21が時間調整手段15a及び判定手段15bの他に、タイミング調整手段21aを備えていることにある。なお、実施の形態(3)においてマイコン21以外の構成要素は実施の形態(1)と同様に構成されている。このため、ここでは、図1に示した各構成要素の符号を用いて実施の形態(3)の説明を行う。
【0069】
上記したタイミング調整手段21aは、マイコン21が音声認識部11で認識された音声内容にしたがい制御信号を生成し音声出力部19に出力してトークバックのメッセージを発声させる際に、検出手段17が検出した車両の走行状況に応じてその発声のタイミングを調整するものである。例えば音声出力部19の音声合成手段19bによる音声合成を制御することにより、トークバックのメッセージの発声タイミングを調整することができる。
【0070】
また車両の走行状況に応じたトークバックのメッセージの発声タイミングの調整は、例えば次のようにして行うことができる。すなわち、実施の形態(1)に係る車載用音声認識装置10の場合と同様に、検出手段17により検出された車両の走行状況に基づいて判定手段15bが運転負荷量を判定する。そして、その判定結果が所定値を越えて例えば運転負荷量が最大であると判断すると、タイミング調整手段21aが、音声出力部19からのトークバックのメッセージの発声が一時中断するようにその発声の発声タイミングを調整する。その後に運転負荷量が所定値より小さくなったと判断すると、トークバックのメッセージの発声が再開するように発声タイミングを調整する。
【0071】
このようなタイミング調整手段21aを備えた車載用音声認識装置では、トークバックのメッセージの発声タイミングを車両の走行状況に応じて調整できるので、コーナリング時等のように運転者が運転操作に集中しなければ危険な状況のときには、トークバックのメッセージの発声を回避することができる。また車速が一定の場合のように車両の走行状況が安定しており、運転負荷量が小さいときには、トークバックのメッセージの発声を再開させることができる。
【0072】
よって、車両の走行状況が大きく変動している状態においてはトークバックのメッセージの聞き取り及びトークバックのメッセージに対する音声入力を行わずに済むので、運転者は運転に集中することができる。また、トークバックのメッセージの発声タイミングを車両の走行状況に応じて調整できるので、操作者の操作タイミングの感覚を満足させることができ、これにより音声認識における操作性の向上を図ることができる。
【0073】
なお、上記の実施の形態(3)に係る車載用音声認識装置では、マイコン21が時間調整手段15aと判定手段15bとタイミング調整手段21aとを備えて構成されている例を述べたが、別の実施の形態では、例えば時間調整手段15a及びタイミング調整手段21aを備えたものとしてマイコン21を構成することも可能である。この場合には、マイコン21内のROMに車両の走行状況に応じた発声タイミングの調整パターンを格納させ、この調整パターンに基づきタイミング調整手段15aが直接、トークバックのメッセージの発声タイミングを調整することになる。
【図面の簡単な説明】
【図1】本発明の実施の形態(1)に係る車載用音声認識装置の概略構成を示すブロック図である。
【図2】(a)〜(d)は、実施の形態(1)に係る時間調整手段による応答時間及び認識処理時間の調整を説明するための図である。
【図3】実施の形態(1)に係る車載用音声認識装置における音声認識時のマイコンの動作を示すフローチャートである。
【図4】本発明の実施の形態(2)に係る車載用音声認識装置における認識処理時間の調整方式を説明するための図である。
【図5】本発明の実施の形態(3)に係る車載用音声認識装置のマイコンの構成の一部を示す図である。
【符号の説明】
10 車載用音声認識装置
11 音声認識部
15,21 マイコン
15a 時間調整手段
15b 判定手段
17 検出手段
17a 車速センサ
17b ハンドル角センサ
17c エンジン回転数センサ
21a タイミング調整手段
Claims (6)
- 入力された音声の認識処理を行う音声認識部と、
該音声認識部が認識した音声内容にしたがい制御信号を生成し出力する応答処理を行う制御部とを備えた車載用音声認識装置において、
車両の走行状況に応じて前記応答処理に要する応答時間を調整するとともに、前記音声認識部による認識処理に要する認識処理時間を調整する時間調整手段を備えていることを特徴とする車載用音声認識装置。 - 車両の走行状況を検出する検出手段を備え、
前記時間調整手段が、前記検出手段が検出した情報に基づいて前記応答時間、又は前記応答時間及び前記認識処理時間を調整するものであると共に、
前記検出手段が、運転者による車両の運転状況を画像処理により解析して車両の走行状況として検出するものであることを特徴とする請求項1記載の車載用音声認識装置。 - 前記時間調整手段が、車両の走行状況に応じて前記制御信号の出力を一時中断させるように前記応答時間を調整し、その後車両の走行状況の変化に応じて前記制御信号の出力を再開させるように前記応答時間を調整するものであることを特徴とする請求項1又は請求項2記載の車載用音声認識装置。
- 車両の走行状況を検出する検出手段を複数備え、
前記時間調整手段が、予め設定された前記認識処理時間の調整パターンを、前記複数の検出手段が検出した情報を基に演算した補正値を用いて補正することにより、前記認識処理時間の調整を行うものであることを特徴とする請求項1記載の車載用音声認識装置。 - 前記制御信号の出力によりトークバックのメッセージを発声させるように構成されていることを特徴とする請求項1〜4のいずれかの項に記載の車載用音声認識装置。
- 音声認識部が、入力された音声の音声認識処理を行い、
制御部が、前記音声認識部により認識された音声内容にしたがい制御信号を出
力する応答処理を行う車載用音声認識制御方法において、
前記制御部が、
車両の走行状況に応じて前記応答処理に要する応答時間を調整するとともに、前記音声認識部による音声認識処理に要する認識処理時間を調整することを特徴とする車載用音声認識制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14784599A JP4400951B2 (ja) | 1999-05-27 | 1999-05-27 | 車載用音声認識装置、及び車載用音声認識制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14784599A JP4400951B2 (ja) | 1999-05-27 | 1999-05-27 | 車載用音声認識装置、及び車載用音声認識制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000338994A JP2000338994A (ja) | 2000-12-08 |
JP2000338994A5 JP2000338994A5 (ja) | 2006-07-06 |
JP4400951B2 true JP4400951B2 (ja) | 2010-01-20 |
Family
ID=15439564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14784599A Expired - Lifetime JP4400951B2 (ja) | 1999-05-27 | 1999-05-27 | 車載用音声認識装置、及び車載用音声認識制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4400951B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3843956B2 (ja) * | 2002-05-14 | 2006-11-08 | トヨタ自動車株式会社 | 車載バッテリのファン制御方法およびファン制御装置 |
JP2004037953A (ja) * | 2002-07-04 | 2004-02-05 | Equos Research Co Ltd | 車載装置、データ作成装置、及びデータ作成プログラム |
JP4259054B2 (ja) * | 2002-07-10 | 2009-04-30 | 株式会社エクォス・リサーチ | 車載装置 |
JP4552429B2 (ja) * | 2003-02-04 | 2010-09-29 | 株式会社デンソー | 車載機器駆動用手動操作装置 |
JP2008026463A (ja) * | 2006-07-19 | 2008-02-07 | Denso Corp | 音声対話装置 |
JP4910563B2 (ja) * | 2006-08-14 | 2012-04-04 | 日産自動車株式会社 | 音声認識装置 |
WO2012137263A1 (ja) * | 2011-04-08 | 2012-10-11 | 三菱電機株式会社 | 音声認識装置およびナビゲーション装置 |
JP2012128440A (ja) * | 2012-02-06 | 2012-07-05 | Denso Corp | 音声対話装置 |
JP2015215433A (ja) * | 2014-05-09 | 2015-12-03 | 株式会社ナビタイムジャパン | 情報提供システム、端末装置、情報提供サーバ、情報提供方法、および、プログラム |
JPWO2017130486A1 (ja) * | 2016-01-28 | 2018-11-22 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10474946B2 (en) | 2016-06-24 | 2019-11-12 | Microsoft Technology Licensing, Llc | Situation aware personal assistant |
JP7294775B2 (ja) * | 2018-05-24 | 2023-06-20 | トヨタ自動車株式会社 | 情報処理装置、プログラム、及び制御方法 |
WO2022208783A1 (ja) * | 2021-03-31 | 2022-10-06 | 三菱電機株式会社 | 音声認識装置及び音声認識方法 |
WO2022215104A1 (ja) * | 2021-04-05 | 2022-10-13 | 三菱電機株式会社 | 音声対話装置および音声対話方法 |
-
1999
- 1999-05-27 JP JP14784599A patent/JP4400951B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000338994A (ja) | 2000-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4400951B2 (ja) | 車載用音声認識装置、及び車載用音声認識制御方法 | |
JP5709980B2 (ja) | 音声認識装置およびナビゲーション装置 | |
WO2017081960A1 (ja) | 音声認識制御システム | |
JP4973722B2 (ja) | 音声認識装置、音声認識方法、及びナビゲーション装置 | |
JP4894300B2 (ja) | 車載装置調整装置 | |
JP6146865B2 (ja) | 音声情報提供装置 | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
JP2000338994A5 (ja) | 車載用音声認識装置、及び車載用音声認識制御方法 | |
US20230373467A1 (en) | Setting change assist apparatus | |
KR20190088737A (ko) | 음성 인식 장치 및 그 제어 방법 | |
JPH10105192A (ja) | 車両用音声案内装置 | |
JP2017090614A (ja) | 音声認識制御システム | |
JP4432872B2 (ja) | 車両の走行制御装置 | |
JP5326843B2 (ja) | 感情推定装置及び感情推定方法 | |
JP4410378B2 (ja) | 音声認識方法および装置 | |
JP2004034881A (ja) | 車両の走行制御装置 | |
JP2002149191A (ja) | 音声入力装置 | |
JP7407047B2 (ja) | 音声出力の制御方法および音声出力制御装置 | |
US9503041B1 (en) | Automatic gain control module, method for controlling the same, vehicle including the automatic gain control module, and method for controlling the vehicle | |
JPH11126089A (ja) | 音声対話装置 | |
JP2019014392A (ja) | 車両の走行記録装置及び閲覧装置 | |
JP4429691B2 (ja) | 車載用音響装置、車載用音響装置の制御方法、車載用音響装置の制御プログラム、及び記録媒体 | |
JP6409810B2 (ja) | 運転支援装置 | |
JP4458037B2 (ja) | 情報入力装置 | |
JP4663342B2 (ja) | 音声認識型機器制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091027 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |