JPH09114486A - 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 - Google Patents
音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車Info
- Publication number
- JPH09114486A JPH09114486A JP7267540A JP26754095A JPH09114486A JP H09114486 A JPH09114486 A JP H09114486A JP 7267540 A JP7267540 A JP 7267540A JP 26754095 A JP26754095 A JP 26754095A JP H09114486 A JPH09114486 A JP H09114486A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- input
- voice signal
- recognized
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
ゲーション装置の高度な操作が簡単にできるようにす
る。 【解決手段】 マイク11などから入力した音声信号か
ら、特定の地域の音声だけを認識する音声処理を音声処
理部14で行い、認識した音声をスピーカ32から出力
すると共に、認識した特定の地域のデータを、この地域
の絶対的な座標位置データに変換部16で変換し、変換
された絶対的な座標位置の近傍の地図を表示処理させ、
更に入力した音声信号の認識処理から地図データを作成
させるまでの処理中に新たな音声信号が入力したとき、
実行中の処理を中断させて新たな入力音声信号の認識処
理を実行させるるようにした。
Description
載させて道路地図などを表示させるナビゲーション装置
に適用して好適な音声認識装置及び音声認識方法、その
音声認識装置と組み合わされたナビゲーション装置及び
ナビゲート方法、並びにこれらの装置が搭載された自動
車に関する。
ション装置が各種開発されている。このナビゲーション
装置は、例えば道路地図データが記憶されたCD−RO
Mなどの大容量データ記憶手段と、現在位置の検出手段
と、検出した現在位置の近傍の道路地図を、データ記憶
手段から読出したデータに基づいて表示させるディスプ
レイ装置とで構成される。この場合、現在位置の検出手
段としては、GPS(Global Positioning System )と
称される測位用の人工衛星を使用した測位システムを使
用したものや、車両の走行方向,走行速度などの情報に
基づいて出発地点から現在位置の変化を追跡する自律航
法によるものなどがある。
としては、キー操作などを行うことで、現在位置の近傍
だけでなく、地図データが用意されている限りは、所望
の位置の地図を表示させることができるようにしてあ
る。
は、例えば自動車用の場合、運転席の近傍にディスプレ
イ装置を設置して、運転者が走行中や信号停止などの一
時停止中に現在位置の近傍の地図を見れるようにするの
が一般的である。
ナビゲーション装置は、自動車の運転などを邪魔しない
で操作できるようにする必要があり、例えば走行中は複
雑な操作を禁止するようにしてある。即ち、このような
ナビゲーション装置を車両に設置する場合には、何らか
の走行状態検出部(例えば自動車のパーキングブレーキ
スイッチ)と接続して、この検出部の状態により車両が
停止していることが検出されるときだけ、全ての操作が
できるように設定し、停止してない状態(即ち走行中)
には、複雑なキー操作を禁止するように設定してある。
切換える等の操作ができないのは不便であり、走行中で
あっても、運転を邪魔することなく、高度な操作ができ
るようにすることが要請されている。
り各種指令を入力させて、操作させることが考えられる
が、誤った指令を音声で入力させた場合などには、キー
操作などで入力を取り消すなどの操作が必要であり、あ
まり使い勝手が良いとは言えなかった。
どを邪魔することなく、ナビゲーション装置などの各種
装置の高度な操作が簡単にできるようにすることを目的
とする。
は、音声信号入力手段に入力された音声信号の音声処理
部又は変換部での処理中に新たな音声信号の音声信号入
力手段への入力を判別し、これを判別したとき実行中の
処理を中断させて新たな入力音声信号を音声処理部で処
理させる制御手段を備えたものである。
音声信号による処理が実行中に、新たな音声信号が入力
したときには、実行中の処理が中断されて、新たに入力
した音声信号の処理が実行されるので、例えば音声で特
定の地域を指示するときに、地名などを誤ったとき、正
しい地名を言い直すだけで、正しい音声による認識処理
以降の処理が実行されるようになる。
声信号の認識処理中又は制御データへの変換処理中に新
たな音声信号が入力したとき、実行中の処理を中断させ
て新たな入力音声信号の認識処理を実行させるようにし
たものである。
音声信号による処理が実行中に、新たな音声信号が入力
したときには、実行中の処理が中断されて、新たに入力
した音声信号の処理が実行されるので、例えば音声で特
定の地域を指示するときに、地名などを誤ったとき、正
しい地名を言い直すだけで、正しい音声による認識処理
以降の処理が実行されるようになる。
信号入力手段に入力された音声信号の音声処理部,変換
部,地図データ読出し手段のいずれかでの処理中に新た
な音声信号の音声信号入力手段への入力を判別し、これ
を判別したとき実行中の処理を中断させて新たな入力音
声信号を音声処理部で処理させる制御手段を備えたもの
である。
力した音声信号による地図表示のための処理が実行中
に、新たな音声信号が入力したときには、実行中の処理
が中断されて、新たに入力した音声信号による地図表示
処理が実行されるので、例えば音声で特定の地域を指示
するときに、地名などを誤ったとき、正しい地名を言い
直すだけで、正しい音声による地域名が認識されて、正
しい位置の地図が表示されるようになる。
音声信号の認識処理から地図表示までの間に新たな音声
信号が入力したとき、実行中の処理を中断させて新たな
入力音声信号の認識処理を実行させるようにしたもので
ある。
た音声信号による地図表示のための処理が実行中に、新
たな音声信号が入力したときには、実行中の処理が中断
されて、新たに入力した音声信号による地図表示処理が
実行されるので、例えば音声で特定の地域を指示すると
きに、地名などを誤ったとき、正しい地名を言い直すだ
けで、正しい音声による地域名が認識されて、正しい位
置の地図が表示されるようになる。
配された表示手段に、音声認識に基づいて地図を表示さ
せる装置を備えた自動車において、音声信号入力手段に
入力された音声信号の音声処理部,変換部,地図データ
読出し手段のいずれかでの処理中に新たな音声信号の音
声信号入力手段への入力を判別し、これを判別したとき
実行中の処理を中断させて新たな入力音声信号を音声処
理部で処理させる制御手段を備えたものである。
号による自動車内の表示手段での地図表示のための処理
が実行中に、新たな音声信号が入力したときには、実行
中の処理が中断されて、新たに入力した音声信号による
地図表示処理が実行されるので、例えば音声で特定の地
域を指示するときに、地名などを誤ったとき、正しい地
名を言い直すだけで、正しい音声による地域名が認識さ
れて、正しい位置の地図が自動車内の表示手段に表示さ
れるようになる。
図面を参照して説明する。
ゲーション装置に適用したもので、まず図2,図3を参
照して本例の装置の自動車への設置状態を説明する。図
2に示すように、自動車50は、ハンドル51が運転席
52の前方に取付けられ、基本的には、運転席52に着
席した運転者がナビゲーション装置の操作を行うように
したものである。但し、この自動車50内の他の同乗者
が操作する場合もある。そして、ナビゲーション装置の
本体20及びこのナビゲーション装置本体20に接続さ
れた音声認識装置10は、自動車50内の任意の空間
(例えば後部のトランク内)に設置され、後述する測位
信号受信用アンテナ21が車体の外側(或いはリアウィ
ンドウの内側などの車内)に取付けてある。
に、ハンドル51の脇には、後述するトークスイッチ1
8やナビゲーション装置の操作キー27が配置され、こ
れらのスイッチやキーは、運転中に操作されても支障が
ないように配置してある。また、ナビゲーション装置に
接続されたディスプレイ装置40が、運転者の前方の視
界を妨げない位置に配置してある。また、ナビゲーショ
ン装置20内で音声合成された音声信号を出力させるス
ピーカ32が、運転者に出力音声が届く位置(例えばデ
ィスプレイ装置40の脇など)に取付けてある。
力ができるようにしてあり、そのためのマイクロフォン
11が、運転席52の前方のフロントガラス上部に配さ
れたサンバイバイザ53に取付けてあり、運転席52に
着席した運転者の話し声を拾うようにしてある。
は、この自動車のエンジン制御用コンピュータ54と接
続してあり、エンジン制御用コンピュータ54から車速
に比例したパルス信号が供給されるようにしてある。
構成について図1を参照して説明すると、本例において
は、音声認識装置10をナビゲーション装置20と接続
して構成させたもので、音声認識装置10は、マイクロ
フォン11が接続してある。このマイクロフォン11と
しては、例えば指向性が比較的狭く設定されて、自動車
の運転席に着席した者の話し声だけを良好に拾うような
ものを使用する。
得た音声信号を、アナログ/デジタル変換器12に供給
し、所定のサンプリング周波数のデジタル音声信号に変
換する。そして、このアナログ/デジタル変換器12が
出力するデジタル音声信号を、DSP(デジタル・シグ
ナル・プロセッサ)と称される集積回路構成のデジタル
音声処理回路13に供給する。このデジタル音声処理回
路13では、帯域分割,フィルタリングなどの処理で、
デジタル音声信号をベクトルデータとし、このベクトル
データを音声認識回路14に供給する。
記憶用ROM15が接続され、デジタル音声処理回路1
3から供給されるベクトルデータとの所定の音声認識ア
ルゴリズム(例えばHMM:隠れマルコフモデル)に従
った認識動作を行い、ROM15に記憶された音声認識
用音韻モデルから候補を複数選定し、その候補の中で最
も一致度の高い音韻モデルに対応して記憶された文字デ
ータを読出す。なお、本例の音声認識回路14は、音声
認識装置10内の各部の処理の制御を行う制御手段とし
ても機能するようにしてあり、後述するトークスイッチ
18の操作についても、この音声認識回路14が判断す
るようにしてある。
M15のデータ記憶状態について説明すると、本例の場
合には、地名と、ナビゲーション装置の操作を指示する
言葉だけを認識するようにしてあり、地名としては、図
4に記憶エリアの設定状態を示すように、国内の都道府
県と、市区町村の名前だけを登録させてあり、各都道府
県と市区町村毎に、その地名の文字コードと、地名を音
声認識させるためのデータである音韻モデルが記憶させ
てある。
市区町村の数は約3500であり、この約3500の地
名が記憶されることになる。但し、「××町」の地名の
場合には、「××マチ」と発音した場合のデータと、
「××チョウ」と発音した場合のデータとの双方が記憶
させてある。同様に、「××村」の地名の場合には、
「××ソン」と発音した場合のデータと、「××ムラ」
と発音した場合のデータとの双方が記憶させてある。
区町村などのように、都道府県名を間違えて覚える可能
性の高い市区町村名については、間違えやすい都道府県
名を付与させて登録させてある。即ち、例えば正しい例
である「カナガワケン カワサキシ(神奈川県川崎
市)」と登録させると共に、間違った例である隣接した
都道府県名を付与させた「トウキョウト カワサキシ
(東京都川崎市)」としても登録させる。
る言葉としては、「目的地」,「出発地」,「経由
地」,「自宅」などの表示位置を指示する言葉や、「今
何時」(現在時刻を聞く指令),「今どこ」(現在位置
を聞く指令),「次は」(次の交差点を聞く指令),
「あとどれくらい」(目的地までの距離を聞く指令),
「速度は」(現在速度を聞く指令),「高度は」(現在
の高度を聞く指令),「進行方向は」(進行方向を聞く
指令),「一覧表」(認識できる指令の一覧表をディス
プレイに表示させるための指令)等のその他の各種操作
指令を行う言葉の文字コードと、その言葉に対応する音
韻モデルが記憶させてある。
ルデータから、所定の音声認識アルゴリズムを経て得ら
れた認識結果に一致する、音韻モデルに対応した文字コ
ードが、地名の文字コードである場合には、この文字コ
ードを、ROM15から読出す。そして、この読出され
た文字コードを、経緯度変換回路16に供給する。この
経緯度変換回路16には経緯度変換データ記憶用ROM
17が接続され、音声認識回路14から供給される文字
データに対応した経緯度データ及びその付随データをR
OM17から読出す。
OM17のデータ記憶状態について説明すると、本例の
場合には、音声認識データ記憶用ROM15に記憶され
た地名の文字コードと同じ文字コード毎に記憶エリアが
設定され、図5に示すように、各文字コード毎に、その
文字で示される地名の緯度と経度のデータと、付随する
データとして表示スケールのデータとが記憶させてあ
る。また、音声認識データ記憶用ROM15から読出さ
れた文字コードとしては、カタカナによる文字コードと
してあるが、この経緯度変換データ記憶用ROM17に
は、カタカナによる文字コードと、表示用の漢字,平仮
名,カタカナ等を使用した文字コードについても記憶さ
せてある。
度のデータとしては、その地名で示される地域の役所
(市役所,区役所,町役場,村役場)の所在地の絶対位
置を示す緯度と経度のデータとしてある。また、付随デ
ータとして、表示用の文字コードと表示スケールのデー
タを、緯度と経度のデータと共に出力するようにしてあ
る。この表示スケールのデータとしては、その地名で示
される地域の大きさに応じて設定された表示スケールの
データとしてあり、例えば数段階に表示スケールを指示
するデータとしてある。
7から読出された経緯度データ及びその付随データを、
音声認識装置10の出力として出力端子10aに供給す
る。また、音声認識回路14で一致が検出された入力音
声の文字コードのデータを、音声認識装置10の出力と
して出力端子10bに供給する。この出力端子10a,
10bに得られるデータは、ナビゲーション装置20に
供給する。なお、本例の音声認識装置10には、ロック
されない開閉スイッチ(即ち押されたときだけオン状態
になるスイッチ)であるトークスイッチ18が設けら
れ、このトークスイッチ18が押されている間に、マイ
クロフォン11が拾った音声信号だけを、アナログ/デ
ジタル変換器12から経緯度変換回路16までの回路で
上述した処理を行うようにしてある。
チ18が一度所定期間押されて、その間に入力した音声
信号により、アナログ/デジタル変換器12から経緯度
変換回路16までの回路で上述した処理が実行されてい
る間に、音声認識回路14で再度トークスイッチ18が
所定期間押されたことを判別したときには、音声認識装
置10内で現在実行中の処理を中断させて、新たにトー
クスイッチ18が押された期間に入力した音声信号につ
いての音声認識処理からやり直すようにしてある。
識回路14からは、端子10bを介してナビゲーション
装置20側に上述した文字コード以外の各種制御データ
についても伝送できるようにしてあり、例えば音声出力
処理や地図データの作成処理を中断させる制御データを
ナビゲーション装置20側に送ることもある。
ゲーション装置20の構成について説明する。このナビ
ゲーション装置20は、GPS用アンテナ21を備え、
このアンテナ21が受信したGPS用衛星からの測位用
信号を、現在位置検出回路22で受信処理し、この受信
したデータを解析して、現在位置を検出する。この検出
した現在位置のデータとしては、そのときの絶対的な位
置である緯度と経度のデータである。
を、演算回路23に供給する。この演算回路23は、ナ
ビゲーション装置20による動作を制御するシステムコ
ントローラとして機能する回路で、道路地図データが記
憶されたCD−ROM(光ディスク)がセットされて、
このCD−ROMの記憶データを読出すCD−ROMド
ライバ24と、データ処理に必要な各種データを記憶す
るRAM25と、このナビゲーション装置が搭載された
車両の動きを検出する車速センサ26と、操作キー27
とが接続させてある。そして、現在位置などの経緯度の
座標データが得られたとき、CD−ROMドライバ24
にその座標位置の近傍の道路地図データを読出す制御を
行う。そして、CD−ROMドライバ24で読出した道
路地図データをRAM25に一時記憶させ、この記憶さ
れた道路地図データを使用して、道路地図を表示させる
ための表示データを作成する。このときには、自動車内
の所定位置に配置された操作キー27の操作などにより
設定された表示スケール(縮尺)で地図を表示させるよ
うな表示データとする。
ータを、映像信号生成回路28に供給し、この映像信号
生成回路28で表示データに基づいて所定のフォーマッ
トの映像信号を生成させ、この映像信号を出力端子20
cに供給する。
る映像信号を、ディスプレイ装置40に供給し、このデ
ィスプレイ装置40で映像信号に基づいた受像処理を行
い、ディスプレイ装置40の表示パネルに道路地図など
を表示させる。
地図を表示させる他に、操作キー27の操作などで指示
された位置の道路地図なども、演算回路23の制御に基
づいて表示できるようにしてある。また、操作キー27
の操作などに基づいて、「目的地」,「出発地」,「経
由地」,「自宅」などの特定の座標位置を登録すること
ができるようにしてある。この特定の座標位置を登録し
た場合には、その登録した座標位置のデータ(経度と緯
度のデータ)をRAM25に記憶させる。
出したときには、演算回路23が操作キー27の操作の
内の比較的簡単な操作以外の操作を受け付けないように
してある。
律航法部29を備え、自動車側のエンジン制御用コンピ
ュータ等から供給される車速に対応したパルス信号に基
づいて、自動車の正確な走行速度を演算すると共に、自
律航法部29内のジャイロセンサの出力に基づいて進行
方向を検出し、速度と進行方向に基づいて決められた位
置からの自律航法による現在位置の測位を行う。例えば
現在位置検出回路22で位置検出ができない状態になっ
たとき、最後に現在位置検出回路22で検出できた位置
から、自律航法による測位を行う。
が接続させてあり、演算回路23で音声による何らかの
指示が必要な場合には、音声合成回路31でこの指示す
る音声の合成処理を実行させ、音声合成回路31に接続
されたスピーカ32から音声を出力させるようにしてあ
る。例えば、「目的地に近づきました」,「進行方向は
左です」などのナビゲーション装置として必要な各種指
示を音声で行うようにしてある。また、この音声合成回
路31では、音声認識装置10で認識した音声を、供給
される文字データに基づいて音声合成処理して、スピー
カ32から音声として出力させるようにしてある。その
処理については後述する。
音声認識装置10の出力端子10a,10bから出力さ
れる経緯度データとその付随データ及び文字コードのデ
ータが供給される入力端子20a,20bを備え、この
入力端子20a,20bに得られる経緯度データとその
付随データ及び文字コードのデータを、演算回路23に
供給する。
ータなどが音声認識装置10側から供給されるとき、そ
の経度と緯度の近傍の道路地図データをCD−ROMド
ライバ24でディスクから読出す制御を行う。そして、
CD−ROMドライバ24で読出した道路地図データを
RAM25に一時記憶させ、この記憶された道路地図デ
ータを使用して、道路地図を表示させるための表示デー
タを作成する。このときには、供給される経度と緯度が
中心に表示される表示データとすると共に、経緯度デー
タに付随する表示スケールで指示されたスケール(縮
尺)で地図を表示させるような表示データとする。
信号生成回路28で映像信号を生成させ、ディスプレイ
装置40に、音声認識装置10から指示された座標位置
の道路地図を表示させる。
からナビゲーション装置の操作を指示する言葉の文字コ
ードが供給される場合には、その操作を指示する言葉の
文字コードを演算回路23で判別すると、対応した制御
を演算回路23が行うようにしてある。この場合、「目
的地」,「出発地」,「経由地」,「自宅」などの表示
位置を指示する言葉の文字コードである場合には、この
表示位置の座標がRAM25に登録されているか否か判
断した後、登録されている場合には、その位置の近傍の
道路地図データをCD−ROMドライバ24でディスク
から読出す制御を行う。
ら、認識した音声の発音を示す文字コードのデータが供
給されるときには、その文字コードで示される言葉を、
音声合成回路31で合成処理させ、音声合成回路31に
接続されたスピーカ32から音声として出力させるよう
にしてある。例えば、音声認識装置10側で「トウキョ
ウト ブンキョウク(東京都文京区)」と音声認識した
とき、この認識した発音の文字列のデータに基づいて
「トウキョウト ブンキョウク」と発音させる音声信号
を生成させる合成処理を、音声合成回路31で行い、そ
の生成された音声信号をスピーカ32から出力させる。
0で音声認識を行った場合に、ナビゲーション装置20
の端子20aに経度,緯度のデータが供給されるのと、
端子20bに認識した音声の発音を示す文字コードのデ
ータが供給されるのが、ほぼ同時であるが、演算回路2
3では最初に音声合成回路31で認識した言葉を音声合
成させる処理を実行させ、次に経度,緯度のデータに基
づいた道路地図の表示データの作成処理を実行させるよ
うにしてある。
ション装置20を使用して、道路地図表示などを行う場
合の動作を説明する。まず、音声認識装置10での音声
認識動作を、図6のフローチャートに示すと、最初にト
ークスイッチ18がオンか否か判断し(ステップ10
1)、このトークスイッチ18がオンとなったことを判
別した場合には、そのオンとなった期間にマイクロフォ
ン11が拾った音声信号を、アナログ/デジタル変換器
12でサンプリングさせ、デジタル音声処理回路13で
処理させて、ベクトルデータ化させる(ステップ10
2)。そして、このベクトルデータに基づいて音声認識
回路14で音声認識処理させる(ステップ103)。
に記憶された地名(即ち予め登録された地名)の音声を
認識したか否か判断し(ステップ104)、登録された
地名の音声を認識した場合には、認識した地名を発音さ
せるための文字データをROM15から読出して出力端
子10bから出力させる(ステップ105)と共に、認
識した地名の経度,緯度のデータを経緯度変換回路16
に接続された経緯度変換データ記憶用ROM17から読
出す(ステップ106)。ここでの地名の音声認識とし
ては、本例のROM15に登録された地名が、国内の都
道府県と、市区町村の名前であるので、例えば「××県
××市」と言う音声や、「××市 ××区」(ここで
は区の場合には都道府県を省略しても認識できるように
してある)と言う音声を認識する。
経度,緯度のデータと付随データとを、出力端子10a
から出力させる(ステップ107)。
名の音声を認識できなかった場合には、地名以外の登録
された特定の音声を認識したか否か判断する(ステップ
108)。ここで、地名以外の登録された特定の音声を
認識した場合には、識別した音声に対応した文字コード
を判別し(ステップ109)、その判別した文字コード
を出力端子10bから出力させる(ステップ110)。
れた特定の音声も認識できなかった場合には、このとき
の処理を終了する。或いは、音声認識できなかったこと
を、ナビゲーション装置20側に指示し、音声合成回路
31での音声合成又はディスプレイ装置40で表示され
る文字などで警告する。
を、図7のフローチャートに示すと、まず演算回路23
では現在位置の表示モードが設定されているか否か判断
する(ステップ201)。そして、現在位置の表示モー
ドが設定されていると判断したときには、現在位置検出
回路22で現在位置の測位を実行させ(ステップ20
2)、その測位した現在位置の近傍の道路地図データを
CD−ROMから読出させ(ステップ203)、その読
出した道路地図データに基づいた道路地図の表示処理を
行い、ディスプレイ装置40に対応した座標位置の道路
地図を表示させる(ステップ204)。
モードが設定されてないと判断したとき、或いはステッ
プ204での現在位置の道路地図の表示処理が終了し、
その道路地図が表示された状態となっているときに、音
声認識装置10から入力端子20a,20bを介して経
度,緯度データなどが供給されるか否か判断する(ステ
ップ205)。ここで、経度,緯度データとそれに付随
する文字データなどが供給されたことを判別したときに
は、まず端子20bを介して供給される発音用の文字コ
ードを音声合成回路31に供給して、音声認識装置10
で認識した音声を音声合成させてスピーカ32から出力
させる(ステップ206)。続いて、経度,緯度データ
で示される位置の近傍の道路地図データをCD−ROM
から読出させ(ステップ207)、その読出した道路地
図データに基づいた道路地図の表示処理を行い、ディス
プレイ装置40に対応した座標位置の道路地図を表示さ
せる(ステップ208)。
0から経度,緯度データが供給されないと判断したと
き、或いはステップ208での指定された地名の道路地
図の表示処理が終了し、その道路地図が表示された状態
となっているときに、音声認識装置10から入力端子2
0bを介して表示位置を直接指示する文字コードが供給
されるか否か判断する(ステップ209)。そして、端
子20bから文字コードが供給されたと判断したときに
は、その文字コードを音声合成回路31に供給して、音
声認識装置10で認識した音声をスピーカ32から出力
させる(ステップ210)。そして次に、ステップ20
9で表示位置を直接指示する文字コード(即ち「目的
地」,「出発地」,「経由地」,「自宅」などの言葉)
を判別したときには、これらの文字で指示された座標位
置がRAM25に登録されているか否か判断し(ステッ
プ211)、登録されている場合には、その登録された
座標位置である経度,緯度データで示される位置の近傍
の道路地図データをCD−ROMから読出させ(ステッ
プ212)、その読出した道路地図データに基づいた道
路地図の表示処理を行い、ディスプレイ装置40に対応
した座標位置の道路地図を表示させ(ステップ21
3)、この表示が行われた状態で、ステップ201の判
断に戻る。
指示する文字コードが音声認識装置10から供給されな
いと判断したときには、操作キー27の操作により、表
示位置を指定する操作があるか否か演算回路23で判断
する(ステップ214)。そして、この表示位置を指定
する操作がある場合には、車速センサ26の検出データ
を判断して、現在車両が走行中か否か判断する(ステッ
プ215)。そして、走行中であると演算回路23が判
断したときには、そのときの操作を無効とし、ステップ
201の判断に戻る(このとき何らかの警告を行うよう
にしても良い)。
きに、ステップ211に移り、登録された座標があるか
否か判断した後、登録された座標位置がある場合には、
その位置の道路地図の表示処理(ステップ212,21
3)を行った後、ステップ201の判断に戻る。
「出発地」,「経由地」,「自宅」などの対応した位置
の座標の登録がない場合には、音声合成回路31での音
声合成又はディスプレイ装置40での文字表示で、未登
録を警告させ(ステップ216)、ステップ201の判
断に戻る。
図表示に関係する処理について説明したが、音声認識装
置10側から地図表示以外の操作を指示する音声を認識
した結果による文字コードが供給される場合には、演算
回路23の制御に基づいて、対応した処理を行うように
してある。例えば、「イマナンジ」などと認識して文字
コードが供給されるとき、演算回路23の制御に基づい
て、現在時刻を発音させる音声を音声合成回路31で合
成させてスピーカ32から出力させるようにしてある。
その他の指令についても、回答の音声を音声合成回路3
1で合成させてスピーカ32から出力させるか、或いは
該当する表示をディスプレイ装置40で行うように処理
する。
の動作とナビゲーション装置20での動作の内で、音声
認識に基づいた地図表示に処理に関連した処理動作を、
図8のフローチャートに示す。このフローチャートで
は、一旦音声入力があった後に、再度音声入力があった
場合の処理を中心として示す。
8がオン状態になったか否か判断し(ステップ30
1)、発話が開始されたと判断すると、入力された音声
信号の音声認識処理を開始する(ステップ302)。そ
して、発話が終了、即ちトークスイッチ18がオフ状態
になったか否か判断し(ステップ303)、発話が終了
したと判断すると、その時点で入力された全ての音声信
号に対して音声認識処理を行う(ステップ304)。そ
して、認識処理が終了したか否か判断する(ステップ3
05)。
合(即ち認識処理が継続して行われている間)には、ス
テップ306に移って、発話開始か(即ちトークスイッ
チ18が押されたか)否か判断する。そして、発話開始
が判断されない場合には、ステップ304に戻って認識
処理を継続させる。そして、ステップ306で発話開始
が判断された場合には、今までの認識処理を中止させる
(ステップ307)。そして、ステップ302に戻っ
て、新たに入力した音声信号による認識処理を開始させ
る。
判断された場合には、ステップ308に移って、音声合
成回路31での音声合成によるスピーカ32からの認識
音声の出力処理が行われる。ここで、この音声がスピー
カ32から出力されている間に、発話開始か(即ちトー
クスイッチ18が押されたか)否か判断する(ステップ
309)。このとき、発話開始が判断された場合には、
音声合成回路31での音声合成処理を中断させる制御デ
ータを、音声認識装置10内の音声認識回路14から、
ナビゲーション装置20内の演算回路23に送って、音
声合成回路31での音声合成処理を中止させる。そし
て、ステップ302に戻って、新たに入力した音声信号
による認識処理を開始させる。
されない場合には、音声合成回路31での音声合成によ
る認識音声の出力が終了したと判断された後(ステップ
311)、ディスプレイ装置40で対応した位置の地図
表示を実行させ(ステップ312)、音声認識による地
図表示の処理を終了する。
音声入力により表示位置を全国どこでも自由に設定する
ことができ、簡単に所望の位置の道路地図を表示させる
ことができる。即ち、例えば操作者がトークスイッチ1
8を押しながら、マイクロフォン11に向かって「××
県 ××市」や「××市 ××区」と話すだけで、その
音声が認識されて、その地域の道路地図が表示されるの
で、キー操作で位置の指示などを行う必要がなく、例え
ばキー操作が困難な状況であっても、ナビゲーション装
置の操作ができる。この場合、本例においては音声認識
装置10で認識する地名の音声を、国内の都道府県と、
市区町村の名前に限定したので、認識する音声の数が比
較的少ない数(約3500)に制限され、音声認識装置
10内の音声認識回路14で比較的少ない処理量による
短時間での音声認識処理で、地名を認識でき、入力した
音声により指示された地図が表示されるまでの時間を短
縮することができると共に、認識する地名の数が限定さ
れることで、認識率自体も向上する。
字列をナビゲーション装置20側の音声合成回路31で
の音声合成で、音声として出力させるようにしたので、
操作者は入力させた音声が正しく認識されたか否か、出
力音声を聞くだけで判断でき、表示される地図が正しい
地域の地図か否か、表示される地図を実際に見なくても
直ちに判断できる。従って、音声入力による誤動作、即
ち音声で指示した場所とは異なる地域の地図を表示させ
てしまう誤動作を、防止できる。
どを指示した後に、その音声の処理が音声認識装置10
内で行われている間に、再度トークスイッチ18を押し
て、新たに音声により地域などを指示した場合には、音
声認識装置10内での処理が中止されて、新たに入力さ
れた音声による認識処理が実行されるので、誤入力など
があった場合に便利である。例えば、音声として入力さ
せて都道府県名や市区町村名に間違いがあった場合に
は、再度トークスイッチ18を押して言い直すだけで、
間違いを訂正することができ、各種操作を指示するキー
27を操作して、入力間違いがあったことを指示するよ
うな操作をする場合に比べて、非常に簡単に誤入力の訂
正ができる。特に、自動車の運転中などの複雑なキー操
作が困難な状況であっても、簡単に音声入力の間違いが
訂正でき、本例の如きナビゲーション装置に好適であ
る。
は、図8のフローチャートに示すように、認識された音
声の出力が行われている間は有効であるので、例えばス
ピーカ32から出力される音声が、運転者が話したつも
りの音声とは違う音声である場合(即ち音声認識回路1
4で誤認識がされた場合)にも、再度同じ地域名の音声
を入力し直すことで、再度認識処理を実行させることが
でき、簡単な操作で誤認識時の対処ができる。
成回路31での音声合成によってスピーカ32から認識
された音声を出力させている間まで、再入力を受け付け
るようにしたが、この音声が出力された後に、地図デー
タを読出してディスプレイ装置40に道路地図が表示さ
れるまでの間についても、発話が開始されたとき、地図
表示を中断させて、新たに入力された音声による認識処
理から行うようにしても良い。
内のROM17に記憶させておく地名に対応した座標位
置のデータとして、その地域の役所(市役所,区役所,
町役場,村役場)の所在地の絶対位置を示す緯度と経度
のデータとしてあるので、その地域の役所を中心とした
地図が表示され、良好な表示状態となる。即ち、各地域
の役所は、その地域の中心部に存在することが比較的多
く、最も良好な表示形態となる可能性が高い。
尺)を、ROM17に記憶された付随データで示される
表示スケールに設定するようにしたので、例えばそのと
きに音声で指示された地域のほぼ全域を表示させるよう
な表示形態が可能になり、良好な表示ができる。なお、
この表示スケールは、常時固定された所定のスケールで
表示させるようにしても良い。この表示スケールを可変
させるか固定させるかの設定は、例えばモード設定によ
り切換えるようにすれば良い。
地名以外の場所を特定するための音声(「目的地」,
「出発地」,「経由地」,「自宅」など)についても認
識できるようにしてあるので、これらの指示を音声で行
って直接表示位置を登録された位置に設定させることも
できる。この場合には、音声認識装置10内では座標デ
ータの判断が必要ないので、それだけ音声認識装置10
での処理が迅速にできる。
市区町村の名前を音声認識する場合に、「町」と「村」
については、「マチ」や「ソン」と発音した場合と「チ
ョウ」や「ムラ」と発音した場合の双方について、同一
の地名であると認識するようにしたので、「町」と
「村」の発音を誤った場合でも、地名自体は正しく認識
でき、それだけ認識率が向上する。また、都道府県名が
間違いやすい市区町村名については、間違えた場合でも
正しく認識できるようにしたので、この点からも認識率
が向上する。
する地名を、国内の都道府県と、市区町村の名前に限定
したが、より細かい地名や目標物の名前などまで認識す
るようにしても良い。但し、認識できる地名などを多く
すると、それだけ音声認識に必要な処理量と処理時間が
多く必要になり、認識率を高くするためからも、市区町
村の名前程度に限定するのが最も好ましい。
標を、その地域の役所(市役所,区役所,町役場,村役
場)の所在地の絶対位置を示す緯度と経度のデータとし
たが、その他の位置を示す緯度と経度のデータとしても
良い。例えば、単純にその地域(市区町村)の中心の緯
度と経度のデータとしても良い。
タを記憶させる代わりに、その地域の東西南北の端部の
座標位置のデータを記憶させるようにしても良い。この
場合には、東西の経度と南北の緯度の4つのデータがあ
れば良い。また、この東西南北の端部の座標位置のデー
タを記憶させる場合には、その範囲が表示されるよう
に、自動的に演算回路23で表示スケールを設定させる
ことが可能になり、表示スケールの自動的設定を行う場
合でも、表示スケールのデータを記憶させる必要がなく
なる。
声認識回路14で、認識した音声を文字コードに変換し
てから、この文字コードを経緯度変換回路16で経度,
緯度のデータに変換するようにしたが、認識した音声よ
り直接経度,緯度のデータに変換するようにしても良
い。また、このように直接経度,緯度のデータに変換さ
せない場合でも、これらの変換データを記憶するROM
15とROM17は、同一のメモリで構成させて、例え
ば地名の記憶エリアを共用するようにしても良い。
位システムを使用したナビゲーション装置に適用した
が、他の測位システムによるナビゲーション装置にも適
用できることは勿論である。
た音声信号による処理が実行中に、新たな音声信号が入
力したときには、実行中の処理が中断されて、新たに入
力した音声信号の処理が実行されるので、例えば音声で
特定の地域を指示するときに、地名などを誤ったとき、
正しい地名を言い直すだけで、正しい音声による認識処
理以降の処理が実行されるようになり、入力をキャンセ
ルするための複雑なキーなどを行うことなく、簡単に誤
入力時などの対処ができる。
れた音声の出力中に、再度別の音声が入力されたとき、
音声の出力処理を中断して、再度入力された音声の識別
処理を行うようにしたことで、認識された音声の出力で
誤認識されたことが判った場合の対処が、再度の音声入
力だけで簡単にできるようになる。
した音声信号による処理が実行中に、新たな音声信号が
入力したときには、実行中の処理が中断されて、新たに
入力した音声信号の処理が実行されるので、例えば音声
で特定の地域を指示するときに、地名などを誤ったと
き、正しい地名を言い直すだけで、正しい音声による認
識処理以降の処理が実行されるようになり、入力をキャ
ンセルするための複雑なキーなどを行うことなく、簡単
に誤入力時などの対処ができる。
れた音声の出力中に、再度別の音声が入力されたとき、
音声の出力処理を中断して、再度入力された音声の識別
処理を行うようにしたことで、認識された音声の出力で
誤認識されたことが判った場合の対処が、再度の音声入
力だけで簡単にできるようになる。
と、入力した音声信号による地図表示のための処理が実
行中に、新たな音声信号が入力したときには、実行中の
処理が中断されて、新たに入力した音声信号による地図
表示処理が実行されるので、例えば音声で特定の地域を
指示するときに、地名などを誤ったとき、正しい地名を
言い直すだけで、正しい音声による地域名が認識され
て、正しい位置の地図が表示されるようになり、誤って
音声を入力させた場合の対処が音声により簡単にできる
ようになる。また、このナビゲーション装置において、
認識された音声の出力中に、再度別の音声が入力された
とき、音声の出力処理を中断して、再度入力された音声
の識別処理を行うようにしたことで、認識された音声の
出力で誤認識されたことが判った場合の対処が、再度の
音声入力だけで簡単にできるようになる。
力した音声信号による地図表示のための処理が実行中
に、新たな音声信号が入力したときには、実行中の処理
が中断されて、新たに入力した音声信号による地図表示
処理が実行されるので、例えば音声で特定の地域を指示
するときに、地名などを誤ったとき、正しい地名を言い
直すだけで、正しい音声による地域名が認識されて、正
しい位置の地図が表示されるようになり、誤って音声を
入力させた場合の対処が音声により簡単にできるように
なる。
された音声の出力中に、再度別の音声が入力されたと
き、音声の出力処理を中断して、再度入力された音声の
識別処理を行うようにしたことで、認識された音声の出
力で誤認識されたことが判った場合の対処が、再度の音
声入力だけで簡単にできるようになる。
声信号による自動車内の表示手段での地図表示のための
処理が実行中に、新たな音声信号が入力したときには、
実行中の処理が中断されて、新たに入力した音声信号に
よる地図表示処理が実行されるので、例えば音声で特定
の地域を指示するときに、地名などを誤ったとき、正し
い地名を言い直すだけで、正しい音声による地域名が認
識されて、正しい位置の地図が自動車内の表示手段に表
示されるようになり、運転などを邪魔することなく、簡
単に誤入力時の対処ができるようになる。
す斜視図である。
転席の近傍を示す斜視図である。
構成を示す説明図である。
ア構成を示す説明図である。
ャートである。
示すフローチャートである。
示すフローチャートである。
Claims (10)
- 【請求項1】 音声信号入力手段と、 該音声信号入力手段に入力された音声信号から、所定の
音声を認識する処理を行う音声処理部と、 該音声処理部が認識した音声を出力する音声出力部と、 上記音声処理部が認識した音声に基づいた制御データに
変換する変換部と、 該変換部で変換された制御データを出力する制御データ
出力部と、 上記音声信号入力手段に入力された音声信号の上記音声
処理部又は上記変換部での処理中に新たな音声信号の上
記音声信号入力手段への入力を判別し、これを判別した
とき実行中の処理を中断させて新たな入力音声信号を上
記音声処理部で処理させる制御手段とを備えた音声認識
装置。 - 【請求項2】 認識した音声を上記音声出力部から出力
させているときに、上記制御手段が新たな音声信号の上
記音声信号入力手段への入力を判別したとき、この音声
出力を中断させて、新たな入力音声信号を上記音声処理
部で処理させるようにした請求項1記載の音声認識装
置。 - 【請求項3】 入力した音声信号から所定の音声を認識
し、 この認識した音声を出力し、 上記認識した音声に基づいた制御データに変換して出力
し、 入力した音声信号の認識処理中又は制御データへの変換
処理中に新たな音声信号が入力したとき、実行中の処理
を中断させて新たな入力音声信号の認識処理を実行させ
るようにした音声認識方法。 - 【請求項4】 認識した音声を出力させているときに、
新たな音声信号の入力を判別したとき、この音声出力を
中断させて、新たな入力音声信号を認識処理させるよう
にした請求項3記載の音声認識方法。 - 【請求項5】 音声信号入力手段と、 該音声信号入力手段に入力された音声信号から、少なく
とも特定の地域を示す音声を認識する処理を行う音声処
理部と、 該音声処理部が認識した特定の地域を示す音声を出力す
る音声出力部と、 上記音声処理部が認識した特定の地域のデータを、この
地域の絶対的な座標位置データに変換する変換部と、 地図データの記憶手段と、 上記変換部で変換された座標位置データで示される位置
の地図データを上記記憶手段から読出して、地図表示用
映像信号を作成する地図データ読出し手段と、 上記音声信号入力手段に入力された音声信号の上記音声
処理部,上記変換部,上記地図データ読出し手段のいず
れかでの処理中に新たな音声信号の上記音声信号入力手
段への入力を判別し、これを判別したとき実行中の処理
を中断させて新たな入力音声信号を上記音声処理部で処
理させる制御手段とを備えたナビゲーション装置。 - 【請求項6】 認識した特定の地域を示す音声を上記音
声出力部から出力させているときに、上記制御手段が新
たな音声信号の上記音声信号入力手段への入力を判別し
たとき、この音声出力を中断させて、新たな入力音声信
号を上記音声処理部で処理させるようにした請求項5記
載のナビゲーション装置。 - 【請求項7】 上記音声処理部で、特定の地域を示す音
声以外の予め決められた指令の音声を認識するように
し、 この指令の音声を認識したとき、この指令に対応した処
理を行うようにした請求項5記載のナビゲーション装
置。 - 【請求項8】 入力した音声信号から特定の地域を示す
音声を認識し、 この認識した特定の地域の音声を、音声として出力し、 この認識した特定の地域のデータを、この地域の絶対的
な座標位置データに変換し、 この変換された座標位置データで示される位置の地図デ
ータを表示し、 入力した音声信号の認識処理から地図データを作成させ
るまでの処理中に新たな音声信号が入力したとき、実行
中の処理を中断させて新たな入力音声信号の認識処理を
実行させるようにしたナビゲート方法。 - 【請求項9】 認識した特定の地域を示す音声を出力さ
せているときに、新たな音声信号の入力を判別したと
き、この音声出力を中断させて、新たな入力音声信号を
認識処理させるようにした請求項8記載のナビゲート方
法。 - 【請求項10】 車内の所定位置に配された表示手段
に、地図を表示させる装置を備えた自動車において、 音声信号入力手段と、 該音声信号入力手段に入力された音声信号から、特定の
地域の音声を認識する処理を行う音声処理部と、 該音声処理部が認識した特定の地域の音声を出力する音
声出力部と、 上記音声処理部が認識した特定の地域のデータを、この
地域の絶対的な座標位置データに変換する変換部と、 地図データの記憶手段と、 上記変換部で変換された座標位置データで示される位置
の地図データを上記記憶手段から読出して、地図表示用
映像信号を作成して上記表示手段に供給する地図データ
読出し手段と、 上記音声信号入力手段に入力された音声信号の上記音声
処理部,上記変換部,上記地図データ読出し手段のいず
れかでの処理中に新たな音声信号の上記音声信号入力手
段への入力を判別し、これを判別したとき実行中の処理
を中断させて新たな入力音声信号を上記音声処理部で処
理させる制御手段とを備えた自動車。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7267540A JP2877045B2 (ja) | 1995-10-16 | 1995-10-16 | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 |
US08/731,158 US6067521A (en) | 1995-10-16 | 1996-10-10 | Interrupt correction of speech recognition for a navigation device |
KR1019960046103A KR100455108B1 (ko) | 1995-10-13 | 1996-10-15 | 음성인식장치,음성인식방법,지도표시장치,네비게이션장치,네비게이션방법및네비게이션기능을갖춘자동차 |
US09/108,826 US6253174B1 (en) | 1995-10-16 | 1998-07-01 | Speech recognition system that restarts recognition operation when a new speech signal is entered using a talk switch |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7267540A JP2877045B2 (ja) | 1995-10-16 | 1995-10-16 | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09114486A true JPH09114486A (ja) | 1997-05-02 |
JP2877045B2 JP2877045B2 (ja) | 1999-03-31 |
Family
ID=17446246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7267540A Expired - Lifetime JP2877045B2 (ja) | 1995-10-13 | 1995-10-16 | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2877045B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020883A (ja) * | 2002-06-17 | 2004-01-22 | Fujitsu Ten Ltd | 音声認識装置及びナビゲーション装置 |
CN106847274A (zh) * | 2016-12-26 | 2017-06-13 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
-
1995
- 1995-10-16 JP JP7267540A patent/JP2877045B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020883A (ja) * | 2002-06-17 | 2004-01-22 | Fujitsu Ten Ltd | 音声認識装置及びナビゲーション装置 |
CN106847274A (zh) * | 2016-12-26 | 2017-06-13 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN106847274B (zh) * | 2016-12-26 | 2020-11-17 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2877045B2 (ja) | 1999-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2907079B2 (ja) | ナビゲーション装置,ナビゲート方法及び自動車 | |
JPH09114489A (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
US6253174B1 (en) | Speech recognition system that restarts recognition operation when a new speech signal is entered using a talk switch | |
JP2000510944A (ja) | データ記憶のためにオーディオcdプレイヤーを利用するナビゲーションシステム | |
JPH09292255A (ja) | ナビゲーション方法及び装置 | |
JP2947143B2 (ja) | 音声認識装置及びナビゲーション装置 | |
JP3677833B2 (ja) | ナビゲーション装置,ナビゲート方法及び自動車 | |
JP2000338993A (ja) | 音声認識装置、その装置を用いたナビゲーションシステム | |
JP2003323192A (ja) | 単語辞書登録装置および単語辞書登録方法 | |
JPH09114488A (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
JPH08328584A (ja) | 音声認識装置、音声認識方法及びナビゲーション装置 | |
JP2877045B2 (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
JP3818352B2 (ja) | ナビゲーション装置及び記憶媒体 | |
JP3484818B2 (ja) | 音声認識装置及びナビゲーション装置 | |
JPH09114485A (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
JPH09114369A (ja) | ナビゲーション装置,ナビゲート方法及び自動車 | |
JPH09113287A (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
JPWO2006028171A1 (ja) | データ提示装置、データ提示方法、データ提示プログラムおよびそのプログラムを記録した記録媒体 | |
JPH09114490A (ja) | 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車 | |
KR100455108B1 (ko) | 음성인식장치,음성인식방법,지도표시장치,네비게이션장치,네비게이션방법및네비게이션기능을갖춘자동차 | |
JPH1062198A (ja) | ナビゲーション装置 | |
KR100466737B1 (ko) | 네비게이션장치,네비게이션방법및자동차 | |
JPH08166797A (ja) | 音声対話型制御システム | |
JP4219047B2 (ja) | ナビゲーション装置、及び目的地設定方法 | |
JP2019211586A (ja) | 情報提供装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080122 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090122 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100122 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100122 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110122 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120122 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 15 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |