JP4694017B2 - In-vehicle speech recognition device - Google Patents
In-vehicle speech recognition device Download PDFInfo
- Publication number
- JP4694017B2 JP4694017B2 JP2001090079A JP2001090079A JP4694017B2 JP 4694017 B2 JP4694017 B2 JP 4694017B2 JP 2001090079 A JP2001090079 A JP 2001090079A JP 2001090079 A JP2001090079 A JP 2001090079A JP 4694017 B2 JP4694017 B2 JP 4694017B2
- Authority
- JP
- Japan
- Prior art keywords
- switch
- voice recognition
- vehicle
- unit
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、スイッチ操作により音声認識の開始と終了を制御する車載用音声認識装置に関する。
【0002】
【従来の技術】
一般に、操作者が音声認識制御用のスイッチを押したときに、音声認識が可能になる機能を備えた車載用音声認識装置が知られている。この種のものでは、常時、音声認識状態にある車載用音声認識装置に比べて、雑音等の誤認識を防げるため、安定した認識を可能にするという利点を有する。従来、音声認識が可能になった状態を操作者に知らせる手段として、情報機器のディスプレイ上に画像情報として認識可能を知らせる記号を表示したり、人形の耳を傾けたりする方法が提案されている。また、特開平7−250171号公報記載の発明のように、表示ランプで音声認識が可能になった状態を知らせる方法もある。
【0003】
【発明が解決しようとする課題】
しかしながら、車載用ナビゲーション装置等の車載用情報機器では、車両の安全運転を確保するために、画像情報として認識可能を知らせる記号を表示したり、人形の耳を傾けたり、表示ランプで認識可能を知らせる等の視覚情報による方法を採用することができない。
【0004】
一方、車載用音声認識装置を常時動作させておくことは、車両内の雑音による誤動作、および音声コマンド以外の会話中の発話による誤動作を引き起こすため、それを回避するアルゴリズムが必要になって制御が複雑化する。
【0005】
そこで、本発明の目的は、上述した従来技術が有する課題を解消し、操作者が視覚情報ではない方法で車載用音声認識装置の状況を認識することができる車載用音声認識装置を提供することにある。
【0006】
【課題を解決するための手段】
請求項1記載の発明は、音声認識する音声認識部と、音声認識の開始を指示するスイッチとを備えた車載用音声認識装置において、前記スイッチに力を作用させる力作用部を設け、前記スイッチが押し続けられている期間、前記音声認識部による音声認識が行われる構成とし、前記スイッチが押下された直後に発生する前記音声認識部の起動時間の間、前記力作用部を動作させると共に、前記スイッチが押し続けられている期間中、前記音声認識部による音声コマンドに対応した処理の実行に伴って音声認識ができない状態の間、前記力作用部を動作させることを特徴とする。
【0007】
請求項2記載の発明は、前記スイッチは、ハンドルに設置されていることを特徴とする。
【0009】
請求項3記載の発明は、請求項1又は2に記載の発明において、前記力作用部が振動子であることを特徴とする。
【0010】
請求項4記載の発明は、請求項1又は2に記載の発明において、前記力作用部がアクチュエータであることを特徴とする。
【0011】
請求項5記載の発明は、請求項1乃至4のいずれかに記載の発明において、音を発生する音発生部を有し、前記音声認識部が音声認識可能となったとき、前記音発生部が音を発することを特徴とする。
【0014】
請求項1乃至5のいずれかに記載の発明には、次の作用がある。
【0015】
スイッチにより音声認識の開始の操作をしたとき、車載用音声認識装置の状況に応じたスイッチに対する力の作用状況によって、操作者は視覚情報ではない方法で車載用音声認識装置の状況を認識することができる。
【0018】
請求項5に記載の発明には、次の作用がある。
【0019】
スイッチにより音声認識の開始の操作をしたとき、車載用音声認識装置の状況に応じた音情報とによって、操作者は視覚情報ではない方法で車載用音声認識装置の状況を認識することができる。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【0021】
〔A〕第一の実施の形態
図1は第一の実施の形態に係る車載用音声認識装置を示す。この車載用音声認識装置は、車載用情報機器に付設されており、音声認識制御用のスイッチ部1と、音声認識制御部2と、音声認識部3と、システム制御部4とを備えて構成されている。スイッチ部1はスイッチ5と振動子6とからなり、音声認識制御部2に有線又は無線によって接続される。このスイッチ部1は、例えば車両のハンドルに設置され着脱可能とし、不要な場合は取り外される。また、システム制御部4には音を発する音発生部(例えばチャイム7)が接続される。
【0022】
上記音声認識制御部2は、操作者がスイッチ5をオン操作した場合、音声コマンドの音声認識を可能にし、操作者がスイッチ5をオフ操作した場合、音声コマンドの音声認識を終了する機能を備えて構成される。ここで、スイッチ5のオン操作は、操作者がスイッチ5を押し続けることによって行われ、スイッチ5のオフ操作は操作者がスイッチ5を押すのを止めることによって行われる。
【0023】
上記構成において、スイッチ5によって図2Aに示すようにオン操作された場合、音声認識部3は音声認識制御部2によって起動される。この音声認識部3の起動には、図2Bに示すように起動時間tを要し、この起動時間tの期間は音声認識不可能な状態となる。システム制御部4はスイッチ5がオンされたことを受け、図2Bに示すように音声認識部3が音声認識不可能な状態にあるときは、図2Cに示すようにスイッチ部1の振動子6を振動させてスイッチ5を振動させる制御をする。
【0024】
音声認識部3が図2Bに示すように音声認識可能な状態になったときは、システム制御部4は図2Cに示すようにスイッチ部1の振動子6の振動を停止させてスイッチ5の振動を停止させる制御をすると同時に、システム制御部4によって図2Dに示すようにチャイム7により音情報が提供される。そして、操作者の発する音声コマンドを受けたとき、音声認識部3は音声コマンドに応じた処理を開始し、図2Bに示すように再び音声を受け付けない音声認識不可能な状態となる。そして、音声認識部3が図2Bに示すように再び音声認識可能な状態になったときは、前述の動作を繰り返し行う。
【0025】
スイッチ5によって図2Aに示すようにオフ操作された場合、音声認識部3は音声を受け付けない音声認識不可能な状態であり、スイッチ部1の振動子6も振動しない状態となる。
【0026】
以上のように構成されたことから、上記実施の形態は次の効果▲1▼〜▲3▼を奏する。
【0027】
▲1▼操作者がスイッチ5をオン操作した場合に、音声認識部3が音声認識不可能な状態を、操作者は振動子6によるスイッチ5の振動といった触覚情報によって認識できる。また、音声認識部3が音声認識可能な状態を、操作者は振動子6によるスイッチ5の振動の停止といった触覚情報やチャイム7の音情報の提供によって認識できる。この結果、操作者は視覚情報ではない方法で車載用音声認識装置の状況を認識することができる。
【0028】
▲2▼スイッチ5がハンドルに設置され手元にあることから、車両の運転者が操作者である場合は、車両の運転中にハンドルから手を離さずに、視覚情報ではなくスイッチ5の触覚情報による方法で車載用音声認識装置の状況を認識することができる。
【0029】
▲3▼スイッチ部1がハンドルに着脱可能とされたことから、例えば運転者が操作しない場合や運転者以外の者が操作者となる場合にスイッチ部1をハンドルから取り外すことができる。
【0030】
〔B〕第二の実施の形態
図3は第二の実施の形態に係る車載用音声認識装置を示し、この車載用音声認識装置は例えば遠隔制御器を有する車載用情報機器の一例として車載用ナビゲーション装置に搭載された場合を示す。この第二の実施の形態において、前記第一の実施の形態と同様な部分は、同一の符号を付すことにより説明を省略する。
【0031】
図3において、車載用ナビゲーション装置10は、車載用ナビゲーション装置本体11と遠隔制御器12とからなる。車載用音声認識装置の音声認識制御部2、音声認識部3及びシステム制御部4は、車載用ナビゲーション装置本体11に装備される。車載用音声認識装置のスイッチ部1はスイッチ5とアクチュエータ13とからなり、音声認識制御部2に有線又は無線によって接続され、遠隔制御器12に装備される。また、システム制御部4には音を発する音発生部(例えばチャイム7)が接続される。
【0032】
上記構成において、スイッチ5によって図4Aに示すようにオン操作された場合、音声認識部3は音声認識制御部2によって起動される。この音声認識部3の起動には、図4Bに示すように起動時間tを要し、この起動時間tの期間は音声認識不可能な状態となる。システム制御部4はスイッチ5がオンされたことを受け、図4Bに示すように音声認識部3が音声認識不可能な状態にあるときは、図4Cに示すようにスイッチ部1のアクチュエータ13を動作させてスイッチ5に反発力が加わる制御をする。
【0033】
音声認識部3が図4Bに示すように音声認識可能な状態になったときは、システム制御部4は図4Cに示すようにスイッチ部1のアクチュエータ13の動作を停止させてスイッチ5に反発力が加わらない制御をすると同時に、システム制御部4によって図4Dに示すようにチャイム7の音情報が提供される。そして、操作者の発する音声コマンドを受けたとき、音声認識部3は音声コマンドに応じた処理を開始し、図4Bに示すように再び音声を受け付けない音声認識不可能な状態となる。そして、音声認識部3が図4Bに示すように再び音声認識可能な状態になったときは、前述の動作を繰り返し行う。
【0034】
スイッチ5によって図4Aに示すようにオフ操作された場合、音声認識部3は音声を受け付けない音声認識不可能な状態であり、スイッチ部1のアクチュエータ13の動作も停止してスイッチ5に反発力が停止した状態となる。
【0035】
以上のように構成されたことから、上記実施の形態は次の効果▲1▼及び▲2▼を奏する。
【0036】
▲1▼操作者がスイッチ5をオン操作した場合に、音声認識部3が音声認識不可能な状態を、操作者はアクチュエータ13によるスイッチ5の反発力といった触覚情報によって認識できる。また、音声認識部3が音声認識可能な状態を、操作者はアクチュエータ13によるスイッチ5への反発力の停止といった触覚情報やチャイム7の音情報の提供によって認識できる。この結果、操作者は視覚情報ではない方法で車載用音声認識装置の状況を認識することができる。
【0037】
▲2▼車載用音声認識装置のスイッチ5が車載用ナビゲーション装置10の遠隔制御器12に装備されたことから、この遠隔制御器12で車載用音声認識装置のスイッチ5の操作ができるとともに、視覚情報ではなく遠隔制御器12のスイッチ5の触覚情報で車載用音声認識装置の状況を認識することができる。
【0038】
以上、一実施形態に基づいて本発明を説明したが、本発明は、これに限定されるものでない。
【0039】
例えば、振動子6またはアクチュエータ13を用い、さらにチャイム7を用いた場合を説明したが、振動子6またはアクチュエータ13のみで音声認識部3が音声認識可能になったことを操作者に認識させてもよいし、チャイム7のみで音声認識部3が音声認識可能になったことを操作者に認識させてもよい。
【0040】
また、チャイム7が車載用情報機器側に設置される場合を説明したが、ハンドルに設置されたスイッチ部1や遠隔制御器12に設置されてもよい。
【0041】
また、スイッチ5のオン操作はスイッチ5を押し続けることによって行われ、スイッチ5のオフ操作はスイッチ5を押すのを止めることによって行われる場合を説明したが、初期状態が例えばオフ状態であって、スイッチ5が押されたときにオン状態に切り替わってこのオン状態が保持され、再度スイッチ5が押されたときにオフ状態に切り替わってこのオフ状態が保持されるような、スイッチ5を押す度にオンオフの状態が切り替わる構成であってもよい。
【0042】
【発明の効果】
本発明では、操作者は視覚情報ではない方法で車載用音声認識装置の状況を認識することができ、操作者にとってストレスのない良好な車載用音声認識装置の操作が可能になる等の効果が得られる。
【図面の簡単な説明】
【図1】本発明による車載用音声認識装置の第一の実施の形態を示すブロック図である。
【図2】図1に示す車載用音声認識装置のタイムチャートである。
【図3】本発明による車載用音声認識装置の第二の実施の形態を示すブロック図である。
【図4】図3に示す車載用音声認識装置のタイムチャートである。
【符号の説明】
3 音声認識部
5 スイッチ
6 振動子
7 チャイム(音発生部)
10 車載用ナビゲーション装置(車載用情報機器)
12 遠隔制御器
13 アクチュエータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle-mounted speech recognition apparatus that controls the start and end of speech recognition by a switch operation.
[0002]
[Prior art]
In general, an in-vehicle voice recognition device having a function of enabling voice recognition when an operator presses a voice recognition control switch is known. This type of device has an advantage of enabling stable recognition because it can prevent erroneous recognition of noise and the like, compared to a vehicle-mounted speech recognition device that is always in a speech recognition state. Conventionally, as means for notifying an operator of a state in which voice recognition is possible, a method for displaying a symbol indicating that recognition is possible as image information on a display of an information device or tilting a doll's ear has been proposed. . Also, there is a method of notifying the state where voice recognition is possible with a display lamp, as in the invention described in Japanese Patent Laid-Open No. 7-250171.
[0003]
[Problems to be solved by the invention]
However, in-vehicle information devices, such as in-vehicle navigation devices, can display symbols that can be recognized as image information, tilt a doll's ears, or be recognized by a display lamp to ensure safe driving of the vehicle. It is not possible to adopt a method based on visual information such as notification.
[0004]
On the other hand, if the in-vehicle speech recognition device is always operated, it will cause malfunction due to noise in the vehicle and malfunction due to utterance during conversation other than voice commands, so an algorithm to avoid it is necessary and control is required. To be complicated.
[0005]
Accordingly, an object of the present invention is to provide an in-vehicle voice recognition device that solves the above-described problems of the prior art and enables an operator to recognize the status of the in-vehicle voice recognition device by a method that is not visual information. It is in.
[0006]
[Means for Solving the Problems]
The invention according to
[0007]
The invention described in
[0009]
According to a third aspect of the present invention, in the first or second aspect of the present invention, the force acting portion is a vibrator.
[0010]
According to a fourth aspect of the present invention, in the first or second aspect of the present invention, the force acting portion is an actuator.
[0011]
The invention according to
[0014]
The invention according to any one of
[0015]
When a voice recognition start operation is performed with a switch, the operator recognizes the status of the on-vehicle speech recognition device by a method that is not visual information depending on the state of the force applied to the switch according to the status of the on-vehicle speech recognition device. Can do.
[0018]
The invention according to
[0019]
When a voice recognition start operation is performed with the switch, the operator can recognize the status of the in-vehicle voice recognition device by a method that is not visual information based on the sound information corresponding to the status of the in-vehicle voice recognition device.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
[A] First Embodiment FIG. 1 shows an on-vehicle speech recognition apparatus according to a first embodiment. This in-vehicle voice recognition device is attached to an in-vehicle information device and includes a
[0022]
The voice
[0023]
In the above configuration, when the
[0024]
When the
[0025]
When the
[0026]
With the configuration as described above, the above embodiment has the following effects (1) to (3).
[0027]
(1) When the operator turns on the
[0028]
(2) Since the
[0029]
(3) Since the
[0030]
[B] Second Embodiment FIG. 3 shows an in-vehicle speech recognition apparatus according to the second embodiment. This in-vehicle speech recognition apparatus is, for example, in-vehicle as an example of in-vehicle information equipment having a remote controller. The case where it is mounted on a navigation device is shown. In the second embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
[0031]
In FIG. 3, the in-
[0032]
In the above configuration, when the
[0033]
When the
[0034]
When the
[0035]
With the configuration described above, the above embodiment has the following effects (1) and (2).
[0036]
(1) When the operator turns on the
[0037]
(2) Since the
[0038]
As mentioned above, although this invention was demonstrated based on one Embodiment, this invention is not limited to this.
[0039]
For example, the case where the
[0040]
Moreover, although the case where chime 7 was installed in the vehicle-mounted information equipment side was demonstrated, you may install in
[0041]
Further, the case where the
[0042]
【The invention's effect】
In the present invention, the operator can recognize the situation of the in-vehicle voice recognition device by a method that is not visual information, and the operator can operate the in-vehicle voice recognition device without any stress. can get.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of an in-vehicle speech recognition device according to the present invention.
FIG. 2 is a time chart of the in-vehicle speech recognition apparatus shown in FIG.
FIG. 3 is a block diagram showing a second embodiment of the in-vehicle speech recognition device according to the present invention.
4 is a time chart of the in-vehicle speech recognition apparatus shown in FIG.
[Explanation of symbols]
3
10 In-vehicle navigation system (in-vehicle information equipment)
12
Claims (5)
音声認識の開始を指示するスイッチとを備えた車載用音声認識装置において、
前記スイッチに力を作用させる力作用部を設け、
前記スイッチが押し続けられている期間、前記音声認識部による音声認識が行われる構成とし、
前記スイッチが押下された直後に発生する前記音声認識部の起動時間の間、前記力作用部を動作させると共に、前記スイッチが押し続けられている期間中、前記音声認識部による音声コマンドに対応した処理の実行に伴って音声認識ができない状態の間、前記力作用部を動作させることを特徴とする車載用音声認識装置。A voice recognition unit for voice recognition;
In a vehicle-mounted speech recognition device having a switch for instructing the start of speech recognition,
Providing a force acting portion for applying force to the switch;
As long as the switch is kept pressed, voice recognition by the voice recognition unit is performed,
During the activation time of the voice recognition unit that occurs immediately after the switch is pressed, the force acting unit is operated, and the voice command by the voice recognition unit corresponds to the period during which the switch is kept pressed. A vehicle-mounted speech recognition apparatus that operates the force acting unit during a state in which speech recognition cannot be performed in accordance with execution of processing .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001090079A JP4694017B2 (en) | 2001-03-27 | 2001-03-27 | In-vehicle speech recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001090079A JP4694017B2 (en) | 2001-03-27 | 2001-03-27 | In-vehicle speech recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002287795A JP2002287795A (en) | 2002-10-04 |
JP4694017B2 true JP4694017B2 (en) | 2011-06-01 |
Family
ID=18944915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001090079A Expired - Fee Related JP4694017B2 (en) | 2001-03-27 | 2001-03-27 | In-vehicle speech recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4694017B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013153583A1 (en) * | 2012-04-13 | 2013-10-17 | 三菱電機株式会社 | Vehicle-mounted audio input device |
JP6541506B2 (en) * | 2015-08-19 | 2019-07-10 | 株式会社ユピテル | Portable device and program |
JP2021039260A (en) * | 2019-09-04 | 2021-03-11 | 株式会社東海理化電機製作所 | Presentation device |
JP7075389B2 (en) * | 2019-11-20 | 2022-05-25 | 本田技研工業株式会社 | Vehicle control system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03203487A (en) * | 1989-12-29 | 1991-09-05 | Pioneer Electron Corp | Voice remote control equipment |
JPH11249692A (en) * | 1998-02-27 | 1999-09-17 | Nec Saitama Ltd | Voice recognition device |
JP2000089789A (en) * | 1998-09-08 | 2000-03-31 | Fujitsu Ltd | Voice recognition device and recording medium |
JP2000168599A (en) * | 1998-12-07 | 2000-06-20 | Nissan Motor Co Ltd | Lane keeping system |
JP2000209467A (en) * | 1999-01-19 | 2000-07-28 | Seiko Epson Corp | Digital camera |
JP2000322098A (en) * | 1999-05-13 | 2000-11-24 | Denso Corp | Speech recognition device |
JP2002108390A (en) * | 2000-09-27 | 2002-04-10 | Sharp Corp | Speech recognition system and computer-readable recording medium |
-
2001
- 2001-03-27 JP JP2001090079A patent/JP4694017B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03203487A (en) * | 1989-12-29 | 1991-09-05 | Pioneer Electron Corp | Voice remote control equipment |
JPH11249692A (en) * | 1998-02-27 | 1999-09-17 | Nec Saitama Ltd | Voice recognition device |
JP2000089789A (en) * | 1998-09-08 | 2000-03-31 | Fujitsu Ltd | Voice recognition device and recording medium |
JP2000168599A (en) * | 1998-12-07 | 2000-06-20 | Nissan Motor Co Ltd | Lane keeping system |
JP2000209467A (en) * | 1999-01-19 | 2000-07-28 | Seiko Epson Corp | Digital camera |
JP2000322098A (en) * | 1999-05-13 | 2000-11-24 | Denso Corp | Speech recognition device |
JP2002108390A (en) * | 2000-09-27 | 2002-04-10 | Sharp Corp | Speech recognition system and computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2002287795A (en) | 2002-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005215694A (en) | Method for executing dialogue and dialogue system | |
US20070073543A1 (en) | Supported method for speech dialogue used to operate vehicle functions | |
JP4694017B2 (en) | In-vehicle speech recognition device | |
JP2013128226A (en) | Portable terminal use-restriction device | |
JP2001255890A (en) | Voice control device and method | |
JP5746583B2 (en) | Operating sound generator | |
JP2018158614A (en) | Vehicle control device | |
JP2004505324A (en) | Function control method and system by sound in automobile | |
JP2019074498A (en) | Drive supporting device | |
JP2007028816A (en) | Vehicle starter | |
WO2020039621A1 (en) | Information delivery device for open vehicle | |
JP4487299B2 (en) | Voice recognition device | |
JP2014058814A (en) | Door opening and closing device for vehicle | |
JP2018180217A (en) | Controller, and voice input system | |
JP7183008B2 (en) | Operation support device and operation support method | |
JP6760323B2 (en) | Driving support device | |
WO2021044676A1 (en) | Presentation device | |
JP2008028661A (en) | Remote control terminal and vehicle | |
US20210019024A1 (en) | Control method of terminal device | |
JP3870775B2 (en) | Voice input method and voice input device | |
JP7285036B1 (en) | Pedal operation detector | |
JP2002268682A (en) | On-vehicle voice recognition device | |
WO2020195457A1 (en) | Speech interaction device, input device, and output device | |
JP2002271857A (en) | On-vehicle unit | |
JPH01297332A (en) | Switch mechanism of on-vehicle voice recognition controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100714 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110223 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |