JP4478146B2 - 音声認識システム、音声認識方法およびそのプログラム - Google Patents
音声認識システム、音声認識方法およびそのプログラム Download PDFInfo
- Publication number
- JP4478146B2 JP4478146B2 JP2006515454A JP2006515454A JP4478146B2 JP 4478146 B2 JP4478146 B2 JP 4478146B2 JP 2006515454 A JP2006515454 A JP 2006515454A JP 2006515454 A JP2006515454 A JP 2006515454A JP 4478146 B2 JP4478146 B2 JP 4478146B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- voice
- preset information
- seat
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims description 27
- 238000000926 separation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Description
この技術では、周囲から大きな騒音が混入したとき(例えば、車両がトンネル内を走行したとき等)、音声コマンドのS/N(Signal/Noise)比が低下して、音声コマンドの音声認識率が低下しやすいという問題がある。
この問題を解決するため、運転者からの音声(音声コマンド)と、周囲からの騒音とを2つの音源としてとらえ、これらの音声を分離する工夫がなされてきた。
(1)マイクロホンの指向性に基づき音声を分離する技術(特許文献1〜特許文献3参照)。
(2)複数のマイクロホンから取り込まれた運転者(発話者)の音声と車室内の雑音とを、情報処理装置の計算機内部で信号処理を行うことによって見分けて分離する技術(非特許文献1〜非特許文献3参照)。
なお、(2)の信号処理に用いられるアルゴリズムとしては、独立成分分析(ICA、Independent Component Analysis)を用いて、音声の受信信号だけで音源を分離するBSS(Blind Source Separation)という技術が知られている。
また、本発明の音声認識システムは、発話者の座席シートの位置を検出するセンサをさらに備え、記憶装置は、発話者の座席シートの位置ごとのプリセット情報を記憶し、プリセット情報検索部は、センサから発話者の座席シートの位置を取得し、取得した座席シートの位置に基づいて、記憶装置からプリセット情報を検索し、音声認識部に出力する構成とした。その他の構成については、後記する。
(1)音声認識システムは発話者ごとの音源位置を予め記憶しておくので、異なる発話者(運転者)が利用する場合にも、発話者の音声と雑音(騒音)との音源分離が容易となる。また、発話者の体格や座席シートの位置の調整の仕方によって、発話者が発話する位置が変化したときに、音声コマンドの音声認識率が低下してしまうことを防止できる。
(2)音声認識システムは予め記憶された音源位置の情報に基づいて音声分離処理を行うので、音声分離に要するCPU資源が節約される。したがって、音声分離処理(音声認識処理)に要する時間も短縮化でき、発話者が音声コマンドで車載端末装置を操作するときの操作レスポンスを向上させることができる。つまり、発話者は音声コマンドによる操作を行いやすくなる。
(3)運転者である発話者が音声コマンドで車載情報端末の操作をしやすくなることで、運転中の視覚や手動での操作により、交通事故が発生する可能性を低くすることができる。すなわち、車両の運転時の安全性を向上させることができる。
《第1の実施の形態》
本発明の第1の実施の形態は、本発明の音声認識システムをナビゲーション装置に適用したものである。図1は、本実施の形態の音声認識システムを示すブロック図である。
本実施の形態の音声認識システムは、車両1の発話者31(31A,B)の音声入力を受け付けるマイクロホン(音声入力手段)14と、ナビゲーション装置(車載情報端末)10と、ナビゲーション装置10からの音声データを出力するスピーカ(音声出力手段)15(15A,B)と、ナビゲーション装置10からの画像データを出力するモニタ(表示手段)13と、発話者31(31A,B)がナビゲーション装置10に各種情報の入力を行うリモートコントローラ(入力手段)18と、リモートコントローラ18から入力された各種情報を受け付けるレシーバ19とを含んで構成される。
ここで、マイクロホン14は、図1に示すように少なくとも2個のマイクロホン(マクロホン14A,B)で構成されることが好ましい。このようにすることで、ナビゲーション装置10は、発話者31(31A,B)の音源の位置を正確に特定することが可能になる。もちろん、マイクロホン14は3個以上で構成されていてもよい。
レシーバ19は、リモートコントローラ18経由で入力された情報を受信し、この情報をナビゲーション装置10へ出力する。
また、モニタ13は、発話者31(31A,B)が画面に触れることで各種情報の入力を行えるようにしてもよい。つまり、モニタ13は、タッチパネル機能を備えるようにしてもよい。
なお、リモートコントローラ18は、所定の通信機能を備えた携帯電話機やPDA(Personal Digital Assistant)であってもよい。
図2(a)に示すように、ナビゲーション装置10は、A/D(Analog/Digital)変換装置16と、CPU(中央演算装置、Central Processing Unit)17と、記憶装置21と、D/A(Digital/Analog)変換装置24とを含んで構成される。
なお、図2(b)では、マイクロホン14、レシーバ19からの入力、モニタ13、スピーカ15への出力は省略している。
なお、音源位置の特定には、公知の技術(特許文献1〜3、非特許文献1〜3)を用いるものとし、このときの音源位置の特定精度は、±5cm程度とする。
なお、プリセット情報検索部25は、モニタ13上に、記憶装置21に記憶されたプリセット情報を表示して、発話者31にプリセット情報の選択入力を促す画面を出力するようにしてもよい。
このとき、音声認識部20が音源位置を特定したあとの、音声コマンドの指向性を設定した音声信号の作成、発話者31の音声の分離および音声コマンドの分析は公知の技術を用いるものとする。
これら各構成要素の動作の詳細は、後記する。
なお、音声辞書とは、音声信号ごとに、その音声信号の意味するコマンドを示した情報である。
ここで、記憶装置21に記憶されるプリセット情報を、図3を用いて説明する。図3は、図2(a)の記憶装置に記憶されるプリセット情報を例示した図である。
例えば、図3において、発話者31Aが発声するときの音源位置は(X1、Y1)であり、発話者31Cが発声するときの音源位置は(X3、Y3)であることを示している。
なお、このプリセット情報は、記憶装置21では座標位置データで格納しておき、モニタ13に表示するときには、発話者31が発声するときの音源位置を示した画像データ(図3参照)を作成し、出力するようにしてもよい。
また、このプリセット情報は、運転席の発話者31A,Cのものだけでなく、助手席の発話者31B(図3参照)の音源位置や、後部座席の乗員の音源位置(図示せず)の情報を含んでいてもよい。このようにすることで、運転席以外の発話者31も音声コマンドでナビゲーション装置10を操作できるようになる。
このように、ナビゲーション装置10は発話者31の音源位置の高さに関する情報を取得することで、CPU17は、発話者31の正確な音源位置や音声の指向性を特定できるので、音声分離の演算処理を行いやすくなる。
なお、プリセット情報に記憶される発話者31の音源位置の精度は、前記したとおり±5cm程度である。
例えば、発話者31が、リモートコントローラ18等から自己のID(識別情報)を入力すると、プリセット情報検索部25が、このIDをキーとして記憶装置21から発話者31のプリセット情報を検索し、この情報を呼び出す。
なお、この発話者31のIDは、発話者31が、リモートコントローラ18のキー等を用いて手動で入力してもよいし、リモートコントローラ18の記憶部(図示せず)に予め記憶させておき、これをナビゲーション装置10へ送信するようにしてもよい。
図4は、本実施の形態におけるプリセット情報の登録手順を示したフローチャートである。図4を用いて、本実施の形態におけるプリセット情報の登録手順(CPU17によるプリセット情報登録用プログラムの実行処理)について説明する(適宜図1〜図3参照)。
ここでは、モニタ13(図1、図2参照)がタッチパネルで構成されており、発話者31は、モニタ13へのタッチ入力により各種入力を行う場合を例として説明する。
例えば、CPU17は、スピーカ15から「発声位置(音源位置)の初期設定を行います。モニタの発声位置設定の開始ボタンを押して下さい。」という音声案内を出力させる。そして、モニタ13経由で発話者31から発声位置の開始ボタンの選択入力を受け付けると、CPU17は、スピーカ15から「ハンドルを握って、通常の運転姿勢をとってください。ピーという音の後で、10秒間の間に音声コマンドを繰り返してください。ピピという音で終了します。」という音声案内を出力させる。そして、「目的地設定」、「レストラン案内」、「リルート」等、予め記憶装置21に記憶された音声をスピーカ15から出力して、発話者31にこれらの音声(音声コマンド)の発声を促す。
CPU17の音源位置特定部23は、デジタル信号に変換した音声コマンドにおける位相情報(進みや遅延)および強度分布を演算処理して、音声コマンドにおける発声の指向性を分析する。そして、分析された指向性の情報に基づき、発話者31の発声の音源位置を特定する(ステップS404)。そして、この音源位置を発話者31のプリセット情報として、記憶装置21に登録し(ステップS405)、いったん処理を終了する。なお、プリセット情報を登録するときは、ステップS401で入力された発話者31の情報(ID等)も含めるようにする。このようにすることで、プリセット情報検索部25が発話者31のIDをキーとして、記憶装置21から発話者31のプリセット情報を呼び出すことができる。
ここでも、情報の入力はタッチパネル機能を持つモニタ13で行われるものとする。
なお、前記した音声の指向性の特定、分離および音声コマンドにおけるコマンドの内容特定は公知の技術を用いるものとする。
このようにすることで、運転者(発話者31)は、手軽に本実施の形態のナビゲーション装置10を利用することができる。
本発明の第2の実施の形態は、記憶装置21が座席位置(運転席、助手席、右後部座席、左後部座席等)ごとの標準の音源位置の情報(標準のプリセット情報)を記憶し、音源位置特定部23が、この標準のプリセット情報を参照して音源位置の特定を行うことを特徴とする。本実施の形態を図1〜図5を参照しつつ説明する。
なお、前記した第1の実施の形態と同様の構成要素は同じ符号を付して、説明を省略する。
すなわち、予め記憶装置21に、車両1の座席シートの前後へのシフト量、背もたれの傾斜角度ごとの音源位置等を示したプリセット情報を登録しておく。そして、プリセット情報検索部25は、前記したセンサから座席シートの前後のシフト量、背もたれの傾斜角度等を取得すると、この座席シートの前後のシフト量、背もたれの傾斜角度等に対応するプリセット情報を記憶装置21から検索する。そして、音声認識部20は、検索されたプリセット情報に基づき、音声認識を行うようにする。このようにすることで、音声認識部20の音声認識の処理負荷を軽減することができる。
一方、スピーカ15から出力された音声合成音(復唱された音声コマンド)が、発話者31の発した音声コマンドとは異なるものであれば、ナビゲーション装置10で音声コマンドが正しく認識されていないことになるので、発話者31は再度プリセット情報を登録する等の処置を取ることができる。
さらに、運転者が発話者31になるとき、音声コマンドによるナビゲーション装置10の操作をしやすくなるので、運転中の視覚や手動での操作により、交通事故が発生する可能性を低くすることができる。すなわち、運転時の安全性を向上させることができる。
また、前記した実施の形態において、スピーカ15から出力される騒音は、記憶装置21に記憶されている音声データを用いることとしたが、CD等の記憶媒体に記憶された音声データを用いるようにしてもよい。
また、本実施の形態に係る音声認識システムは、コンピュータ及びプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記憶媒体(CD−ROM等)に記憶して提供することが可能である。さらに、そのプログラムを、ネットワークを通して提供することも可能である。
ここでいうコンピュータシステムとは、OS(Operating System)等のソフトウェアや周辺機器等のハードウエアを含むものである。
10 ナビゲーション装置
13 モニタ
14(14A,B) マイクロホン
15(15A,B) スピーカ
16 A/D変換装置
17 CPU
18 リモートコントローラ
19 レシーバ
20 音声認識部
21 記憶装置
22 ナビゲーション処理部
23 音源位置特定部
25 プリセット情報検索部
31(31A〜31C) 発話者
Claims (3)
- 車両内に設置された複数のマイクロホンにより入力された音声から、発話者の音声を分離して音声認識を行う音声認識システムであって、
前記発話者の座席シートの位置を検出するセンサと、
前記発話者の座席シートの位置ごとに、前記発話者の音声の音源位置を示すプリセット情報を記憶する記憶装置と、
前記センサにより前記発話者の座席シートの位置を検出し、前記検出した座席シートの位置に基づいて、前記記憶装置から前記発話者のプリセット情報を検索するプリセット情報検索部と、
前記検索された発話者のプリセット情報を参照して、前記マイクロホンから入力された音声から前記発話者の音声を分離し、音声認識処理を行う音声認識部とを特徴とする音声認識システム。 - 車両内に設置された複数のマイクロホンにより入力された音声から、発話者の音声を分離して音声認識を行う音声認識方法であって、
前記発話者の座席シートの位置ごとの前記発話者の音声の音源位置を示すプリセット情報を記憶する記憶装置を備える音声認識システムが、
センサにより前記発話者の座席シートの位置を検出するステップと、
前記検出された座席シートの位置に基づいて、前記発話者のプリセット情報を検索するステップと、
前記検索された発話者のプリセット情報を参照して、前記マイクロホンから入力された音声から前記発話者の音声を分離し、音声認識処理を行うステップと、
を実行することを特徴とする音声認識方法。 - コンピュータに、請求項2に記載の音声認識方法を実行させるための音声認識用プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2004/012626 WO2006025106A1 (ja) | 2004-09-01 | 2004-09-01 | 音声認識システム、音声認識方法およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2006025106A1 JPWO2006025106A1 (ja) | 2008-05-08 |
JP4478146B2 true JP4478146B2 (ja) | 2010-06-09 |
Family
ID=35999770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006515454A Expired - Fee Related JP4478146B2 (ja) | 2004-09-01 | 2004-09-01 | 音声認識システム、音声認識方法およびそのプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4478146B2 (ja) |
WO (1) | WO2006025106A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014165588A1 (en) * | 2013-04-04 | 2014-10-09 | Spansion Llc | Authentication for recognition systems |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4829184B2 (ja) * | 2007-07-23 | 2011-12-07 | クラリオン株式会社 | 車載装置および音声認識方法 |
JP5123595B2 (ja) * | 2007-07-31 | 2013-01-23 | 独立行政法人情報通信研究機構 | 近傍場音源分離プログラム、及びこのプログラムを記録したコンピュータ読取可能な記録媒体、並びに近傍場音源分離方法 |
WO2012160602A1 (ja) * | 2011-05-24 | 2012-11-29 | 三菱電機株式会社 | 目的音強調装置およびカーナビゲーションシステム |
JP6543843B2 (ja) | 2015-06-18 | 2019-07-17 | 本田技研工業株式会社 | 音源分離装置、および音源分離方法 |
JP6603919B2 (ja) | 2015-06-18 | 2019-11-13 | 本田技研工業株式会社 | 音声認識装置、および音声認識方法 |
CN112185353A (zh) * | 2020-09-09 | 2021-01-05 | 北京小米松果电子有限公司 | 音频信号的处理方法、装置、终端及存储介质 |
WO2022176085A1 (ja) * | 2021-02-18 | 2022-08-25 | 三菱電機株式会社 | 車載向け音声分離装置及び音声分離方法 |
CN113241073B (zh) * | 2021-06-29 | 2023-10-31 | 深圳市欧瑞博科技股份有限公司 | 智能语音控制方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05122689A (ja) * | 1991-10-25 | 1993-05-18 | Seiko Epson Corp | テレビ会議システム |
JP4005203B2 (ja) * | 1998-02-03 | 2007-11-07 | 富士通テン株式会社 | 車載用音声認識装置 |
JP4410378B2 (ja) * | 2000-04-14 | 2010-02-03 | 三菱電機株式会社 | 音声認識方法および装置 |
JP2002034092A (ja) * | 2000-07-17 | 2002-01-31 | Sharp Corp | 収音装置 |
JP2003114699A (ja) * | 2001-10-03 | 2003-04-18 | Auto Network Gijutsu Kenkyusho:Kk | 車載音声認識システム |
JP2004029299A (ja) * | 2002-06-25 | 2004-01-29 | Auto Network Gijutsu Kenkyusho:Kk | 音声認識システム |
-
2004
- 2004-09-01 WO PCT/JP2004/012626 patent/WO2006025106A1/ja active Application Filing
- 2004-09-01 JP JP2006515454A patent/JP4478146B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014165588A1 (en) * | 2013-04-04 | 2014-10-09 | Spansion Llc | Authentication for recognition systems |
US9619645B2 (en) | 2013-04-04 | 2017-04-11 | Cypress Semiconductor Corporation | Authentication for recognition systems |
Also Published As
Publication number | Publication date |
---|---|
JPWO2006025106A1 (ja) | 2008-05-08 |
WO2006025106A1 (ja) | 2006-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106796786B (zh) | 语音识别系统 | |
US8010359B2 (en) | Speech recognition system, speech recognition method and storage medium | |
JP4779748B2 (ja) | 車両用音声入出力装置および音声入出力装置用プログラム | |
JP6584731B2 (ja) | ジェスチャ操作装置及びジェスチャ操作方法 | |
JP4145835B2 (ja) | 車載用電子制御装置 | |
JP2007219207A (ja) | 音声認識装置 | |
CN111261154A (zh) | 智能体装置、智能体提示方法及存储介质 | |
JP4478146B2 (ja) | 音声認識システム、音声認識方法およびそのプログラム | |
JP2010130223A (ja) | 音声操作システムおよび音声操作方法 | |
CN111007968A (zh) | 智能体装置、智能体提示方法及存储介质 | |
JP2009251388A (ja) | 母国語発話装置 | |
JP2015074315A (ja) | 車載中継装置及び車載通信システム | |
JP6459330B2 (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
JP3654045B2 (ja) | 音声認識装置 | |
JP4410378B2 (ja) | 音声認識方法および装置 | |
JP2018116130A (ja) | 車内音声処理装置および車内音声処理方法 | |
JP5052241B2 (ja) | 車載用の音声処理装置、音声処理システム、及び音声処理方法 | |
JP4483450B2 (ja) | 音声案内装置、音声案内方法およびナビゲーション装置 | |
JP7274404B2 (ja) | 情報提供装置、情報提供方法、およびプログラム | |
JP2004301875A (ja) | 音声認識装置 | |
JP2013191979A (ja) | 車載器、携帯端末および携帯端末用のプログラム | |
WO2022137534A1 (ja) | 車載用音声認識装置及び車載用音声認識方法 | |
JP2007057805A (ja) | 車両用情報処理装置 | |
JP6509098B2 (ja) | 音声出力装置および音声出力制御方法 | |
JP2003345389A (ja) | 音声認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20091225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100312 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |