JP4149898B2 - 移動体通信端末 - Google Patents
移動体通信端末 Download PDFInfo
- Publication number
- JP4149898B2 JP4149898B2 JP2003373342A JP2003373342A JP4149898B2 JP 4149898 B2 JP4149898 B2 JP 4149898B2 JP 2003373342 A JP2003373342 A JP 2003373342A JP 2003373342 A JP2003373342 A JP 2003373342A JP 4149898 B2 JP4149898 B2 JP 4149898B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition processing
- information
- recognition
- sound
- application program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephone Function (AREA)
Description
また、上記従来の音声認識機能を有する携帯電話機では、特定の言語の音声情報だけでなく、複数の言語の音声情報について認識処理したい場合がある。この場合、音声認識対象の言語が変わると、その音声認識処理の内容が変わってくるため、1種類の音認識機能を備えているだけでは、複数の言語の音声情報について正確に認識処理できないおそれがあるという問題点がある。
また、人の音声情報以外の音情報について認識処理し、その認識処理結果を利用したい場合もある。例えば、犬等の動物の鳴き声情報をマイクで受けて取得し、その鳴き声情報について認識処理を実行し、そのときの動物の喜怒哀楽の感情を判別したい場合がある。ところが、上記従来の携帯電話機では1種類の音認識機能しか有していないため、人の音声と動物の鳴き声の両方について認識処理をすることができないという問題点がある。
請求項2の発明は、請求項1の移動体通信端末において、上記認識処理手段は、上記複数の音認識機能のそれぞれについて所定の認識処理用の辞書データと所定の認識処理アルゴリズムとを用いて認識処理を実行し、該辞書データを切り換えることによって、又は該辞書データとともに該認識処理アルゴリズムを切り換えることによって、上記音認識機能の切り換えを行い、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードを装着するためのカード装着手段を備え、上記制御手段は、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードが該カード装着手段に装着されたとき、該メモリカードに記憶されている該辞書データ及び該認識処理アルゴリズムのプログラムの少なくとも一方を用いて上記認識処理を実行するように、上記認識処理手段を制御することを特徴とするものである。
上記移動体通信端末において、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を、文字情報、音声情報及び画像情報の少なくとも一つとして出力する情報出力手段を備えてもよい。この場合は、上記認識処理手段の認識処理結果の情報又は認識処理結果に関連する情報を、文字情報、音声情報及び画像情報の少なくとも一つとして出力する。これにより、認識処理結果の情報又は認識処理結果に関連する情報を、利用者が文字や画像として見たり、音声として聞いたりすることができる。
請求項3の発明は、請求項1又は2の移動体通信端末において、上記制御手段は、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を所定の送信先に上記通信ネットワークを介して送信するように上記通信手段を制御することを特徴とするものである。
請求項2の移動体通信端末では、認識処理アルゴリズムと組み合わせて用いる辞書データを切り換えることにより、上記音情報について認識処理を実行する音認識機能を切り換える。あるいは、認識処理アルゴリズムと辞書データの両方を切り換えることにより、上記音情報について認識処理を実行する音認識機能を切り換える。そして、請求項2の移動体通信端末では、辞書データ及び認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードをカード装着手段に装着する。このカード装着手段に装着したメモリーカードに記憶されている辞書データ及び認識処理アルゴリズムのプログラムの少なくとも一方を制御手段に読み出し、上記音情報について認識処理を実行する。
請求項3の移動体通信端末では、上記認識処理手段の認識処理結果の情報又は認識処理結果に関連する情報を、所定の送信先に通信ネットワークを介して送信することにより、遠隔地で利用できる。
また、上記認識処理対象の「音情報」には、人の音声の情報のほか、動物の鳴き声の情報や、生物以外の物体から発せられる音の情報も含まれる。
また、上記「認識結果に関する情報」は、上記認識処理で得られた認識結果の情報そのものではなく、例えばその認識結果に予め対応させて設定しておいた情報である。例えば、移動体通信端末でゲームのアプリケーションプログラムを実行しているときに利用者が音声でゲームの進行内容を指示した場合、その指示の内容のそのものではなく、ゲームのアプリケーションプログラム側が上記指示の内容に応答する応答内容の情報も含まれる。
また、上記移動体通信端末における制御や認識処理は、その移動体通信端末内に設けられたコンピュータで所定のプログラムを実行することによって実現することもできる。このコンピュータで用いる制御プログラム、認識処理アルゴリズムのプログラム、アプリケーションプログラム等のプログラムの受け渡しは、デジタル情報としてプログラムを記録したFD,CD−ROM等の記録媒体を用いて行なってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行なってもよい。
特に、請求項2の発明によれば、認識処理アルゴリズムを固定したまま、その認識処理アルゴリズムと組み合わせて用いる辞書データのみを切り換えることにより、音認識機能の切り換え処理が簡易になる。認識処理アルゴリズムと辞書データの両方を切り換えることにより、切り換え可能な音認識機能の種類の自由度が高まる。しかも、カード装着手段に装着するメモリーカードを変えることにより、音認識機能に切り換えることができるという効果がある。
特に、請求項3の発明によれば、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、遠隔地で利用できるという効果がある。
図2は、本実施形態に係る携帯電話機20を用いる移動体通信システムの主要部を示す説明図である。この移動体通信システムにおいて、利用者1が使用する携帯電話機20は、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーションプログラムを実行可能な構成を有している。このアプリケーションプログラムとしては、JAVA(登録商標)、C、C++等のプログラム言語で記述されたアプリケーションプログラムなどが挙げられる。また、これらのアプリケーションプログラムの実行環境は、JAVA(登録商標)のVMやBREW(登録商標)等のミドルウェアによって構築される。
本実施形態の携帯電話機20は、後述するように、人の音声や動物の鳴き声等の音情報について認識処理を実行するための互いに異なる複数種類の音認識機能を有している。また、携帯電話機20は、上記アプリケーションプログラムの実行内容に応じて複数種類の音認識機能を切り換えて認識処理を実行できるように構成されている。
ダウンロードサーバ11から提供されるアプリケーションプログラムは、アプリケーションプログラムの開発元2から提供される。具体的には、例えば、アプリケーションプログラム開発元2側のパーソナルコンピュータ等から、専用回線や公衆回線を介してダウンロードサーバ11にアップロードして提供する。なお、開発したアプリケーションプログラムを記録した光ディスクや磁気ディスク等の記録媒体を、アプリケーションプログラム開発元2からダウンロードサーバ11を管理・運営する通信事業者に送り、その記録媒体内のアプリケーションプログラムをダウンロードサーバ11で読み取るようにして、提供してもよい。このようにして提供されたアプリケーションプログラムは、携帯電話機20から携帯電話通信網10を介してダウンロード可能な状態でダウンロードサーバ11に登録される。
この入力装置204の各種キーは、利用者が操作可能な操作部として用いられる。この各種キーを操作することにより、利用者は、携帯電話機20に対してURL等のデータを入力したり、電話着信の際に通話の開始及び終了を行ったり、アプリケーションプログラムの選択、起動及び停止を行ったりすることができる。また、利用者は各種キーを操作することにより、上記ダウンロードサーバ11からアプリケーションプログラムをダウンロードして登録したり、登録したアプリケーションプログラムを選択して実行したりすることができる。また、利用者は各種キーを操作することにより、携帯電話通信網10の情報提供サーバから受信した情報を表示することもできる。
また、入力装置204の各種キーは、複数種類の音認識機能のいずれかを利用者が指定するための指定操作手段としても用いられる。利用者は各種キーを操作することにより、携帯電話機内に予め組み込まれている人の音声認識機能や動物の鳴き声認識機能などの複数種類の音認識機能から、実際に使用する一つ又は二つ以上の音認識機能を指定することができる。
さらに、入力装置204のマイク28は、通話中の音声入力のほか、音認識対象の人の音声や動物の鳴き声等の音情報を取得する取得手段としても用いられる。
この出力装置205により、携帯電話通信網10を介して受信したWebページ画面をディスプレイ29に表示したり、携帯電話通信網10から情報を着信した旨を利用者に報知したりすることができる。具体的には、その情報を着信すると、ディスプレイ29に着信報知画像を表示したり、スピーカ30から着信音を出力させたりする。また、出力装置205は、上記ゲーム等のアプリケーションプログラムの実行中に、そのプログラム実行に関連した画像の表示や音の出力に用いたり、情報提供サーバから受信した情報を表示したりするときにも用いられる。
さらに、出力装置205は、人の音声や動物の鳴き声などの音情報について認識処理したときの認識処理結果の情報又はその認識処理結果に関連する情報を出力する情報出力手段としても用いられる。すなわち、この出力装置205により、認識処理結果の情報又はその認識処理結果に関連する情報を、文字情報やイラストなどの画像情報としてディスプレイ29上に表示したり、利用者が認識可能な音声情報としてスピーカ30から出力したりすることができる。
また、携帯電話通信網用通信装置206は、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、外出先にある携帯電話機やパソコンあるいは友人の携帯電話機やパソコン等の送信先に携帯電話通信網10を介して送信する手段としても用いられる。
主制御部210は、上述のシステムバス200、CPU201やRAM202等で構成され、基本ソフト(OS)や所定のミドルウェアにより携帯電話機本来の通話やデータ通信等を行う電話機プラットフォームを主に制御するいわゆるネイテブ側の制御手段として用いられる。また、この主制御部210は、人の音声や動物の鳴き声などの音情報について認識処理を実行する認識処理手段212としても用いられる。
ここで、アプリケーションプログラムは、クラスライブラリAPI(アプリケーションインターフェース)を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになっている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境(仮想マシン:VM)が終了するまで保持される。
また、プログラム実行環境内の実行環境管理ライブラリは、電話機プラットフォームAPIを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになっている。
アプリケーションプログラムとしては、各種キーを操作してゲーム等を楽しむアプリケーションプログラムのほか、ディスプレイ29上に3次元動画からなる待ち受け画面を表示させたりする常駐型のアプリケーションプログラムなど、あらゆるアプリケーションプログラムが含まれる。
図1は、アプリケーションプログラムの実行中に利用者が発した音声(「ミギ」又は「ヒダリ」)を認識するときの処理を示すシーケンス図である。また、図7は、主制御部210における音認識機能(認識エンジン)の切り換え制御のフローチャートである。
まず、利用者は、携帯電話機20のメインディスプレイ29に表示したアプリケーションプログラムのリストから希望のアプリケーションプログラムを選択して実行することができる。このアプリケーションプログラムの実行中に、そのアプリケーションプログラムで定義されているソフトキー26、27を操作すると、そのキー操作の情報がアプリケーション側に送られる。アプリケーション側では、受け取ったキー操作の情報を用いてゲームを進行したり、再生音楽の曲目を選択したりすることができる。
電話機プラットフォームの主制御部210では、プログラム実行環境(VM)から受けた認識エンジン指定情報である識別子を解釈し、3つの認識エンジン(音声認識エンジン1、音声認識エンジン2、鳴き声認識エンジン)の中からいずれか一つの認識エンジンを選択する。そして、その選択した音認識処理が可能な待ち状態にする。この状態で、利用者は上記指定した認識エンジンに応じて、自分の音声(「ミギ」又は「ヒダリ」)や、犬などの動物の鳴き声等の音情報を入力する。この音情報が入力されると、上記指定された認識エンジンを用いた音認識処理(音声認識処理又は鳴き声認識処理)が実行される。この認識処理の結果の情報を生成し、プログラム実行環境(VM)に送る。図1は、鳴き声認識エンジンに切り換えて犬などの動物の鳴き声を認識する場合を示している。
プログラム実行環境(VM)は、主制御部210から受けた認識結果情報を用いて、ゲームなどのアプリケーションプログラムを進行させるように処理する。例えば、認識処理結果の情報が、人の音声の「ミギ」である場合は、アプリケーションプログラムの実行画面を右側にスクロールしたり、ゲームの実行画面上のキャラクターを右側に移動させたりする。また、認識処理結果の情報が、犬などの動物の鳴き声を認識して得られた喜怒哀楽の感情等を表す事柄(例えば「寂しい」、「うれしい」、「楽しい」、「お腹がすいた」)である場合は、その事柄を表す言葉を待受け画面上に表示したり、メールで遠隔地に送信したりする。また、これらの感情等の事柄を表す情報に基づいて、ゲームの進行を切り換えたりすることもできる。
例えば、図8のように音声認識エンジン1が日本語の音声認識エンジンであり、音声認識エンジン2が英語の音声認識エンジンであり、これらの音声認識エンジン1及び音声認識エンジン2を切り換えて使用できるようにしてもよい。そして、日本語を話す利用者から英語を話す利用者に変わったときは、認識エンジン指定用の画面上で音声認識エンジン2を指定し、画面上の確定用アイコン(例えば「OK」)をクリックする。これにより、アプリケーションプログラム実行管理手段によるプログラム実行環境(VM)上で、利用者が指定した認識エンジンの識別子「2」が付加された音認識開始要求の関数が呼び出される。この関数が呼び出されたプログラム実行環境(VM)は、上記識別子の情報とともに音認識開始要求の制御指令情報を電話機プラットフォームの主制御部210に送る。
電話機プラットフォームの主制御部210では、プログラム実行環境(VM)から受けた認識エンジン指定情報である識別子を解釈し、音声認識エンジン2を選択し、その選択した音認識処理が可能な待ち状態にする。この状態で、利用者が英語で音声を入力すると、英語用の音声認識エンジン2を用いた音声認識処理が実行され、認識処理の結果の情報を生成してプログラム実行環境(VM)に送る。
また、本実施形態によれば、アプリケーションプログラムの実行内容に応じて適切な音認識機能に切り換えて認識処理を実行できる。
また、本実施形態によれば、利用者の指定内容に応じて適切な音認識機能に切り換えて認識処理を実行できる。
また、上記実施形態において、上記認識エンジンの切換えは、認識処理アルゴリズムと辞書データの両方を切り換えるようにしてもよい。この場合は、切り換え可能な音認識機能の種類の自由度が高まる。
また、上記実施形態において、音声情報や鳴き声情報の認識処理結果の情報を、携帯電話通信網10を介して他の携帯電話機やパーソナルコンピュータに送信してもよい。この場合は、音情報の認識処理結果の情報又はその認識処理結果に関連する情報を、遠隔地で利用できる。
また、上記出力したり送信したりする情報は、認識処理結果の情報そのものだけでなく、その認識処理結果に関連する情報であってもよい。この認識処理結果に関連する情報は、認識結果に予め対応させて設定しておいた情報である。例えば、上記ゲームのアプリケーションプログラムを実行しているときに利用者が音声でゲームの進行内容を指示した場合、その指示の内容のそのものではなく、ゲームのアプリケーションプログラム側が上記指示の内容に応答する応答内容の情報であってもよい。
また、上記実施形態では、人の音声や犬などの動物の鳴き声をマイクで入力することによって音情報を取得しているが、音情報の取得の形態はこれに限定されるものではない。例えば、電子データになっている音情報のファイルを携帯電話通信網などの通信ネットワークを介してダウンロードしたり、上記音情報のファイルが添付されたメールを受信したりすることによって取得してもよい。また、上記音情報のファイルが保存されているメモリーカードを装着し、そのメモリーカードから音情報のファイルを読み出して取得するようにしてもよい。
また、本発明は、アプリケーションプログラムを実行可能で、かつ、通信ネットワーク上で配信されている閲覧画面を閲覧可能なものであれば、PHS、自動車電話機等の電話機のほか、携帯型のPDAの場合についても適用でき、同様な効果が得られるものである。
20 携帯電話機
210 主制御部
211 アプリケーションプログラム実行管理手段
212 認識処理手段
213 音情報取得手段
214 情報出力手段
215 通信手段
Claims (3)
- 音情報を取得する音情報取得手段と、該音情報取得手段で取得した音情報について認識処理を実行する認識処理手段と、移動体通信ネットワークを介して通信を行うための通信手段とを備えた移動体通信端末であって、
該認識処理手段は、互いに異なる複数種類の音認識機能を有し、
移動体通信ネットワークを介してダウンロードされて保存されたアプリケーションプログラムから利用者が選択したアプリケーションプログラムの実行環境を管理するアプリケーションプログラム実行環境管理手段と、
該移動体通信ネットワークを介してダウンロードされて保存されたアプリケーションプログラムから利用者が選択したアプリケーションプログラムが実行されている該アプリケーションプログラム実行環境管理手段から受けた音認識機能指定用の制御指令情報に基づいて該複数種類の音認識機能のいずれかを選択するための画面を表示し、該画面で利用者が選択して指定した音認識機能により音情報の認識処理を実行するように該認識処理手段を制御し、その認識処理結果の情報を、該移動体通信ネットワークを介してダウンロードされて保存されたアプリケーションプログラムから利用者が選択したアプリケーションプログラムが実行されている該アプリケーションプログラム実行環境管理手段に送る制御手段とを備えたことを特徴とする移動体通信端末。 - 請求項1の移動体通信端末において、
上記認識処理手段は、上記複数の音認識機能のそれぞれについて所定の認識処理用の辞書データと所定の認識処理アルゴリズムとを用いて認識処理を実行し、該辞書データを切り換えることによって、又は該辞書データとともに該認識処理アルゴリズムを切り換えることによって、上記音認識機能の切り換えを行い、
上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードを装着するためのカード装着手段を備え、
上記制御手段は、上記辞書データ及び上記認識処理アルゴリズムのプログラムの少なくとも一方を記憶したメモリーカードが該カード装着手段に装着されたとき、該メモリカードに記憶されている該辞書データ及び該認識処理アルゴリズムのプログラムの少なくとも一方を用いて上記認識処理を実行するように、上記認識処理手段を制御することを特徴とする移動体通信端末。 - 請求項1又は2の移動体通信端末において、
上記制御手段は、上記認識処理手段の認識処理結果の情報又は該認識処理結果に関連する情報を所定の送信先に上記通信ネットワークを介して送信するように上記通信手段を制御することを特徴とする移動体通信端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003373342A JP4149898B2 (ja) | 2003-10-31 | 2003-10-31 | 移動体通信端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003373342A JP4149898B2 (ja) | 2003-10-31 | 2003-10-31 | 移動体通信端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005134819A JP2005134819A (ja) | 2005-05-26 |
JP4149898B2 true JP4149898B2 (ja) | 2008-09-17 |
Family
ID=34649452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003373342A Expired - Fee Related JP4149898B2 (ja) | 2003-10-31 | 2003-10-31 | 移動体通信端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4149898B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
JP4675811B2 (ja) * | 2006-03-29 | 2011-04-27 | 株式会社東芝 | 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム |
JP6920153B2 (ja) * | 2017-09-27 | 2021-08-18 | 株式会社日立情報通信エンジニアリング | 通話音声処理システム及び通話音声処理方法 |
-
2003
- 2003-10-31 JP JP2003373342A patent/JP4149898B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005134819A (ja) | 2005-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1617558B (zh) | 顺序多模输入 | |
JP4624407B2 (ja) | 待機モード用コンテンツを移動端末機へ提供する方法、および、サービス管理サーバー | |
CN1617559B (zh) | 顺序多模输入 | |
CN109274405A (zh) | 数据传输方法、装置、电子设备及计算机可读介质 | |
JP4332525B2 (ja) | 移動体通信端末 | |
WO2007008050A1 (en) | System, apparatus and method for providing a flashcon in a instant messenger of a mobile device | |
CN103813000A (zh) | 移动终端及其寻找方法 | |
US7742585B2 (en) | Mobile communication terminal | |
KR20060104324A (ko) | 캐릭터 합성 메시지 전송 방법 및 시스템 | |
JP4149898B2 (ja) | 移動体通信端末 | |
KR20050105842A (ko) | 이동 단말기의 대기 모드 상태에서 메시지를 출력하는방법 및 장치 | |
JP2001282788A (ja) | 電子辞書装置及び電子辞書装置の使用言語切替方法、記憶媒体 | |
KR100594444B1 (ko) | 일정관리기능이 구비된 이동통신단말기와 그 제어방법 | |
US20160037315A1 (en) | Advanced telephone management | |
JP4887110B2 (ja) | 移動体通信端末およびサーバ | |
CN101164359A (zh) | 作为用户接口要素的背景音的系统和方法 | |
KR100395321B1 (ko) | 이동통신단말기 단문메시지 서비스를 위한 문장편집 방법 | |
JP3981653B2 (ja) | 移動体通信端末 | |
KR101408812B1 (ko) | 애플리케이션 처리 단말 장치, 방법 및 기록매체 | |
JP2005300863A (ja) | 移動体通信端末及びカラオケシステム | |
KR20030040948A (ko) | 이동통신 단말기의 북마크 제공 장치 및 그 방법 | |
EP1890221A1 (en) | Cooperative operating method and communication terminal | |
KR100819681B1 (ko) | 문자열 입력을 통한 기능 제어가 가능한 휴대 단말기 및 그제어 방법 | |
KR20060094252A (ko) | 대기모드용 어플리케이션 구동 방법 및 장치 | |
JP2008108234A (ja) | 移動体通信端末およびサーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061207 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061222 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080626 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |