JP3157788B2 - 携帯型情報端末 - Google Patents

携帯型情報端末

Info

Publication number
JP3157788B2
JP3157788B2 JP32230598A JP32230598A JP3157788B2 JP 3157788 B2 JP3157788 B2 JP 3157788B2 JP 32230598 A JP32230598 A JP 32230598A JP 32230598 A JP32230598 A JP 32230598A JP 3157788 B2 JP3157788 B2 JP 3157788B2
Authority
JP
Japan
Prior art keywords
recognition
voice
noise
voice recognition
portable information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32230598A
Other languages
English (en)
Other versions
JP2000151760A (ja
Inventor
勝美 塩野
Original Assignee
埼玉日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 埼玉日本電気株式会社 filed Critical 埼玉日本電気株式会社
Priority to JP32230598A priority Critical patent/JP3157788B2/ja
Priority to CN99124813.9A priority patent/CN1211951C/zh
Priority to US09/438,971 priority patent/US6556968B1/en
Priority to GB9926901A priority patent/GB2343779B/en
Publication of JP2000151760A publication Critical patent/JP2000151760A/ja
Application granted granted Critical
Publication of JP3157788B2 publication Critical patent/JP3157788B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Noise Elimination (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、携帯型情報端末に
関し、特に音声認識機能を有する携帯型情報端末に関す
る。
【0002】
【従来の技術】近年、携帯電話機では、発呼等に際し、
音声認識機能を利用して、テンキーを操作せずに、マイ
クから発呼先の相手名等を発声することにより、認識し
た相手先への発呼を行っている。
【0003】このような携帯電話機では、予め認識する
ための音声をマイクから入力して登録しておき、登録さ
れた音声と同じと認識される音声が発せられる場合に、
この音声に従って発呼等の操作が行われる。
【0004】
【発明が解決しようとする課題】このような携帯電話機
は、サービスエリアではどこでも使用可能であるため、
周囲の騒がしい所や、騒音の大きな所で使用される場合
がある。このような場合、発呼等に際してマイクから入
力される音声に周囲ノイズや雑音が加わるため、予め登
録された音声との一致が検出できなかったり、異なる音
声と一致すると誤まって判断される場合がある。
【0005】このような問題を解決するために、周囲ノ
イズの大きな場所で、音声認識のための登録を行うこと
が考えられる。
【0006】また、ノイズが入力されたと判断する場合
に、音声認識処理を終了することも考えられる。
【0007】これら2つのうちのいずれかの方法によ
り、周囲ノイズが大きい場合にも誤認識を防止すること
ができるが、音声認識開始直後に携帯電話機のマイクを
口に近づけたり、スピーカから出力される音声を聞くた
めにスピーカを耳にあてる時に発生するノイズ等に対し
て誤認識を防止することができない。また、後者の場合
には、音声認識の開始操作を行って音声認識を再起動し
なければならない。
【0008】本発明の目的は、上述した課題を解決し
て、改良された音声認識機能を有する携帯型情報端末を
提供することにある。
【0009】また、本発明の目的は、音声認識における
誤認識の可能性を改善する携帯型情報端末を提供するこ
とにある。
【0010】さらに、本発明の目的は、突発的なノイズ
や端末を持ちかえた場合に発生するノイズ等に対して誤
認識を防止する携帯型情報端末を提供することにある。
【0011】
【課題を解決するための手段】上述した目的を達成する
ために、本願発明は、音声を入力するマイクと、予め定
められた音声とノイズを引き込むパターンとを認識語と
して記憶するメモリと、音声認識を起動する起動手段
と、前記マイクから入力された音声に対して音声認識を
行い、前記音声に対応する認識語を前記メモリから読み
出す音声認識手段とを有し、音声認識の開始から一定時
間内に前記マイクから入力される音が前記メモリに予め
記憶されたノイズを引き込むパターンと認識される場合
に、音声認識を行わないようにする。
【0012】前記ノイズを引き込むパターンは、突発的
なノイズ、ハンドリングノイズ、風きり音の何れかに該
当する。前記突発的なノイズは、衝突音であることが好
ましい。
【0013】前記通知する手段は、表示手段であること
が望ましい。
【0014】前記音声認識を行わない場合に、前記通知
後に音声認識を再起動することが望ましい。
【0015】
【発明の実施の形態】図1は、本発明の携帯型情報端末
の代表的な携帯電話機における構成を示す図である。な
お、本発明は携帯電話機に限定されるものではなく、移
動可能な状態で使用される音声認識機能を有する端末で
あれば良く、PHS、ページャー、電子手帳等に適用可
能である。
【0016】図1を参照すると本発明は図示しない基地
局と無線信号の送受信を行う無線部1−1と携帯電話の
操作、音声認識の開始を行う操作部1−2と数字、文字
等を表示する表示部1−3と携帯電話全体の制御、音声
認識LSIの制御を行うメインCPU1−4と音声認識
部1−5と音声データのアナログ/デジタルの変換を行
うA/Dコンバータ1−6と音声を入力するマイク1−
7と音声認識開始時の開始音の鳴動や認識結果を音声で
出力するスピーカ1−8で構成される。
【0017】操作部1−2の音声認識の起動キーを押下
して音声認識を開始する。操作部1−2より音声認識の
開始キーが押下されるとメインCPU1−4で音声認識
開始キーの押下を検出して音声認識部1−5に音声認識
の開始命令を送信する。音声認識部で1−5ではメイン
CPU1−4より開始命令を受信するとマイク1−7か
ら入力された音声に対して認識処理を実行する。マイク
1−7より入力された音声はA/Dコンバータ1−6で
デジタルデータに変換され音声認識部1−5に入力さ
れ、音声認識部1−5で入力音声の認識処理を行う。音
声認識に使用する認識語はユーザが任意の言葉を操作部
1−2よりキー操作入力する。またはマイク1−7より
音声で入力が行える。
【0018】ユーザが登録できる任意の認識語に加えて
常時ノイズに対する誤動作を検出するための認識語をメ
インCPU1−4より音声認識部に登録を行う。この登
録は、携帯電話の出荷前に行われることが好ましい。ま
た、誤認識の原因となり得るノイズとしては、突発的な
ノイズ、例えば「バン」、「ガン」という衝突音や、認
識開始直後におけるマイクより音声を入力するために携
帯電話機を持ち替えたり、動かしたりすることにより発
生するハンドリングノイズ、風きり音がある。この種の
ノイズを引き込ませるようなパターンを認識語として予
め登録しておき、音声認識の際、これらノイズを認識し
た場合には、使用者の発する音声を誤認識する確率が高
いので、認識できない旨通知する。
【0019】すなわち、音声認識時にマイク1−7より
突発的なノイズが入力された時にはユーザが登録した任
意の認識語を誤認識せずに、ノイズ誤動作防止の認識語
を認識してノイズが認識されたことを通知する旨を表示
部1−3より出力する。また、認識開始直後にはマイク
より音声を入力するために携帯電話機を持ち替えたり、
動かしたことにより発生するハンドリングノイズや風き
り音に対して誤動作することが考えられるため、認識開
始後から数秒以内にノイズ誤動作防止の認識語を認識し
た時には認識結果を表示部1−3から出力せずにCPU
1−4より音声認識部1−5に対して音声認識の開始命
令を再送信して音声認識処理を起動しマイク1−7から
入力された音声に対して音声認識処理を再起動すること
で、認識開始直後に発生するノイズに対する誤動作を防
止する。
【0020】次に図1、図2を参照して本発明の好適な
実施例の動作について詳細に説明する。操作部1−2よ
り音声入力キーが押下されると、メインCPU1−4で
音声認識キーの押下を検出して音声認識部1−5に音声
認識開始命令を送信する。音声認識部1−5で認識する
認識語は操作部1−2よりユーザが入力した認識語、ま
たはマイク1−7より入力されたユーザが設定した任意
の認識語とCPU1−4より登録するノイズ誤動作防止
の認識語とする。音声認識を開始(2−1)するとタイ
マをスタートする(2−2)。タイマがT秒以上経過し
た時(2−3)には音声認識の通常動作(2−8)とし
てマイク1−7から入力された音声に対して認識処理を
行い、認識結果が確定したら認識結果を表示部1−3に
出力し、スピーカ1−8より認識結果を音声で出力す
る。ノイズ誤動作防止の認識語を認識した時には表示部
1−3より認識辞書に登録外のものを認識したことを通
知するメッセージを表示部1−3より表示する。タイマ
がT秒経過していない時に認識結果が確定した時(2−
4)にはCPU1−4で認識結果がユーザが登録した任
意の認識語か、ノイズ誤動作防止単語か判定処理を行う
(2−5)。認識結果がユーザが登録した任意の認識語
の時には認識結果を通知するために認識結果を表示部1
−3に出力してスピーカ1−8より認識結果を出力する
(2−7)。認識結果がノイズ誤動作防止の認識語の時
にはメインCPU1−4より音声認識部1−5に対して
音声認識の開始命令を再送信して音声認識処理を再起動
する(2−6)。音声認識開始後に起動したタイマがT
秒以内の時にノイズ誤動作防止単語を認識時には音声認
識を再起動しつづけ、ユーザが設定した任意の認識語を
認識結果として確定するまで認識処理を行う。このため
認識開始直後に携帯電話機を持ち替えたり動かした時に
発生するハンドリングノイズや風きり音に対する誤動作
を防止することができる。
【0021】次に本発明の第2の実施例について図3を
参照して説明する。操作部1−2より音声入力キーを押
下されると、メインCPU1−4で音声認識キーの押下
を検出して音声認識部1−5に音声認識開始命令を送信
する。音声認識を開始(3−1)するとタイマをスター
トする(3−2)。タイマがT秒以上経過した時(3−
3)には音声認識の通常の動作(3−9)としてマイク
1−7から入力された音声に対して認識処理を行い、認
識結果が確定したら認識結果を表示部1−3に出力し、
スピーカ1−8より認識結果を音声で出力する。ノイズ
誤動作防止の認識語を認識した時には表示部1−3より
認識辞書に登録外のものを認識したことを通知するメッ
セージを表示部1−3より表示する。タイマがT秒経過
していない時に認識結果が確定した時(3−4)にはC
PU1−4で認識結果がユーザが登録した任意の認識語
か、ノイズ誤動作防止単語か判定処理を行う(3−
5)。認識結果がユーザが登録した任意の認識語の時に
は認識結果を通知するために認識結果を表示部1−3に
出力してスピーカ1−8より認識結果を出力する(3−
8)。認識結果がノイズ誤動作防止の認識語の時には音
声認識の再起動を行うことをユーザに通知する(3−
6)ために、表示部1−3より音声認識を再起動するこ
とを通知するメッセージの表示とスピーカ1−8より音
声認識の再起動音を鳴動し、メインCPU1−4より音
声認識部1−5に対して音声認識の開始命令を再送信し
て音声認識処理を再起動する(3−7)。音声認識開始
後に起動したタイマがT秒以内の時にノイズ誤動作防止
単語を認識時には音声認識を再起動を行うことをユーザ
に通知して音声認識を再起動し、ユーザが設定した任意
の認識語を認識結果として確定するまで認識処理を行
う。このため、認識開始直後に携帯電話機を持ち替えた
り動かした時に発生するハンドリングノイズや風きり音
に対して誤動作を防止することができる。
【0022】上述した実施例において、認識辞書に登録
外のものを認識したことを通知するメッセージを表示す
ることもできる。
【0023】
【発明の効果】以上説明したように、本発明では、ユー
ザが登録する任意の認識語以外にノイズ誤動作防止の認
識語を登録し、認識開始直後にノイズ誤動作防止の認識
語を認識した時には自動で音声認識の再起動を行うこと
で認識開始直後の誤認識を防止するため、音声認識開始
直後にノイズに対する誤認識を防止することができる。
この結果、音声認識の認識性能と使いやすさの向上が行
える。
【0024】また、本発明では、認識開始直後にノイズ
誤動作防止の認識語を認識して音声認識の再起動を行う
時ユーザに音声認識の再起動を通知するため、音声認識
再起動時にユーザに再起動を通知することができる。こ
の結果、音声認識の再起動時の話頭検出が行えるため再
起動時の認識性の向上が行える。
【図面の簡単な説明】
【図1】本発明の好適な一実施例を示す構成ブロック図
である。
【図2】本発明の好適な一実施例の動作を説明するため
のフローチャートである。
【図3】本発明の好適な他の実施例の動作を説明するた
めのフローチャートである。
【符号の説明】 1−1 無線部 1−2 操作部 1−3 表示部 1−4 メインCPU 1−5 音声認識部 1−6 A/Dコンバータ 1−7 マイク 1−8 スピーカ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI H04Q 7/38 H04B 7/26 109M (58)調査した分野(Int.Cl.7,DB名) H04M 1/00 H04M 1/24 H04M 1/58 - 1/62 H04M 1/66 - 1/78

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声を入力するマイクと、 予め定められた音声とノイズを引き込むパターンとを認
    識語として記憶するメモリと、 音声認識を起動する起動手段と、 前記マイクから入力された音声に対して音声認識を行
    い、前記音声に対応する認識語を前記メモリから読み出
    す音声認識手段とを有し、 音声認識の開始から一定時間内に前記マイクから入力さ
    れる音が前記メモリに予め記憶されたノイズを引き込む
    パターンと認識される場合に、音声認識を行わないこと
    を特徴とする携帯型情報端末。
  2. 【請求項2】 前記ノイズを引き込むパターンは、突発
    的なノイズ、ハンドリングノイズ、風きり音の何れかに
    該当することを特徴とする請求項1記載の携帯型情報端
    末。
  3. 【請求項3】 前記突発的なノイズは、衝突音であるこ
    とを特徴とする請求項2記載の携帯型情報端末。
  4. 【請求項4】 前記音声認識を行わない場合に、音声認
    識を行わないことを通知する手段を有することを特徴と
    する請求項1乃至3の何れかに記載の携帯型情報端末。
  5. 【請求項5】 前記通知する手段は、表示手段であるこ
    とを特徴とする請求項1ないし4のいずれかに記載の携
    帯型情報端末。
  6. 【請求項6】 前記音声認識を行わない場合に、前記通
    知後に音声認識を再起動することを特徴とする請求項4
    記載の携帯型情報端末。
JP32230598A 1998-11-12 1998-11-12 携帯型情報端末 Expired - Fee Related JP3157788B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32230598A JP3157788B2 (ja) 1998-11-12 1998-11-12 携帯型情報端末
CN99124813.9A CN1211951C (zh) 1998-11-12 1999-11-12 具有话音识别功能和话音识别系统的数据终端
US09/438,971 US6556968B1 (en) 1998-11-12 1999-11-12 Data terminal with speech recognition function and speech recognition system
GB9926901A GB2343779B (en) 1998-11-12 1999-11-12 Data terminal with speech recognition function, and speech recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32230598A JP3157788B2 (ja) 1998-11-12 1998-11-12 携帯型情報端末

Publications (2)

Publication Number Publication Date
JP2000151760A JP2000151760A (ja) 2000-05-30
JP3157788B2 true JP3157788B2 (ja) 2001-04-16

Family

ID=18142154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32230598A Expired - Fee Related JP3157788B2 (ja) 1998-11-12 1998-11-12 携帯型情報端末

Country Status (4)

Country Link
US (1) US6556968B1 (ja)
JP (1) JP3157788B2 (ja)
CN (1) CN1211951C (ja)
GB (1) GB2343779B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200492205Y1 (ko) * 2018-07-31 2020-08-27 신승규 확장이 용이한 시스템 선반

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60116807T2 (de) * 2000-02-29 2006-07-20 Matsushita Electric Industrial Co., Ltd., Kadoma Tragbares Telefon mit URL-Zugriffsfunktion
JP4240807B2 (ja) 2000-12-25 2009-03-18 日本電気株式会社 移動通信端末装置、音声認識方法、およびそのプログラムを記録した記録媒体
CH698655B1 (fr) * 2002-12-05 2009-09-30 Asulab Sa Adaptabilité de l'interface d'un objet portable en fonction de son environnement.
RU2254611C2 (ru) * 2003-03-13 2005-06-20 Общество с ограниченной ответственностью "Мобилити" Способ предоставления пользователям мобильных устройств электронной связи актуальной коммерческой информации на альтернативной основе (варианты) и информационная система для его осуществления (варианты)
US7552221B2 (en) 2003-10-15 2009-06-23 Harman Becker Automotive Systems Gmbh System for communicating with a server through a mobile communication device
DE602004010054T2 (de) 2004-01-19 2008-03-06 Harman Becker Automotive Systems Gmbh Betätigung eines Sprachdialogsystems
DE602004017955D1 (de) 2004-01-29 2009-01-08 Daimler Ag Verfahren und System zur Sprachdialogschnittstelle
EP1560199B1 (en) * 2004-01-29 2008-07-09 Harman Becker Automotive Systems GmbH Multimodal data input
CN1774146B (zh) * 2004-11-29 2010-05-05 孔德伟 手提无线扩音机
KR100688178B1 (ko) * 2004-12-31 2007-03-02 엘지전자 주식회사 소음인식 통화방법변경 기능이 구비된 이동통신 단말기 및통화방법 변경방법
US9871916B2 (en) * 2009-03-05 2018-01-16 International Business Machines Corporation System and methods for providing voice transcription
CN101841786B (zh) * 2009-03-20 2014-10-29 Tcl集团股份有限公司 一种防止误拨电话的手机系统及其方法
US8411874B2 (en) 2010-06-30 2013-04-02 Google Inc. Removing noise from audio
BR112015002920A2 (pt) * 2012-08-10 2017-08-08 Honda Access Kk método e dispositivo de reconhecimento de fala
KR101987255B1 (ko) * 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
US9582451B2 (en) * 2013-02-01 2017-02-28 Infineon Technologies Ag Receiver architecture
CN107633854A (zh) * 2017-09-29 2018-01-26 联想(北京)有限公司 一种语音数据的处理方法和电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1116300A (en) * 1977-12-28 1982-01-12 Hiroaki Sakoe Speech recognition system
US4531228A (en) * 1981-10-20 1985-07-23 Nissan Motor Company, Limited Speech recognition system for an automotive vehicle
JPH0618394B2 (ja) 1985-10-16 1994-03-09 三洋電機株式会社 音声認識電話機
JPS62150295A (ja) 1985-12-24 1987-07-04 松下電器産業株式会社 音声認識方法
JPH0256600A (ja) 1988-08-23 1990-02-26 Ricoh Co Ltd 音声ダイヤリング方式
JP2745562B2 (ja) 1988-09-20 1998-04-28 日本電気株式会社 ノイズ適応形音声認識装置
JP3034279B2 (ja) 1990-06-27 2000-04-17 株式会社東芝 有音検出装置および有音検出方法
US5220610A (en) * 1990-05-28 1993-06-15 Matsushita Electric Industrial Co., Ltd. Speech signal processing apparatus for extracting a speech signal from a noisy speech signal
JPH04181846A (ja) 1990-11-16 1992-06-29 Toshiba Corp 音声ダイヤル電話機
JPH0548702A (ja) 1991-08-19 1993-02-26 Clarion Co Ltd 音声着呼機能付音声ダイヤル装置
JPH07283857A (ja) 1994-04-08 1995-10-27 Nec Corp 音声ダイアル装置
US5764852A (en) * 1994-08-16 1998-06-09 International Business Machines Corporation Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events
JP3384165B2 (ja) 1995-02-01 2003-03-10 トヨタ自動車株式会社 音声認識装置
JPH11194797A (ja) 1997-12-26 1999-07-21 Kyocera Corp 音声認識作動装置
US6324499B1 (en) * 1999-03-08 2001-11-27 International Business Machines Corp. Noise recognizer for speech recognition systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200492205Y1 (ko) * 2018-07-31 2020-08-27 신승규 확장이 용이한 시스템 선반

Also Published As

Publication number Publication date
GB2343779A (en) 2000-05-17
GB2343779B (en) 2003-06-04
US6556968B1 (en) 2003-04-29
JP2000151760A (ja) 2000-05-30
CN1256571A (zh) 2000-06-14
CN1211951C (zh) 2005-07-20
GB9926901D0 (en) 2000-01-12

Similar Documents

Publication Publication Date Title
JP3157788B2 (ja) 携帯型情報端末
EP2092721B1 (en) Method and device for changing to a speakerphone mode
JP2001352365A (ja) 移動通信端末装置及びそれに用いる着信識別方法
JP2001308970A (ja) 携帯電話の音声認識操作方法及びシステム
JP2000165511A (ja) 携帯電話機および携帯電話機のダイヤルロック方法
JPH11249692A (ja) 音声認識装置
US8295449B2 (en) Method and system for creating audio identification messages
US7020292B1 (en) Apparatuses and methods for recognizing an audio input and muting an audio device
JP3533051B2 (ja) 自動音声応答機能付き電話機
JP2002135369A (ja) 携帯電話端末およびそのキー制御方法
US5202917A (en) Telephone calling method and telephone apparatus
US20020010005A1 (en) Method for performing voice dialing through ear-microphone in a mobile terminal
JP2850794B2 (ja) 着信音自動調整機能付携帯電話機
JPH1168891A (ja) 携帯電話機
JP3517306B2 (ja) 自動音声応答機能付き電話機
GB2340338A (en) A telephone arranged to generate a waiting message
JPH11194797A (ja) 音声認識作動装置
JP3278595B2 (ja) 携帯電話
JP3384282B2 (ja) 電話装置
JP3398695B2 (ja) 携帯電話端末及びそれに用いる不在着信履歴表示方法並びにその制御プログラムを記録した記録媒体
KR950005978B1 (ko) 전화기의 버튼음성 발성방법
JP2962261B2 (ja) 携帯電話機
JP4189107B2 (ja) 携帯電話装置
JP2000244633A (ja) 無線通信装置
JP3311365B2 (ja) 携帯電話装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010123

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090209

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees