JP4344658B2 - 音声合成機 - Google Patents
音声合成機 Download PDFInfo
- Publication number
- JP4344658B2 JP4344658B2 JP2004198918A JP2004198918A JP4344658B2 JP 4344658 B2 JP4344658 B2 JP 4344658B2 JP 2004198918 A JP2004198918 A JP 2004198918A JP 2004198918 A JP2004198918 A JP 2004198918A JP 4344658 B2 JP4344658 B2 JP 4344658B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- phoneme
- text
- processing unit
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Description
テキスト、韻律、多重媒体、および多重媒体とテキスト/音声変換との同期化に必要な時間情報、唇形情報、個人性情報などの同期化情報を構造化させた多重媒体情報を入力する多重媒体情報入力部と、
前記多重媒体情報入力部に入力された多重媒体情報を媒体別情報に分離する媒体別データ分配器と、
前記媒体別データ分配器から分配されたテキストを音素別に変換し、韻律情報を推定して、これをシンボル化する言語処理部と、
前記シンボル化された韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算する韻律処理部と、
前記媒体別データ分配器から分配された同期化情報を利用して音素の持続時間を調節する同期調整部と、
前記韻律制御パラメータと合成単位データベース内のデータを利用して合成音を生成する信号処理部と、
前記媒体別データ分配器から分配された多重媒体を画面に出力する映像出力部と、
により構成されることを特徴とする。
言語処理結果(シンボル化された韻律情報)を受けて、節境界、相関度が低い句の境界、および一息で発話できる自然な音節数を考慮する段階と、作成された区切り読み規則を用いて文章内の区切り読み位置と長さとを推定する段階、そして、この結果を言語処理結果に追加して音素別持統時間モジュールに送る段階と、からなる。
区切り読み位置の推定結果を受けて、音素の固有持続時間テーブル、周辺音韻環境、構文構造、品詞情報、文章内の位置を考慮して作成した音素の持続時間計算規則を用いて音素別持続時間を推定し、この結果を区切り読みの推定結果に追加してピッチコンツア生成モジュールに送る段階からなる。
単語間修飾構造、単語を構成する音素列の調音特性と持続時間、文章内の単語位置、および単語間区切り読み情報を用いて文章のピッチコンツアを合成し、計算されたデータを音素別持続時間推定結果に追加してエネルギ値モジュールに送る段階からなる。
文章内の単語位置、単語を構成する音素列の資質、音節内の音素間調音結合特性、対象単語と左右単語の平均ピッチ値、および対象単語の前後に位置する区切り読み長さ情報を基準として作成したエネルギ値計算規則を用いて、音素単位のエネルギコンツアを作成する段階からなる。
多重媒体情報入力部により、合成音の自然性向上と、多重媒体及びテキスト/音声変換器間の同期化具現とのために構造化された多重媒体入力情報の構成を、テキスト、韻律、動画像との同期化情報、唇形、および個人性情報とに区分する段階と、
前記多重媒体情報入力部にて区分された情報各々を、媒体別データ分配器により分配する段階と、
前記媒体別データ分配器にて分配されたテキストを、言語処理部により、音素列に変換して韻律情報を推定し、これをシンボル化する段階と、
韻律処理部において、前記韻律情報から、多重媒体情報に包含されている韻律制御パラメータ以外の韻律制御パラメータの値を計算する段階と、
同期調整器において、前記韻律処理部の処理結果と同期化情報の入力とにより、映像信号との同期を合わせるため音素別持続時間を調整する段階と、
信号処理部において、音声単位データベースを利用して、前記媒体別データ分配器からの韻律情報及び前記同期調整器の処理結果から、合成音を生成する段階と、
前記媒体別データ分配器から分配された映像情報を映像出力装置により画面に出力する段階と、
によりなることを特徴とする。
タ列の固有番号を表す。
連動されるとき1の値を有する。
p,restart,forward,backwardのようなtrick
modeを支援するようにデータが構造化されると1の値を有する。
初めを意味し、10−bit IDであり、各TTSデータ列の固有番号を表す
。
の各TTS文章の固有番号を表す。
区間のとき1になる。
素のピッチ情報が多重媒体入力情報に包含されるとき1になる。
、各音素のエネルギ情報が多重媒体入力情報に包含されるとき1になる。
2 韻律処理部
3 信号処理部
4 合成単位データベース
5 データ入力装置
6 中央処理装置
7 合成データベース
8 D/A変換装置
9 映像出力装置
10 多重媒体入力情報
11 媒体別データ分配器
12 言語処理部
13 韻律処理部
14 同期調整器
15 信号処理部
16 合成単位データベース
17 映像出力装置
Claims (2)
- テキストを用いて合成音を生成する音声合成機において、
前記合成音を出力する出力手段と、
前記合成音に連動して動作する動映像を出力する映像出力手段と、
前記合成音を生成すべきテキストに関するテキスト情報と、前記テキストの唇形変化点情報および各唇形変化点の位置での唇形情報を含む、前記動映像との同期化情報と、を外部から入力するための入力手段と、
前記テキストを音素列に変換し、前記音素列から韻律情報を推定する言語処理部と、
既に定義された規則を用いて、前記韻律情報から韻律制御パラメータを計算する韻律処理部と、
前記韻律制御パラメータと、合成データベースに保存されている合成音の生成に必要な合成データと、を用いて合成音を生成する信号処理部と、
前記信号処理部が前記合成音を生成する際に、前記同期化情報に含まれる前記唇形変化点情報および前記唇形情報に基づいて、前記音素列に含まれる各音素の持続時間を調整する同期調整部と、
を備える音声合成手段と、を有すること
を特徴とする音声合成機。 - 前記同期化情報は、唇形の持続時間情報をさらに含み、
前記同期調整部は、
前記音素列の各音素を、前記同期化情報に含まれる唇形に対応するグループに分ける処理と、
前記グループに含まれる各音素の持続時間を、前記唇形の持続時間情報から計算して調整する処理と、を実行すること、
を特徴とする請求項1に記載の音声合成機。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970017615A KR100240637B1 (ko) | 1997-05-08 | 1997-05-08 | 다중매체와의 연동을 위한 텍스트/음성변환 구현방법 및 그 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35042797A Division JP3599549B2 (ja) | 1997-05-08 | 1997-12-19 | 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004361965A JP2004361965A (ja) | 2004-12-24 |
JP4344658B2 true JP4344658B2 (ja) | 2009-10-14 |
Family
ID=19505142
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35042797A Expired - Fee Related JP3599549B2 (ja) | 1997-05-08 | 1997-12-19 | 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法 |
JP2004198918A Expired - Lifetime JP4344658B2 (ja) | 1997-05-08 | 2004-07-06 | 音声合成機 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35042797A Expired - Fee Related JP3599549B2 (ja) | 1997-05-08 | 1997-12-19 | 動映像と合成音を同期化するテキスト/音声変換器、および、動映像と合成音を同期化する方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US6088673A (ja) |
JP (2) | JP3599549B2 (ja) |
KR (1) | KR100240637B1 (ja) |
DE (1) | DE19753454C2 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7076426B1 (en) * | 1998-01-30 | 2006-07-11 | At&T Corp. | Advance TTS for facial animation |
KR100395491B1 (ko) * | 1999-08-16 | 2003-08-25 | 한국전자통신연구원 | 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법 |
JP4320487B2 (ja) * | 1999-09-03 | 2009-08-26 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム格納媒体 |
US6557026B1 (en) * | 1999-09-29 | 2003-04-29 | Morphism, L.L.C. | System and apparatus for dynamically generating audible notices from an information network |
USRE42904E1 (en) * | 1999-09-29 | 2011-11-08 | Frederick Monocacy Llc | System and apparatus for dynamically generating audible notices from an information network |
JP4465768B2 (ja) * | 1999-12-28 | 2010-05-19 | ソニー株式会社 | 音声合成装置および方法、並びに記録媒体 |
JP4032273B2 (ja) * | 1999-12-28 | 2008-01-16 | ソニー株式会社 | 同期制御装置および方法、並びに記録媒体 |
US6529586B1 (en) | 2000-08-31 | 2003-03-04 | Oracle Cable, Inc. | System and method for gathering, personalized rendering, and secure telephonic transmission of audio data |
US6975988B1 (en) * | 2000-11-10 | 2005-12-13 | Adam Roth | Electronic mail method and system using associated audio and visual techniques |
KR100379995B1 (ko) * | 2000-12-08 | 2003-04-11 | 야무솔루션스(주) | 텍스트/음성 변환 기능을 갖는 멀티코덱 플레이어 |
US20030009342A1 (en) * | 2001-07-06 | 2003-01-09 | Haley Mark R. | Software that converts text-to-speech in any language and shows related multimedia |
US7487092B2 (en) * | 2003-10-17 | 2009-02-03 | International Business Machines Corporation | Interactive debugging and tuning method for CTTS voice building |
CA2545873C (en) | 2003-12-16 | 2012-07-24 | Loquendo S.P.A. | Text-to-speech method and system, computer program product therefor |
US20050187772A1 (en) * | 2004-02-25 | 2005-08-25 | Fuji Xerox Co., Ltd. | Systems and methods for synthesizing speech using discourse function level prosodic features |
US20060136215A1 (en) * | 2004-12-21 | 2006-06-22 | Jong Jin Kim | Method of speaking rate conversion in text-to-speech system |
WO2006070566A1 (ja) * | 2004-12-28 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | 音声合成方法および情報提供装置 |
KR100710600B1 (ko) * | 2005-01-25 | 2007-04-24 | 우종식 | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 |
US9087049B2 (en) * | 2005-10-26 | 2015-07-21 | Cortica, Ltd. | System and method for context translation of natural language |
TWI341956B (en) * | 2007-05-30 | 2011-05-11 | Delta Electronics Inc | Projection apparatus with function of speech indication and control method thereof for use in the apparatus |
US8374873B2 (en) | 2008-08-12 | 2013-02-12 | Morphism, Llc | Training and applying prosody models |
US8731931B2 (en) | 2010-06-18 | 2014-05-20 | At&T Intellectual Property I, L.P. | System and method for unit selection text-to-speech using a modified Viterbi approach |
WO2012071630A1 (en) | 2010-12-02 | 2012-06-07 | Accessible Publishing Systems Pty Ltd | Text conversion and representation system |
JP2012150363A (ja) * | 2011-01-20 | 2012-08-09 | Kddi Corp | メッセージ映像編集プログラムおよびメッセージ映像編集装置 |
KR101358999B1 (ko) * | 2011-11-21 | 2014-02-07 | (주) 퓨처로봇 | 캐릭터의 다국어 발화 시스템 및 방법 |
WO2014141054A1 (en) * | 2013-03-11 | 2014-09-18 | Video Dubber Ltd. | Method, apparatus and system for regenerating voice intonation in automatically dubbed videos |
EP3921770A4 (en) * | 2019-02-05 | 2022-11-09 | Igentify Ltd. | SYSTEM AND METHOD FOR MODULATION OF DYNAMIC GAPS IN SPEECH |
KR20220147276A (ko) * | 2021-04-27 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 프로소디 제어를 위한 tts 모델 생성 방법 |
WO2023166527A1 (en) * | 2022-03-01 | 2023-09-07 | Gan Studio Inc. | Voiced-over multimedia track generation |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT72083B (de) | 1912-12-18 | 1916-07-10 | S J Arnheim | Befestigung für leicht auswechselbare Schlösser. |
US4260229A (en) * | 1978-01-23 | 1981-04-07 | Bloomstein Richard W | Creating visual images of lip movements |
US4305131A (en) * | 1979-02-05 | 1981-12-08 | Best Robert M | Dialog between TV movies and human viewers |
US4692941A (en) * | 1984-04-10 | 1987-09-08 | First Byte | Real-time text-to-speech conversion system |
GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
JP2518683B2 (ja) | 1989-03-08 | 1996-07-24 | 国際電信電話株式会社 | 画像合成方法及びその装置 |
DE69028940T2 (de) * | 1989-03-28 | 1997-02-20 | Matsushita Electric Ind Co Ltd | Gerät und Verfahren zur Datenaufbereitung |
US5111409A (en) * | 1989-07-21 | 1992-05-05 | Elon Gasper | Authoring and use systems for sound synchronized animation |
JPH03241399A (ja) | 1990-02-20 | 1991-10-28 | Canon Inc | 音声送受信装置 |
DE4101022A1 (de) * | 1991-01-16 | 1992-07-23 | Medav Digitale Signalverarbeit | Verfahren zur geschwindigkeitsvariablen wiedergabe von audiosignalen ohne spektrale veraenderung der signale |
US5689618A (en) | 1991-02-19 | 1997-11-18 | Bright Star Technology, Inc. | Advanced tools for speech synchronized animation |
JPH04285769A (ja) | 1991-03-14 | 1992-10-09 | Nec Home Electron Ltd | マルチメディアデータの編集方法 |
JP3070136B2 (ja) | 1991-06-06 | 2000-07-24 | ソニー株式会社 | 音声信号に基づく画像の変形方法 |
US5313522A (en) * | 1991-08-23 | 1994-05-17 | Slager Robert P | Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader |
JP3135308B2 (ja) | 1991-09-03 | 2001-02-13 | 株式会社日立製作所 | ディジタルビデオ・オーディオ信号伝送方法及びディジタルオーディオ信号再生方法 |
JPH05188985A (ja) | 1992-01-13 | 1993-07-30 | Hitachi Ltd | 音声圧縮方式、及び通信方式、並びに無線通信装置 |
JPH05313686A (ja) | 1992-04-02 | 1993-11-26 | Sony Corp | 表示制御装置 |
JP3083640B2 (ja) * | 1992-05-28 | 2000-09-04 | 株式会社東芝 | 音声合成方法および装置 |
JP2973726B2 (ja) * | 1992-08-31 | 1999-11-08 | 株式会社日立製作所 | 情報処理装置 |
US5636325A (en) * | 1992-11-13 | 1997-06-03 | International Business Machines Corporation | Speech synthesis and analysis of dialects |
US5500919A (en) * | 1992-11-18 | 1996-03-19 | Canon Information Systems, Inc. | Graphics user interface for controlling text-to-speech conversion |
CA2119397C (en) * | 1993-03-19 | 2007-10-02 | Kim E.A. Silverman | Improved automated voice synthesis employing enhanced prosodic treatment of text, spelling of text and rate of annunciation |
JP2734335B2 (ja) | 1993-05-12 | 1998-03-30 | 松下電器産業株式会社 | データ伝送方法 |
US5860064A (en) * | 1993-05-13 | 1999-01-12 | Apple Computer, Inc. | Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system |
JP3059022B2 (ja) | 1993-06-07 | 2000-07-04 | シャープ株式会社 | 動画像表示装置 |
JP3364281B2 (ja) | 1993-07-16 | 2003-01-08 | パイオニア株式会社 | 時分割ビデオ及びオーディオ信号の同期方式 |
US5608839A (en) * | 1994-03-18 | 1997-03-04 | Lucent Technologies Inc. | Sound-synchronized video system |
JP2611728B2 (ja) * | 1993-11-02 | 1997-05-21 | 日本電気株式会社 | 動画像符号化復号化方式 |
JPH07306692A (ja) | 1994-05-13 | 1995-11-21 | Matsushita Electric Ind Co Ltd | 音声認識装置及び音声入力装置 |
US5657426A (en) * | 1994-06-10 | 1997-08-12 | Digital Equipment Corporation | Method and apparatus for producing audio-visual synthetic speech |
GB2291571A (en) | 1994-07-19 | 1996-01-24 | Ibm | Text to speech system; acoustic processor requests linguistic processor output |
IT1266943B1 (it) | 1994-09-29 | 1997-01-21 | Cselt Centro Studi Lab Telecom | Procedimento di sintesi vocale mediante concatenazione e parziale sovrapposizione di forme d'onda. |
US5677739A (en) | 1995-03-02 | 1997-10-14 | National Captioning Institute | System and method for providing described television services |
JP3507176B2 (ja) * | 1995-03-20 | 2004-03-15 | 富士通株式会社 | マルチメディアシステム動的連動方式 |
US5729694A (en) * | 1996-02-06 | 1998-03-17 | The Regents Of The University Of California | Speech coding, reconstruction and recognition using acoustics and electromagnetic waves |
US5850629A (en) * | 1996-09-09 | 1998-12-15 | Matsushita Electric Industrial Co., Ltd. | User interface controller for text-to-speech synthesizer |
KR100236974B1 (ko) * | 1996-12-13 | 2000-02-01 | 정선종 | 동화상과 텍스트/음성변환기 간의 동기화 시스템 |
JP4359299B2 (ja) | 2006-09-13 | 2009-11-04 | Tdk株式会社 | 積層型セラミック電子部品の製造方法 |
-
1997
- 1997-05-08 KR KR1019970017615A patent/KR100240637B1/ko not_active IP Right Cessation
- 1997-12-02 DE DE19753454A patent/DE19753454C2/de not_active Expired - Fee Related
- 1997-12-19 JP JP35042797A patent/JP3599549B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-09 US US09/020,712 patent/US6088673A/en not_active Ceased
-
2002
- 2002-09-30 US US10/193,594 patent/USRE42647E1/en not_active Expired - Lifetime
-
2004
- 2004-07-06 JP JP2004198918A patent/JP4344658B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6088673A (en) | 2000-07-11 |
KR19980082608A (ko) | 1998-12-05 |
DE19753454A1 (de) | 1998-11-12 |
DE19753454C2 (de) | 2003-06-18 |
JP2004361965A (ja) | 2004-12-24 |
USRE42647E1 (en) | 2011-08-23 |
JPH10320170A (ja) | 1998-12-04 |
JP3599549B2 (ja) | 2004-12-08 |
KR100240637B1 (ko) | 2000-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4344658B2 (ja) | 音声合成機 | |
JP4539537B2 (ja) | 音声合成装置,音声合成方法,およびコンピュータプログラム | |
KR100236974B1 (ko) | 동화상과 텍스트/음성변환기 간의 동기화 시스템 | |
US20080275700A1 (en) | Method of and System for Modifying Messages | |
JP2003530654A (ja) | キャラクタのアニメ化 | |
JPH10260692A (ja) | 音声の認識合成符号化/復号化方法及び音声符号化/復号化システム | |
JP2000508845A (ja) | ビデオ画像シーケンスの新たなサウンドトラックに対する自動同期 | |
JP2011250100A (ja) | 画像処理装置および方法、並びにプログラム | |
JPH02234285A (ja) | 画像合成方法及びその装置 | |
JP2017021125A (ja) | 音声対話装置 | |
US6839672B1 (en) | Integration of talking heads and text-to-speech synthesizers for visual TTS | |
JP2011186143A (ja) | ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム | |
KR100710600B1 (ko) | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 | |
JP2007178686A (ja) | 音声変換装置 | |
JP7069386B1 (ja) | 音声変換装置、音声変換方法、プログラム、および記録媒体 | |
JP2005215888A (ja) | テキスト文の表示装置 | |
JP2007299300A (ja) | アニメーション作成装置 | |
JP2982697B2 (ja) | テロップ表示装置 | |
JP6044490B2 (ja) | 情報処理装置、話速データ生成方法、及びプログラム | |
JP6486582B2 (ja) | 電子機器、音声制御方法、およびプログラム | |
JP4563418B2 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
JP6163454B2 (ja) | 音声合成装置、その方法及びプログラム | |
JP3766534B2 (ja) | 視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体 | |
JP3426957B2 (ja) | 映像中への音声録音支援表示方法及び装置及びこの方法を記録した記録媒体 | |
JP2004071013A (ja) | 映像付帯音声データ記録方法、映像付帯音声データ記録装置および映像付帯音声データ記録プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071003 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |