JP4462549B2 - リップ同期を維持する方法およびシステム - Google Patents
リップ同期を維持する方法およびシステム Download PDFInfo
- Publication number
- JP4462549B2 JP4462549B2 JP2004547018A JP2004547018A JP4462549B2 JP 4462549 B2 JP4462549 B2 JP 4462549B2 JP 2004547018 A JP2004547018 A JP 2004547018A JP 2004547018 A JP2004547018 A JP 2004547018A JP 4462549 B2 JP4462549 B2 JP 4462549B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- clock
- video signal
- input buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 230000005236 sound signal Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Receiver Circuits (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Synchronizing For Television (AREA)
Description
開示されている各実施の形態は、ビデオ信号とオーディオ信号との間の同期を維持するシステムおよび方法に関する。ビデオ信号およびオーディオ信号は、ロックされたクロックを用いて処理される。このシステムは、初期オーディオ入力バッファ・レベルを判定するコンポーネントと、前記初期オーディオ入力バッファ・レベルにおけるドリフト量を判定し、当該ドリフト量が第1の所定の閾値に達している場合に前記クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するコンポーネントと、前記クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定し、当該測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すように動作するコンポーネントとからなるものであればよい。
表1は、相対変化率に対するクロック周波数の変化に関する。
表2は、相対距離に対するクロック周波数の変化に関する。
Claims (20)
- ビデオ・クロックおよび前記ビデオ・クロックにロックされたオーディオ・クロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持するシステムにおいて、
初期オーディオ入力バッファ・レベルを判定するコンポーネントと、
オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定し、前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するコンポーネントと、
前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定し、前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すコンポーネントと、
からなる、前記システム。 - 前記初期オーディオ入力バッファ・レベルが、メモリに記憶される、請求項1記載のシステム。
- 前記ドリフト量が前記第1の所定の閾値に達している場合、クロック・リカバリー制御が無効になる、請求項1記載のシステム。
- 前記オーディオ信号および前記ビデオ信号が、MPEG信号からなる、請求項1記載のシステム。
- 前記ビデオ信号の前記測定された変位を打ち消すコンポーネントは、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すことによって前記ビデオ信号の前記測定された変位を打ち消す、請求項1記載のシステム。
- 前記ビデオ信号の前記測定された変位を打ち消すコンポーネントは、前記ビデオ信号のフレームをドロップすることによって前記ビデオ信号の前記測定された変位を打ち消す、請求項1記載のシステム。
- 前記第1の所定の閾値が、約+/−10msである、請求項1記載のシステム。
- 前記第2の所定の閾値が、約+/−25msである、請求項1記載のシステム。
- 前記システムが、テレビジョン・セットの部分である、請求項1記載のシステム。
- 前記テレビジョン・セットが、高品位テレビジョン・セットである、請求項9記載のシステム。
- ビデオ・クロックおよび前記ビデオ・クロックにロックされたクロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持するシステムにおいて、
初期オーディオ入力バッファ・レベルを判定する手段と、
オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定する手段と、
前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持する手段と、
前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定する手段と、
前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消す手段と、
からなる、前記システム。 - 前記オーディオ信号および前記ビデオ信号が、MPEG信号からなる、請求項11記載のシステム。
- 前記ビデオ信号の前記測定された変位を打ち消す手段は、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すことによって前記ビデオ信号の前記測定された変位を打ち消す、請求項11記載のシステム。
- 前記ビデオ信号の前記測定された変位を打ち消す手段は、前記ビデオ信号のフレームをドロップすることによって前記ビデオ信号の前記測定された変位を打ち消す、請求項11記載のシステム。
- ビデオ・クロックおよび前記ビデオ・クロックにロックされたクロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持する方法において、
初期オーディオ入力バッファ・レベルを判定するステップと、
オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定するステップと、
前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するステップと、
前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定するステップと、
前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すステップと、
からなる、前記方法。 - 前記初期オーディオ入力バッファ・レベルをメモリに記憶するステップを含む、請求項15記載の方法。
- 前記ドリフト量が前記第1の所定の閾値に達している場合、クロック・リカバリー制御を無効にするステップを含む、請求項15記載の方法。
- 前記ビデオ信号の前記測定された変位を打ち消すステップが、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すステップからなる、請求項15記載の方法。
- 前記ビデオ信号の前記測定された変位を打ち消すステップが、前記ビデオ信号のフレームをドロップするステップからなる、請求項15記載の方法。
- 上記各ステップが、記載された順番に実行される、請求項15記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US42087102P | 2002-10-24 | 2002-10-24 | |
PCT/US2003/033451 WO2004039056A2 (en) | 2002-10-24 | 2003-10-22 | A method and system for maintaining lip synchronization |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006508564A JP2006508564A (ja) | 2006-03-09 |
JP2006508564A5 JP2006508564A5 (ja) | 2006-11-24 |
JP4462549B2 true JP4462549B2 (ja) | 2010-05-12 |
Family
ID=32176641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004547018A Expired - Fee Related JP4462549B2 (ja) | 2002-10-24 | 2003-10-22 | リップ同期を維持する方法およびシステム |
Country Status (9)
Country | Link |
---|---|
US (1) | US20060007356A1 (ja) |
EP (1) | EP1554868A4 (ja) |
JP (1) | JP4462549B2 (ja) |
KR (1) | KR20050073482A (ja) |
CN (1) | CN100477802C (ja) |
AU (1) | AU2003284321A1 (ja) |
BR (1) | BR0315309A (ja) |
MX (1) | MXPA05004340A (ja) |
WO (1) | WO2004039056A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7212248B2 (en) * | 2002-09-09 | 2007-05-01 | The Directv Group, Inc. | Method and apparatus for lipsync measurement and correction |
AU2003286797A1 (en) * | 2002-11-07 | 2004-06-03 | Thomson Licensing S.A. | A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation |
US7519845B2 (en) | 2005-01-05 | 2009-04-14 | Microsoft Corporation | Software-based audio rendering |
CN100437546C (zh) * | 2005-06-30 | 2008-11-26 | 腾讯科技(深圳)有限公司 | 一种实现音频和视频同步的方法 |
JP2007124090A (ja) * | 2005-10-26 | 2007-05-17 | Renesas Technology Corp | 情報機器 |
US7948558B2 (en) * | 2006-09-29 | 2011-05-24 | The Directv Group, Inc. | Audio video timing measurement and synchronization |
US7765315B2 (en) * | 2007-01-08 | 2010-07-27 | Apple Inc. | Time synchronization of multiple time-based data streams with independent clocks |
DE102007045774B4 (de) * | 2007-09-25 | 2010-04-08 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Synchronisation einer Bildanzeige in einem Kraftfahrzeug |
US8819749B2 (en) * | 2008-06-11 | 2014-08-26 | Koninklijke Philips B.V. | Synchronization of media stream components |
WO2010122626A1 (ja) * | 2009-04-20 | 2010-10-28 | パイオニア株式会社 | 受信装置 |
US9565426B2 (en) | 2010-11-12 | 2017-02-07 | At&T Intellectual Property I, L.P. | Lip sync error detection and correction |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596696A (en) * | 1993-05-10 | 1997-01-21 | Object Technology Licensing Corp. | Method and apparatus for synchronizing graphical presentations |
CA2140850C (en) * | 1994-02-24 | 1999-09-21 | Howard Paul Katseff | Networked system for display of multimedia presentations |
KR100207687B1 (ko) * | 1995-12-09 | 1999-07-15 | 윤종용 | 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법 |
US6262776B1 (en) * | 1996-12-13 | 2001-07-17 | Microsoft Corporation | System and method for maintaining synchronization between audio and video |
US5778218A (en) * | 1996-12-19 | 1998-07-07 | Advanced Micro Devices, Inc. | Method and apparatus for clock synchronization across an isochronous bus by adjustment of frame clock rates |
JP3106987B2 (ja) * | 1997-01-09 | 2000-11-06 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
KR100235438B1 (ko) * | 1997-02-04 | 1999-12-15 | 구자홍 | 광디스크의 오디오재생신호 보상처리방법 및 장치 |
US5959684A (en) * | 1997-07-28 | 1999-09-28 | Sony Corporation | Method and apparatus for audio-video synchronizing |
IL123906A0 (en) * | 1998-03-31 | 1998-10-30 | Optibase Ltd | Method for synchronizing audio and video streams |
US6279058B1 (en) * | 1998-07-02 | 2001-08-21 | Advanced Micro Devices, Inc. | Master isochronous clock structure having a clock controller coupling to a CPU and two data buses |
US6347380B1 (en) * | 1999-03-03 | 2002-02-12 | Kc Technology, Inc. | System for adjusting clock rate to avoid audio data overflow and underrun |
US7031306B2 (en) * | 2000-04-07 | 2006-04-18 | Artel Video Systems, Inc. | Transmitting MPEG data packets received from a non-constant delay network |
US6654956B1 (en) * | 2000-04-10 | 2003-11-25 | Sigma Designs, Inc. | Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data |
US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
US6906755B2 (en) * | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
-
2003
- 2003-10-22 BR BR0315309-6A patent/BR0315309A/pt active Pending
- 2003-10-22 CN CNB2003801012487A patent/CN100477802C/zh not_active Expired - Fee Related
- 2003-10-22 AU AU2003284321A patent/AU2003284321A1/en not_active Abandoned
- 2003-10-22 EP EP03776502A patent/EP1554868A4/en not_active Withdrawn
- 2003-10-22 US US10/531,695 patent/US20060007356A1/en not_active Abandoned
- 2003-10-22 KR KR1020057005951A patent/KR20050073482A/ko not_active Application Discontinuation
- 2003-10-22 WO PCT/US2003/033451 patent/WO2004039056A2/en active Search and Examination
- 2003-10-22 MX MXPA05004340A patent/MXPA05004340A/es active IP Right Grant
- 2003-10-22 JP JP2004547018A patent/JP4462549B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
AU2003284321A8 (en) | 2004-05-13 |
BR0315309A (pt) | 2005-08-16 |
AU2003284321A1 (en) | 2004-05-13 |
EP1554868A2 (en) | 2005-07-20 |
KR20050073482A (ko) | 2005-07-13 |
US20060007356A1 (en) | 2006-01-12 |
CN100477802C (zh) | 2009-04-08 |
MXPA05004340A (es) | 2005-08-03 |
CN1703914A (zh) | 2005-11-30 |
EP1554868A4 (en) | 2011-06-01 |
JP2006508564A (ja) | 2006-03-09 |
WO2004039056A3 (en) | 2004-09-23 |
WO2004039056A2 (en) | 2004-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4482911B2 (ja) | オーディオ信号とビデオ信号との間の同期を判定するシステムおよび方法 | |
JP4157618B2 (ja) | タイミング補正方法およびその装置 | |
US9876944B2 (en) | Apparatus, systems and methods for user controlled synchronization of presented video and audio streams | |
US7602813B2 (en) | Decoder device | |
US20030066094A1 (en) | Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization | |
JP4462549B2 (ja) | リップ同期を維持する方法およびシステム | |
US8842218B2 (en) | Video/audio data output device and method | |
KR100359782B1 (ko) | 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법 | |
JP4903930B2 (ja) | 信号処理装置 | |
JP5244320B2 (ja) | クロック生成装置及び方法 | |
EP1889488B1 (en) | Audio-video processing system | |
JPH11112982A (ja) | Mpegデータ受信装置 | |
KR101324577B1 (ko) | 지연된 신호에 avc를 적용하는 신호 처리장치 및 방법 | |
US20080025345A1 (en) | Methods and Systems for Buffer Management | |
JPH1093841A (ja) | 映像同期信号補正装置 | |
JP5958008B2 (ja) | ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム | |
KR100499519B1 (ko) | 오디오 립 싱크 제어방법 | |
JP2008067179A (ja) | 受信装置および符号化データ再生方法 | |
US20020042708A1 (en) | Method and apparatus for outputting a datastream processed by a processing device | |
EP0912065A2 (en) | Method and apparatus for re-timing a digital signal | |
JP2004023134A (ja) | 画像音声同期化装置 | |
JPH08280008A (ja) | 符号化方法及び装置 | |
JP2009177303A (ja) | 映像信号処理装置および映像信号処理方法 | |
JP2008010912A (ja) | 動画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060720 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060927 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061115 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20080318 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090917 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100212 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |