KR100425676B1 - 비디오 전송 시스템의 에러 복구 방법 - Google Patents
비디오 전송 시스템의 에러 복구 방법 Download PDFInfo
- Publication number
- KR100425676B1 KR100425676B1 KR10-2001-0013424A KR20010013424A KR100425676B1 KR 100425676 B1 KR100425676 B1 KR 100425676B1 KR 20010013424 A KR20010013424 A KR 20010013424A KR 100425676 B1 KR100425676 B1 KR 100425676B1
- Authority
- KR
- South Korea
- Prior art keywords
- packet loss
- loss rate
- intra
- value
- transmission system
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 인터넷을 통한 실시간 동영상 전송 시스템에서 패킷 손실률을 고려한 인트라 부호화 기법을 도입하여 패킷 지연 및 손실로 인해 발생되는 화질 저하를 방지할 수 있도록 한 것이다. 이를 위해, 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하고, 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 할 수 있게 하며, 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지할 수 있게 하였다.
Description
본 발명은 인터넷을 통한 실시간 동영상 전송 시스템에서 에러를 복구하는 기술에 관한 것으로, 특히 패킷 손실률을 고려한 인트라 부호화 기법을 도입하여 패킷 지연 및 손실로 인해 발생되는 화질 저하를 방지할 수 있도록 한 비디오 전송 시스템의 에러 복구 방법에 관한 것이다.
일반적으로, 인터넷을 통해 실시간으로 동영상을 서비스할 때, 인터넷의 비동시성(Non-isochronous nature)으로 인하여 패킷 지연 및 손실이 발생되고, 이에 의해 수신측 화면의 영상이 깨지는 현상이 나타난다. 이러한 문제는 수신측에서의 후처리 즉, 에러 은닉(error concealment)을 통해 어느 정도 해결할 수 있지만, 근본적인 에러 복구(error recovery) 기법 없이는 고품질의 동영상 서비스를 제공하는데 어려움이 있다.
이러한 문제점을 해결하기 위하여, 재전송 및 FEC(Forward Error Correction) 등과 같은 에러 복구 기법들이 제안되었으나, 이러한 방법들은 많은 지연시간을 유발시켜 사실상 실시간 처리에 적당하지 못하다.
한편, 통상의 H.263 표준에서 계수가 있는 블록을 전송할 때 최소 132번째마다 강제적으로 인트라(INTRA) 모드로 부호화하는 인트라 부호화 기법이 있는데, 이 방법의 원래 목적은 IDCT 에러의 누적을 막기 위한 것이었다. 하지만, 이전 영상의 참조가 필요 없다는 특징으로 인하여 대부분의 예측 비디오 부호화를 이용하는 시스템에 적용되어 에러를 복구하거나 시간적인(temporal) 에러의 전파(propagation)를 없애기 위한 대안으로 사용되어 왔다.
그러나, 이와 같은 종래의 인트라 부호화 기법은 패킷의 손실이 없는 즉, 에러가 없는 상황만을 고려한 것이므로 이러한 기법을 그대로 적용하는 것은 효율적인 에러 복구 측면에서 적절하지 못한 문제점이 있었다. 더욱이 빠른 움직임이나 장면 전환 발생 시 해당 영상 블록이 깨지면서 배경 영역(즉, NOT CODED 블록)이 된 경우 그 부분은 인트라 업데이트(INTRA UPDATE)가 되지 않는 문제점이 발생되고, 네트워크 상황을 전혀 고려하지 않은 고정된 리프레쉬 레이트(refresh rate)를 갖게 되므로, 고화질의 비디오 전송을 위한 에러 복구 방법으로 부족함이 있었다.
따라서, 본 발명의 목적은 패킷 손실률과 네트워크의 상황을 고려할 수 있고, 에러에 보다 강건한 비디오 전송을 보장하고, 우수한 품질의 동영상 서비스가 가능한 비디오 전송 시스템의 에러 복구 방법을 제공함에 있다.
도 1은 패킷 손실률을 고려한 적응적인 인트라 리프레쉬 레이트 그래프.
도 2는 본 발명에서 매크로 블록에 대한 카운트 방법의 알고리즘.
도 3은 본 발명에 의한 에러 복구 방법의 설명도.
본 발명에 의한 비디오 전송 시스템의 에러 복구 방법은, 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하는 제1과정과; 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 할 수 있게 하는 제2과정과; 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지하는 제3과정으로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 1 내지 도 3을 참조하여 상세히 설명하면 다음과 같다.
본 발명에서는 계수가 있는 블록을 전송할 때 132번째 마다 리프레쉬하는 방법 대신에, 패킷 손실률에 따라 적응적으로 리프레쉬 레이트를 조절하도록 하였다.
도 1에서 보는 바와 같이, 패킷 손실률(PLR)이 클수록 리프레쉬 레이트(refresh rate)는 선형적으로 작아지는 것을 알 수 있다. 즉, 인트라 업데이트율이 높아진다. 예를 들어, 패킷 손실률이 0(에러가 없는 상황)이면, 리프레쉬 레이트는 132, 50%이면 66, 100%이면 0이다. 만약, 모든 패킷이 사라지는 100%의 패킷 손실률일 경우에는 모든 매크로 블록이 인트라 모드로 부호화 되는 효과가 있다.
한편, 배경영역의 리프레쉬를 위한 본 발명의 카운트 동작을 도 2를 참조하여 설명하면 다음과 같다.기존에는 인트라 모드 및 계수가 있는 인터(즉, CODED 블록)모드에 대해 카운트값을 하나씩 증가시키는 방법을 사용하였지만, 본 발명에서는 실험적으로 리프레쉬 레이트가 66보가 작은 경우 즉, PLR이 50%보다 큰 경우 계수가 없는 인터(즉, NOT CODED 블록인 배경 영역) 블록에 대해서도 카운트하여 그 카운트값이 일정치에 도달될 때 인트라 모드로 부호화 할 수 있게 하였다. 그 이유는 패킷 손실률이 큰 경우에 배경 영역(NOT CODED 블록)에 대한 에러의 전파(에러 블록이 배경 영역이 되어 그대로 계속 남아 있는 현상)를 방지하기 위함이다. 그러나, PLR이 50%보다 작은 경우에는 배경 영역에 대하여 카운트하지 않음으로써 부호화 효율(인트라 업데이트일 경우 부호화 비트가 늘어남)이 향상되고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상이 방지된다.
MB 리프레쉬 패턴은 H.263 표준에서는 정하지 않았는데, 본 발명에서는 랜덤 함수를 사용하여 에러 복구의 효율이 좀더 향상된다. 또한, 초기값은 0에서 최대값 사이의 랜덤한 값을 사용함으로써, 블록이 순차적으로 업데이트되는 현상을 방지할 수 있고, 랜덤하게 업데이트 됨으로써 좀 더 나은 화질 향상을 기대할 수 있다.
한편, 도 3은 본 발명의 에러 복구 방법에 대한 전체적인 처리과정을 도식적으로 나타낸 것이다. PLR에 따라 리프레쉬 레이트는 가변된다. 즉, PLR이 높으면 리프레쉬 레이트는 작아지고, 인트라 업데이트될 매크로 블록의 수는 증가하게 된다. 따라서, PLR 즉, 패킷 손실률에 따라 상기와 같이 적응적으로 에러의 전파를 막는 동시에, 에러 복구를 수행함으로써 화질을 향상시킬 수 있게 된다.
이상에서 상세히 설명한 바와 같이 본 발명은, 패킷 네트워크 특히 인터넷을 통한 실시간 동영상 서비스 시 패킷 지연 및 손실에 의한 에러를 효율적으로 복구함으로써 화질이 저하되는 것을 방지할 수 있는 효과가 있다. 특히 패킷 손실률을 고려한 효율적인 인트라 부호화 기법을 제공함으로써 네트워크의 상황을 고려할 수 있고, 에러에 보다 강건한 전송이 가능하고 고품질의 실시간 동영상 서비스가 가능하게 되는 효과가 있다.
Claims (3)
- 패킷 손실률에 따라 리프레쉬 레이트를 적응적으로 조절하는 제1과정과; 상기 패킷 손실률이 일정치 이상일 때 계수가 없는 인터 블록에 대해 카운트하여 그 카운트값이 일정치에 도달될 때 그 모드를 인트라 모드로 부호화 처리하여 에러블록에 의한 에러전파가 방지되도록 하는 제2과정과; 상기 패킷 손실률이 일정치 이하일 때 계수가 없는 인터 블록에 대한 카운트 동작을 생략하여 부호화 효율을 높이고, 배경 부분이 인트라 업데이트에 의해 깜박거리는 현상을 방지하는 제3과정으로 이루어지는 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
- 제1항에 있어서, 리프레쉬 레이트는 매크로 블록이 순차적으로 업데이트되는 현상을 방지하고, 랜덤하게 업데이트 되도록 하기 위하여, 초기값은 0에서 최대값 사이의 랜덤한 값을 사용하는 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
- 제1항에 있어서, 패킷 손실률의 일정치는 50%인 것을 특징으로 하는 비디오 전송 시스템의 에러 복구 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0013424A KR100425676B1 (ko) | 2001-03-15 | 2001-03-15 | 비디오 전송 시스템의 에러 복구 방법 |
US10/098,794 US6944223B2 (en) | 2001-03-15 | 2002-03-14 | Effective error recovery method using packet loss rate of networks in realtime video transfer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0013424A KR100425676B1 (ko) | 2001-03-15 | 2001-03-15 | 비디오 전송 시스템의 에러 복구 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20020073683A KR20020073683A (ko) | 2002-09-28 |
KR100425676B1 true KR100425676B1 (ko) | 2004-04-03 |
Family
ID=19706977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2001-0013424A KR100425676B1 (ko) | 2001-03-15 | 2001-03-15 | 비디오 전송 시스템의 에러 복구 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6944223B2 (ko) |
KR (1) | KR100425676B1 (ko) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100474269B1 (ko) * | 2002-03-09 | 2005-03-09 | 엘지전자 주식회사 | 동영상의 부호화 방법 |
KR20040035012A (ko) * | 2002-10-18 | 2004-04-29 | 엘지전자 주식회사 | 동영상 코덱 및 이를 이용한 동영상 코덱의 에러방지방법 |
KR100926826B1 (ko) * | 2003-06-30 | 2009-11-12 | 주식회사 케이티 | 비디오 비트열의 전송 오류에 대비하기 위한 변환부호장치 및 방법 |
US7796499B2 (en) * | 2003-12-05 | 2010-09-14 | Telefonaktiebolaget L M Ericsson (Publ) | Method of and system for video fast update |
US8437405B1 (en) | 2004-12-08 | 2013-05-07 | Nvidia Corporation | System and method for intra refresh implementation |
US7617436B2 (en) * | 2005-08-02 | 2009-11-10 | Nokia Corporation | Method, device, and system for forward channel error recovery in video sequence transmission over packet-based network |
KR100727994B1 (ko) * | 2005-10-06 | 2007-06-14 | 삼성전자주식회사 | 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치 |
US20080115185A1 (en) * | 2006-10-31 | 2008-05-15 | Microsoft Corporation | Dynamic modification of video properties |
US20080201752A1 (en) * | 2007-02-16 | 2008-08-21 | At&T Knowledge Ventures, L.P. | Multicast data packet recovery system |
US8761253B2 (en) * | 2008-05-28 | 2014-06-24 | Nvidia Corporation | Intra prediction mode search scheme |
US8831099B2 (en) * | 2008-12-17 | 2014-09-09 | Nvidia Corporation | Selecting a macroblock encoding mode by using raw data to compute intra cost |
US8929443B2 (en) * | 2009-01-09 | 2015-01-06 | Microsoft Corporation | Recovering from dropped frames in real-time transmission of video over IP networks |
US9432674B2 (en) * | 2009-02-02 | 2016-08-30 | Nvidia Corporation | Dual stage intra-prediction video encoding system and method |
FI20095273A0 (fi) * | 2009-03-17 | 2009-03-17 | On2 Technologies Finland Oy | Digitaalinen videokoodaus |
EP2302845B1 (en) | 2009-09-23 | 2012-06-20 | Google, Inc. | Method and device for determining a jitter buffer level |
EP2405661B1 (en) * | 2010-07-06 | 2017-03-22 | Google, Inc. | Loss-robust video transmission using two decoders |
US8630412B2 (en) | 2010-08-25 | 2014-01-14 | Motorola Mobility Llc | Transport of partially encrypted media |
US8477050B1 (en) | 2010-09-16 | 2013-07-02 | Google Inc. | Apparatus and method for encoding using signal fragments for redundant transmission of data |
CN102547411A (zh) * | 2010-12-14 | 2012-07-04 | 康佳集团股份有限公司 | 流视频的传输和播放方法及其实现装置 |
US8751565B1 (en) | 2011-02-08 | 2014-06-10 | Google Inc. | Components for web-based configurable pipeline media processing |
US9014265B1 (en) | 2011-12-29 | 2015-04-21 | Google Inc. | Video coding using edge detection and block partitioning for intra prediction |
CN102572446B (zh) * | 2012-01-10 | 2014-02-26 | 宁波大学 | 一种多视点视频整帧丢失错误隐藏方法 |
US9210424B1 (en) | 2013-02-28 | 2015-12-08 | Google Inc. | Adaptive prediction block size in video coding |
US9313493B1 (en) | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
CN103475884B (zh) * | 2013-09-12 | 2016-08-24 | 宁波大学 | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 |
US9293119B2 (en) | 2014-01-06 | 2016-03-22 | Nvidia Corporation | Method and apparatus for optimizing display updates on an interactive display device |
US9383851B2 (en) | 2014-01-06 | 2016-07-05 | Nvidia Corporation | Method and apparatus for buffering sensor input in a low power system state |
US9804826B2 (en) | 2014-12-05 | 2017-10-31 | Nvidia Corporation | Parallelization of random number generators |
US9807416B2 (en) | 2015-09-21 | 2017-10-31 | Google Inc. | Low-latency two-pass video coding |
CN107682705B (zh) * | 2017-09-26 | 2020-05-12 | 杭州电子科技大学 | 基于mv-hevc框架的立体视频b帧错误隐藏方法 |
CN108711153B (zh) * | 2018-05-29 | 2021-09-14 | 北京小鸟科技股份有限公司 | 一种数字视频图像畸变检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940008484A (ko) * | 1992-09-02 | 1994-04-29 | 윤종용 | 강제리프레쉬를 포함하는 dpcm 부호화방법 |
KR950007530A (ko) * | 1993-08-31 | 1995-03-21 | 배순훈 | 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법 |
KR20000023279A (ko) * | 1998-09-18 | 2000-04-25 | 구자홍 | 비디오 압축을 위한 영역 기반 리프레시 방법 |
KR20000035582A (ko) * | 1998-11-20 | 2000-06-26 | 매클린토크 샤운 엘 | 점진적으로 리프레시된 비디오 스트림의 비디오 데이터의스플라이싱 |
US6144769A (en) * | 1996-09-27 | 2000-11-07 | Sharp Kabushiki Kaisha | Video coding device and decoding device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151636A (en) * | 1997-12-12 | 2000-11-21 | 3Com Corporation | Data and media communication through a lossy channel using signal conversion |
US7046910B2 (en) * | 1998-11-20 | 2006-05-16 | General Instrument Corporation | Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance |
JP3840020B2 (ja) * | 1999-12-14 | 2006-11-01 | 株式会社東芝 | 動画像符号化装置 |
US20020122491A1 (en) * | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
US7042948B2 (en) * | 2001-03-05 | 2006-05-09 | Intervideo, Inc. | Systems and methods for management of data in a ring buffer for error resilient decoding of a video bitstream |
-
2001
- 2001-03-15 KR KR10-2001-0013424A patent/KR100425676B1/ko not_active IP Right Cessation
-
2002
- 2002-03-14 US US10/098,794 patent/US6944223B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940008484A (ko) * | 1992-09-02 | 1994-04-29 | 윤종용 | 강제리프레쉬를 포함하는 dpcm 부호화방법 |
KR950007530A (ko) * | 1993-08-31 | 1995-03-21 | 배순훈 | 적응적으로 강제 인트라 모드를 선택하는 동영상 부호화 방법 |
US6144769A (en) * | 1996-09-27 | 2000-11-07 | Sharp Kabushiki Kaisha | Video coding device and decoding device |
KR20000023279A (ko) * | 1998-09-18 | 2000-04-25 | 구자홍 | 비디오 압축을 위한 영역 기반 리프레시 방법 |
KR20000035582A (ko) * | 1998-11-20 | 2000-06-26 | 매클린토크 샤운 엘 | 점진적으로 리프레시된 비디오 스트림의 비디오 데이터의스플라이싱 |
Also Published As
Publication number | Publication date |
---|---|
US6944223B2 (en) | 2005-09-13 |
US20020159525A1 (en) | 2002-10-31 |
KR20020073683A (ko) | 2002-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100425676B1 (ko) | 비디오 전송 시스템의 에러 복구 방법 | |
JP4644939B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
EP1657935B1 (en) | Video coding | |
US10264254B2 (en) | Image coding and decoding method, image data processing method, and devices thereof | |
JP4829581B2 (ja) | 画像のシーケンスの符号化の方法及び装置 | |
Liao et al. | Adaptive intra update for video coding over noisy channels | |
JP3840020B2 (ja) | 動画像符号化装置 | |
US20110249127A1 (en) | Estimating Video Quality Corruption in Lossy Networks | |
Wang et al. | Error resilient video coding using unequally protected key pictures | |
Setton et al. | Video streaming with SP and SI frames | |
Chiou et al. | Error-resilient transcoding using adaptive intra refresh for video streaming | |
KR100377190B1 (ko) | 블록별 생성 비트스트림 크기에 따른 채널 오류 발생가능성 예측에 의한 인트라 갱신 블록 결정 기법을 이용한 영상 부호화 방법 | |
Kang et al. | The decision scheme of frame importance factor for video streaming system | |
AU2015268694B2 (en) | Image coding and decoding method, image data processing method, and devices thereof | |
JP3779066B2 (ja) | 動画像符号化装置 | |
MUSTAFA et al. | Error Resilience of H. 264/Avc Coding Structures for Delivery over Wireless Networks | |
Gao et al. | A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC | |
Chon et al. | Improving compressed video sign language conversations in the presence of data loss | |
Milani et al. | Joint optimization of source-channel video coding using the H. 264 encoder and FEC codes | |
KR100961756B1 (ko) | 적응적인 부가 영상 정보를 활용한 오류 강인 부호화 방법 | |
Liu et al. | Error-resilience packet scheduling for low bit-rate video streaming over wireless channels | |
KR100951008B1 (ko) | 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템 | |
Siruvuri et al. | Adaptive error resilience for video streaming | |
Zhou et al. | Transmission Distortion Optimized FEC Scheme for Real-Time Wireless Video | |
Olmo et al. | Few decoders in the encoder: a low complexity encoding strategy for H. 26L |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20070221 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |