JP3464397B2 - 画像情報コーディング時符号化表示方法 - Google Patents

画像情報コーディング時符号化表示方法

Info

Publication number
JP3464397B2
JP3464397B2 JP34219198A JP34219198A JP3464397B2 JP 3464397 B2 JP3464397 B2 JP 3464397B2 JP 34219198 A JP34219198 A JP 34219198A JP 34219198 A JP34219198 A JP 34219198A JP 3464397 B2 JP3464397 B2 JP 3464397B2
Authority
JP
Japan
Prior art keywords
coded
coding
cod
image information
display method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34219198A
Other languages
English (en)
Other versions
JPH11262014A (ja
Inventor
江濤 ▲温▼
ジョン・ディ・ヴィラスナー
正▲ホン▼ 朴
東植 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
University of California
Original Assignee
Samsung Electronics Co Ltd
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=22073174&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3464397(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Samsung Electronics Co Ltd, University of California filed Critical Samsung Electronics Co Ltd
Publication of JPH11262014A publication Critical patent/JPH11262014A/ja
Application granted granted Critical
Publication of JP3464397B2 publication Critical patent/JP3464397B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像情報コーディン
グ方法に係り、特に、ブロックの画像情報フィールドの
拡張を通した符号化有無の表示方法に関する。さらに
は、本発明は、符号化有無表示情報フィールドの拡張を
通した符号化有無の表示方法をエラー許容モードに活か
し、符号化される画像情報の特性によるビット量を低減
させる画像ビット量低減方法に関する。
【0002】
【従来の技術】一般に、ブロック(Block)基盤コ
デック、対象(Object)基盤コデック、形状(S
hape)基盤コデックの場合、動画像符号化方法に主
に利用される技術は、あるブロックを符号化するために
前フレームにおいて現ブロックと最も似た部分を表す動
きベクトル(Motion Vector:MV)と、
その実際データとの差に対する実際値あるいは変形され
た(例えばDCT)値を夫々符号化してデータを生成す
る。かかる二つの特徴的な値のビットストリーム(bi
t stream)における符号化有無を知らせるため
に、H.263とMPEG−4では“COD(cod
e)”を用いている。このCODは、ビットストリーム
内で符号化有無を示すフィールドであって、コードを示
す略語である。
【0003】図1は、従来のビットストリームにおける
符号化有無を表す方法を示している概念図である。図1
に示すように、CODフィールドの1ビット値で動きベ
クトルとDCT(Discrete Cosine T
ransform)係数の符号化有無を表す。すなわ
ち、CODフィールドのビットが“0”であればMV及
びDCTが符号化されていることを表し、“1”であれ
ばMV及びDCTが符号化されていないことを表す。し
かし乍ら、このCODフィールドを用いブロックの符号
化有無を知らせる場合、1ビットのみでこのような情報
を表すことにより、時にはエラーの存在するチャンネル
において用いる場合、この1ビットのエラーのみで全体
の情報が間違えて解釈される場合が生じ易くなる。さら
に、一定の背景下の画像動きの場合、実際の符号化にあ
たって動きベクトル(MV)のみを必要とし、その差値
(DCT)は必要としない場合がある。しかし乍ら、既
存の場合はこの差値(DCT)も符号化されビット量が
増大する欠点があった。
【0004】
【発明が解決しようとする課題】本発明は上記事情に鑑
みて成されたものであり、その目的は、H.263とM
PEG−4において使用する“COD”フィールドを拡
張し、エラーの存在するチャンネルにおいて画像情報が
送られる場合、誤った解釈を防止することができる画像
情報コーディング時符号化表示方法を提供することにあ
る。本発明の他の目的は、”COD”フィールドを拡張
し、画像の動きが一定した情報に対しては既存よりも少
量で符号化されたデータを生じさせる画像情報コーディ
ング時符号化表示方法を提供することにある。
【0005】
【課題を解決するための手段】前記目的を達成するため
に、本発明にかかる画像情報コーディング時符号化表示
方法は、CODフィールドを拡張し、MV及びDCTが
いずれも符号化されてないことと、MV及びDCTがい
ずれも符号化されていること、及びMVのみ符号化され
たことを表すようにして画像の符号化を行うことを特徴
とする画像情報コーディング時符号化表示方法を提供す
る好ましくは、前記拡張されたCODフィールドは、少
なくとも2ビットであることを特徴とする。好ましく
は、前記拡張されたCODフィールドは、H.263及
びまたはMPEG−4符号化標準において使用されるこ
とを特徴とする。好ましくは、前記前記CODフィール
ドは、ビットが“11”の場合MV及びDCTがいずれ
も符号化されてないことを表し、“00”の場合MV及
びDCTがいずれも符号化されていることを表すととも
に、“01”の場合MVのみ符号化されていることを表
すことを特徴とする。好ましくは、エラーの存在するチ
ャンネルにおいて用いる場合、前記CODフィールド
は、エラー許容モードで“00”と“11”の二値のみ
使用することを特徴とする。好ましくは、前記エラー許
容モードでパケット化したデータを分割し伝送する場
合、元のCODは伝送することなく、パケット内のCO
Dの“1”の個数をVLCで符号化を行いCOD以前に
伝送し、このとき結合されたコードがいずれも“00”
の場合は“0”を、いずれも“11”の場合は“1”を
伝送し、他の組み合わせの場合はVLCとCODの元の
符号をそのまま伝送することを特徴とする。好ましく
は、画像の動きが一定の背景下では、MVのみで情報を
符号化することを特徴とする。
【0006】
【発明の実施の形態】以下、添付された図面に基づき本
発明の好適な実施形態について説明する。図2は、本発
明にかかるビットストリームにおける符号化の有無を表
す方法を示す概念図である。
【0007】図2に示すように、CODフィールドの1
ビットを広げることにより、間違えたCOD情報のデコ
ーディングへの可能性を減らし、しかも動きベクトルの
みで情報を十分表現しうる画像に対しては既存よりも少
量で符号化されたデータを生じさせうるようにする。す
なわち、CODフィールドを二つの代表的な値の符号化
有無のみ表すものでなく、この二つの値中動きベクトル
のみ必要な場合も含める。そのために、CODフィール
ドを2ビットテーブル化する。つまり、2ビットが“1
1”の場合、MV及びDCTがいずれも符号化されてい
ないことを表し、“00”の場合MV及びDCTがいず
れも符号化されていることを表し、“01”の場合MV
のみ符号化されていることを表す。ここで、“10”の
場合は、定義してはいないが、DCTのみ符号化されて
いることを表すことができる。
【0008】このCODの表現を通じて、エラー許容モ
ードにおいてビデオコデックが符号化をする場合は、
“01”の誤った伝送を防止するために、“00”と
“11”の二値のみ使用する。これにより、エラーの存
在するチャンネルにおいては1ビットでCODを表現す
る場合とは異なって、誤った解釈の可能性を減らしてい
る。
【0009】さらに、エラー許容モードで一つのパケッ
ト化したデータを分割して伝送する場合、以下の如き方
法が利用されうる。すなわち、パケット内のCODの
“1”の個数をVLCで符号化しCOD以前に伝送す
る。このとき、結合されたコードがいずれも“00”の
場合は“0”を、いずれも“11”の場合は“1”を伝
送し、元のCODは伝送しない。そして、他の組み合わ
せはVLCとCODの元の符号をそのまま伝送する。こ
のようにCODの情報フィールドを拡張することによ
り、エラー許容モードに一層強靱に適用可能である。
【0010】
【発明の効果】以上述べたように、本発明によれば、C
ODフィールドを拡張させることにより、エラーの存在
するチャンネルにおいてはエラー許容モードで使用が可
能になり、画像の動きが一定した背景下では画像情報符
号化時既存よりもビット量を減少させることができる。
【0011】本発明は上記実施形態に限定されず、本発
明の思想内で当業者による変形が可能であることはもち
ろんである。例えば、本発明の画像情報コーディング時
符号化表示方法において、CODフィールドのビットを
2ビット以上にすることが可能であることは当業者にと
って明らかである。さらに、本発明の画像情報コーディ
ング時符号化表示方法に適用されるエラーの存在するチ
ャンネルを判断することと、画像の動きが一定した背景
下においてなされることを判断することは当業者にとっ
て明らかであるため、その具体的な説明は略している。
【図面の簡単な説明】
【図1】 従来のビットストリームにおける符号化有無
を表す方法を示す概念図である。
【図2】 本発明にかかるビットストリームにおける符
号化有無を表す方法を示す概念図である。
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 501276728 ザ・リージェンツ・オブ・ザ・ユニバー シティー・オブ・カリフォルニア THE REGENTS OF THE UNIVERSITY OF CAL IFORNIA アメリカ合衆国、カリフォルニア州 94607−5200、オークランド、フランク リン・ストリート1111、トゥエルブス・ フロア (72)発明者 ▲温▼ 江濤 アメリカ合衆国・90095−1594・カリフ ォルニア・ロスアンジェルス・ロスアン ジェルス・ユニバーシティ・オブ・カリ フォルニア・ヒルガード・アヴェニュ・ 405・エレクトリカル・エンジニアリン グ・デパートメント (72)発明者 ジョン・ディ・ヴィラスナー アメリカ合衆国・90095−1594・カリフ ォルニア・ロスアンジェルス・ロスアン ジェルス・ユニバーシティ・オブ・カリ フォルニア・ヒルガード・アヴェニュ・ 405・エレクトリカル・エンジニアリン グ・デパートメント (72)発明者 朴 正▲ホン▼ 大韓民国ソウル特別市銅雀區上道5洞 407番地冠岳現代アパート106棟1406號 (72)発明者 朴 東植 大韓民国大邱広域市北區山格4洞1424− 30番地 (56)参考文献 特開 平4−144494(JP,A) 特開 平4−14496(JP,A) 社団法人テレビジョン学会編 「MP EG」オーム社(H8年4月)P.83− 85 ITU−Tホワイトブック Hシリー ズ(オーディオビジュアル/マルチメデ ィア関連)勧告集(その2),日本,新 日本ITU協会,1997年 4月30日, p.378−383,p.387−393 如澤裕尚,MPEG−4の符号化効 率,1996年テレビジョン学会映像メディ ア部門冬季大会講演予稿集,日本,1996 年12月 4日,p.39−44 (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04L 1/00 - 1/24 H03M 7/00 - 7/50

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像情報コーディング時符号化表示方法
    において、 CODフィールドを拡張し、MV及びDCTがいずれも
    符号化されてないことと、MV及びDCTがいずれも符
    号化されていること、及びMVのみ符号化されたことを
    表すようにして画像の符号化を行い、 前記拡張されたCODフィールドは、H.263及びま
    たはMPEG−4符号化標準において使用される ことを
    特徴とする画像情報コーディング時符号化表示方法。
  2. 【請求項2】 前記拡張されたCODフィールドは、少
    なくとも2ビットであることを特徴とする請求項1に記
    載の画像情報コーディング時符号化表示方法。
  3. 【請求項3】 前記CODフィールドは、ビットが“1
    1”の場合MV及びDCTがいずれも符号化されてない
    ことを表し、“00”の場合MV及びDCTがいずれも
    符号化されていることを表すとともに、“01”の場合
    MVのみ符号化されていることを表すことを特徴とする
    請求項1または2のいずれかに記載の画像情報コーディ
    ング時符号化表示方法。
  4. 【請求項4】 画像の動きが一定の背景下では、MVの
    みで情報を符号化することを特徴とする請求項1または
    のいずれかに記載の画像情報コーディング時符号化表
    示方法。
JP34219198A 1997-12-01 1998-12-01 画像情報コーディング時符号化表示方法 Expired - Fee Related JP3464397B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US6701497P 1997-12-01 1997-12-01
US067,014 1997-12-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002017721A Division JP3803296B2 (ja) 1997-12-01 2002-01-25 画像情報コーディング時符号化表示方法

Publications (2)

Publication Number Publication Date
JPH11262014A JPH11262014A (ja) 1999-09-24
JP3464397B2 true JP3464397B2 (ja) 2003-11-10

Family

ID=22073174

Family Applications (2)

Application Number Title Priority Date Filing Date
JP34219198A Expired - Fee Related JP3464397B2 (ja) 1997-12-01 1998-12-01 画像情報コーディング時符号化表示方法
JP2002017721A Expired - Fee Related JP3803296B2 (ja) 1997-12-01 2002-01-25 画像情報コーディング時符号化表示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2002017721A Expired - Fee Related JP3803296B2 (ja) 1997-12-01 2002-01-25 画像情報コーディング時符号化表示方法

Country Status (5)

Country Link
JP (2) JP3464397B2 (ja)
KR (2) KR100322594B1 (ja)
CN (1) CN1144470C (ja)
DE (1) DE19855451B4 (ja)
GB (1) GB2331886B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644576B1 (ko) * 1999-10-19 2006-11-13 삼성전자주식회사 디지털 비디오 코딩 방법 및 장치
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
KR100731492B1 (ko) * 2000-12-04 2007-06-21 주식회사 케이티 다중채널/다중레벨 동작감지기능을 가지는 비디오 부호기 및 그 동작 감지 방법
KR100585710B1 (ko) * 2002-08-24 2006-06-02 엘지전자 주식회사 가변길이 동영상 부호화 방법
KR101664125B1 (ko) 2009-09-22 2016-10-10 삼성전자주식회사 랜덤 액세스 가능한 영상 인코딩 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996032717A1 (de) * 1995-04-13 1996-10-17 Siemens Aktiengesellschaft Verfahren und einrichtung zum speichern, suchen und abspielen von audiovisuellen informationen und datenfiles
GB9600804D0 (en) * 1996-01-17 1996-03-20 Robb Garry D Multiphone

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ITU−Tホワイトブック Hシリーズ(オーディオビジュアル/マルチメディア関連)勧告集(その2),日本,新日本ITU協会,1997年 4月30日,p.378−383,p.387−393
如澤裕尚,MPEG−4の符号化効率,1996年テレビジョン学会映像メディア部門冬季大会講演予稿集,日本,1996年12月 4日,p.39−44
社団法人テレビジョン学会編 「MPEG」オーム社(H8年4月)P.83−85

Also Published As

Publication number Publication date
CN1243392A (zh) 2000-02-02
GB2331886A8 (en) 1999-07-15
CN1144470C (zh) 2004-03-31
GB2331886A (en) 1999-06-02
KR20010088880A (ko) 2001-09-28
GB9826210D0 (en) 1999-01-20
JP2002238051A (ja) 2002-08-23
KR100322594B1 (ko) 2002-03-08
DE19855451A1 (de) 1999-06-10
JPH11262014A (ja) 1999-09-24
JP3803296B2 (ja) 2006-08-02
DE19855451B4 (de) 2004-08-19
GB2331886B (en) 2000-01-26
KR19990062700A (ko) 1999-07-26

Similar Documents

Publication Publication Date Title
US6208745B1 (en) Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
US6064748A (en) Method and apparatus for embedding and retrieving additional data in an encoded data stream
US6850567B1 (en) Embedding supplemental data in a digital video signal
KR100425613B1 (ko) 화상 부호화 장치 및 그 방법과 기록 매체
KR19980086811A (ko) 부가정보 매입과 재생을 위한 장치와 방법 및 그 기록 매체
MY137090A (en) Picture decoding method
JP3208101B2 (ja) 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体
US20070064275A1 (en) Apparatus and method for compressing images
JP2005535203A (ja) デジタルビデオ信号を符号化する方法及び装置
EP1151616A1 (en) Apparatus and method for the recovery of compression constants in the encoded domain
JP3464397B2 (ja) 画像情報コーディング時符号化表示方法
TWI533670B (zh) 位元串流型式之畫像的解碼方法
JP2003505956A (ja) 情報信号への補助データの組み込み
KR100840877B1 (ko) 신호 코딩 방법 및 장치, 코딩된 데이터 스트림 코딩 방법 및 장치, 채널 인코딩 방법 및 채널 코더, 채널 디코딩 방법 및 채널 디코더, 및 저장 매체
JP3176759B2 (ja) データの伝送または記憶方法、符号器および復号器
JP4502384B2 (ja) 可変長符号復号化装置及び可変長符号復号化方法
WO2002019269A3 (en) A method for encoding and decoding image dependent watermarks
US7177355B1 (en) Method for representing encoding upon coding information
JP2003248838A (ja) 座標インタポレータのキー値データ符号化/復号化方法及び装置
JPH10294943A (ja) 映像信号符号化方式と映像信号符号化装置と映像信号復号化方式と映像信号復号化装置
JP3222876B2 (ja) 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体
JPH11164134A (ja) 画像データ処理装置および方法、提供媒体、並びに記録媒体
JP3609814B2 (ja) 可変長復号化方法及び装置
JP3309892B2 (ja) 画像情報符号化装置および復号化装置
KR100467785B1 (ko) 정점기반모양정보무손실부호화시윤곽선부호화방법

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100822

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees