JP3636061B2 - データ挿入装置及びその方法 - Google Patents

データ挿入装置及びその方法 Download PDF

Info

Publication number
JP3636061B2
JP3636061B2 JP2000339803A JP2000339803A JP3636061B2 JP 3636061 B2 JP3636061 B2 JP 3636061B2 JP 2000339803 A JP2000339803 A JP 2000339803A JP 2000339803 A JP2000339803 A JP 2000339803A JP 3636061 B2 JP3636061 B2 JP 3636061B2
Authority
JP
Japan
Prior art keywords
data
picture
pattern data
pattern
compressed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000339803A
Other languages
English (en)
Other versions
JP2002152726A (ja
Inventor
佐藤  忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000339803A priority Critical patent/JP3636061B2/ja
Priority to US10/010,700 priority patent/US7239716B2/en
Publication of JP2002152726A publication Critical patent/JP2002152726A/ja
Application granted granted Critical
Publication of JP3636061B2 publication Critical patent/JP3636061B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0085Time domain based watermarking, e.g. watermarks spread over several images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0053Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain

Description

【0001】
【発明の属する技術分野】
本発明はデータ挿入装置及びその方法に関し、特にMPEG(Moving Picture Experts Group)2で圧縮されたディジタル圧縮画像データに対して、電子透かし等の所定パターンデータを挿入するデータ挿入方式に関するものである。
【0002】
【従来の技術】
従来、この種のデータ挿入装置(回路)は、圧縮画像データ処理装置において、電子透かしなどのデータを圧縮されたディジタル画像データに挿入することを目的として用いられる。
【0003】
従来のデータ挿入回路の一例として、図3のデータ挿入・検出システムを挙げて説明する。データ挿入回路1はディジタル画像データにある情報をパターン化して擦り込む回路である。擦り込む情報は、ある規則に従ってパターン生成器202により特定のパターンとなる。これを挿入器201によりディジタル画像データに重畳することにより挿入される。
【0004】
この挿入されたディジタル画像データはディスク203などの記録媒体に記録される。データ検出回路2は、このディスク203などの記録媒体に記録されたディジタル画像データから、検出器204によりパターンを抽出し、そのパターンから規則に従って情報を復元する。
【0005】
次に、ディジタル画像データがMPEG2で圧縮されたデータに対する挿入器の構成を図4に示す。MPEG2データは可変長符号化されているため、VLD101(Variable Length Decoder )により復号される。パターンは乗算器103によりある一定の乗率の計算により挿入強度を調整され、加算器104によりディジタル画像データに重畳される。パターンを重畳されたディジタル画像データはVLC105(Variable Length Coder )により、再び可変長符号化される。
【0006】
MPEG2データはI(Intra )ピクチャ、P(Predictive)ピクチャ、B(Bidirectionally predictive)ピクチャのピクチャタイプからからなる。ここで、NTSC(National Television System Committee)のMPEG2データの一般的な構成を下記に示し、これを例に説明する。なお、Ix ,Px ,Bx はそれぞれIピクチャデータ、Pピクチャデータ、Bピクチャデータである。
【0007】
(I1 ,B1 ,B2 ,P1 ,B3 ,B4 ,P2 ,B5 ,B6 ,P3 ,B7 ,B8 ,P4 ,B9 ,B10)
これらのデータを挿入器に入力すると、それぞれのデータにパターンが重畳される。このMPEG2データを伸長し、空間成分の画像データに復元する場合、I1 データはそれのみで復元されるが、P1 はI1 とP1 データから復元され、P2 はP1 とP2 データから復元される。また、B1 はI1 ,P1 ,B1 データから、B2 はI1 ,P1 ,B2 データから復元される。
【0008】
ここで、各データにはパターンが重畳されているが、例えば、P1 ピクチャを復元する場合、I1 とP1 データを使用するため、パターンもI1 とP1 とに重畳されたものが蓄積される。さらに、P2 ピクチャを復元する場合、P1 とP2 データを使用するが、P1 ピクチャはI1 とP1 データに重畳されたパターンが蓄積されているため、P2 ピクチャにはI1 ,P1 ,P2 データに重畳されたパターンが蓄積されていく。
【0009】
なお、Bピクチャの復元も前後のIおよびPピクチャを使用するが、一般にBデータはもともと符号数が少なく、よってパターンの蓄積も少なく、またIおよびPピクチャを使用するので、パターンの挿入輝度も小で良いが、現実には、図3に示す様に、IおよびPと同一となっている。
【0010】
【発明が解決しようとする課題】
第1の問題点は、画質が劣化するということである。その理由は、PピクチャにはIピクチャより多くの情報が擦り込まれてしまい、原画像との差分が大きくなってしまうからである。また、各ピクチャに擦り込まれる量が変わってしまうと、画面が波打ったように見えてしまうことも理由である。
【0011】
本発明の目的は、所定パータンデータを挿入した圧縮画像データを復号した場合に、復号画像の画質劣化を抑えることが可能なデータ挿入装置及びその方法を提供することである。
【0012】
【課題を解決するための手段】
本発明によれば、入力圧縮画像データに対して所定パターンデータを挿入するようにしたデータ挿入装置であって、前記入力圧縮画像のピクチャタイプに応じた強度の前記パターンデータを挿入する挿入手段を含むことを特徴とするデータ挿入装置が得られる。
【0013】
そして、前記挿入手段は、前記入力圧縮画像のピクチャタイプに応じた強度に前記パターンデータを加工して挿入する加工手段を有することを特徴とし、前記加工手段は、前記ピクチャタイプに応じた乗率で前記パターンデータの挿入強度を調整する乗算器を有することを特徴とする。また、前記挿入手段は、前記ピクチャタイプに応じた挿入強度を有する前記パターンデータが予め入力され、前記入力圧縮画像のピクチャタイプに応じて前記パターンデータを選択する選択器を有することを特徴とする。
【0014】
本発明によれば、入力圧縮画像データに対して所定パターンデータを挿入するデータ挿入方法であって、前記入力圧縮画像のピクチャタイプに応じた強度の前記パターンデータを挿入する挿入ステップを含むことを特徴とするデータ挿入方法が得られる。
【0015】
そして、前記挿入ステップは、前記入力圧縮画像のピクチャタイプに応じた強度に前記パターンデータを加工して挿入する加工ステップを有することを特徴とし、前記加工ステップは、前記ピクチャタイプに応じた乗率で前記パターンデータの挿入強度を調整する乗算ステップを有することを特徴とする。また、前記挿入ステップは、前記ピクチャタイプに応じた挿入強度を有する前記パターンデータを入力するステップと、前記入力圧縮画像のピクチャタイプに応じて前記パターンデータを選択するステップとを有することを特徴とする。
【0016】
本発明の作用を述べる。MPEG2データのIピクチャ、Pピクチャ、Bピクチャのそれぞれに適した強度で挿入すべきパターンデータを挿入する。このため、圧縮データを伸長して映像化した場合に、各ピクチャに挿入されているデータ量をほぼ一定にすることができ、画質の劣化を防ぐことができる。
【0017】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図1を参照すると、ピクチャ判定器102は入力されているMPEG2データがIピクチャであるか、Pピクチャである、Bピクチャであるかを判断する。VLD101は入力されたMPEG2データを可変長復号する。乗算器103はピクチャ判定器102の結果により、パターンデータの値に一定の乗数をかける。加算器104は復号化されたデータにパターンを重畳する。VLC105はパターンを重畳されたデータを可変長符号化する。
【0018】
次に図1の回路の動作について、図を参照して説明する。先ず、ピクチャ判定器102は、現在入力されているMPEG2データがIピクチャなのか、Pピクチャなのか、Bピクチャなのかを判断する。これはMPEG2データのピクチャヘッダ内の“Picture Coding Type (ピクチャコーディングタイプ)”を抜き出すことにより、容易に判断できる。この結果は、乗算器103に送られる。同時に、MPEG2データはVLD101に送られる。VLDでは、可変長符号化された圧縮データを復号したデータを出力する。
【0019】
乗算器103はピクチャ判定器102の結果に従い、パターンデータに一定の乗数をかける。ここで、例えば、Iピクチャのときは1.0、Pピクチャのときは0.3、Bピクチャのときは0.1の各乗算係数を掛けるものとする。この乗算結果は加算器104に送られ、VLD101が出力したデータに重畳される。
【0020】
こうしてパターンが重畳されたデータは、VLC105により、再び可変長符号化され、パターンが重畳されたMPEG2データとして出力される。これにより、Iピクチャに比べ、PピクチャやBピクチャへのパターンの挿入強度を低くすることになり、圧縮データを伸長して空間成分の画像データに復元したときに、各ピクチャに挿入されたデータの挿入強度の差を小さくすることができ、画質の劣化を防ぐことができるのである。
【0021】
次に、本発明の第2の実施の形態について図面を参照して説明する。図2を参照すると、セレクタ106には3つのパターンデータ、パターンデータ1、パターンデータ2、パターンデータ3が予め入力されている。これ等3つのパターンデータはそれぞれ、Iピクチャ用強度のパターン、Pピクチャ用強度のパターン、Bピクチャ用強度のパターンである。これら3つのパターンデータを、ピクチャ判定器102の結果に従いセレクタ106によって選択し、加算器106に入力する。
【0022】
加算器104には、VLD101により可変長復号されたデータが入力されており、よって加算器104で、セレクタ106にて選択されたパターンが重畳されることになる。パターンが重畳されたデータは、VLC105により、再び可変長符号化されてパターンを挿入されたMPEG2データとなる。
【0023】
これにより、第1の実施の形態と同様に、圧縮データを伸長して空間成分の画像データに復元したときに、各ピクチャに挿入されたデータの挿入強度の差を小さくすることができ、画質の劣化を防ぐことができる。
【0024】
【発明の効果】
本発明による第1の効果は、画質の劣化を防ぐことができるということである。このため、高画質と謳われているような製品にも適用することができる。その理由は、MPEG2の各ピクチャにそれぞれ適した強度でデータを挿入しているため、伸長して映像化した場合に各ピクチャへ挿入されているデータ量をほぼ均等にすることができ、波打ったようなノイズを抑えることができるからである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のブロック図である。
【図2】本発明の他の実施の形態のブロック図である。
【図3】従来のデータ挿入・検出システムのブロック図である。
【図4】従来のデータ挿入回路の構成を示す図である。
【符号の説明】
101 VLD
102 ピクチャ判定器
103 乗算器
104 加算器
105 VLC
106 セレクタ

Claims (8)

  1. 入力圧縮画像データに対して所定パターンデータを挿入するようにしたデータ挿入装置であって、
    前記入力圧縮画像のピクチャタイプに応じた強度の前記パターンデータを挿入する挿入手段を含み、
    前記挿入手段は、Iピクチャに比べ、Pピクチャ及びBピクチャへの前記パターンデータの挿入強度を低くすることを特徴とするデータ挿入装置。
  2. 前記挿入手段は、前記入力圧縮画像のピクチャタイプに応じた強度に前記パターンデータを加工して挿入する加工手段を有することを特徴とする請求項1記載のデータ挿入装置。
  3. 前記加工手段は、前記ピクチャタイプに応じた乗率で前記パターンデータの挿入強度を調整する乗算器を有することを特徴とする請求項2記載のデータ挿入装置。
  4. 前記挿入手段は、前記ピクチャタイプに応じた挿入強度を有する前記パターンデータが予め入力され、前記入力圧縮画像のピクチャタイプに応じて前記パターンデータを選択する選択器を有することを特徴とする請求項1記載のデータ挿入装置。
  5. 入力圧縮画像データに対して所定パターンデータを挿入するデータ挿入方法であって、
    Iピクチャに比べ、Pピクチャ及びBピクチャへの前記パターンデータの挿入強度を低くすることで前記入力圧縮画像のピクチャタイプに応じた強度の前記パターンデータを挿入する挿入ステップを含むことを特徴とするデータ挿入方法。
  6. 前記挿入ステップは、前記入力圧縮画像のピクチャタイプに応じた強度に前記パターンデータを加工して挿入する加工ステップを有することを特徴とする請求項5記載のデータ挿入ステップ。
  7. 前記加工ステップは、前記ピクチャタイプに応じた乗率で前記パターンデータの挿入強度を調整する乗算ステップを有することを特徴とする請求項5記載のデータ挿入方法。
  8. 前記挿入ステップは、前記ピクチャタイプに応じた挿入強度を有する前記パターンデータを入力するステップと、前記入力圧縮画像のピクチャタイプに応じて前記パターンデータを選択するステップとを有することを特徴とする請求項5記載のデータ挿入方法。
JP2000339803A 2000-11-08 2000-11-08 データ挿入装置及びその方法 Expired - Fee Related JP3636061B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000339803A JP3636061B2 (ja) 2000-11-08 2000-11-08 データ挿入装置及びその方法
US10/010,700 US7239716B2 (en) 2000-11-08 2001-11-08 Data insertion device and method of inserting data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000339803A JP3636061B2 (ja) 2000-11-08 2000-11-08 データ挿入装置及びその方法

Publications (2)

Publication Number Publication Date
JP2002152726A JP2002152726A (ja) 2002-05-24
JP3636061B2 true JP3636061B2 (ja) 2005-04-06

Family

ID=18814820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000339803A Expired - Fee Related JP3636061B2 (ja) 2000-11-08 2000-11-08 データ挿入装置及びその方法

Country Status (2)

Country Link
US (1) US7239716B2 (ja)
JP (1) JP3636061B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006661B2 (en) 1995-07-27 2006-02-28 Digimarc Corp Digital watermarking systems and methods
US7346776B2 (en) 2000-09-11 2008-03-18 Digimarc Corporation Authenticating media signals by adjusting frequency characteristics to reference values
US7042470B2 (en) 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
US7567721B2 (en) * 2002-01-22 2009-07-28 Digimarc Corporation Digital watermarking of low bit rate video
EP1561341A4 (en) 2002-10-23 2010-12-15 Nielsen Media Res Inc DEVICE AND METHOD FOR INSERTING DIGITAL DATA FOR USE WITH COMPRESSED AUDIO / VIDEO DATA
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
TWI404419B (zh) * 2004-04-07 2013-08-01 Nielsen Media Res Inc 與壓縮過音頻/視頻資料一起使用之資料插入方法、系統、機器可讀取媒體及設備
AU2005270105B2 (en) 2004-07-02 2011-03-31 Nielsen Media Research, Inc. Methods and apparatus for mixing compressed digital bit streams
EP2095560B1 (en) 2006-10-11 2015-09-09 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3245496B2 (ja) 1993-03-11 2002-01-15 松下電器産業株式会社 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置
CA2173923C (en) * 1995-04-14 2006-01-31 Tetsuya Kitamura Data recording medium having reproduction timing information, and system for reproducing record data by using the reproduction timing information
DE19524808A1 (de) * 1995-07-07 1997-01-09 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Datenstrom
CN1123221C (zh) * 1995-12-11 2003-10-01 皇家菲利浦电子有限公司 标记视频和/或音频信号
JP3157101B2 (ja) * 1996-03-08 2001-04-16 沖電気工業株式会社 画像符号化方法及び画像符号化装置
US6229924B1 (en) * 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US5812207A (en) * 1996-12-20 1998-09-22 Intel Corporation Method and apparatus for supporting variable oversampling ratios when decoding vertical blanking interval data
KR100323441B1 (ko) * 1997-08-20 2002-06-20 윤종용 엠펙2동화상부호화/복호화시스템
US5945932A (en) * 1997-10-30 1999-08-31 Audiotrack Corporation Technique for embedding a code in an audio signal and for detecting the embedded code
JPH11164235A (ja) 1997-11-26 1999-06-18 Sony Corp 付加情報の重畳伝送方法、付加情報の重畳伝送装置
US6208745B1 (en) * 1997-12-30 2001-03-27 Sarnoff Corporation Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
JP3387418B2 (ja) 1998-07-10 2003-03-17 日本電気株式会社 ディジタル信号の電子透かし挿入システム
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
EP1283900A4 (en) * 2000-04-17 2006-02-08 Purdue Research Foundation BIOSENSOR AND ASSOCIATED METHOD
US6748020B1 (en) * 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture

Also Published As

Publication number Publication date
US7239716B2 (en) 2007-07-03
US20020106106A1 (en) 2002-08-08
JP2002152726A (ja) 2002-05-24

Similar Documents

Publication Publication Date Title
EP0928110B1 (en) Image signal processing for electronic watermarking
Langelaar et al. Real-time labeling of MPEG-2 compressed video
US7092546B2 (en) Digital watermarking technique
JP4384130B2 (ja) 動画像復号方法及び装置
JP5047740B2 (ja) 圧縮ノーマル・プレイ・ビデオ・ビットストリームから、トリック・プレイ・ビデオ・ストリームを作成するシステムおよび方法
US6683987B1 (en) Method and apparatus for altering the picture updating frequency of a compressed video data stream
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US20060110062A1 (en) Edge adaptive filtering system for reducing artifacts and method
JP3636061B2 (ja) データ挿入装置及びその方法
KR20010102155A (ko) '블러키 화상' 효과의 감소
JP4023324B2 (ja) 透かし埋め込み及び画像圧縮部
US7095870B2 (en) Electronic watermark embedding apparatus and method and a format conversion device having a watermark embedding function
JP3480700B2 (ja) 電子透かし記録方法及び電子透かし記録装置
JP5080304B2 (ja) 秘匿データが挿入された画像データの表示方式
US20050041874A1 (en) Reducing bit rate of already compressed multimedia
JP2005109918A (ja) 画像データへの秘匿データ挿入方式、秘匿データ検出方式および秘匿データが挿入された画像データの表示方式
JP4919213B2 (ja) 電子透かし挿入方式および検出方式
JPH11164235A (ja) 付加情報の重畳伝送方法、付加情報の重畳伝送装置
JP2820636B2 (ja) 動画像圧縮装置
JP2011129979A (ja) 画像処理装置
JP2005260989A (ja) 画像処理装置及び画像処理方法
JP4020302B2 (ja) 情報埋め込み装置および情報抽出装置
Fernando et al. Video special effects editing in MPEG-2 compressed video
JPH0993580A (ja) 画像復号化装置
KR101093642B1 (ko) 디지털 영상 압축시 발생되는 양자화 노이즈 제어 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040930

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040930

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees