JP3868509B2 - 動き補償形画像信号内挿装置 - Google Patents

動き補償形画像信号内挿装置 Download PDF

Info

Publication number
JP3868509B2
JP3868509B2 JP11045993A JP11045993A JP3868509B2 JP 3868509 B2 JP3868509 B2 JP 3868509B2 JP 11045993 A JP11045993 A JP 11045993A JP 11045993 A JP11045993 A JP 11045993A JP 3868509 B2 JP3868509 B2 JP 3868509B2
Authority
JP
Japan
Prior art keywords
motion
pixel values
motion compensated
image signal
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11045993A
Other languages
English (en)
Other versions
JPH0654302A (ja
Inventor
デ ハーン ヘラルド
ウィレム アルベルト コルネリス ビーツェン パウル
アンソニ オヨー オルカヨーデ
フエイヘン ヘンドリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH0654302A publication Critical patent/JPH0654302A/ja
Application granted granted Critical
Publication of JP3868509B2 publication Critical patent/JP3868509B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【産業上の利用分野】
本発明は画像信号の表示品質を改善するために追加のライン又はフィールドを作るのに用いることができる動き補償形画像信号内挿装置に関するものである。本発明は斯種の内挿装置を具えているテレビジョン信号受信機にも関するものである。
【０００２】
【従来の技術】
欧州特許出願ＥＰ−Ａ−0,474,287には、画素毎又は画素ブロック毎に単一の動きベクトルを用いる動き補償内挿により得られた内挿ラインにおけるアーティファクトをメディアンフィルタにより低減させるライン数２倍器が記載されている。
【０００３】
【発明が解決しようとする課題】
例えば、画像の動きが極めて複雑で、しかも速いために、これらが動き評価器のレンジを外れるため、又はフィールド速度が極めて相違しているために、上述したような極めて複雑で、速い動きを正しく評価できない場合には、評価した動きベクトルが不正確となり、こうした動きベクトルに基づいて行われる動き補償内挿が誤った結果をまねくことになる。主観的には斯様な不正確な動きベクトルにより生ずるアーティファクトが一時的に、しかも静止物体の近傍にて極めて煩わしくなる。その理由は、特に高い空間ディテールがある場合に上記アーティファクトがスクリーン上に孤立した目立つスポットとして集中されるからである。本発明の目的は上述したような見栄えの悪さをもっと自然に、しかもすっきりしたものとする手段を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するために、本発明は少なくとも２つの動きベクトルを供給する手段と、前記少なくとも２つの動きベクトルに対応する動き補償された画素値を供給する手段と、前記動き補償された画素値を順序だった統計処理フィルタリングするための手段とを具えていることを特徴とする動き補償形画像信号内挿装置にある。
【０００５】
本発明の好適例では、前記順序だった統計処理フィルタリング手段がメディアンフィルタを含むようにする。
【０００６】
本発明はさらに、テレビジョン信号を受信すべく結合された受信手段と、前記受信手段に結合されて、内挿画像信号を供給するための動き補償形画像信号内挿装置とを具えているテレビジョン信号受信機において、前記内挿装置が少なくとも２つの動きベクトルを供給する手段と、前記少なくとも２つの動きベクトルに対応する動き補償された画素値を供給する手段と、前記動き補償された画素値を順序だった統計処理フィルタリングして、前記内挿画像信号を供給する手段とを具えていることを特徴とするテレビジョン信号受信機にある。
【０００７】
つまり、本発明では動き補償内挿用に１つより多い動きベクトルを用い、且つ順序だった統計処理フィルタリングにより動きベクトルに対応する画素値を合成するようにする。従って、異った、即ち信頼できない動きベクトルが認められる個所はぼやける。しかし、このようにして得られるぼけの方が、誤った動きベクトルを用いることにより生ずる不自然な不連続性よりもずっと見ためが良くなる。
【０００８】
前記本発明にて云う「少なくとも２つの動きベクトル」にはゼロの動きベクトルを含めることができる。こうした動きベクトルを従来は、例えば相関ピークに対応する複数の動きベクトルを供給する位相平面相関動き評価器によるか、又は複数の候補(candidate)動きベクトルを供給する（欧州特許出願公開明細書ＥＰ−Ａ−0,415,491 号に記載されているような）動き評価器により得ていた。これら従来の動き評価器と対比するに、本発明における動き評価器は、僅か１つの選択した出力ベクトルを供給するのではなくて、順序だった統計処理フィルタリングに用いられる複数の動きベクトルを供給する。少なくとも２つの動きベクトルに対応する動き補償された画素値は、動きベクトルにより指定された画素値、フィルタ処理した画素値（例えば、動きベクトルの両端によって指定される画素値の平均値）又はこれら双方の画素値を含めることができる。動きベクトルによって指定された画素値を近傍の画素値と一緒に順序だった統計処理フィルタ(orderedstatistical filter)に供給して精度を向上させることができる。順序だった統計処理フィルタは、その入力値を大きい方から順に（又は所要に応じ、小さい方から順に）並べて、こうして並び変えた入力値を対応する重み係数で逓倍する。これらの重み係数は１に等しくすることができ、こうした重み係数の値は対称値をとるようにすることができ、即ち最後の重み係数は最初の重み係数と等しくし、最後から２番目の重み係数は最初から２番目の重み係数と等しくするように、以下同様にする。順序だった統計処理フィルタは簡単なメディアンフィルタとするのが好適であるが、他のフィルタを用いることもできる。メディアンフィルタでは真中の係数が１に等しく、他の係数は０である。
【０００９】
メディアンフィルタが２つの異なるフィールドからの第１動きベクトルならびに該第１動きベクトルと逆の方向の動きベクトルにそれぞれ対応する２つの画素値、及びゼロの動きベクトルに対応する動き補償された画素値としての平均画素値を受取るべく結合されるようにすることにより良好な内挿結果を得ることができた。
【００１０】
【実施例】
図１に示した実施例では、フィールド周波数が50Hzの画像信号を第１フィールドメモリＦＭ1に供給する。図２のライン１には到来する画像信号のフィールドシーケンスＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを経時的に示してある。第１フィールドメモリＦＭ1によって、この第１フィールドメモリから画像信号の各フィールドを２度読取ることにより画像信号のフィールド周波数を２倍にする。図２のライン２には第１フィールドメモリＦＭ1によって供給されるフィールドシーケンスを経時的に示してある。このフィールドシーケンスを第２フィールドメモリＦＭ2に供給する。第２フィールドメモリＦＭ2は、それに供給される各フィールドの内の２番目に発生する各フィールドを書込み、この第２フィールドメモリＦＭ2は最初に或るフィールドがそれに供給される時は、そのフィールドを無視する。第２フィールドメモリＦＭ2に書込まれている各フィールドは、この第２フィールドメモリＦＭ2から２度読取られる。図２のライン３には第２フィールドメモリＦＭ2によって供給されるフィールドシーケンスを経時的に示してある。最後に、図２のライン４は図１の動き補償形画像信号内挿装置の出力フィールドシーケンスを経時的に示しており、ＡＢは入力フィールドＡとＢに基づく内挿フィールドを示し、ＢＣは入力フィールドＢとＣに基づく内挿フィールドを示し、以下同様である。
【００１１】
図１の例のテレビジョン信号受信機は２つのラインメモリ段ＬＭ1，ＬＭ2も具えており、これらの各ラインメモリ段は例えば５個のラインメモリのタップ付き遅延線と、各ラインメモリタップ当り16個の画素メモリとを具えているため、或る所定領域内の各画素値はスイッチマトリックスＳＭＸ1，ＳＭＸ2を経て得ることができる。これらのスイッチマトリックスＳＭＸ1，ＳＭＸ2は動きベクトル０，＋ｄ及び−ｄにより制御される。
【００１２】
平均化装置ＡＶはラインメモリ段ＬＭ1，ＬＭ2から動きベクトルによってシフトされていない、換言するにゼロの動きベクトル０によってシフトされている２つの画素値を受取る。メディアンフィルタＭＥＤは平均化装置ＡＶの出力と、動きベクトル−ｄにわたりシフトされたラインメモリ段ＬＭ1からの画素値と、動きベクトル＋ｄにわたりシフトされたラインメモリ段ＬＭ2 からの画素値とを受取る。このメディアンフィルタＭＥＤは図２のライン４に示した内挿フィールドＹＺ，ＺＡ，ＡＢ等を供給する。
【００１３】
本発明は上述した例のみに限定されるものではなく、幾多の変更を加え得ることを勿論であり、例えば図示のメディアンフィルタの代りにもっと複雑な順序だった統計処理フィルタを用いることもできる。
【図面の簡単な説明】
【図１】 本発明による動き補償形画像信号内挿装置を具えているテレビジョン受信機の実施例を示すブロック図である。
【図２】 図１の実施例における種々の個所における連続フィールドを経時的に示した説明図である。
【符号の説明】
ＦＭ1 第１フィールドメモリ
ＦＭ2 第２フィールドメモリ
ＬＭ1，ＬＭ2 ラインメモリ段
ＳＭＸ1，ＳＭＸ2 スイッチマトリックス
ＡＶ 平均化装置
ＭＥＤ メディアンフィルタ

Claims (3)

  1. 動き補償形画像信号内挿装置において、当該内挿装置が：
    或る所定領域内の各画素に対する少なくとも２つの動きベクトルを供給する手段と、
    前記少なくとも２つの動きベクトルに対応する動き補償された画素値を供給する手段と、
    前記少なくとも２つの動きベクトルに対応する前記動き補償された画素値を順序だった統計処理フィルタリングするための手段とを具え、
    前記動き補償された画素値を供給する手段が、動きベクトルによってシフトされていない２つの画素値を受け取り、ゼロ動きベクトルに対応する動き補償された画素値として平均画素値を供給する平均化装置をさらに具え、且つ
    前記順序だった統計処理フィルタリングするための手段が、２つの異なるフィールドからの第１動きベクトルならびに該第１動きベクトルと逆の方向の動きベクトルにそれぞれ対応する２つの画素値、及び前記平均画素値を受取ることを特徴とする動き補償形画像信号内挿装置。
  2. 前記順序だった統計処理フィルタリングするための手段がメディアンフィルタを含むことを特徴とする請求項１に記載の装置。
  3. テレビジョン信号を受信すべく結合された受信手段と、前記受信手段に結合されて、内挿画像信号を供給するための動き補償形画像信号内挿装置とを具えているテレビジョン信号受信機において、前記内挿装置が、
    或る所定領域内の各画素に対する少なくとも２つの動きベクトルを供給する手段と、
    前記少なくとも２つの動きベクトルに対応する動き補償された画素値を供給する手段と、
    前記少なくとも２つの動きベクトルに対応する前記動き補償された画素値を順序だった統計処理フィルタリングして、前記内挿画像信号を供給する手段とを具え、
    前記動き補償された画素値を供給する手段が、動きベクトルによってシフトされていない２つの画素値を受け取り、ゼロ動きベクトルに対応する動き補償された画素値として平均画素値を供給する平均化装置をさらに具え、且つ
    前記順序だった統計処理フィルタリングを行う前記手段が、２つの異なるフィールドからの第１動きベクトルならびに該第１動きベクトルと逆の方向の動きベクトルにそれぞれ対応する２つの画素値、及び前記平均画素値を受取ることを特徴とするテレビジョン信号受信機。
JP11045993A 1992-05-15 1993-05-12 動き補償形画像信号内挿装置 Expired - Lifetime JP3868509B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP92201388 1992-05-15
NL92201388:3 1992-05-15

Publications (2)

Publication Number Publication Date
JPH0654302A JPH0654302A (ja) 1994-02-25
JP3868509B2 true JP3868509B2 (ja) 2007-01-17

Family

ID=8210609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11045993A Expired - Lifetime JP3868509B2 (ja) 1992-05-15 1993-05-12 動き補償形画像信号内挿装置

Country Status (5)

Country Link
US (1) US5534946A (ja)
EP (1) EP0577165B1 (ja)
JP (1) JP3868509B2 (ja)
KR (1) KR100273078B1 (ja)
DE (1) DE69315626T2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
JP3193833B2 (ja) * 1994-07-25 2001-07-30 ケイディーディーアイ株式会社 動ベクトル処理装置
US5510856A (en) * 1994-12-30 1996-04-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors
US5539469A (en) * 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique
JP3916661B2 (ja) * 1995-03-14 2007-05-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号の動き補償内挿方法、そのための装置及び画像信号表示装置
EP0735747B1 (en) * 1995-03-31 1999-11-03 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
FR2750558B1 (fr) * 1996-06-28 1998-08-28 Thomson Multimedia Sa Procede d'interpolation de trames pour compatibilite mode film
JP2000500318A (ja) * 1996-09-11 2000-01-11 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 適応画像遅延装置
GB2318243B (en) * 1996-10-09 2000-09-13 British Broadcasting Corp Video signal processing
FR2768891B1 (fr) * 1997-09-19 2000-02-04 Thomson Multimedia Sa Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement
JP2002523985A (ja) 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
ATE359668T1 (de) * 2001-01-16 2007-05-15 Koninkl Philips Electronics Nv Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
DE10236207A1 (de) * 2002-08-07 2004-02-26 Micronas Gmbh Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
KR20060029283A (ko) * 2003-07-08 2006-04-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션-보상된 영상 신호 보간
US7620254B2 (en) 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20080063307A1 (en) * 2004-06-22 2008-03-13 Koninklijke Philips Electronics, N.V. Pixel Interpolation
JP2009516864A (ja) * 2005-11-23 2009-04-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビューディスプレイ装置のためのビューの描画
US8472524B2 (en) * 2006-04-03 2013-06-25 Intel Corporation Motion compensated frame rate conversion with protection against compensation artifacts
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US8773595B2 (en) 2008-12-24 2014-07-08 Entropic Communications, Inc. Image processing
TW201246920A (en) 2011-05-12 2012-11-16 Sunplus Technology Co Ltd Apparatus for refining motion vector

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0236519B1 (en) * 1986-03-08 1989-06-07 ANT Nachrichtentechnik GmbH Motion compensating field interpolation method using a hierarchically structured displacement estimator
FR2644956B1 (fr) * 1989-03-23 1991-06-07 Europ Rech Electr Lab Dispositif de conversion de frequence trame pour un recepteur de television haute definition et procede de detection du mouvement dans une image de television codee
KR920702146A (ko) * 1989-05-29 1992-08-12 프레데릭 얀 스미트 텔레비젼 화상의 라인 및 에지 플릭커 감소회로 장치와, 보간회로
FR2650718B1 (fr) * 1989-08-04 1991-10-04 Europ Rech Electr Lab Dispositif de transformation d'une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
US5081532A (en) * 1990-08-30 1992-01-14 Zenith Electronics Corporation Adaptive progressive scan converter
EP0474287B1 (en) * 1990-09-03 1995-11-22 Koninklijke Philips Electronics N.V. Method and apparatus for processing a picture signal
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors

Also Published As

Publication number Publication date
DE69315626D1 (de) 1998-01-22
KR930024443A (ko) 1993-12-22
EP0577165B1 (en) 1997-12-10
EP0577165A1 (en) 1994-01-05
JPH0654302A (ja) 1994-02-25
DE69315626T2 (de) 1998-05-28
KR100273078B1 (ko) 2000-12-01
US5534946A (en) 1996-07-09

Similar Documents

Publication Publication Date Title
JP3868509B2 (ja) 動き補償形画像信号内挿装置
KR100232778B1 (ko) 텔레비전 신호 처리장치 및 재구성 장치
US6108047A (en) Variable-size spatial and temporal video scaler
US5793435A (en) Deinterlacing of video using a variable coefficient spatio-temporal filter
US6239847B1 (en) Two pass multi-dimensional data scaling arrangement and method thereof
Kim et al. Spatio-temporal adaptive 3-D Kalman filter for video
US5844616A (en) Method and apparatus for motion compensated interpolation
EP0474287B1 (en) Method and apparatus for processing a picture signal
JP2003524903A (ja) 背景情報を挿入することによりリアルタイム安定化画像から空白領域を排除する装置と方法
US5699499A (en) Post-processor of motion vectors for field interpolation
JP2004516724A (ja) ブロックベースの動き補償の精度を改善するための方法
US4679084A (en) Method and apparatus for freezing a television picture
GB2337391A (en) Interlaced to progressive scanning conversion with edge enhancement by vertical temporal interpolation
EP0946054A1 (en) Weighted median filter interpolator
US5742355A (en) Method and apparatus for reducing noise in a video signal
JPH1013718A (ja) ノイズ除去回路
EP0475499B1 (en) Motion compensated frame rate conversion
GB2202706A (en) Video signal processing
US5668602A (en) Real-time television image pixel multiplication methods and apparatus
JPH07212652A (ja) ビデオ特殊効果装置
EP0817478A1 (en) Process for interpolating frames for film mode compatibility
US6724822B1 (en) Efficient motion compensation apparatus for digital video format down-conversion using generalized orthogonal transformation
EP1399883B1 (en) Conversion unit and method and image processing apparatus
EP0496451B1 (en) Non-linear signal processor
US5280357A (en) Depth-based recursive video effects

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040907

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041007

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

EXPY Cancellation because of completion of term
R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350