JPH0654302A - 動き補償形画像信号内挿装置 - Google Patents

動き補償形画像信号内挿装置

Info

Publication number
JPH0654302A
JPH0654302A JP5110459A JP11045993A JPH0654302A JP H0654302 A JPH0654302 A JP H0654302A JP 5110459 A JP5110459 A JP 5110459A JP 11045993 A JP11045993 A JP 11045993A JP H0654302 A JPH0654302 A JP H0654302A
Authority
JP
Japan
Prior art keywords
motion
compensated
motion vector
med
supplying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5110459A
Other languages
English (en)
Other versions
JP3868509B2 (ja
Inventor
Haan Gerard De
デ ハーン ヘラルド
Paul Willem Albert C Biezen
ウィレム アルベルト コルネリス ビーツェン パウル
Olukayode A Ojo
アンソニ オヨー オルカヨーデ
Hendrik Huijgen
フエイヘン ヘンドリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV, Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH0654302A publication Critical patent/JPH0654302A/ja
Application granted granted Critical
Publication of JP3868509B2 publication Critical patent/JP3868509B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/12Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 画像信号の表示品質を改善するために、動き
ベクトルを用いて動き補償内挿して追加のライン又はフ
ィールドを作る場合に、極めて複雑で、しかも速い画像
の動きが正しく評価できないことによる不正確な動きベ
クトルにより生ずるアーティファクトを目立たなくす
る。 【構成】 少なくとも2つの動きベクトル(±d,0)
に対応する動き補償された画素値を供給するための切換
メモリ(SMX,LM)を具えている動き補償形画像信
号内挿装置にて、前記動き補償された画素値を順序だっ
た統計処理フィルタ(MED)により処理する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像信号の表示品質を改
善するために追加のライン又はフィールドを作るのに用
いることができる動き補償形画像信号内挿装置に関する
ものである。本発明は斯種の内挿装置を具えているテレ
ビジョン信号受信機にも関するものである。
【0002】
【従来の技術】欧州特許出願EP−A−0,474,287 に
は、画素毎又は画素ブロック毎に単一の動きベクトルを
用いる動き補償内挿により得られ内挿ラインにおけるア
ーティファクトをメディアンフィルタにより低減させる
ライン数2倍器が記載されている。
【0003】
【発明が解決しようとする課題】例えば、画像の動きが
極めて複雑で、しかも速いために、これらが動き評価器
のレンジを外れるため、又はフィールド速度が極めて相
違しているために、上述したような極めて複雑で、速い
動きを正しく評価できない場合には、評価した動きベク
トルが不正確となり、こうした動きベクトルに基づいて
行われる動き補償内挿が誤った結果をまねくことにな
る。主観的には斯様な不正確な動きベクトルにより生ず
るアーティファクトが一時的に、しかも静止物体の近傍
にて極めて煩わしくなる。その理由は、特に高い空間デ
ィテールがある場合に上記アーティファクトがスクリー
ン上に孤立した目立つスポットとして集中されるからで
ある。本発明の目的は上述したような見栄えの悪さをも
っと自然に、しかもすっきりしたものとする手段を提供
することにある。
【0004】
【課題を解決するための手段】上記目的を達成するため
に、本発明は少なくとも2つの動きベクトルを供給する
手段と、前記少なくとも2つの動きベクトルに対応する
動き補償された画素値を供給する手段と、前記動き補償
された画素値を順序だった統計処理フィルタリングする
ための手段とを具えていることを特徴とする動き補償形
画像信号内挿装置にある。
【0005】本発明の好適例では、前記順序だった統計
処理フィルタリング手段がメディアンフィルタを含むよ
うにする。
【0006】本発明はさらに、テレビジョン信号を受信
すべく結合された受信手段と、前記受信手段に結合され
て、内挿画像信号を供給するための動き補償形画像信号
内挿装置とを具えているテレビジョン信号受信機におい
て、前記内挿装置が少なくとも2つの動きベクトルを供
給する手段と、前記少なくとも2つの動きベクトルに対
応する動き補償された画素値を供給する手段と、前記動
き補償された画素値を順序だった統計処理フィルタリン
グして、前記内挿画像信号を供給する手段とを具えてい
ることを特徴とするテレビジョン信号受信機にある。
【0007】つまり、本発明では動き補償内挿用に1つ
以上の動きベクトルを用い、且つ順序だった統計処理フ
ィルタリングにより動きベクトルに対応する画素値を合
成するようにする。従って、異った、即ち信頼できない
動きベクトルが認められる個所はぼやける。しかし、こ
のようにして得られるぼけの方が、誤った動きベクトル
を用いることにより生ずる不自然な不連続性よりもずっ
と見ためが良くなる。
【0008】前記本発明にて云う「少なくとも2つの動
きベクトル」にはゼロの動きベクトルを含めることがで
きる。こした動きベクトルを従来は、例えば相関ピーク
に対応する複数の動きベクトルを供給する位相平面相関
動き評価器によるか、又は複数の候補 (candidate)動き
ベクトルを供給する(欧州特許出願公開明細書EP−A
−0,415,491 号に記載されているような)動き評価器に
より得ていた。これら従来の動き評価器と対比するに、
本発明における動き評価器は、僅か1つの選択した出力
ベクトルを供給するのではなくて、順序だった統計処理
フィルタリングに用いられる複数の動きベクトルを供給
する。少なくとも2つの動きベクトルに対応する動き補
償された画素値は、動きベクトルにより指定された画素
値、フィルタ処理した画素値(例えば、動きベクトルの
両端によって指定される画素値の平均値)又はこれら双
方の画素値を含めることができる。動きベクトルによっ
て指定された画素値を近傍の画素値と一緒に順序だった
統計処理フィルタ(orderedstatistical filter)に供給
して精度を向上させることができる。順序だった統計処
理フィルタは、その入力値を大きい方から順に(又は所
要に応じ、小さい方から順に)並べて、こうして並び変
えた入力値を対応する重み係数で逓倍する。これらの重
み係数は1に等しくすることができ、こうした重み係数
の値は対称値をとるようにすることができ、即ち最後の
重み係数は最初の重み係数と等しくし、最後から2番目
の重み係数は最初から2番目の重み係数と等しくするよ
うに、以下同様にする。順序だった統計処理フィルタは
簡単なメディアンフィルタとするのが好適であるが、他
のフィルタを用いることもできる。メディアンフィルタ
では真中の係数が1に等しく、他の係数は0である。
【0009】メディアンフィルタが2つの異なるフィー
ルドからの第1ベクトルに対応する2つの画素値及びゼ
ロの動きベクトルに対応する平均画素値を受取るべく結
合されるようにすることにより良好な内挿結果を得るこ
とができた。
【0010】
【実施例】図1に示した実施例では、フィールド周波数
が50Hzの画像信号を第1フィールドメモリFM1 に供給
する。図2のライン1には到来する画像信号のフィール
ドシーケンスA,B,C,D,E,Fを経時的に示して
ある。第1フィールドメモリFM1 によって、この第1
フィールドメモリから画像信号の各フィールドを2度読
取ることにより画像信号のフィールド周波数を2倍にす
る。図2のライン2には第1フィールドメモリFM1
よって供給されるフィールドシーケンスを経時的に示し
てある。このフィールドシーケンスを第2フィールドメ
モリFM2 に供給する。第2フィールドメモリFM
2 は、それに供給される各フィールドの内の2番目に発
生する各フィールドを書込み、この第2フィールドメモ
リFM2 は最初に或るフィールドがそれに供給される時
は、そのフィールドを無視する。第2フィールドメモリ
FM2 に書込まれている各フィールドは、この第2フィ
ールドメモリFM2 から2度読取られる。図2のライン
3には第2フィールドメモリFM2 によって供給される
フィールドシーケンスを経時的に示してある。最後に、
図2のライン4は図1の動き補償形画像信号内挿装置の
出力フィールドシーケンスを経時的に示しており、A,
Bは入力フィールドAとBに基づく内挿フィールドを示
し、B,Cは入力フィールドBとCに基づく内挿フィー
ルドを示し、以下同様である。
【0011】図1の例のテレビジョン信号受信機は2つ
のラインメモリ段LM1 ,LM2 も具えており、これら
の各ラインメモリ段は例えば5個のラインメモリのタッ
プ付き遅延線と、各ラインメモリタップ当り16個の画素
メモリとを具えているため、或る所定領域内の各画素値
はスイッチマトリックスSMX1 ,SMX2 を経て得る
ことができる。これらのスイッチマトリックスSM
1 ,SMX2 は動きベクトル0,+d及び−dにより
制御される。
【0012】平均化装置AVはラインメモリ段LM1
LM2 から動きベクトルによってシフトされていない、
換言するにゼロの動きベクトル0によってシフトされて
いる2つの画素値を受取る。メディアンフィルタMED
は平均化装置AVの出力と、動きベクトル−dにわたり
シフトされラインメモリ段LM1 からの画素値と、動き
ベクトル+dにわたりシフトされたラインメモリ段LM
2 からの画素値とを受取る。このメディアンフィルタM
EDは図2のライン4に示した内挿フィールドYZ,Z
A,AB等を供給する。
【0013】本発明は上述した例のみに限定されるもの
ではなく、幾多の変更を加え得ることを勿論であり、例
えば図示のメディアンフィルタの代りにもっと複雑な順
序だった統計処理フィルタを用いることもできる。
【図面の簡単な説明】
【図1】本発明による動き補償形画像信号内挿装置を具
えているテレビジョン受信機の実施例を示すブロック図
である。
【図2】図1の実施例における種々の個所における連続
フィールドを経時的に示した説明図である。
【符号の説明】
FM1 第1フィールドメモリ FM2 第2フィールドメモリ LM1 ,LM2 ラインメモリ段 SMX1 ,SMX2 スイッチマトリックス AV 平均化装置 MED メディアンフィルタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 パウル ウィレム アルベルト コルネリ ス ビーツェン オランダ国 5621 ベー アー アインド ーフェン フルーネヴァウツウェッハ1 (72)発明者 オルカヨーデ アンソニ オヨー オランダ国 5621 ベー アー アインド ーフェン フルーネヴァウツウェッハ1 (72)発明者 ヘンドリック フエイヘン オランダ国 5621 ベー アー アインド ーフェン フルーネヴァウツウェッハ1

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも2つの動きベクトル(±d,
    0)を供給する手段と、前記少なくとも2つの動きベク
    トル(±d,0)に対応する動き補償された画素値を供
    給する手段(LM1 ,LM2 ,AV)と、前記動き補償
    された画素値を順序だった統計処理フィルタリングする
    ための手段(MED)とを具えていることを特徴とする
    動き補償形画像信号内挿装置。
  2. 【請求項2】 前記順序だった統計処理フィルタリング
    手段がメディアンフィルタ(MED)を含むことを特徴
    とする請求項1に記載の装置。
  3. 【請求項3】 前記メディアンフィルタ(MED)が、
    2つの異なるフィールドからの第1ベクトル(±d)に
    対応する2つの画素値及びゼロの動きベクトル(0)に
    対応する平均画素値を受取るべく結合されていることを
    特徴とする請求項1に記載の装置。
  4. 【請求項4】 テレビジョン信号を受信すべく結合され
    た受信手段(1) と、前記受信手段に結合されて、内挿画
    像信号を供給するための動き補償形画像信号内挿装置
    (FM1 ,FM2 ,LM1 ,LM2 ,AV,MED)と
    を具えているテレビジョン信号受信機において、前記内
    挿装置が少なくとも2つの動きベクトル(±d,0)を
    供給する手段と、前記少なくとも2つの動きベクトル
    (±d,0)に対応する動き補償された画素値を供給す
    る手段(LM1 ,LM2 ,AV)と、前記動き補償され
    た画素値を順序だった統計処理フィルタリングして、前
    記内挿画像信号を供給する手段(MED)とを具えてい
    ることを特徴とするテレビジョン信号受信機。
JP11045993A 1992-05-15 1993-05-12 動き補償形画像信号内挿装置 Expired - Lifetime JP3868509B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP92201388 1992-05-15
NL92201388:3 1992-05-15

Publications (2)

Publication Number Publication Date
JPH0654302A true JPH0654302A (ja) 1994-02-25
JP3868509B2 JP3868509B2 (ja) 2007-01-17

Family

ID=8210609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11045993A Expired - Lifetime JP3868509B2 (ja) 1992-05-15 1993-05-12 動き補償形画像信号内挿装置

Country Status (5)

Country Link
US (1) US5534946A (ja)
EP (1) EP0577165B1 (ja)
JP (1) JP3868509B2 (ja)
KR (1) KR100273078B1 (ja)
DE (1) DE69315626T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003506928A (ja) * 1999-07-30 2003-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カラーシーケンシャルディスプレイにおける画像平面の動き補償用のシステム及び方法
US7343044B2 (en) 2004-01-15 2008-03-11 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
JP2009516864A (ja) * 2005-11-23 2009-04-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビューディスプレイ装置のためのビューの描画
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換
US7720150B2 (en) 2001-11-30 2010-05-18 Samsung Electronics Co., Ltd. Pixel data selection device for motion compensated interpolation and method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
JP3193833B2 (ja) * 1994-07-25 2001-07-30 ケイディーディーアイ株式会社 動ベクトル処理装置
US5539469A (en) * 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique
US5510856A (en) * 1994-12-30 1996-04-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors
EP0765573B1 (en) * 1995-03-14 1999-06-09 Koninklijke Philips Electronics N.V. Motion-compensated interpolation
EP0735747B1 (en) * 1995-03-31 1999-11-03 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
FR2750558B1 (fr) * 1996-06-28 1998-08-28 Thomson Multimedia Sa Procede d'interpolation de trames pour compatibilite mode film
WO1998011721A1 (en) * 1996-09-11 1998-03-19 Philips Electronics N.V. Adaptive picture delay
GB2318243B (en) * 1996-10-09 2000-09-13 British Broadcasting Corp Video signal processing
FR2768891B1 (fr) * 1997-09-19 2000-02-04 Thomson Multimedia Sa Procede et dispositif d'interpolation temporelle d'images a compensation de mouvement
EP1048170A1 (en) 1998-08-21 2000-11-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
KR100875743B1 (ko) * 2001-01-16 2008-12-26 엔엑스피 비 브이 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법
DE10236207A1 (de) * 2002-08-07 2004-02-26 Micronas Gmbh Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
KR20060029283A (ko) * 2003-07-08 2006-04-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션-보상된 영상 신호 보간
US7620254B2 (en) 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
KR20070030223A (ko) * 2004-06-23 2007-03-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 픽셀 보간
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US8773595B2 (en) 2008-12-24 2014-07-08 Entropic Communications, Inc. Image processing
TW201246920A (en) 2011-05-12 2012-11-16 Sunplus Technology Co Ltd Apparatus for refining motion vector

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3663875D1 (en) * 1986-03-08 1989-07-13 Ant Nachrichtentech Motion compensating field interpolation method using a hierarchically structured displacement estimator
FR2644956B1 (fr) * 1989-03-23 1991-06-07 Europ Rech Electr Lab Dispositif de conversion de frequence trame pour un recepteur de television haute definition et procede de detection du mouvement dans une image de television codee
WO1990015504A1 (de) * 1989-05-29 1990-12-13 N.V. Philips' Gloeilampenfabrieken Schaltungsanordnung zum verringern des zeilen- und kantenflimmerns bei fernsehbildern und interpolationsschaltung
FR2650718B1 (fr) * 1989-08-04 1991-10-04 Europ Rech Electr Lab Dispositif de transformation d'une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
US5081532A (en) * 1990-08-30 1992-01-14 Zenith Electronics Corporation Adaptive progressive scan converter
DE69114791T2 (de) * 1990-09-03 1996-06-27 Philips Electronics Nv Verfahren und Anordnung zum Verarbeiten eines Bildsignals.
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003506928A (ja) * 1999-07-30 2003-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カラーシーケンシャルディスプレイにおける画像平面の動き補償用のシステム及び方法
US7720150B2 (en) 2001-11-30 2010-05-18 Samsung Electronics Co., Ltd. Pixel data selection device for motion compensated interpolation and method thereof
US7343044B2 (en) 2004-01-15 2008-03-11 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
US7697769B2 (en) 2004-01-15 2010-04-13 Kabushiki Kaisha Toshiba Interpolation image generating method and apparatus
JP2009516864A (ja) * 2005-11-23 2009-04-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチビューディスプレイ装置のためのビューの描画
US9036015B2 (en) 2005-11-23 2015-05-19 Koninklijke Philips N.V. Rendering views for a multi-view display device
JP2009532984A (ja) * 2006-04-03 2009-09-10 インテル・コーポレーション 補償アーチファクトに対する保護を有する動き補償フレームレート変換

Also Published As

Publication number Publication date
JP3868509B2 (ja) 2007-01-17
DE69315626D1 (de) 1998-01-22
KR930024443A (ko) 1993-12-22
KR100273078B1 (ko) 2000-12-01
US5534946A (en) 1996-07-09
DE69315626T2 (de) 1998-05-28
EP0577165B1 (en) 1997-12-10
EP0577165A1 (en) 1994-01-05

Similar Documents

Publication Publication Date Title
JPH0654302A (ja) 動き補償形画像信号内挿装置
US4987489A (en) Apparatus for generating an interlaced slow motion video output signal by spatial and temporal interpolation
US5793435A (en) Deinterlacing of video using a variable coefficient spatio-temporal filter
US6239847B1 (en) Two pass multi-dimensional data scaling arrangement and method thereof
KR950009449B1 (ko) 비디오신호 처리회로 및 처리방법
EP0264727B1 (en) Intra-field recursive interpolator
JP2736641B2 (ja) テレビジョン画像を静止させる装置
US6028589A (en) Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
GB2337391A (en) Interlaced to progressive scanning conversion with edge enhancement by vertical temporal interpolation
US5699499A (en) Post-processor of motion vectors for field interpolation
EP0860081A1 (en) Adaptive picture delay
US5742355A (en) Method and apparatus for reducing noise in a video signal
JP2000056744A (ja) 重み付きメディアンフィルタ補間装置
EP0851677A1 (en) Video signal processing apparatus and processing method
US5280357A (en) Depth-based recursive video effects
EP0648046B1 (en) Method and apparatus for motion compensated interpolation of intermediate fields or frames
US20100066901A1 (en) Apparatus and method for processing video data
EP1038392B1 (en) Video signal processing
JP2008098724A (ja) 画像スケーリング回路
WO1996015625A1 (en) Video signal processing
EP0750818B1 (en) Video signal processing
JP3019735B2 (ja) 画像処理装置
JPH07245729A (ja) 映像信号処理方法および映像特殊効果装置
JPH11306365A (ja) 画像信号の拡大・圧縮処理装置とそれを利用した画像表示装置
JPH07264630A (ja) Museデコーダ動き補正回路

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040907

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041007

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20050722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091020

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

EXPY Cancellation because of completion of term
R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350