JP3996955B2 - グラフィックス信号とビデオ信号との混合 - Google Patents

グラフィックス信号とビデオ信号との混合 Download PDF

Info

Publication number
JP3996955B2
JP3996955B2 JP52539998A JP52539998A JP3996955B2 JP 3996955 B2 JP3996955 B2 JP 3996955B2 JP 52539998 A JP52539998 A JP 52539998A JP 52539998 A JP52539998 A JP 52539998A JP 3996955 B2 JP3996955 B2 JP 3996955B2
Authority
JP
Japan
Prior art keywords
mixing
color values
color
alpha
clut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP52539998A
Other languages
English (en)
Other versions
JP2000504441A (ja
Inventor
エフェルト イアン ポル
スプランテル マリヌス ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2000504441A publication Critical patent/JP2000504441A/ja
Application granted granted Critical
Publication of JP3996955B2 publication Critical patent/JP3996955B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2044Display of intermediate tones using dithering
    • G09G3/2051Display of intermediate tones using dithering with use of a spatial dither pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、グラフィックス信号とビデオ信号とを混合する方法及び装置と、斯種の装置を具えているマルチメディア装置に関するものである。
本発明の目的は特に、ハードウエア要素の効率を最適にするグラフィックス/ビデオ信号の混合法を提供することにある。このために、本発明の第1要点は、請求の範囲第1項に規定したような方法にある。本発明の第2の要点は請求の範囲第2項に規定したような方法にある。本発明の第3の要点は請求の範囲第3項に規定したような装置にある。本発明の第4の要点は請求の範囲第7項に記載したようなマルチメディア装置にある。他の有利な例は従属請求項に記載したような通りである。
本発明の主たる要点は、グラフィックス信号とビデオ信号とを或る比率のアルファ、即ち、(1−アルファ)で混合する方法にあり、この場合のグラフィックス信号はカラー値を記憶してあるカラールックアップテーブルをアドレス指定することによって得るのであり、各混合比に対して記憶させるカラー値の数は、カラールックアップテーブルを最適に満たすべく混合比に依存するようにする。請求の範囲にて云う「カラー値」は、赤、緑及び青のカラー値をカバーするだけでなく、輝度値及びクロミナンス値によって色を表わす値もカバーする値である。
本発明のこうした要点及他の要点を以下実施例を参照して説明することにより明らかにする。
図面は本発明による表示装置を示す。
この図面におけるフレームバッファFBは8ビットのアドレス信号をカラールックアップテーブルCLUTに供給する。カラールックアップテーブルCLUTはカラー値R(赤)、G(緑)及びB(青)又は輝度信号Y及びクロミナンス信号U,V並びに混合係数アルファ(α)を混合器MIXの第1入力端子に供給する。混合器MIXの第2入力端子は、カラー信号R′,G′及びB′の形態又は輝度信号Y′及びクロミナンス信号U′,V′の形態のビデオ信号を受信する。混合器MIXはカラー信号R″,G″及びB″の形態又は輝度信号Y″およびクロミナス信号U″,V″の形態の出力信号を供給する。この混合器の出力信号は後処理ユニットPPを経てディスプレイDに供給される。混合器の出力信号が輝度信号Y″とクロミナンス信号U″,V″とによって構成される場合には、後処理ユニットPPがRGB信号への必要な変換を行なう。図示の表示装置は、テレテキスト機能を装備したテレビジョン受信機とすることができるが、それ以外にも適用でき、本発明はグラフィックス情報及びビデオ信号を表示する前にこれらを混合させる任意のマルチメディア装置に広く適用することができる。予め定めた内容を有するカラールックテーブルCLUT(標準テーブル)を具えている端末装置(例えば、TV受信機の上のセットトップボックス)は、ビットマップを有する標準テーブルを伝送する必要なく、しかも端末装置内で複雑な色変換を行なう必要もなく、標準テーブルに従って符号化されたビットマップを受取って、表示することができる。
本発明はフレームバッファFB,カラールックアップテーブルCLUT及びビデ混合器MIXを内蔵する表示システムに関するものである。画像をフレームバッファFBに記憶しておき、この画像を、ビデオ信号と混合する表示システムによって、幾つかの透明度のレベルで表示させることができる。本発明の主たる着想は、clut(カラールックアップテーブル)における利用可能な空間を如何にして有効に満たし、且つclutのこの用法を、ディザーリング及び色空間の変換の如き画像処理技法と如何にして組み合わせるかにある。
表示プロセス中にフレームバッファFBによって発生されるような各画素データは、3つのカラー値及び1つの透明度の値を記憶しているテーブルにおける各アドレスとしてclutにて用いられる。色成分に対する有効な選択は赤、緑及び青のトリプレット又はYUVのトリプレットに対して行なう。透明度の値は通常アルファによって示される。混合器はclutによって発生されるグラフックスのカラー値を取り込み、これらのカラー値をアルファで逓倍し、ビデオカラー値を取り入れ、これらを(1−アルファ)で逓倍し、且つ2つの積を加えて、グラフィック入力とビデオ入力との平均をアルファによって決められる重みで加重する。従って、各画素の重みは相違させることができる。(全透明:アルファ=0,非透明:アルファ=1)
コンシューマシステムでは、フレームバッファに記憶する画素当りのビット数及びclutにおけるエントリの数が共に通常極めて少ない。一般に、フレームバッファFBは画素当り8ビットを記憶し、clutのエントリ数は約256である。このことは、clutにおける有効エントリの用法に極めて注意しなければならないことを意味している。clutを充填する方法には幾つかの優れた方法があるが、これらは、カラー値を発生するだけのclutに過ぎない。ここで述べたようなclutはアルファ値も発生し、従ってclutを充填する新規の方法が必要である。
最も簡単なやり方は、カラー透明画の空間における規則的な格子をclutに割当てることにある。このことは、3つの色成分及びアルファチャネルに対するレベル数を選定し、且つclutをこれらのレベルのカルテシアン積(即ち、全組み合わせ)で満たすことを意味する。例えば、各チャネルに4つのレベルを割当て、4×4×4×4=256個のエントリとして、clutを正確に充填することができる。RGBの色成分で細工する場合における多少賢い選択レベルは(RGBアルファ)4×5×3×4=240レベルである。clutは完全には充填されないけれども、緑チャネルは画像品質を決定するのに最も有力であることからして、実際に得られる画像は良好なものとなる。
clutをカルテシアン積で充填することは、フレームバッファに記憶すべき画像をディザ処理する必用がある場合に役立つ。画像をディザ処理することは、画像品質を多少とも許容可能な品質に保ちつつ単一画像における色の数を減らす技法の集大成である。これよりもさらに精巧なディザアルゴリズムは、かなりの品質を維持するも、実行するのに多量の処理能力を要する。アルゴリズムの複雑性を軽減する1つのやり方は各色成分を別々にディザ処理するやり方であり、これにはclutをカルテシアン積で充填する必用がある。色の低減パレットでのディザ法を用いる好適な画像表現法についてはEP−A−0639,920(代理人の整理番号PHN14.552)に開示されている。
しかし、透明度の全レベル数をclutのエントリの数と同じとすることは、clutスペースの良好な使用法とは云えない。これは完全な透明レベル(アルファ=0)に注目すれば明らかである、この場合には僅か1つのエントリで十分である。一般的には、アルファ値を下げると、同じ出力のカラー解像度を達成するのに必要な入力カラーレベルの数が少なくなる。アルファ値は各グラフックスのカラーチャネルにおける一次係数として用いられるので、グラフックスカラーチャネルの各々におけるカラーの一次係数の数、つまりカラーレベルの数はアルファ値でほぼ直線的に増えるようになる。
このことは、透明度のレベル当りの色の総数がclutのアルファ値で近似的に増えることを意味する。0<=a<=A、即ちA+1個の透明なレベルがあると想定する。a=1に対する色の数がCであるとすると、全てのアルファレベルを総計する場合に、色の総数は約A2*(A+1)2*C/4となる。clutにおける色の総数を256とすると、次表のようになる。
Figure 0003996955
次のステップは透明度レベル毎に色の適当な位置を見つけることである。ここで注目することは、このシステムに簡単なディザ法を適用することである。この場合、各透明度レベルにはclutのカルテシアン積を持たせるのが有利である。このことが意味することは、各透明度レベルにて、clutに確保する色の数を各カラーチャネルに対する色レベルの数である3つの数の積とすべきであると云うことにある。
例えば、RGBのカラーチャネルがあるものとする。青チャネルが最少量の解像度を必要とし、赤チャネルが多少多めの解像度を必要とし、緑チャネルがさらに高い解像度を必要とすることは周知である。透明度レベルは3つの全てのカラーチャネルに影響を及ぼすので、これはアルファレベルが最高のカラーチャネルの解像度に比べて最高の解像度を必要とする。それぞれのレベルの合理的な割当ては(R,G,B,a)=(5,6,4,7)とすることである。これはA=6以上の数に最も近いものに相当することがわかる。
オプションのA=6又はA=7から出発して、他のレベルのカルテシアン積でのclutの首尾良い充填を見つけるようにすることができる。この際考慮することは、低解像度のレベルでは、レベル数を或る程度増やすべきであると云うことであり、これは計算が切捨てて丸められ、これらの丸め処理による誤差が特に低解像度では目立つからである。例えば、a=1の場合、即ち依然或るグラフィックスを示す最低の透明度レベルでは、各カラーチャネルに対する最小レベル数が2であり、clutでの最小使用レベル数は8となる。これは次のように分けられる。
Figure 0003996955
透明度の値ごとにclutのエントリ数が可変のカラールックアップテーブルは次のように実現する。透明度の数:5(100%,75%,50%,25%,0%)。例:clut[14]=[0,127,255]、ここに14はclutの指標であり、0は赤色信号Rの値であり、127は緑色信号Gの値であり、255は青色信号Bの値である。
透明度=0%に対するclutのエントリ
Figure 0003996955
Figure 0003996955
Figure 0003996955
透明度=25%に対するclutのエントリ
Figure 0003996955
透明度=50%に対するclutのエントリ
Figure 0003996955
透明度=75%に対するclutのエントリ
Figure 0003996955
透明度=100%に対するclutのエントリ
Figure 0003996955
RGBに対するこれらの値は気にしない。
本発明の要点は次のように要約することができる。本発明はカラールックアップテーブル(clut)のディスプレイへの用法に関するものであり、フレームバッファの内容をビデオ画像に複数の透明度のレベルのうちの或る1つのレベルで重畳するものである。特に、clutを充填する最適な方法について説明した。或る所定の透明度のレベルに対する可能な色数は混合比のアルファに依存し、即ち、100%の透明度では単一値で十分であるのに対し、0%の透明度では最大数の色が必要である。3乗の関係式を用いるのが有利であり、色の数は赤値の数RRと、緑値の数GGと、青値の数BBとを掛けた積であり、ここに、GG>=RR>=BBとするのが好適である。
本発明は上述した例のみに限定されるものでなく、請求の範囲を逸脱することなく、幾多の変更を加え得ることは当業者に明らかであり、請求の範囲における括弧内の参照符号は請求の範囲を限定するものとして理解されるべきものではない。本発明は幾つかの個別の要素を具えているハードウエアによるか、適当にプログラムしたコンピュータによって実現することができる。

Claims (6)

  1. カラー値及び混合係数(α)をカラールックアップテーブルに記憶する方法であって、各混合係数(α)に対して記憶させるカラー値の数が、該混合係数(α)に依存するような方法において、
    各混合係数(α)に対して記憶させるカラー値の数が、混合演算において前記カラー値を乗算するのに用いる該混合係数(α)の3乗に依存することを特徴とする方法
  2. カラー値を記憶してあるカラールックアップテーブルをアドレス指定することによって得られるグラフィック信号と、ビデオ信号とを、混合係数(α)に依存する混合比率(α:(1−α))で混合する方法であって、各混合比に対して記憶させるカラー値の数が該混合比に依存するような方法において、
    各混合比率(α)に対して記憶させるカラー値の数が、混合演算において前記カラー値を乗算するのに用いる該混合係数(α)の3乗に依存することを特徴とする方法
  3. カラー値を記憶してあるカラールックアップテーブルをアドレス指定することによって得られるグラフィックス信号と、ビデオ信号とを、混合係数(α)に依存する混合比率(α:(1−α))で混合する装置であって、各混合比に対して記憶させるカラー値の数が該混合比に依存する装置において、
    各混合比率(α)に対して記憶させるカラー値の数が、混合演算において前記カラー値を乗算するのに用いる該混合係数(α)の3乗に依存することを特徴とする装置
  4. 異なる緑のカラー値、異なる赤のカラー値の数よりも多く、異なる赤のカラー値の数が、異なる青のカラー値の数より多いことを特徴する請求の範囲3に記載の装置。
  5. 異なる混合比の数が、異なる緑のカラー値の数よりも多いことを特徴とする請求の範囲に記載の装置。
  6. 請求の範囲3に記載したようなグラフィックス及びビデオ信号混合装置と;前記混合装置の出力端子に結合させたデイスプレイと;を具えているマルチメディア装置。
JP52539998A 1996-12-06 1997-11-17 グラフィックス信号とビデオ信号との混合 Expired - Fee Related JP3996955B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP96203399.9 1996-12-06
EP96203399 1996-12-06
EP97200753.8 1997-03-13
EP97200753 1997-03-13
PCT/IB1997/001451 WO1998025403A2 (en) 1996-12-06 1997-11-17 Mixing a graphics signal and a video signal

Publications (2)

Publication Number Publication Date
JP2000504441A JP2000504441A (ja) 2000-04-11
JP3996955B2 true JP3996955B2 (ja) 2007-10-24

Family

ID=26143386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52539998A Expired - Fee Related JP3996955B2 (ja) 1996-12-06 1997-11-17 グラフィックス信号とビデオ信号との混合

Country Status (12)

Country Link
US (1) US6271826B1 (ja)
EP (1) EP0879531B1 (ja)
JP (1) JP3996955B2 (ja)
KR (1) KR100517189B1 (ja)
CN (1) CN1123209C (ja)
AT (1) ATE308202T1 (ja)
BR (1) BR9707355A (ja)
DE (1) DE69734437T2 (ja)
ES (1) ES2249796T3 (ja)
MY (1) MY132746A (ja)
TW (1) TW381393B (ja)
WO (1) WO1998025403A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446774B1 (en) 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
EP1145218B1 (en) 1998-11-09 2004-05-19 Broadcom Corporation Display system for blending graphics and video data
US6853385B1 (en) 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6768774B1 (en) 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US8913667B2 (en) 1999-11-09 2014-12-16 Broadcom Corporation Video decoding system having a programmable variable-length decoder
US9668011B2 (en) 2001-02-05 2017-05-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Single chip set-top box system
US6636646B1 (en) * 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
WO2008156437A1 (en) 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US7463311B2 (en) * 2002-09-09 2008-12-09 General Instrument Corporation Method and system for including non-graphic data in an analog video output signal of a set-top box
US7667710B2 (en) 2003-04-25 2010-02-23 Broadcom Corporation Graphics display system with line buffer control scheme
TWI332652B (en) * 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
US8063916B2 (en) * 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US7250956B2 (en) * 2004-03-22 2007-07-31 Kabushiki Kaisha Toshiba Method and apparatus for color transformation (conversion)
KR100657276B1 (ko) * 2004-08-30 2006-12-14 삼성전자주식회사 영상 출력 제어 장치 및 영상 출력 제어 방법
WO2011094537A2 (en) * 2010-01-29 2011-08-04 Hillcrest Laboratories, Inc. Embedding argb data in a rgb stream
US10269142B2 (en) * 2016-10-27 2019-04-23 Adobe Inc. Providing predictable and customizable electronic color mixing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9101493D0 (en) * 1991-01-23 1991-03-06 Crosfield Electronics Ltd Improvements relating to colour image processing
US5243447A (en) * 1992-06-19 1993-09-07 Intel Corporation Enhanced single frame buffer display system
CA2095756C (en) * 1992-08-14 2001-04-24 Albert D. Edgar Method and apparatus for linear color processing
JP3329863B2 (ja) * 1992-12-09 2002-09-30 松下電工株式会社 混色方法
US5519450A (en) * 1994-11-14 1996-05-21 Texas Instruments Incorporated Graphics subsystem for digital television
JPH08272346A (ja) * 1995-03-30 1996-10-18 Casio Comput Co Ltd 画像制御装置
US5818613A (en) * 1995-12-04 1998-10-06 Silicon Graphics, Inc. System and method for color space conversion
US5956015A (en) * 1995-12-18 1999-09-21 Ricoh Company, Ltd. Method and system for correcting color display based upon ambient light
US6023302A (en) * 1996-03-07 2000-02-08 Powertv, Inc. Blending of video images in a home communications terminal
US5896136A (en) * 1996-10-30 1999-04-20 Hewlett Packard Company Computer graphics system with improved blending
US5846136A (en) * 1998-01-29 1998-12-08 Wu; Sung-Tsun Swing chair

Also Published As

Publication number Publication date
ES2249796T3 (es) 2006-04-01
WO1998025403A2 (en) 1998-06-11
ATE308202T1 (de) 2005-11-15
KR100517189B1 (ko) 2005-12-06
EP0879531B1 (en) 2005-10-26
TW381393B (en) 2000-02-01
EP0879531A2 (en) 1998-11-25
BR9707355A (pt) 2000-05-02
DE69734437T2 (de) 2006-10-05
WO1998025403A3 (en) 1998-08-20
KR19990082321A (ko) 1999-11-25
CN1215526A (zh) 1999-04-28
DE69734437D1 (de) 2005-12-01
US6271826B1 (en) 2001-08-07
JP2000504441A (ja) 2000-04-11
CN1123209C (zh) 2003-10-01
MY132746A (en) 2007-10-31

Similar Documents

Publication Publication Date Title
JP3996955B2 (ja) グラフィックス信号とビデオ信号との混合
US7643675B2 (en) Strategies for processing image information using a color information data structure
US5896122A (en) Color image processing
US4719503A (en) Display processor with color matrixing circuitry and two map memories storing chrominance-only data
US6275606B1 (en) Method and system for color matching between digital display devices
US4994901A (en) Method and apparatus for increasing the gamut of an additive display driven from a digital source
EP0897641A1 (en) Wide gamut display driver
US6774953B2 (en) Method and apparatus for color warping
US8687014B2 (en) Process and apparatus for blending images
US5852444A (en) Application of video to graphics weighting factor to video image YUV to RGB color code conversion
KR100546925B1 (ko) 화상 처리 장치
JPH10214075A (ja) 画像表示装置及び画像表示方法
EP0543511A1 (en) Method and apparatus for data conversion
JP5247898B2 (ja) 信号処理方法、画像表示装置、テレビジョン装置
AU676419B2 (en) Reduction of luminance noise in colour dithering
JPH0294868A (ja) 映像補正回路
JPS61232787A (ja) 文字放送受信方式
JPH0846806A (ja) カラー画像のディザ処理方法及びその装置
JPH05260347A (ja) ガンマ補正回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061218

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees