JP4270795B2 - Method and apparatus for remapping subpixels for color displays - Google Patents

Method and apparatus for remapping subpixels for color displays Download PDF

Info

Publication number
JP4270795B2
JP4270795B2 JP2002054144A JP2002054144A JP4270795B2 JP 4270795 B2 JP4270795 B2 JP 4270795B2 JP 2002054144 A JP2002054144 A JP 2002054144A JP 2002054144 A JP2002054144 A JP 2002054144A JP 4270795 B2 JP4270795 B2 JP 4270795B2
Authority
JP
Japan
Prior art keywords
subpixel
line memory
data stream
sequence
digital data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002054144A
Other languages
Japanese (ja)
Other versions
JP2003255881A (en
Inventor
マーティン・ダブリュー・フェイントゥチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Priority to JP2002054144A priority Critical patent/JP4270795B2/en
Publication of JP2003255881A publication Critical patent/JP2003255881A/en
Application granted granted Critical
Publication of JP4270795B2 publication Critical patent/JP4270795B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明はカラーディスプレイの分野に関し、より詳細には、シリアルデータストリーム内に含まれるサブピクセルを操作してディスプレイ・イメージを形成する方法及び装置に関する。
【0002】
【従来の技術】
航空機において、パイロットはカラーディスプレイを含む計器から重要な情報を取得する。あるカラーディスプレイはクワッド・サブピクセル構成を使用する一方で、他のディスプレイはストリップ・サブピクセル構成を使用する。
【0003】
図1にはクワッド・サブピクセル・ディスプレイ100が描かれており、該クワッド・サブピクセル・ディスプレイ100はピクセル110を含み、各ピクセルはレッドサブピクセル111、第1のグリーンサブピクセル112、ブルーサブピクセル113および第2のグリーンサブピクセル114を含んでいる。このタイプのディスプレイは、夜景イメージの表示中のようなモノクローム動作のためのディスプレイ解像度を二倍にすることが所望される軍事応用に特に開発されてきた。
【0004】
図2は、ピクセル210を含むストリップ・サブピクセル・ディスプレイ200を示しており、各ピクセルはレッドサブピクセル211、グリーンサブピクセル212、ブルーサブピクセル213から構成されている。ストリップ・サブピクセル・ディスプレイはSonyのトリニトロン(登録商標)のカラーテレビにとても似ており、商業的な使用のために広く開発されてきた。
【0005】
冷戦後の時代において、特に現代において、商業的なディスプレイ技術は軍事的なディスプレイ技術に勝っている。例えば、商業的に利用出来る典型的なラップトップ型コンピュータは、利用されている多くの最新型軍事用ディスプレイに比べて、より高いピクセル数を有することに付随してより大きな解像度を有する。
【0006】
【発明が解決しようとする課題】
非常に多くの航空機用グラフィクスシンボロジー(図形記号)、より詳細には軍事用グラフィクスシンボロジーが開発され、航空機ディスプレイ上で使用が継続されている。ある特定の軍事用のユニークなディスプレイは、クワッドサブピクセル構成を含んでいる。特定の航空機上のこのクワッド・サブピクセル・ディスプレイをさらに新しいストリップサブピクセル・ディスプレイと置換えることが所望される。しかし、このグラフィックシンボロジーの基礎をなすソフトウエアを変化することは、常に長期でコスト高な開発プロセスを必要とする。
【0007】
結果として生じるディスプレイメージに重要な時間遅延を導入することなくクワッドサブピクセル・ディスプレイに向けられたデジタルデータストリームを捕らえ、それをストリップサブピクセル・カラーディスプレイに適したデジタルデータストリームへ再フォーマット出来る、ハードウエア装置および方法が当該技術分野で必要とされている。そのような装置および方法は、既存の航空機ディスプレイプロセッサにおいてソフトウエアの修正を施すことなく、以前に開発された軍事シンボロジーを再利用することを可能とするであろう。
【0008】
【課題を解決するための手段】
クワッドサブピクセル・ディスプレイに向けられたデジタルデータストリーム、例えばシリアルデジタルストリームを、エキストラデータ値をシリアルデジタルストリームにリアルタイムでパディングすることにより処理することが可能であることが発見された。結果として生じる、パッドデータを含む中間デジタルストリームは、ディスプレイされた場合、ひずんだ画像を示すであろう。しかし、ひずみは商用的に入手可能なサイズ変更エンジンを使用することにより除去し得ることがさらに発見された。
【0009】
本発明は、クワッドサブピクセル・カラーイメージを表す、デジタルデータストリームにおける各サブピクセルに対する、カラーおよび輝度情報を抽出し、この情報を処理し、中間ピクセルメモリ内へ転送する。中間ピクセルメモリをパッドするために入力値の間に更なるデータ値が散在され、例えば奇数入力ラインは「ブルー」サブピクセルデータを含んでいない。処理後、中間ピクセルメモリはジェネシス(登録商標)チップなどのディスプレイサイズ変更エンジンへの入力として使用され得るデータを含んでおり、ストリップサブピクセル・ディスプレイを駆動するのに適したデジタルデータストリーム出力を順番に提供する。有利には、本発明は、クワッドサブピクセル(m×n)・ディスプレイに対するストリップサブピクセル(x×y)・ディスプレイにおける潜在的に異なるピクセル量を計算するために中間ピクセルメモリから別のビットマップにサイズ変更することが出来る。
【0010】
本発明の、一つの特定の例示的な実施形態においては、データストリームにパッドされたエキストラデータ値はゼロの値を持っている。第2の例示的な実施形態においては、パッドされたゼロの値は平均輝度値に置換えられる。
【0011】
【発明の実施の形態】
図3を参照すると、航空機などの車両に搭載されたクワッドサブピクセル・カラーディスプレイ100を駆動するために使用される典型的なディスプレイプロセッサ300のブロック図が示されている。シンボルジェネレータ301は一連のコマンドに応答してグラフィックシンボルを作成する。ビデオディジタイザー302は入力するビデオストリーム(図示されていない)を、クワッドサブピクセルディスプレイ用にサブピクセルあたり8ビットを有しピクセルあたり32ビットのようなデジタルデータへ処理する。シンボルジェネレータ301とビデオディジタイザー302はデジタルデータを、レッドメモリプレーン311、グリーンメモリプレーン312、ブルーメモリプレーン313を備えるイメージメモリのような、イメージメモリにロードする。クワッドサブピクセルドライバ320はイメージメモリからデータを取出し、クワッドサブピクセル・デジタルデータストリーム321を生成する。クワッドサブピクセル・デジタルデータストリーム321の特性は、奇数および偶数ラインの繰り返しデータシーケンスを含んでいることである。図1に示すように、奇数ラインはレッド(R)サブピクセル111および第1のグリーン(G)サブピクセル112に対するデータを含むことが出来、偶数ラインは第2のグリーン(g)サブピクセル114およびブルー(B)サブピクセル113に対するデータを含むことが出来る。
【0012】
図4を参照すると、本発明に従うと航空機のディスプレイのプロセッサ300からの出力クワッドサブピクセル・デジタルデータストリーム321が中間ピクセルメモリ450を含んだプロセッサ400への入力として適用されている。
【0013】
プロセッサ400内で、入力ビデオイメージを表すクワッドサブピクセル・デジタルデータストリーム321に含まれる各ビデオラインに対し、サブピクセル輝度情報の組が取り出され、メモリ450に格納される。本発明の一つの実施形態においては、図5に示されるように、各ビデオラインは以下に述べるように奇数ラインと偶数ラインを含んでいる。
【0014】
1)クワッドサブピクセル・デジタルデータストリーム321内の奇数ラインに含まれる、ラインX軸=1におけるレッドサブピクセル(R1)の輝度データが、中間ピクセルメモリ450に含まれる第1の奇数ラインメモリ位置411にマップされる。
【0015】
2)クワッドサブピクセル・デジタルデータストリーム321内の奇数ラインに含まれる、ラインX軸=1における第1のグリーンサブピクセル(G1)の輝度データが中間ピクセルメモリ450に含まれる第2の奇数ラインメモリ位置412にマップされる。
【0016】
3)輝度=0を表すデジタル値は、中間ピクセルメモリ450に含まれる第3の奇数ラインメモリ位置413へロードされる。
4)上述のステップ1−3が、クワッドサブピクセル・デジタルビデオストリーム321内の奇数ライン内に含まれる、X軸>1における残りのレッド(R)および第1のグリーン(G)サブピクセルに対し、R、G、0の順に残存サブピクセルデータを中間ピクセルメモリ450に含まれるシーケンシャルなメモリ位置へロードすることにより繰り返される。
【0017】
5)輝度=0を表すデジタル値が中間ピクセルメモリ450に含まれる第1の偶数ラインメモリ位置421へロードされる。
6)クワッドサブピクセル・デジタルデータストリーム321内の偶数ラインに含まれるラインX軸=1における第2のグリーンサブピクセル(g1)の輝度データが、中間ピクセルメモリ450に含まれる第2の偶数ラインメモリ位置422へマップされる。
【0018】
7)クワッドサブピクセル・デジタルビデオストリーム321内の偶数ラインに含まれる、ラインX軸=1におけるブルーサブピクセル(B1)の輝度データが中間ピクセルメモリ450に含まれる第3の偶数ラインメモリ位置423にマップされる。
【0019】
8)上述のステップ5−7は、クワッドサブピクセル・デジタルデータストリーム321の偶数ラインに含まれる、X軸>1における残存の第2のグリーン(g)およびブルー(B)サブピクセルに対し、0、g、Bの順に残存サブピクセルデータを中間ピクセルメモリ450に含まれるシーケンシャルなメモリ位置へロードすることにより繰り返される。
【0020】
プロセッサ400は、中間ピクセルメモリ450に含まれるサブピクセル輝度データを使用して出力中間デジタルデータストリーム430を生成する。中間デジタルデータストリーム430の特徴は、各奇数ラインが例えば512×512クワッドサブピクセル・ディスプレイ用にサブピクセルビットシーケンスR1、G1、0、R2、G2、0、...R512、G512、0の結果となり得るゼロ輝度パディングビットを含むことである。中間デジタルデータストリーム430のさらなる特徴は、各偶数ラインが例えば512×512クワッドサブピクセル・ディスプレイ用にサブピクセルビットシーケンス0、g1、B1、0、g2、B2、...0、g512、B512の結果となり得るゼロ輝度パディングビットを含むことである。中間デジタルデータストリーム430の更なる特性は、データストリームにより表される全体のビデオイメージが水平方向に、例えばひずみのない入力に比べ133%広くすることによってひずむことである。
【0021】
中間デジタルデータストリーム430はGenesis(登録商標)チップなどのディスプレイサイズ変更エンジン500へ入力される。サイズ変更エンジンは、当該技術において知られている技術を使用してビデオイメージの水平の寸法と垂直の寸法をお互い独立してスケールすることにより中間デジタルデータストリーム430により表されるビデオイメージのアスペクト比を調整することが出来る。本発明の一実施形態においては、中間デジタルデータストリーム430により表されるひずんだビデオイメージは水平の寸法のみを、例えば66.6%へスケールすることによりひずみをなくされる。ひずみのないビデオイメージは、サイズ変更エンジン500からストリップサブピクセル・カラーディスプレイ200へ送信される。
【0022】
本発明の側面に従うと、ストリップサブピクセル・カラーディスプレイ200は有利には、クワッドサブピクセル・デジタルデータ321によって表されるオリジナル・ビデオイメージに比べより高い解像度を有する。サイズ変更エンジン500は、ストリップサブピクセル・カラーディスプレイ200とオリジナル・ビデオイメージ間の垂直方向の解像度の比、例えば(768/512)に従って垂直方向の寸法をスケールする。サイズ変更エンジン500は、ストリップサブピクセル・カラーディスプレイ200とオリジナル・ビデオイメージ間の水平方向の解像度比および上述した本発明の側面により導入されるひずみ因子、例えば(768*1.33/512)の両方に従って、水平方向の寸法をスケールする。
【0023】
図6について言及すると、エキストラパディング値が平均輝度値であることを特徴とする本発明のさらなる実施の形態が記載されている。有利には、この実施形態において、プロセッサ400はまず中間ピクセルメモリ450内でパッドされたエキストラデータゼロ値を含むひずんだ中間デジタルデータストリームを生成し、これらのゼロの値を平均輝度値を持つパッドされたデータ値に置換える。従って、上述の実施形態におけるのと同じように、サブピクセル輝度情報の組がクワッドサブピクセル・デジタルデータストリーム321(図4に示す)に含まれる各ビデオラインに対し抽出される。この実施形態においては、現在のビデオライン(N)に対するクワッドサブピクセル・デジタルデータストリーム321が現在のビデオ奇数ライン繰返しデータシーケンス610および現在のビデオ偶数ライン繰返しデータシーケンス620へさらに分られる。同様の方法で、前のビデオライン(N−1)に対するクワッドサブピクセル・デジタルデータストリームが、前のビデオ奇数ライン繰返しデータシーケンスおよび前のビデオ偶数ライン繰返しデータシーケンス630へさらに分けられる。加えて、後続のビデオライン(N+1)に対するクワッドサブピクセル・デジタルデータストリームは、同様に後続のビデオ奇数ライン繰返しデータシーケンス640および後続のビデオ偶数ライン繰返しデータシーケンスへさらに分けられる。この実施の形態においては、中間ピクセルメモリ450に含まれるサブピクセル輝度情報の組が、中間デジタルデータストリーム430の生成前にさらに以下のように処理される。ビデオ入力イメージを表す中間ピクセルメモリ450内の第2のビデオラインで開始し、全ての後続ラインに対して繰り返す、以下にリストされるステップが上述の実施形態のステップNo.8に続けられる。
【0024】
9)ラインX軸=1に対し、第3の偶数ラインメモリ位置423に含まれる現在のブルーサブピクセル(B1N)と第1の前の偶数ラインメモリ位置633に含まれ、前のビデオ偶数ライン繰返しデータシーケンス630から生じる前のブルーサブピクセル(B1(N1))との間の平均ブルービデオ輝度が、平均ブルービデオ輝度=[(B1N+B1(N1))/2]により表される方程式により計算される。
【0025】
10)平均ブルービデオ輝度は、第3の奇数ラインメモリ位置413にロードされ、そこに含まれていたデジタル値に重ね書きされる。
11)上述したステップ9−10は、現在のビデオ奇数ライン繰返しデータシーケンス610に対応するラインX軸>1における残存ブルー(B)サブピクセルの組を計算するために繰り返される。
【0026】
12)第1の奇数ラインメモリ位置411に含まれる現在のレッドサブピクセル(R1N)と、第1の後続奇数ラインメモリ位置641に含まれ、後続のビデオ奇数ラインデータストリーム640から生じる後続のレッドサブピクセル(R1(N+1))との間の平均レッドビデオ輝度は、平均レッドビデオ輝度=[(R1N+R1(N+1))/2]により計算される。
【0027】
13)平均レッドビデオ輝度は、第1の偶数ラインメモリ位置421にロードされ、そこに含まれていたデジタル値に重ね書される。
14)上述したステップ12−13は、現在のビデオ偶数ラインデータストリーム620に対応するラインX軸>1での残存レッド(R)サブピクセルの組を計算するために繰り返される。
【0028】
上述した実施形態の場合、プロセッサ400は中間ピクセルメモリ450に含まれるサブピクセル輝度データを使用して中間デジタルデータストリーム430を生成する。この代替実施形態においては、有利には前のビデオライン、現在のビデオライン、後続のビデオラインを含む、3個のビデオラインのみが中間ピクセルメモリ450内にバッファーされることが要求される。
【0029】
図面および添付の記述は本発明の好適な実施の形態を示し記述しているが、当業者には本発明の範囲に影響を及ぼすことなく本発明の形態に様々な変形がなされ得ることが明らかであろう。従って本発明の他の実施形態において、パッドされたエキストラデータ値に対し様々な他の値が利用可能である。
【図面の簡単な説明】
【図1】従来技術に従ったクワッドサブピクセルディスプレイを描いている。
【図2】従来技術に従ったストリップサブピクセル・カラーディスプレイを描いている。
【図3】従来技術に従ったクワッドサブピクセルカラーディスプレイを駆動するために設計された既存の航空機ディスプレイのプロセッサを描いている。
【図4】ストリップサブピクセル・カラーディスプレイを駆動するために、図3により特徴付けられる既存の航空機ディスプレイを利用した本発明の一つの例示的な実施の形態の概略図である。
【図5】本発明の第1の例示的な実施の形態に従った中間ピクセルメモリの内容を描いている。
【図6】本発明の第2の例示的な実施の形態に従った中間ピクセルメモリの内容を描いている。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to the field of color displays, and more particularly to a method and apparatus for manipulating subpixels contained in a serial data stream to form a display image.
[0002]
[Prior art]
In an aircraft, the pilot obtains important information from instruments including color displays. Some color displays use a quad subpixel configuration, while other displays use a strip subpixel configuration.
[0003]
FIG. 1 depicts a quad subpixel display 100, which includes a pixel 110, each pixel having a red subpixel 111, a first green subpixel 112, a blue subpixel. 113 and a second green sub-pixel 114. This type of display has been specifically developed for military applications where it is desired to double the display resolution for monochrome operations such as during the display of night scene images.
[0004]
FIG. 2 shows a strip subpixel display 200 that includes pixels 210, each pixel comprising a red subpixel 211, a green subpixel 212, and a blue subpixel 213. The strip sub-pixel display is very similar to Sony's Trinitron® color television and has been widely developed for commercial use.
[0005]
In the post-Cold War era, especially in modern times, commercial display technology is superior to military display technology. For example, a typical commercially available laptop computer has a higher resolution associated with having a higher pixel count than many modern military displays in use.
[0006]
[Problems to be solved by the invention]
A vast number of aircraft graphics symbology, more specifically military graphics symbology, has been developed and continues to be used on aircraft displays. One particular military unique display includes a quad subpixel configuration. It would be desirable to replace this quad subpixel display on a particular aircraft with a newer strip subpixel display. However, changing the software that underlies this graphic symbology always requires a long and costly development process.
[0007]
A hardware that can capture a digital data stream destined for a quad subpixel display and reformat it into a digital data stream suitable for a strip subpixel color display without introducing significant time delays in the resulting display image There is a need in the art for wear apparatus and methods. Such an apparatus and method would allow reuse of previously developed military symbology without software modifications in existing aircraft display processors.
[0008]
[Means for Solving the Problems]
It has been discovered that a digital data stream, such as a serial digital stream, directed to a quad subpixel display can be processed by padding extra data values into the serial digital stream in real time. The resulting intermediate digital stream containing pad data will show a distorted image when displayed. However, it has further been discovered that strain can be removed by using commercially available resizing engines.
[0009]
The present invention extracts color and luminance information for each subpixel in the digital data stream representing a quad subpixel color image, processes this information, and transfers it into the intermediate pixel memory. Additional data values are interspersed between input values to pad the intermediate pixel memory, eg, odd input lines do not contain “blue” sub-pixel data. After processing, the intermediate pixel memory contains data that can be used as input to a display resizing engine, such as a Genesis® chip, which in turn directs the digital data stream output suitable for driving a strip subpixel display. To provide. Advantageously, the present invention converts from intermediate pixel memory to another bitmap to calculate potentially different pixel quantities in strip subpixel (x × y) displays versus quad subpixel (m × n) displays. You can change the size.
[0010]
In one particular exemplary embodiment of the present invention, extra data values padded into the data stream have a value of zero. In the second exemplary embodiment, the padded zero value is replaced with an average luminance value.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Referring to FIG. 3, a block diagram of an exemplary display processor 300 used to drive a quad subpixel color display 100 mounted on a vehicle such as an aircraft is shown. The symbol generator 301 creates a graphic symbol in response to a series of commands. Video digitizer 302 processes an incoming video stream (not shown) into digital data such as 8 bits per subpixel and 32 bits per pixel for quad subpixel displays. The symbol generator 301 and video digitizer 302 load the digital data into an image memory, such as an image memory comprising a red memory plane 311, a green memory plane 312 and a blue memory plane 313. The quad subpixel driver 320 retrieves data from the image memory and generates a quad subpixel digital data stream 321. A characteristic of the quad subpixel digital data stream 321 is that it contains a repeating data sequence of odd and even lines. As shown in FIG. 1, odd lines may include data for red (R) subpixel 111 and first green (G) subpixel 112, and even lines may include second green (g) subpixel 114 and Data for the blue (B) subpixel 113 may be included.
[0012]
Referring to FIG. 4, in accordance with the present invention, an output quad subpixel digital data stream 321 from an aircraft display processor 300 is applied as an input to a processor 400 including an intermediate pixel memory 450.
[0013]
Within processor 400, for each video line included in quad subpixel digital data stream 321 representing the input video image, a set of subpixel luminance information is retrieved and stored in memory 450. In one embodiment of the invention, as shown in FIG. 5, each video line includes odd and even lines as described below.
[0014]
1) The first odd line memory location 411 in which the luminance data of the red subpixel (R1) at line X axis = 1, contained in odd lines in the quad subpixel digital data stream 321 is contained in the intermediate pixel memory 450. Is mapped to
[0015]
2) A second odd line memory in which the luminance data of the first green subpixel (G1) at line X-axis = 1 is included in the intermediate pixel memory 450, which is included in the odd lines in the quad subpixel digital data stream 321. Maps to location 412.
[0016]
3) A digital value representing luminance = 0 is loaded into a third odd line memory location 413 included in the intermediate pixel memory 450.
4) Steps 1-3 above for the remaining red (R) and first green (G) subpixels in the X axis> 1 included in odd lines in the quad subpixel digital video stream 321 , R, G, 0, and so on, by loading the remaining subpixel data into sequential memory locations included in the intermediate pixel memory 450.
[0017]
5) A digital value representing luminance = 0 is loaded into the first even line memory location 421 included in the intermediate pixel memory 450.
6) The second even line memory in which the luminance data of the second green subpixel (g1) in the line X axis = 1 included in the even line in the quad subpixel digital data stream 321 is included in the intermediate pixel memory 450 Maps to location 422.
[0018]
7) Luminance data of the blue subpixel (B1) on line X axis = 1, contained in the even lines in the quad subpixel digital video stream 321, in the third even line memory location 423 contained in the intermediate pixel memory 450. Mapped.
[0019]
8) The above steps 5-7 are 0 for the remaining second green (g) and blue (B) subpixels in the X-axis> 1 included in the even lines of the quad subpixel digital data stream 321. , G, B in order to load the remaining subpixel data into sequential memory locations included in the intermediate pixel memory 450.
[0020]
The processor 400 uses the subpixel luminance data contained in the intermediate pixel memory 450 to generate an output intermediate digital data stream 430. The intermediate digital data stream 430 is characterized in that each odd line is a subpixel bit sequence R1, G1, 0, R2, G2, 0,..., For example for a 512 × 512 quad subpixel display. . . Including zero intensity padding bits that can result in R512, G512, 0. A further feature of the intermediate digital data stream 430 is that each even line is a subpixel bit sequence 0, g1, B1, 0, g2, B2,. . . Including zero intensity padding bits that can result in 0, g512, B512. A further characteristic of the intermediate digital data stream 430 is that the entire video image represented by the data stream is distorted by making it 13% wider than the undistorted input in the horizontal direction, for example.
[0021]
The intermediate digital data stream 430 is input to a display resizing engine 500 such as a Genesis® chip. The resizing engine uses the techniques known in the art to scale the horizontal and vertical dimensions of the video image independently of each other to represent the aspect ratio of the video image represented by the intermediate digital data stream 430. Can be adjusted. In one embodiment of the present invention, the distorted video image represented by the intermediate digital data stream 430 is distorted by scaling only the horizontal dimension to, for example, 66.6%. The undistorted video image is transmitted from the resize engine 500 to the strip subpixel color display 200.
[0022]
In accordance with aspects of the present invention, strip subpixel color display 200 advantageously has a higher resolution than the original video image represented by quad subpixel digital data 321. The resizing engine 500 scales the vertical dimension according to the ratio of the vertical resolution between the strip subpixel color display 200 and the original video image, eg, (768/512). The resizing engine 500 is a horizontal resolution ratio between the strip subpixel color display 200 and the original video image and the distortion factor introduced by the aspects of the invention described above, eg, (768 * 1.33 / 512). Scale the horizontal dimension according to both.
[0023]
Referring to FIG. 6, a further embodiment of the invention is described, wherein the extra padding value is an average luminance value. Advantageously, in this embodiment, processor 400 first generates a distorted intermediate digital data stream containing extra data zero values padded in intermediate pixel memory 450, and these zero values are padded with an average luminance value. Replace with the specified data value. Thus, as in the previous embodiment, a set of subpixel luminance information is extracted for each video line included in the quad subpixel digital data stream 321 (shown in FIG. 4). In this embodiment, the quad subpixel digital data stream 321 for the current video line (N) is further divided into a current video odd line repeat data sequence 610 and a current video even line repeat data sequence 620. In a similar manner, the quad subpixel digital data stream for the previous video line (N−1) is further divided into a previous video odd line repeat data sequence and a previous video even line repeat data sequence 630. In addition, the quad subpixel digital data stream for the subsequent video line (N + 1) is similarly further divided into a subsequent video odd line repeat data sequence 640 and a subsequent video even line repeat data sequence. In this embodiment, the set of subpixel luminance information contained in the intermediate pixel memory 450 is further processed as follows before the generation of the intermediate digital data stream 430. The steps listed below starting with the second video line in the intermediate pixel memory 450 representing the video input image and repeating for all subsequent lines are step No. in the above embodiment. Continue to 8.
[0024]
9) For line X axis = 1, the current blue subpixel (B1 N ) contained in the third even line memory location 423 and the first video even line contained in the first previous even line memory location 633 The average blue video brightness between the previous blue sub-pixel (B1 (N - 1) ) resulting from the repeated data sequence 630 is as follows: average blue video brightness = [(B1 N + B1 (N - 1) ) / 2] Calculated by the equation represented.
[0025]
10) The average blue video luminance is loaded into the third odd line memory location 413 and overwritten with the digital value contained therein.
11) Steps 9-10 described above are repeated to calculate the set of remaining blue (B) subpixels on line X-axis> 1 corresponding to the current video odd line repeat data sequence 610.
[0026]
12) The current red sub-pixel (R1 N ) contained in the first odd line memory location 411 and the subsequent red contained in the first subsequent odd line memory location 641 and resulting from the subsequent video odd line data stream 640. The average red video brightness between the sub-pixels (R1 (N + 1) ) is calculated by the average red video brightness = [(R1 N + R1 (N + 1) ) / 2].
[0027]
13) The average red video luminance is loaded into the first even line memory location 421 and overwritten with the digital value contained therein.
14) Steps 12-13 described above are repeated to calculate the set of remaining red (R) subpixels at line X-axis> 1 corresponding to the current video even line data stream 620.
[0028]
For the embodiment described above, the processor 400 uses the subpixel luminance data contained in the intermediate pixel memory 450 to generate the intermediate digital data stream 430. In this alternative embodiment, only three video lines, preferably including the previous video line, the current video line, and the subsequent video line, are required to be buffered in the intermediate pixel memory 450.
[0029]
While the drawings and the accompanying description illustrate and describe preferred embodiments of the invention, it will be apparent to those skilled in the art that various modifications can be made to the embodiments of the invention without affecting the scope of the invention. Will. Thus, in other embodiments of the invention, various other values can be used for the padded extra data values.
[Brief description of the drawings]
FIG. 1 depicts a quad subpixel display according to the prior art.
FIG. 2 depicts a strip subpixel color display according to the prior art.
FIG. 3 depicts an existing aircraft display processor designed to drive a quad subpixel color display according to the prior art.
FIG. 4 is a schematic diagram of one exemplary embodiment of the present invention utilizing an existing aircraft display characterized by FIG. 3 to drive a strip subpixel color display.
FIG. 5 depicts the contents of an intermediate pixel memory according to a first exemplary embodiment of the present invention.
FIG. 6 depicts the contents of an intermediate pixel memory according to a second exemplary embodiment of the present invention.

Claims (18)

カラーサブピクセル輝度データを含む入力ビデオイメージを表し、複数の奇数ラインデータおよび複数の偶数ラインデータを含むクワッドサブピクセル・デジタルデータストリームを受信し、中間ピクセルメモリを含み、カラーサブピクセル輝度データを含むひずんだビデオイメージを表す出力中間デジタルデータストリームを生じるプロセッサと、
前記出力中間デジタルデータストリームのひずみをなくし、出力中間デジタルデータストリームをストリップサブピクセル・カラーディスプレイに適用するためのサイズ変更エンジンと、を備え
前記出力中間デジタルデータストリームは、パディングデータ値を含む複数の奇数ラインデータとパディングデータ値を含む複数の偶数ラインデータとを含む、
クワッドサブピクセル・デジタルデータストリームからストリップサブピクセル・カラーディスプレイを駆動するための装置。
Represents an input video image that includes color subpixel luminance data, receives a quad subpixel digital data stream including a plurality of odd line data and a plurality of even line data, includes an intermediate pixel memory, and includes color subpixel luminance data A processor that produces an output intermediate digital data stream representing the distorted video image;
A resizing engine for eliminating distortion of the output intermediate digital data stream and applying the output intermediate digital data stream to a strip sub-pixel color display , the output intermediate digital data stream comprising a plurality of padding data values Including odd line data and a plurality of even line data including padding data values;
An apparatus for driving a strip subpixel color display from a quad subpixel digital data stream.
前記パディングデータ値はゼロ値を持つことを特徴とする、請求項1に記載の装置。The apparatus of claim 1, wherein the padding data value has a zero value. カラーサブピクセル輝度データを含む入力ビデオイメージを表し、複数の奇数ラインデータおよび複数の偶数ラインデータを含むクワッドサブピクセル・デジタルデータストリームを受信し、中間ピクセルメモリを含むプロセッサと、
出力中間デジタルデータストリームのひずみをなくし、出力中間デジタルデータストリームをストリップサブピクセル・カラーディスプレイに適用するためのサイズ変更エンジンと、
を備え、
前記クワッドサブピクセル・デジタルデータストリームは、
複数の奇数ラインデータと、
前記複数の奇数ラインデータと交互にある複数の偶数ラインデータと、
を含み
前記中間ピクセルメモリは、
第1の奇数ラインメモリ位置、第2の奇数ラインメモリ位置そして第3の奇数ラインメモリ位置を含む繰返しシーケンシャル順序に配列された複数の奇数ラインメモリ位置と、
第1の偶数ラインメモリ位置、第2の偶数ラインメモリ位置、第3の偶数ラインメモリ位置を含む繰返しシーケンシャル順序に配列された複数の偶数ラインメモリ位置と、
を含み、
前記プロセッサは、カラーサブピクセル輝度データを含むひずんだビデオイメージを表す出力中間デジタルデータストリームを生じ、
前記出力中間デジタルデータストリームは、
複数のパディングデータ値を含み、前記奇数ラインメモリ位置から生じる複数の奇数ラインデータと、
複数のパディングデータ値を含み、前記偶数ラインメモリ位置から生じ、前記出力中間デジタルデータストリーム内の前記奇数ラインデータと交代する複数の偶数ラインデータと、を含む、
カラーディスプレイ用のサブピクセルを再マッピングするための装置。
A processor that represents an input video image including color subpixel luminance data, receives a quad subpixel digital data stream including a plurality of odd line data and a plurality of even line data, and includes an intermediate pixel memory;
A resizing engine to eliminate distortion of the output intermediate digital data stream and apply the output intermediate digital data stream to a strip subpixel color display;
With
The quad subpixel digital data stream is:
A plurality of odd line data,
A plurality of even line data alternating with the plurality of odd line data;
The intermediate pixel memory comprises:
A plurality of odd line memory locations arranged in a repetitive sequential order including a first odd line memory location, a second odd line memory location and a third odd line memory location;
A plurality of even line memory locations arranged in a repeating sequential order including a first even line memory location, a second even line memory location, and a third even line memory location;
Only including,
The processor produces an output intermediate digital data stream representing a distorted video image containing color subpixel luminance data;
The output intermediate digital data stream is
A plurality of odd line data comprising a plurality of padding data values and resulting from said odd line memory locations;
A plurality of even line data that includes a plurality of padding data values and originates from the even line memory locations and alternates with the odd line data in the output intermediate digital data stream;
A device for remapping subpixels for color displays.
前記パディングデータ値はゼロ値を持つことを特徴とする、請求項に記載の装置。The apparatus of claim 3 , wherein the padding data value has a zero value. 前記ストリップサブピクセル・カラーディスプレイは前記入力ビデオイメージより高い解像度を持つことを特徴とする、請求項に記載の装置。4. The apparatus of claim 3 , wherein the strip subpixel color display has a higher resolution than the input video image. 前記入力ビデオイメージの解像度に対する前記ストリップサブピクセル・カラーディスプレイの解像度の比率が768:512であることを特徴とする、請求項に記載の装置。6. The apparatus of claim 5 , wherein the ratio of the resolution of the strip subpixel color display to the resolution of the input video image is 768: 512. クワッドサブピクセル・デジタルデータストリームをストリップサブピクセル・カラーディスプレイに適用するための方法であって、前記クワッドサブピクセル・デジタルデータストリームは第1のグリーンサブピクセルが続くレッドサブピクセルをさらに含む複数の奇数ラインの繰返しデータシーケンスと、ブルーサブピクセルが続く第2のグリーンサブピクセルをさらに含む複数の偶数ラインの繰返しデータシーケンスとを含むことを特徴とし、前記方法は、
前記奇数ラインの繰返しデータシーケンスの前記レッドサブピクセルの各々を、繰返しシーケンスの3つの奇数ラインメモリ位置に含まれる第1の奇数ラインメモリ位置にマッピングするステップと、
前記奇数ラインの繰返しデータシーケンスの前記第1のグリーンサブピクセルの各々を、前記繰り返しシーケンスの3つの奇数ラインメモリ位置に含まれる第2の奇数ラインメモリ位置にマッピングするステップと、
ゼロ輝度を表すデジタル値を前記繰返しシーケンスの3つの奇数ラインメモリ位置に含まれる第3の奇数ラインメモリ位置にロードするステップと、
ゼロ輝度を表すデジタル値を繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第1の偶数ラインメモリ位置にロードするステップと、
前記偶数ラインの繰返しデータシーケンスの前記第2のグリーンサブピクセルの各々を、前記繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第2の偶数ラインメモリ位置にマッピングするステップと、
前記偶数ラインの繰り返しデータシーケンスの前記ブルーサブピクセルの各々を、前記繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第3の偶数ラインメモリ位置にマッピングするステップと、
前記繰返しシーケンスの3つの奇数ラインメモリ位置と前記繰返しシーケンスの3つの偶数ラインメモリ位置の内容をサイズ変更エンジンへの中間デジタルデータストリームとして出力するステップと、
アスペクト比を調整することにより前記中間デジタルデータストリームにより表されるビデオイメージのひずみをなくすステップと、
前記サイズ変更エンジンからの出力によりストリップサブピクセル・カラーディスプレイを駆動するステップと、
を含む方法。
A method for applying a quad subpixel digital data stream to a strip subpixel color display, the quad subpixel digital data stream further comprising a plurality of odd subpixels followed by a first green subpixel. The method comprising: a repeating data sequence of lines; and a repeating data sequence of a plurality of even lines further including a second green subpixel followed by a blue subpixel,
Mapping each of the red subpixels of the repeated data sequence of the odd line to a first odd line memory location included in the three odd line memory locations of the repeated sequence;
Mapping each of the first green sub-pixels of the odd line repeating data sequence to a second odd line memory location included in three odd line memory locations of the repeating sequence;
Loading a digital value representing zero luminance into a third odd line memory location included in three odd line memory locations of the repeating sequence;
Loading a digital value representing zero luminance into a first even line memory location included in three even line memory locations of a repeating sequence;
Mapping each of the second green sub-pixels of the even line repeating data sequence to a second even line memory location included in three even line memory locations of the repeating sequence;
Mapping each of the blue sub-pixels of the even line repeating data sequence to a third even line memory location included in three even line memory locations of the repeating sequence;
Outputting the contents of the three odd line memory locations of the repeat sequence and the three even line memory locations of the repeat sequence as an intermediate digital data stream to a resizing engine;
Eliminating distortion of the video image represented by the intermediate digital data stream by adjusting an aspect ratio;
Driving a strip subpixel color display with output from the resizing engine;
Including methods.
前記繰返しシーケンスの3つの奇数ラインメモリ位置と前記繰返しシーケンスの3つの偶数ラインメモリ位置は中間ピクセルメモリに含まれることを特徴とする、請求項に記載の方法。The method of claim 7 , wherein three odd line memory locations of the repeating sequence and three even line memory locations of the repeating sequence are included in an intermediate pixel memory. 前記中間デジタルデータストリームにより表される前記ビデオイメージは、前記ビデオイメージの水平方向の寸法を66%にスケールすることによりひずみをなくされることを特徴とする、請求項に記載の方法。The method of claim 8 , wherein the video image represented by the intermediate digital data stream is dedistorted by scaling the horizontal dimension of the video image to 66%. 前記中間デジタルデータストリームにより表される前記ビデオイメージを、水平方向のスケール因子および垂直方向のスケール因子の寸法によってスケールするステップと、
をさらに含むことを特徴とする、請求項に記載の方法。
Scaling the video image represented by the intermediate digital data stream by the dimensions of a horizontal scale factor and a vertical scale factor;
The method of claim 7 , further comprising:
前記水平方向のスケール因子が768:512であり、前記垂直方向のスケール因子が768:512であることを特徴とする、請求項10に記載の方法。11. The method of claim 10 , wherein the horizontal scale factor is 768: 512 and the vertical scale factor is 768: 512. クワッドサブピクセル・デジタルデータストリームをストリップサブピクセル・カラーディスプレイに適用するための方法であって、前記クワッドサブピクセル・デジタルデータストリームは第1のグリーンサブピクセルが続くレッドサブピクセルを含む複数の奇数ラインの繰返しデータシーケンスと、ブルーサブピクセルが続く第2のグリーンサブピクセルを含む複数の偶数ラインの繰返しデータシーケンスと含むことを特徴とし、前記方法は、
前記奇数ラインの繰返しデータシーケンスの前記レッドサブピクセルの各々を、繰返しシーケンスの3つの奇数ラインメモリ位置に含まれる第1の奇数ラインメモリ位置にマッピングするステップと、
前記奇数ラインの繰返しデータシーケンスの前記第1のグリーンサブピクセルの各々を、前記繰返しシーケンスの3つの奇数ラインメモリ位置に含まれる第2の奇数ラインメモリ位置にマッピングするステップと、
平均ブルー輝度を表すデジタル値を繰返しシーケンスの3つの奇数ラインメモリ位置に含まれる第3の奇数ラインメモリ位置にロードするステップであって、前記平均ブルー輝度は前記偶数ラインの繰返しデータシーケンスのブルーサブピクセルと前の偶数ラインの繰返しデータシーケンスのブルーサブピクセルから計算される、ステップと、
平均レッド輝度を表すデジタル値を繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第1の偶数ラインメモリ位置にロードするステップであって、前記平均レッド輝度は前記奇数ラインの繰返しデータシーケンスのレッドサブピクセルと後続の奇数ラインの繰返しデータシーケンスのレッドサブピクセルから計算される、ステップと、
前記偶数ラインの繰返しデータシーケンスの前記第2のグリーンサブピクセルの各々を前記繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第2の偶数ラインメモリ位置にマッピングするステップと、
前記偶数ラインの繰返しデータシーケンスの前記ブルーサブピクセルの各々を前記繰返しシーケンスの3つの偶数ラインメモリ位置に含まれる第3の偶数ラインメモリ位置にマッピングするステップと、
前記繰返しシーケンスの3つの奇数ラインメモリ位置、前記繰返しシーケンスの3つの偶数ラインメモリ位置の内容をサイズ変更エンジンへの中間デジタルデータストリームとして出力するステップと、
アスペクト比を調整することにより前記中間デジタルデータストリームにより表されるビデオイメージのひずみをなくすステップと、
前記サイズ変更エンジンからの出力によりストリップサブピクセル・カラーディスプレイを駆動するステップと、
を含む方法。
A method for applying a quad subpixel digital data stream to a strip subpixel color display, wherein the quad subpixel digital data stream includes a plurality of odd lines including a red subpixel followed by a first green subpixel. and repeating data sequences, characterized in that it comprises a repeating data sequence of a plurality of even line including a second green subpixel blue subpixel followed, the method comprising:
Mapping each of the red subpixels of the repeated data sequence of the odd line to a first odd line memory location included in the three odd line memory locations of the repeated sequence;
Mapping each of the first green sub-pixels of the repeated data sequence of odd lines to a second odd line memory location included in three odd line memory locations of the repeated sequence;
Loading a digital value representative of average blue luminance into a third odd line memory location included in three odd line memory locations of a repeating sequence, wherein the average blue luminance is a blue sub-value of the even line repeating data sequence; Calculated from the blue subpixels of the repeating data sequence of pixels and previous even lines; and
Loading a digital value representative of average red luminance into a first even line memory location included in three even line memory locations of the repeating sequence, wherein the average red luminance is a red sub-number of the repeating data sequence of the odd line; Calculated from the red subpixels of a repeating data sequence of pixels and subsequent odd lines; and
Mapping each of the second green sub-pixels of the even line repeating data sequence to a second even line memory location included in three even line memory locations of the repeating sequence;
Mapping each of the blue subpixels of the even line repeating data sequence to a third even line memory location included in three even line memory locations of the repeating sequence;
Outputting the contents of the three odd line memory locations of the repeat sequence and the three even line memory locations of the repeat sequence as an intermediate digital data stream to a resizing engine;
Eliminating distortion of the video image represented by the intermediate digital data stream by adjusting an aspect ratio;
Driving a strip subpixel color display with output from the resizing engine;
Including methods.
前記繰返しシーケンスの3つの奇数ラインメモリ位置と前記繰返しシーケンスの3つの偶数ラインメモリ位置は中間ピクセルメモリに含まれることを特徴とする、請求項12に記載の方法。The method of claim 12 , wherein three odd line memory locations of the repeating sequence and three even line memory locations of the repeating sequence are included in an intermediate pixel memory. 前記中間デジタルデータストリームにより表される前記ビデオイメージは、前記ビデオイメージの水平方向の寸法を66%にスケールすることによりひずみをなくされることを特徴とする、請求項12に記載の方法。The method of claim 12 , wherein the video image represented by the intermediate digital data stream is dedistorted by scaling the horizontal dimension of the video image to 66%. 前記中間デジタルデータストリームにより表される前記ビデオイメージを水平方向のスケール因子および垂直方向のスケール因子の寸法によりスケールするステップをさらに含むことを特徴とする、請求項12に記載の方法。The method of claim 12 , further comprising the step of scaling the video image represented by the intermediate digital data stream by the dimensions of a horizontal scale factor and a vertical scale factor. 前記水平方向のスケール因子が768:512であり、前記垂直方向のスケール因子は768:512であることを特徴とする、請求項15に記載の方法。The method of claim 15 , wherein the horizontal scale factor is 768: 512 and the vertical scale factor is 768: 512. クワッドサブピクセル・データストリームからストリップサブピクセル・カラーディスプレイを駆動する方法であって、
クワッドサブピクセル・データストリームから、カラーサブピクセル輝度データおよびパディングデータ値を含むひずんだ中間デジタルデータストリームを生成するステップと、
サイズ変更エンジンにより前記中間デジタルデータストリームのひずみをなくし、出力デジタルデータストリームを生成するステップと、
前記出力デジタルデータストリームをストリップサブピクセル・カラーディスプレイへ適用するステップと、
を含む、方法。
A method of driving a strip subpixel color display from a quad subpixel data stream comprising:
Generating a distorted intermediate digital data stream comprising color subpixel luminance data and padding data values from the quad subpixel data stream;
Eliminating distortion of the intermediate digital data stream by a resizing engine and generating an output digital data stream;
Applying the output digital data stream to a strip sub-pixel color display;
Including a method.
前記パディングデータ値はゼロ値を持つことを特徴とする、請求項17に記載の方法。The method of claim 17 , wherein the padding data value has a zero value.
JP2002054144A 2002-02-28 2002-02-28 Method and apparatus for remapping subpixels for color displays Expired - Fee Related JP4270795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002054144A JP4270795B2 (en) 2002-02-28 2002-02-28 Method and apparatus for remapping subpixels for color displays

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002054144A JP4270795B2 (en) 2002-02-28 2002-02-28 Method and apparatus for remapping subpixels for color displays

Publications (2)

Publication Number Publication Date
JP2003255881A JP2003255881A (en) 2003-09-10
JP4270795B2 true JP4270795B2 (en) 2009-06-03

Family

ID=28665380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002054144A Expired - Fee Related JP4270795B2 (en) 2002-02-28 2002-02-28 Method and apparatus for remapping subpixels for color displays

Country Status (1)

Country Link
JP (1) JP4270795B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1072253C (en) * 1993-01-07 2001-10-03 埃克森美孚化学专利公司 Refrigeration working fluid compositions containing difluoroethane or pentafluoroethane

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332495B1 (en) * 2010-05-20 2013-11-26 엘지디스플레이 주식회사 Image Porcessing Method And Display Device Using The Same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1072253C (en) * 1993-01-07 2001-10-03 埃克森美孚化学专利公司 Refrigeration working fluid compositions containing difluoroethane or pentafluoroethane

Also Published As

Publication number Publication date
JP2003255881A (en) 2003-09-10

Similar Documents

Publication Publication Date Title
KR101297734B1 (en) Pre-subpixel rendered image processing in display systems
JP2726631B2 (en) LCD display method
JP3961706B2 (en) How to display high-fidelity and high-resolution digital color images on a low-resolution dot matrix display
JP3406934B2 (en) Parallel error diffusion method
JP3359140B2 (en) Block parallel error diffusion method and apparatus
KR101340427B1 (en) Improved memory structures for image processing
US7656416B2 (en) Apparatus for generating anti-aliased and stippled 3d lines, points and surfaces using multi-dimensional procedural texture coordinates
US7492376B2 (en) Graphics resampling system and method for use thereof
JP2004514227A (en) Method and apparatus for dynamically allocating frame buffers for efficient anti-aliasing
JP2003520980A (en) Method and apparatus for efficiently implementing and modifying foreground and background color selection
KR100823789B1 (en) Display apparatus, display method, and control apparatus for display apparatus
US20150235393A1 (en) Image device and data processing system
JPH01321578A (en) Picture display system
US6693644B1 (en) Graphic accelerator reducing and processing graphics data
US6720972B2 (en) Method and apparatus for remapping subpixels for a color display
JP4270795B2 (en) Method and apparatus for remapping subpixels for color displays
US20050046631A1 (en) System and method for communicating digital display data and auxiliary processing data within a computer graphics system
US6801923B2 (en) System and method for a single-pass multiple tap filter
US6747661B1 (en) Graphics data compression method and system
JP4998145B2 (en) Image processing apparatus, image processing method, image processing program, recording medium storing image processing program, and image display apparatus
US20090278855A1 (en) Memory structures for image processing
JP2002341855A (en) Anti-alias font generator
JP2898569B2 (en) Video accelerator board for computer game development
CN113823223A (en) Monochrome display driving method, driving module and monochrome display device
JP2008191317A (en) Image processor, image processing method, image processing program and recording medium with image processing program recorded thereon, and image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080922

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees