JP5256283B2 - 2次元サブピクセルレイアウトを有するディスプレイパネルのための画像色バランス調整 - Google Patents

2次元サブピクセルレイアウトを有するディスプレイパネルのための画像色バランス調整 Download PDF

Info

Publication number
JP5256283B2
JP5256283B2 JP2010507527A JP2010507527A JP5256283B2 JP 5256283 B2 JP5256283 B2 JP 5256283B2 JP 2010507527 A JP2010507527 A JP 2010507527A JP 2010507527 A JP2010507527 A JP 2010507527A JP 5256283 B2 JP5256283 B2 JP 5256283B2
Authority
JP
Japan
Prior art keywords
data
column
subpixel
filter
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010507527A
Other languages
English (en)
Other versions
JP2010526350A (ja
Inventor
ソク ジン ハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of JP2010526350A publication Critical patent/JP2010526350A/ja
Application granted granted Critical
Publication of JP5256283B2 publication Critical patent/JP5256283B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232Special driving of display border areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本出願の発明は、画像表示装置に関する発明で、より詳しくは、2次元高輝度サブピクセルレイアウトを具備する表示パネルの縁に色バランスの取れた白色の表示を達成する画像処理方法に関する。
Elliot et al.の米国特許7,123,277号「サブピクセルフォーマットデータの他のサブピクセルフォーマットデータへの変換(CONVERSION OF A SUB−PIXEL FORMAT DATA TO ANOTHER SUB−PIXEL DATA FORMAT)」は、実質的に複数個のサブピクセルを含む表示パネルに表示するために、主要色の第1フォーマットに設定された入力画像データを変換する方法を開示している。前記サブピクセルは、入力画像データの前記第1フォーマットとは異なる主要色の第2フォーマットを有するサブピクセル反復グループ内に配置される。米国特許7,123,277号において、サブピクセルは、「エミッタ(emitter)」とも称される。米国特許7,123,277号が開示している全ての内容は、参考文献として本明細書に含まれる。
「主要色」という用語は、サブピクセル反復グループ内に示す各色を意味する。所望のマトリックス解像度を有する表示装置を形成するために、サブピクセル反復グループが表示パネルの全体にわたって反復されるとき、前記表示パネルは実質的にサブピクセル反復グループを含むという。この論議において、表示パネルのサイズ及び/または生産要因或いは制約事項によって、1つまたはそれ以上のパネルの縁でサブピクセル反復グループが不完全である場合があるため、表示パネルは、サブピクセル反復グループを「実質的に」含むことと表現する。なお、その表示装置が本明細書において、または以下において参照される、既に発行された特許または公開された特許出願刊行物において説明されているサブピクセル反復グループの実施形態の内の1つの対称、循環及び/または反転或いはその他のわずかな変更範囲内にある場合、表示装置は、前記サブピクセル反復グループを「実質的に」含んでいると言える。
例えば、入力画像を示す色画像データ値の前記フォーマットは、赤色R、緑色G、青色Bの3つのデータ値として指定されたカラー値の2次元配列として指定することができる。したがって、各RGB3つのデータ値は、前記入力画像においてピクセル位置の色を指定する。米国特許7,123,277号及び以下に参照される別の特許出願公開刊行物に説明されたタイプの表示装置の表示パネルは、表示される入力画像データと異なる(または、第2の)フォーマットを指定する複数個のサブピクセル反復グループを実質的に含む。一実施形態において、前記サブピクセル反復グループは2次元である。前記サブピクセル反復グループは、前記表示パネル上に、少なくとも2つ以上の行で配列された、少なくとも第1、第2、及び第3主要色のサブピクセルを含む。何れの2次元サブピクセル反復グループにおいても、前記主要色のうちの前記2つのサブピクセルは「チェッカーボードパターン」と称する模様で配置される。つまり、前記サブピクセル反復グループの第1行においては、第2主要色サブピクセルは、第1主要色サブピクセルの後に続き、前記サブピクセル反復グループの第2行においては、第1主要色サブピクセルは、第2主要色サブピクセルの後に続く。このようなサブピクセル反復グループの例は図12に示す。
前記入力画像データのサブピクセルレンダリング動作を行うことは、前記表示パネル上の各サブピクセルに対する輝度値を提供する。そして、前記第1フォーマットに指定された前記入力画像が前記画像の観察者から見て美しいように主要色サブピクセルの別の(第2の)配置を有する前記表示パネル上に表示される。米国特許7,123,277号に言及されたように、サブピクセルレンダリングは、前記サブピクセルを輝度チャネルによって感知された独立ピクセルとして利用することによって動作する。これによって、結合されたサブピクセルを「トゥルー」(または、全体)ピクセルの一部分に利用することとは対照的に、前記サブピクセルがサンプル画像の再構成ポイントに利用される。サブピクセルレンダリングを利用することによって、前記入力画像の空間的再構成が増加し、前記表示装置は、独立的にアドレスでき、前記表示パネル上の各サブピクセルに対する輝度値を提供する。
米国特許7,123,277号に開示された前記サブピクセルレンダリング動作は、一般的に下記のように行われる。前記入力画像の一部分または一部分領域より得た前記入力色画像データは、係数の行列を含む画像フィルタを利用する前記表示パネル上の各サブピクセルに対する輝度値を提供するのに利用される。この係数は「領域リサンプリング」と呼ばれる技術を利用して計算される。前記表示パネル上の各主要色サブピクセルの位置は、入力画像の一部分を再構成するために、サブピクセルレンダリング動作によって利用される再構成ポイント(または、リサンプルポイント)を近似化する。各再構成ポイントは、潜在的に、前記サブピクセルの輝度値に寄与する前記入力画像領域の大きさを定義するリサンプル領域の中心に位置する。各主要色のための前記表示パネル上の前記サブピクセルのセットは、主要色平面とし、主要色の内の1つのための前記複数個のリサンプル領域は、前記主要色平面に対するリサンプル領域アレイを含む。前記入力色画像データは、タイル形状の入力画像サンプルのセットで表わされる。前記リサンプル領域アレイは、前記タイル形状の入力画像サンプル領域のセットを覆う。そして、各リサンプル領域は、少なくとも1つの、典型的には、1つ以上の入力画像サンプル領域の一部分を覆う。リサンプルポイントで表わされる前記サブピクセルの前記輝度値は、前記リサンプル領域の全体面積に対する前記リサンプル領域とオーバーラップする各入力画像サンプル領域の面積比率の関数である。
前記領域リサンプル関数は、各入力画像サンプル領域の入力画像データ値に対する乗数を示す各フィルタカーネル係数を有する画像フィルタとして表わされる。さらに一般的には、前記係数は、各リサンプル領域に対する分数のセットと見てもよい。一実施形態において、前記分数の分母は、前記リサンプル領域の関数と解釈することができ、分子は、前記リサンプル領域の少なくとも一部分とオーバーラップする前記入力サンプル領域それぞれの領域の関数と解釈することができる。前記分数のセットが集まって典型的な係数の行列で保存される画像フィルタを示す。一実施形態において、前記係数の和は、実質的に1と同じである。前記リサンプル領域(サブピクセル)に対する輝度値を得るために、各入力サンプル領域に対する前記データ値は、対応するそれぞれの分数に掛け、その結果値は全部合算される。フィルタカーネルを示す係数の前記行列のサイズは、典型的に、前記再構成ポイントに対する前記リサンプル領域のサイズと形状、及び与えられたリサンプル領域がどれ程多くの入力画像サンプル領域とオーバーラップするかと関連する。
さらに、米国特許7,123,277号に開示された技術のいくつかの実施形態においては、前記サブピクセルレンダリング動作は、レンダリングされる前記画像の発光構成要素内で、高い空間周波数情報が、色サブピクセルの色エラーを誘発しないように保障することによって、前記表示パネル上の前記サブピクセル間の色バランスを維持する面で行われてもよい。このような配置のサブピクセルレンダリング画像データが位相エラーを減らすことのできる空間アドレス能力及び変調伝達関数(MTF)で表示装置の水平及び垂直軸の高い空間周波数解像度の増加を提供することができる場合、サブピクセル反復グループ内においての前記サブピクセルの配置は、サブピクセルレンダリングに適合すると言える。
前記サブピクセルレンダリング動作は、前記表示パネルに個別にサブピクセルレベルで情報を提供する。これは、「ロジカルピクセル」と紹介される。ロジカルピクセルは、おおよそのガウス強度分配(Gaussian intensity distribution)を有してもよく、フル(full)画像を作るために他のロジカルピクセルとオーバーラップしてもよい。各ロジカルピクセルは、隣接するサブピクセル(例えば、少なくもと1つの別のサブピクセル)の集まりと定義されてもよい。各ロジカルピクセルは、主要色サブピクセルの内の何れかの1つであってもよいターゲットサブピクセルを有する。前記ターゲットサブピクセルは、画像フィルタが輝度値を提供するのに使用されてもよい。結果的に、前記表示パネル上の各サブピクセルは、実際には何回も使用されて、ロジカルピクセルの中心またはターゲットとして1度、及び縁に、または他のロジカルピクセルの構成要素として追加的に使用される。
色画像を形成するために、3つ以上の主要色サブピクセルを使用する表示システムまたは表示装置は、本明細書で、「マルチ主要色」表示システムと称することができる。白色(または、クリア)サブピクセルを含むサブピクセル反復グループを有する表示パネルで、前記白色サブピクセルは、主要色を示す。米国特許出願公開2005/0225575号「高輝度表示装置のための新しいサブピクセルレイアウト及び配置(NOVEL SUBPIXEL LAYOUTS AND ARRANGEMENTS FOR HIGH BRIGHTNESS DISPLAYS)」は、少なくとも1つ以上の白色サブピクセル及び複数の飽和主要色サブピクセルを有するサブピクセル反復グループを含む複数個のマルチ主要色高輝度表示パネル及び装置を開示する。前記出願の多様な実施形態で、前記飽和主要色は、赤色、青色、緑色、青緑色(cyan)またはマゼンタ色(magenta)を含んでもよい。米国特許出願公開2005/0225563号「高輝度サブピクセルレイアウトのためのサブピクセルレンダリングフィルタ(SUBPIXEL REDERING FILTERS FOR HIGH BRIGHTNESS SUBPIXEL LAYOUT)」は、例えば、RGBWサブピクセル反復グループのように、白色サブピクセルを有するサブピクセル反復グループを含む表示パネル上に表示するために、ソース(入力)画像データをレンダリングするサブピクセルレンダリング技術を開示している。前記米国特許出願公開2005/0225575号及び米国特許出願公開2005/0225563号が開示している全ての内容は、参考文献として、本明細書に含まれている。
本明細書の図12は、高輝度表示パネルを形成するために、表示パネル1570にわたって実質的に繰り返されるRGBWサブピクセル反復グループ9の例示を実質的に含む表示パネル1570を示す。RGBWサブピクセル反復グループ9は、2行4列に配置される8つのサブピクセルを含み、2つの赤色サブピクセル2、緑色サブピクセル4、青色サブピクセル8、及び白色(または、クリア)サブピクセル6を含む。サブピクセル反復グループ9が、各2つのサブピクセルの4クワドラント(quadrant)を有する場合、赤色及び緑色サブピクセルの対は、「チェッカーボード」パターンと似て、反対側のクワドラントに位置する。青緑色、エメラルド色、及びマゼンタ色を含む他の主要色もまた考慮される。米国特許出願公開2005/0225563号は、このような色名は単に、「実質的に」、「赤色」、「緑色」、「青色」、「青緑色」、及び「白色」で記載されると言及している。正確な色ポイントは、全てのサブピクセルが最も明るい状態のとき、表示装置上で所望の白色ポイントを許容するように調節することができる。
図12に示すタイプのRGBWサブピクセル反復グループを含む表示装置上に前記説明されたRGB3つのデータ値フォーマットに指定される入力画像データをレンダリングする前記サブピクセルレンダリング動作は、一般的に、米国特許7,123,277号に開示され、図示された領域リサンプル原理に従う。前記領域リサンプル原理は、米国特許出願公開2005/0225563号に説明したように、若干の修正及び追加された部分を有する。米国特許出願公開2005/0225563号は、入力画像データが下記のように処理されることを開示する。(1)従来のRGB入力画像データ(または、sRGB、YCbCrまたはこれと類似する別の一般的なフォーマットの内の1つを有するデータ)を必要に応じて、赤色、緑色、青色、及び白色に定義される色域(color gamut)内の色データ値に変換する。前記変換は、別個の輝度(L)色平面または色チャネルを提供することができる。(2)各個別色平面で、サブピクセルレンダリング動作を行う。(3)鮮明化フィルタ(sharpening filter)を利用した鮮明化動作を行う。例えば、各色平面化を鮮明化するために、「L」(または、「輝度」)平面を利用する。または、クロス色構成要素またはセルフ色構成要素を使用する画像を鮮明化するためにガウス差(DOG:Difference of Gaussian)ウェーブレットフィルタを利用する。
極めて一般的に言うと、鮮明化フィルタは、輝度エネルギーを画像の一領域から他の領域に移動させる。鮮明化フィルタの例示は、米国特許出願公開2005/0225563号に開示される。鮮明化フィルタは、領域リサンプルフィルタの結果値に合算される鮮明化値を生成するために、入力画像サンプルポイントにコンボリューションされてもよい。前記動作が同じ色平面で行われる場合、前記動作は、セルフ鮮明化(self sharpening)と呼ばれる。セルフ鮮明化で、前記鮮明化フィルタ及び前記領域リサンプルフィルタは、合算されてもよく、それから、第2コンボリューション(convolution)を避けることのできる入力画像サンプルポイントで使用できる。例えば、赤色入力データで前記領域リサンプルフィルタをコンボリューションし、緑色入力データに鮮明化フィルタをコンボリューションするのと同様に、前記動作が反対の色平面で行われる場合、前記動作は、クロス色鮮明化(cross−color sharpening)と称される。RGBWサブピクセル反復グループのように別個の輝度チャネルLが計算されるサブピクセルレンダリング動作において、前記鮮明化フィルタは、輝度信号でコンボリューションされてもよい。このようなタイプの鮮明化は、クロス輝度鮮明化と称される。このようなタイプの鮮明化フィルタは、典型的に、1つの主要色平面を利用して構成される。
米国特許出願公開2005/0225563号は、反対側のクワドラントに配置される(または、「チェッカーボード」上に配置される)赤色及び緑色サブピクセルを有するRGBサブピクセル反復グループにサブピクセルレンダリング動作を実行することに関する一般的ないくつかの情報を開示する。前記赤色及び緑色の色平面は、ガウス差(DOG)ウェーブレットフィルタを利用し、領域リサンプルフィルタがその後に続く。前記領域リサンプルフィルタは、色彩エイリアシング(chromatic aliasing)を誘発させる、何れの空間周波数も除去する。前記ガウス差ウェーブレットフィルタは、クロス色構成要素を試用する画像の鮮明化に利用される。つまり、前記赤色色平面は、前記緑色サブピクセル画像を鮮明化するために利用され、前記緑色色平面は、前記赤色サブピクセル画像を鮮明化するために利用される。米国特許出願公開2005/0225563号は、このようなフィルタの実施形態を下記のように開示する。
Figure 0005256283
国際出願PCT/US06/19657「メタメリックフィルタを使用するマルチ主要色サブピクセルレンダリング(MULTIPRIMARY COLOR SUBPIXEL RENDERING WITH METAMERIC FILTERING)」はサブピクセルの出力色データ値を調節するために、メタマー(metamer)を利用するマルチ主要色表示装置に入力画像データをレンダリングするシステム及びレンダリングする方法を開示する。国際出願PCT/US06/19657は、国際特許出願公開WO2006/127555として公開され、参考文献として本明細書に含まれる。4つまたはそれ以上の不一致の色プライマリーを含むマルチ主要色表示装置で、同じ色値を与えられる前記プライマリーに対する値の幾つかの組合せが存在する場合が度々ある。つまり、与えられた色相、彩度、及び明度を有する色のために、観察者から見て同じ色と認識できる4つまたはそれ以上のプライマリーの強度値(intensity value)のセットが1つ以上存在してもよい。このような、各々の可能な強度値セットは、その色に対して「メタマー」と呼ばれる。結果的に、特定マルチ主要色サブピクセル反復グループを実質的に含む表示装置上で、メタマーは、各グループが適用されるとき、人の視覚体系によって所望の色相に認識されるようにする信号が存在する色サブピクセルの、少なくとも2つ以上のグループの組合せ(または、セット)である。メタマーを利用することは、画像レンダリング正確度を向上させるかまたは、知覚を向上させることといった所望の目標を達成するために、色プライマリーの相対的値を調節する自由度を提供することができる。メタマーフィルタリング動作は、入力画像内容に基づいてもよく、幾つかの可能な、所望の効果によってサブピクセルデータ値を最適化することができる。結果的に、前記サブピクセルレンダリング動作の全体的な結果を向上させる。
国際特許出願公開WO2006/127555は、また一実施形態において、ガウス差ウェーブレットフィルタであるメタマー鮮明化フィルタ(metamer sharpening filter)を生成する技術について開示している。メタマー鮮明化フィルタは、少なくとも2つの色平面からのリサンプルポイントの結合によって構成される。国際特許出願公開WO2006/127555で説明されているように、前記RGBWメタマーフィルタ動作は、高い空間周波数輝度信号(特に、対角線に偏光された周波数)を、レンダリングされるサブピクセルレイアウトに対して、プリシャープニング(pre―sharpening)またはピーク(peak)できる。前記プリシャープニングは、主に領域リサンプルフィルタが色サブピクセルパターンに偽信号を誘発する色画像信号構成要素をフィルタリングした結果として、画像をブラー(blur)する前に起こる。前記領域リサンプルフィルタは、水平及び垂直信号よりは、対角線信号を弱くする傾向がある。前記メタマー鮮明化フィルタは、前記領域リサンプルフィルタとして対角線周波数よりは、水平及び垂直空間周波数をさらに鮮明化し、維持するために同じ色平面から或いは別の色平面から、または前記輝度データ平面から動作してもよい。前記メタマー鮮明化フィルタを適用する動作は、メタマーフィルタリング動作が強度値を別の色サブピクセルにわたって移動させながら、強度値を対角線方向から、同じ色サブピクセルに沿って移動することに見える可能性がある。追加情報のために、国際特許出願公開WO2006/127555を参考してもよい。
表示システムのサブピクセルレンダリング構成要素は、レンダリングされた入力画像データが表示される出力画像の一部分で色バランスエラーを誘発する可能性のある画像特徴を示すとき、表示パネル上の特定サブピクセルの値を計算するために第1サブピクセルレンダリングフィルタに代わって、第2サブピクセルレンダリングフィルタに代替できる機能を提供する。
色バランスエラーを訂正する画像処理方法は、レンダリングされたサブピクセルの位置を検出し、特定サブピクセルに対して入力画像データが特定画像特徴を示すか否かを検出する。処理された特定サブピクセルから前記画像特徴が検出される場合、第2サブピクセルレンダリング画像フィルタは、第1サブピクセルレンダリング画像フィルタに代替される。
第1サブピクセルレンダリングモード及び第2サブピクセルレンダリングモードを提供する表示システムのサブピクセルレンダリング(SPR)構成要素の一実施形態を示すブロック図である。 図1のサブピクセルレンダリング構成要素を利用してレンダリングされる例示画像を示す平面図である。 図2に示す例示画像210のための入力画像ピクセルデータを処理するタイミング図300である。 図12に示すサブピクセル反復グループの内の一つを実質的に含む表示パネルを示す平面図である。 図1の第1サブピクセルレンダリングモードを利用して、図4の表示パネル上に表示される図2の例示画像を示す平面図である。 図1の第2サブピクセルレンダリングモードを利用して、図4の表示パネル上に表示された図2の例示画像を示し、どのように色バランスエラーが出力画像示されるかを示す平面図である。 画像色バランス調節を行う追加的機能ブロックを有する図1のSPR構成要素の一実施形態を示すブロック図である。 図7に示す実施形態において、列検出器(column detector)要素の機能的構成要素を示すブロック図である。 図7に示す実施形態において、モード生成器(mode generator)要素の機能的構成要素を示すブロック図である。 図7及び図9のモード生成器によって行われる処理を示すフローチャートである。 サブピクセルレンダリング動作を行う表示装置の2つの実施形態の機能的構成要素を示すブロック図である。 サブピクセルレンダリング動作を行う表示装置の2つの実施形態の機能的構成要素を示すブロック図である。 サブピクセル反復グループの幾つかの実施形態の内の1つを含む表示パネルへの画像信号を伝送する単純化された駆動回路を概略的に示す表示装置構造を示すブロック図である。
以下、実装及び実施形態に対して添付された図面に示された例を挙げて詳しく説明する。可能なかぎり、同一または類似である部分を全ての図面にわたって同一の参照符号が使用される。
サブピクセルレンダリング技術を実行する表示装置構造の概要
図11A及び図11Bは、本明細書及び本明細書に参考文献として含まれている公開された特許出願及び発行された特許において説明されているサブピクセルレンダリング動作を行う表示装置及びシステムの実施形態の機能的構成要素を示す。図11Aは、厚い線と矢印で示される表示システム1400を通過するデータの流れを有する表示システム1400を示す。表示システム1400は、入力ガンマ動作1402、色域マッピングGMA動作1404、ラインバッファ1406、SPR動作1408、及び出力ガンマ動作1410を含む。
入力回路は、RGB入力データまたは別の入力データフォーマットを表示システム1400に提供する。その後、前記RGB入力データは、入力ガンマ動作1402の入力になる。その後、入力ガンマ動作1402から出た出力は、色域マッピング動作1404に進む。典型的に、色域マッピング動作1404は、画像データを受け入れ、必要であるか、または所望の色域マッピング動作を入力データに行う。例えば、画像処理システムがRGBW表示パネル上にレンダリングするためのRGB入力データを入力している場合、表示装置の白色Wプライマリーを使用するために、マッピング動作が要求されることもある。前記動作はまた、出力色空間において1つの色空間から異なる個数の主要色を有する別の色空間に入力データが移動する一般的なマルチ主要色表示システムで要求されることもある。なお、GMAは、入力色データが出力表示空間で「色域離脱(out of gamut)」と判断される状況を処理するために使用されてもよい。色域マッピング変換のような動作を行わない表示システムで、GMA動作1404は省略される。マルチ主要色表示装置において使用されるのに適した色域マッピング動作に対する追加情報は、米国特許出願公開2005/0083352、2005/0083341、2005/0083344、及び2005/0225562で発行された米国特許出願公開から探すことができ、前記出願に開示された全ての内容は、本明細書に参考文献として含まれる。
図11Aについて説明を続けると、色域マッピング動作1404から出力された中間画像データ出力は、ラインバッファ1406に保存される。ラインバッファ1406は、サブピクセルレンダリング(SPR)動作1408に追加処理のためにデータが要求されるときに、要求される画像データを提供する。例えば、前記の開示され、説明された領域リサンプル原理を行うSPR動作は、典型的に領域リサンプルフィルタリングを行うために処理された、与えられた画像サンプルポイントを取り囲む入力(ソース)画像データの行列を採用する。入力(ソース)画像データの行列のサイズは、SPR動作1408によって利用される画像フィルタカーネルのサイズと関連してもよい。例えば、3×3フィルタカーネルが利用されるとき、3つのデータラインは、隣接するフィルタリング段階を伴うことのできるサブピクセルレンダリング動作を行うために、SPR1408に入力される。さらに大きなフィルタカーネルの使用は、入力画像データを保存するために、図11Aに図示したものよりさらに多いラインバッファを必要とすることがある。SPR1408は、図11Aに明確に図示されていない鮮明化フィルタを採用することができる。SPR動作1408の後に、出力画像を示すレンダリングされた出力画像データは、システムから表示装置に出力される前に、出力ガンマ動作1410を通ることになる。入力ガンマ動作1402及び出力ガンマ動作1410は、選択的であってもよい。前記表示システム実施形態に対する追加情報は、例えば、米国特許出願公開2005/0083352で公開された特許出願から探すことができる。表示システム1400を通じるデータの流れは、「ガンマパイプライン」と称されてもよい。
図11Bは、前記参照された、WO2006/127555で論議された、入力画像データをマルチ主要色表示装置1422にサブピクセルレンダリングするための技術を採用する表示システムの一実施形態のシステムレベル図1420を示す。図11Aに示したものと類似の方式で動作する機能的構成要素には、同じ参照番号を与える。入力画像データは、GMAモジュール1404において、マルチ主要色に変換されるRGBまたはYCbCrのような3つの主要色を有してもよい。表示システム1420で、GMA構成要素1404は、別のマルチ主要色信号に加えて、入力画像データ信号の輝度チャネルLを計算することができる。表示システム1420でメタマー計算は、前記説明されたタイプの領域リサンプルフィルタカーネルを利用し、複数個の縁の画像データ(例えば、ピクセルまたはサブピクセル)値を参照することを含むフィルタリング動作として行うことができる。縁の画像データ値は、複数のフレームバッファのような別の実施形態も可能であるが、典型的にラインバッファ1406によって組織される。表示システム1402は、前記において簡略に説明し、詳しくは、国際特許出願公開WO2006/127555に説明したような動作を行うメタマーフィルタリングモジュール1412を含む。表示システム1420の一実施形態において、メタマーフィルタリング動作1412とサブピクセルレンダリングSPRモジュール1408とを結合し、ラインバッファ1406を共有するようにしてもよい。前記において言及したように、この実施形態は、「ダイレクトメタマーフィルタリング」と呼ばれる。表示システム1420の他の実施形態で、メタマーフィルタリング動作1412は、また、メタマー鮮明化動作を行うこともできる。
図12は、前記開示された技術を行うのに適した表示システム構造の機能的ブロック図の代替ビュー(alternate view)を提供する。表示システム1550は、入力画像データを示す入力信号を受け入れる。前記信号は、入力画像データを表示するために、サブピクセルレンダリングされることのできるSPR動作1408に入力される。SPR動作1408は、図11A及び図11Bに図示された表示システムで使用されるものと同じ参照番号で参照されるが、SPR動作1408は、また、前記参照された米国特許出願公開2005/0225563及び国際特許出願公開WO2006/127555において説明されているように、メタマーフィルタリング及び鮮明化動作を含むことができる。
図12を続けて参照すると、表示システム構造で、SPR動作1408の出力は、タイミングコントローラ1560の入力になることができる。図12に示したものと異なる方式で配置される機能的構成要素を含む表示システム構造もまた、本明細書において説明した表示システムに適合することができる。例えば、他の実施形態において、SPR動作1408は、タイミングコントローラ1560内に組み込まれてもよく、または、表示パネル1570内に構成されてもよく(特に、LTPSまたは、これと類似の処理技術を使用する場合)、または、例えば、グラフィックスコントローラ内のように表示システム1550の別の何れの所に配置されてもよい。図12の表示システム1550において機能的ブロックの特定位置は、位置を限定しようとする意図はない。
表示システム1550において、データ及びコントローラ信号は、表示システム1570上にあるサブピクセルに画像信号を伝達するために、タイミングコントローラ1560から駆動回路に出力される。特に、図12は、表示パネル1570上にある適切なサブピクセルに伝送される画像信号データを受信するために、該当技術分野において、データ駆動部としても言及される列駆動部1566及び該当技術分野においてゲート駆動部として言及される行駆動部1568を示す。表示パネル1570は、白色(または、クリア)サブピクセルを含んで、4つの主要色を有するサブピクセルが2行4列で構成されたサブピクセル反復グループ9を実質的に含む。反復グループ9内のサブピクセルは、表示パネル1570のスケールに図示せず、便宜のためにさらに大きく図示していることを理解するべきである。
拡大図からわかるように、表示パネル1570は、図示の別のサブピクセルグループを実質的に含んでもよい。例えば、表示パネル1570は、12個のサブピクセルを有するサブピクセル反復グループ1940の複数個を実質的に含んでもよく、または、6つのサブピクセルを含むサブピクセル反復グループ1920の複数個を実質的に含んでもよい。サブピクセル反復グループ1920は、R、G、B、及びマゼンタ色1901サブピクセルを含くむマルチ主要色サブピクセル反復グループである。サブピクセル反復グループ1934は、R、G、B、及び青緑色1902サブピクセルを含むマルチ主要色サブピクセル反復グループのさらに別の例である。また、表示パネル1570は、図12に示していないが、前記参照された出願(例えば、米国特許出願公開2005/0225575及び2005/0225563)らに図示されるかまたは説明された複数個のサブピクセル反復グループを実質的に含んでもよい。
表示パネル1570のための可能な1つのサイズは、横1920個のサブピクセル(赤色サブピクセル640個、緑色サブピクセル640個、及び青色サブピクセル640個)及び縦960列のサブピクセルである。このようなサイズの表示装置は、VGA、1280×720及び1280×960入力信号を表示するために、必ず必要なサブピクセルの数を有することになる。しかし、表示パネル1570は、全サイズの表示パネルの見本であることは理解されるべきである。
前記説明された表示装置のハードウェア実現の多様な形態は、米国特許出願公開2005/0212741(米国出願番号10/807,604)として公開されている「多様なサイズのサブピクセルを含む液晶表示装置用トランジスタバックプレーン(TRANSISTOR BACKPLANES FOR LIQUID CRYSTAL DISPLAYS COMPRISING DIFFERENT SIZED SUBPIXELS)」、米国特許出願公開2005/0225548(米国出願番号10/821,387)「ノン−ストライプ表示システムで画像データのサブピクセルレンダリングを向上させるシステム及び方法(SYSTEM AND METHOD FOR IMPROVING SUB−PIXEL RENDERING OF IMAGE DATA IN NON−STRIPED DISPLAY SYSTEMS)」及び米国特許出願公開2005/0276502(米国出願番号10/866,447)「量子化されたシステムにおけるガンマ正確度の向上」からまた検討される。前記米国特許出願公開が開示する全ての内容は、参考文献として本明細書に含まれる。ハードウェア実現の顧慮事項は、参考文献として本明細書に含まれるElliott et al.の2005年5月SID Symposium Digestに発行された、「カラーAMLCDサブピクセル構造及びレンダリングアルゴリズムの同時最適化(Co−optimization of Color AMLCD Subpixel Architecture and Redering algorithm)」、pp.172−175においてまた説明される。
選択可能な鮮明化モードを有するサブピクセルレンダリング
図1は、図11A及び図11Bにおいて説明されたレンダリングモードを全て含み、表示装置の使用者が所望のレンダリングモードを選択できる図12のSPRモジュール1408の一実施形態100を示すブロック図である。各レンダリングモードは、表示パネル(図12の1570)に同じ入力画像に対して視覚的に知覚できる異なる効果を生成する。前記説明された選択可能な鮮明化モードの実施形態100において、表示システム1570は、図12に示されたようなサブピクセル反復グループ9を実質的に含み、便宜のために下記のように再び表現される。
Figure 0005256283
図1を続けて参照すると、2つのレンダリングモードの内の1つは、本明細書及び引用された参考文献において説明しているように、同様の色鮮明化動作に従って領域リサンプルサブピクセルレンダリングを行う同一色鮮明化(Same Color Sharening:SCS)モードと呼ばれる。簡単に説明すると、SCSモードにおいて、SPRブロック100は、R、G、B、またはW入力データを3×3領域に対してサンプリングし、R、G、B、またはW出力データ値を計算するために、レンダリングされた主要色平面(R、G、B、またはW)に従って適切なSCS画像フィルタを適用する。第2レンダリングモードは、本明細書及び引用された参考文献において説明したように、輝度鮮明化動作とともにメタマーフィルタリング動作を行う。このレンダリング動作は、本明細書で、メタマー輝度シャープニング(Metamer−Luma−Sharpening:MLS)と呼ぶ。簡略に説明すると、MLSモードにおいて、SPRブロック100は、R、G、B、またはW入力データ及び輝度入力から3×3データをサンプリングし、その後に、適切なMLSフィルタを適用する。したがって、SPRブロック100は、2つのモードで各々異なる画像フィルタを利用する表示パネル1570上にあるサブピクセルのための出力値を計算する。表示装置の使用者は、SCSモードを利用して表示パネル1570上に生成された画像とMLSモードを利用して表示パネル1570上に生成された同じ画像との差を区別できる。例えば、何人かの使用者に、MLSモードで生成された画像は、SCSモードで生成された同じ画像に比べて鮮明に認識されてもよい。
表示パネル1570上の各サブピクセルのための前記出力データ値を計算するために、SPR構成要素100内においてのデータの流れは、下記のように進行する。R、G、B、またはW入力データは、SCSデータサンプリングユニット110及びMLSデータサンプリングユニット120全てに入力される。輝度入力(L)は、また、MLSデータサンプリングユニット120に入力される。データマルチプレックサ(Mux)150は、典型的にSCSデータサンプリングユニット110から出る3×3SCS出力データまたはMLSデータサンプリングユニット120から出る3×3MLS出力データの内の1つを選択するために使用する使用者の選択動作の結果として生成されるモード選択信号180を受信する。フィルタMux160は、また、SCSフィルタ130またはMLSフィルタ140に適用する3×3サブピクセルレンダリングフィルタを選択するために使用するモード選択信号180を受信する。その後、選択されたフィルタは、処理されるサブピクセルのための出力データ値を計算する乗算器170に入力される。
図2は、各画像の縁に白色垂直線220と白色画像線220の間に単色(solid color)画像領域224とを有する表示パネル200上の例示画像210を示す。単色画像領域224は、白色画像線220と対照画像領域を形成する黒色のような連続色(continuous color)になってもよい、図3は、図2に示す例示画像210のための入力画像ピクセルデータを処理するタイミング図300を示す。前記入力RGBピクセルデータは、Bピクセルを示す単色黒色画像領域224と共にWピクセルを示す1つの垂直白色線を示すことが図示される。
図4は、説明の目的上に元来のスケールより大きく見えるサイズで部分的に複製されているサブピクセル反復グループ9(図12)を含む表示パネル400を示す。図示される本実施形態において、表示パネル400上の1つの表示列(column)は、図面に表示されているものと同様にサブピクセルの2つの列を含むように定義される。本実施形態において1つの入力画像ピクセルは、表示パネル上で、白色及び青色のサブピクセルの対のような2つのサブピクセルで定義されたロジカルピクセルにマッピングされ、これを取り囲んだ1つおきの入力ピクセルは、緑色及び赤色のサブピクセルの対にマッピングされてもよい。
MLSサブピクセルレンダリングに利用できる2つの可能な画像フィルタは下記のようである。

WBマッピングピクセル RGマッピングピクセル
0 -x/4 0 0 x/4 0
-x/4 x -x/4 x/4 -x x/4
0 -x/4 0 0 x/4 0
ここで、「X」は、スケール係数である。より詳しい情報のために、国際特許出願公開WO2006/127555を参照することができる。
図5は、図1に示すSCSモードを使用する表示パネル500上に表示された図2の例示画像を示す。図5は、各々左側及び右側の縁にオンされるサブピクセルの第1列及び最後列を図示する。バランスの取れた白色を生成する各列にあるR、G、B、及びW4つのサブピクセルのグループは、均一にオンされるため、前記オンされたサブピクセルによって、例示画像の縁にある白色線の色バランスは、バランスの取れた白色として認識される。したがって、前記表示装置の使用者は、パネル500の縁において同一な白色線を認識する。図5は、画像の奇数線にある青色サブピクセル520、画像の偶数線にある青色サブピクセル510を示す。青色サブピクセルに対しては以下においてさらに検討する。
図6は、図1に示すMLSモードを使用する表示パネル500上に表示された図2の例示画像210を示す。図6は、MLSサブピクセルレンダリングフィルタを画像210に適用した結果として、それぞれ左側及び右側の縁に第1列及び最後列のサブピクセルの内のどのサブピクセルがオンされるかを示す。上述のように、MLS画像フィルタは、サブピクセルのための前記データ値をSCS画像フィルタとは異なって計算する。図6は、画像210の縁にオンされるサブピクセルの別のセットを示す。特に、追加的な青色サブピクセル520が画像210の左側の縁に位置する第2列内でオンされる。また、サブピクセル520が黒色で示されるように、画像210の最後列内にある青色サブピクセル520はオフされる。
図6に示すように、左側及び右側列内にオンまたはオフされたサブピクセルによって例示画像210の縁に位置する白色線は、それ以上バランスの取れた白色線として認識されない。画像210の左側縁に位置する白色線は、追加的な青色サブピクセルがR、G、B、及びW4つのサブピクセルの近くでオンされるため、多少青みのかかった白色線に見える。観察者の目は、このようなRGBBWサブピクセルのグループを青色に拡張する。画像210の右側の縁では、最後列内にオフされた青色サブピクセル520によって前記表示装置の前記観察者は、黄色がかった白色線を認識する。
したがって、MLSモードでの画像のサブピクセルレンダリングは、例示画像210のように、濃い色または黒色背景に隣接する縁に白色線を有する幾つかの画像に対してサブピクセル反復グループ9から構成された表示パネルの最も左側及び右側の縁で色バランスエラーを示すことができる。同じタイプの色バランスエラーは、図12に示す別の特定2Dサブピクセル反復グループから構成された表示パネル上においても発生することがある。実験及び観察からSCSモードでは、同じ画像のサブピクセルレンダリングは、このような色バランスエラーを示さないこともある。
画像色バランス調節
国際特許出願公開WO2006/127555で開示されているように、輝度鮮明化(MLSモード)と共に行われるメタメリックフィルタリング動作は、鮮明で、使用者から見て美しく見える図4のパネル400のような表示パネル上に、典型的に天然画像及び合成画像の両方を生成する。前記サブピクセルレンダリング動作の内、画像の縁にある青色サブピクセルの処理方法を若干変更することによって、発生する色バランスエラーを訂正すると同時に、MLSモードにおいてのサブピクセルレンダリングの利点は維持することができる。この調節は、専らMLSモードで動作する表示パネルまたは、図1のように構成された表示パネルのような選択可能な鮮明化モードで動作する表示パネルに適用されてもよい。
前記技術の1つの特徴は、例示画像210の特徴を有する入力画像の場合に、サブピクセルレンダリング動作中に、縁に位置する青色サブピクセルが処理される方法を変更するためにMLS(または、第1の)フィルタリング動作を別の(または、第2の)フィルタリング動作に代替することである。別のフィルタリング動作は、画像のその他の領域のサブピクセルレンダリングに利用されるMLSフィルタリングを許容すると同時に縁に表れる白色線の色バランスを維持する方式で画像の縁に位置する青色サブピクセルを処理する。本技術は、MLSフィルタリングが全体画像で利用された場合、色バランスエラーを示し易い画像の縁で色の正確性を達成すると同時に鮮明さを有するように、MLSサブピクセルレンダリング利用して生成される画像の利点を維持する。
図7〜図10は、図1のサブピクセルレンダリング動作100の前記選択可能な鮮明化モードの実施形態環境で画像縁の色を調節する技術を図示している。しかし、以下において検討される基本技術は、使用者選択オプション無しで、専らMLSモードで動作する表示システムでも適用されてもよいことと理解するべきである。
図7は、図12のSPRモジュール1408の一実施形態700のブロック図である。実施形態700は、図1の実施形態100及び画像色バランス調節を行う追加機能的ブロックを含む。図1の実施形態100のように、前記表示装置の使用者によって所望のレンダリングモードの選択が可能である。別のサブピクセル反復グループが使用されてもいいと理解はされているが、以下の論議で、出力画像が表示される表示パネルは、図12に示すサブピクセル反復グループ9を実質的に含むことと仮定する。2つの追加的構成要素は、列検出器710及びモード生成器720を含む。これらの構成要素は、色バランスエラーを引き起こす可能性のある画像の特徴及びパターンを含む入力画像データの部分を識別する検出構成要素として機能する。列検出器710は、SPR700によって処理されたサブピクセルの列位置を検出する。特に、本実施形態においては、サブピクセルが前記表示パネルの第2列にあるかまたは最後列にあるかを検出する。列検出器710は、最後列及び第2列を示す信号を出力する。モード生成器720は、処理された入力画像部分のパターンを検出する。特に、本実施形態においては、サブピクセルデータ値のために別のデータ計算を始めなければならない特定画像パターンを有する入力画像があるかどうかを検出する。モード生成器720は、フィルタマルチプレクサ160が適切なサブピクセルレンダリングフィルタを選択するために使用するためのモードアウト信号730を生成する。
図8は、列検出器710の機能的構成要素をさらに詳しく示す。列検出器710は、列カウンタ812、第2列比較器814、及び最後列比較器816を含む。列カウンタ812は入力画像データの各列毎に入力データが有効(valid)状態であるとき、ピクセルクロックをカウントする。列カウンタ812は、ピクセルクロック及び有効入力を受信する。有効入力が非活性であるとき、列カウンタ812は、リセット(reset)状態になる。有効入力が活性化であるとき、列カウンタ812は、ピクセルクロック入力が利用して列をカウントし、第2列比較器814と最後列比較器816とに現在のカウントを出力する。第2列比較器814は、前記カウンタの値とプリセット(preset)値との2を比較し、列カウンタ812の前記出力値が処理されたサブピクセルが表示パネルの第2列内にあることを示す場合、パルスを生成する。最後列比較器816は、前記カウンタ値をプリセット値のNと比較して列カウンタ812の前記出力値が処理されたサブピクセルが表示パネルの最後列内にあることを示す場合にパルスを出力する。
図9は、モード生成器720のインターフェースのブロック図である。モード生成器720は、表示装置の使用者によって、生成された最初のモードイン(Mode In)信号180、列検出器710によって検出された第2列及び最後列信号、及びMLSデータサンプル構成要素120によってサンプルリングされた青色入力データの値を有する。モード生成器720は、前記入力に基づいて新しいモード信号を生成する。
モード生成器720は、使用者が選択したモードイン信号180によって、サブピクセルレンダリングによって処理されるとき、入力画像の左側縁及び右側縁にある入力青色ピクセルデータが、信号180色バランスエラーを誘発できる画像特徴(例えば、濃い色の画像領域に隣接する垂直白色線)を示すデータ値を有するか否かを決める。図9で、青色ピクセル[1]は、前記画像の第1列の入力青色ピクセルの値を意味し、青色ピクセル[2]は、前記画像の第2列の入力青色ピクセルの値を意味する。青色ピクセル[N−1]は、前記画像の最後列から2番目の入力青色ピクセルの値を意味し、青色ピクセル[N]は、前記画像の最後列の入力青色ピクセルの値を意味する。
図10は、入力画像で特定入力パターンが検出された場合、前記表示パネルの縁に位置する青色サブピクセルのサブピクセルレンダリングが修正される前記説明された実施形態に対して、モード生成器720によって行われる処理段階のフローチャートである。
以下、表2は、前記処理段階のコード表現を示す。モードイン信号180がMLSモードを示すと、モード生成器720は、第2列または最後列が現在処理されているかどうかを決定して、入力データが前記検出された画像パターンであるかを検査する。説明された本実施形態において、モード生成器720は、左側縁に配置された入力データに対して第1列の青色値が第2列の青色値より、大きいかを判断する。これと同様に、右側縁に配置された入力データに対してモード生成器720は、最後列の青色値がその前の列の青色値より、大きいかを判断する。
列検出器710が、第2列にあるサブピクセルが処理されていることを検出したということを示す第2列信号がオンされると、第1列の青色値が第2列の青色値よりも大きいかを判断する比較段階が行われる。比較段階の結果が「TRUE」である場合、モード生成器720は、(モードアウト信号を経て)モード信号をSCSモードに変更し、第2列内にある処理されたサブピクセルにSCS画像フィルタリングが適用される。図6の例示画像210の場合、第2列青色620はオフされる。列検出器710が最後列にあるサブピクセルが処理されていることを検出したことを示す最後列の信号がオンされると、最後列の青色値がその前列の青色値より、大きいかを判断する比較段階が行われる。比較段階の結果が「TRUE」である場合、モード生成器720は、(モードアウト信号を経て)モード信号をSCSモードに変更し、最後列内にある、処理されたサブピクセルにSCS画像フィルタリングが適用される。図6の例示画像210の場合、最後列の青色サブピクセル520はオンされる。両比較段階の結果が第2列内にも無く、最後列内にも無いサブピクセルが現在処理されていることを示すと、最初のモードイン信号180は、変化せず、処理されたサブピクセルにMLS画像フィルタリングが適用される。
どのサブピクセルレンダリング画像フィルタを前記表示パネル上の特定サブピクセルに適用するかを選択的に変更する過程によって、図6に示す色バランスエラーは訂正でき、使用者は、例示画像210の縁にある
白色部分に色バランスエラーを認識することがない。
Figure 0005256283
本明細書に示す実施形態は、該当する分野における通常の知識を有する者であれば、特徴請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。例えば、列検出器710は、検出される入力画像の特徴によって、表示パネルのサブピクセル反復グループによって、または、表示システムによって使用されるサブピクセルレンダリングフィルタによって、追加列を検出するかまたは第1及び最後列とは異なる列を検出ように構成してもよい。このような要素の関係は、別の画像に対して異なる形態の画像誤謬を発生させることもある。図7の実施形態700によって修正されたものと同様に、SPR構成要素は、レンダリングされた入力画像データが表示される出力画像内で色バランスエラーを起こす可能性のある画像特徴を示すとき、表示パネル上の特定サブピクセルの値を計算するために第1サブピクセルレンダリングフィルタに代わって第2サブピクセルレンダリングフィルタに交替する基本的な概要を提供する。
実施形態700は、2行4列のサブピクセルで構成されるサブピクセル反復グループ9を利用して説明されるが、表示パネルは、下記のように4行2列の新しいサブピクセル反復グループを形成するために、サブピクセル反復グループ9を左側(または、右側)に90°回転させたサブピクセル反復グループから構成されてもよい。
Figure 0005256283
該当する分野における通常の知識を有する者は、例示画像が本表示パネル上で、図4に示す前記表示パネルで示されたものとは異なる色バランスエラーを示す場合があることを認識することができる。表示装置上で、画像の色バランスエラーは、画像によっては、列よりは、行においてさらに感知することができ、色バランスエラーは青色サブピクセルではなく、赤色または緑色サブピクセルによって誘発されることがある。実施形態700は、列の代わりに、どの行のサブピクセルが処理されるかを検出するように、または別の色サブピクセルを利用する入力画像パターンを検出するように変更してもよい。
本明細書に説明された前記表示システム及び前記検討された方法と技術は、液晶表示装置(LCD)、反射型液晶表示装置、電界発光表示装置(EL)、プラズマディスプレイパネル(PDP)、電界放出表示装置(FED)、電気泳動(electrophoretic)表示装置、イリデッセント(iridescent)表示装置(ID)、白熱灯表示装置、ソリッドステート発光ダイオード(LED)表示装置、及び有機発光ダイオード(OLED)表示装置のような透過型及び非透過型表示パネルを含む全種類のディスプレイ技術において行うことができる。
従って、添付する請求項は、範囲内の全ての実施形態を含むことを意図され、開示された特定の実施形態または本発明の実行のためのベストモードによってその範囲を制限しようとする意図はない。

Claims (3)

  1. タイル状に配置され、少なくとも2つの主要色サブピクセルの少なくとも2つの行及び少なくとも2つの列を含む複数個のサブピクセル反復グループを含み、前記サブピクセル反復グループ内での前記主要色の配置は、赤色、緑色、青色及び白色の4つの主要色を含むRGBW表示パネルと、
    RGBのデータフォーマットからなるデータを前記RGBW表示パネルに表示するための色域マッピングする色域マッピング部と、
    SPRモジュールと、
    を含み、
    前記SPRモジュールは、
    前記色域マッピング部から出力されたデータの3×3データをサンプリングするSCSデータサンプリングユニットと、
    前記色域マッピング部から出力されたデータの3×3データをサンプリングするMLSデータサンプリングユニットと、
    前記色域マッピング部から出力されたデータをレンダリングするために適用するフィルタとしてSCSフィルタまたはMLSフィルタのいずれかをモード生成器からの信号に基づいて選択するフィルタマルチプレクサと、
    前記色域マッピング部から出力されたデータが前記RGBW表示パネルの最後列内のサブピクセルのデータまたは第2列内サブピクセルのデータである場合にパルス信号を出力する列検出器と、
    前記列検出器から第2列内にあるサブピクセルのデータが処理されていることを検出したことを示す信号が入力されると第1列内のサブピクセルのデータの青色値と前記第2列内のサブピクセルのデータの青色値とを比較し、前記第1列内のサブピクセルのデータの青色値が前記第2列内のサブピクセルのデータの青色値よりも小さい場合にはSCSフィルタを選択するよう制御する信号を前記フィルタマルチプレクサに出力し、前記第1列内のサブピクセルのデータの青色値が前記第2列内のサブピクセルのデータの青色値よりも大きい場合にはMLSフィルタを選択するよう制御する信号を前記フィルタマルチプレクサに出力し、
    前記列検出器から最後列内にあるサブピクセルのデータが処理されていることを検出したことを示す信号が入力されると前記最後列の前列内のサブピクセルのデータの青色値と前記最後列内のサブピクセルのデータの青色値とを比較し、前記最後列の前記前列内のサブピクセルのデータの青色値が前記最後列内のサブピクセルのデータの青色値よりも小さい場合にはSCSフィルタを選択するよう制御する信号を前記フィルタマルチプレクサに出力し、前記最後列の前記前列内のサブピクセルのデータの青色値が前記最後列内のサブピクセルのデータの青色値よりも大きい場合にはMLSフィルタを選択するよう制御する前記信号を前記フィルタマルチプレクサに出力する前記モード生成器とを含むことを特徴とする表示システム。
  2. 前記MLSフィルタは、前記表示パネルの縁に色彩エイリアシングが可能であることを特徴とする請求項1に記載の表示システム。
  3. RGBW表示のための画像データのサブピクセルレンダリングを採用する表示システムにおいて表示される画像の縁の色彩エイリアシングを防止する方法であって、
    RGBのデータフォーマットからなるデータを前記RGBW表示のために色域マッピングし、
    色域マッピングされたデータがRGBW表示パネルの最後列内のサブピクセルのデータまたは第2列内サブピクセルのデータであるかを判定し、
    前記判定の結果、前記色域マッピングされたデータが前記RGBW表示パネルの前記第2列内にあるサブピクセルのデータである場合、第1列内のサブピクセルのデータの青色値と前記第2列内のサブピクセルのデータの青色値とを比較し、前記第1列内のサブピクセルのデータの青色値が前記第2列内のサブピクセルのデータの青色値よりも小さい場合にはSCSフィルタを選択し、前記第1列内のサブピクセルのデータの青色値が前記第2列内のサブピクセルのデータの青色値よりも大きい場合にはMLSフィルタを選択し、
    前記判定の結果、前記色域マッピングされたデータが前記RGBW表示パネルの前記最後列内のサブピクセルのデータである場合、前記最後列の前列内のサブピクセルのデータの青色値と前記最後列内のサブピクセルのデータの青色値とを比較し、前記最後列の前記前列内のサブピクセルのデータの青色値が前記最後列内のサブピクセルのデータの青色値よりも小さい場合にはSCSフィルタを選択し、前記最後列の前記前列内のサブピクセルのデータの青色値が前記最後列内のサブピクセルのデータの青色値よりも大きい場合にはMLSフィルタを選択すること、
    を含むことを特徴とする色彩エイリアシング防止方法。
JP2010507527A 2007-05-18 2008-04-29 2次元サブピクセルレイアウトを有するディスプレイパネルのための画像色バランス調整 Active JP5256283B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US93898907P 2007-05-18 2007-05-18
US60/938,989 2007-05-18
PCT/US2008/061906 WO2008144180A1 (en) 2007-05-18 2008-04-29 Image color balance adjustment for display panels with 2d subpixel layouts

Publications (2)

Publication Number Publication Date
JP2010526350A JP2010526350A (ja) 2010-07-29
JP5256283B2 true JP5256283B2 (ja) 2013-08-07

Family

ID=40122102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010507527A Active JP5256283B2 (ja) 2007-05-18 2008-04-29 2次元サブピクセルレイアウトを有するディスプレイパネルのための画像色バランス調整

Country Status (7)

Country Link
US (1) US8456483B2 (ja)
EP (1) EP2147426B1 (ja)
JP (1) JP5256283B2 (ja)
KR (1) KR101073044B1 (ja)
CN (1) CN101681613B (ja)
TW (1) TWI424752B (ja)
WO (1) WO2008144180A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202009018852U1 (de) * 2008-12-23 2013-11-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anzeigesystem mit circadianer Wirkung auf den Menschen
US20100177129A1 (en) * 2009-01-12 2010-07-15 Fredlund John R Artifact reduction in optical scanning displays
WO2012099011A1 (ja) 2011-01-20 2012-07-26 シャープ株式会社 被成膜基板、製造方法、および有機el表示装置
KR101806117B1 (ko) * 2011-04-08 2017-12-08 삼성디스플레이 주식회사 데이터 처리 방법 및 이를 수행하는 표시 장치
KR102025876B1 (ko) 2012-03-16 2019-09-27 삼성디스플레이 주식회사 데이터 렌더링 방법, 데이터 렌더링 장치, 및 이를 포함하는 표시 장치
KR101965207B1 (ko) * 2012-03-27 2019-04-05 삼성디스플레이 주식회사 표시 장치
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
KR101954336B1 (ko) 2012-05-17 2019-03-06 삼성디스플레이 주식회사 데이터 렌더링 장치, 데이터 렌더링 방법, 및 이를 적용한 표시 패널
JP6035940B2 (ja) * 2012-07-23 2016-11-30 セイコーエプソン株式会社 画像処理装置、表示装置および画像処理方法
KR102063973B1 (ko) * 2012-09-12 2020-01-09 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동방법
US9172933B2 (en) * 2012-10-17 2015-10-27 Samsung Display Co., Ltd. Correcting anamolous texture and feature width effects in a display that uses a multi primary color unit scheme
US9190016B2 (en) * 2013-03-15 2015-11-17 Valspar Sourcing, Inc. Color-matching tool for virtual painting
KR102016424B1 (ko) 2013-04-12 2019-09-02 삼성디스플레이 주식회사 데이터 처리 장치 및 이를 갖는 디스플레이 시스템
US9549161B2 (en) * 2013-07-08 2017-01-17 Samsung Display Co., Ltd. Image and video in mosaic formats
KR20150008712A (ko) 2013-07-15 2015-01-23 삼성디스플레이 주식회사 신호 처리 방법, 신호 처리 장치, 및 신호 처리 장치를 포함하는 표시 장치
KR102117033B1 (ko) * 2013-10-08 2020-06-01 삼성디스플레이 주식회사 표시장치 및 그 구동 방법
US9449373B2 (en) * 2014-02-18 2016-09-20 Samsung Display Co., Ltd. Modifying appearance of lines on a display system
KR102211862B1 (ko) 2014-04-09 2021-02-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 센서 시스템
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
KR101934088B1 (ko) * 2014-07-31 2019-01-03 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
CN104240195B (zh) * 2014-08-20 2017-01-18 京东方科技集团股份有限公司 一种基于虚拟算法的模型建立方法和系统
CN104485064B (zh) * 2014-12-31 2017-03-15 深圳市华星光电技术有限公司 基于边缘像素检测的rgbw显示装置的子像素补偿着色的方法
JP2016206243A (ja) 2015-04-15 2016-12-08 株式会社ジャパンディスプレイ 表示装置及び電子機器
KR102494765B1 (ko) 2015-12-24 2023-02-02 삼성디스플레이 주식회사 표시 장치
KR102447506B1 (ko) * 2016-01-05 2022-09-27 삼성디스플레이 주식회사 표시 장치의 표시 제어 방법 및 장치
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
KR102589145B1 (ko) * 2016-10-04 2023-10-12 엘지전자 주식회사 영상표시장치
KR102523988B1 (ko) * 2016-08-29 2023-04-20 삼성전자주식회사 곡선 표시 영역을 포함하는 디스플레이의 구동 방법과 이를 지원하는 디스플레이 구동 회로 및 이를 포함하는 전자 장치
US10210826B2 (en) * 2017-02-22 2019-02-19 Himax Technologies Limited Sub-pixel rendering method for delta RGBW panel and delta RGBW panel with sub-pixel rendering function
CN106898291B (zh) * 2017-04-28 2019-08-02 武汉华星光电技术有限公司 显示面板的驱动方法及驱动装置
CN109003577B (zh) * 2017-06-07 2020-05-12 京东方科技集团股份有限公司 显示面板的驱动方法及组件、显示装置、终端及存储介质
JP2019095513A (ja) * 2017-11-20 2019-06-20 シナプティクス インコーポレイテッド 表示ドライバ、表示装置及びサブピクセルレンダリング処理方法
CN110322401B (zh) * 2018-03-31 2023-08-22 华为技术有限公司 像素处理方法及装置
CN108682011B (zh) * 2018-05-15 2021-07-16 齐鲁工业大学 亚像素级别的实时动态肿瘤图像的定位与匹配方法
KR102532775B1 (ko) * 2018-10-10 2023-05-17 삼성디스플레이 주식회사 표시 장치
CN116564209A (zh) 2019-02-23 2023-08-08 华为技术有限公司 在多显示驱动电路系统中显示图像的方法和电子设备
CN111613165B (zh) * 2019-02-23 2022-09-09 华为技术有限公司 在多显示驱动电路系统中显示图像的方法和电子设备
CN110580880B (zh) * 2019-09-26 2022-01-25 晟合微电子(肇庆)有限公司 一种基于rgb三角亚像素布局式的亚像素渲染方法、系统以及显示装置
KR102211994B1 (ko) * 2020-01-02 2021-02-08 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동방법
KR102400654B1 (ko) * 2020-01-02 2022-05-23 삼성디스플레이 주식회사 유기전계발광 표시장치 및 그의 구동방법
US11551636B1 (en) * 2020-09-28 2023-01-10 Meta Platforms Technologies, Llc Constrained rendering
CN113053964B (zh) * 2021-03-09 2023-10-13 云南创视界光电科技有限公司 显示装置、显示面板及其驱动方法
CN113160751B (zh) * 2021-04-21 2022-07-26 晟合微电子(肇庆)有限公司 一种amoled显示面板的子像素渲染方法
KR20230111661A (ko) 2022-01-17 2023-07-26 삼성디스플레이 주식회사 표시 장치 및 그것의 동작 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184066B2 (en) * 2001-05-09 2007-02-27 Clairvoyante, Inc Methods and systems for sub-pixel rendering with adaptive filtering
US7221381B2 (en) * 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
US7123277B2 (en) * 2001-05-09 2006-10-17 Clairvoyante, Inc. Conversion of a sub-pixel format data to another sub-pixel data format
US20040051724A1 (en) * 2002-09-13 2004-03-18 Elliott Candice Hellen Brown Four color arrangements of emitters for subpixel rendering
US7583279B2 (en) * 2004-04-09 2009-09-01 Samsung Electronics Co., Ltd. Subpixel layouts and arrangements for high brightness displays
KR100461339B1 (ko) * 2002-05-14 2004-12-10 주식회사 포디컬쳐 영상데이터 전송장치 및 방법
EP1388818B1 (en) * 2002-08-10 2011-06-22 Samsung Electronics Co., Ltd. Method and apparatus for rendering image signal
US20040196302A1 (en) 2003-03-04 2004-10-07 Im Moon Hwan Systems and methods for temporal subpixel rendering of image data
US6917368B2 (en) * 2003-03-04 2005-07-12 Clairvoyante, Inc. Sub-pixel rendering system and method for improved display viewing angles
US6980219B2 (en) * 2003-10-21 2005-12-27 Clairvoyante, Inc Hue angle calculation system and methods
JP4537107B2 (ja) * 2004-04-06 2010-09-01 キヤノン株式会社 映像表示装置、映像表示方法、及びコンピュータプログラム
TWI278827B (en) * 2004-05-12 2007-04-11 Seiko Epson Corp Display equipment and electronic apparatus
JP2006058754A (ja) * 2004-08-23 2006-03-02 Canon Inc 表示装置
JP4108723B2 (ja) * 2004-09-03 2008-06-25 シャープ株式会社 表示装置の駆動方法、表示装置の駆動装置、そのプログラムおよび記録媒体、並びに、表示装置
TWI343027B (en) * 2005-05-20 2011-06-01 Samsung Electronics Co Ltd Display systems with multiprimary color subpixel rendering with metameric filtering and method for adjusting image data for rendering onto display as well as method for adjusting intensity values between two sets of colored subpixels on display to minimi
US7948506B2 (en) 2005-11-15 2011-05-24 Global Oled Technology Llc Method and apparatus for defect correction in a display
TWI321298B (en) * 2005-11-25 2010-03-01 Toppoly Optoelectronics Corp Systems with reduced color lines at edges of associated display devices

Also Published As

Publication number Publication date
US20100149204A1 (en) 2010-06-17
KR20090122307A (ko) 2009-11-26
EP2147426A1 (en) 2010-01-27
EP2147426A4 (en) 2011-03-09
TW200904205A (en) 2009-01-16
US8456483B2 (en) 2013-06-04
CN101681613B (zh) 2013-04-10
TWI424752B (zh) 2014-01-21
KR101073044B1 (ko) 2011-10-12
JP2010526350A (ja) 2010-07-29
EP2147426B1 (en) 2015-07-29
CN101681613A (zh) 2010-03-24
WO2008144180A1 (en) 2008-11-27

Similar Documents

Publication Publication Date Title
JP5256283B2 (ja) 2次元サブピクセルレイアウトを有するディスプレイパネルのための画像色バランス調整
US8018476B2 (en) Subpixel layouts for high brightness displays and systems
KR101254032B1 (ko) 메타머 필터링에 의한 다수 컬러 서브픽셀 렌더링
KR101842904B1 (ko) 영상표시방법 및 표시 시스템
KR101995870B1 (ko) 영상데이터를 혼합 하는 방법, 이를 이용한 표시 시스템, 및 이를 실행하기 위한 컴퓨터 판독가능한 기록매체
US7965305B2 (en) Color display system with improved apparent resolution
CN101529496B (zh) 颜色映射方法、系统和显示器设备
US8780133B2 (en) Method of processing data and display apparatus for performing the method
KR100923053B1 (ko) 감마 조정 및 적응 필터링을 이용한 서브픽셀의 렌더링방법 및 시스템
KR100906632B1 (ko) 복수의 서브 픽셀 그룹을 포함하는 디스플레이와, 이러한 디스플레이를 포함하는 시스템과, 소스 픽셀 데이터 변환 방법
JP5243959B2 (ja) 画像処理用の改良されたメモリ構造
KR20120128092A (ko) 영상표시방법
WO2008047291A2 (en) Gamut mapping
JP6281985B2 (ja) 透明表示装置
US20150235393A1 (en) Image device and data processing system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120723

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120824

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120924

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20121213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5256283

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250