JP4820004B2 - ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム - Google Patents

ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム Download PDF

Info

Publication number
JP4820004B2
JP4820004B2 JP2000594071A JP2000594071A JP4820004B2 JP 4820004 B2 JP4820004 B2 JP 4820004B2 JP 2000594071 A JP2000594071 A JP 2000594071A JP 2000594071 A JP2000594071 A JP 2000594071A JP 4820004 B2 JP4820004 B2 JP 4820004B2
Authority
JP
Japan
Prior art keywords
pixel
color
image
image data
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000594071A
Other languages
English (en)
Other versions
JP2002535757A (ja
JP2002535757A5 (ja
Inventor
プラット,ジョン・シー
ミッチェル,ドナルド・ピー
ホワイテッド,ジェイ・ターナー
ブリン,ジェームズ・エフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/364,365 external-priority patent/US6393145B2/en
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2002535757A publication Critical patent/JP2002535757A/ja
Publication of JP2002535757A5 publication Critical patent/JP2002535757A5/ja
Application granted granted Critical
Publication of JP4820004B2 publication Critical patent/JP4820004B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
発明の背景
1.発明の分野
本発明は、個別に制御可能な画素サブコンポーネントを有する画素を備えるディスプレイ装置上で画像をレンダリングすることに関する。より詳細には、本発明は、所望の度合いの輝度精度および色精度を得るために画像データをフィルタリングし、その後、変位させてサンプリングすることに関する。
【0002】
2.従来技術の説明
現代社会において、コンピュータがあらゆる分野で用いられるようになるにつれて、コンピュータユーザが、ディスプレイ装置上で画像を視認するために費やす時間が長くなった。液晶ディスプレイ(LCD)装置のようなフラットパネルディスプレイ装置、および陰極線管(CRT)ディスプレイ装置は、文字およびグラフィクスを表示するために用いられるディスプレイ装置の中の最も一般的な2つのタイプの装置である。CRTディスプレイ装置は、走査電子ビームを用いて、画面上に配列される燐光体を活性化する。CRTディスプレイ装置の各画素は、それぞれ異なる色を有する3組の燐光体からなる。1つの画素に含まれる燐光体は、特定の色相、彩度および強度によって規定される選択色を有する光の点あるいは領域としてユーザによって視認されるものを生成するために、ともに制御される。CRTディスプレイ装置の画素内の燐光体は、個別に制御することはできない。CRTディスプレイ装置は、デスクトップパーソナルコンピュータ、ワークステーションと組み合わせて、および可搬性が重要な要件ではない他のコンピューティング環境において幅広く用いられている。
【0003】
対照的に、LCDディスプレイ装置は、個別に制御可能な多数の画像サブコンポーネントからなる画素を有する。典型的なLCD装置は、3つの画素サブコンポーネントを有する画素を備えており、それらは通常、赤色、緑色および青色を有する。LCD装置は、小型、軽量で、電力要件が比較的低いことにより、ポータブルコンピュータあるいはラップトップコンピュータにおいて幅広く用いられるようになってきている。しかしながら、ここ何年間かの間に、LCD装置は、他のコンピューティング環境においても一般的な装置になり始めており、可搬式ではないパーソナルコンピュータでも幅広く用いられるようになってきている。
【0004】
従来の画像データおよび画像レンダリングプロセスは、CRTディスプレイ装置上で画像を表示するために開発され、最適化されていた。CRTディスプレイ装置上で個別に制御可能な最小の単位は画素である。各画素に含まれる3つの燐光体は、所望の色を生成するために、ともに制御される。従来の画像処理技術は、画素に対して画像データをサンプリングし、3つの燐光体がともに画像の1つの部分を表わしている。言い換えると、CRTディスプレイ装置の各画素は、画像データの1つの領域に対応する、すなわち1つの領域を表わしている。
【0005】
LCD装置で用いられる画像データおよび画像レンダリングプロセスは、もともとCRTのために開発された、3つの燐光体画素モデルのものである。したがって、LDC装置で用いられる従来の画像レンダリングプロセスは、個別に制御可能な性質のLCD画素の画像サブコンポーネントを利用せず、代わりに、所望の色を生成するために、3つの画素サブコンポーネントに適用されることになる輝度値を合わせて生成する。これらの従来のプロセスを用いると、3つの部分からなる各画素が、画像データの1つの領域を表わす。
【0006】
ディスプレイ装置の解像度、およびその装置上に表示される文字が改善されるのに応じて、コンピュータユーザによって頻繁に経験されている眼精疲労および他の読取り上の問題点が低減されることがわかっている。解像度が低い場合の問題点は、LCDのような、解像度72あるいは96ドット(すなわち、画素)/インチ(dpi)を有し、大部分のCRTディスプレイ装置より低い解像度であるフラットパネルディスプレイ装置においては特に顕著である。そのようなディスプレイ解像度は、大部分のプリンタによって対応可能な600dpiの解像度よりはるかに低い。さらに高い解像度は、市販されている、本および雑誌のような大部分の印刷された文字に見られる。LCD装置の比較的少ない画素では、滑らかな文字の形状を、特に10、12および14ポイントタイプの標準的な文字サイズで描き出すには不十分である。そのような標準的な文字レンダリングサイズでは、文字の部分が、CRTディスプレイ装置上で表示されたり、印刷されたりする場合に比べて、ディスプレイ装置上で浮き出して、粗く見える。
【0007】
当分野において経験されている上記の問題点に鑑みて、LCDディスプレイ装置上で表示される画像の解像度を改善する技術が必要とされる。解像度を改善するとともに、画像データに符号化された画像を厳密に再現する表示画像を生成するように、所望の度合いまで画像の色を正確にレンダリングすることも望まれるであろう。
【0008】
発明の概要
本発明は、画像データ処理技術および画像レンダリング技術に関し、それによれば、画像が、個別に制御可能な画素サブコンポーネントを有する画素を備えるディスプレイ装置上に表示される。画像データの空間的に異なる領域が、画素ではなく、個々の画像サブコンポーネントにマッピングされる。1つのボックスフィルタから直接画素サブコンポーネントに生成される点サンプルまたはサンプル(point samples or samples)をマッピングすることにより、色の誤差、あるいは解像度の低下のいずれかが生じることがわかっている。さらに、色精度を改善することと、輝度精度を改善することとの間には固有のトレードオフがあることがわかっている。本発明の方法およびシステムは、色精度と輝度精度との間の所望のバランスを最適化するか、あるいは準最適化するように選択されたフィルタを有する。
【0009】
本発明は特に、種々の色からなる複数の画素サブコンポーネントを有する画素を備えるLCDディスプレイ装置あるいは他のディスプレイ装置で用いるのに適している。たとえば、LCDディスプレイ装置は、同色の画素サブコンポーネントからなる垂直方向あるいは水平方向いずれかのストライプを形成するために、ディスプレイ装置上に配列される赤色、緑色および青色の画素サブコンポーネントを有する画素を備える場合がある。
【0010】
本発明の画像処理方法は、画像データが、後のオーバーサンプリングに備えてスケーリングされるようにするスケーリング動作と、ディスプレイ装置の特定の画素サブコンポーネント位置に、画像の細部を適合させるために用いることができるヒンティング動作とを含むことができる。画像データ信号は、それぞれ画像の異なる色成分を表わす3つのチャネルを有することができ、ローパスフィルタに通され、色エイリアシングを低減するように選択された、カットオフ周波数より高い周波数を除去する。その周波数成分を除去しなければ、色エイリアシングが生じることになろう。画素ナイキスト周波数をカットオフ周波数として用いることができるが、より高いカットオフ周波数を用いることができることがわかっている。カットオフ周波数を高くすると、色エイリアシングを幾分犠牲にすることになるが、高い鮮明度が得られる。
【0011】
色精度と輝度精度との間のトレードオフを最適化、あるいは準最適化するために、ローパルフィルタが選択される。ローパスフィルタの係数が画像データに適用される。一実装形態では、ローパスフィルタは、色チャネルと画素サブコンポーネントとの各組み合わせに対して1つのフィルタを含む、最適化された9個一組のフィルタである。他の実装形態では、ローパスフィルタは、一般的な9個一組のフィルタのフィルタリング機能を近似するように選択することができる。
【0012】
フィルタリングされたデータは、画素ではなく、画素の個々の画素サブコンポーネントにマッピングされるサンプルを表わす。そのサンプルを用いて、画素サブコンポーネントに適用されることになる光度値を選択する。このようにして、画像のビットマップ表現、あるいはディスプレイ装置上に表示されることになる画像の走査線を収集することができる。その処理およびフィルタリングは、画像のラスタ化およびレンダリングを実行中に行うことができる。別法では、その処理およびフィルタリングは、表示される画像に繰返し含まれることになる、テキスト文字のような特定の画像に対して行うことができる。この場合、テキスト文字は、最適化して表示するために準備され、ドキュメントにおいて後に用いるためにバッファあるいはキャッシュに格納されることができる。
【0013】
本発明のさらに別の特徴および利点は以下の説明に記載されており、部分的にはその説明から明らかになり、本発明に習熟することにより理解されるようになるであろう。本発明の特徴および利点は、添付の請求の範囲に特に示される機器および組み合わせを用いて理解し、実現することもできる。本発明のこれらの特徴および他の特徴は、以下の説明および添付の請求の範囲から完全に明らかになるか、あるいは以下に記載されるような本発明に習熟することにより理解されるようになるであろう。
【0014】
本発明の上記の、および他の利点および特徴が得られるようにするために、添付の図面に示されるその特定の実施形態を参照しつつ、上で簡単に記載された本発明のさらに具体的な説明が行われるであろう。これらの図面は、本発明の典型的な実施形態のみを示しており、それゆえ発明の範囲を制限するものと考えられるべきではなく、本発明は、その添付の図面を用いて、特徴および細部を付け加えながら明細書中に記載、および説明されることを理解されたい。
【0015】
発明の詳細な説明
本発明は、画像データ処理および画像レンダリング技術に関し、それによれば、画像データは、異なる色からなる個別に制御可能な多数の画素サブコンポーネントをそれぞれ有する画素を含む、パターン化されたフラットパネルディスプレイ装置上にレンダリングされる。従来の液晶ディスプレイ(LCD)装置のようなディスプレイ装置に適用される際に、その画像データ処理動作は、赤色、緑色および青色画素サブコンポーネントにマッピングされるサンプルを得るフィルタを通してその画像データを表現する3チャネルの連続した信号をフィルタリングすることを含む。そのフィルタは、色精度と輝度精度との間の所望のトレードオフを確立するように選択される。一般に、色精度が高くなると、それに応じて輝度精度は低くなり、その逆も成り立つ。画素サブコンポーネントにマッピングされたサンプルは、画素サブコンポーネントのための光度値を生成するために用いられる。
【0016】
画像レンダリング処理は、個別に制御可能な多数の画素サブコンポーネントを有する画素を備えるLCD装置あるいは他のディスプレイ装置で用いるようになされる。本発明は、本明細書では主にLCD装置を参照して記載されるが、個別に制御可能な画素サブコンポーネントを有する画素を備える他のディスプレイ装置で実施することもできる。
【0017】
I.典型的なコンピューティング環境
本発明のフィルタリング動作およびサンプリング動作を詳細に記載する前に、本発明を実施することができる典型的なコンピューティング環境が提供される。本発明の実施形態は、以下にさらに詳細に記載されるように、種々のコンピュータハードウエアを含む専用および汎用のコンピュータを含むことができる。本発明の範囲内にある実施形態は、コンピュータ実行可能命令、あるいはデータ構造をその上に格納するためのコンピュータ読取り可能媒体も含む。そのようなコンピュータ読取り可能媒体として、専用および汎用コンピュータによってアクセスすることができる任意の利用可能な媒体を用いることができる。例として、限定はしないが、そのようなコンピュータ読取り可能媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装置、あるいは、コンピュータ実行可能命令またはデータ構造の形で所望のプログラムコード手段を収容あるいは格納するために用いることができ、汎用および専用コンピュータによってアクセスすることができる任意の他の媒体を含むことができる。
【0018】
情報が、ネットワークあるいは別の通信接続(有線、無線、あるいはその組み合わせ)上でコンピュータに転送、あるいは供給されるとき、コンピュータは、その接続をコンピュータ読取り可能媒体として適切に視認する。したがって、任意のそのような接続は、厳密にはコンピュータ読取り可能媒体と呼ばれる。上記の組み合わせも、コンピュータ読取り可能媒体の範囲に含まれることになる。コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータ、あるいは専用のプロセッシング装置が、ある一定の機能あるいは一群の機能を実行できるようにする命令およびデータを含む。
【0019】
図1Aおよび以下の説明は、本発明を実施することができる適当なコンピューティング環境についての簡単で、一般的な説明を提供することを意図している。必ずしもそうではないが、本発明は全般に、ネットワーク環境内のコンピュータによって実行されている、プログラムモジュールのようなコンピュータ実行可能命令に関して記載されるであろう。一般に、プログラムモジュールは、特定のタスクを実行し、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。コンピュータ実行可能命令、関連するデータ構造、およびプログラムモジュールは、本明細書に開示される方法のステップを実行するためのプログラムコード手段の例を表わしている。そのような実行可能命令あるいは関連するデータ構造の特定のシーケンスは、そのようなステップに記載される機能を実施するための対応する動作の例を表す。
【0020】
本発明は、パーソナルコンピュータ、携帯装置、マルチプロセッサシステム、マイクロプロセッサ系あるいはプログラマブルコンシューマ電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ等を含む、多数のタイプのコンピュータシステム構成を備えるネットワークコンピューティング環境において実施することができることは、当業者には理解されよう。また、本発明は、リンクされた(有線リンク、無線リンク、あるいは有線/無線リンクの組み合わせのいずれかによる)ローカルおよびリモートプロセッシング装置によって、通信ネットワークを介して、タスクが実行される分散形のコンピューティング環境において実施することもできる。分散形のコンピューティング環境では、プログラムモジュールは、ローカルおよびリモートメモリ記憶装置の両方に配置される場合がある。
【0021】
図1Aを参照すると、本発明を実施するための典型的なシステムは、プロセッシングユニット21と、システムメモリ22と、システムメモリ22を含む種々のシステム構成要素をプロセッシングユニット21に接続するシステムバス23とを含む、従来のコンピュータ20の形態をとる汎用のコンピューティング装置を備える。システムバス23には、メモリバスまたはメモリコントローラ、周辺バス、および種々のバスアーキテクチャのうちの任意のアーキテクチャを用いるローカルバスを含む、いくつかのタイプのバス構造のうちの任意のバス構造を用いることができる。システムメモリは、リードオンリーメモリ(ROM)24およびランダムアクセスメモリ(RAM)25を備える。起動時などに、コンピュータ20内の構成要素間で情報を転送できるようにする基本ルーチンを含む、基本入出力システム(BIOS)26は、ROM24に格納することができる。
【0022】
また、コンピュータ20は、磁気ハードディスク39に対して読出し、および書込みを行うための磁気ハードディスクドライブ27と、着脱式の磁気ディスク29に対して読出し、および書込みを行うための磁気ディスクドライブ28と、CD−ROMまたは他の光媒体のような着脱式の光ディスク31に対して読出し、および書込みを行うための光ディスクドライブ30とを備える場合もある。磁気ハードディスクドライブ27、磁気ディスクドライブ28および光ディスクドライブ30は、それぞれハードディスクドライブインターフェース32、磁気ディスクドライブインターフェース33および光ドライブインターフェース34によってシステムバス23に接続される。ドライブおよび関連するコンピュータ読取り可能媒体は、コンピュータ実行可能命令、データ構造、プログラムモジュール、およびコンピュータ20のための他のデータの不揮発性記憶装置を提供する。本明細書に記載される典型的な環境は、磁気ハードディスク39、着脱式の磁気ディスク29および着脱式の光ディスク31を用いるが、データを格納するために、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、高密度カートリッジ(ベルヌーイカートリッジ)、RAM、ROM等を含む、他のタイプのコンピュータ読取り可能媒体を用いることができる。
【0023】
オペレーティングシステム35、1つあるいは複数のアプリケーションプログラム36、他のプログラムモジュール37、およびプログラムデータ38を含む、1つあるいは複数のプログラムモジュールを含むプログラムコード手段は、ハードディスク39、磁気ディスク29、光ディスク31、ROM24あるいはRAM25に格納することができる。ユーザは、キーボード40、ポインティング装置42、あるいはマイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナ等のような他の入力装置(図示せず)を通して、コンピュータ20にコマンドおよび情報を入力することができる。これらの入力装置および他の入力装置は、システムバス23に接続されるシリアルポートインターフェース46を通してプロセッシングユニット21に接続される場合もある。別法では、入力装置は、パラレルポート、ゲームポートあるいはユニバーサルシリアルバス(USB)のような他のインターフェースによって接続される場合もある。また、LCD装置47も、ビデオアダプタ48のようなインターフェースを介して、システムバス23に接続される。LCD装置に加えて、パーソナルコンピュータは典型的には、スピーカおよびプリンタのような、他の周辺出力装置(図示せず)を含む。
【0024】
コンピュータ20は、リモートコンピュータ49aおよび49bのような1つあるいは複数のリモートコンピュータへの論理接続を用いて、ネットワーク接続された環境で動作することができる。リモートコンピュータ49aおよび49bにはそれぞれ、別のパーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピア装置あるいは他の共通ネットワークノードを用いることができ、典型的には、コンピュータ20に対して上で記載した構成要素の多く、あるいは全てを含むが、図1Aには、メモリ記憶装置50aおよび50b、およびその関連するアプリケーションプログラム36aおよび36bのみが示されている。図1Aに示される論理接続は、ローカルエリアネットワーク(LAN)51およびワイドエリアネットワーク(WAN)52を備えているが、それらは例示であって、それらには限定されない。そのようなネットワーク接続環境は、オフィス規模あるいは企業体規模のコンピュータネットワーク、イントラネットおよびインターネット内でよく見られる。
【0025】
LANのネットワーク接続環境において用いられる際に、コンピュータ20は、ネットワークインターフェースあるいはアダプタ53を介してローカルネットワーク51に接続される。WANのネットワーク接続環境において用いられる際に、コンピュータ20は、モデム54、ワイヤレスリンク、あるいはインターネットのようなワイドエリアネットワーク52上で通信を確立するための他の手段を備える場合がある。モデム54は内部あるいは外部に存在することができ、シリアルポートインターフェース46を介してシステムバス23に接続される。ネットワーク接続環境では、コンピュータ20に対して示されたプログラムモジュール、およびその一部は、リモートメモリ記憶装置に格納される場合がある。示されるネットワーク接続は典型的なものであり、ワイドエリアネットワーク52上で通信を確立する他の手段を用いることもできることは理解されよう。
【0026】
上記のように、本発明は、パーソナルコンピュータ、携帯装置、マルチプロセッサシステム、マイクロプロセッサ系あるいはプログラマブルコンシューマ電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ等を含む、多数のタイプのコンピュータシステム構成を備えるネットワークコンピューティング環境において実施される場合がある。1つのそのような典型的なコンピュータシステム構成が、ポータブルコンピュータ60として図1Bに示されており、それは磁気ディスクドライブ28と、光ディスクドライブ30および対応する着脱式の光ディスク31と、キーボード40と、モニタ47と、ポインティング装置62と、ハウジング64とを備える。コンピュータ60は、図1Bに示されるのと同じ構成要素の多くを有することができる。
【0027】
ポータブルコンピュータ60のような、ポータブルパーソナルコンピュータは、モニタ47として図1Bに示されるように、画像データを表示するためにフラットパネルディスプレイ装置を用いる傾向がある。フラットパネルディスプレイ装置の一例は、液晶ディスプレイ(LCD)である。フラットパネルディスプレイ装置は、陰極線管(CRT)ディスプレイのような他のディスプレイ装置に比べて、小型、軽量を達成することができる。さらに、フラットパネルディスプレイ装置は、同等の大きさのCRTディスプレイよりも消費電力が低い傾向があり、バッテリで駆動される応用形態に、より適している。こうして、フラットパネルディスプレイ装置は、普及がさらに進んできている。その品質は向上し、コストは下がり続けているので、フラットパネルディスプレイは、デスクトップの応用形態でもCRTディスプレイに置き換わり始めている。
【0028】
図2Aおよび図2Bは、典型的なLCDディスプレイ装置の物理的な特性を示す。図2Aに示されるLCD70の一部は、複数の行R1〜R16と、複数の列C1〜C16とを含む。カラーLCDは、ここではそれぞれ画素および画素サブコンポーネントと呼ばれる、多数の個別に指定可能な構成要素およびサブエレメントを用いる。図2Bは、LCD70の左上部分を詳細に示しており、画素と、画素サブコンポーネントとの間の関係を示す。
【0029】
各画素は、それぞれ赤色(R)画素サブコンポーネント72、緑色(G)画素サブコンポーネント74、および青色(B)画素サブコンポーネント76として示される3つの画素サブコンポーネントを含む。画素サブコンポーネントは正方形ではなく、同じ色の画素サブコンポーネントからなる垂直方向ストライプを形成するようにLCD70上で配列される。RGBストライプは通常、ディスプレイの全幅あるいは全高にわたって一方向に延在する。大部分のポータブルコンピュータに現在用いられている通常のLCDディスプレイは、高さより幅が広く、LCD70によって示されるように、RGBストライプは垂直方向に延在する傾向がある。高さより幅が広いそのような装置の例は、たとえば640×480、800×600、あるいは1024×768の列方向対行方向比を有する。また、LCDディスプレイ装置は、同じ色からなる画素サブコンポーネントの水平方向ストライプ、ジグザグパターンあるいはデルタパターンを含む、他のパターンに配列される画素サブコンポーネントでも製造される。さらに、LCDディスプレイ装置の中には、3つの画素サブコンポーネント以外の複数の画素サブコンポーネントを有する画素を含むものもある。本発明は、そのディスプレイ装置の画素が個別に制御可能な画素サブコンポーネントを備えてさえいれば、どのLCDディスプレイ装置あるいはフラットパネルディスプレイ装置にも用いることができる。
【0030】
1組のRGB画素サブコンポーネントが画素を構成する。したがって、本明細書で用いられる「画素サブコンポーネント」は、1つの画素内に含まれる複数の個別に制御可能な構成要素のうちの1つである。図2Bを参照すると、その1組の画素サブコンポーネント72、74および76は1つの画素を形成する。言い換えると、行R2および列C1の交差部のような、行および列の交差部は、1つの画素、すなわち(R2,C1)を表わす。さらに、各画素サブコンポーネント72、74および76の幅は、画素の3分の1、あるいは約3分の1であり、一方高さは、画素の高さに等しいか、あるいは概ね等しい。したがって、3つの画素サブコンポーネント72、74および76を組み合わせて、1つの概ね正方形の画素を形成する。
【0031】
II.フィルタの選択、特性および使用法
本発明の画像レンダリングプロセスにより、空間的に異なる組の画像データの1つあるいは複数のサンプルが、LCDディスプレイ装置あるいは別のタイプのディスプレイ装置に含まれる画素のそれぞれ個別に制御可能な画素サブコンポーネントにマッピングされるようになる。サンプルのうちの少なくともいくつかのサンプルは、画素の中心から「変位している」。たとえば、典型的なLCDディスプレイ装置は、緑色画素サブコンポーネントを中心とする画素を有する。本発明によれば、赤色画素サブコンポーネントにマッピングされるサンプルの組が、画素の中央に対応する画像データの点から変位している。
【0032】
図3は、輝度精度と色精度との間の所望のトレードオフを有する表示画像を生成するために、画像データを表わす連続した3チャネルの信号が処理される方法を示すブロック図である。画像データ200は、画像のぞれぞれ赤色成分、緑色成分および青色成分を表わす成分202、204および206を有する連続した3チャネル信号である。別法では、画像データ200は、ディスプレイの画素ナイキストレートより非常に高いレート(たとえば、画素ナイキストレートの20倍)でサンプリングされる、サンプリングされた画像データであることができる。
【0033】
本発明のフィルタリング技術を用いることができる画像データ処理および画像レンダリングプロセスは、スケーリング動作およびヒンティング動作を含むことができる。したがって、画像データ200は、スケーリングされ、および/またはヒンティングされたデータにすることができる。スケーリング動作は、本発明の線形フィルタリング動作と組み合わせてオーバーサンプリングされることになる画像データを準備するために有用である。
【0034】
ヒンティング動作は、ディスプレイ装置の特定の表示特性により、テキストのような画像の位置およびサイズを調整するために用いることができる。また、ヒンティング動作は、テキスト文字の太縦線のような画像の境界と、特定の色の画素サブコンポーネント間の選択された境界とを位置合わせし、コントラストを最適化し、かつ読み取りやすさを向上させるために実行されることもできる。
【0035】
画像データ200は、図3に示されるようなローパスフィルタ208に通される。表示される画像は、ある限度までのみ精細な細部を、具体的には、画素幅当たり0.5サイクル周波数までの正弦波を表わすことができることがよく知られている。したがって、アンチエイリアシング効果を排除するために、従来のレンダリングプロセスは、画像データ信号をローパスフィルタに通して、ナイキスト周波数より高い周波数を排除する。ナイキスト周波数は、画素幅当たり0.5サイクル値を有するものと定義される。本発明によれば、以下にさらに詳細に説明するように、画素当たり1サイクル近い周波数になるまで、エイリアシング効果が著しく大きくならないことが実験的にわかっている。したがって、ローパスフィルタ208は、画素当たり0.5サイクル値と、画素当たり1サイクル近い値との間のカットオフ周波数を有するように選択することができる。たとえば、本発明でなければ画素当たり0.5サイクルカットオフ周波数を用いて得られる空間解像度を改善しつつ、カットオフ周波数が、約0.6〜約0.9の範囲内、より好ましくは画素当たり約0.67サイクルあれば、適当なアンチエイリアシング機能を実現することができる。
【0036】
ローパスフィルタ208は、表示される画像を生成するために個々の画素サブコンポーネントに適用されることになる光度値を指示するビットマップ表現216あるいは別のデータ構造を作成するために、走査変換モジュール214において個々の画素サブコンポーネントにマッピングされる画像データのサンプルを得るように動作する。ローパスフィルタの動作は、画素サブコンポーネントを線形にフィルタリングし、その後、画素サブコンポーネントの位置において変位させてサンプリングするものとして数学的に表わすことができる。当分野において知られているように、フィルタリングして、その後サンプリングすることは1つのステップに結合することができ、そのステップでは、所望のサンプリング位置においてサンプルを生成する画像の領域にフィルタが適用されるだけである。ここで用いられるように、ローパスフィルタ208は、フィルタリングと、変位サンプリングとを結合した動作を行う。
【0037】
本明細書で開示される線形フィルタリング動作は、スケーリングされ、オプションでヒンティングされた画像データの走査変換に関連する。本発明のサンプリングフィルタおよび線形フィルタリング動作で用いるようになされる走査変換動作の一般的な原理は、1998年10月7日出願の「Methods and Apparatus for Performing Image Rendering and Rasterization Operations」というタイトルの米国特許出願第09/168,014号に開示されており、その明細書は参照して本明細書に援用している。
【0038】
ローパスフィルタ208は、鮮明度あるいは空間解像度として知覚される所望の度合いの輝度精度を保持しつつ、所望の度合いの色精度を得るために選択される。さらに以下に記載されるように、画素ではなく、個々の画素サブコンポーネントにサンプルをマッピングする間に、LCDディスプレイ上で、輝度精度を高めることと、色精度を高めることとの間には固有のトレードオフが存在する。
【0039】
図4は、画像データをフィルタリングし、その後、その画像データを変位させてサンプリングする一例を示す。本発明による、画像データをフィルタリングする一般化された例は、図5を参照しつつ以下に記載されるが、図4のフィルタリングは、フィルタリングし、その後、変位させてサンプリングする概念を例示するために与えられる。画像データ200は、赤色、緑色および青色成分202、204および206を有する3チャネルの連続した信号であり、図3を参照して上に記載されたように、ローパスフィルタを通されている。フィルタ220aは、この例では、3つの画素サブコンポーネントに対応する幅を有しており、チャネル202に適用される。チャネル202は、画像の赤色成分を表す。フィルタ220aから得られるサンプリングされたデータは、1つの画素サブコンポーネントに適用されるので、230aにおいて示されるサンプリングされたデータは、1つのサンプルと呼ぶことができる。したがって、本発明のこの実施形態による有効なサンプリングレートは、画素サブコンポーネント当たり1サンプル、あるいは画素当たり3サンプルある。
【0040】
サンプル230aは、ガンマ補正動作240にかけられ、図4に示されるような赤色画素サブコンポーネント250aにマッピングされる。したがって、赤色画素サブコンポーネント250aにマッピングされたサンプルは、赤色画素サブコンポーネント250a、緑色画素サブコンポーネント250bおよび青色画素サブコンポーネント250cを含む画素260の中心から1画素の3分の1だけ変位している。
【0041】
同様に、フィルタ220bは、図4の要素230bによって表わされるサンプルを得るために、画像の緑色成分を表わすチャネル204に適用される。同様に、フィルタ220cは、図4の要素230cとして示されるサンプルを生成するために、画像の青色成分を表すチャネル206に適用される。サンプル230bおよび230cは、それぞれ緑色画素サブコンポーネント250bおよび青色画素サブコンポーネント250cにマッピングされる。
【0042】
図4を参照して記載された上記のサンプリングおよびフィルタリング動作は、最小の色歪みと、適当な空間解像度を有する表示される画像を生成する。より高い空間解像度を得るために、本発明の実施形態は、最適化されているか、あるいはそうでなければ、色精度と空間解像度との間の所望のトレードオフを確立するために選択されている1組のサンプリングフィルタを用いる。
【0043】
図6の一般化された1組のフィルタの具体的な細部を説明する前に、フィルタを選択するための数学的な根拠の説明が与えられるであろう。最適化されたフィルタを選択するための数学的な根拠に関する以下の説明は、フィルタの値を計算するための技術の一例を表わしているにすぎないことを理解されたい。当業者であれば、本明細書に開示されることを習得する際に、フィルタを選択する問題に適用することができる、他の計算技術および色/輝度モデルを理解することができ、本発明は、そのような技法にしたがって選択されたフィルタを用いて画像データを処理することにも及ぶ。
【0044】
さらに高い水平方向解像度のLCD画素サブコンポーネントアレイを用いることは、最適化の問題として表現することができる。画像データは、画素サブコンポーネント解像度を有する輝度値と、画素解像度を有する色値とからなる所望のアレイを規定する。画像データに基づいて、所望の輝度および色にできるだけ近い画像を生成する画素サブコンポーネント値を生成するように、本発明にしたがってフィルタを選択することができる。最適化の問題を数学的に規定するために、上記のように、画像データによって規定される、LCD画素サブコンポーネントアレイの検出される出力と所望の出力との間の誤差を測定する誤差モデルを数学的に定義することができる。以下に記載されるように、その誤差モデルは、輝度と色精度との間の所望のバランスに達する最適フィルタを構成するために用いられるであろう。
【0045】
適切なフィルタを如何に選択できるかをさらに示すために、Y、U、V色空間の輝度および色を検出することに関連して、最適化問題を定義し、かつ解決する方法が以下に提供される。本発明により構成される最適フィルタの特性を特定するための準備として、人間の目に対して、画素サブコンポーネントの走査線上に表示される画像の現れ方が、輝度および色からなる所望のアレイに如何に近いかを特定する誤差測定基準が定義される。LCD装置は、互いから変位している画素サブコンポーネントを有する画素を含むが、誤差測定基準を構築するための根拠は、画素が一緒に位置する3つの色[R、G、B]からなるものと仮定するとき、輝度および色が如何に規定されるかを最初に検査することにより理解することができる。
【0046】
一緒に配置される画素の輝度Yは以下のように定義される。
【数1】
Figure 0004820004
【0047】
色に関する2つの次元が輝度から分離される。これらの2つの色の次元を定義する1つの便利な従来の方法は以下の通りである。
【数2】
Figure 0004820004
【0048】
U=V=0であるとき、画素は単色(R=G=B)である。一緒に配置される色源の場合に、Y、U,Vの上記の定義を詳述すると、画素サブコンポーネントが互いから変位されているLCD装置の場合の適当なY、U、Vを定義することができる。あるLCDの場合の色(U、V)の定義に関しては、赤色画素サブコンポーネントが、それに隣接する緑色および青色画素サブコンポーネントより輝度が高いときに、表示される物体のエッジが赤みを帯びて見えることが知られている。さらに、目は、ある位置における信号を、その位置の周囲の領域にわたって積分された関連する信号と比較するという意味で、「中心/周囲」と呼ばれる関数を計算することがよく知られている。これらの観測に基づいて、LCDに関するUのための適当なモデルは、赤色画素サブコンポーネントと、その周囲の画素サブコンポーネントの輝度とを比較することである。図5Aは、画素サブコンポーネントの走査線において画素に適用されることになるUiの値を計算するための技術を図式的に表わす。
【数3】
Figure 0004820004
【0049】
図5Aを参照すると、走査線300は、画素302i−1、302iおよび302i+1を含む。値Uiは、GiおよびBi-1の値とともに、値Riに基づいて、この色モデルにしたがって計算される。ただし、GiおよびBi-1はその赤色画素サブコンポーネントに隣接するが、別の画素内に存在する。目は低解像度で色を認識するので、Uは、赤色画素サブコンポーネント上に中心がある、第3の画素サブコンポーネント毎にのみ、このモデルにおいて考慮される。
【0050】
同様に、LCD上に表示される物体のエッジは、青色画素サブコンポーネントがそれに隣接する画素サブコンポーネントより輝度が高いときに、青みがかって見える。図5Bに示されるように、画素サブコンポーネントの走査線内の画素に適用されることになるViの値は、以下のように計算することができる。
【数4】
Figure 0004820004
【0051】
再び、目によって認識される色解像度が比較的低いことに起因して、Vは、青色画素サブコンポーネント上に中心がある、第3の画素サブコンポーネント毎にのみ、この色モデルにおいて考慮される。図5Bに示されるように、Viの値は、GiおよびRi+1の値とともに、Biの値に基づいて、この色モデルにおいて計算される。ただし、GiおよびRi+1は、青色画素サブコンポーネントに隣接するが、異なる画素内に存在する。
【0052】
iおよびViのこれらの定義を用いて、色誤差の測定基準を定義することができる。色誤差の測定基準は、LCD走査線上に表示される、画像データを検査することにより判定される画像の色が、理想的な色から如何に偏移しているかを表わす。Ri、GiおよびBiとして指定される画素サブコンポーネントのアレイと、Ui *およびVi *の所望の色値とを与えると、色誤差の測定基準は、個々の色誤差の二乗誤差の和であり、以下のように定義される。
【数5】
Figure 0004820004
ただし、αおよびβはパラメータであり、その値は、全般に以下にさらに記載されるように、U、Vおよび色成分の相対的な重要度を指示するために、所望に応じて選択することができる。
【0053】
その誤差の残りの部分は輝度誤差に関係する。LCDが一定の色(たとえば、赤色)を表示するとき、赤色画素サブコンポーネントのみがオンされ、緑色および青色はオフされる。それゆえ、画素レベルでは、画面にわたって不均一な輝度のパターンが存在する。しかしながら、目は不均一な輝度のパターンを認識せず、代わりに、画面にわたって0.3の一定の輝度を視認する。したがって、適当な輝度モデルは、目がサブピクセルの輝度エッジを認識することができるという事実を利用しつつ、この観測結果をモデル化することになる。
【0054】
上記の制限にしたがって輝度モデルを定義するための1つのアプローチは、3つの画素サブコンポーネント毎に、標準的な輝度の式を適用することにより、画素サブコンポーネント毎に輝度値を計算することである。Yj *は、j番目の画素サブコンポーネントの所望の輝度として定義される。i番目の画素の場合、Y3i-2 *は、赤色画素サブコンポーネントにおける所望の輝度であり、Y3i-1 *は、緑色画素サブコンポーネントにおける所望の輝度であり、Y3i *は、青色画素サブコンポーネントにおける所望の輝度である。図5Cに図式的に示されるように、Y3i-2 *、Y3i-1 *およびY3i *は、目によって認識されるような輝度値を表わしており、以下のように計算することができる。
【数6】
Figure 0004820004
【0055】
輝度のためのこのモデルは2つの制限を満足する。一定の色が走査線に適用される場合には、輝度は走査線にわたって一定である。しかしながら、画素サブコンポーネント内に鋭いエッジが存在する場合には、同じサブピクセル位置に中心がある認識されるエッジの鋭さはそれに応じて小さくなるであろう。上記の内容に基づいて、LCD走査線上に表示される画像の場合に目によって認識されるような輝度のための二乗誤差測定基準は以下の通りである。
【数7】
Figure 0004820004
【0056】
LCD走査線のための全誤差測定基準は以下の通りである。
【数8】
Figure 0004820004
【0057】
3つの画素サブコンポーネント毎の場合、5つの制限、すなわち3つの輝度と2つの色の制限がある。したがって、個々の画素サブコンポーネントにサンプルをマッピングすることにより、LCD走査線上に画像を表示するタスクには、極端な制約が加えられる。画素サブコンポーネントアレイは完全には、色誤差を含まずに高周波数の輝度を表示することはできない。しかしながら、この式Ecolor内のパラメータαおよびβは、色精度と鮮明度との間のトレードオフを制御する。αおよびβが大きいとき、色誤差は、輝度誤差よりも重要であると考えられる。逆に、αおよびβが小さい場合には、高解像度の輝度を表わすことは、色誤差よりも重要であると考えられる。したがって、αおよびβは、色精度と輝度精度との間のバランスを変更するために所望に応じて調整することができるパラメータである。本発明の実装形態に応じて、αおよびβの値は、製造業者が設定することができるか、あるいはLCDディスプレイ装置を個人の好みに調整するためにユーザが選択することができる。
【0058】
全誤差測定基準を用いて、Ri、GiおよびBiの最適な値を求めることができる。Yj *、Uj *およびVj *の値は、たとえば、(Rj *、Gj *およびBj *)に対応する点サンプルを生成するために3倍だけオーバーサンプリングされている画像データを検査することにより計算することができる。最も簡単なのは、所望の画像が、テキストの場合に多く見られるように黒色と白色の場合である。白黒画像の場合、全ての画素iの場合に、Ui *=Vi *=0である。Yj *の値は、Yの従来通りの定義を用いて以下のように計算することができる。
【数9】
Figure 0004820004
【0059】
フィルタを用いずにYj *を計算すると、Yjに関して強制的に最適な結果が得られ、可能な限り輝度誤差が小さくなり、結果として、可能な限り鮮明度が高くなる。
【0060】
フルカラー画像の場合、Ui *およびVi *の値は、3つのサンプル、すなわち3つの画素サブコンポーネントの幅を有するボックスフィルタを画像データに適用し、特定された(Rj *、Gj *、Bj *)に関して従来のUおよびVの定義を用いることにより計算することができる。ボックスフィルタが所望のUi *およびVi *値を適切に近似することがわかっているが、他のフィルタを用いることもできる。Yj *の値は、白黒の場合を参照して記載されたのと同じように計算される。
【0061】
最適な画素サブコンポーネント値(Ri、Gi、Bi)は、画素サブコンポーネント変数それぞれに関して全誤差測定基準を最小にする、言い換えると、Ri、GiおよびBiに関して、誤差関数の偏導関数を0に設定することにより計算することができる。
【数10】
Figure 0004820004
【0062】
変数Ri、GiおよびBiは、二次式の誤差判定基準においてのみ現れるので、その導関数は線形である。したがって、上記の式は、線形系に結合することができる。
【数11】
Figure 0004820004
ただし、行列Mは一定で、5項を有し、その主要項と、主要項に直に隣接する2つの項でのみ0ではないエントリを有する。画素の残りの部分とともに計算され、後に破棄される2つの余分な画素(R0、G0、B0)および(RN+1、GN+1、BN+1)を加えることにより、端部効果を取り扱うことができる。
【0063】
線形系を用いて、上記の線形系内の左側のベクトルの値を計算するためにいくつかの方法がある。最初に、右側のベクトルを、Yj *、Uj *およびVj *の所望の値を用いて計算することができる。その後、左側のベクトルのための線形系は、任意の適当な計算技法を用いて解くことができる。その技法の一例は、帯状行例求解法(banded matrix solver)である。
【0064】
左側ベクトルのための線形系を解く別の方法は、右側ベクトルに適用される際に、その線形系を近似的に解く直接フィルタを見つけることである。この技法は、Yj *、Uj *およびVj *の所望の値を用いて右側ベクトルを計算し、その後、直接フィルタで右側ベクトルをたたみ込むことを含む。その解法を近似するためのこのアプローチは、3つの行が1画素だけシフトされていることを除いて、Mの逆行列が3行毎に近似的に繰り返すという観測結果に基づいて有効である。この繰返しパターンは、色精度と鮮明度との間の正確なバランスに到達することになるフィルタリングを近似するために、本発明で用いることができる直接フィルタを表す。
【0065】
この近似は、無限の長さを有する走査線の場合に厳密であろう。直接フィルタは、大きな走査線のための行列Mの逆行列を求め、その後、その逆行列の中心あるいは中心付近で3つの行をとることにより数値として導出することができる。一般に、より大きなαおよびβの値によって、直接フィルタは少ない桁で打ち切られることができるようになる。
【0066】
第3のアプローチは、右側ベクトルの計算を直接フィルタリングと組み合わせ、3倍だけオーバーサンプリングされた画像データ(すなわち、Rj *、Gj *、Bj *)を直接画素サブコンポーネント値にマッピングする9個のフィルタを形成することを含む。この第3のアプローチにしたがって選択される一般化された9個一組のフィルタが、図6および図7を参照して以下にさらに記載される。
【0067】
上記の例にしたがって画像データを処理するためのフィルタを選択するための数学的な技法のさらに詳細な説明は、米国仮特許出願第60/115,573号および米国仮特許出願第60/115,731号に見ることができ、その特許出願は本明細書において参照して援用する。
【0068】
上記の計算技法のうちの任意の技法を用いて、色精度と鮮明度との間の所望のトレードオフを確立、あるいは概ね確立するフィルタを生成することができる。フィルタを選択するための数学的アプローチの上記の説明は、例示するためのものであり、制限するためのものではないことを理解されたい。実際には、フィルタが選択される態様にかかわらず、本発明は、本明細書に開示される一般的な原理に一致するフィルタを利用する画像処理およびフィルタリング技術に及ぶ。画像データを処理およびフィルタリングするためのそのような技術を含むことに加えて、本発明は、本明細書に開示されるような、解析的アプローチを用いてフィルタを選択するプロセスにも及ぶ。
【0069】
本発明は、同色の画素サブコンポーネントのストライプを有するLCDディスプレイ装置を参照して記載されている。このタイプのLCD装置の場合、本明細書で提供される色および輝度解析は、1次元、すなわち走査線の向きに一致する直線方向のみを考慮する。言い換えると、ストライプ式のLCDディスプレイ装置上でY、UおよびVを表現するための上記のモデルは、走査線の向きに平行な方向に画素サブコンポーネントを並置することによって生成される効果のみを考慮に入れる。当業者であれば、本明細書に開示される内容を習得する際に、そのモデルを、他の画素サブコンポーネントの上、下および横にある画素の位置および効果を考慮に入れる2次元で如何に定義することができるかを理解されよう。1次元モデルは、ストライプ式のLCD装置の色の知覚を適当に記述するが、デルタパターンのような他の画素サブコンポーネントパターンは、2次元解析に向いている。あらゆる場合に、本発明は、色モデルに関連する次元数あるいは他のそのようなモデルの詳細とは無関係に、誤差判定基準の最適化の観点から選択されたフィルタ、あるいはそのような最適化に一致するか、またはそのような最適化を近似するフィルタに及ぶ。
【0070】
上記の色のモデル化は、色空間の色のR、G、BおよびY、U、V測定を参照して記載されてきた。個別に制御可能な画素サブコンポーネントを有するディスプレイ装置上の画像の色および輝度の知覚をモデル化することは、色空間内の他の色の次元に関しても実行することができる。色空間内の色をローテーションすることは単なる線形動作なので、「誤差判定基準」は、任意の特定のモデルにおいて用いられる色の次元に関係なく、色の誤差および輝度の誤差を正確、かつ適切に表現するものと考えられる。さらに、用いられる色の次元に関係なく、最適化問題は、色精度と輝度精度との間のバランスに達することに関して適切に記述される。
【0071】
一般化された1組の最適化されたフィルタが、図6に示される。図6の線形フィルタは、上記の線形系の解法によって生成されているか、あるいはその線形系の解法に一致する特性を有する。図6では、信号300は、チャネル302、304、306を有しており、9個のフィルタ、すなわち1つのチャネルと1つの画素サブコンポーネントとの各組み合わせに対して1つのフィルタを含む1組のフィルタ310に通される。具体的には、1組のフィルタ310は、R→R、R→G、R→B、G→R、G→G、G→B、B→R、B→GおよびB→Bの組み合わせで、チャネルを画素サブコンポーネントにマッピングするフィルタを含む。
【0072】
色精度と輝度精度との間の所望のバランスを生成、あるいは概ね生成することがわかっているフィルタ係数の一例が図7に与えられる。図7の最適フィルタと従来のアンチエイリアシングフィルタとの間には、少なくとも主に2つの違いがある。第1に、同色(R→R、G→GおよびB→B)フィルタは、従来のアンチエイリアシングフィルタと非常によく似た形状になるが、各同色フィルタは、画素の中心ではなく、概ね、対応する画素サブコンポーネントの場所に中心がある。従来のアンチエイリアシングは、緑色画素サブコンポーネントと一致するかのように、赤色および青色画素サブコンポーネント値を計算し、その後、1画素の1/3だけ左側あるいは右側にシフトした赤色および青色成分を表示する。ある画像内の物体が2つ以上の原色を含む場合には、以前の技術を用いてこれらの原色をシフトすると、不鮮明になる可能性が高い。しかしながら、本発明によりアンチエイリアシングフィルタを変位させることにより、そのフィルタによって、わずかな色縁は現れるが、不鮮明さが排除される。第2の違いは、全ての入力色が、全ての画素サブコンポーネント色に結合されることである。この結合は、画素ナイキスト周波数付近で最も強くなり、その結果、縁付近で輝度に鮮明度が加わる。
【0073】
上記のように、図7の典型的な最適フィルタは、9個全ての線形フィルタの場合に、3つの画素サブコンポーネントそれぞれのための3つの異なる線形フィルタとして完全に記述されることができる。ディスプレイ装置上に画像を表示するための準備として画像データを処理するために、3つの各線形フィルタは、3倍だけオーバーサンプリングされている、言い換えると、画素に対応する画像データの各領域のために3つのサンプルを有する、画像信号の対応する色成分に適用される。また、本発明は、他のファクタによって画像データをサンプリングし、かつサンプルの数に対応するようにフィルタを調整することにより実施することもできる。図7では、x軸は、3倍だけオーバーサンプリングされている画像データを示しており、y軸は、フィルタ係数を表す。図7の9個の線形フィルタは、フィルタの形状を示すためにグラフ上で互いに上下に移動していることに留意されたい。したがって、係数の値は、y軸上のゼロ点からではなく、各フィルタの基線のセロから測定される。
【0074】
また、最適フィルタは、その入力および出力が同じ色であり、標準的なボックスフィルタより急激なロールオフを与える、わずかに負のローブを有する滑らかな特性を有するボックスフィルタであることにも留意されたい。また、R→R,G→GおよびB→Bフィルタは、単位利得DC応答も有する。しかしながら、入力から出力に異なる色を結合するフィルタも存在する。その目的は、色誤差を相殺することである。異なる色の入力/出力を有するフィルタは、本発明のこの実施形態によればセロDC応答を有する。
【0075】
図7に示されるフィルタは、色精度と輝度精度との間の所望のバランスを確立することがわかっているが、本発明は、最適化されたフィルタの解析から示唆されるか、あるいは図7の最適化されたフィルタを生成する式の解を近似する他のフィルタにも及ぶ。たとえば、本発明は、色入力を同色の画素サブコンポーネントに結び付ける単位DCローパスフィルタを含む一群のフィルタのうちの任意のフィルタを用いることにより実施することができ、その場合、カットオフ周波数は、画素当たり0.5サイクルと画素当たり1サイクルの間にあり、セロ利得DC応答フィルタが、色入力を、他の色を有する画素サブコンポーネントに結び付ける。
【0076】
色精度と輝度精度との間の所望のバランスを得るために、画像データがサンプリングされ、かつマッピングされるフィルタリング動作を含むように、画像データが本明細書に開示されるように処理されるとき、画像データは、種々の色からなる個別に制御可能な画素サブコンポーネントを有するLCD装置あるいは任意の他のディスプレイ装置上に表示されるために準備される。フィルタリングされたデータは、画素に対してではなく、画素の個々の画素サブコンポーネントにマッピングされるサンプルを表す。サンプルは、画素サブコンポーネントに適用されることになる光度値を選択するために用いられる。このようにして、ディスプレイ装置上に表示されることになる画像のビットマップ表現、あるいは画像の走査線を収集することができる。
【0077】
その処理およびフィルタリングは、画像のラスタ化およびレンダリングを行っている間に行うことができる。別法では、その処理およびフィルタリングは、表示される画像に繰返し含まれることになる、テキスト文字のような特定の画像に対して行うことができる。この場合、テキスト文字は、最適に表示するために準備され、ドキュメントにおいて後に用いるフォント文字キャッシュ内に格納することができる。
【0078】
ディスプレイ装置上に表示されるような画像は、所望の色精度と輝度精度とを有し、また、サンプルを、個々の画素サブコンポーネントではなく、画素にマッピングする従来の技法を用いて表示される画像に比べて改善された解像度も有する。
【0079】
本発明は、その精神および不可欠な特徴から逸脱することなく他の特定の形態において具現することもできる。記載される実施形態は、全ての点で、単なる例示にすぎず、限定するものと見なされるべきではない。それゆえ、本発明の範囲は、上記の記載によってではなく、添付の請求の範囲によって示される。請求の範囲の等価な意味および範囲内に入る全ての変更は、その範囲に含まれることになる。
【図面の簡単な説明】
【図1】 図1Aは、本発明に適した動作環境を提供する典型的なシステムを示す図であり、図1Bは、本発明にしたがって文字を表示することができるLCD装置を有するポータブルコンピュータを示す図である。
【図2】 図2Aは、LCD装置の一部を示し、LCD装置の画素の個別に制御可能な画素サブコンポーネントを示す図であり、図2Bは、LCD装置の一部を示し、LCD装置の画素の個別に制御可能な画素サブコンポーネントを示す図である。
【図3】 LCD装置上の画像を表示するのに備えて、画像データを処理し、かつフィルタリングするシステムの選択された機能モジュールを示す上位のブロック図である。
【図4】 それぞれ画像の色成分を表わす3つのチャネルを有する画像データ信号を示し、さらに、その画像データの変位サンプリングを示す図である。
【図5】 図5Aは、本発明の一実施形態による、LCD装置の走査線の一部と、そのLCD装置のためにY、U、Vを如何にモデル化することができるかとを示す図であり、図5Bは、本発明の一実施形態による、LCD装置の走査線の一部と、そのLCD装置のためにY、U、Vを如何にモデル化することができるかとを示す図であり、図5Cは、本発明の一実施形態による、LCD装置の走査線の一部と、そのLCD装置のためにY、U、Vを如何にモデル化することができるかとを示す図である。
【図6】 図6は、LCD装置上の画素の赤色、緑色および青色画素サブコンポーネントに、画像データをマッピングするために、画像信号に適用される、一般化された9個一組の線形フィルタを示す図である。
【図7】 図7は、色精度と輝度精度との間の所望のバランスを確立する、図6の一般化された9個一組のフィルタのフィルタ係数の一例を示すグラフである。

Claims (8)

  1. ディスプレイ装置に関連する処理装置であって、前記ディスプレイ装置が、複数の画素を有し、各画素が複数の画素サブコンポーネントを有する、前記の処理装置において、前記ディスプレイ装置上に画像を表示するための準備として画像データを処理する方法であって、前記画素サブコンポーネントが前記画像のうちの前記各画素に対応する領域内の空間的に互いに異なる部分を表し、かつ前記画像が所望の度合いの輝度精度とこれに対応する所望の度合いの色精度とでレンダリングされるようにし、前記方法が、
    前記画像データが符号化された信号をローパスフィルタに通すことによってフィルタリングするステップであって、前記信号が、それぞれ前記画像の異なる色成分を表す複数のチャネルを有し、該フィルタリングするステップが、前記色精度と前記輝度精度との間の所望のトレードオフを確立するために、前記ローパスフィルタのフィルタリング係数を選択するためのステップを含み、前記フィルタリング係数を選択するための前記ステップは、前記フィルタリング係数が前記ディスプレイ装置のために構成される誤差測定基準を最小にするように行われ、前記誤差測定基準は、前記ディスプレイ装置の色誤差および輝度誤差を表す、ステップと、
    フィルタリングされた信号から前記複数の画素に対するフィルタリングされた画像データを生成するステップであって、前記フィルタリングされた画像データが前記複数のチャネルが表す前記画像のフィルタリングされた異なった色成分を含み、前記フィルタリングされた画像データのうちの各画素に対応する領域内の空間的に異なる部分を表すデータが、前記各画素の個々の画素サブコンポーネントにマッピングされる、ステップと、
    を含む方法。
  2. 前記誤差測定基準はパラメータ化され、これによって前記パラメータの値を選択することにより、所望の度合いの色精度と所望の度合いの輝度精度とのために前記誤差測定基準を調整することができる、請求項に記載の方法。
  3. ディスプレイ装置に関連する処理装置であって、前記ディスプレイ装置が、複数の画素を有し、各画素が複数の画素サブコンポーネントを有する、前記の処理装置において、前記ディスプレイ装置上に画像を表示するための準備として画像データを処理する方法であって、前記画素サブコンポーネントが前記画像のうちの前記各画素に対応する領域内の空間的に互いに異なる部分を表し、かつ前記画像が所望の度合いの輝度精度とこれに対応する所望の度合いの色精度とでレンダリングされるようにし、前記方法が、
    前記画像データが符号化された信号をローパスフィルタに通すことによってフィルタリングするステップであって、前記信号が、それぞれ前記画像の異なる色成分を表す複数のチャネルを有し、該フィルタリングするステップが、前記色精度と前記輝度精度との間の所望のトレードオフを確立するために、前記ローパスフィルタのフィルタリング係数を選択するためのステップを含み、前記フィルタリング係数を選択するための前記ステップは、前記フィルタリング係数が前記ディスプレイ装置のために構成される誤差測定基準を最小にする最適化されたフィルタのフィルタリング係数を近似するように行われ、前記誤差測定基準は、前記ディスプレイ装置の選択された部分の前記色誤差および前記輝度誤差を表す、ステップと、
    フィルタリングされた信号から前記複数の画素に対するフィルタリングされた画像データを生成するステップであって、前記フィルタリングされた画像データが前記複数のチャネルが表す前記画像のフィルタリングされた異なった色成分を含み、前記フィルタリングされた画像データのうちの各画素に対応する領域内の空間的に異なる部分を表すデータが、前記各画素の個々の画素サブコンポーネントにマッピングされる、ステップと、
    を含む方法。
  4. ディスプレイ装置に関連する処理装置であって、前記ディスプレイ装置が、複数の画素を有し、各画素が複数の画素サブコンポーネントを有する、前記の処理装置において、前記ディスプレイ装置上に画像を表示する方法であって、前記画素サブコンポーネントが前記画像のうちの前記各画素に対応する領域内の空間的に互いに異なる部分を表し、かつ前記画像が所望の度合いの輝度精度とこれに対応する所望の度合いの色精度とでレンダリングされるようにし、前記方法が、
    画像データが符号化された信号を複数のローパスフィルタに通すことによってフィルタリングするステップであって、前記信号が、それぞれ前記画像の異なる色成分を表す複数のチャネルを有し、前記複数のフィルタは、前記ディスプレイ装置のために構成された誤差測定基準を最小にする最適化されたフィルタの係数を少なくとも近似するように選択されたフィルタリング係数を有するフィルタを含む、ステップと、
    フィルタリングされた信号から前記複数の画素に対するフィルタリングされた画像データを生成するステップであって、前記フィルタリングされた画像データが前記複数のチャネルが表す前記画像のフィルタリングされた異なった色成分を含み、前記フィルタリングされた画像データのうちの各画素に対応する領域内の空間的に異なる部分を表すデータが、前記各画素の個々の画素サブコンポーネントにマッピングされる、ステップと、
    を含む方法。
  5. 前記複数のフィルタは、前記各画素の前記複数の画素サブコンポーネントそれぞれに対して1つのみのフィルタを含む、請求項に記載の方法。
  6. 前記複数のフィルタは、前記複数のチャネルに含まれるチャネルの数と、前記各画素の前記複数の画素サブコンポーネントに含まれる画素サブコンポーネントの数とを掛け合わせることによって得られる積に等しい数のフィルタを含む、請求項に記載の方法。
  7. 前記誤差測定基準は、色精度と輝度精度との間の所望のトレードオフを確立するために選択され、該誤差測定基準は、前記ディスプレイ装置の選択された部分の色誤差および輝度誤差を表す、請求項に記載の方法。
  8. 前記誤差測定基準はパラメータ化され、これによって前記パラメータの値を選択することにより、所望の度合いの色精度と所望の度合いの輝度精度のために前記誤差測定基準を調整することができる、請求項に記載の方法。
JP2000594071A 1999-01-12 2000-01-12 ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム Expired - Fee Related JP4820004B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US11557399P 1999-01-12 1999-01-12
US11573199P 1999-01-12 1999-01-12
US60/115,573 1999-01-12
US60/115,731 1999-01-12
US09/364,365 US6393145B2 (en) 1999-01-12 1999-07-30 Methods apparatus and data structures for enhancing the resolution of images to be rendered on patterned display devices
US09/364,365 1999-07-30
PCT/US2000/000847 WO2000042564A2 (en) 1999-01-12 2000-01-12 Filtering image data to obtain samples mapped to pixel sub-components of a display device

Publications (3)

Publication Number Publication Date
JP2002535757A JP2002535757A (ja) 2002-10-22
JP2002535757A5 JP2002535757A5 (ja) 2011-03-03
JP4820004B2 true JP4820004B2 (ja) 2011-11-24

Family

ID=27381688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000594071A Expired - Fee Related JP4820004B2 (ja) 1999-01-12 2000-01-12 ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム

Country Status (7)

Country Link
US (1) US7085412B2 (ja)
EP (1) EP1161739B1 (ja)
JP (1) JP4820004B2 (ja)
AT (1) ATE406647T1 (ja)
AU (1) AU2504800A (ja)
DE (1) DE60040063D1 (ja)
WO (1) WO2000042564A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393145B2 (en) * 1999-01-12 2002-05-21 Microsoft Corporation Methods apparatus and data structures for enhancing the resolution of images to be rendered on patterned display devices
KR20020008040A (ko) 2000-07-18 2002-01-29 마츠시타 덴끼 산교 가부시키가이샤 표시 장치, 표시 방법 및 표시 제어 프로그램을 기록한기록 매체
CN1179312C (zh) 2000-07-19 2004-12-08 松下电器产业株式会社 显示方法
JP3476784B2 (ja) 2001-03-26 2003-12-10 松下電器産業株式会社 表示方法
JP3476787B2 (ja) 2001-04-20 2003-12-10 松下電器産業株式会社 表示装置及び表示方法
WO2002088908A2 (en) 2001-05-02 2002-11-07 Bitstream Inc. Methods, systems, and programming for producing and displaying subpixel-optimized font bitmaps using non-linear color balancing
US7219309B2 (en) 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US7184066B2 (en) 2001-05-09 2007-02-27 Clairvoyante, Inc Methods and systems for sub-pixel rendering with adaptive filtering
JP3719590B2 (ja) 2001-05-24 2005-11-24 松下電器産業株式会社 表示方法及び表示装置ならびに画像処理方法
JP5031954B2 (ja) 2001-07-25 2012-09-26 パナソニック株式会社 表示装置、表示方法及び表示制御プログラムを記録した記録媒体
US20030210834A1 (en) * 2002-05-13 2003-11-13 Gregory Hitchcock Displaying static images using spatially displaced sampling with semantic data
US6894701B2 (en) * 2002-05-14 2005-05-17 Microsoft Corporation Type size dependent anti-aliasing in sub-pixel precision rendering systems
US7590306B2 (en) * 2003-11-26 2009-09-15 Ge Medical Systems Global Technology Company, Llc Resolution adaptive image filtering system and method
CN1957606B (zh) * 2004-03-22 2011-07-13 汤姆森特许公司 改进由空间光调制显示系统提供的图像的方法和装置
US7760231B2 (en) * 2005-03-09 2010-07-20 Pixar Animated display calibration method and apparatus
US20080018577A1 (en) * 2006-07-23 2008-01-24 Peter James Fricke Display element having individually turned-on steps
US20080018576A1 (en) * 2006-07-23 2008-01-24 Peter James Fricke Display element having groups of individually turned-on steps
US20080018673A1 (en) * 2006-07-24 2008-01-24 Peter James Fricke Display element having substantially equally spaced human visual system (HVS) perceived lightness levels
GB2445982A (en) * 2007-01-24 2008-07-30 Sharp Kk Image data processing method and apparatus for a multiview display device
KR101058140B1 (ko) * 2007-05-11 2011-08-24 나그라스타 엘.엘.씨. 보안 환경에서 프로세서 실행을 제어하기 위한 장치
US10740886B1 (en) * 2018-11-27 2020-08-11 Gopro, Inc. Systems and methods for scoring images
US11551636B1 (en) * 2020-09-28 2023-01-10 Meta Platforms Technologies, Llc Constrained rendering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02126285A (ja) * 1988-11-05 1990-05-15 Sharp Corp 液晶駆動回路
JPH02170784A (ja) * 1988-12-23 1990-07-02 Sharp Corp 液晶パネルを駆動するためのラインメモリ回路
JPH08166778A (ja) * 1994-12-14 1996-06-25 Internatl Business Mach Corp <Ibm> 液晶表示方法及び装置
JPH11212526A (ja) * 1997-10-22 1999-08-06 Carl Zeiss:Fa カラースクリーンに画像を生成する方法及びそれに適するカラースクリーン

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4136359A (en) * 1977-04-11 1979-01-23 Apple Computer, Inc. Microcomputer for use with video display
US4278972A (en) * 1978-05-26 1981-07-14 Apple Computer, Inc. Digitally-controlled color signal generation means for use with display
US4217604A (en) * 1978-09-11 1980-08-12 Apple Computer, Inc. Apparatus for digitally controlling pal color display
US4463380A (en) * 1981-09-25 1984-07-31 Vought Corporation Image processing system
US4513374A (en) * 1981-09-25 1985-04-23 Ltv Aerospace And Defense Memory system
US4663661A (en) * 1985-05-23 1987-05-05 Eastman Kodak Company Single sensor color video camera with blurring filter
DE68923683T2 (de) * 1988-11-05 1996-02-15 Sharp Kk Steuereinrichtung und -verfahren für eine Flüssigkristallanzeigetafel.
DE68921592T2 (de) * 1988-12-29 1995-10-19 Sony Corp Wiedergabevorrichtung.
US5254982A (en) * 1989-01-13 1993-10-19 International Business Machines Corporation Error propagated image halftoning with time-varying phase shift
US5298915A (en) * 1989-04-10 1994-03-29 Cirrus Logic, Inc. System and method for producing a palette of many colors on a display screen having digitally-commanded pixels
US5185602A (en) * 1989-04-10 1993-02-09 Cirrus Logic, Inc. Method and apparatus for producing perception of high quality grayscale shading on digitally commanded displays
US5870097A (en) * 1995-08-04 1999-02-09 Microsoft Corporation Method and system for improving shadowing in a graphics rendering system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02126285A (ja) * 1988-11-05 1990-05-15 Sharp Corp 液晶駆動回路
JPH02170784A (ja) * 1988-12-23 1990-07-02 Sharp Corp 液晶パネルを駆動するためのラインメモリ回路
JPH08166778A (ja) * 1994-12-14 1996-06-25 Internatl Business Mach Corp <Ibm> 液晶表示方法及び装置
JPH11212526A (ja) * 1997-10-22 1999-08-06 Carl Zeiss:Fa カラースクリーンに画像を生成する方法及びそれに適するカラースクリーン

Also Published As

Publication number Publication date
ATE406647T1 (de) 2008-09-15
WO2000042564A2 (en) 2000-07-20
WO2000042564A3 (en) 2000-11-30
JP2002535757A (ja) 2002-10-22
AU2504800A (en) 2000-08-01
EP1161739A4 (en) 2003-03-26
EP1161739A2 (en) 2001-12-12
EP1161739B1 (en) 2008-08-27
US20050238228A1 (en) 2005-10-27
US7085412B2 (en) 2006-08-01
DE60040063D1 (de) 2008-10-09

Similar Documents

Publication Publication Date Title
JP4820004B2 (ja) ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム
CN100362529C (zh) 在子象素精度再现系统中依赖字体尺寸的反走样
US6356278B1 (en) Methods and systems for asymmeteric supersampling rasterization of image data
TWI303723B (en) Method for rendering data of a color space onto the display of another color space
US6377262B1 (en) Rendering sub-pixel precision characters having widths compatible with pixel precision characters
JP4832642B2 (ja) コンピュータ・システムにおいて表示画像の解像度を高める方法、およびコンピュータ読み取り可能命令を担持するコンピュータ読み取り可能媒体
JP4667604B2 (ja) パターン化ディスプレイ装置上にレンダリングする画像の解像度を高める方法、装置およびデータ構造
JP5231696B2 (ja) 表示される画像の解像度を改善する方法およびコンピュータ・システム
US7221381B2 (en) Methods and systems for sub-pixel rendering with gamma adjustment
JP4456332B2 (ja) 1つの副画素フォーマット・データから別の副画素データ・フォーマットへの変換
EP1576797B1 (en) Methods and apparatus for filtering and caching data representing images
US8081835B2 (en) Multiprimary color sub-pixel rendering with metameric filtering
JP2018032041A (ja) グレー・スケールおよびカラー表示の方法および装置
KR100818718B1 (ko) 화상 처리 장치, 및 화상 처리 프로그램이 기록된 컴퓨터판독가능한 기록 매체
JP5231697B2 (ja) 表示される画像の解像度を改善する方法およびコンピュータ・システム
US6751362B2 (en) Pixel resampling system and method for text
US6973210B1 (en) Filtering image data to obtain samples mapped to pixel sub-components of a display device
JP4928710B2 (ja) 空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム
TWI446334B (zh) 用於顯示裝置之次像素著色重新取樣函數
Blinn 20.1: Invited Paper: What Is A Pixel?
TWI238011B (en) Methods and systems for sub-pixel rendering with gamma adjustment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101012

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101019

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110512

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110902

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees