JP4005904B2 - 表示装置、及び表示方法 - Google Patents
表示装置、及び表示方法 Download PDFInfo
- Publication number
- JP4005904B2 JP4005904B2 JP2002344020A JP2002344020A JP4005904B2 JP 4005904 B2 JP4005904 B2 JP 4005904B2 JP 2002344020 A JP2002344020 A JP 2002344020A JP 2002344020 A JP2002344020 A JP 2002344020A JP 4005904 B2 JP4005904 B2 JP 4005904B2
- Authority
- JP
- Japan
- Prior art keywords
- subpixel
- color
- sub
- filtering
- dissimilarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2003—Display of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/24—Generation of individual character patterns
- G09G5/28—Generation of individual character patterns for enhancement of character form, e.g. smoothing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0457—Improvement of perceived resolution by subpixel rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Liquid Crystal Display Device Control (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、Ｒ、Ｇ、Ｂ３原色の発光素子を並設した表示デバイスにおいて高品質表示を行う表示技術に関する。
【０００２】
【従来の技術】
従来から、種々の表示デバイスを用いた表示装置が使用されている。このような表示装置のうち、例えば、液晶ディスプレイやプラズマディスプレイのようにＲＧＢ３原色の各色を発色する発色素子を一定の順序で第１の方向に並設して１画素を構成し、複数の画素を第１の方向に並設して１ラインを構成し、このラインを第１の方向と直交する方向に複数設けて表示画面を構成するものがある。このとき、各発光素子は１画素よりも小さな存在であり、サブピクセルと呼ばれる。
【０００３】
通常、表示デバイスでは１画素を制御の単位として表示が行われる。しかし、携帯電話、モバイルコンピュータなどに搭載される表示デバイスのように、表示画面が狭く、細かな表示を行いにくい表示デバイスも多い。このような表示デバイスで、小さな文字や写真、または複雑な絵等を表示しようとすると、解像度の低さから斜線にシャギーが発生しやすい。
【０００４】
これに対し、http://grc.com/cleartype.htmの“Sub Pixel Font Rendering Technology”と題する論文（非特許文献１）や、ＷＯ ００１４２７６２号公報（特許文献１）において、サブピクセルを個別に制御することで、単なる画素精度の表示よりも見やすさを向上できる、サブピクセル精度の高品質表示技術が開示されている。
【０００５】
サブピクセル精度の画像をそのまま表示画面に表示した場合、第１の方向の周囲の画素に比べて色の差異が大きい画素（画像のエッジ部分）において、当該画素を構成する３つの発色素子の輝度に偏りがあるため色むらが発生する。このため、サブピクセル精度の高品質表示を行うためには、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を各サブピクセルに施す必要がある。
【０００６】
【特許文献１】
ＷＯ ００１４２７６２号公報（第２５項、第１１、１３図）
【０００７】
【非特許文献１】
“Sub Pixel Font Rendering Technology”、［online］、２０００年２月２０日、ギブソン・リサーチ・コーポレイション（Gibson Research Corporation）、［２０００年６月１９日検索］、インターネット＜URL：http://grc.com/cleartype.htm＞
【０００８】
【発明が解決しようとする課題】
しかしながら、輝度を平坦化するフィルタリング処理は、色むらを除去する一方で画像をぼやけさせ画質の劣化を引き起こす。ここで、背景画像に前景画像を半透明合成して表示する表示装置においてサブピクセル精度の高品質表示技術を用いる場合、既にフィルタリング処理が施されている表示中の画像を背景画像として前景画像と半透明合成することにより、前景画像の透過率が高く背景画像が強く表示される領域において、フィルタリング処理の効果が重複することになる。さらに、このような半透明合成により生成された表示画像は、あらたな前景画像との半透明合成において、背景画像として再度フィルタリング処理をほどこされることとなる。半透明合成の度にこのような過程が繰返される結果、フィルタリング処理による平坦化の効果が蓄積し、画質の劣化が顕著になるという問題がある。
【０００９】
本発明はかかる問題に鑑み、半透明合成画像において色むらを除去しつつ、平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現する表示装置、及び表示方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とする。
【００１１】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とする。
【００１２】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００１３】
また、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とすることもできる。
【００１４】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とすることもできる。
【００１５】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【００１６】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１８を用いて説明する。
（実施の形態１）
＜概要＞
本実施の形態は、色むらを除去するフィルタリング処理を既に施された背景画像と前景画像とを半透明合成した半透明合成画像において、フィルタリング処理を施す領域を限定することで、背景画像部分におけるフィルタリング処理の重複を抑えてサブピクセル精度の高品質表示を実現するものである。
【００１８】
＜構成＞
図１は、本発明の実施の形態１に係わる表示装置１００の構成を示す図である。表示装置１００は表示デバイス１、フレームメモリ２、テクスチャメモリ３、ＣＰＵ４、及び描画処理部５から構成される。
表示デバイス１は、ＲＧＢ３原色の各色を発色する発色素子をＲ・Ｇ・Ｂの順序で第１の方向に並設して１画素（ピクセル）を構成し、さらに複数の画素を第１の方向に並設して１ラインを構成し、このラインを第１の方向に直交する第２の方向に複数設けて構成する表示画面１１と、フレームメモリ２に格納された表示画像データを随時取得し表示画面１１に表示するドライバ１２とからなる。
【００１９】
表示デバイス１においてサブピクセル精度の画像を表示する場合、第１の方向の周囲の画素に比べて色の差異が大きい画素において色むらが発生する。この色むらは、色が大きく変化する画素を構成する３つの発色素子の輝度の偏りが原因である。このため、サブピクセル精度の高品質表示を行うためには、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を各サブピクセルに施す必要がある。
【００２０】
本実施の形態では、処理対象のサブピクセルと、処理対象のサブピクセルの第１の方向の前後２つづつのサブピクセルとを含めた５つのサブピクセルの間で輝度の平坦化を行う。
フレームメモリ２は、半導体メモリであり、表示画面１１に表示する表示画像の詳細な情報を保持する。ここで保持されている表示画像は、表示画面１１の全ピクセルについてのＲ・Ｇ・Ｂの３原色の大きさを示す色情報を持つ。尚、ここで表示画像を構成する色情報は、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を既に施されている。
【００２１】
尚、本実施の形態において色情報はＲ・Ｇ・Ｂ各色をそれぞれ０から１の間の何れかの値で表す。例えば、［Ｒ＝１，Ｇ＝１，Ｂ＝１］であれば白を、［Ｒ＝０，Ｇ＝０，Ｂ＝０］であれば黒を表現する。
テクスチャメモリ３は、前景画像にマッピングするテクスチャ画像の詳細を示す前景テクスチャテーブル２１を保持するメモリである。尚、テクスチャ画像は、テクスチャ画像を構成するピクセルが表示画面１１のサブピクセルに相当する精細な画像である。
【００２２】
図２は、テクスチャメモリ３が保持する前景テクスチャテーブル２１のデータ構造を示す図である。前景テクスチャテーブル２１はテクスチャ画像に含まれるピクセルの数と同数のピクセル情報から構成される。各ピクセル情報は、テクスチャ画像に含まれる各ピクセルと１対１に対応し、ピクセル座標２２ａ、色情報２２ｂ、及びα値２２ｃから構成される。
【００２３】
尚、ピクセル座標２２ａはテクスチャ画像を構成するピクセル毎に割り当てられたＵ−Ｖ座標系上の座標である。
また、本実施の形態において、α値とは前景画像と背景画像とを半透明合成する場合の前景画像の透過率を示す数値であり、０から１の間の何れかの値をとる。α値が０の場合は前景画像が透明になり背景画像の色情報がそのまま合成後の色情報となり、α値が１の場合は前景画像が不透過になり前景画像の色情報がそのまま合成後の色情報となり、０＜α＜１の場合には前景画像の色情報と背景画像の色情報との加重平均が合成後の色情報となる。
【００２４】
ＣＰＵ４は、中央情報処理装置であり、前景画像を構成するポリゴンにテクスチャ画像をマッピングするための頂点情報を描画処理部５に対して与える。各頂点情報は、表示画面１１における、前記ポリゴンの頂点の表示位置座標(x,y)と、マッピングされるテクスチャ画像中の対応位置の座標(u,v)とから構成される。ここで表示位置座標(x,y)は、第１の方向をＸ軸、第２の方向をＹ軸として表示画面１１のピクセル毎に座標を割り当てたＸ−Ｙ座標系上の座標である。
【００２５】
描画処理部５は、フレームメモリ２、テクスチャメモリ３、から画像データを取得し、表示デバイス１に表示する画像を生成する機能を有し、内部に座標スケール部３１、ＤＤＡ部３２、テクスチャマッピング部３３、背景３倍拡大部３４、及び半透明合成・サブピクセル処理部３５を含む。
座標スケール部３１は、頂点情報に含まれる表示位置座標(x,y)を、第１の方向をＸ’軸、第２の方向をＹ’軸として表示画面１１のサブピクセル毎に座標を割り当てたＸ’−Ｙ’座標系上の内部処理座標(x',y')に変換する。具体的には、内部処理座標(x',y')を次式により得る。
【００２６】
x'＝３x, y'＝y
Ｘ−Ｙ座標系の各座標は表示画面１１上の各ピクセルと１：１の対応関係を持ち、Ｘ’−Ｙ’座標系の各座標は表示画面１１上の各サブピクセルと１：１の対応関係を持ち、(x,y)＝(０,０)の座標には、(x',y')＝(０,０)、(１，０)、(２，０)の３つの座標が対応する。
【００２７】
ＤＤＡ部３２は、座標スケール部３１が出力するサブピクセルに対応した内部処理座標(x',y')を元にＤＤＡ(Digital Differential Analyse：デジタル微分解析)を用いて、前景画像を構成するポリゴン内部のサブピクセル毎に、内部処理座標(x',y')とテクスチャ画像のピクセル(u,v)との対応関係等を決定する。
テクスチャマッピング部３３は、ＤＤＡ部３２で得られた対応関係に従って、前景画像を構成するポリゴン内部の各サブピクセルに対応するテクスチャ画像のピクセル情報を、テクスチャメモリ３が保持する前景テクスチャテーブル２１から読み出し、ポリゴン内部のサブピクセル毎に色情報、及びα値を半透明合成・サブピクセル処理部３５へ出力する。また、半透明合成・サブピクセル処理部３５へ色情報、及びα値を出力するサブピクセルの内部処理座標を背景３倍拡大部３４に出力する。
【００２８】
背景３倍拡大部３４は、フレームメモリ２が保持する表示画像からピクセル毎の色情報を取得し、取得したピクセル毎の色情報をサブピクセル毎の色情報に拡大し、背景画像の色情報として半透明合成・サブピクセル処理部３５へ出力する。具体的には表示位置座標(x,y)において、表示画像のピクセルの色情報に含まれるＲ、Ｇ、ＢをそれぞれRo(x,y)、Go(x,y)、Bo(x,y)として、内部処理座標(x',y')における色情報Rb(x',y')、Gb(x',y')、Bb(x',y')をそれぞれ次式により得る。
【００２９】
Rb(x',y')＝Rb(x'+1,y')＝Rb(x'+2,y')＝Ro(x,y)
Gb(x',y')＝Gb(x'+1,y')＝Gb(x'+2,y')＝Go(x,y)
Bb(x',y')＝Bb(x'+1,y')＝Bb(x'+2,y')＝Bo(x,y)
ただし、内部処理座標(x',y')、(x'+1,y')、及び(x'+2,y')の各サブピクセルは表示位置座標(x,y)のピクセルを構成する３つのサブピクセルであり、表示位置座標(x,y)と内部処理座標(x',y')との関係は次式により示される。
【００３０】
x＝[x'／３], y＝y'
尚、[ｚ]はｚを越えない最大の整数であることを示す。
図３は、半透明合成・サブピクセル処理部３５の内部の構成を示す図である。半透明合成・サブピクセル処理部３５は、前景画像の色情報及びα値と、背景画像の色情報とから表示デバイス１に表示する表示画像の色情報を生成する機能を持ち、内部に半透明合成部４１、前景変化検出部４２、フィルタリング要否判定部４３、閾値格納部４４及びフィルタリング処理部４５を備える。
【００３１】
半透明合成部４１は、テクスチャマッピング部３３から取得した前景画像の色情報と、背景３倍拡大部３４から取得した背景画像の色情報とを、テクスチャマッピング部３３から取得したα値に従って半透明合成した合成画像の色情報を算出し、算出した色情報をフィルタリング処理部４５へ出力する。合成画像の色情報は、具体的には内部処理座標(x',y')における前景画像の色情報をRp(x',y')、Gp(x',y')、Bp(x',y')、前景画像のα値をα(x',y')、背景画像の色情報をRb(x',y')、Gb(x',y')、Bb(x',y')として、合成画像の色情報Ra(x',y')、Ga(x',y')、Ba(x',y')を次式により得る。
【００３２】
Ra(x', y')＝Rp(x',y')×α(x', y')＋Rb(x',y')×(1−α(x', y'))
Ga(x', y')＝Gp(x',y')×α(x', y')＋Gb(x',y')×(1−α(x', y'))
Ba(x', y')＝Bp(x',y')×α(x', y')＋Bb(x',y')×(1−α(x', y'))
尚、本実施の形態では、前景画像の色情報とα値とが、共にサブピクセル精度の情報を持つが、サブピクセルの位置毎に半透明合成を行うためには少なくともどちらか一方がサブピクセル精度の情報を持っていればよい。前景画像の色情報とα値とのどちらか一方がピクセル精度の情報である場合は、表示画像の色情報から背景画像の色情報を生成する処理と同様に、ピクセル精度の情報を擬似的に拡大しサブピクセル精度の情報として扱えばよい。
【００３３】
また、α値を用いる半透明合成には、上記以外にも様々な方法が考えられるが、合成画像の背景画像成分の比率がα値の比率に応じて、単調増加または単調減少することを満たしていればよい。
また、本実施の形態では、半透明合成に０から１の間の何れかの値をとるα値を用いているが、半透明合成に前景画像と背景画像の混合比率を示すパラメータを使用していれば、本発明を適用することが可能である。例えば、透過情報を示す１ｂｉｔ（「０」：透明、「１」：不透明）を使用していれば、「０」に対してα＝０を、「１」に対してα＝１を対応させた２値を用いてフィルタリング処理の要否を判定できる。
【００３４】
図４は、前景変化検出部４２の内部の構成を示す図である。前景変化検出部４２は、前景画像のサブピクセル毎に、周囲のサブピクセルとの非類似度をα値を含めた色空間におけるユークリッド平方距離を用いて求める機能を有し、内部に色情報格納部５１、色空間距離演算部５２、及び最大色空間距離選択部５３を含む。
【００３５】
ここで、α値を含めた色空間におけるある２点（Ｒ1,Ｇ1,Ｂ1,α1）と（Ｒ2,Ｇ2,Ｂ2,α2）との間のユークリッド平方距離Ｌは次式により示される。
Ｌ＝(Ｒ2−Ｒ1)2＋(Ｇ2−Ｇ1)2＋(Ｂ2−Ｂ1)2＋(α2−α1)2
色情報格納部５１は、テクスチャマッピング部３３から前景画像の色情報、及びα値を順次取得し、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける色情報、及びα値を保持する。
【００３６】
色空間距離演算部５２は、色情報格納部５１に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの全ての組み合わせ間で、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３へ出力する。具体的には、内部処理座標(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルでのパラメータをi-2、i-1、i、i+1、及びi+2の添え字を用いて表記すると、(x',y')を中心とする第１の方向に沿った５つのサブピクセル相互のユークリッド平方距離Ｌ1i〜Ｌ10iを次式により得る。
【００３７】
L1i＝(Rpi-2−Rpi-1)2＋(Gpi-2−Gpi-1)2＋(Bpi-2−Bpi-1)2＋(αi-2−αi-1)2
L2i＝(Rpi-2−Rpi)2＋(Gpi-2−Gpi)2＋(Bpi-2−Bpi)2＋(αi-2−αi)2
L3i＝(Rpi-2−Rpi+1)2＋(Gpi-2−Gpi+1)2＋(Bpi-2−Bpi+1)2＋(αi-2−αi+1)2
L4i＝(Rpi-2−Rpi+2)2＋(Gpi-2−Gpi+2)2＋(Bpi-2−Bpi+2)2＋(αi-2−αi+2)2
L5i＝(Rpi-1−Rpi)2＋(Gpi-1−Gpi)2＋(Bpi-1−Bpi)2＋(αi-1−αi)2
L6i＝(Rpi-1−Rpi+1)2＋(Gpi-1−Gpi+1)2＋(Bpi-1−Bpi+1)2＋(αi-1−αi+1)2
L7i＝(Rpi-1−Rpi+2)2＋(Gpi-1−Gpi+2)2＋(Bpi-1−Bpi+2)2＋(αi-1−αi+2)2
L8i＝(Rpi−Rpi+1)2＋(Gpi−Gpi+1)2＋(Bpi−Bpi+1)2＋(αi−αi+1)2
L9i＝(Rpi−Rpi+2)2＋(Gpi−Gpi+2)2＋(Bpi−Bpi+2)2＋(αi−αi+2)2
L10i＝(Rpi+1−Rpi+2)2＋(Gpi+1−Gpi+2)2＋(Bpi+1−Bpi+2)2＋(αi+1−αi+2)2
最大色空間距離選択部５３は、色空間距離演算部５２が出力したユークリッド平方距離Ｌ1i〜Ｌ10iから最大の値を選択し、選択した値Ｌiを内部処理座標(x',y')における周囲のサブピクセルとの非類似度としてフィルタリング要否判定部４３に出力する。
【００３８】
尚、α値を含めた色空間上の距離の算出は上記のユークリッド平方距離に限らず、例えば次式のようにα値により重み付けをしたユークリッド平方距離であっても構わない。
L1i＝(Ri-2×αi-2−Ri-1×αi-1)2＋(Gi-2×αi-2−Gi-1×αi-1)2＋(Bi-2×αi-2−Bi-1×αi-1)2
また、色情報やα値を用いて、注目するサブピクセルの周囲のサブピクセルに対する非類似度を定量的に評価する方法はユークリッド平方距離に限らない。例えばユークリッド距離、マンハッタン距離、チェビシェフの距離等の距離測度を用いてもよい。
【００３９】
尚、本実施の形態では前景変化検出部４２において、注目するサブピクセルの周囲のサブピクセルに対する色の差として最大の非類似度を算出する構成としているが、注目するサブピクセルの周囲のサブピクセルに対する色の差として最小の類似度を算出する構成としてもよい。
尚、本実施の形態では注目するサブピクセルを中心とする第１の方向に沿った５つのサブピクセル群において注目するサブピクセルの非類似度を算出するが、注目するサブピクセルの非類似度を算出するサブピクセル群は、注目するサブピクセルを含む２つ以上のサブピクセルであればよい。ただし、フィルタリング処理において注目するサブピクセルの輝度を平坦化するサブピクセル群と同じ内部処理座標のサブピクセル群を用いて、注目するサブピクセルの非類似度を算出すると、後述のフィルタリング要否を最も的確に判定できる。
【００４０】
図３に示すフィルタリング要否判定部４３は、閾値格納部４４から閾値を取得し、最大色空間距離選択部５３が出力した非類似度Ｌｉと、取得した閾値とを比較する。比較の結果、非類似度Ｌｉが閾値を超える場合は判定値として「１」を、非類似度Ｌｉが閾値を超えない場合は判定値として「０」を輝度選択部６４に出力する。
【００４１】
閾値格納部４４は、フィルタリング要否判定部において非類似との比較に用いる閾値を格納する。
尚、本実施の形態では、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度を、α値を含めた色空間におけるユークリッド平方距離を用いて評価したが、α値を含めずにＲＧＢ各色のみを用いて評価してもよい。ただしα値を含めずに評価すると、周囲のサブピクセに対する前景画像のＲＧＢ各色の変化が小さく、α値の非類似度のみが大きいことで半透明合成結果のＲＧＢ各色の変化が大きくなる場合に、フィルタリング処理が不要と判定され、表示画像に色むらが残ることとなる。
【００４２】
図５は、フィルタリング処理部４５の内部の構成を示す図である。フィルタリング処理部４５は、合成画像のサブピクセル毎にフィルタリング処理を施し、表示画像の色情報を生成する機能を備え、色空間変換部６１、フィルタリング係数格納部６２、輝度フィルタリング部６３、輝度選択部６４、及びＲＧＢマッピング部６５を内部に含む。
【００４３】
色空間変換部６１は、半透明合成部４１から取得したＲＧＢ色空間の色情報をＹＣｂＣｒ色空間の輝度、青色差、及び赤色差に変換し、変換により得た輝度を輝度フィルタリング部６３へ出力し、青色差、及び赤色差を輝度選択部６４へ出力する。色空間の変換は、具体的には内部処理座標(x', y')での輝度Y(x',y')、青色差Cb(x',y')、及び赤色差Cr(x',y')をそれぞれ次式により得る。
【００４４】
Y(x',y')＝0.299×Ra(x', y')＋0.587×Ga(x', y')＋0.114×Ba(x', y')
Cb(x',y')＝−0.1687×Ra(x',y')−0.3313×Ga(x',y')＋0.5×Ba(x',y')
Cr(x',y')＝0.5×Ra(x',y')−0.4187×Ga(x',y')−0.0813×Ba(x',y')
フィルタリング係数格納部６２は、フィルタリング係数C1、C2、C3、C4、及びC5を格納する。具体的には、フィルタリング係数C1、C2、C3、C4、及びC5は、それぞれ１／９、２／９、３／９、２／９、及び１／９である。
【００４５】
輝度フィルタリング部６３は、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの輝度を保持するバッファを含み、
色空間変換部６１から取得した合成画像の輝度を順次格納する。輝度フィルタリング部６３はさらに、フィルタリング係数格納部６２からフィルタリング係数を取得し、取得したフィルタリング係数を用いて、バッファに保持する５つの輝度を平坦するフィルタリング処理を施し内部処理座標(x',y')における輝度を算出する。算出した内部処理座標(x',y')におけるフィルタリング処理後の輝度と、フィルタリング処理前の輝度とを輝度選択部６４へ出力する。具体的には、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各座標での輝度をi-2、i-1、i、i+1、及びi+2の添え字を用いてＹi-2、Ｙi-1、Ｙi、Ｙi+1、及びＹi+2と表記し、各座標の輝度に乗算するC1、C2、C3、C4、及びC5のフィルタリング係数をもちいて、内部処理座標(x',y')のフィルタリング処理を施した輝度Ｙoiを次式により得る。
【００４６】
Ｙoi = C1×Ｙi-2＋C2×Ｙi-1＋C3×Ｙi＋C4×Ｙi+1＋C5×Ｙi+2
輝度選択部６４は、フィルタリング要否判定部４３から取得した判定値に基づいて、ＲＧＢマッピング部６５に出力する輝度を選択する。判定値が「１」の場合は輝度フィルタリング部６３から取得したフィルタリング処理後の輝度をＲＧＢマッピング部６５に出力し、判定値が「０」の場合は輝度フィルタリング部６３から取得したフィルタリング処理前の輝度をＲＧＢマッピング部６５に出力する。
【００４７】
ＲＧＢマッピング部６５は、第１の方向に沿った３つの連続する内部処理座標の各サブピクセルの輝度と、第１の方向に沿った５つの連続する内部処理座標の各サブピクセルの青色差、及び赤色差とを保持するバッファを含み、輝度選択部６４から取得した輝度と、色空間変換部６１から取得した青色差及び赤色差とをバッファの最後尾から順次格納する。ＲＧＢマッピング部６５は、バッファに輝度が３つ格納される毎に、先ず、３つの連続する内部処理座標の各サブピクセルの青色差、及び赤色差を、バッファの先頭から取り出し、３つのサブピクセルにより構成されるピクセルの青色差、及び赤色差を算出する。具体的には表示位置座標(x, y)のピクセルに含まれる３つの内部処理座標(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける青色差の平均を、及び赤色差の平均を表示位置座標(x, y)のピクセルにおける青色差Cb#ave(x,y)、及び赤色差Cr#ave(x,y)として、次式により得る。
【００４８】
Cb#ave(x,y)＝(Cb(x',y')＋Cb(x'+1,y')＋Cb(x'+2,y'))/3
Cr#ave(x,y)＝(Cr(x',y')＋Cr(x'+1,y')＋Cr(x'+2,y'))/3
次に、上記処理により取得したピクセルの青色差、及び赤色差と、バッファに保持する３つの連続するサブピクセルの輝度とを用いて、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換を行い、ピクセルの色情報を算出する。具体的には表示位置座標(x, y)でのR(x,y)、G(x,y)、及びB(x,y)をそれぞれ次式により得る。
【００４９】
R(x,y)＝Y(x',y')＋1.402×Cr#ave(x,y)
G(x,y)＝Y(x'+1,y')−0.34414×Cb#ave(x, y)−0.71414×Cr#ave(x, y)
B(x,y)＝Y(x'+2,y')＋1.772×Cb#ave(x,y)
以上の処理により算出した色情報を、背景３倍拡大部３４が色情報を取得したフレームメモリ２が保持する表示画像のピクセルの色情報に上書きする。
【００５０】
以上の構成により合成画像の描画領域に対して均一にフィルタリング処理を施すのではなく、前景画像の変化が大きく実際に色むらが発生する部分に限定してフィルタリング処理を施すことができる。これにより、フィルタリング処理が多重化する領域を効果的に減少させ、背景画像の劣化を抑えることが可能となる。
尚、本実施の形態においてはＲＧＢ各色を示す色情報、及びα値を用いて前景画像の色の変化を判定したが、色に関する他の要素を用いて前景画像の色の変化を判定することも可能である。以下に一例として、輝度、及びα値を用いて前景画像の色の変化を判定する構成について説明する。
【００５１】
図６は、輝度、及びα値を用いて前景画像の色の変化を判定する半透明合成・サブピクセル処理部３６の内部の構成を示す図である。半透明合成・サブピクセル処理部３６の構成は上記で説明した半透明合成・サブピクセル処理部３５の前景変化検出部４２を前景変化検出部４６に、フィルタリング要否判定部４３をフィルタリング要否判定部４７に、閾値格納部４４を閾値格納部４８にそれぞれ変更したものである。なお、半透明合成・サブピクセル処理部３５と同様の構成要素には同一の符号を付し、それらの説明を省略する。
【００５２】
図７は、前景変化検出部４６の内部の構造を示す図である。前景変化検出部４６は、前景画像の各サブピクセルにおける輝度、及びα値を用いて周囲のサブピクセルとの非類似度を求める機能を持ち、輝度算出部５４、色情報格納部５５、Ｙ最大距離算出部５６、及びα最大距離算出部５７を内部に含む。
輝度算出部５４は、テクスチャマッピング部３３から取得した前景画像の色情報から輝度を算出し色情報格納部５５に出力する。尚、輝度の算出は色空間変換部６１におけるＹＣｂＣｒ色空間への変換と同様である。
【００５３】
色情報格納部５５は、テクスチャマッピング部３３から前景画像のα値を、輝度算出部５４から前景画像の輝度を順次取得し、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける輝度、及びα値を保持する。
【００５４】
Ｙ最大距離算出部５６は、色情報格納部５５に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける輝度のうち、最大の値と最小の値の差を算出し、算出した値を内部処理座標(x',y')における輝度の非類似度としてフィルタリング要否判定部４７に出力する。
α最大距離算出部５７は、色情報格納部５５に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおけるα値のうち、最大の値と最小の値の差を算出し、算出した値を内部処理座標(x',y')におけるα値の非類似度としてフィルタリング要否判定部４７に出力する。
【００５５】
図８は、フィルタリング要否判定部４７の内部の構造を示す図である。フィルタリング要否判定部４７は、Ｙ最大距離算出部５６、及びα最大距離算出部５７が出力した輝度の非類似度と、α値の非類似度とをそれぞれ閾値と比較する機能を持ち、内部に輝度比較部７１、α値比較部７２、及び論理ｏｒ部７３を含む。
輝度比較部７１は、閾値格納部４８から輝度の非類似度に対する閾値を取得し、
Ｙ最大距離算出部５６が出力した輝度の非類似度と比較する。比較の結果、非類似度が閾値を超える場合は判定値として「１」を、非類似度が閾値を超えない場合は判定値として「０」を論理ｏｒ部７３に出力する。
【００５６】
α値比較部７２は、閾値格納部４８からα値の非類似度に対する閾値を取得し、
α最大距離算出部５７が出力したα値の非類似度と比較する。比較の結果、非類似度が閾値を超える場合は判定値として「１」を、非類似度が閾値を超えない場合は判定値として「０」を論理ｏｒ部７３に出力する。
【００５７】
論理ｏｒ部７３は、輝度比較部７１、及びα値比較部７２の少なくとも一方の判定値が「１」の場合は「１」を輝度選択部６４に出力し、輝度比較部７１、及びα値比較部７２の判定値が共に「０」の場合は「０」を輝度選択部６４に出力する。
図６に示す閾値格納部４８は、輝度の非類似度に対する閾値と、α値の非類似度に対する閾値とを保持する。具体的には、輝度、及びα値が本実施の形態のように１で規格化された変数であり０から１の間の何れかの値をとる場合、人間の視覚が色変化を認識する輝度の差である１／１６を輝度の非類似度、及びα値の非類似度それぞれに対する閾値とする。
【００５８】
尚、輝度の非類似度、及びα値の非類似度それぞれに対する閾値は１／１６に限定されるものではなく、０から１の間の何れの値としてもよい。
また、輝度の非類似度に対する閾値、及びα値の非類似度に対する閾値は、それぞれ異なる値としてもよいのは勿論である。
尚、上記のように輝度の非類似度とα値の非類似度とをそれぞれ判定するのではなく、例えば次式により得られる値L1i〜L10iのうちの最大の値Liを、輝度とα値との両方を加味した非類似度として判定に用いてもよい。
【００５９】
L1i＝|Ｙi-2−Ｙi-1|＋|αi-2−αi-1|
L2i＝|Ｙi-2−Ｙi|＋|αi-2−αi|
L3i＝|Ｙi-2−Ｙi+1|＋|αi-2−αi+1|
L4i＝|Ｙi-2−Ｙi+2|＋|αi-2−αi+2|
L5i＝|Ｙi-1−Ｙi|＋|αi-1−αi|
L6i＝|Ｙi-1−Ｙi+1|＋|αi-1−αi+1|
L7i＝|Ｙi-1−Ｙi+2|＋|αi-1−αi+2|
L8i＝|Ｙi−Ｙi+1|＋|αi−αi+1|
L9i＝|Ｙi−Ｙi+2|＋|αi−αi+2|
L10i＝|Ｙi+1−Ｙi+2|＋|αi+1−αi+2|
尚、|X|はXの絶対値を示す。
【００６０】
以上のように、周囲のサブピクセルに対する色の非類似度を、視覚に敏感な要素である「輝度」の非類似度を用いて判定することで、サブピクセル毎の非類似度の算出に要する演算量を効果的に減らすことができる。
尚、本実施の形態において用いた輝度は、カラー画像において厳密な明るさを表現する成分であるが、厳密ではないが明るさを表現する成分としてＲＧＢ各色のうちのＧ成分を用いることもできる。たとえば、ＹＣｒＣｂ色空間の輝度、赤色差、及び青色差として次式により得る値を代用することが可能である。
【００６１】
Y(x',y')＝G(x',y')
Cb(x',y')＝−G(x',y')＋B(x',y')
Cr(x',y')＝R(x',y')−G(x',y')
また、上記の場合のＲＧＢ色空間への逆変換は次式により得る。
R(x',y')＝Y(x',y')＋Cr(x',y')
G(x',y')＝Y(x',y')
B(x',y')＝Y(x',y')＋Cb(x',y')
以上により、ＹＣｂＣｒ色空間への変換に要する演算量を効果的に減らすことができる。
【００６２】
＜動作＞
次に、上述のように構成された表示装置１００の動作を、図９から図１１を用いて説明する。
図９から図１１は、本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。表示装置１００は、前景画像を構成するポリゴン毎に表示画像を更新する。以下に前景画像を構成するポリゴンの１つについて、表示画像を更新する動作の流れを説明する。先ず、表示装置１００は、現在表示している画像と半透明合成を行う前景画像を構成する所定のポリゴンの各頂点の表示画面１１におけるピクセルの座標と、前景画像にマッピングするテクスチャ画像中のピクセルの座標とを対応付けた頂点情報を、ＣＰＵ４から座標スケール部３１に出力する（Ｓ１）。座標スケール部３１は、頂点情報に含まれる表示画面１１上のピクセルの座標を、表示画面１１上のサブピクセルに対応した内部処理座標に変換する（Ｓ２）。ＤＤＡ部３２は、座標スケール部３１が出力した各頂点の内部処理座標と、テクスチャメモリ３が保持する前景テクスチャテーブル２１から、ＤＤＡを用いて前記ポリゴン内の各サブピクセルの内部処理座標とテクスチャ画像中のピクセルの座標との対応関係を算出する（Ｓ３）。
【００６３】
以降の動作は、前記ポリゴン内のサブピクセルを１つづつ処理する。テクスチャマッピング部３３は、前景画像中の所定のサブピクセルに対応するテクスチャ画像のピクセルの色情報とα値とを読み出し半透明合成・サブピクセル処理部３５へ出力する（Ｓ４）。一方、背景３倍拡大部３４は、前景画像の所定のサブピクセルが含まれる表示画面１１上のピクセルの色情報を既に読み出している場合（Ｓ５：Ｙｅｓ）は、既に読み出している背景画像の色情報を半透明合成・サブピクセル処理部３５へ出力する（Ｓ６）。所定のサブピクセルが含まれる表示画面１１上のピクセルの色情報をまだ読み出していない場合（Ｓ５：Ｎｏ）は、所定のサブピクセルを含む表示画面１１上のピクセルの色情報を読み出し、背景画像における色情報として半透明合成・サブピクセル処理部３５へ出力する（Ｓ７）。
【００６４】
テクスチャマッピング部３３、及び背景３倍拡大部３４から出力された前景画像と背景画像とにおける所定のサブピクセルの色情報を半透明合成部４１が半透明合成し、合成画像における所定のサブピクセルの色情報を算出し（Ｓ８）、算出した色情報を色空間変換部６１に出力する。色空間変換部６１は、半透明合成部４１が出力した合成画像における所定のサブピクセルの色情報をＹＣｂＣｒ色空間に変換し、輝度、赤色差、及び青色差を算出し、輝度を輝度フィルタリング部６３へ、赤色差及び青色差をＲＧＢマッピング部６５へ出力する（Ｓ９）。輝度フィルタリング部６３は、色空間変換部６１が出力した輝度をバッファに格納する（Ｓ１０）。このバッファには、現在処理している所定のサブピクセルの輝度と、それ以前に処理された第1の方向に隣接する４つのサブピクセルの輝度とが保持され、輝度フィルタリング部６３はこれら連続する５つのサブピクセルの中心に位置する注目サブピクセルについて、フィルタリング係数格納部６２から取得したフィルタリング係数に従ってフィルタリング処理を施した輝度を算出し（Ｓ１１）、注目サブピクセルのフィルタリング前と後の輝度を輝度選択部６４に出力する。
【００６５】
色情報格納部５１は、テクスチャマッピング部３３が出力した前景画像における所定のサブピクセルの色情報、及びα値をバッファに格納する（Ｓ１２）。このバッファには、現在処理している所定のサブピクセルと、それ以前に処理された第1の方向に隣接する４つのサブピクセルとの色情報、及びα値とが保持される。色空間距離演算部５２は、色情報格納部５１が色情報、及びα値を保持する連続する５つのサブピクセル間の全ての組み合わせで、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３は、色空間距離演算部５２が算出した値から最大の値を選択し、前記連続する５つのサブピクセルの中心に位置する注目サブピクセルにおける、周囲のサブピクセルとの非類似度として、フィルタリング要否判定部４３に出力する（Ｓ１３）。
【００６６】
フィルタリング要否判定部４３は、最大色空間距離選択部５３から取得した注目サブピクセルの非類似度が、閾値格納部４４に格納されている閾値を超えるか否かを判定する（Ｓ１４）。フィルタリング要否判定部４３は、注目サブピクセルの非類似度が閾値を超える場合（Ｓ１４：Ｙｅｓ）、注目サブピクセルにおいてフィルタリング処理が必要であることを示す判定値「１」を輝度選択部６４に出力し（Ｓ１５）、注目サブピクセルの非類似度が閾値を超えない場合（Ｓ１４：Ｎｏ）、は注目サブピクセルにおいてフィルタリング処理が必要ないことを示す判定値「０」を輝度選択部６４に出力する（Ｓ１６）。
【００６７】
輝度選択部６４は、フィルタリング要否判定部４３から取得した判定値を用いて、輝度フィルタリング部６３から取得したフィルタリング処理前と後とのどちらの輝度をＲＧＢマッピング部６５に出力するかを決定する（Ｓ１７）。判定値が「１」の場合（Ｓ１７：Ｙｅｓ）はフィルタリング処理後の輝度をＲＧＢマッピング部６５に出力し（Ｓ１８）、判定値が「０」の場合（Ｓ１７：Ｎｏ）はフィルタリング処理前の輝度をＲＧＢマッピング部６５に出力する（Ｓ１９）。
【００６８】
輝度選択部６４が出力した連続する３ピクセル分の輝度と、色空間変換部６１が出力した連続する５ピクセル分の赤色差及び青色差とを順次格納するバッファに、表示画面１１上の１ピクセルを構成する３つ分のサブピクセルの輝度が入力されるまで、処理対象のサブピクセルを第1の方向に１つづらして処理を繰返す（Ｓ２０：Ｎｏ）。前記バッファに、前記３つ分のサブピクセルの輝度が入力される毎に（Ｓ２０：Ｙｅｓ）、ＲＧＢマッピング部６５は、バッファ中の連続する３ピクセル分の輝度、赤色差、及び青色差をＲＧＢ色空間へ変換することで前記３つのサブピクセルにより構成される表示画面１１上のピクセルの色情報を算出し（Ｓ２１）、算出した前記表示画面１１上のピクセルの色情報をフレームメモリ２に上書きする（Ｓ２２）。
【００６９】
処理対象のサブピクセルを第1の方向に１つづらして動作を繰り返し、ＤＤＡ部３２によりテクスチャ画像中のピクセルと対応関係を算出したポリゴン内の全てのサブピクセルを処理する（Ｓ２３）。
以上の動作を、前景画像を構成する全てのポリゴンについて繰り返すことにより、前景画像の変化が大きく色むらが発生する部分に限定してフィルタリング処理を施すことができる。これにより、フィルタリング処理が多重化する領域を効果的に減少させ、背景画像の劣化を抑えることが可能となる。
【００７０】
＜実施例＞
図１２は、従来の表示装置により表示される表示画像１０３と、本実施の形態１の表示装置１００により表示される表示画像１０４の模式図である。三角形の不透明な領域１０２ａと三角形の内側と外側の透明な領域１０２ｂとからなる画像が既に半透明合成された領域１０２を含む背景画像と、輪形の不透明な領域１０１ａと輪の内側と外側の透明な領域１０１ｂとからなる前景画像１０１と、を半透明合成した従来の表示画像１０３では、既に半透明合成された領域１０２は半透明合成時にフィルタリング処理が施されており、また、新たに半透明合成される前景画像１０１は全ての領域にフィルタリング処理が施されるため、前景画像１０１と既に半透明合成された領域１０２の重複領域１０３ａにおいて、フィルタリング処理が重複する。
【００７１】
一方、本実施の形態１の表示装置１００により表示される表示画像１０４では、上記同様の半透明合成において、既に半透明合成された領域１０２は三角形の不透明な領域１０２ａのみフィルタリング処理が施されており、また、新たに半透明合成される前景画像１０１は輪形の不透明な領域１０１ａのみフィルタリング処理が施されるため、フィルタリング処理の重複領域１０４ｃは、輪形の領域１０４ａと三角形の領域１０４ｂとの交差部分のみに限定される。
【００７２】
（実施の形態２）
＜概要＞
上記の実施の形態１では、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度を元にフィルタリング処理の要否を判定し、合成画像にフィルタリング処理を施す領域を限定することで背景画像部分におけるフィルタリング処理の重複を抑えたが、本発明の実施の形態２は、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度の大きさに合わせフィルタリング処理による平坦化効果の強度を変化させることで、背景画像部分における平坦化効果の蓄積を低減しサブピクセル精度の高品質表示を実現するものである。
【００７３】
以下に、非類似度の大きさによりフィルタリング処理による平坦化効果の強度を変化させる構成について説明する。
＜構成＞
図１３は、本発明の実施の形態２に係わる表示装置２００の構成を示す図である。表示装置２００の構成は実施の形態１で説明した表示装置１００の半透明合成・サブピクセル処理部３５を、半透明合成・サブピクセル処理部３７に変更したものである。なお、表示装置１００と同様の構成要素には同一の符号を付し、それらの説明を省略する。
【００７４】
図１４は、半透明合成・サブピクセル処理部３７の内部の構成を示す図である。半透明合成・サブピクセル処理部３７の構成は実施の形態１で説明した半透明合成・サブピクセル処理部３５のフィルタリング要否判定部４３をフィルタリング係数決定部４９に、フィルタリング処理部４５をフィルタリング処理部５０にそれぞれ変更したものである。以下、実施の形態１と異なる、フィルタリング係数を決定するフィルタリング係数決定部４９と、フィルタリング処理を行うフィルタリング処理部５０について説明する。
【００７５】
図１５は、フィルタリング係数決定部４９の内部の構成を示す図である。フィルタリング係数決定部４９は、前景変化検出部４２から取得した非類似度に応じてフィルタリング係数を決定する機能を持ち、内部に初期フィルタリング係数格納部７４、及びフィルタリング係数補間部７５を含む。
初期フィルタリング係数格納部７４は、前景画像の非類似度が最も大きい場合のフィルタリング係数を格納する。具体的には、フィルタリング係数C1、C2、C3、C4、及びC5としてそれぞれ１／９、２／９、３／９、２／９、及び１／９を格納する。
【００７６】
フィルタリング係数補間部７５は、前景変化検出部４２から取得した、内部処理座標(x',y')における非類似度Ｌｉに応じて、内部処理座標(x',y')におけるフィルタリング係数を決定し、輝度フィルタリング部６６へ出力する。
尚、実施の形態１と同様に、前景変化検出部４２において、内部処理座標(x',y')における非類似度を決定する際に用いるサブピクセル群を、フィルタリング処理により内部処理座標(x',y')の輝度を平坦化するサブピクセル群と同じ内部処理座標のサブピクセルで構成することにより、フィルタリング係数を最も的確に決定できる。
【００７７】
図１６は、非類似度と、フィルタリング係数との関係を示す図である。このグラフの横軸は非類似度Liを１で規格化した値、非類似度L'iを示す。尚、１で規格化した値とは、非類似度Liの考え得る最大値Lmaxで非類似度Liを除算した値である。グラフの縦軸は内部処理座標(x',y')におけるフィルタリング係数C1i、C2i、C3i、C4i、及びC5iの値を示す。これら５つの係数が近い値をとるほど平坦化の効果が大きくなる。なお、フィルタリング係数C1i、C2i、C3i、C4i、及びC5iの和は常に１であり、平坦化の前後で画像全体が持つＲＧＢ各色の光のエネルギー量は変化しない。
【００７８】
非類似度L'iが１／６４以上の場合は、内部処理座標(x',y')におけるフィルタリング係数C1i、C2i、C3i、C4i、及びC5iは、初期フィルタリング係数格納部７４が保持する値をとる。非類似度L'iが１／６４から０の何れかの値の場合は初期フィルタリング係数格納部７４が保持する値から、平坦化の効果がない値（C1i、C2i、C3i、C4i、及びC5iがそれぞれ、０、０、１、０、０）まで線形補間した値をとる。具体的には、内部処理座標(x',y')におけるフィルタリング処理C1i、C2i、C3i、C4i、及びC5iを次式により得る。
L'i>=1/64において、
C1i＝1/9
C2i＝2/9
C3i＝3/9
C4i＝2/9
C5i＝1/9
0<=L'i<1/64において、
C1i＝L'i×64/9
C2i＝L'i×128/9
C3i＝1−L'i×384/9
C4i＝L'i×128/9
C5i＝L'i×64/9
尚、非類似度とフィルタリング係数との関係は図１６に示す例に限定されないことは勿論であり、例えば、表示画像に視覚的な変化をもたらすように、フィルタリング係数C1、C2、C3、C4、及びC5の和を１以外の値としてもよい。
【００７９】
また、初期フィルタリング係数格納部７４が格納するフィルタリング係数は、１／９、２／９、３／９、２／９、及び１／９を使用しているが、他の値を使用してもよい。
図１７は、フィルタリング処理部５０の内部の構成を示す図である。フィルタリング処理部５０は、実施の形態１で説明したフィルタリング処理部４５からフィルタリング係数格納部６２を除き、フィルタリング処理部４５の輝度フィルタリング部６３を輝度フィルタリング部６６に変更した構成である。この構成では、フィルタリング係数格納部６２が格納していたフィルタリング係数に替えて、フィルタリング係数補間部７５が出力するフィルタリング係数を用いる。以下に実施の形態１と異なる輝度フィルタリング部６６について説明する。
【００８０】
輝度フィルタリング部６６は、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの輝度を保持するバッファを含み、色空間変換部６１から取得した合成画像の輝度を順次格納する。輝度フィルタリング部６６はさらに、フィルタリング係数補間部７５が出力したフィルタリング係数を用いて、バッファに保持する５つの輝度を平坦するフィルタリング処理を施し内部処理座標(x',y')における輝度を算出する。算出した内部処理座標(x',y')におけるフィルタリング処理後の輝度と、フィルタリング処理前の輝度とをＲＧＢマッピング部６５へ出力する。尚、輝度フィルタリング部６６におけるフィルタリング処理は、輝度フィルタリング部６３でのフィルタリング処理と同様である。
【００８１】
尚、本実施の形態２においてはＲＧＢ各色を示す色情報、及びα値を用いて前景画像の色の変化を判定するが、実施の形態１と同様に色等の視覚的特徴に関する他の要素を用いて前景画像の色の変化を判定することも可能である。
以上の構成により、前景画像の色変化に応じてフィルタリング処理の係数を変化させ平坦化効果の強度を変化させることで、均一にフィルタリング処理を行う従来の手法と比べ、前景画像の色変化が大きい領域では平坦化の効果が十分に強いフィルタリング処理を施したうえで、前景画像の色変化が小さく平坦化の必要性が低い領域に過度に平坦化処理が行われることを防ぐことができる。さらに、半透明合成された背景画像成分にフィルタリング処理による平坦化効果が蓄積することを抑制することができる。
＜動作＞
次に、上述のように構成された表示装置２００において半透明合成画像にフィルタリング処理を施し、表示画像を生成する動作のうち、表示装置１００の動作と異なる、半透明合成・サブピクセル処理部３７に前景画像の色情報及びα値と、背景画像の色情報とが入力されてから、輝度フィルタリング部６６がＲＧＢマッピング部６５へ輝度を出力するまでの動作の流れを、図を用いて説明する。
【００８２】
図１８は、本発明の実施の形態２に係わる表示装置２００において合成画像を生成し色情報にフィルタリング処理を施す動作の流れを示す図である。先ず、色情報格納部５１は、テクスチャマッピング部３３が出力した前景画像における所定のサブピクセルの色情報、及びα値をバッファに格納する（Ｓ３１）。このバッファには、現在処理している所定のサブピクセルと、それ以前に処理された第1の方向に隣接する４つのサブピクセルとの色情報、及びα値とが保持される。色空間距離演算部５２は、色情報格納部５１が色情報、及びα値を保持する連続する５つのサブピクセル間の全ての組み合わせで、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３は、色空間距離演算部５２が算出した値から最大の値を選択し、前記連続する５つのサブピクセルの中心に位置する注目サブピクセルにおける、周囲のサブピクセルとの非類似度として、フィルタリング係数補間部７５に出力する（Ｓ３２）。
【００８３】
フィルタリング係数補間部７５は、最大色空間距離選択部５３から取得した非類似度に応じて、初期フィルタリング係数格納部７４から取得した初期値を変化させ、注目サブピクセルにおけるフィルタリング係数を決定し輝度フィルタリング部６６に出力する（Ｓ３３）。
一方、半透明合成部４１は、テクスチャマッピング部３３、及び背景３倍拡大部３４から取得した色情報を半透明合成し、合成画像における所定のサブピクセルの色情報を算出し（Ｓ３４）、算出した色情報を色空間変換部６１に出力する。
色空間変換部６１は、半透明合成部４１が出力した合成画像における所定のサブピクセルの色情報をＹＣｂＣｒ色空間に変換し、輝度、赤色差、及び青色差を算出し、輝度を輝度フィルタリング部６６へ、赤色差及び青色差をＲＧＢマッピング部６５へ出力する（Ｓ３５）。
【００８４】
輝度フィルタリング部６６は、色空間変換部６１が出力した輝度をバッファに格納する（Ｓ３６）。このバッファには、現在処理している所定のサブピクセルの輝度と、それ以前に処理された第1の方向に隣接する４つのサブピクセルの輝度とが保持され、輝度フィルタリング部６６はこれら連続する５つのサブピクセルの中心に位置する注目サブピクセルについて、フィルタリング係数補間部７５から取得したフィルタリング係数に従ってフィルタリング処理を施し、フィルタリング処理後の注目サブピクセルの輝度をＲＧＢマッピング部６５に出力する（Ｓ３７）。
【００８５】
以上の動作により、半透明合成された背景画像成分にフィルタリング処理による平坦化効果が蓄積することを抑制することができる。
以上、本発明に係わる表示装置について、実施の形態１、及び実施の形態２に基づいて説明してきたが、本発明はこれら実施の形態に限定されないことは勿論である。即ち、以下のような場合も本発明に含まれる。
（１）上記実施の形態１、及び実施の形態２で示した表示装置の各構成要素の動作手順をブログラムにし、当該プログラムをコンピュータに実行させてもよい。また、当該プログラムを記録媒体に記録し、又は各種通信路等を用いて流通させてもよい。このような記録媒体にはフレキシブルディスク、ハードディスク、ＩＣカード、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＤＶＤ−ＲＯＭ等がある。
（２）各実施の形態において、前景画像・背景画像ともにＲＧＢフォーマットのカラー画像であることを前提に説明したが、グレースケール画像やＹＣｂＣｒフォーマットのカラー画像についても、本発明は同様に適用することができる。
（３）各実施の形態において、ＹＣｂＣｒ色空間への変換により得た輝度成分に対するフィルタリング処理について説明したが、ＲＧＢ色空間のＲＧＢ各色にフィルタリング処理を施す場合やＣｂＣｒに対してもフィルタリング処理を施す場合にも、本発明は同様に適用することができる。
（４）フィルタリング係数は、“Ｓｕｂ Ｐｉｘｅｌ Ｆｏｎｔ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ”において開示されている値、1/9、2/9、3/9、2/9、及び1/9に限らず他の値を用いても本発明は同様に適用することができる。例えばＲＧＢ各色が輝度に貢献する割合を加味し、フィルタリング処理を施すサブピクセルに対応する発色素子の色毎にフィルタリング係数を変化させてもよい。
（５）各実施の形態において、構成要素が含むバッファに保持されるデータは、メモリ上の一部領域等、他の場所に保持される構成としても良い。
（６）上記実施の形態、及び上記（１）〜（５）を組み合わせて実施してもよい。
【００８６】
【発明の効果】
本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とする。
【００８７】
これによって、前景画像中の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像中の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００８８】
また、前記算出手段は、前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値の非類似度を算出し、前記フィルタリング手段は、前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いることを特徴とすることもできる。
【００８９】
これによって、注目するサブピクセルと判定範囲に含まれるサブピクセルとの間での非類似度が小さく、判定範囲に含まれる注目するサブピクセル以外の複数のサブピクセル間での非類似度が大きい場合に、注目するサブピクセルと位置が対応する合成画像データ中の対応サブピクセルでのフィルタリング処理の効果を強くすることができる。
【００９０】
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することにより発生する色のずれを防ぐことができる。
また、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とすることもできる。
【００９１】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【００９２】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
また、前記算出手段は、前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出し、前記フィルタリング手段は、前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いることを特徴とすることもできる。
【００９３】
これによって、注目するサブピクセルと判定範囲に含まれるサブピクセルとの間での非類似度が小さく、判定範囲に含まれる注目するサブピクセル以外の複数のサブピクセル間での非類似度が大きい場合に、注目するサブピクセルと位置が対応する合成画像データ中の対応サブピクセルでのフィルタリング処理の効果を強くすることができる。
【００９４】
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することにより発生する色のずれを防ぐことができる。
また、前記注目するサブピクセルに対する前記判定範囲を構成する前記複数のサブピクセルと、前記対応サブピクセルに前記フィルタリング処理を施す場合に少なくとも１種類の前記属性値を平坦化する前記周囲のサブピクセルとの位置が対応することを特徴とすることもできる。
【００９５】
これによって、非類似度が大きい対応サブピクセルの属性値を平坦化する周囲のサブピクセル夫々において、対応サブピクセルと同じ非類似度を用いてフィルタリング処理の強度が決定されるため、対応サブピクセルと同じ強度のフィルタリング処理が周囲の夫々のサブピクセルに施される。
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することなく的確なフィルタリング処理を施すことができる。
【００９６】
また、前記フィルタリング手段は、前記非類似度が閾値より大きい場合には前記対応サブピクセルに前記フィルタリング処理を施し、前記非類似度が閾値より小さい場合には前記対応サブピクセルに前記フィルタリング処理を施さないことを特徴とすることもできる。
これによって、色むらが発生しやすい領域に限定してフィルタリング処理を施すことが可能となる。
【００９７】
従って、半透明合成画像において、フィルタリング処理が重複する領域を削減できる。
本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とする。
【００９８】
これによって、前景画像中の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像中の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００９９】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とすることもできる。
【０１００】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【０１０１】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係わる表示装置１００の構成を示す図である。
【図２】テクスチャメモリ３が保持する前景テクスチャテーブル２１のデータ構造を示す図である。
【図３】半透明合成・サブピクセル処理部３５の内部の構成を示す図である。
【図４】前景変化検出部４２の内部の構成を示す図である。
【図５】フィルタリング処理部４５の内部の構成を示す図である。
【図６】輝度、及びα値を用いて前景画像の色の変化を判定する半透明合成・サブピクセル処理部３６の内部の構成を示す図である。
【図７】前景変化検出部４６の内部の構造を示す図である。
【図８】フィルタリング要否判定部４７の内部の構造を示す図である。
【図９】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１０】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１１】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１２】従来の表示装置により表示される表示画像１０３と、本実施の形態１の表示装置１００により表示される表示画像１０４の模式図である。
【図１３】本発明の実施の形態２に係わる表示装置２００の構成を示す図である。
【図１４】半透明合成・サブピクセル処理部３７の内部の構成を示す図である。
【図１５】フィルタリング係数決定部４９の内部の構成を示す図である。
【図１６】非類似度と、フィルタリング係数との関係を示す図である。
【図１７】フィルタリング処理部５０の内部の構成を示す図である。
【図１８】本発明の実施の形態２に係わる表示装置２００において合成画像を生成し色情報にフィルタリング処理を施す動作の流れを示す図である。
【符号の説明】
１ 表示デバイス
２ フレームメモリ
３ テクスチャメモリ
４ ＣＰＵ
５ 描画処理部
１１ 表示画面
１２ ドライバ
２１ 前景テクスチャテーブル
２２ａ ピクセル座標
２２ｂ 色情報
２２ｃ α値
３１ 座標スケール部
３２ ＤＤＡ部
３３ テクスチャマッピング部
３４ 背景３倍拡大部
３５ 半透明合成・サブピクセル処理部
３６ 半透明合成・サブピクセル処理部
３７ 半透明合成・サブピクセル処理部
４１ 半透明合成部
４２ 前景変化検出部
４３ フィルタリング要否判定部
４４ 閾値格納部
４５ フィルタリング処理部
４６ 前景変化検出部
４７ フィルタリング要否判定部
４８ 閾値格納部
４９ フィルタリング係数決定部
５０ フィルタリング処理部
５１ 色情報格納部
５２ 色空間距離演算部
５３ 最大色空間距離選択部
５４ 輝度算出部
５５ 色情報格納部
５６ Ｙ最大距離算出部
５７ α最大距離算出部
６１ 色空間変換部
６２ フィルタリング係数格納部
６３ 輝度フィルタリング部
６４ 輝度選択部
６５ ＲＧＢマッピング部
６６ 輝度フィルタリング部
７１ 輝度比較部
７２ α値比較部
７３ 論理ｏｒ部
７４ 初期フィルタリング係数格納部
７５ フィルタリング係数補間部
１００ 表示装置
１０１ 前景画像
１０１ａ 輪形の不透明な領域
１０１ｂ 輪の内側と外側の透明な領域
１０２ 既に半透明合成された領域
１０２ａ 三角形の不透明な領域
１０２ｂ 三角形の内側と外側の透明な領域
１０３ 従来の表示画像
１０３ａ 重複領域
１０４ 表示画像
１０４ａ 輪形の領域
１０４ｂ 三角形の領域
１０４ｃ 重複領域
２００ 表示装置
【発明の属する技術分野】
本発明は、Ｒ、Ｇ、Ｂ３原色の発光素子を並設した表示デバイスにおいて高品質表示を行う表示技術に関する。
【０００２】
【従来の技術】
従来から、種々の表示デバイスを用いた表示装置が使用されている。このような表示装置のうち、例えば、液晶ディスプレイやプラズマディスプレイのようにＲＧＢ３原色の各色を発色する発色素子を一定の順序で第１の方向に並設して１画素を構成し、複数の画素を第１の方向に並設して１ラインを構成し、このラインを第１の方向と直交する方向に複数設けて表示画面を構成するものがある。このとき、各発光素子は１画素よりも小さな存在であり、サブピクセルと呼ばれる。
【０００３】
通常、表示デバイスでは１画素を制御の単位として表示が行われる。しかし、携帯電話、モバイルコンピュータなどに搭載される表示デバイスのように、表示画面が狭く、細かな表示を行いにくい表示デバイスも多い。このような表示デバイスで、小さな文字や写真、または複雑な絵等を表示しようとすると、解像度の低さから斜線にシャギーが発生しやすい。
【０００４】
これに対し、http://grc.com/cleartype.htmの“Sub Pixel Font Rendering Technology”と題する論文（非特許文献１）や、ＷＯ ００１４２７６２号公報（特許文献１）において、サブピクセルを個別に制御することで、単なる画素精度の表示よりも見やすさを向上できる、サブピクセル精度の高品質表示技術が開示されている。
【０００５】
サブピクセル精度の画像をそのまま表示画面に表示した場合、第１の方向の周囲の画素に比べて色の差異が大きい画素（画像のエッジ部分）において、当該画素を構成する３つの発色素子の輝度に偏りがあるため色むらが発生する。このため、サブピクセル精度の高品質表示を行うためには、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を各サブピクセルに施す必要がある。
【０００６】
【特許文献１】
ＷＯ ００１４２７６２号公報（第２５項、第１１、１３図）
【０００７】
【非特許文献１】
“Sub Pixel Font Rendering Technology”、［online］、２０００年２月２０日、ギブソン・リサーチ・コーポレイション（Gibson Research Corporation）、［２０００年６月１９日検索］、インターネット＜URL：http://grc.com/cleartype.htm＞
【０００８】
【発明が解決しようとする課題】
しかしながら、輝度を平坦化するフィルタリング処理は、色むらを除去する一方で画像をぼやけさせ画質の劣化を引き起こす。ここで、背景画像に前景画像を半透明合成して表示する表示装置においてサブピクセル精度の高品質表示技術を用いる場合、既にフィルタリング処理が施されている表示中の画像を背景画像として前景画像と半透明合成することにより、前景画像の透過率が高く背景画像が強く表示される領域において、フィルタリング処理の効果が重複することになる。さらに、このような半透明合成により生成された表示画像は、あらたな前景画像との半透明合成において、背景画像として再度フィルタリング処理をほどこされることとなる。半透明合成の度にこのような過程が繰返される結果、フィルタリング処理による平坦化の効果が蓄積し、画質の劣化が顕著になるという問題がある。
【０００９】
本発明はかかる問題に鑑み、半透明合成画像において色むらを除去しつつ、平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現する表示装置、及び表示方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とする。
【００１１】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とする。
【００１２】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００１３】
また、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とすることもできる。
【００１４】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とすることもできる。
【００１５】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【００１６】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１８を用いて説明する。
（実施の形態１）
＜概要＞
本実施の形態は、色むらを除去するフィルタリング処理を既に施された背景画像と前景画像とを半透明合成した半透明合成画像において、フィルタリング処理を施す領域を限定することで、背景画像部分におけるフィルタリング処理の重複を抑えてサブピクセル精度の高品質表示を実現するものである。
【００１８】
＜構成＞
図１は、本発明の実施の形態１に係わる表示装置１００の構成を示す図である。表示装置１００は表示デバイス１、フレームメモリ２、テクスチャメモリ３、ＣＰＵ４、及び描画処理部５から構成される。
表示デバイス１は、ＲＧＢ３原色の各色を発色する発色素子をＲ・Ｇ・Ｂの順序で第１の方向に並設して１画素（ピクセル）を構成し、さらに複数の画素を第１の方向に並設して１ラインを構成し、このラインを第１の方向に直交する第２の方向に複数設けて構成する表示画面１１と、フレームメモリ２に格納された表示画像データを随時取得し表示画面１１に表示するドライバ１２とからなる。
【００１９】
表示デバイス１においてサブピクセル精度の画像を表示する場合、第１の方向の周囲の画素に比べて色の差異が大きい画素において色むらが発生する。この色むらは、色が大きく変化する画素を構成する３つの発色素子の輝度の偏りが原因である。このため、サブピクセル精度の高品質表示を行うためには、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を各サブピクセルに施す必要がある。
【００２０】
本実施の形態では、処理対象のサブピクセルと、処理対象のサブピクセルの第１の方向の前後２つづつのサブピクセルとを含めた５つのサブピクセルの間で輝度の平坦化を行う。
フレームメモリ２は、半導体メモリであり、表示画面１１に表示する表示画像の詳細な情報を保持する。ここで保持されている表示画像は、表示画面１１の全ピクセルについてのＲ・Ｇ・Ｂの３原色の大きさを示す色情報を持つ。尚、ここで表示画像を構成する色情報は、周囲のサブピクセルと輝度を平坦化するフィルタリング処理を既に施されている。
【００２１】
尚、本実施の形態において色情報はＲ・Ｇ・Ｂ各色をそれぞれ０から１の間の何れかの値で表す。例えば、［Ｒ＝１，Ｇ＝１，Ｂ＝１］であれば白を、［Ｒ＝０，Ｇ＝０，Ｂ＝０］であれば黒を表現する。
テクスチャメモリ３は、前景画像にマッピングするテクスチャ画像の詳細を示す前景テクスチャテーブル２１を保持するメモリである。尚、テクスチャ画像は、テクスチャ画像を構成するピクセルが表示画面１１のサブピクセルに相当する精細な画像である。
【００２２】
図２は、テクスチャメモリ３が保持する前景テクスチャテーブル２１のデータ構造を示す図である。前景テクスチャテーブル２１はテクスチャ画像に含まれるピクセルの数と同数のピクセル情報から構成される。各ピクセル情報は、テクスチャ画像に含まれる各ピクセルと１対１に対応し、ピクセル座標２２ａ、色情報２２ｂ、及びα値２２ｃから構成される。
【００２３】
尚、ピクセル座標２２ａはテクスチャ画像を構成するピクセル毎に割り当てられたＵ−Ｖ座標系上の座標である。
また、本実施の形態において、α値とは前景画像と背景画像とを半透明合成する場合の前景画像の透過率を示す数値であり、０から１の間の何れかの値をとる。α値が０の場合は前景画像が透明になり背景画像の色情報がそのまま合成後の色情報となり、α値が１の場合は前景画像が不透過になり前景画像の色情報がそのまま合成後の色情報となり、０＜α＜１の場合には前景画像の色情報と背景画像の色情報との加重平均が合成後の色情報となる。
【００２４】
ＣＰＵ４は、中央情報処理装置であり、前景画像を構成するポリゴンにテクスチャ画像をマッピングするための頂点情報を描画処理部５に対して与える。各頂点情報は、表示画面１１における、前記ポリゴンの頂点の表示位置座標(x,y)と、マッピングされるテクスチャ画像中の対応位置の座標(u,v)とから構成される。ここで表示位置座標(x,y)は、第１の方向をＸ軸、第２の方向をＹ軸として表示画面１１のピクセル毎に座標を割り当てたＸ−Ｙ座標系上の座標である。
【００２５】
描画処理部５は、フレームメモリ２、テクスチャメモリ３、から画像データを取得し、表示デバイス１に表示する画像を生成する機能を有し、内部に座標スケール部３１、ＤＤＡ部３２、テクスチャマッピング部３３、背景３倍拡大部３４、及び半透明合成・サブピクセル処理部３５を含む。
座標スケール部３１は、頂点情報に含まれる表示位置座標(x,y)を、第１の方向をＸ’軸、第２の方向をＹ’軸として表示画面１１のサブピクセル毎に座標を割り当てたＸ’−Ｙ’座標系上の内部処理座標(x',y')に変換する。具体的には、内部処理座標(x',y')を次式により得る。
【００２６】
x'＝３x, y'＝y
Ｘ−Ｙ座標系の各座標は表示画面１１上の各ピクセルと１：１の対応関係を持ち、Ｘ’−Ｙ’座標系の各座標は表示画面１１上の各サブピクセルと１：１の対応関係を持ち、(x,y)＝(０,０)の座標には、(x',y')＝(０,０)、(１，０)、(２，０)の３つの座標が対応する。
【００２７】
ＤＤＡ部３２は、座標スケール部３１が出力するサブピクセルに対応した内部処理座標(x',y')を元にＤＤＡ(Digital Differential Analyse：デジタル微分解析)を用いて、前景画像を構成するポリゴン内部のサブピクセル毎に、内部処理座標(x',y')とテクスチャ画像のピクセル(u,v)との対応関係等を決定する。
テクスチャマッピング部３３は、ＤＤＡ部３２で得られた対応関係に従って、前景画像を構成するポリゴン内部の各サブピクセルに対応するテクスチャ画像のピクセル情報を、テクスチャメモリ３が保持する前景テクスチャテーブル２１から読み出し、ポリゴン内部のサブピクセル毎に色情報、及びα値を半透明合成・サブピクセル処理部３５へ出力する。また、半透明合成・サブピクセル処理部３５へ色情報、及びα値を出力するサブピクセルの内部処理座標を背景３倍拡大部３４に出力する。
【００２８】
背景３倍拡大部３４は、フレームメモリ２が保持する表示画像からピクセル毎の色情報を取得し、取得したピクセル毎の色情報をサブピクセル毎の色情報に拡大し、背景画像の色情報として半透明合成・サブピクセル処理部３５へ出力する。具体的には表示位置座標(x,y)において、表示画像のピクセルの色情報に含まれるＲ、Ｇ、ＢをそれぞれRo(x,y)、Go(x,y)、Bo(x,y)として、内部処理座標(x',y')における色情報Rb(x',y')、Gb(x',y')、Bb(x',y')をそれぞれ次式により得る。
【００２９】
Rb(x',y')＝Rb(x'+1,y')＝Rb(x'+2,y')＝Ro(x,y)
Gb(x',y')＝Gb(x'+1,y')＝Gb(x'+2,y')＝Go(x,y)
Bb(x',y')＝Bb(x'+1,y')＝Bb(x'+2,y')＝Bo(x,y)
ただし、内部処理座標(x',y')、(x'+1,y')、及び(x'+2,y')の各サブピクセルは表示位置座標(x,y)のピクセルを構成する３つのサブピクセルであり、表示位置座標(x,y)と内部処理座標(x',y')との関係は次式により示される。
【００３０】
x＝[x'／３], y＝y'
尚、[ｚ]はｚを越えない最大の整数であることを示す。
図３は、半透明合成・サブピクセル処理部３５の内部の構成を示す図である。半透明合成・サブピクセル処理部３５は、前景画像の色情報及びα値と、背景画像の色情報とから表示デバイス１に表示する表示画像の色情報を生成する機能を持ち、内部に半透明合成部４１、前景変化検出部４２、フィルタリング要否判定部４３、閾値格納部４４及びフィルタリング処理部４５を備える。
【００３１】
半透明合成部４１は、テクスチャマッピング部３３から取得した前景画像の色情報と、背景３倍拡大部３４から取得した背景画像の色情報とを、テクスチャマッピング部３３から取得したα値に従って半透明合成した合成画像の色情報を算出し、算出した色情報をフィルタリング処理部４５へ出力する。合成画像の色情報は、具体的には内部処理座標(x',y')における前景画像の色情報をRp(x',y')、Gp(x',y')、Bp(x',y')、前景画像のα値をα(x',y')、背景画像の色情報をRb(x',y')、Gb(x',y')、Bb(x',y')として、合成画像の色情報Ra(x',y')、Ga(x',y')、Ba(x',y')を次式により得る。
【００３２】
Ra(x', y')＝Rp(x',y')×α(x', y')＋Rb(x',y')×(1−α(x', y'))
Ga(x', y')＝Gp(x',y')×α(x', y')＋Gb(x',y')×(1−α(x', y'))
Ba(x', y')＝Bp(x',y')×α(x', y')＋Bb(x',y')×(1−α(x', y'))
尚、本実施の形態では、前景画像の色情報とα値とが、共にサブピクセル精度の情報を持つが、サブピクセルの位置毎に半透明合成を行うためには少なくともどちらか一方がサブピクセル精度の情報を持っていればよい。前景画像の色情報とα値とのどちらか一方がピクセル精度の情報である場合は、表示画像の色情報から背景画像の色情報を生成する処理と同様に、ピクセル精度の情報を擬似的に拡大しサブピクセル精度の情報として扱えばよい。
【００３３】
また、α値を用いる半透明合成には、上記以外にも様々な方法が考えられるが、合成画像の背景画像成分の比率がα値の比率に応じて、単調増加または単調減少することを満たしていればよい。
また、本実施の形態では、半透明合成に０から１の間の何れかの値をとるα値を用いているが、半透明合成に前景画像と背景画像の混合比率を示すパラメータを使用していれば、本発明を適用することが可能である。例えば、透過情報を示す１ｂｉｔ（「０」：透明、「１」：不透明）を使用していれば、「０」に対してα＝０を、「１」に対してα＝１を対応させた２値を用いてフィルタリング処理の要否を判定できる。
【００３４】
図４は、前景変化検出部４２の内部の構成を示す図である。前景変化検出部４２は、前景画像のサブピクセル毎に、周囲のサブピクセルとの非類似度をα値を含めた色空間におけるユークリッド平方距離を用いて求める機能を有し、内部に色情報格納部５１、色空間距離演算部５２、及び最大色空間距離選択部５３を含む。
【００３５】
ここで、α値を含めた色空間におけるある２点（Ｒ1,Ｇ1,Ｂ1,α1）と（Ｒ2,Ｇ2,Ｂ2,α2）との間のユークリッド平方距離Ｌは次式により示される。
Ｌ＝(Ｒ2−Ｒ1)2＋(Ｇ2−Ｇ1)2＋(Ｂ2−Ｂ1)2＋(α2−α1)2
色情報格納部５１は、テクスチャマッピング部３３から前景画像の色情報、及びα値を順次取得し、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける色情報、及びα値を保持する。
【００３６】
色空間距離演算部５２は、色情報格納部５１に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの全ての組み合わせ間で、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３へ出力する。具体的には、内部処理座標(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルでのパラメータをi-2、i-1、i、i+1、及びi+2の添え字を用いて表記すると、(x',y')を中心とする第１の方向に沿った５つのサブピクセル相互のユークリッド平方距離Ｌ1i〜Ｌ10iを次式により得る。
【００３７】
L1i＝(Rpi-2−Rpi-1)2＋(Gpi-2−Gpi-1)2＋(Bpi-2−Bpi-1)2＋(αi-2−αi-1)2
L2i＝(Rpi-2−Rpi)2＋(Gpi-2−Gpi)2＋(Bpi-2−Bpi)2＋(αi-2−αi)2
L3i＝(Rpi-2−Rpi+1)2＋(Gpi-2−Gpi+1)2＋(Bpi-2−Bpi+1)2＋(αi-2−αi+1)2
L4i＝(Rpi-2−Rpi+2)2＋(Gpi-2−Gpi+2)2＋(Bpi-2−Bpi+2)2＋(αi-2−αi+2)2
L5i＝(Rpi-1−Rpi)2＋(Gpi-1−Gpi)2＋(Bpi-1−Bpi)2＋(αi-1−αi)2
L6i＝(Rpi-1−Rpi+1)2＋(Gpi-1−Gpi+1)2＋(Bpi-1−Bpi+1)2＋(αi-1−αi+1)2
L7i＝(Rpi-1−Rpi+2)2＋(Gpi-1−Gpi+2)2＋(Bpi-1−Bpi+2)2＋(αi-1−αi+2)2
L8i＝(Rpi−Rpi+1)2＋(Gpi−Gpi+1)2＋(Bpi−Bpi+1)2＋(αi−αi+1)2
L9i＝(Rpi−Rpi+2)2＋(Gpi−Gpi+2)2＋(Bpi−Bpi+2)2＋(αi−αi+2)2
L10i＝(Rpi+1−Rpi+2)2＋(Gpi+1−Gpi+2)2＋(Bpi+1−Bpi+2)2＋(αi+1−αi+2)2
最大色空間距離選択部５３は、色空間距離演算部５２が出力したユークリッド平方距離Ｌ1i〜Ｌ10iから最大の値を選択し、選択した値Ｌiを内部処理座標(x',y')における周囲のサブピクセルとの非類似度としてフィルタリング要否判定部４３に出力する。
【００３８】
尚、α値を含めた色空間上の距離の算出は上記のユークリッド平方距離に限らず、例えば次式のようにα値により重み付けをしたユークリッド平方距離であっても構わない。
L1i＝(Ri-2×αi-2−Ri-1×αi-1)2＋(Gi-2×αi-2−Gi-1×αi-1)2＋(Bi-2×αi-2−Bi-1×αi-1)2
また、色情報やα値を用いて、注目するサブピクセルの周囲のサブピクセルに対する非類似度を定量的に評価する方法はユークリッド平方距離に限らない。例えばユークリッド距離、マンハッタン距離、チェビシェフの距離等の距離測度を用いてもよい。
【００３９】
尚、本実施の形態では前景変化検出部４２において、注目するサブピクセルの周囲のサブピクセルに対する色の差として最大の非類似度を算出する構成としているが、注目するサブピクセルの周囲のサブピクセルに対する色の差として最小の類似度を算出する構成としてもよい。
尚、本実施の形態では注目するサブピクセルを中心とする第１の方向に沿った５つのサブピクセル群において注目するサブピクセルの非類似度を算出するが、注目するサブピクセルの非類似度を算出するサブピクセル群は、注目するサブピクセルを含む２つ以上のサブピクセルであればよい。ただし、フィルタリング処理において注目するサブピクセルの輝度を平坦化するサブピクセル群と同じ内部処理座標のサブピクセル群を用いて、注目するサブピクセルの非類似度を算出すると、後述のフィルタリング要否を最も的確に判定できる。
【００４０】
図３に示すフィルタリング要否判定部４３は、閾値格納部４４から閾値を取得し、最大色空間距離選択部５３が出力した非類似度Ｌｉと、取得した閾値とを比較する。比較の結果、非類似度Ｌｉが閾値を超える場合は判定値として「１」を、非類似度Ｌｉが閾値を超えない場合は判定値として「０」を輝度選択部６４に出力する。
【００４１】
閾値格納部４４は、フィルタリング要否判定部において非類似との比較に用いる閾値を格納する。
尚、本実施の形態では、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度を、α値を含めた色空間におけるユークリッド平方距離を用いて評価したが、α値を含めずにＲＧＢ各色のみを用いて評価してもよい。ただしα値を含めずに評価すると、周囲のサブピクセに対する前景画像のＲＧＢ各色の変化が小さく、α値の非類似度のみが大きいことで半透明合成結果のＲＧＢ各色の変化が大きくなる場合に、フィルタリング処理が不要と判定され、表示画像に色むらが残ることとなる。
【００４２】
図５は、フィルタリング処理部４５の内部の構成を示す図である。フィルタリング処理部４５は、合成画像のサブピクセル毎にフィルタリング処理を施し、表示画像の色情報を生成する機能を備え、色空間変換部６１、フィルタリング係数格納部６２、輝度フィルタリング部６３、輝度選択部６４、及びＲＧＢマッピング部６５を内部に含む。
【００４３】
色空間変換部６１は、半透明合成部４１から取得したＲＧＢ色空間の色情報をＹＣｂＣｒ色空間の輝度、青色差、及び赤色差に変換し、変換により得た輝度を輝度フィルタリング部６３へ出力し、青色差、及び赤色差を輝度選択部６４へ出力する。色空間の変換は、具体的には内部処理座標(x', y')での輝度Y(x',y')、青色差Cb(x',y')、及び赤色差Cr(x',y')をそれぞれ次式により得る。
【００４４】
Y(x',y')＝0.299×Ra(x', y')＋0.587×Ga(x', y')＋0.114×Ba(x', y')
Cb(x',y')＝−0.1687×Ra(x',y')−0.3313×Ga(x',y')＋0.5×Ba(x',y')
Cr(x',y')＝0.5×Ra(x',y')−0.4187×Ga(x',y')−0.0813×Ba(x',y')
フィルタリング係数格納部６２は、フィルタリング係数C1、C2、C3、C4、及びC5を格納する。具体的には、フィルタリング係数C1、C2、C3、C4、及びC5は、それぞれ１／９、２／９、３／９、２／９、及び１／９である。
【００４５】
輝度フィルタリング部６３は、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの輝度を保持するバッファを含み、
色空間変換部６１から取得した合成画像の輝度を順次格納する。輝度フィルタリング部６３はさらに、フィルタリング係数格納部６２からフィルタリング係数を取得し、取得したフィルタリング係数を用いて、バッファに保持する５つの輝度を平坦するフィルタリング処理を施し内部処理座標(x',y')における輝度を算出する。算出した内部処理座標(x',y')におけるフィルタリング処理後の輝度と、フィルタリング処理前の輝度とを輝度選択部６４へ出力する。具体的には、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各座標での輝度をi-2、i-1、i、i+1、及びi+2の添え字を用いてＹi-2、Ｙi-1、Ｙi、Ｙi+1、及びＹi+2と表記し、各座標の輝度に乗算するC1、C2、C3、C4、及びC5のフィルタリング係数をもちいて、内部処理座標(x',y')のフィルタリング処理を施した輝度Ｙoiを次式により得る。
【００４６】
Ｙoi = C1×Ｙi-2＋C2×Ｙi-1＋C3×Ｙi＋C4×Ｙi+1＋C5×Ｙi+2
輝度選択部６４は、フィルタリング要否判定部４３から取得した判定値に基づいて、ＲＧＢマッピング部６５に出力する輝度を選択する。判定値が「１」の場合は輝度フィルタリング部６３から取得したフィルタリング処理後の輝度をＲＧＢマッピング部６５に出力し、判定値が「０」の場合は輝度フィルタリング部６３から取得したフィルタリング処理前の輝度をＲＧＢマッピング部６５に出力する。
【００４７】
ＲＧＢマッピング部６５は、第１の方向に沿った３つの連続する内部処理座標の各サブピクセルの輝度と、第１の方向に沿った５つの連続する内部処理座標の各サブピクセルの青色差、及び赤色差とを保持するバッファを含み、輝度選択部６４から取得した輝度と、色空間変換部６１から取得した青色差及び赤色差とをバッファの最後尾から順次格納する。ＲＧＢマッピング部６５は、バッファに輝度が３つ格納される毎に、先ず、３つの連続する内部処理座標の各サブピクセルの青色差、及び赤色差を、バッファの先頭から取り出し、３つのサブピクセルにより構成されるピクセルの青色差、及び赤色差を算出する。具体的には表示位置座標(x, y)のピクセルに含まれる３つの内部処理座標(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける青色差の平均を、及び赤色差の平均を表示位置座標(x, y)のピクセルにおける青色差Cb#ave(x,y)、及び赤色差Cr#ave(x,y)として、次式により得る。
【００４８】
Cb#ave(x,y)＝(Cb(x',y')＋Cb(x'+1,y')＋Cb(x'+2,y'))/3
Cr#ave(x,y)＝(Cr(x',y')＋Cr(x'+1,y')＋Cr(x'+2,y'))/3
次に、上記処理により取得したピクセルの青色差、及び赤色差と、バッファに保持する３つの連続するサブピクセルの輝度とを用いて、ＹＣｂＣｒ色空間からＲＧＢ色空間への変換を行い、ピクセルの色情報を算出する。具体的には表示位置座標(x, y)でのR(x,y)、G(x,y)、及びB(x,y)をそれぞれ次式により得る。
【００４９】
R(x,y)＝Y(x',y')＋1.402×Cr#ave(x,y)
G(x,y)＝Y(x'+1,y')−0.34414×Cb#ave(x, y)−0.71414×Cr#ave(x, y)
B(x,y)＝Y(x'+2,y')＋1.772×Cb#ave(x,y)
以上の処理により算出した色情報を、背景３倍拡大部３４が色情報を取得したフレームメモリ２が保持する表示画像のピクセルの色情報に上書きする。
【００５０】
以上の構成により合成画像の描画領域に対して均一にフィルタリング処理を施すのではなく、前景画像の変化が大きく実際に色むらが発生する部分に限定してフィルタリング処理を施すことができる。これにより、フィルタリング処理が多重化する領域を効果的に減少させ、背景画像の劣化を抑えることが可能となる。
尚、本実施の形態においてはＲＧＢ各色を示す色情報、及びα値を用いて前景画像の色の変化を判定したが、色に関する他の要素を用いて前景画像の色の変化を判定することも可能である。以下に一例として、輝度、及びα値を用いて前景画像の色の変化を判定する構成について説明する。
【００５１】
図６は、輝度、及びα値を用いて前景画像の色の変化を判定する半透明合成・サブピクセル処理部３６の内部の構成を示す図である。半透明合成・サブピクセル処理部３６の構成は上記で説明した半透明合成・サブピクセル処理部３５の前景変化検出部４２を前景変化検出部４６に、フィルタリング要否判定部４３をフィルタリング要否判定部４７に、閾値格納部４４を閾値格納部４８にそれぞれ変更したものである。なお、半透明合成・サブピクセル処理部３５と同様の構成要素には同一の符号を付し、それらの説明を省略する。
【００５２】
図７は、前景変化検出部４６の内部の構造を示す図である。前景変化検出部４６は、前景画像の各サブピクセルにおける輝度、及びα値を用いて周囲のサブピクセルとの非類似度を求める機能を持ち、輝度算出部５４、色情報格納部５５、Ｙ最大距離算出部５６、及びα最大距離算出部５７を内部に含む。
輝度算出部５４は、テクスチャマッピング部３３から取得した前景画像の色情報から輝度を算出し色情報格納部５５に出力する。尚、輝度の算出は色空間変換部６１におけるＹＣｂＣｒ色空間への変換と同様である。
【００５３】
色情報格納部５５は、テクスチャマッピング部３３から前景画像のα値を、輝度算出部５４から前景画像の輝度を順次取得し、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける輝度、及びα値を保持する。
【００５４】
Ｙ最大距離算出部５６は、色情報格納部５５に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおける輝度のうち、最大の値と最小の値の差を算出し、算出した値を内部処理座標(x',y')における輝度の非類似度としてフィルタリング要否判定部４７に出力する。
α最大距離算出部５７は、色情報格納部５５に格納された(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルにおけるα値のうち、最大の値と最小の値の差を算出し、算出した値を内部処理座標(x',y')におけるα値の非類似度としてフィルタリング要否判定部４７に出力する。
【００５５】
図８は、フィルタリング要否判定部４７の内部の構造を示す図である。フィルタリング要否判定部４７は、Ｙ最大距離算出部５６、及びα最大距離算出部５７が出力した輝度の非類似度と、α値の非類似度とをそれぞれ閾値と比較する機能を持ち、内部に輝度比較部７１、α値比較部７２、及び論理ｏｒ部７３を含む。
輝度比較部７１は、閾値格納部４８から輝度の非類似度に対する閾値を取得し、
Ｙ最大距離算出部５６が出力した輝度の非類似度と比較する。比較の結果、非類似度が閾値を超える場合は判定値として「１」を、非類似度が閾値を超えない場合は判定値として「０」を論理ｏｒ部７３に出力する。
【００５６】
α値比較部７２は、閾値格納部４８からα値の非類似度に対する閾値を取得し、
α最大距離算出部５７が出力したα値の非類似度と比較する。比較の結果、非類似度が閾値を超える場合は判定値として「１」を、非類似度が閾値を超えない場合は判定値として「０」を論理ｏｒ部７３に出力する。
【００５７】
論理ｏｒ部７３は、輝度比較部７１、及びα値比較部７２の少なくとも一方の判定値が「１」の場合は「１」を輝度選択部６４に出力し、輝度比較部７１、及びα値比較部７２の判定値が共に「０」の場合は「０」を輝度選択部６４に出力する。
図６に示す閾値格納部４８は、輝度の非類似度に対する閾値と、α値の非類似度に対する閾値とを保持する。具体的には、輝度、及びα値が本実施の形態のように１で規格化された変数であり０から１の間の何れかの値をとる場合、人間の視覚が色変化を認識する輝度の差である１／１６を輝度の非類似度、及びα値の非類似度それぞれに対する閾値とする。
【００５８】
尚、輝度の非類似度、及びα値の非類似度それぞれに対する閾値は１／１６に限定されるものではなく、０から１の間の何れの値としてもよい。
また、輝度の非類似度に対する閾値、及びα値の非類似度に対する閾値は、それぞれ異なる値としてもよいのは勿論である。
尚、上記のように輝度の非類似度とα値の非類似度とをそれぞれ判定するのではなく、例えば次式により得られる値L1i〜L10iのうちの最大の値Liを、輝度とα値との両方を加味した非類似度として判定に用いてもよい。
【００５９】
L1i＝|Ｙi-2−Ｙi-1|＋|αi-2−αi-1|
L2i＝|Ｙi-2−Ｙi|＋|αi-2−αi|
L3i＝|Ｙi-2−Ｙi+1|＋|αi-2−αi+1|
L4i＝|Ｙi-2−Ｙi+2|＋|αi-2−αi+2|
L5i＝|Ｙi-1−Ｙi|＋|αi-1−αi|
L6i＝|Ｙi-1−Ｙi+1|＋|αi-1−αi+1|
L7i＝|Ｙi-1−Ｙi+2|＋|αi-1−αi+2|
L8i＝|Ｙi−Ｙi+1|＋|αi−αi+1|
L9i＝|Ｙi−Ｙi+2|＋|αi−αi+2|
L10i＝|Ｙi+1−Ｙi+2|＋|αi+1−αi+2|
尚、|X|はXの絶対値を示す。
【００６０】
以上のように、周囲のサブピクセルに対する色の非類似度を、視覚に敏感な要素である「輝度」の非類似度を用いて判定することで、サブピクセル毎の非類似度の算出に要する演算量を効果的に減らすことができる。
尚、本実施の形態において用いた輝度は、カラー画像において厳密な明るさを表現する成分であるが、厳密ではないが明るさを表現する成分としてＲＧＢ各色のうちのＧ成分を用いることもできる。たとえば、ＹＣｒＣｂ色空間の輝度、赤色差、及び青色差として次式により得る値を代用することが可能である。
【００６１】
Y(x',y')＝G(x',y')
Cb(x',y')＝−G(x',y')＋B(x',y')
Cr(x',y')＝R(x',y')−G(x',y')
また、上記の場合のＲＧＢ色空間への逆変換は次式により得る。
R(x',y')＝Y(x',y')＋Cr(x',y')
G(x',y')＝Y(x',y')
B(x',y')＝Y(x',y')＋Cb(x',y')
以上により、ＹＣｂＣｒ色空間への変換に要する演算量を効果的に減らすことができる。
【００６２】
＜動作＞
次に、上述のように構成された表示装置１００の動作を、図９から図１１を用いて説明する。
図９から図１１は、本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。表示装置１００は、前景画像を構成するポリゴン毎に表示画像を更新する。以下に前景画像を構成するポリゴンの１つについて、表示画像を更新する動作の流れを説明する。先ず、表示装置１００は、現在表示している画像と半透明合成を行う前景画像を構成する所定のポリゴンの各頂点の表示画面１１におけるピクセルの座標と、前景画像にマッピングするテクスチャ画像中のピクセルの座標とを対応付けた頂点情報を、ＣＰＵ４から座標スケール部３１に出力する（Ｓ１）。座標スケール部３１は、頂点情報に含まれる表示画面１１上のピクセルの座標を、表示画面１１上のサブピクセルに対応した内部処理座標に変換する（Ｓ２）。ＤＤＡ部３２は、座標スケール部３１が出力した各頂点の内部処理座標と、テクスチャメモリ３が保持する前景テクスチャテーブル２１から、ＤＤＡを用いて前記ポリゴン内の各サブピクセルの内部処理座標とテクスチャ画像中のピクセルの座標との対応関係を算出する（Ｓ３）。
【００６３】
以降の動作は、前記ポリゴン内のサブピクセルを１つづつ処理する。テクスチャマッピング部３３は、前景画像中の所定のサブピクセルに対応するテクスチャ画像のピクセルの色情報とα値とを読み出し半透明合成・サブピクセル処理部３５へ出力する（Ｓ４）。一方、背景３倍拡大部３４は、前景画像の所定のサブピクセルが含まれる表示画面１１上のピクセルの色情報を既に読み出している場合（Ｓ５：Ｙｅｓ）は、既に読み出している背景画像の色情報を半透明合成・サブピクセル処理部３５へ出力する（Ｓ６）。所定のサブピクセルが含まれる表示画面１１上のピクセルの色情報をまだ読み出していない場合（Ｓ５：Ｎｏ）は、所定のサブピクセルを含む表示画面１１上のピクセルの色情報を読み出し、背景画像における色情報として半透明合成・サブピクセル処理部３５へ出力する（Ｓ７）。
【００６４】
テクスチャマッピング部３３、及び背景３倍拡大部３４から出力された前景画像と背景画像とにおける所定のサブピクセルの色情報を半透明合成部４１が半透明合成し、合成画像における所定のサブピクセルの色情報を算出し（Ｓ８）、算出した色情報を色空間変換部６１に出力する。色空間変換部６１は、半透明合成部４１が出力した合成画像における所定のサブピクセルの色情報をＹＣｂＣｒ色空間に変換し、輝度、赤色差、及び青色差を算出し、輝度を輝度フィルタリング部６３へ、赤色差及び青色差をＲＧＢマッピング部６５へ出力する（Ｓ９）。輝度フィルタリング部６３は、色空間変換部６１が出力した輝度をバッファに格納する（Ｓ１０）。このバッファには、現在処理している所定のサブピクセルの輝度と、それ以前に処理された第1の方向に隣接する４つのサブピクセルの輝度とが保持され、輝度フィルタリング部６３はこれら連続する５つのサブピクセルの中心に位置する注目サブピクセルについて、フィルタリング係数格納部６２から取得したフィルタリング係数に従ってフィルタリング処理を施した輝度を算出し（Ｓ１１）、注目サブピクセルのフィルタリング前と後の輝度を輝度選択部６４に出力する。
【００６５】
色情報格納部５１は、テクスチャマッピング部３３が出力した前景画像における所定のサブピクセルの色情報、及びα値をバッファに格納する（Ｓ１２）。このバッファには、現在処理している所定のサブピクセルと、それ以前に処理された第1の方向に隣接する４つのサブピクセルとの色情報、及びα値とが保持される。色空間距離演算部５２は、色情報格納部５１が色情報、及びα値を保持する連続する５つのサブピクセル間の全ての組み合わせで、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３は、色空間距離演算部５２が算出した値から最大の値を選択し、前記連続する５つのサブピクセルの中心に位置する注目サブピクセルにおける、周囲のサブピクセルとの非類似度として、フィルタリング要否判定部４３に出力する（Ｓ１３）。
【００６６】
フィルタリング要否判定部４３は、最大色空間距離選択部５３から取得した注目サブピクセルの非類似度が、閾値格納部４４に格納されている閾値を超えるか否かを判定する（Ｓ１４）。フィルタリング要否判定部４３は、注目サブピクセルの非類似度が閾値を超える場合（Ｓ１４：Ｙｅｓ）、注目サブピクセルにおいてフィルタリング処理が必要であることを示す判定値「１」を輝度選択部６４に出力し（Ｓ１５）、注目サブピクセルの非類似度が閾値を超えない場合（Ｓ１４：Ｎｏ）、は注目サブピクセルにおいてフィルタリング処理が必要ないことを示す判定値「０」を輝度選択部６４に出力する（Ｓ１６）。
【００６７】
輝度選択部６４は、フィルタリング要否判定部４３から取得した判定値を用いて、輝度フィルタリング部６３から取得したフィルタリング処理前と後とのどちらの輝度をＲＧＢマッピング部６５に出力するかを決定する（Ｓ１７）。判定値が「１」の場合（Ｓ１７：Ｙｅｓ）はフィルタリング処理後の輝度をＲＧＢマッピング部６５に出力し（Ｓ１８）、判定値が「０」の場合（Ｓ１７：Ｎｏ）はフィルタリング処理前の輝度をＲＧＢマッピング部６５に出力する（Ｓ１９）。
【００６８】
輝度選択部６４が出力した連続する３ピクセル分の輝度と、色空間変換部６１が出力した連続する５ピクセル分の赤色差及び青色差とを順次格納するバッファに、表示画面１１上の１ピクセルを構成する３つ分のサブピクセルの輝度が入力されるまで、処理対象のサブピクセルを第1の方向に１つづらして処理を繰返す（Ｓ２０：Ｎｏ）。前記バッファに、前記３つ分のサブピクセルの輝度が入力される毎に（Ｓ２０：Ｙｅｓ）、ＲＧＢマッピング部６５は、バッファ中の連続する３ピクセル分の輝度、赤色差、及び青色差をＲＧＢ色空間へ変換することで前記３つのサブピクセルにより構成される表示画面１１上のピクセルの色情報を算出し（Ｓ２１）、算出した前記表示画面１１上のピクセルの色情報をフレームメモリ２に上書きする（Ｓ２２）。
【００６９】
処理対象のサブピクセルを第1の方向に１つづらして動作を繰り返し、ＤＤＡ部３２によりテクスチャ画像中のピクセルと対応関係を算出したポリゴン内の全てのサブピクセルを処理する（Ｓ２３）。
以上の動作を、前景画像を構成する全てのポリゴンについて繰り返すことにより、前景画像の変化が大きく色むらが発生する部分に限定してフィルタリング処理を施すことができる。これにより、フィルタリング処理が多重化する領域を効果的に減少させ、背景画像の劣化を抑えることが可能となる。
【００７０】
＜実施例＞
図１２は、従来の表示装置により表示される表示画像１０３と、本実施の形態１の表示装置１００により表示される表示画像１０４の模式図である。三角形の不透明な領域１０２ａと三角形の内側と外側の透明な領域１０２ｂとからなる画像が既に半透明合成された領域１０２を含む背景画像と、輪形の不透明な領域１０１ａと輪の内側と外側の透明な領域１０１ｂとからなる前景画像１０１と、を半透明合成した従来の表示画像１０３では、既に半透明合成された領域１０２は半透明合成時にフィルタリング処理が施されており、また、新たに半透明合成される前景画像１０１は全ての領域にフィルタリング処理が施されるため、前景画像１０１と既に半透明合成された領域１０２の重複領域１０３ａにおいて、フィルタリング処理が重複する。
【００７１】
一方、本実施の形態１の表示装置１００により表示される表示画像１０４では、上記同様の半透明合成において、既に半透明合成された領域１０２は三角形の不透明な領域１０２ａのみフィルタリング処理が施されており、また、新たに半透明合成される前景画像１０１は輪形の不透明な領域１０１ａのみフィルタリング処理が施されるため、フィルタリング処理の重複領域１０４ｃは、輪形の領域１０４ａと三角形の領域１０４ｂとの交差部分のみに限定される。
【００７２】
（実施の形態２）
＜概要＞
上記の実施の形態１では、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度を元にフィルタリング処理の要否を判定し、合成画像にフィルタリング処理を施す領域を限定することで背景画像部分におけるフィルタリング処理の重複を抑えたが、本発明の実施の形態２は、前景画像の各サブピクセルにおける周囲のサブピクセルとの非類似度の大きさに合わせフィルタリング処理による平坦化効果の強度を変化させることで、背景画像部分における平坦化効果の蓄積を低減しサブピクセル精度の高品質表示を実現するものである。
【００７３】
以下に、非類似度の大きさによりフィルタリング処理による平坦化効果の強度を変化させる構成について説明する。
＜構成＞
図１３は、本発明の実施の形態２に係わる表示装置２００の構成を示す図である。表示装置２００の構成は実施の形態１で説明した表示装置１００の半透明合成・サブピクセル処理部３５を、半透明合成・サブピクセル処理部３７に変更したものである。なお、表示装置１００と同様の構成要素には同一の符号を付し、それらの説明を省略する。
【００７４】
図１４は、半透明合成・サブピクセル処理部３７の内部の構成を示す図である。半透明合成・サブピクセル処理部３７の構成は実施の形態１で説明した半透明合成・サブピクセル処理部３５のフィルタリング要否判定部４３をフィルタリング係数決定部４９に、フィルタリング処理部４５をフィルタリング処理部５０にそれぞれ変更したものである。以下、実施の形態１と異なる、フィルタリング係数を決定するフィルタリング係数決定部４９と、フィルタリング処理を行うフィルタリング処理部５０について説明する。
【００７５】
図１５は、フィルタリング係数決定部４９の内部の構成を示す図である。フィルタリング係数決定部４９は、前景変化検出部４２から取得した非類似度に応じてフィルタリング係数を決定する機能を持ち、内部に初期フィルタリング係数格納部７４、及びフィルタリング係数補間部７５を含む。
初期フィルタリング係数格納部７４は、前景画像の非類似度が最も大きい場合のフィルタリング係数を格納する。具体的には、フィルタリング係数C1、C2、C3、C4、及びC5としてそれぞれ１／９、２／９、３／９、２／９、及び１／９を格納する。
【００７６】
フィルタリング係数補間部７５は、前景変化検出部４２から取得した、内部処理座標(x',y')における非類似度Ｌｉに応じて、内部処理座標(x',y')におけるフィルタリング係数を決定し、輝度フィルタリング部６６へ出力する。
尚、実施の形態１と同様に、前景変化検出部４２において、内部処理座標(x',y')における非類似度を決定する際に用いるサブピクセル群を、フィルタリング処理により内部処理座標(x',y')の輝度を平坦化するサブピクセル群と同じ内部処理座標のサブピクセルで構成することにより、フィルタリング係数を最も的確に決定できる。
【００７７】
図１６は、非類似度と、フィルタリング係数との関係を示す図である。このグラフの横軸は非類似度Liを１で規格化した値、非類似度L'iを示す。尚、１で規格化した値とは、非類似度Liの考え得る最大値Lmaxで非類似度Liを除算した値である。グラフの縦軸は内部処理座標(x',y')におけるフィルタリング係数C1i、C2i、C3i、C4i、及びC5iの値を示す。これら５つの係数が近い値をとるほど平坦化の効果が大きくなる。なお、フィルタリング係数C1i、C2i、C3i、C4i、及びC5iの和は常に１であり、平坦化の前後で画像全体が持つＲＧＢ各色の光のエネルギー量は変化しない。
【００７８】
非類似度L'iが１／６４以上の場合は、内部処理座標(x',y')におけるフィルタリング係数C1i、C2i、C3i、C4i、及びC5iは、初期フィルタリング係数格納部７４が保持する値をとる。非類似度L'iが１／６４から０の何れかの値の場合は初期フィルタリング係数格納部７４が保持する値から、平坦化の効果がない値（C1i、C2i、C3i、C4i、及びC5iがそれぞれ、０、０、１、０、０）まで線形補間した値をとる。具体的には、内部処理座標(x',y')におけるフィルタリング処理C1i、C2i、C3i、C4i、及びC5iを次式により得る。
L'i>=1/64において、
C1i＝1/9
C2i＝2/9
C3i＝3/9
C4i＝2/9
C5i＝1/9
0<=L'i<1/64において、
C1i＝L'i×64/9
C2i＝L'i×128/9
C3i＝1−L'i×384/9
C4i＝L'i×128/9
C5i＝L'i×64/9
尚、非類似度とフィルタリング係数との関係は図１６に示す例に限定されないことは勿論であり、例えば、表示画像に視覚的な変化をもたらすように、フィルタリング係数C1、C2、C3、C4、及びC5の和を１以外の値としてもよい。
【００７９】
また、初期フィルタリング係数格納部７４が格納するフィルタリング係数は、１／９、２／９、３／９、２／９、及び１／９を使用しているが、他の値を使用してもよい。
図１７は、フィルタリング処理部５０の内部の構成を示す図である。フィルタリング処理部５０は、実施の形態１で説明したフィルタリング処理部４５からフィルタリング係数格納部６２を除き、フィルタリング処理部４５の輝度フィルタリング部６３を輝度フィルタリング部６６に変更した構成である。この構成では、フィルタリング係数格納部６２が格納していたフィルタリング係数に替えて、フィルタリング係数補間部７５が出力するフィルタリング係数を用いる。以下に実施の形態１と異なる輝度フィルタリング部６６について説明する。
【００８０】
輝度フィルタリング部６６は、注目する内部処理座標(x',y')を中心とする第１の方向に沿った５つの内部処理座標、(x'ー２,y')、(x'−１,y')、(x',y')、(x'＋１,y')、及び(x'＋２,y')の各サブピクセルの輝度を保持するバッファを含み、色空間変換部６１から取得した合成画像の輝度を順次格納する。輝度フィルタリング部６６はさらに、フィルタリング係数補間部７５が出力したフィルタリング係数を用いて、バッファに保持する５つの輝度を平坦するフィルタリング処理を施し内部処理座標(x',y')における輝度を算出する。算出した内部処理座標(x',y')におけるフィルタリング処理後の輝度と、フィルタリング処理前の輝度とをＲＧＢマッピング部６５へ出力する。尚、輝度フィルタリング部６６におけるフィルタリング処理は、輝度フィルタリング部６３でのフィルタリング処理と同様である。
【００８１】
尚、本実施の形態２においてはＲＧＢ各色を示す色情報、及びα値を用いて前景画像の色の変化を判定するが、実施の形態１と同様に色等の視覚的特徴に関する他の要素を用いて前景画像の色の変化を判定することも可能である。
以上の構成により、前景画像の色変化に応じてフィルタリング処理の係数を変化させ平坦化効果の強度を変化させることで、均一にフィルタリング処理を行う従来の手法と比べ、前景画像の色変化が大きい領域では平坦化の効果が十分に強いフィルタリング処理を施したうえで、前景画像の色変化が小さく平坦化の必要性が低い領域に過度に平坦化処理が行われることを防ぐことができる。さらに、半透明合成された背景画像成分にフィルタリング処理による平坦化効果が蓄積することを抑制することができる。
＜動作＞
次に、上述のように構成された表示装置２００において半透明合成画像にフィルタリング処理を施し、表示画像を生成する動作のうち、表示装置１００の動作と異なる、半透明合成・サブピクセル処理部３７に前景画像の色情報及びα値と、背景画像の色情報とが入力されてから、輝度フィルタリング部６６がＲＧＢマッピング部６５へ輝度を出力するまでの動作の流れを、図を用いて説明する。
【００８２】
図１８は、本発明の実施の形態２に係わる表示装置２００において合成画像を生成し色情報にフィルタリング処理を施す動作の流れを示す図である。先ず、色情報格納部５１は、テクスチャマッピング部３３が出力した前景画像における所定のサブピクセルの色情報、及びα値をバッファに格納する（Ｓ３１）。このバッファには、現在処理している所定のサブピクセルと、それ以前に処理された第1の方向に隣接する４つのサブピクセルとの色情報、及びα値とが保持される。色空間距離演算部５２は、色情報格納部５１が色情報、及びα値を保持する連続する５つのサブピクセル間の全ての組み合わせで、α値を含めた色空間におけるユークリッド平方距離を算出し、最大色空間距離選択部５３は、色空間距離演算部５２が算出した値から最大の値を選択し、前記連続する５つのサブピクセルの中心に位置する注目サブピクセルにおける、周囲のサブピクセルとの非類似度として、フィルタリング係数補間部７５に出力する（Ｓ３２）。
【００８３】
フィルタリング係数補間部７５は、最大色空間距離選択部５３から取得した非類似度に応じて、初期フィルタリング係数格納部７４から取得した初期値を変化させ、注目サブピクセルにおけるフィルタリング係数を決定し輝度フィルタリング部６６に出力する（Ｓ３３）。
一方、半透明合成部４１は、テクスチャマッピング部３３、及び背景３倍拡大部３４から取得した色情報を半透明合成し、合成画像における所定のサブピクセルの色情報を算出し（Ｓ３４）、算出した色情報を色空間変換部６１に出力する。
色空間変換部６１は、半透明合成部４１が出力した合成画像における所定のサブピクセルの色情報をＹＣｂＣｒ色空間に変換し、輝度、赤色差、及び青色差を算出し、輝度を輝度フィルタリング部６６へ、赤色差及び青色差をＲＧＢマッピング部６５へ出力する（Ｓ３５）。
【００８４】
輝度フィルタリング部６６は、色空間変換部６１が出力した輝度をバッファに格納する（Ｓ３６）。このバッファには、現在処理している所定のサブピクセルの輝度と、それ以前に処理された第1の方向に隣接する４つのサブピクセルの輝度とが保持され、輝度フィルタリング部６６はこれら連続する５つのサブピクセルの中心に位置する注目サブピクセルについて、フィルタリング係数補間部７５から取得したフィルタリング係数に従ってフィルタリング処理を施し、フィルタリング処理後の注目サブピクセルの輝度をＲＧＢマッピング部６５に出力する（Ｓ３７）。
【００８５】
以上の動作により、半透明合成された背景画像成分にフィルタリング処理による平坦化効果が蓄積することを抑制することができる。
以上、本発明に係わる表示装置について、実施の形態１、及び実施の形態２に基づいて説明してきたが、本発明はこれら実施の形態に限定されないことは勿論である。即ち、以下のような場合も本発明に含まれる。
（１）上記実施の形態１、及び実施の形態２で示した表示装置の各構成要素の動作手順をブログラムにし、当該プログラムをコンピュータに実行させてもよい。また、当該プログラムを記録媒体に記録し、又は各種通信路等を用いて流通させてもよい。このような記録媒体にはフレキシブルディスク、ハードディスク、ＩＣカード、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＤＶＤ−ＲＯＭ等がある。
（２）各実施の形態において、前景画像・背景画像ともにＲＧＢフォーマットのカラー画像であることを前提に説明したが、グレースケール画像やＹＣｂＣｒフォーマットのカラー画像についても、本発明は同様に適用することができる。
（３）各実施の形態において、ＹＣｂＣｒ色空間への変換により得た輝度成分に対するフィルタリング処理について説明したが、ＲＧＢ色空間のＲＧＢ各色にフィルタリング処理を施す場合やＣｂＣｒに対してもフィルタリング処理を施す場合にも、本発明は同様に適用することができる。
（４）フィルタリング係数は、“Ｓｕｂ Ｐｉｘｅｌ Ｆｏｎｔ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ”において開示されている値、1/9、2/9、3/9、2/9、及び1/9に限らず他の値を用いても本発明は同様に適用することができる。例えばＲＧＢ各色が輝度に貢献する割合を加味し、フィルタリング処理を施すサブピクセルに対応する発色素子の色毎にフィルタリング係数を変化させてもよい。
（５）各実施の形態において、構成要素が含むバッファに保持されるデータは、メモリ上の一部領域等、他の場所に保持される構成としても良い。
（６）上記実施の形態、及び上記（１）〜（５）を組み合わせて実施してもよい。
【００８６】
【発明の効果】
本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とする。
【００８７】
これによって、前景画像中の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像中の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００８８】
また、前記算出手段は、前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値の非類似度を算出し、前記フィルタリング手段は、前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いることを特徴とすることもできる。
【００８９】
これによって、注目するサブピクセルと判定範囲に含まれるサブピクセルとの間での非類似度が小さく、判定範囲に含まれる注目するサブピクセル以外の複数のサブピクセル間での非類似度が大きい場合に、注目するサブピクセルと位置が対応する合成画像データ中の対応サブピクセルでのフィルタリング処理の効果を強くすることができる。
【００９０】
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することにより発生する色のずれを防ぐことができる。
また、本発明に係る表示装置は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出手段と、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段とを備えることを特徴とすることもできる。
【００９１】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【００９２】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
また、前記算出手段は、前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出し、前記フィルタリング手段は、前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いることを特徴とすることもできる。
【００９３】
これによって、注目するサブピクセルと判定範囲に含まれるサブピクセルとの間での非類似度が小さく、判定範囲に含まれる注目するサブピクセル以外の複数のサブピクセル間での非類似度が大きい場合に、注目するサブピクセルと位置が対応する合成画像データ中の対応サブピクセルでのフィルタリング処理の効果を強くすることができる。
【００９４】
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することにより発生する色のずれを防ぐことができる。
また、前記注目するサブピクセルに対する前記判定範囲を構成する前記複数のサブピクセルと、前記対応サブピクセルに前記フィルタリング処理を施す場合に少なくとも１種類の前記属性値を平坦化する前記周囲のサブピクセルとの位置が対応することを特徴とすることもできる。
【００９５】
これによって、非類似度が大きい対応サブピクセルの属性値を平坦化する周囲のサブピクセル夫々において、対応サブピクセルと同じ非類似度を用いてフィルタリング処理の強度が決定されるため、対応サブピクセルと同じ強度のフィルタリング処理が周囲の夫々のサブピクセルに施される。
従って、フィルタリング処理による平坦化の強度が、隣接するサブピクセル間で急激に変化することなく的確なフィルタリング処理を施すことができる。
【００９６】
また、前記フィルタリング手段は、前記非類似度が閾値より大きい場合には前記対応サブピクセルに前記フィルタリング処理を施し、前記非類似度が閾値より小さい場合には前記対応サブピクセルに前記フィルタリング処理を施さないことを特徴とすることもできる。
これによって、色むらが発生しやすい領域に限定してフィルタリング処理を施すことが可能となる。
【００９７】
従って、半透明合成画像において、フィルタリング処理が重複する領域を削減できる。
本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、前記表示デバイスの発色素子に対応するサブピクセル毎に画像の視覚的特徴を数値化した１又は複数種類の属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とする。
【００９８】
これによって、前景画像中の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像中の隣接するサブピクセル間で画像の差異が小さい領域ほどフィルタリング処理の効果を弱くすることが可能となる。
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【００９９】
また、本発明に係る表示方法は、ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、画像の視覚的特徴を数値化した１又は複数種類の属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出ステップと、前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むことを特徴とすることもできる。
【０１００】
これによって、前景画像の隣接するサブピクセル間で画像の差異が大きく色むらが発生しやすい領域、又は隣接するサブピクセル間で半透明合成比率の差異が大きく半透明合成後に画像の差異が大きくなり色むらが発生しやすい領域ほどフィルタリング処理の効果を強くし、逆に前景画像の隣接するサブピクセル間で画像の差異が小さい領域、又は隣接するサブピクセル間で半透明合成比率の差異が小さく半透明合成後に画像の差異が小さくなる領域ほどフィルタリング処理の効果を弱くすることが可能となる。
【０１０１】
従って、半透明合成画像において、色むらの除去が必要な領域では効果的にフィルタリング処理を施して色むらを除去し、色むらの除去が必要ない領域では平坦化効果の蓄積による画質の劣化を抑え、サブピクセル精度の高品質表示を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係わる表示装置１００の構成を示す図である。
【図２】テクスチャメモリ３が保持する前景テクスチャテーブル２１のデータ構造を示す図である。
【図３】半透明合成・サブピクセル処理部３５の内部の構成を示す図である。
【図４】前景変化検出部４２の内部の構成を示す図である。
【図５】フィルタリング処理部４５の内部の構成を示す図である。
【図６】輝度、及びα値を用いて前景画像の色の変化を判定する半透明合成・サブピクセル処理部３６の内部の構成を示す図である。
【図７】前景変化検出部４６の内部の構造を示す図である。
【図８】フィルタリング要否判定部４７の内部の構造を示す図である。
【図９】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１０】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１１】本発明の実施の形態１に係わる表示装置１００における動作の流れを示す図である。
【図１２】従来の表示装置により表示される表示画像１０３と、本実施の形態１の表示装置１００により表示される表示画像１０４の模式図である。
【図１３】本発明の実施の形態２に係わる表示装置２００の構成を示す図である。
【図１４】半透明合成・サブピクセル処理部３７の内部の構成を示す図である。
【図１５】フィルタリング係数決定部４９の内部の構成を示す図である。
【図１６】非類似度と、フィルタリング係数との関係を示す図である。
【図１７】フィルタリング処理部５０の内部の構成を示す図である。
【図１８】本発明の実施の形態２に係わる表示装置２００において合成画像を生成し色情報にフィルタリング処理を施す動作の流れを示す図である。
【符号の説明】
１ 表示デバイス
２ フレームメモリ
３ テクスチャメモリ
４ ＣＰＵ
５ 描画処理部
１１ 表示画面
１２ ドライバ
２１ 前景テクスチャテーブル
２２ａ ピクセル座標
２２ｂ 色情報
２２ｃ α値
３１ 座標スケール部
３２ ＤＤＡ部
３３ テクスチャマッピング部
３４ 背景３倍拡大部
３５ 半透明合成・サブピクセル処理部
３６ 半透明合成・サブピクセル処理部
３７ 半透明合成・サブピクセル処理部
４１ 半透明合成部
４２ 前景変化検出部
４３ フィルタリング要否判定部
４４ 閾値格納部
４５ フィルタリング処理部
４６ 前景変化検出部
４７ フィルタリング要否判定部
４８ 閾値格納部
４９ フィルタリング係数決定部
５０ フィルタリング処理部
５１ 色情報格納部
５２ 色空間距離演算部
５３ 最大色空間距離選択部
５４ 輝度算出部
５５ 色情報格納部
５６ Ｙ最大距離算出部
５７ α最大距離算出部
６１ 色空間変換部
６２ フィルタリング係数格納部
６３ 輝度フィルタリング部
６４ 輝度選択部
６５ ＲＧＢマッピング部
６６ 輝度フィルタリング部
７１ 輝度比較部
７２ α値比較部
７３ 論理ｏｒ部
７４ 初期フィルタリング係数格納部
７５ フィルタリング係数補間部
１００ 表示装置
１０１ 前景画像
１０１ａ 輪形の不透明な領域
１０１ｂ 輪の内側と外側の透明な領域
１０２ 既に半透明合成された領域
１０２ａ 三角形の不透明な領域
１０２ｂ 三角形の内側と外側の透明な領域
１０３ 従来の表示画像
１０３ａ 重複領域
１０４ 表示画像
１０４ａ 輪形の領域
１０４ｂ 三角形の領域
１０４ｃ 重複領域
２００ 表示装置
Claims (10)
- ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、
前記表示デバイスの発色素子に対応するサブピクセル毎にＲＧＢ各色の色情報すべてを含む属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出手段と、
前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段と
を備えることを特徴とする表示装置。 - 前記算出手段は、
前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値の非類似度を算出し、
前記フィルタリング手段は、
前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いること
を特徴とする請求項１記載の表示装置。 - ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置であって、
ＲＧＢ各色の色情報すべてを含む属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、
前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出手段と、
前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリング手段と
を備えることを特徴とする表示装置。 - 前記算出手段は、
前記判定範囲において、前記判定範囲に含まれるサブピクセルの全ての組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出し、
前記フィルタリング手段は、
前記注目するサブピクセルでの前記非類似度を示す値として、前記算出手段が算出した前記非類似度のうち最大の値を用いること
を特徴とする請求項３記載の表示装置。 - 前記注目するサブピクセルに対する前記判定範囲を構成する前記複数のサブピクセルと、前記対応サブピクセルに前記フィルタリング処理を施す場合に少なくとも１種類の前記属性値を平坦化する前記周囲のサブピクセルとの位置が対応すること
を特徴とする請求項２、又は請求項４記載の表示装置。 - 前記フィルタリング手段は、
前記非類似度が閾値より大きい場合には前記対応サブピクセルに前記フィルタリング処理を施し、
前記非類似度が閾値より小さい場合には前記対応サブピクセルに前記フィルタリング処理を施さないこと
を特徴とする請求項１、又は請求項３記載の表示装置。 - ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、
前記表示デバイスの発色素子に対応するサブピクセル毎にＲＧＢ各色の色情報すべてを含む属性値を持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値の非類似度を算出する算出ステップと、
前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むこと
を特徴とする表示方法。 - ＲＧＢ各色を発色する３つの発色素子を第１の方向に配列して構成した画素を備える表示デバイス上に、前景画像と背景画像とを半透明合成した合成画像を表示する表示装置における表示方法であって、
ＲＧＢ各色の色情報すべてを含む属性値と、前景画像と背景画像とを合成する場合の前景画像の透過率を示す数値である半透明合成比率とを、前記表示デバイスの発色素子に対応するサブピクセル毎に持つ前景画像データにおいて、サブピクセル毎に、注目するサブピクセルを含む第１の方向に隣接した複数のサブピクセルを判定範囲として、当該判定範囲に含まれるサブピクセルの組み合わせでの前記属性値、及び半透明合成比率の少なくとも一方の非類似度を算出する算出ステップと、
前記非類似度が大きいほど、少なくとも１種類の前記属性値をサブピクセル毎に周囲のサブピクセルと平坦化して色むらを除去するように、前記注目するサブピクセルと位置が対応する、半透明合成により生成された合成画像データ中の対応サブピクセルに、色むらを除去するフィルタリング処理を施すフィルタリングステップとを含むこと
を特徴とする表示方法。 - 前記算出手段は、ＲＧＢ各色の色情報から算出したサブピクセル毎の輝度を用いて属性値の非類似度を算出する請求項１〜請求項６の何れかに記載の表示装置。
- 前記算出手段は、ＲＧＢ各色の色情報のうちＧ成分を用いて輝度を算出する請求項９に記載の表示装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002344020A JP4005904B2 (ja) | 2002-11-27 | 2002-11-27 | 表示装置、及び表示方法 |
| US10/715,675 US20040145599A1 (en) | 2002-11-27 | 2003-11-18 | Display apparatus, method and program |
| EP03257401A EP1424675A3 (en) | 2002-11-27 | 2003-11-24 | Display apparatus, method and program with selective image smoothing based on subpixel colour values |
| CNA2003101246496A CN1510656A (zh) | 2002-11-27 | 2003-11-27 | 显示装置、显示方法和显示程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002344020A JP4005904B2 (ja) | 2002-11-27 | 2002-11-27 | 表示装置、及び表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004177679A JP2004177679A (ja) | 2004-06-24 |
| JP4005904B2 true JP4005904B2 (ja) | 2007-11-14 |
Family
ID=32290450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002344020A Expired - Fee Related JP4005904B2 (ja) | 2002-11-27 | 2002-11-27 | 表示装置、及び表示方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20040145599A1 (ja) |
| EP (1) | EP1424675A3 (ja) |
| JP (1) | JP4005904B2 (ja) |
| CN (1) | CN1510656A (ja) |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7525526B2 (en) * | 2003-10-28 | 2009-04-28 | Samsung Electronics Co., Ltd. | System and method for performing image reconstruction and subpixel rendering to effect scaling for multi-mode display |
| US7620496B2 (en) | 2004-03-23 | 2009-11-17 | Google Inc. | Combined map scale and measuring tool |
| US7599790B2 (en) * | 2004-03-23 | 2009-10-06 | Google Inc. | Generating and serving tiles in a digital mapping system |
| JP5592594B2 (ja) * | 2004-03-23 | 2014-09-17 | グーグル インコーポレイテッド | デジタルマッピングシステム |
| US7831387B2 (en) * | 2004-03-23 | 2010-11-09 | Google Inc. | Visually-oriented driving directions in digital mapping system |
| US7865301B2 (en) * | 2004-03-23 | 2011-01-04 | Google Inc. | Secondary map in digital mapping system |
| US7248268B2 (en) * | 2004-04-09 | 2007-07-24 | Clairvoyante, Inc | Subpixel rendering filters for high brightness subpixel layouts |
| US7173619B2 (en) * | 2004-07-08 | 2007-02-06 | Microsoft Corporation | Matching digital information flow to a human perception system |
| US8744184B2 (en) * | 2004-10-22 | 2014-06-03 | Autodesk, Inc. | Graphics processing method and system |
| GB0506703D0 (en) * | 2005-04-01 | 2005-05-11 | Univ East Anglia | Illuminant estimation |
| US8704847B2 (en) * | 2005-04-04 | 2014-04-22 | Samsung Display Co., Ltd. | Pre-subpixel rendered image processing in display systems |
| JP4693159B2 (ja) * | 2005-07-20 | 2011-06-01 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| US7496416B2 (en) * | 2005-08-01 | 2009-02-24 | Luxology, Llc | Input/output curve editor |
| US7933897B2 (en) | 2005-10-12 | 2011-04-26 | Google Inc. | Entity display priority in a distributed geographic information system |
| CN100356777C (zh) * | 2005-12-23 | 2007-12-19 | 北京中星微电子有限公司 | 一种用于在视频信号上叠加多个图形信号的控制装置及其方法 |
| GB0622250D0 (en) | 2006-11-08 | 2006-12-20 | Univ East Anglia | Illuminant estimation |
| JP4459250B2 (ja) * | 2007-04-20 | 2010-04-28 | 富士通株式会社 | 送信方法、画像送信システム、送信装置及びプログラム |
| US8478515B1 (en) | 2007-05-23 | 2013-07-02 | Google Inc. | Collaborative driving directions |
| CN101388979B (zh) * | 2007-09-14 | 2010-06-09 | 中兴通讯股份有限公司 | 一种在视频画面上叠加用户界面的方法 |
| ATE550744T1 (de) * | 2008-12-31 | 2012-04-15 | St Ericsson Sa | Verfahren und vorrichtung zum mischen von bildern |
| US8682094B2 (en) * | 2009-05-12 | 2014-03-25 | Dynamic Invention Llc | Adaptive subpixel-based downsampling and filtering using edge detection |
| CN102119409A (zh) * | 2009-05-19 | 2011-07-06 | 松下电器产业株式会社 | 描绘装置以及描绘方法 |
| US8611660B2 (en) | 2009-12-17 | 2013-12-17 | Apple Inc. | Detecting illumination in images |
| GB2513112B (en) * | 2013-04-08 | 2020-01-08 | Snell Advanced Media Ltd | Video sequence processing |
| JP2014203017A (ja) * | 2013-04-09 | 2014-10-27 | ソニー株式会社 | 画像処理装置、画像処理方法、表示装置、および電子機器 |
| US9262841B2 (en) * | 2013-11-15 | 2016-02-16 | Intel Corporation | Front to back compositing |
| CN103854570B (zh) * | 2014-02-20 | 2016-08-17 | 北京京东方光电科技有限公司 | 显示基板及其驱动方法和显示装置 |
| US10410398B2 (en) * | 2015-02-20 | 2019-09-10 | Qualcomm Incorporated | Systems and methods for reducing memory bandwidth using low quality tiles |
| US10127888B2 (en) * | 2015-05-15 | 2018-11-13 | Microsoft Technology Licensing, Llc | Local pixel luminance adjustments |
| CN109472763B (zh) * | 2017-09-07 | 2020-12-08 | 深圳市中兴微电子技术有限公司 | 一种图像合成的方法及装置 |
| CN109803163B (zh) * | 2017-11-16 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 图像展示方法及其装置、存储介质 |
| JP7155530B2 (ja) * | 2018-02-14 | 2022-10-19 | セイコーエプソン株式会社 | 回路装置、電子機器及びエラー検出方法 |
| US11373575B2 (en) | 2018-10-25 | 2022-06-28 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11488510B2 (en) | 2018-10-25 | 2022-11-01 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11410593B2 (en) | 2018-10-25 | 2022-08-09 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11043157B2 (en) | 2018-10-25 | 2021-06-22 | Baylor University | System and method for a six-primary wide gamut color system |
| US11189210B2 (en) | 2018-10-25 | 2021-11-30 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11403987B2 (en) | 2018-10-25 | 2022-08-02 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950161B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| US11587491B1 (en) | 2018-10-25 | 2023-02-21 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069279B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069280B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950162B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| US11475819B2 (en) | 2018-10-25 | 2022-10-18 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10997896B2 (en) | 2018-10-25 | 2021-05-04 | Baylor University | System and method for a six-primary wide gamut color system |
| US11037481B1 (en) | 2018-10-25 | 2021-06-15 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11315467B1 (en) | 2018-10-25 | 2022-04-26 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11341890B2 (en) | 2018-10-25 | 2022-05-24 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10607527B1 (en) | 2018-10-25 | 2020-03-31 | Baylor University | System and method for a six-primary wide gamut color system |
| US11289003B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11532261B1 (en) | 2018-10-25 | 2022-12-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11289000B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11062638B2 (en) | 2018-10-25 | 2021-07-13 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11030934B2 (en) | 2018-10-25 | 2021-06-08 | Baylor University | System and method for a multi-primary wide gamut color system |
| WO2020103036A1 (en) * | 2018-11-21 | 2020-05-28 | Boe Technology Group Co., Ltd. | A method of real-time image processing based on rendering engine and a display apparatus |
| CN110286975B (zh) | 2019-05-23 | 2021-02-23 | 华为技术有限公司 | 一种前景元素的显示方法和电子设备 |
| CN116645428A (zh) * | 2022-02-16 | 2023-08-25 | 格兰菲智能科技有限公司 | 图像展示方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6278434B1 (en) * | 1998-10-07 | 2001-08-21 | Microsoft Corporation | Non-square scaling of image data to be mapped to pixel sub-components |
| US6393145B2 (en) * | 1999-01-12 | 2002-05-21 | Microsoft Corporation | Methods apparatus and data structures for enhancing the resolution of images to be rendered on patterned display devices |
| US6738526B1 (en) * | 1999-07-30 | 2004-05-18 | Microsoft Corporation | Method and apparatus for filtering and caching data representing images |
| US6633297B2 (en) * | 2000-08-18 | 2003-10-14 | Hewlett-Packard Development Company, L.P. | System and method for producing an antialiased image using a merge buffer |
| JP3792149B2 (ja) * | 2001-11-12 | 2006-07-05 | 任天堂株式会社 | 画像処理装置および画像処理プログラム |
-
2002
- 2002-11-27 JP JP2002344020A patent/JP4005904B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-18 US US10/715,675 patent/US20040145599A1/en not_active Abandoned
- 2003-11-24 EP EP03257401A patent/EP1424675A3/en not_active Withdrawn
- 2003-11-27 CN CNA2003101246496A patent/CN1510656A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20040145599A1 (en) | 2004-07-29 |
| EP1424675A3 (en) | 2008-10-29 |
| JP2004177679A (ja) | 2004-06-24 |
| CN1510656A (zh) | 2004-07-07 |
| EP1424675A2 (en) | 2004-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4005904B2 (ja) | 表示装置、及び表示方法 | |
| JP5302961B2 (ja) | 液晶表示装置の制御装置、液晶表示装置、液晶表示装置の制御方法、プログラムおよびその記録媒体 | |
| US8199146B2 (en) | Processing of computer graphics | |
| JPWO2009157224A1 (ja) | 液晶表示装置の制御装置、液晶表示装置、液晶表示装置の制御方法、プログラムおよび記録媒体 | |
| US8699815B2 (en) | Methods and apparatus for improved display of foreground elements | |
| US6768491B2 (en) | Barycentric centroid sampling method and apparatus | |
| JP2010102713A (ja) | コンピュータグラフィックスを処理する方法および機器 | |
| JP5037311B2 (ja) | カラー再現システム及び方法 | |
| KR100772906B1 (ko) | 영상신호 표시 방법 및 장치 | |
| EP1174855A2 (en) | Display method by using sub-pixels | |
| TWI420417B (zh) | 用於處理以顯示裝置顯示之影像資料的方法及設備 | |
| JP3529759B2 (ja) | 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法 | |
| KR20060048146A (ko) | 색채에 의거하는 컬러화상의 영역분할 기술 | |
| JP2003248476A (ja) | 文字表示装置および文字表示方法、その文字表示方法を制御するための制御プログラムおよびその制御プログラムが記録された記録媒体 | |
| US9043238B2 (en) | Data visualization system | |
| JP5843566B2 (ja) | 多原色表示装置 | |
| JP3550347B2 (ja) | 表示方法 | |
| US6718072B1 (en) | Image conversion method, image processing apparatus, and image display apparatus | |
| CN113793249A (zh) | 一种Pentile图像转换为RGB图像的方法、装置及存储介质 | |
| CN113689333A (zh) | 一种图像增强的方法及装置 | |
| JP4265363B2 (ja) | 画像処理装置 | |
| JP2000076432A (ja) | 画像デ―タ補間装置、画像デ―タ補間方法および画像デ―タ補間プログラムを記録した媒体 | |
| US7239327B2 (en) | Method of processing an image for display and system of same | |
| JPH11296670A (ja) | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
| JP2003216947A (ja) | フィルタリングユニット、フィルタリング処理方法、及びフィルタリング処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070501 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |