≪実施形態1≫
以下、本発明の一実施形態について図1〜図16を参照して説明する。図2は、本実施形態の電子機器の概略構成を示している。この電子機器10の例としては、携帯電話機、電子辞書、携帯型通信端末などの携帯型電子機器が挙げられるが、本発明は、LCD(Liquid Crystal Display)ユニット(液晶表示装置)を備えた任意の電子機器に適用することができる。
図2に示すように、電子機器10は、CPU(主制御装置)11、バス12、メモリ(主制御装置)13、およびLCDユニット(表示装置)14を備える構成である。
CPU11は、例えばRAM(Random Access Memory)やフラッシュメモリなどの記憶素子に記憶されたプログラムを実行することにより、各種の演算を行うと共に、電子機器10内の各種ユニットの統括的な制御を、バス12を介して行うものである。本実施形態では、CPU11は、バス12を介してLCDユニット14に、メイン画像およびサイド画像の画像データ、各種指示などを送信している。ここで、サイド画像は、覗き見防止などの目的で、メイン画像を撹乱するためにメイン画像に重畳される画像をいう。
バス12は、電子機器10内の各種構成間でデータの送受信を行うための共通の信号線である。メモリ13は、各種データおよびプログラムを記憶するものである。メモリ13の例としては、CPU11が動作するときに必要なプログラム等の固定データを記憶する読出し専用の半導体メモリであるROM(Read Only Memory)と、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとしてのRAMとが挙げられる。
LCDユニット14は、CPU11またはメモリ13からバス12を介して画像データを受信し、受信した画像データに基づいて画像を表示するものである。LCDユニット14は、LCDモジュール22およびLCDコントローラ(表示制御装置)21を備える構成である。
LCDモジュール22は、表示用画像の画像データに基づいて表示素子に文字、記号、図形などの画像を表示させる機能単位であり、表示画素がマトリクス状に配列されたマトリクス型のLCD素子(液晶表示素子)と、該LCD素子を駆動する駆動回路とを備えるものである。上記LCD素子は、光源からの入射光の輝度を空間的に変調する空間的輝度変調によって画像を表示するものである。なお、画像には、静止画像および動画像が含まれる。LCDモジュール22は、一例として、図16に示すとおり、反射シート164、導光板163、レンズシート(周期構造)162、および、拡散シート161に、上記LCD素子と上記駆動回路とを備えるLCDパネル160が積層されている構成である。導光板163は、光源が出す光を伝播させる板状の部品であり、画面を均一に光らせるためのものである。反射シート164は、光源の洩光を防ぐためのものである。レンズシート162は、複数のプリズム部(周期構造)を有する板状の部品であり、前方(観察者の視点への方向)への集光効果を持つ。拡散シート161は、光源の光を均一に拡散させ、光の濃淡(ムラ)を取り除くものである。
LCDコントローラ21は、LCDモジュール22を制御するものである。具体的には、LCDコントローラ21は、上記表示用画像の画像データをLCDモジュール22に送信すると共に、LCDモジュール22を表示制御するための複数の制御信号を送信している。この制御信号の例としては、垂直同期信号、水平同期信号、表示用画像の画像データをLCD素子の各表示画素に転送するための転送クロック信号などが挙げられる。
本実施形態では、LCDモジュール22のLCD素子の表示画面から該表示画面の法線方向に存在する領域(以下、この領域を「軸上の領域」と称する。)Aonに位置する軸上観察者Vonは、メイン画像を視認するようになっている。一方、上記表示画面を視認可能な領域であって、上記軸上の領域以外の領域(以下、この領域を「軸外の領域」と称する。)Aoffに位置する軸外観察者Voffは、メイン画像とサイド画像とが合成された画像を視認するようになっている。この原理について以下に説明する。
一般に、観察者は、表示素子から離れるに従って、該表示素子における隣接する画素同士が判別し難くなり、ついには判別できなくなる。このとき、観察者は、上記隣接する画素における輝度の平均値(平均輝度)を知覚することになる。
このことから、図3に示すことが言える。図3は、隣接する画素の輝度を示している。まず、同図の(a)に示すように、隣接する画素p1・p2同士の輝度は等しく、I0とする。次に、同図の(b)に示すように、一方の画素p1は、元の輝度I0から或る輝度I1を減算した輝度に変更し、他方の画素p2は、元の輝度I0に或る輝度I1を加算した輝度に変更する。この場合、観察者は、上記隣接する画素p1・p2同士が判別できなくなると、同図の(c)に示すように、上記隣接する画素p1・p2の領域p12は、画素p1の輝度(I0−I1)と画素p2の輝度(I0+I1)との平均輝度、すなわち元の輝度I0を知覚することになる。
すなわち、隣接する画素の輝度を同図の(b)のように変更しても、隣接する画素同士が判別できない程度に観察者が表示素子から離れると、該観察者にとっては、同図の(a)のような元の輝度が知覚されることになる。
ところで、通常の表示素子は、出力される輝度が、入力される階調値(例えば、画像データが8ビットデータの場合、0〜255)に比例応答せず、該階調値の定数乗(γ乗)に比例応答している。このため、通常の表示ユニットは、ガンマ補正が行われて、出力される輝度が、入力される階調値に比例応答するようになっている。
図4は、上記階調値に対する上記輝度の応答性を示すグラフである。ガンマ補正後の上記階調値と上記輝度とは、同図の(a)に示すように、比例しており、線形性を有している。この場合、階調値(原値)D0に対応する輝度をI0とすると、原値D0から分割値D1だけ加算および減算をそれぞれ行った階調値(D0+D1)および階調値(D0−D1)に対応する輝度は、それぞれ輝度(I0+I1)および輝度(I0−I1)となる。従って、平均輝度はI0となり、原値D0に対応する輝度I0と同じとなる。
しかしながら、LCD素子の場合、軸上の方向に通過する光と、軸外の方向に通過する光とは、液晶を通過する光路長が異なっているのみならず、光の進行方向に対する液晶分子の傾きの違いに起因した複屈折性が異なっている。このため、軸上の方向に通過する光に関しては、図4の(a)のように、上記階調値に対する上記輝度の応答性が線形となるようにガンマ補正を行ったとしても、軸外の方向に通過する光に関しては、上記応答性が非線形となる。
図4の(b)は、上記応答性が非線形である場合を示している。同図の(b)を参照すると、この場合、階調値(原値)D0に対応する輝度I2は、原値D0から分割値D1だけ加算した階調値(D0+D1)に対応する輝度と、原値D0から分割値D1だけ減算した階調値(D0−D1)に対応する輝度との平均輝度I3と異なることが理解できる。
そこで、メイン画像に対し、隣接する画素の一方は原値D0から分割値D1だけ加算し、他方は原値D0から分割値D1だけ減算するように階調値が変調され、変調された画像がLCD素子に表示される場合を考える。この場合、軸上観察者は、メイン画像と同等の画像(平均輝度I3)を視認することになるが、軸外観察者は、メイン画像に対し、分割値D1に対応して変調された画像(輝度I2)を視認することになる。従って、本実施形態では、メイン画像の上記隣接する画素の分割値D1を、サイド画像の対応する画素の階調値に対応付けている。これにより、軸外観察者は、メイン画像にサイド画像が合成された画像を視認することになる。
ところで、図4の(b)を参照すると、分割値D1が大きくなるほど、輝度I2と平均輝度I3との差が大きくなることが理解できる。本実施形態の場合、輝度I2と平均輝度I3との差が大きいと、軸外観察者はサイド画像をより明確に視認することになるので、メイン画像の覗き見防止の観点から望ましい。従って、分割値D1は大きい方が望ましい。
一方、階調値は0以上である必要があるので、原値D0から分割値D1だけ減算した階調値(D0−D1)も0以上である必要がある。このため、階調値(D0−D1)は、0または0に近い正数となるような分割値D1を設定することが望ましい。また、原値D0から分割値D1だけ加算した階調値(D0+D1)は、階調値の最大値以下である必要がある。このため、メイン画像は、利用可能な階調値の範囲を圧縮する必要がある。
図5は、本実施形態におけるメイン画像の階調値と、表示用画像の階調値との対応関係を示すグラフであり、分割値D1に関する上記条件を満たすものである。なお、図5は、サイド画像が2階調(0または255)の例を示している。ここで、階調値が0の場合、サイド画像はメイン画像を撹乱する度合が最も高い(最大撹乱)とし、階調値が255の場合、サイド画像はメイン画像を撹乱しない(無撹乱)とする。また、図5の例では、実線および破線が直線で表現されているが、実際には曲線であることが多い。
図5の実線は、サイド画像の階調値が255(無撹乱)の場合を示している。この場合、表示用画像の階調値は、メイン画像の圧縮された原値D0’となる。また、図5の破線は、サイド画像の階調値が0(最大撹乱)の場合を示している。この場合、表示用画像における隣接する画素の階調値は、一方が、メイン画像の圧縮された原値D0’から分割値D1だけ加算された階調値(D0’+D1)となり、他方が、メイン画像の圧縮された原値D0’から分割値D1だけ減算した階調値(D0’−D1)となる。なお、サイド画像が多階調である場合は、サイド画像の階調値に応じて図5の2つの破線と同様のグラフが、図5の実線と2つの破線との間に記載されることになる。
従って、本実施形態のLCDコントローラ21は、図5に示すような、メイン画像の階調値と分割値D1との対応関係を分割パラメータとして記憶しておき、メイン画像の階調値を、サイド画像の階調値と上記分割パラメータとに基づいて変調し、これを表示用画像の階調値としてLCDモジュール22に送信している。これにより、軸上観察者は、メイン画像と同じ画像を視認する一方、軸外観察者は、メイン画像にサイド画像が合成された画像を視認することになる。その結果、軸外観察者は、メイン画像がサイド画像によって撹乱されて視認し難くなるので、メイン画像は、軸上観察者のみが視認できることになる。
図6は、軸外観察者から見てメイン画像がサイド画像によって撹乱される現象を示す図である。上述したとおり、表示画面を正面から見る軸上観察者には、メイン画像(図6の例では四葉のクローバー)のみが視認される。一方、表示画面を側面から見る軸外観察者は、上記メイン画像にサイド画像(図6の例では禁止マーク)が合成された画像を視認することになる。
〔サイド画像表示におけるモアレ発生のメカニズム〕
次に、LCDパネル160に周期的な明暗の縞(輝度パターン)をもたらす画素分割配列パターンについて説明する。
図7は、画素分割配列パターンに基づいて画像データが描画されたときの、サイド画像のための変調領域におけるLCDパネル160の輝度パターン170の拡大図と、サイド画像非変調領域における輝度パターン171の拡大図とを示す図である。図7には、輝度パターン170に対応する画素分割配列パターン(+と−とを配置した情報)が併せて記されている。
サイド画像変調領域Ar1における画素分割配列パターンに基づく輝度パターン170は、サイド画像非変調領域Ar2における元の輝度パターン171と比べて、以下の点で異なっている。すなわち、RGBの各色につき、隣接する画素同士のデータ値が、分割パラメータに基づいて元のデータ値から加算または減算されて配列されている。例えば、同図の輝度パターン170では、R(赤)の要素172は、元のRの要素174からデータ値が加算された画素を示し、Rの要素173は、元のRの要素175からデータ値が減算された画素を示している。この結果、データ値が加算されたRの要素172の輝度は、元のRの要素174・175の輝度より高く(明るく)なり、逆に、Rの要素173の輝度は低く(暗く)なる。
なお、図3(a)〜(c)を参照して説明したとおり、隣接する画素の輝度を画素分割配列パターンにしたがって変更しても、隣接する画素同士が判別できない程度に観察者が表示素子から離れると、該観察者にとっては、輝度パターン171のような元の輝度が知覚されることになる。よって、軸上からは、サイド画像(禁止マーク)は見えない。
しかしながら、図7のように画素分割配列パターンが周期的なパターン(例えば、+と−とが交互に配置されるパターン)を有する場合には、LCDパネル160(図16)の各画素に反映された輝度に高低のパターン(輝度パターン170)ができてしまい、明暗の縞模様が発生する可能性がある。具体的には、同図の画素分割配列パターンにしたがってサイド画像変調領域Ar1が描画されると、同図の輝度パターン170に示す斜線のような角度で、LCDパネルに明暗の縞模様が生じる。こうして、画素分割配列パターンに基づいてLCDパネル160にもたらされる縞模様と、レンズシート162などの周期構造における縞模様とが重なり、特定のバイアス角にて交差すると、交点間の距離が最も短い方向にモアレ(干渉縞)が発生する。
図8は、軸上観察者から見て、サイド画像変調領域にモアレが発生した現象を示す図である。図8に示すとおり、サイド画像変調領域にモアレが発生すれば、正常時、表示画面に対して正面にいる軸上観察者からは見えないはずのサイド画像が視認される。これにより、軸上での観察者にとって、メイン画像の視認性が著しく低下するという問題が生じる。本発明は、上述の画素分割配列パターンに変更を加えて、レンズシート162などの模様と干渉する、特定の輝度パターン170を解消し、モアレを除去することを可能にする。
具体的には、画素分割配列パターンに現れる縞模様などのピッチ、および/または、バイアス角に変化をつけたり、縞模様そのものを変更したりして、輝度パターン170(LCDパネルにもたらされる表示画面の軸方向における輝度の高低のパターン)に変更を加える。
次に、モアレを解消する本発明の表示制御装置としてのLCDコントローラ21の詳細について説明する。
〔表示制御装置の構成〕
図1は、本発明のLCDコントローラ21において、メイン画像およびサイド画像を用いて表示用画像を作成することに関する概略構成を示すブロック図である。図1に示すように、LCDコントローラ21は、少なくとも、メイン画像用メモリ30、サイド画像用メモリ31、配列パターン記憶部32、配列パターン制御部33、分割パラメータ記憶部38および画像合成部39を備える構成であり、さらに、LCDコントローラ21は、サイド画像を加工するための配色パターン記憶部34、色切替部35、拡縮率記憶部36、画像拡縮部37、回転・反転情報記憶部40、および、回転・反転部41を備えていてもよい。
メイン画像用メモリ30は、CPU11またはメモリ13からのメイン画像Mの画像データを取得して記憶するフレームバッファである。メイン画像用メモリ30に記憶されたメイン画像Mの画像データは、所定のタイミングで画像合成部39に送信される。
サイド画像用メモリ31は、CPU11またはメモリ13からのサイド画像Sの画像データを取得して記憶するものである。本実施形態では、メモリ容量の節約のために、サイド画像用メモリ31の容量をメイン画像用メモリ30の4分の1とし、サイド画像Sを、メイン画像Mの4分の1のサイズで記憶するようになっている。したがって、サイド画像Sは、メイン画像Mと合成されるときには、画像拡縮部37によって、縦、横方向のそれぞれに2倍ずつ拡大される。なお、LCDコントローラ21の構成は、これに限定されるものではない。
配色パターン記憶部34は、複数の配色パターンのデータを記憶するものである。また、色切替部35は、配色パターン記憶部34における上記複数の配色パターンを利用して、サイド画像の配色パターンを所定のタイミングで切り替えるものである。サイド画像の配色パターンを変化させることにより、サイド画像の動画化を実現することができる。
具体的には、色切替部35は、まず、配色パターン記憶部34における複数の配色パターンの中から或る配色パターンを選択する。次に、色切替部35は、選択された配色パターンのデータに基づいて、サイド画像用メモリ31からのサイド画像の画像データの色情報を変更し、変更後のサイド画像の画像データを回転・反転部41に送信する。そして、所定のタイミングで、色切替部35は、上記或る配色パターンとは別の配色パターンを配色パターン記憶部34における複数の配色パターンの中から選択し、上記動作を繰り返す。
回転・反転情報記憶部40は、回転角の情報と、左右反転、上下反転などの反転方向の情報とを記憶するものである。また、回転・反転部41は、回転・反転情報記憶部40における回転角の情報に基づいてサイド画像を所定のタイミングで回転したり、回転・反転情報記憶部40における反転方向の情報に基づいてサイド画像を所定のタイミングで反転したりするものである。サイド画像を回転または反転することによりサイド画像の動画化を実現することができる。
具体的には、回転・反転部41は、色切替部35からのサイド画像の画像データに対し、回転・反転情報記憶部40における回転角の情報に基づいて回転し、回転したサイド画像の画像データを画像拡縮部37に送信し、上記動作を繰り返す。或いは、回転・反転部41は、色切替部35からのサイド画像の画像データに対し、回転・反転情報記憶部40における反転方向の情報に基づいて反転し、反転したサイド画像の画像データを画像拡縮部37に送信し、上記動作を繰り返す。
拡縮率記憶部36は、画像サイズの拡大率または縮小率である拡縮率を複数個記憶するものである。また、画像拡縮部37は、拡縮率記憶部36における複数の上記拡縮率を利用して、サイド画像の画像サイズを所定のタイミングで拡大または縮小するものである。サイド画像の画像サイズを拡大または縮小することにより、サイド画像の動画化を実現することができる。
具体的には、画像拡縮部37は、まず、拡縮率記憶部36における複数の拡縮率の中から或る拡縮率を選択する。次に、画像拡縮部37は、回転・反転部41からのサイド画像の画像データを、上記或る拡縮率で拡大または縮小されたサイド画像の画像データとなるように変更し、変更後のサイド画像の画像データを画像合成部39に送信する。そして、所定のタイミングで、画像拡縮部37は、上記或る拡縮率とは別の拡縮率を拡縮率記憶部36における複数の拡縮率の中から選択し、上記動作を繰り返す。
分割パラメータ記憶部38は、上述の分割パラメータを記憶するものである。また、画像合成部39は、画像拡縮部37からのサイド画像の画像データと、分割パラメータ記憶部38における分割パラメータとに基づいて、メイン画像用メモリ30からのメイン画像の画像データを変調するものである。画像合成部39は、変調した画像データを上記表示用画像の画像データとしてLCDモジュール22に送信している。
変調した画像データがLCDモジュール22のLCDパネル160に表示されると、軸上からは、メイン画像Mのみが、軸外からは、メイン画像Mに重畳されたサイド画像Sが視認される。
配列パターン記憶部32は、サイド画像Sを合成するためにメイン画像Mを変調するときの、サイド画像変調領域における画素分割配列パターンを記憶するものである。配列パターン制御部33は、配列パターン記憶部32に記憶された画素分割配列パターンにしたがって、LCDパネル160の画素ごとにパターン情報を求めるものである。求めたパターン情報は画像合成部39に供給され、画像合成部39が、メイン画像Mを変調(サイド画像Sを合成)するときに参照する。
パターン情報とは、LCDパネル160の各画素において、分割パラメータに基づく加算後のデータ値を割り当てるのか、減算後のデータ値を割り当てるのかを示す情報である。例えば、図7のサイド画像変調領域Ar1における、Rの要素172が含まれる左上の画素のパターン情報は、同図に示される画素分割配列パターンに基づいて、
(R、G、B)=(+、−、+)
と求められる。メイン画像Mを、サイド画像Sを合成するために変調するとき、画像合成部39は、上記パターン情報を参照して、LCDパネル160の該当する上記画素のメイン画像Mの画素値に対して、分割パラメータを加減算する。すなわち、元の画素値のうち、Rのデータ値については加算後の値を、Gのデータ値には減算後の値を、Bのデータ値には加算後の値を、それぞれ、割り当てる。
なお、上述の説明では、LCDパネル160の1画素が、R(赤)G(緑)B(青)の3つの要素を有しているものとして、配列パターン制御部33が、RGBの各要素に対応するパターン情報を生成するものとしたが、これに限定されない。配列パターン制御部33は、LCDパネル160で再現する色がモノトーンの場合には、1つの画素について、単に、“+”または“−”が記されたパターン情報を求める。
また、本実施形態では、LCDパネル160の各画素には、3つの要素が、左から右へR、G、Bの順に配置されているものとして説明する。つまり、正方形の画素を、各要素が横方向に並ぶように3等分したものを各要素のセルとし、各セルは縦長の長方形の形状を有するものとする。ただし、画素と各要素の形状、および、画素内のレイアウトは、これに限定されない。
配列パターン制御部33がパターン情報を求めるための詳細構成および方法は後に詳述する。
〔画素分割配列パターン〕
次に、配列パターン記憶部32に記憶される画素分割配列パターンについて具体例を挙げて説明する。以下の説明では、図9を参照して、モアレが発生しやすい画素分割配列パターンの典型例を説明し、図10(a)〜(c)を参照して、本発明にかかる、モアレを除去するための画素分割配列パターンについて説明する。
図9は、周期構造による縞模様と干渉が起こりやすい画素分割配列パターンの典型例と、該画素分割配列パターンに基づいてLCDパネル160に出現する輝度パターン170とを示す図である。図9に示す画素分割配列パターンおよび輝度パターン170は、図7に示したものと同様のパターンである。
図10(a)〜(c)は、周期構造による縞模様と干渉する可能性がある模様を解消した画素分割配列パターンの具体例と、それに対応する輝度パターンとを示す図である。
画素分割配列パターンは、LCDパネル160の各画素に1対1で対応する各画素の集合から成っている。しかし、画素分割配列パターンを、LCDパネル160の画素数と同数になるように構成する必要はない。LCDパネル160において所望の輝度パターンを実現できる最小単位で構成すればよい。本実施形態では、x軸方向、y軸方向ともに、4画素×4画素を最小単位とする画素分割配列パターンについて説明する。ただし、本発明の画素分割配列パターンは、これに限定されず、配列パターン記憶部32に許容される記憶容量があれば、上記最小単位を8画素×8画素としてもよい。最小単位を大きくすればするほど、周期性をくずすパターンを多様化することができ、且つ、均一性を加味した画素分割配列パターンを採用することが可能となる。
LCDパネル160が、RGB信号に基づいて各色を再現可能な場合、画素分割配列パターンの各画素は、これもLCDパネル160の各画素の構成と対応させて、RGB各色の3つの要素を有している構成となっている。各図に示す画素分割配列パターンの1つのセルは、1つの画素の1つの要素に対応している。
画素分割配列パターンの各画素には、画素分割配列パターンの座標系における座標情報が付与されている。上述したとおり、本実施形態では、画素分割配列パターンのうち、最左上の画素のx、y座標を(1、1)とする。各画素には、x軸方向に1〜4、y軸方向1〜4のいずれかの座標情報が付与される。この座標情報は、LCDパネル160の各画素の座標位置(パネル座標系における座標位置)と、パターン座標系における座標位置との対応付けを行う際に利用される。上述の画素分割配列パターンの座標系を、以下、パターン座標系と称する。
そして、各画素の要素ごとに、画像合成部39がメイン画像Mの変調を行う際に、分割パラメータ加算後のデータ値を割り当てるか、減算後のデータ値を割り当てるかを示す二値の情報が付与される。図9および図10(a)〜(c)では、二値の情報を、“+”と“−”とで表している。二値の情報は、“ON/OFF”であってもよいし、“1/0”であってもよい。本実施形態では、“+”は、当該画素の当該要素に対して、加算後のデータ値を割り当てることを意味し、“−”は減算後のデータ値を割り当てることを意味する。
図9に示す画素分割配列パターンにしたがってLCDパネル160に表示された輝度パターン170は、同図に示す斜線の部分に輝度が低い要素が集まることにより、明暗の縞模様が発生してしまう。同図に示す破線に沿って周期構造に縞模様が形成されるとして、該縞模様との間でモアレが発生する場合には、例えば、同図に示すバイアス角θまたは縞模様の間隔(ピッチd)に変更を加えることにより、モアレを除去することが可能である。
上記変更は、配列パターン記憶部32に記憶する画素分割配列パターンを図9に示す画素分割配列パターンから変更することによって実現する。
図10(a)に示す画素分割配列パターンは、図9に示す画素分割配列パターンと比べると、y座標における3行目と4行目とを入れ替えるという変更が行われている。この変更によって、“−”の要素(=LCDパネル160の輝度が低い部分)の位置が変更されて、図9に示される縞模様が解消される。
図10(b)に示す画素分割配列パターンは、図9に示す画素分割配列パターンと比べると、x座標における3列目と4列目とを入れ替えるという変更が行われている。この変更によって、“−”の要素(=LCDパネル160の輝度が低い部分)の位置が変更されて、図9に示される縞模様が解消される。
図10(c)に示す画素分割配列パターンは、図10(b)に示す画素分割配列パターンと比べると、x座標における偶数列の画素のRの要素を、y座標における奇数行の要素と偶数行の要素とで入れ替えるという変更が行われている。この変更によって、“−”の要素(=LCDパネル160の輝度が低い部分)の位置がさらに変更されて、図9に示される縞模様が解消される。
なお、配列パターン記憶部32に記憶される画素分割配列パターンは、上述した画素分割配列パターンに限定されず、周期構造による縞模様と干渉する可能性がある模様を解消する画素分割配列パターンであれば、どのような画素分割配列パターンであってもよい。ただし、本実施形態のように、サイド画像Sを2倍拡大処理にてLCDパネル160に描画する場合には、サイド画像Sの1画素が、LCDパネル160における縦横方向にそれぞれ2画素×2画素の計4画素に対応する。したがって、画素分割配列パターン内においても、2画素×2画素の単位で“−”の要素と“+”の要素とに偏りが出ないレイアウトとすることが好ましい。つまり、2画素×2画素内の合計12要素のセルには、“−”の要素と“+”の要素とがそれぞれ6つずつになるレイアウトとする。この均一性を加味した規則に則れば、画素分割配列パターンを図9に示すものからどのように変更しても、観察者によって正面視の輝度が正常に平均化され、表示品位を維持することが可能となる。
また、配列パターン記憶部32は、LCDモジュール22の周期構造に応じて、干渉を回避可能な画素分割配列パターンを1つ記憶しておく構成であってもよいし、画素分割配列パターンを複数記憶する構成であってもよい。
〔配列パターン制御部の要部構成〕
次に、配列パターン制御部33が、上述の画素分割配列パターンを用いて、画像合成部39に供給するパターン情報を求める方法、および、そのための配列パターン制御部33の詳細構成について説明する。ただし、以下に示す方法および構成は、一例であって本発明を限定するものではない。
図11は、配列パターン制御部33のさらに詳細な要部構成の一例を示すブロック図である。
図11に示すとおり、配列パターン制御部33は、さらに、対象座標取得部70、配列パターン選択部71、最小単位取得部72、パターン位置特定部73、および、パターン情報出力部74を含む構成となっている。これらの配列パターン制御部33の各部は、CPU(central processing unit)が不図示のROM(read only memory)等の記憶装置に記憶されているプログラムをRAM(random access memory)等に読み出して実行することで実現できる。すなわち、上記各部は、上記CPUが上記記憶装置に格納されたプログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって実現される機能ブロックである。
対象座標取得部70は、パターン情報を求める対象となる、LCDパネル160上の画素のx、y座標を取得するものである。本実施形態では、LCDパネル160の最左上の画素のx、y座標を(1、1)として、そこから画素の位置が右方向に進むにつれてx座標の値は大きくなり、下方向に進むにつれてy座標の値は大きくなるものとする。このLCDパネル160の座標系を、以下、パネル座標系と称する。対象座標取得部70は、対象画素のパネル座標系におけるx、y座標をパターン位置特定部73に供給する。
配列パターン選択部71は、配列パターン記憶部32に記憶されている画素分割配列パターンを取得するものである。例えば、図10(a)〜(c)に記載されている画素分割配列パターンのいずれか1つが配列パターン記憶部32に記憶されている場合にはそれを取得する。あるいは、複数の画素分割配列パターンが記憶されている場合には、いずれか1つを選択して取得する。
最小単位取得部72は、取得された画素分割配列パターンの最小単位を取得するものである。例えば、配列パターン選択部71が、図10(a)に示す画素分割配列パターンを取得したときは、x方向×y方向=4画素×4画素を最小単位として取得する。
パターン位置特定部73は、LCDパネル160の上記対象画素に対応する、画素分割配列パターン内の画素の位置を特定するものである。LCDパネル160上には、最小単位の画素分割配列パターンが繰り返し敷き詰められることになるので、敷き詰められたときに、上記対象画素が画素分割配列パターンのどの画素に相当するのかを、パターン位置特定部73が特定する。つまり、パネル座標系のx、y座標と、パターン座標系のx、y座標との紐付けを行う。
パターン情報出力部74は、パターン位置特定部73によって特定された、パターン座標系のx、y座標に基づいて、対象画素のパターン情報を画素分割配列パターンから取得するものである。パターン情報出力部74は、取得したパターン情報に対象画素のx、y座標(パネル座標系)を関連付けて、画像合成部39に供給する。例えば、パターン情報出力部74は、「(x、y)=(1、1)の画素の分割のパターンは、(R、G、B)=(+、−、+)である」というパターン情報を出力する。
上記構成によれば、画像合成部39は、LCDパネル160上のすべての画素について、分割のパターンに関するパターン情報を得ることができる。パターン情報は、縞模様などのモアレの原因となる模様を解消した画素分割配列パターンに基づいて求められたものである。このパターン情報に基づいて、サイド画像Sの変調領域にかかるLCDパネル160上の画素に反映されるメイン画像Mのデータ値を、分割パラメータによって加算、減算して、変調することが可能となる。
これにより、サイド画像S変調領域は、モアレの原因となる輝度パターンを形成しなくなり、結果として、サイド画像S変調領域におけるモアレを除去することが可能となる。
次に、上述の配列パターン制御部33の各部および画像合成部39によって実行されるモアレ除去方法について、以下の具体例を用いて説明する。なお、以下に説明するモアレ除去処理のフローは一例であって、本発明を限定するものではない。
図12は、LCDパネル160のパネル座標系を示す図である。以下の説明では、具体例として、同図に示す画素Qを対象画素とした場合に、図10(a)に示す画素分割配列パターンに基づいて、パターン情報を求めるものとする。画像合成部39は、画素Qを含むサイド画像Sの変調領域における各画素のメイン画像Mのデータ値を、求められたパターン情報に基づいて、それぞれ変調する。
〔モアレ除去処理フロー〕
配列パターン制御部33は、LCDパネル160上の各画素について、順次パターン情報を求める。対象画素が図12に示す画素Qに移ると、対象座標取得部70は、画素Qのパネル座標系におけるx座標およびy座標を取得するステップ(S1)を実行する。すなわち、(x、y)=(11、20)を取得する。なお、図12に示すパネル座標系の情報は、配列パターン制御部33が内部に保持していてもよいし、別の記憶部から取得してもよい。
一方、配列パターン選択部71は、配列パターン記憶部32に記憶されている画素分割配列パターンを取得するステップ(S2)を実行する。ここでは、図10(a)に示す画素分割配列パターンを取得するものとする。
次に、最小単位取得部72は、取得された画素分割配列パターンから当該パターンの最小単位を取得するステップ(S3)を実行する。図10(a)に示す画素分割配列パターンの例では、最小単位取得部72は、「x方向×y方向=4画素×4画素」を取得する。
続いて、パターン位置特定部73は、上記対象画素Qに対応する、画素分割配列パターン上の画素を特定するステップ(S4)を実行する。具体的には、パターン位置特定部73は、対象座標取得部70が取得した、画素Qのパネル座標系のx、y座標と、最小単位取得部72が取得した最小単位とに基づいて、画素Qのパターン座標系におけるx、y座標を求める。
例えば、整数kのnを法とする剰余、すなわち、“k mod n”によって、パターン座標系におけるx、y座標を求めることができる。ここで、“k”は、画素Qのパネル座標系のx(y)座標であり、“n”は、取得された画素分割配列パターンのx(y)方向の最小単位画素数である。本実施形態では、“k mod n=0の場合は、x(y)座標=n”となる。
具体的には、
x=11 mod 4=3、および、
y=20 mod 4=0、より、
画素Qのパターン座標系におけるx、y座標は、
(x、y)=(3、4)
となる。
続いて、パターン情報出力部74は、画素Qのパターン情報として、上記画素分割配列パターンにおける(x、y)=(3、4)の位置の画素のパターンを取得し、画像合成部39に出力するステップを実行する(S5)。具体的には、図10(a)に示す画素分割配列パターンの(x、y)=(3、4)には、(R、G、B)=(+、−、+)という分割のパターンが格納されているので、パターン情報出力部74は、上記パターンを、画素Qのパネル座標系のx、y座標と関連付けて、パターン情報120として画像合成部39に供給する。図13は、画像合成部39に供給されるパターン情報120の具体例を示す図である。
なお、配列パターン制御部33は、LCDパネル160上の全ての画素について、図13に示すようなパターン情報を求める。パターン情報出力部74は、画素ごとに求めたパターン情報を、その都度、順次、画像合成部39に出力してもよいし、LCDパネル160の全ての画素についてパターン情報が求まってからまとめて画像合成部39に出力してもよい。
最終的に、画像合成部39は、パターン情報出力部74から、LCDパネル160の全ての画素についてパターン情報を取得する。画像合成部39は、各画素の上記パターン情報に基づいて、サイド画像変調領域におけるメイン画像Mのデータ値を変調するステップを実行する(S6)。具体的には、画像合成部39は、サイド画像Sが表示される画素Qにおいては、図13に示すパターン情報120に基づいて、メイン画像MのRとBのデータ値に、分割パラメータを加算し、Gのデータ値から分割パラメータを減算する変調を行って、サイド画像Sを合成する。画像合成部39は、上記の変調を、図12に示す、サイド画像Sの変調領域121に含まれる画素に対して実行する。
上記方法によれば、LCDパネル160のサイド画像Sの変調領域121に形成される輝度パターンを、図10(a)の画素分割配列パターンとすることが可能となる。図10(a)の画素分割配列パターンは、レンズシート162の周期構造に基づく縞模様と干渉しないパターンであるので、結果として、サイド画像Sの変調領域121に発生するモアレを除去することが可能となる。
〔画素分割配列パターンのバリエーション〕
配列パターン記憶部32に記憶される画素分割配列パターンは、上述したものに限定されず、周期構造による縞模様と干渉する可能性がある模様を解消する画素分割配列パターンであれば、どのようなパターンであってもよい。
図23は、周期構造による縞模様と干渉する可能性がある模様を解消した画素分割配列パターンの他の具体例を示す図である。
モアレを解消するためには、図9に示す典型的な画素分割配列パターンに変則的なパターンを加える、つまり、横方向および縦方向の少なくともいずれかの方向にRGBの各要素の+/−を連続させるパターンを加えればよい。
図23(a)および(b)は、横方向において、RGB各色の要素の+/−を交互に配置することを維持しつつ、縦方向において、+/−を連続させる画素分割配列パターンである。図23(c)および(d)は、縦方向において、+/−を交互に配置することを維持しつつ、横方向において+/−を連続させる画素分割配列パターンである。図23(e)は、横方向および縦方向にて、+/−を連続させる画素分割配列パターンである。
これらの画素分割配列パターンによれば、周期的な+/−の配置によって形成される縞模様を解消することが可能となる。
〔画素分割配列パターンと粒状感について〕
配列パターン記憶部32に記憶される画素分割配列パターンは、周期構造による縞模様と干渉する可能性がある模様を解消する画素分割配列パターンであれば、どのような画素分割配列パターンであってもよい。しかしながら、周期性を加味して、“+”または“−”のパターンが、隣接する要素間で連続しないような画素分割配列パターンとしたり、上述したとおり、均一性を加味して、“+”または“−”のパターンが特定の範囲内で均一になるような画素分割配列パターンとしたりすることは、表示品位を維持する上で好ましい。
周期性および均一性を加味せずに画素分割配列パターンを構成すると、“+”と“−”とが連続して配置されたり、“+”と“−”とが偏って配置されたりすることによって、モアレは解消するものの、表示品位が低下する虞がある。具体的には、“+”が固まっている場所と、“−”が固まっている場所とができると、縞模様は解消されるが、今度は明暗の粒模様が形成される。したがって、LCDパネル160上には、図14(a)および(b)に示すとおり、砂の粒のようなザラザラとした模様(粒状感)が残るという別の問題が生じる。
例えば、図10(c)に示す画素分割配列パターンでは、同一画素内の隣合う2要素で、“+”または“−”(+/−)が連続し、また、画素を跨げば横方向に連続する3つの要素で、+/−が連続してしまう。図10(c)の輝度パターンは、他の図に示した輝度パターンと比較して、明暗の粒模様が目立つことが理解できる。したがって、サイド画像変調領域における粒状感を解消するためには、画素分割配列パターンを、同一画素内の隣合う2要素で+/−が連続しない配置とすることが好ましい。
さらに、図10(b)に示す画素分割配列パターンでは、同一画素内で、+/−は連続しないものの、画素を跨げば、横方向に連続する2つの要素で+/−が連続してしまう。本実施形態において、縦長の長方形の各要素が横方向に連続するということは、各要素が長辺にて接して連続するということであり、縦方向に連続する場合にくらべて、+/−の領域のかたまりが目立つ。したがって、画素を跨いでいるとはいえ、各要素で横方向に+/−が連続してしまうことは粒状感が生じる原因となる。そこで、図10(a)に示す画素分割配列パターンのように、画素を跨いでも、横方向に連続する2つの要素で+/−が連続しない配置とすることが、粒状感を解消する上でさらに好ましい。以上のとおり、横方向に隣接する要素について、+/−が連続しないように周期性を加味することによって、粒状感を解消することが可能となる。
さらに、既に述べたとおりであるが、サイド画像Sを何倍拡大にするのか、つまり、サイド画像Sの1画素が、画素分割配列パターンにおける何画素×何画素の区域に相当するのかを考慮して、当該区域における+/−の均一性を加味した画素分割配列パターンとすることが好ましい。
図15(a)〜(d)は、それぞれ、図9、図10(a)〜(c)の各図に示す各画素分割配列パターンに基づいて、LCDパネル160の各画素のパターン情報が求められた場合の、各画素のRの要素における分割のパターンを示す図である。なお、LCDパネル160の各画素には、RGBのそれぞれの要素について+/−が格納されているが、説明の簡略化のために、Rの要素についてのみ図示する。
上述したとおり、本実施形態では、サイド画像Sは、メイン画像Mと比べて4分の1のサイズで格納されている。この場合、サイド画像Sは、縦横それぞれ2倍拡大されてLCDパネル160に表示される。したがって、サイド画像Sの1画素は、LCDパネル160の画素(画素分割配列パターンの画素)の、2画素×2画素に相当する。図15(a)〜(d)の各図に示す、4画素を1単位とする破線枠は、サイド画像Sの1画素に相当する区域を示している。
サイド画像1画素の区域には、RGB全ての要素について、+/−が、均一に、偏ることなく配置されていることが好ましい。例えば、図15(d)に示す分割のパターンによれば、+、+、または、−、−と、横方向に隣り合う画素のRのパターンが、しかも、同一区域(サイド画像S1画素)内にて連続してしまう。これにより、同図の他のパターンと比べて、Rの色の偏りが目立ち、これにより粒状感が生じる。一方、図15(a)〜(c)に示すパターンでは、サイド画像1画素の区域には、RGB全ての要素について、+/−が交互に、偏りなく配置されているため、図15(d)のパターンと比べて各色の輝度が観察者によってうまく平均化されるので、粒状感による表示品位の低下を防ぐことが可能となる。さらに、図15(b)は、横方向に隣り合う区域(サイド画像Sの1画素)においても、+/−が連続しないので、図15(c)と比較して、表示品位さらに高品位に維持することができる。
≪色ぼかしフィルタについて≫
配列パターン記憶部32に記憶される画素分割配列パターンは、周期構造による縞模様と干渉する可能性がある模様を解消する画素分割配列パターンであれば、どのようなパターンであってもよい。しかしながら、LCDユニット14が色ぼかしフィルタを備える構成である場合には、該色ぼかしフィルタの特性を考慮して、“+”または“−”のパターンが、隣接する要素間で連続しないような画素分割配列パターンとすることが表示品位を維持する上で好ましい。以下では、色ぼかしフィルタの特性について説明し、どのような画素分割配列パターンとすれば、色ぼかしフィルタの成果を落とさずに、モアレを除去できるのかについて説明する。
色ぼかしフィルタとは、正面視のメイン画像の画質低下を改善するためのものである。サイド画像を表示するための変調領域では、メイン画像の元の1画素のデータ値を、複数の画素に分割し配置して、元の色味を再現する。そのため、メイン画像の色を再現する場合、特にメイン画像が細い線、細かな点、複雑な形状を含んでいる場合には、変調領域の1画素1画素が元の色味を正確に再現しきれずに、メイン画像の正面視の画質を低下させる虞があった。そこで、色ぼかしフィルタを、LCDコントローラ21またはLCDモジュール22の駆動回路に設けて、注目画素のRGB各色の階調値を周囲の複数の画素に分散させる(ぼかす)という修正を画像データに施す。ぼかした複数の画素によって、元の色味をより正確に再現できるので、画質の低下を防ぐことが可能である。
色ぼかしフィルタのいくつかの実施例について、図1および図17〜図22を参照しながら説明する。色ぼかしフィルタには、大別して、LCDモジュール22が備える駆動回路に設けられるドライバ用色ぼかしフィルタと、LCDコントローラ21に設けられるコントローラ用色ぼかしフィルタとの2種類がある。
〔実施例1:ドライバ用色ぼかしフィルタの構成〕
図17は、本実施例における色ぼかしフィルタを備えるLCDモジュール22の概略構成を示すブロック図である。図17に示すとおり、LCDモジュール22は、LCDパネル160のLCD素子を駆動するための、信号線駆動回路(ソースドライバIC)23および走査線駆動回路(ゲートドライバIC)24とを備えている。なお、本明細書において、横方向またはx軸方向とは、走査線の延びる方向を示し、縦方向/y軸方向とは、信号線の延びる方向を示している。
また、LCDモジュール22は、光源としての図示しないバックライトを備えている。LCDモジュール22の構成は、以下で詳細に説明する点以外は、従来のアクティブマトリクス型LCDモジュールが備える構成を採用できる。よって、ここでは、LCDモジュール22が備える従来の構成についての説明は省略する。
本実施例におけるLCDモジュール22において、信号線駆動回路23は、ピクセルバッファ230および色ぼかしフィルタ231を備えている。
信号線駆動回路23は、信号側の制御信号とともに、画素ごとのRGB各色の階調データを含む画像データ(各画素のデータ値)をLCDコントローラ21からピクセルバッファ230を介して取得する。
ピクセルバッファ230は、信号線駆動回路23が取得する画像データを一時的に記憶するものである。一般に信号線駆動回路23を実現するためのICチップについては面積の制約が大きいことから、ピクセルバッファ230は、数画素分のデータ値を記憶するピクセルバッファとして実現される。本実施例では、横方向の画素4つ分のRGB各色の階調値を記憶できるものとする。したがって、信号線駆動回路23は、画像データから、注目画素1画素ごとに、画素4つを1単位として順次取得したものをピクセルバッファ230に書き込む。
色ぼかしフィルタ231は、ピクセルバッファ230に記憶されている4つの画素の階調値のパターンに基づいて、注目画素のRGB各色の階調値を分散させるものである。色ぼかしフィルタ231による分散の結果、階調値が改められた後の画像データがLCDパネル160に反映される。なお、本実施例では、横(左右)方向の4画素を参照しているので、縦(上下)方向の画素を参照して、上下方向にぼかしを入れることは行っていない。
色ぼかしフィルタ231のフィルタリングの動作について、具体例を用いて詳細に説明する。
図18(a)および(b)は、色ぼかしフィルタ231が保持する各種フィルタの具体例、および、当該各フィルタとピクセルバッファ230において検出される画素パターンとの対応関係を示す図である。
色ぼかしフィルタ231は、まず、ピクセルバッファ230に格納された、横方向4画素分の各色の階調値と、図18(a)に示すモデルの画素パターンとのパターンマッチングを行って、現在ピクセルバッファ230に格納されている4つの画素の画素パターンを検出する。ここで、図18(a)のモデルの画素パターンが示す、「白=1」、「黒=0」は、実際の色や階調値を表しているのではない。本実施例では、実際の階調値を所定の閾値(例えば、125)に基づいて2値化した場合に、高階調を「白=1」、低階調を「黒=0」と表すものとする。
次に、色ぼかしフィルタ231は、ピクセルバッファ230に格納された4画素において、例えば、「0、0、1、0」のパターンを検出したとする。この場合、色ぼかしフィルタ231は、図18(a)に示す「画素パターン02」に対応付けられているフィルタ「Px’=WN*Px+(1−WN)*Px+1」に基づいて、注目画素Pxの階調値を修正する。
本実施例では、色ぼかしフィルタ231は、横方向に並ぶ4つの画素のうち左から2番目を注目画素Pxとし、その左右方向のみの周辺画素(Px−1および/またはPx+1)に基づいて階調値の修正を行う。
各フィルタには、「WN」などのフィルタパラメータが含まれている。本実施例では、色ぼかしフィルタ231は、図18(b)に示すフィルタパラメータのリストを保持しており、このリストを参照してフィルタパラメータの値を取得し、注目画素Pxの階調値を求めることができる。なお、フィルタパラメータが固定されている場合には、フィルタに、「WN」の代わりに「13/32」という値が含まれていてもよい。
なお、ピクセルバッファ230に格納された画素のパターンが、図18(a)に示すように色ぼかしフィルタ231があらかじめ保持しているモデルパターンのいずれとも一致しない場合には、色ぼかしフィルタ231は、そのときの注目画素Pxにはいずれのフィルタも適用しない構成としてもよい。
信号線駆動回路23は、上述のように修正した後の(ぼかした)画像データに応じた階調電圧を、LCDパネル160の信号線の何れかに出力する。
上述のドライバ用色ぼかしフィルタ231の構成によれば、少なくとも、横方向において、注目画素のRGB各色の階調値が分散されるので、横方向に並ぶ複数の画素によって、元の1画素の色味をより正確に再現することができ、したがって、階調値が分割される変調領域において、メイン画像の画質の低下を防ぐことが可能となる。
〔実施例2:コントローラ用色ぼかしフィルタの構成〕
図1に、他の色ぼかしフィルタを備えるLCDコントローラ21の概略構成を示す。図1に示すとおり、LCDコントローラ21は、さらに、メイン画像用メモリ30から出力されるメイン画像Mの画像データにぼかしを加えるためのラインバッファ42と、色ぼかしフィルタ43とを備えていてもよい。
ラインバッファ42は、メイン画像用メモリ30から出力される画像データを一時的に記憶するものである。一般にLCDコントローラ21においては、上述の信号線駆動回路23と比較して面積の制約が小さいことから、ラインバッファ42は、画像データのうち複数ライン分のデータ値を記憶することが可能なラインバッファとして実現される。本実施例では、ラインバッファ42は、少なくとも、横方向に画素3つ(または4つ)、縦方向に画素3つ、合計で9個(または12個)の画素分のRGB各色の階調値を記憶できるものとする。画像データから、注目画素1画素ごとに、縦横3*3=9個(または3*4=12個)の画素を1単位として順次取得したものが、ラインバッファ42に順次書き込まれる。
色ぼかしフィルタ43は、ラインバッファ42に記憶されている9個または12個の画素の階調値のパターンに基づいて、注目画素のRGB各色の階調値を分散させるものである。色ぼかしフィルタ43による分散の結果、階調値が改められた後の画像データが画像合成部39に出力される。なお、本実施例では、上述の実施例とは異なり、横方向および縦方向の3*3の画素を参照しているので、左右方向に加えて上下方向にもぼかしを入れることが可能である。
色ぼかしフィルタ43のフィルタリングの動作について、具体例を用いて詳細に説明する。
図19は、一例として、ラインバッファ42において検出される画素パターンの類型を示す図である。図20は、検出された画素パターンと色ぼかしフィルタ43が保持する各種フィルタとの対応関係、および、当該各フィルタの具体例を示す図である。
色ぼかしフィルタ43は、まず、ラインバッファ42に格納された、縦横3*3(必要に応じて4)=9(12)個の画素分の各色の階調値と、図19に示すモデルの画素パターンとのパターンマッチングを行って、現在ラインバッファ42に格納されている縦横3*3(4)の領域の画素パターンを検出する。
本実施例では、図19に示すとおり、色ぼかしフィルタ43は、ラインバッファ42に格納されている領域について、考えられる無数の画素パターンを、ある条件に基づいて以下の6種類のいずれかの画素パターンに分類し、上記領域が、背景白地(高階調)の前景黒(低階調)なのか、背景黒地(低階調)の前景白(高階調)なのかを判定する。これらの判定結果に応じたフィルタを用いて画像データの“ぼかし”を実行する。上述の実施例と同様、ここでも、モデルの画素パターンが示す、「白=1」は高階調を、「黒=0」は低階調を表すものとし、これらは、実際の階調値が所定の閾値に基づいて二値化されたものである。
(1)色ぼかしフィルタ43は、図19に示す条件に基づいて、3*3の領域において、左上の画素から順に、階調値(2値化後)が、0、1、0、1、0、1、0、1、0のチェック柄を検出した場合には、それを「パターン名:Chequer1」の画素パターンであると判定する。
(2)色ぼかしフィルタ43は、図19に示す条件に基づいて、3*3の領域において、左上の画素から順に、階調値(2値化後)が、1、0、1、0、1、0、1、0、1のチェック柄を検出した場合には、それを「パターン名:Chequer2」の画素パターンであると判定する。
(3)色ぼかしフィルタ43は、図19に示す条件に基づいて、注目画素p(x、y)を左から2番目、上から2番目の位置とする縦横3*4の領域において、階調値1(二値化後)の画素が6個以上で、且つ、注目画素p(x、y)の階調値が0の場合、当該領域を、背景白地に前景黒で、注目画素が前景黒であるパターン(すなわち、「パターン名:Black text」)と判定する。
(4)色ぼかしフィルタ43は、図19に示す条件に基づいて、注目画素p(x、y)を左から2番目、上から2番目の位置とする縦横3*4の領域において、階調値1の画素が6個以上で、且つ、注目画素p(x、y)の階調値が1の場合、当該領域を、背景白地に前景黒で、注目画素が背景白地であるパターン(すなわち、「パターン名:Black Text Neighbour」)と判定する。
(5)色ぼかしフィルタ43は、図19に示す条件に基づいて、注目画素p(x、y)を左から2番目、上から2番目の位置とする縦横3*4の領域において、階調値1の画素が6個未満で、且つ、注目画素p(x、y)の階調値が1の場合、当該領域を、背景黒地に前景白で、注目画素が前景白であるパターン(すなわち、「パターン名:White text」)と判定する。
(6)色ぼかしフィルタ43は、図19に示す条件に基づいて、注目画素p(x、y)を左から2番目、上から2番目の位置とする縦横3*4の領域において、階調値1の画素が6個未満で、且つ、注目画素p(x、y)の階調値が1の場合、当該領域を、背景黒地に前景白で、注目画素が背景黒地であるパターン(すなわち、「パターン名:White Text Neighbour」)と判定する。
次に、色ぼかしフィルタ43は、図20に示すように、判定した上記6つのうちのいずれかの画素パターンに対応付けられているフィルタに基づいて、注目画素p(x、y)のRGB各色の階調値を、周辺画素に分散する。図20に示す例では、フィルタリング後の注目画素p’(x、y)の階調値は、以下のフィルタ、
p’(x、y)=1/32*Σ
によって求まる。
ここで、Σは、図20に示す適用フィルタにおいて、画素ごとにあらかじめ定められている重み付け値をその画素の階調値にかけて求めた各画素の積の総和を示す。すなわち、「パターン名:Chequer1」の画素パターンにおいて用いられるフィルタは、
p’(x、y)=1/32*{8*p(x、y)+6*p(x、y−1)+6*p(x−1、y)+6*p(x+1、y)+6*p(x、y+1)}
となる。
画像合成部39は、上述のように色ぼかしフィルタ43が修正した後の(ぼかした)画像データを、分割パラメータに基づいて変調し、変調後の画像データをLCDモジュール22に出力する。
上述のコントローラ用色ぼかしフィルタ43の構成によれば、横方向および縦方向において、注目画素のRGB各色の階調値が分散されるので、横方向および縦方向に及ぶ複数の画素領域によって、元の1画素の色味をより正確に再現することができ、したがって、階調値が分割される変調領域においても、メイン画像の画質の低下を防ぐことが可能となる。
〔画素分割配列パターンと色ぼかしフィルタとの関係〕
上述の各実施例にあるような色ぼかしフィルタを本発明のLCDユニット14に設けると、変調領域(階調値が分割されている領域)においては、採用されている画素分割配列パターンによって、色のぼかされ方が異なってくる。すなわち、色ぼかしフィルタによって意図したとおりに色をぼかす(元のメイン画像の色を正しく再現する)ことができるか否かは、画素分割配列パターンの内容に依存する。
図21(a)〜(d)は、図9に示す典型的な画素分割配列パターンに基づく変調領域に、色ぼかしフィルタを適用した場合の処理過程および結果を説明する図である。
例えば、図21(a)に示すメイン画像Mがあるとする。一例として、このメイン画像Mは、背景の黒地(0階調)に、前景として白点が1画素で表現されているものであり、当該白点の“Lv1”はその階調がRGB各色共に255階調であることを示す。
このようなメイン画像Mに対して色ぼかしフィルタ(ここでは、一例としてコントローラ用色ぼかしフィルタ43を採用するものとする)を適用すると、図21(a)の白点1画素のLv1の階調値は、一例として図21(b)に示すとおり、Lv1の白点があった画素を中心とする周辺画素へと分散される。具体的には、元々白点があった注目画素の階調値はLv2に下げられ、該注目画素と上下左右方向で隣接する周辺画素の階調値はLv3に上げられ、該注目画素と斜め(左上、右上、左下、右下)方向で隣接する周辺画素の階調値はLv4に上げられる。例えば、Lv2は230階調、Lv3は178階調、Lv4は128階調であることを示しているものとするが、これに限定されない。
上述のように色ぼかしフィルタによって色がぼかされるメイン画像Mに対して、画像合成部39によって、図9に示す画素分割配列パターンに基づく変調(階調値の分割)が行われる。このとき、画素分割配列パターンのうち、図21(c)に示す破線で囲まれた領域が、図21(b)に示すような、ぼかされた白点を再現するために参照される。
最終的に、ぼかされた白点を変調領域にて再現する図21(d)に示す結果が得られる。図21(c)の画素分割配列パターンの破線枠内の各画素(各要素)に、図21(b)の階調値の分散が適用されると、このような結果が得られる。例えば、図21(d)に示す結果において、元の白点があった注目画素のRとBの要素は階調がLv2となり、該注目画素と上下左右方向で隣接する周辺画素のGの要素の階調はLv3となる。
結果として、注目画素を中心とする周辺画素を含んだ複数の画素において、階調値が分散され、且つ、RGBの各要素がバランスよく配置されているので、意図どおりに色をぼかすことが可能となる。こうして、分割パラメータによって階調値が+/−で分割されているような変調領域においても、メイン画像の画質が低下するのを回避することができる。
一方、図10(a)〜(c)に示す、本発明のモアレを除去するための画素分割配列パターンに基づきメイン画像Mが変調される場合、図21(a)のメイン画像Mに対して、図21(b)の色ぼかしフィルタが適用されたときは、上述の図21(d)に示すような意図どおりの結果が得られない虞がある。
図22(a)〜(c)は、図21(a)のメイン画像Mが、図10(a)〜(c)に示す各画素分割配列パターンに基づき変調され、さらに、図21(b)の色ぼかしフィルタが適用された場合に得られる結果を示す図である。図22(a)〜(c)の各図において、右図は、採用された画素分割配列パターンを、左図は色ぼかしフィルタが適用されて最終的に得られる結果を示す。
図22(b)に示す例では、注目画素において、RおよびBの要素がLv2で強く出力されるのに加えて、当該注目画素の横方向に隣接する周辺画素(ここでは、右隣の画素)においても、RおよびBの要素がLv3で出力される。図21(d)の例において、隣接の周辺画素がGをLv3で出力することでバランスをとって白を再現していた結果と比べて、図22(b)に示す例では、横方向にRとBとが強く出力されている。この結果、色ぼかしフィルタによって白点を再現したかったはずが、横方向に紫がかった色が滲み出すという、意図しない色にじみが発生する。図22(c)に示す例では、図22(b)に示す例と比べて、RGB各色および階調値のバランスは改善されているが、依然、Lv2、Lv3の領域にて横方向にRとBとが連続するために、横方向に青紫がかった色が滲み出すという意図しない色にじみが発生する。
このように、横方向にRGBの各要素が連続する画素分割配列パターンでは、横方向の意図しない色にじみが顕著となり、縦方向に連続する場合と比較しても画質の低下が特に目立つ。なぜなら、粒状感が生じる原因について既に述べた事情と同様、縦長の長方形の各要素が横方向に連続するということは、各要素が長辺にて接して連続するということであり、縦方向に連続する場合にくらべて、色のかたまりが目立つからである。さらに、上述したとおり、ドライバ用色ぼかしフィルタ231では、バッファの制約から、横方向のみに色をぼかすようフィルタリングする。そのため、ドライバ用色ぼかしフィルタ231を設けた構成では、横方向にRGBの各要素が連続する画素分割配列パターンは、意図しない色にじみをさらに助長する結果となる。これでは、モアレは解消できるものの、画質低下を防止するために設けられている色ぼかしフィルタを生かせない。
そこで、これまで述べてきたような色ぼかしフィルタの特性を考慮して、色ぼかしフィルタのメリットを可能な限り享受しつつ、モアレを除去することが可能な画素分割配列パターンを採用することが好ましい。すなわち、色ぼかしフィルタの特性を考慮すれば、少なくとも横方向においてはRGBの各要素が連続しない画素分割配列パターンとするほうが好ましい。
例えば、図22(a)に示す例では、注目画素においてRおよびBの要素がLv2で出力されているが、少なくとも横方向に隣接する周辺画素については、すべて、GがLv3で出力される。このため、横方向においては、RGB各色および階調値のバランスをとって白を再現することが可能となり、図22(b)、(c)に示す例と比べて意図しない色にじみを改善することが可能である。図22(a)に示す例では、注目画素と縦方向に隣接する周辺画素との間でR(B)の要素が連続するが、縦長の要素の短辺にて隣接しているために、横方向にて各色の要素が連続する画素分割配列パターンと比較して、色にじみの影響は少ない。
以上のように、モアレを解消可能な複数の画素分割配列パターンが存在する場合には、粒状感、または、色ぼかしフィルタの特性を考慮して、モアレの解消と表示品位向上とを両立できるような適切な画素分割配列パターンを採用することが好ましい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、LCDコントローラ21の各ブロック、特に、配列パターン制御部33およびそれに含まれる各部は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、LCDコントローラ21は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである、LCDコントローラ21の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記LCDコントローラ21に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、LCDコントローラ21を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。