WO2022163213A1

WO2022163213A1 - 表示システム

Info

Publication number: WO2022163213A1
Application number: PCT/JP2021/047139
Authority: WO
Inventors: 好浩渡邉
Original assignee: 株式会社ジャパンディスプレイ
Priority date: 2021-02-01
Filing date: 2021-12-20
Publication date: 2022-08-04
Also published as: US20230368744A1; JPWO2022163213A1

Abstract

表示システム（１）は、複数の副画素ＳＰｉｘを含み、第１方向、及び、第１方向とは異なる第２方向にマトリクス状に配列された画素Ｐｉｘを有する表示パネル（１１０）を備える表示装置（１００）と、表示パネル（１１０）の画素構造に応じて、入力画像の画像変形処理を行う制御回路（２３０）を備える画像生成装置（２００）と、を備える。画像生成装置（２００）と表示装置（１００）とは、有線又は無線通信により接続されている。制御回路（２３０）は、画像変形処理において、表示パネルの全ての副画素ＳＰｉｘの画素値を生成する。

Description

表示システム

　本発明は、表示システムに関する。

　ＶＲ（Virtual　Reality：仮想現実）システムは、視点移動に伴って画像の表示を変更することにより、利用者に仮想現実感を生じさせる。このようなＶＲシステムを実現するための表示装置として、例えば、頭部装着ディスプレイ（ヘッドマウントディスプレイ：Head　Mounted　Display、以下「ＨＭＤ」とも称する）を頭部に装着し、身体の動き等に応じた映像を表示する技術が開示されている（例えば、特許文献１）。

特開２０１７－４４７６８号公報

　ＶＲシステムで用いられるＨＭＤでは、接眼レンズで表示映像を拡大するため、表示パネルに表示された画像が歪んで見える。このため、予めレンズによる像歪みを考慮して、元の画像を歪ませて表示パネルに送り、表示パネル側で表示パネルの解像度や画素配列に応じた解像度変換処理や画素値変換処理等の画像変換処理を行うことが一般的に行われている。しかしながら、送られてくる画像よりも表示パネルの解像度が低解像度である場合や、所謂サブピクセルレンダリング処理を行うことが前提の表示パネルでは、実際に表示されるデータ量に比べて送られてくるデータ量が多く、無駄が生じることとなる。

　本開示は、上記の課題に鑑みてなされたもので、表示パネルの画素配列に応じたデータ量で送受信が可能な表示システムを提供することを目的とする。

　本開示の一態様に係る表示システムは、複数の副画素を含み、第１方向、及び、前記第１方向とは異なる第２方向にマトリクス状に配列された画素を有する液晶表示パネルを備える表示装置と、前記液晶表示パネルの画素構造に応じて、入力画像の画像変形処理を行う制御回路を備える画像生成装置と、を備え、前記画像生成装置と前記表示装置とは、有線又は無線通信により接続されており、前記制御回路は、前記画像変形処理において、前記液晶表示パネルの全ての前記副画素の画素値を生成する。

図１は、実施形態に係る表示システムの一例を示す構成図である。図２は、表示パネルとユーザの目との相対関係の一例を示す模式図である。図３は、図１に示す表示システムにおける画像生成装置及び表示装置の各構成の一例を示すブロック図である。図４は、実施形態に係る表示領域を表す回路図である。図５は、実施形態に係る表示パネルの一例を示す模式図である。図６は、実施形態に係る表示パネルの断面を模式的に示す断面図である。図７は、実施形態に係る表示システムにおいて画像変形処理の対象となる画像の形状の一例を示す図である。図８は、実施形態に係る表示システムにおいて画像変形処理を行った画像の形状の一例を示す図である。図９は、実施形態に係る表示システムに入力される画像データの一例を示す図である。図１０は、図９に示す各データ定義点の仮想的な位置を示す図である。図１１は、実施形態に係る表示システムの表示領域に対応する画像変形処理後の画像の位置関係を示す図である。図１２Ａは、画素の代表的な位置に対する各副画素の位置関係を示す図である。図１２Ｂは、画素の代表的な位置に対する各副画素の位置関係を示す図である。図１３は、レンズの光軸からの距離に対する副画素ごとの像倍率の変化量を示すレンズの色収差特性の一例を示す図である。図１４は、レンズの光軸から副画素までの距離の大きさを示す図である。図１５は、座標変換テーブルの第１例を示す図である。図１６は、座標変換テーブルの第２例を示す図である。図１７は、実施形態に係る座標変換テーブルの導出処理の第１例を示すフローチャートである。図１８は、実施形態に係る座標変換テーブルの導出処理の第２例を示すフローチャートである。図１９は、面積平均法を用いて標本化する場合のテクセルと表示パネル上の１画素サイズの平面充填図形に対応したテクスチャ上の平面充填図形との相対位置の第１例を示す図である。図２０は、面積平均法を用いて標本化する場合のテクセルと平面充填図形との相対位置の第２例を示す図である。図２１は、多点平均法を用いて標本化する場合の平面充填図形のＸＹ座標上の大きさを示すベクトルと中心位置を示す図である。図２２は、図２１に示すＸＹ座標系上の平面充填図形に対応するｕｖ座標系上の図形を示す図である。図２３Ａは、多点平均法を用いて標本化する場合に平面充填図形を４分割した例を示す図である。図２３Ｂは、多点平均法を用いて標本化する場合に平面充填図形を４分割した例を示す図である。図２３Ｃは、多点平均法を用いて標本化する場合に平面充填図形を４分割した例を示す図である。図２３Ｄは、多点平均法を用いて標本化する場合に平面充填図形を４分割した例を示す図である。図２４は、多点平均法を用いて標本化する場合に平面充填図形を６分割した例を示す図である。図２５は、実施形態に係る画像変形処理の第１例を示すフローチャートである。図２６は、実施形態に係る画像変形処理の第２例を示すフローチャートである。図２７は、実施形態に係る表示パネルの画素配列の第１例を示す図である。図２８は、図２７に示す画素配列における画素構成の第１例を示す図である。図２９は、図２８に示す画素構成における画素データの定義を説明するための概念図である。図３０は、図２８に示す画素構成における副画素ごとの４つの係数値を示す図である。図３１は、図２８に示す画素構成において多点平均法を用いた標本化手法に適用する平面充填図形の一例を示す図である。図３２は、図３１に示す平面充填図形のＸＹ座標上の大きさ及び向きを示すベクトルを示す図である。図３３は、図２８に示す画素配列において多点平均法を用いた標本化手法に適用する平面充填図形のベクトルの一例を示す図である。図３４は、実施形態に係る表示パネルの画素構成の第２例を示す図である。図３５は、図３４に示す画素構成における副画素ごとの４つの係数値を示す図である。図３６Ａは、画素データの送信フォーマットの図２８とは異なる例を示す概念図である。図３６Ｂは、画素データの送信フォーマットの図２８とは異なる例を示す概念図である。図３７Ａは、座標変換テーブルの変形例を示す概念図である。図３７Ｂは、座標変換テーブルの変形例を示す概念図である。図３８は、実施形態に係る表示パネルの画素配列の第２例を示す図である。図３９は、図３８に示すＲＧＢストライプ配列の画素構成における副画素ごとの４つの係数値を示す図である。

　本開示を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。なお、以下の実施形態に記載した内容により本開示が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。また、開示はあくまで一例にすぎず、当業者において、開示の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本開示の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本開示の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

　図１は、実施形態に係る表示システムの一例を示す構成図である。図２は、表示パネルとユーザの目との相対関係の一例を示す模式図である。

　本実施形態において、表示システム１は、ユーザの動きに伴って表示を変更する表示システムである。例えば、表示システム１は、仮想空間上の３次元のオブジェクト等を示すＶＲ（Virtual　Reality）画像を立体表示し、ユーザの頭部の向き（位置）に伴って立体表示を変更することにより、ユーザに仮想現実感を生じさせるＶＲシステムである。

　図１に示すように、表示システム１は、例えば、表示装置１００と、画像生成装置２００と、を有する。表示装置１００と画像生成装置２００とは、例えばケーブル３００により有線接続される。ケーブル３００は、例えば、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）等のケーブルを含む。表示装置１００と画像生成装置２００とは、無線通信により接続される構成としても良い。

　本開示において、表示装置１００は、例えば、装着部材４００に固定されてユーザの頭部に装着される頭部装着型の表示装置として用いられる。表示装置１００は、画像生成装置２により生成された画像を表示するための表示パネル１１０を備える。以下、装着部材４００に表示装置１００が固定された態様を「ＨＭＤ（Head　Mounted　Display）」とも称する。

　本開示において、画像生成装置２００は、例えば、パーソナルコンピュータ、ゲーム機器等の電子機器が例示される。画像生成装置２００は、ユーザの頭部の位置や姿勢に応じたＶＲ画像を生成して表示装置１００に出力する。なお、画像生成装置２００により生成される画像はＶＲ画像に限るものではない。

　表示装置１００は、ユーザがＨＭＤを装着した際、ユーザの両目の前に表示パネル１１０が配置される位置に固定されている。表示装置１００は、表示パネル１１０の他に、ユーザがＨＭＤを装着した際、ユーザの両耳に対応する位置にスピーカー等の音声出力装置を備えた態様であっても良い。また、表示装置１００は、後述するように、表示装置１００を装着したユーザの頭部の位置や姿勢等を検出するセンサ（例えば、ジャイロセンサ、加速度センサ、方位センサ等）を備えた態様であっても良い。また、表示装置１００は、画像生成装置２００の機能を内包した態様であっても良い。

　図２に示すように、装着部材４００は、例えば、ユーザに両目Ｅに対応したレンズ４１０を有する。レンズ４１０は、ユーザがＨＭＤを装着した際、表示パネル１１０に表示される画像を拡大してユーザの目Ｅの網膜に結像させる。ユーザは、表示パネル１１０に表示され、レンズ４１０によって拡大された画像を視認する。なお、図２では、１つのレンズをユーザの目Ｅと表示パネル１１０との間に配置した例を示したが、例えば、ユーザの両目にそれぞれ対応した複数のレンズで構成された態様であっても良い。また、表示パネル１１０がユーザの眼前とは異なる位置に配置された構成であっても良い。

　本実施形態において、表示パネル１１０は、液晶表示パネルを想定している。

　図１に示すようなＶＲシステムで用いられる表示装置１００では、図２に示すように、表示パネル１１０に表示される画像を拡大してユーザの目Ｅの網膜に結像させる。このため、より高精細な表示パネルが求められている。また、表示映像を拡大することで画素間の隙間が格子状に見え易くなる。このため、画素開口率の高い液晶表示パネルを用いることで、格子感の少ない映像表示が可能となるという利点がある。

　図３は、図１に示す表示システムにおける画像生成装置及び表示装置の各構成の一例を示すブロック図である。図３に示すように、表示装置１００は、２つの表示パネル１１０と、センサ１２０と、画像分離回路１５０と、インタフェース１６０と、を備える。

　表示装置１００は、２つの表示パネル１１０を備える。２つの表示パネル１１０は、１つを左目用の表示パネル１１０とし、他方を右目用の表示パネル１１０として用いる。

　２つの表示パネル１１０のそれぞれは、表示領域１１１と、表示制御回路１１２と、を有する。なお、表示パネル１１０は、表示領域１１１を背後から照射する図示しない光源装置を有する。

　表示領域１１１は、画素Ｐｉｘが、ｎ×ｍ個（行方向（Ｘ方向）にｎ個、列方向（Ｙ方向）にｍ個）、２次元のマトリクス状（行列状）に配列されている。本実施形態では、表示領域１１１における画素密度を、例えば８０６ｐｐｉとする。図３では、複数の画素Ｐｉｘの配列を模式的に表しており、詳細な画素Ｐｉｘの配列は、後述する。

　表示パネル１１０は、Ｘ方向に延在する走査線と、Ｘ方向と交差するＹ方向に延在する信号線を有する。表示パネル１１０において、信号線ＳＬと走査線ＧＬとに囲まれた領域には、画素Ｐｉｘが配置される。画素Ｐｉｘは、信号線ＳＬ及び走査線ＧＬと接続されるスイッチング素子（ＴＦＴ：薄膜トランジスタ）、及び、スイッチング素子に接続された画素電極を有する。１つの走査線ＧＬは、走査線ＧＬの延在方向に沿って配置される複数の画素Ｐｉｘが接続される。また、１つの信号線ＳＬは、信号線ＳＬの延在方向に沿って配置される複数の画素Ｐｉｘが接続される。

　２つの表示パネル１１０のうち、一方の表示パネル１１０の表示領域１１１が右目用であり、他方の表示パネル１１０の表示領域１１１が左目用である。ここでは、表示パネル１１０は、左目用と右目用の２つの表示パネル１１０を有する場合について例示しているが、表示装置１００は、２つの表示パネル１１０を用いる構造に限定されない。例えば、表示パネル１１０は、１つであって、右半分の領域には右目用の画像を表示し、左半分の領域には左目用の画像を表示するように、１つの表示パネル１１０の表示領域を２分割する態様であっても良い。

　表示制御回路１１２は、ドライバＩＣ（Integrated　Circuit：集積回路）１１５、信号線接続回路１１３及び走査線駆動回路１１４を備えている。信号線接続回路１１３は、信号線ＳＬと電気的に接続されている。ドライバＩＣ１１５は、走査線駆動回路１１４によって、画素Ｐｉｘの動作（光透過率）を制御するためのスイッチング素子（例えば、ＴＦＴ）のＯＮ／ＯＦＦを制御する。走査線駆動回路１１４は、走査線ＧＬと電気的に接続されている。

　センサ１２０は、ユーザの頭部の向きを推定可能な情報を検出する。例えば、センサ１２０は、表示装置１００の動きを示す情報を検出し、表示システム１は、表示装置１００の動きを示す情報に基づいて、表示装置１００を頭部に装着したユーザの頭部の向きを推定する。

　センサ１２０は、例えば、表示装置１００の角度、加速度、角速度、方位、距離の少なくとも１つを用いて、視線の向きを推定可能な情報を検出する。センサ１２０は、例えば、ジャイロセンサ、加速度センサ、方位センサ等を用いることができる。センサ１２０は、例えば、ジャイロセンサによって表示装置１００の角度及び角速度を検出してもよい。センサ１２０は、例えば、加速度センサによって表示装置１００に働く加速度の方向及び大きさを検出してもよい。

　また、センサ１２０は、例えば、方位センサによって表示装置１００の方位を検出してもよい。センサ１２０は、例えば、距離センサ、ＧＰＳ（Global　Positioning　System）受信機等によって表示装置１００の移動を検出してもよい。センサ１２０は、ユーザの頭部の向き、視線の変化、移動等を検出するためのセンサであれば、光センサ等の他のセンサでもよく、複数のセンサを組み合わせて用いてもよい。センサ１２０は、後述するインタフェース１６０を介して、画像分離回路１５０と電気的に接続されている。

　画像分離回路１５０は、ケーブル３００を介して画像生成装置２００から送られてきた左目用画像データと右目用画像データを受けとり、左目用画像データを左目用の画像を表示する表示パネル１１０に送り、右目用画像データを右目用の画像を表示する表示パネル１１０に送る。

　インタフェース１６０には、ケーブル３００（図１）が接続されるコネクタを含む。インタフェース１６０は、接続されたケーブル３００を介して、画像生成装置２００からの信号が入力される。画像分離回路１５０は、インタフェース１６０およびインタフェース２４０を介して、センサ１２０から入力された信号を画像生成装置２００へ出力する。ここで、センサ１２０から入力された信号には、上述した視線の向きを推定可能な情報が含まれる。あるいは、センサ１２０から入力された信号は、インタフェース１６０を介して直接、画像生成装置２００の制御回路２３０へ出力されてもよい。インタフェース１６０は、例えば、無線通信装置とし、無線通信を介して画像生成装置２００との間で情報の送受信を行ってもよい。

　画像生成装置２００は、操作部２１０と、記憶部２２０と、制御回路２３０と、インタフェース２４０と、を備える。

　操作部２１０は、ユーザの操作を受け付ける。操作部２１０は、例えば、キーボード、ボタン、タッチスクリーン等の入力デバイスを用いることができる。操作部２１０は、制御回路２３０と電気的に接続されている。操作部２１０は、操作に応じた情報を制御回路２３０に出力する。

　記憶部２２０は、プログラム及びデータを記憶する。記憶部２２０は、制御回路２３０の処理結果を一時的に記憶する。記憶部２２０は、記憶媒体を含む。記憶媒体は、例えば、ＲＯＭ、ＲＡＭ、メモリカード、光ディスク、又は光磁気ディスク等を含む。記憶部２２０は、表示装置１００に表示させる画像のデータを記憶してもよい。

　記憶部２２０は、例えば、制御プログラム２１１、ＶＲアプリケーション２１２等を記憶する。制御プログラム２１１は、例えば、画像生成装置２００を稼働させるための各種制御に関する機能を提供できる。ＶＲアプリケーション２１２は、ＶＲ画像を表示装置１００に表示させる機能を提供できる。記憶部２２０は、例えば、センサ１２０の検出結果を示すデータ等の表示装置１００から入力された各種情報を記憶できる。

　制御回路２３０は、例えば、ＭＣＵ（Micro　Control　Unit）、ＣＰＵ（Central　Processing　Unit）等を含む。制御回路２３０は、画像生成装置２００の動作を統括的に制御できる。制御回路２３０の各種機能は、制御回路２３０の制御に基づいて実現される。

　制御回路２３０は、例えば、表示する画像を生成するＧＰＵ（Graphics　Processing　Unit）を含む。ＧＰＵは、表示装置１００に表示する画像を生成する。制御回路２３０は、ＧＰＵが生成した画像を、インタフェース２４０を介して表示装置１００に出力する。本実施形態では、画像生成装置２００の制御回路２３０は、ＧＰＵを含む場合について説明するが、これに限定されない。例えば、ＧＰＵは、表示装置１００又は表示装置１００の画像分離回路１５０に設けてもよい。この場合、表示装置１００は、例えば、画像生成装置２００、外部の電子機器等からデータを取得し、当該データに基づいてＧＰＵが画像を生成すればよい。

　インタフェース２４０には、ケーブル３００（図１参照）が接続されるコネクタを含む。インタフェース２４０は、ケーブル３００を介して、表示装置１００からの信号が入力される。インタフェース２４０は、制御回路２３０から入力された信号を、ケーブル３００を介して表示装置１００へ出力する。インタフェース２４０は、例えば、無線通信装置とし、無線通信を介して表示装置１００との間で情報の送受信を行ってもよい。

　制御回路２３０は、ＶＲアプリケーション２１２を実行すると、ユーザ（表示装置１００）の動きに応じた画像を表示装置１００に表示させる。制御回路２３０は、画像を表示装置１００に表示させた状態で、ユーザ（表示装置１００）の変化を検出すると、当該変化した方向の画像へ表示装置１００に表示している画像を変化させる。制御回路２３０は、画像の作成開始時に、仮想空間上の基準視点及び基準視線に基づく画像を作成し、ユーザ（表示装置１００）の変化を検出した場合、表示させている画像を作成する際の視点又は視線を、基準視点又は基準視線方向からユーザ（表示装置１００）の動きに応じて変更し、変更した視点又は視線に基づく画像を表示装置１００に表示させる。

　例えば、制御回路２３０は、センサ１２０の検出結果に基づいて、ユーザの頭部の右方向への移動を検出する。この場合、制御回路２３０は、現在表示させている画像から右方向へ視線を変化させた場合の画像へ変化させる。ユーザは、表示装置１００に表示されている画像の右方向の画像を視認することができる。

　例えば、制御回路２３０は、センサ１２０の検出結果に基づいて、表示装置１００の移動を検出すると、検出した移動に応じて画像を変化させる。制御回路２３０は、表示装置１００が前方へ移動したことを検出した場合、現在表示させている画像の前方へ移動した場合の画像へ変化させる。制御回路２３０は、表示装置１００が後方方向へ移動したことを検出した場合、現在表示させている画像の後方へ移動した場合の画像へ変化させる。ユーザは、表示装置１００に表示されている画像から、自身の移動方向の画像を視認することができる。

　図４は、実施形態に係る表示領域を表す回路図である。以下、上述した走査線ＧＬは、複数の走査線Ｇ１、Ｇ２、Ｇ３を総称している。上述した信号線ＳＬは、複数の信号線Ｓ１、Ｓ２、Ｓ３を総称している。図４に示す例では、走査線ＧＬと信号線ＳＬとが直交しているが、これに限定されない。例えば、走査線ＧＬと信号線ＳＬとは直交していなくても良い。

　図４に示すように、本開示において、画素Ｐｉｘは、例えば赤（第１色：Ｒ）を表示するための副画素ＳＰｉｘＲ、緑（第２色：Ｇ）を表示するための副画素ＳＰｉｘＧ、青（第３色：Ｂ）を表示するための副画素ＳＰｉｘＢを含む。表示領域１１１には、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢのスイッチング素子ＴｒＤ１、ＴｒＤ２、ＴｒＤ３、信号線ＳＬ、走査線ＧＬ等が形成されている。信号線Ｓ１、Ｓ２、Ｓ３は、各画素電極ＰＥ１、ＰＥ２、ＰＥ３（図６参照）に画素信号を供給するための配線である。走査線Ｇ１、Ｇ２、Ｇ３は、各スイッチング素子ＴｒＤ１、ＴｒＤ２、ＴｒＤ３を駆動するゲート信号を供給するための配線である。なお、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢは、副画素ＳＰｉｘと呼ぶこともある。

　各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢは、それぞれスイッチング素子ＴｒＤ１、ＴｒＤ２、ＴｒＤ３及び液晶層ＬＣの容量を備えている。スイッチング素子ＴｒＤ１、ＴｒＤ２、ＴｒＤ３は、薄膜トランジスタにより構成されるものであり、この例では、ｎチャネルのＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のＴＦＴで構成されている。後述する画素電極ＰＥ１、ＰＥ２、ＰＥ３と共通電極ＣＯＭとの間に第６絶縁膜１６（図６参照）が設けられ、これらによって図４に示す保持容量Ｃｓが形成される。

　図４に示すカラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢは、例えば赤（第１色：Ｒ）、緑（第２色：Ｇ）、青（第３色：Ｂ）の３色に着色された色領域が周期的に配列されている。上述した図４に示す各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢに、Ｒ、Ｇ、Ｂの３色の色領域が１組として対応付けられる。そして、３色の色領域に対応する副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢを１組の画素Ｐｉｘとされる。なお、カラーフィルタは、４色以上の色領域を含んでいてもよい。

　図５は、実施形態に係る表示パネルの一例を示す模式図である。図６は、実施形態に係る表示パネルの断面を模式的に示す断面図である。

　図５に示すように、表示パネル１１０には、基板端部の辺１１０ｅ１、辺１１０ｅ２、辺１１０ｅ３、辺１１０ｅ４がある。表示パネルの基板端部の辺１１０ｅ１、辺１１０ｅ２、辺１１０ｅ３、辺１１０ｅ４と、表示領域１１１との間は、周辺領域と呼ばれる。

　走査線駆動回路１１４は、表示パネル１１０の基板端部の辺１１０ｅ１と表示領域１１１との間の周辺領域に配置されている。信号線接続回路１１３は、表示パネル１１０の基板端部の辺１１０ｅ４と表示領域１１１との間の周辺領域に配置されている。ドライバＩＣ１１５は、表示パネル１１０の基板端部の辺１１０ｅ４と表示領域１１１との間の周辺領域に配置されている。本実施形態では、表示パネル１１０の基板端部の辺１１０ｅ３、辺１１０ｅ４は、Ｘ方向と平行である。表示パネル１１０の基板端部の辺１１０ｅ１、辺１１０ｅ２は、Ｙ方向と平行である。

　図５に示す例において、信号線ＳＬはＹ方向と平行に延在し、走査線ＧＬはＸ方向と平行に延在する。図５に示すように、本開示において、走査線ＧＬが延在する方向は、信号線ＳＬが延在する方向と直交である。

　次に、表示パネル１１０の断面構造について、図６を参照して説明する。図６において、アレイ基板ＳＵＢ１は、ガラス基板や樹脂基板などの透光性を有する第１絶縁基板１０を基体としている。アレイ基板ＳＵＢ１は、第１絶縁基板１０の対向基板ＳＵＢ２と対向する側に、第１絶縁膜１１、第２絶縁膜１２、第３絶縁膜１３、第４絶縁膜１４、第５絶縁膜１５、第６絶縁膜１６、信号線Ｓ１からＳ３、画素電極ＰＥ１からＰＥ３、共通電極ＣＯＭ、第１配向膜ＡＬ１などを備えている。以下の説明において、アレイ基板ＳＵＢ１から対向基板ＳＵＢ２に向かう方向を上方、あるいは、単に上と称する。

　第１絶縁膜１１は、第１絶縁基板１０の上に位置している。第２絶縁膜１２は、第１絶縁膜１１の上に位置している。第３絶縁膜１３は、第２絶縁膜１２の上に位置している。信号線Ｓ１からＳ３は、第３絶縁膜１３の上に位置している。第４絶縁膜１４は、第３絶縁膜１３の上に位置し、信号線Ｓ１からＳ３を覆っている。

　必要があれば、第４絶縁膜１４の上には、配線を配置してもよい。この配線は、第５絶縁膜１５によって覆われることになる。本実施形態では、配線を省略している。第１絶縁膜１１、第２絶縁膜１２、第３絶縁膜１３、及び、第６絶縁膜１６は、例えば、シリコン酸化物やシリコン窒化物などの透光性を有する無機系材料によって形成されている。第４絶縁膜１４及び第５絶縁膜１５は、透光性を有する樹脂材料によって形成され、無機系材料によって形成された他の絶縁膜と比べて厚い膜厚を有している。ただし、第５絶縁膜１５については無機系材料によって形成されたものであってもよい。

　共通電極ＣＯＭは、第５絶縁膜１５の上に位置している。共通電極ＣＯＭは、第６絶縁膜１６によって覆われている。第６絶縁膜１６は、例えば、シリコン酸化物やシリコン窒化物などの透光性を有する無機系材料によって形成されている。

　画素電極ＰＥ１からＰＥ３は、第６絶縁膜１６の上に位置し、第６絶縁膜１６を介して共通電極ＣＯＭと対向している。画素電極ＰＥ１からＰＥ３、及び、共通電極ＣＯＭは、例えば、ＩＴＯ（Ｉｎｄｉｕｍ　Ｔｉｎ　Ｏｘｉｄｅ）やＩＺＯ（Ｉｎｄｉｕｍ　Ｚｉｎｃ　Ｏｘｉｄｅ）などの透光性を有する導電材料によって形成されている。画素電極ＰＥ１からＰＥ３は、第１配向膜ＡＬ１によって覆われている。第１配向膜ＡＬ１は、第６絶縁膜１６も覆っている。

　対向基板ＳＵＢ２は、ガラス基板や樹脂基板などの透光性を有する第２絶縁基板２０を基体としている。対向基板ＳＵＢ２は、第２絶縁基板２０のアレイ基板ＳＵＢ１と対向する側に、遮光層ＢＭ、カラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢ、オーバーコート層ＯＣ、第２配向膜ＡＬ２などを備えている。

　図６に示すように、遮光層ＢＭは、第２絶縁基板２０のアレイ基板ＳＵＢ１と対向する側に位置している。そして、遮光層ＢＭは、画素電極ＰＥ１からＰＥ３とそれぞれ対向する開口の大きさを規定している。遮光層ＢＭは、黒色の樹脂材料や、遮光性の金属材料によって形成されている。

　カラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢのそれぞれは、第２絶縁基板２０のアレイ基板ＳＵＢ１と対向する側に位置し、それぞれの端部が遮光層ＢＭに重なっている。カラーフィルタＣＦＲは、画素電極ＰＥ１と対向している。カラーフィルタＣＦＧは、画素電極ＰＥ２と対向している。カラーフィルタＣＦＢは、画素電極ＰＥ３と対向している。一例では、カラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢは、それぞれ青色、赤色、緑色に着色された樹脂材料によって形成されている。

　オーバーコート層ＯＣは、カラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢを覆っている。オーバーコート層ＯＣは、透光性を有する樹脂材料によって形成されている。第２配向膜ＡＬ２は、オーバーコート層ＯＣを覆っている。第１配向膜ＡＬ１及び第２配向膜ＡＬ２は、例えば、水平配向性を示す材料によって形成されている。

　以上説明したように、対向基板ＳＵＢ２は、遮光層ＢＭ、カラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢなどを備えている。遮光層ＢＭは、図４に示した走査線Ｇ１、Ｇ２、Ｇ３、信号線Ｓ１、Ｓ２、Ｓ３、コンタクト部ＰＡ１、ＰＡ２、ＰＡ３、スイッチング素子ＴｒＤ１、ＴｒＤ２、ＴｒＤ３などの配線部と対向する領域に配置されている。

　図６において、対向基板ＳＵＢ２は、３色のカラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢを備えていたが、青色、赤色、及び、緑色とは異なる他の色、例えば白色、透明、イエロー、マゼンタ、シアンなどのカラーフィルタを含む４色以上のカラーフィルタを備えていてもよい。また、これらのカラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢは、アレイ基板ＳＵＢ１に備えられていてもよい。

　また、図６において、カラーフィルタＣＦは対向基板ＳＵＢ２に設けられているが、アレイ基板ＳＵＢ１にカラーフィルタＣＦを備える、所謂ＣＯＡ（Ｃｏｌｏｒ　ｆｉｌｔｅｒ　ｏｎ　Ａｒｒａｙ）の構造であってもよい。

　上述したアレイ基板ＳＵＢ１及び対向基板ＳＵＢ２は、第１配向膜ＡＬ１及び第２配向膜ＡＬ２が向かい合うように配置されている。液晶層ＬＣは、第１配向膜ＡＬ１と第２配向膜ＡＬ２との間に封入されている。液晶層ＬＣは、誘電率異方性が負のネガ型液晶材料、あるいは、誘電率異方性が正のポジ型液晶材料によって構成されている。

　アレイ基板ＳＵＢ１がバックライトユニットＩＬと対向し、対向基板ＳＵＢ２が表示面側に位置する。バックライトユニットＩＬとしては、種々の形態のものが適用可能であるが、その詳細な構造については説明を省略する。

　第１偏光板ＰＬ１を含む第１光学素子ＯＤ１は、第１絶縁基板１０の外面、あるいは、バックライトユニットＩＬと対向する面に配置される。第２偏光板ＰＬ２を含む第２光学素子ＯＤ２は、第２絶縁基板２０の外面、あるいは、観察位置側の面に配置される。第１偏光板ＰＬ１の第１偏光軸及び第２偏光板ＰＬ２の第２偏光軸は、例えばＸ－Ｙ平面においてクロスニコルの位置関係にある。なお、第１光学素子ＯＤ１及び第２光学素子ＯＤ２は、位相差板などの他の光学機能素子を含んでいてもよい。

　例えば、液晶層ＬＣがネガ型液晶材料である場合であって、液晶層ＬＣに電圧が印加されていない状態では、液晶分子ＬＭは、Ｘ－Ｙ平面内において、その長軸がＸ方向に沿う方向に初期配向している。一方、液晶層ＬＣに電圧が印加された状態、つまり、画素電極ＰＥ１からＰＥ３と共通電極ＣＯＭとの間に電界が形成されたオン時において、液晶分子ＬＭは、電界の影響を受けてその配向状態が変化する。オン時において、入射した直線偏光は、その偏光状態が液晶層ＬＣを通過する際に液晶分子ＬＭの配向状態に応じて変化する。

　一般に、ＨＭＤでは表示パネル１１０に表示された画像をレンズ４１０で拡大して観察する。レンズ４１０は、表示パネル１１０に近接しているため、ユーザが観察する画像にレンズ４１０の収差による幾何学的な像の歪み（以下、単に「レンズ歪」とも称する）が発生する。頭部に装着するＨＭＤは、重量やサイズが制限されるため、レンズ４１０の収差を抑制することは困難である。このため、表示システム１は、表示システム１に入力される画像（以下、「入力画像」とも称する）に対し、レンズ歪を補償するための画像変形処理を行い、表示パネル１１０に表示する画像を生成する。

　図７は、実施形態に係る表示システムにおいて画像変形処理の対象となる画像の形状の一例を示す図である。図８は、実施形態に係る表示システムにおいて画像変形処理を行った画像の形状の一例を示す図である。

　図７において、ユーザに視認させたい画像Ｍｎは、複数の画素がＸ方向及びＹ方向に行列配置されている。図３に示す制御回路２３０は、図７に示す画像Ｍｎに対して、画像変形処理を加えた画像ＭＩｇ（図８）を生成する。本開示において、レンズ４１０は、近接した物体を観察するため、所謂糸巻歪曲収差（Pincushion　Distortion）が生じる。この糸巻歪曲収差によるレンズ歪を補償するために、表示システム１に入力される画像Ｍｎに対して、図８に示すような樽型歪み（Barrel　Distortion）を生じさせる。図８に示す画像変形処理後の画像ＭＩｇの形状は一例であって、図８に示す形状に限定されない。

　表示システム１における画像変形処理は、画像処理で一般的に用いられるテクスチャマッピングを利用して行われる。以下、テクスチャマッピングに基づく画像変形処理について簡単に説明する。

　図７に示す例では、複数の三角形状のポリゴン（Polygon）がメッシュ状に配置されたポリゴンメッシュを、ユーザに視認させたい画像Ｍｎに重ね合わせている。図７において、ポリゴンメッシュは、Ｘ方向及びＹ方向にそれぞれ１９個の、それぞれ隣接して境界が共通の座標になっている同じサイズの四角形の集合である。各四角形は２つのポリゴンで形成されている。従って、図７に示すポリゴンメッシュは、１９×１９×２＝７２２個のポリゴンで形成されている。このポリゴンメッシュを構成するポリゴンの数が多いほど、画像変形処理後の画像ＭＩｇの歪形状の正確性を向上させることができる。

　図９は、実施形態に係る表示システムに入力される画像データの一例を示す図である。図１０は、図９に示す各データ定義点の仮想的な位置を示す図である。図１０に示す各データ定義点Ｐ０，０、Ｐ１，０、・・・、Ｐｎ－１，ｍ－１は、それぞれ、赤（第１色：Ｒ）の画素強度を示す色データＲＮ，Ｍ、緑（第２色：Ｇ）の画素強度を示す色データＧＮ，Ｍ、青（第３色：Ｂ）の画素強度を示す色データＢＮ，Ｍ（Ｎは０からｎ－１までの整数、Ｍは、０からｍ－１までの整数）が定義されている。すなわち、入力画像は、Ｘ方向及びＹ方向に仮想的にマトリクス配置された複数のデータ定義点を有し、このデータ定義点ごとに、色彩と明るさの情報が記録されている。図９の例では、明るさと色彩をＲ，Ｇ，Ｂの３原色の強度の形で記録している。なお、データ定義点ごとのデータは、色データに限らず、輝度と色差のデータであっても良い。

　ポリゴンメッシュを用いたテクスチャマッピングに基づく画像変形処理により、図７に示す画像Ｍｎを図８に示す画像ＭＩｇの形状に歪めると、図１０に示す各データ定義点Ｐ０，０、Ｐ１，０、・・・、Ｐｎ－１，ｍ－１が移動する。図１１は、実施形態に係る表示システムの表示領域に対応する画像変形処理後の画像の位置関係を示す図である。図１１における方眼図形は、表示パネル１１０の表示領域１１１を示している。

　本開示において、テクスチャを構成する画像データの画像上（テクスチャ上）のデータ位置を示す２次元の数値を「テクスチャ座標」と称する。テクスチャ座標における値の範囲は、図１０に示すＸＹ座標系のＸ方向の数ｎ－１及びＹ方向の数ｍ－１で正規化され、それぞれ０以上１以下の数値に規格化されている。図１０に示すＰＮ，Ｍ、すなわちテクスチャを構成するデータの単位を「テクセル」と称する。

　ここで、テクスチャ座標を定義する座標をｕｖ座標系とする。テクセルのｕ方向の位置をｋ、ｖ方向の位置をｌとし、テクセルのｕ方向の数をｑ、ｖ方向の数をｐとしたとき、ｕｖ座標系上の位置とテクセルの位置の相関は、下記（１）式及び（２）式で表せる。

　ｋ＝ｑｕ・・・（１）

　ｌ＝ｐｖ・・・（２）

　本開示では、上述した画像変形処理において、表示パネル１１０の画素構造に応じた処理を加える。具体的に、画像生成装置２００の制御回路２３０は、表示パネル１１０の全ての副画素ＳＰｉｘの画素値を生成し、インタフェース２４０を介して表示装置１００に送信する。これにより、表示パネル１１０では、表示パネル１１０の画素構造に応じた解像度変換処理や画素値変換処理等の画像変換処理を省略することができる。

　以下、本開示における画像変形処理について、詳細に説明する。

　上述したテクスチャマッピングに基づく画像変形処理により、画像変形処理後の画像ＭＩｇの画素位置（ｘ，ｙ）に対応する、画像変形処理前の画像Ｍｎのテクスチャ座標（ｕ_ｃ，ｖ_ｃ）が得られる。このテクスチャ座標（ｕ_ｃ，ｖ_ｃ）には副画素の概念はなく、画素Ｐｉｘの代表的な位置（ｘ，ｙ）に対応した座標である。すなわち、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢの位置は、画素Ｐｉｘの代表的な位置とは相対的に異なる。このテクスチャ座標（ｕ_ｃ，ｖ_ｃ）に対して、表示パネル１１０の副画素ＳＰｉｘごとの補正を加えることで、副画素ＳＰｉｘごとのテクスチャ座標を得ることができる。

　表示パネル１１０の副画素ＳＰｉｘごとの補正を加えたテクスチャ座標（ｕ_Ｑ（ｘ，ｙ），ｖ_Ｑ（ｘ，ｙ））は、下記（３）式及び（４）式で表せる。下記（３）式及び（４）式において、Ｑ＝Ｒ，Ｇ，Ｂである。すなわち、座標（ｕ_Ｒ（ｘ，ｙ），ｖ_Ｒ（ｘ，ｙ））は、副画素ＳＰｉｘＲのテクスチャ座標を示し、座標（ｕ_Ｇ（ｘ，ｙ），ｖ_Ｇ（ｘ，ｙ））は、副画素ＳＰｉｘＧのテクスチャ座標を示し、座標（ｕ_Ｂ（ｘ，ｙ），ｖ_Ｂ（ｘ，ｙ））は、副画素ＳＰｉｘＢのテクスチャ座標を示している。

　ｕ_Ｑ（ｘ，ｙ）＝ｕ_ｃＱ（ｘ，ｙ）＋Δｕ_ｓＱ（ｘ，ｙ）・・・（３）

　ｖ_Ｑ（ｘ，ｙ）＝ｖ_ｃＱ（ｘ，ｙ）＋Δｖ_ｓＱ（ｘ，ｙ）・・・（４）

　上記（３）式及び（４）式において、テクスチャ座標（ｕ_ｃＱ（ｘ，ｙ），ｖ_ｃＱ（ｘ，ｙ））は、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢの間でレンズ４１０による色収差の補正を行わない場合には、各副画素ＳＰｉｘに依らず一定（ｕ_ｃ（ｘ，ｙ）＝ｕ_ｃＲ（ｘ，ｙ）＝ｕ_ｃＧ（ｘ，ｙ）＝ｕ_ｃＢ（ｘ，ｙ））となる。テクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））は、テクスチャ座標（ｕ_ｃ，ｖ_ｃ）に対する副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとの差分値を示している。

　図１２Ａ及び図１２Ｂは、画素の代表的な位置に対する各副画素の位置関係を示す図である。図１２Ａ及び図１２Ｂでは、画素Ｐｉｘの代表的な位置ｕ（ｘ，ｙ）に対し、副画素ＳＰｉｘの位置のズレを示している。図１２Ａは、画素Ｐｉｘの代表的な位置ｕ（ｘ，ｙ）に対し、副画素ＳＰｉｘが負側にずれた例を示している。図１２Ｂは、画素Ｐｉｘの代表的な位置ｕ（ｘ，ｙ）に対し、副画素ＳＰｉｘが正側にずれた例を示している。

　図１２Ａ及び図１２Ｂに示す４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍは、画素幅を１としたときのズレ幅を示し、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとに異なる値である。

　上記（３）式及び（４）式と同様に、Ｑ＝Ｒ，Ｇ，Ｂとすると、テクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））は、上記４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍを用いた２次元の線形補間により、下記（５）式及び（６）式で表せる。下記（５）式及び（６）式において、Ｑ＝Ｒ，Ｇ，Ｂである。すなわち、例えば副画素ＳＰｉｘＲについての係数ｋ_ｘｐはｋ_ｘｐＲと表す。また、例えば副画素ＳＰｉｘＧについての係数ｋ_ｘｐはｋ_ｘｐＧと表す。また、例えば副画素ＳＰｉｘＢについての係数ｋ_ｘｐはｋ_ｘｐＢと表す。他の各係数についても同様である。

　ここで、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢのうちの１つ、あるいは画素Ｐｉｘの中心座標を代表値として座標（ｕ_ｃ（ｘ，ｙ），ｖ_ｃ（ｘ，ｙ））とすると、テクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））は、下記（７）式及び（８）式で表せる。

　Δｕ_ｓＱ（ｘ，ｙ）＝ｕ_ｓＱ（ｘ，ｙ）－ｕ_ｃ（ｘ，ｙ）・・・（７）

　Δｖ_ｓＱ（ｘ，ｙ）＝ｖ_ｓＱ（ｘ，ｙ）－ｖ_ｃ（ｘ，ｙ）・・・（８）

　レンズ４１０による色収差を補正しない場合、副画素ＳＰｉｘＧを代表値とすれば、下記（９）式及び下記（１０）式が得られる。

　ｕ_ｃ（ｘ，ｙ）＝ｕ_ｃＧ（ｘ，ｙ）・・・（９）

　ｖ_ｃ（ｘ，ｙ）＝ｖ_ｃＧ（ｘ，ｙ）・・・（１０）

　レンズ４１０による色収差を補正する場合、２つの手法が考えられる。まず、第１の手法としては、テクスチャ座標（ｕ_ｃ，ｖ_ｃ）を求める際のポリゴンメッシュの形状を、レンズ４１０の色収差に応じて、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢに反映させて異ならせることで、レンズ４１０の副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとの像倍率に応じた色収差を抑制したテクスチャ画像がマッピングされる。すなわち、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとの座標（ｕ_ｃＱ（ｘ，ｙ），ｖ_ｃＱ（ｘ，ｙ））が得られる。

　レンズ４１０による色収差を補正する第２の手法としては、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとに像倍率の補正係数を適用する。以下、レンズ４１０による色収差を補正する第２の手法について説明する。

　レンズ４１０による色収差を考慮する場合は、まずレンズ４１０の色収差による像倍率の差を補償する画素位置を求める必要がある。図１３は、レンズの光軸からの距離に対する副画素ごとの像倍率の変化量を示すレンズの色収差特性の一例を示す図である。図１４は、レンズの光軸から副画素までの距離の大きさを示す図である。

　レンズの像倍率の色による差は、例えば、図１３に示すように、レンズの光軸からの距離ｒに対する像倍率の変化量Δｒで表現する事ができる。図１３では、副画素ＳＰｉｘＧを基準として（Δｒ_Ｇ＝０）、副画素ＳＰｉｘＲの像倍率の変化量Δｒ_Ｒ、副画素ＳＰｉｘＢの像倍率の変化量Δｒ_Ｂを示している。

　一般に、副画素ＳＰｉｘＲの像倍率の変化量Δｒ_Ｒ、副画素ＳＰｉｘＧの像倍率の変化量Δｒ_Ｇ、副画素ＳＰｉｘＢの像倍率の変化量Δｒ_Ｂは、レンズの屈折率の分散のために発生し、光軸からの距離ｒが離れるに従い拡大する。図１３に示すように、副画素ＳＰｉｘＧを基準とした場合（Δｒ_Ｇ＝０）、副画素ＳＰｉｘＢの像倍率の変化量Δｒ_Ｂは、一般に正の値となり、副画素ＳＰｉｘＲの像倍率の変化量Δｒ_Ｒは、一般に負の値となる。

　ここで、所定の画素Ｐｉｘに着目し、画素Ｐｉｘの表示パネル１１０上の位置をｘ_{ｌｅｎｓ＿ｃ}，ｙ_{ｌｅｎｓ＿ｃ}とすると、表示パネル１１０上のレンズ４１０の光軸の位置ｘ_{ｌｅｎｓ０}，ｙ_{ｌｅｎｓ０}から画素の距離ｒ_ｃは、下記（１１）式、（１２）式、（１３）式で表せる。

　Δｘ_{ｌｅｎｓ＿ｃ}＝ｘ_{ｌｅｎｓ＿ｃ}－ｘ_{ｌｅｎｓ０}・・・（１１）

　Δｙ_{ｌｅｎｓ＿ｃ}＝ｙ_{ｌｅｎｓ＿ｃ}－ｙ_{ｌｅｎｓ０}・・・（１２）

　ｒ_ｃ＝√（Δｘ_{ｌｅｎｓ＿ｃ} ^２＋Δｙ_{ｌｅｎｓ＿ｃ} ^２）・・・（１３）

　ここで、下記（１４）式に示すように、画素Ｐｉｘの副画素ＳＰｉｘＧを基準とすると（ｒ_Ｇ＝ｒ_ｃ）、表示パネル１１０上のレンズ４１０の光軸の位置ｘ_{ｌｅｎｓ０}，ｙ_{ｌｅｎｓ０}から副画素ＳＰｉｘＲの像までの距離ｒ_Ｒ、及び、表示パネル１１０上のレンズ４１０の光軸の位置ｘ_{ｌｅｎｓ０}，ｙ_{ｌｅｎｓ０}から副画素ＳＰｉｘＢの像までの距離ｒ_Ｂは、それぞれ、下記（１５）式及び（１６）式で表せる。

　ｒ_Ｇ＝ｒ_ｃ・・・（１４）

　ｒ_Ｒ＝ｒ_ｃ×（１＋Δｒ_Ｒ（ｒ_ｃ））・・・（１５）

　ｒ_Ｂ＝ｒ_ｃ×（１＋Δｒ_Ｂ（ｒ_ｃ））・・・（１６）

　上述したように、副画素ＳＰｉｘＧを基準とした場合（Δｒ_Ｇ＝０）、副画素ＳＰｉｘＢの像倍率の変化量Δｒ_Ｂは、一般に正の値となり、副画素ＳＰｉｘＲの像倍率の変化量Δｒ_Ｒは、一般に負の値となる。従って、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢの表示パネル１１０上の位置がずれることになる。

　副画素ＳＰｉｘＲに入力すべき副画素のデータが存在する画像上の位置は、レンズの色収差でずれて表示される像の位置の画像データであり、下記（１７）式及び（１８）式で示されるように、レンズの光軸からの距離を倍率補正した相対位置Δｘ_{ｃｏｍｐ＿Ｒ}，Δｙ_{ｃｏｍｐ＿Ｒ}で近似できる。

　Δｘ_{ｃｏｍｐ＿Ｒ}＝Δｘ_{ｌｅｎｓ＿ｃ}×（ｒ_Ｒ／ｒ_ｃ）
　　　　　　　＝Δｘ_{ｌｅｎｓ＿ｃ}×（１＋Δｒ_Ｒ（ｒ_ｃ））・・・（１７）

　Δｙ_{ｃｏｍｐ＿Ｒ}＝Δｙ_{ｌｅｎｓ＿ｃ}×（ｒ_Ｒ／ｒ_ｃ）
　　　　　　　＝Δｙ_{ｌｅｎｓ＿ｃ}×（１＋Δｒ_Ｒ（ｒ_ｃ））・・・（１８）

　表示パネル１１０上の副画素ＳＰｉｘＲに入力すべき副画素のデータが存在する画像上の位置ｘ_{ｃｏｍｐ＿Ｒ}，ｙ_{ｃｏｍｐ＿Ｒ}は、表示パネル１１０上のレンズ４１０の光軸の位置ｘ_{ｌｅｎｓ０}，ｙ_{ｌｅｎｓ０}を用いて下記（１９）式及び（２０）式で示される。

　ｘ_{ｃｏｍｐ＿Ｒ}＝Δｘ_{ｃｏｍｐ＿Ｒ}＋ｘ_{ｌｅｎｓ０}・・・（１９）

　ｙ_{ｃｏｍｐ＿Ｒ}＝Δｙ_{ｃｏｍｐ＿Ｒ}＋ｙ_{ｌｅｎｓ０}・・・（２０）

　上述した色収差による位置ずれを考慮した副画素ＳＰｉｘＲの位置ｘ_ｔＲ，ｙ_ｔＲは、副画素の構成に起因する位置を示す各係数ｋ_ｘｐＲ、ｋ_ｘｍＲ、ｋ_ｙｐＲ、ｋ_ｙｍＲを用いて、下記（２１）式から（２４）式で表せる。

　ｘ_ｔＲ＝ｋ_ｘｐＲ＋Δｘ_{ｃｏｍｐ＿Ｒ}＋ｘ_{ｌｅｎｓ０}（ｋ_ｘｍＲ＝０のとき）・・・（２１）

　ｘ_ｔＲ＝－ｋ_ｘｍＲ＋Δｘ_{ｃｏｍｐ＿Ｒ}＋ｘ_{ｌｅｎｓ０}（ｋ_ｘｐＲ＝０のとき）・・・（２２）

　ｙ_ｔＲ＝ｋ_ｙｐＲ＋Δｙ_{ｃｏｍｐ＿Ｒ}＋ｙ_{ｌｅｎｓ０}（ｋ_ｙｍＲ＝０のとき）・・・（２３）

　ｙ_ｔＲ＝－ｋ_ｙｍＲ＋Δｙ_{ｃｏｍｐ＿Ｒ}＋ｙ_{ｌｅｎｓ０}（ｋ_ｙｐＲ＝０のとき）・・・（２４）

　上記（２１）式から（２４）式で示される副画素ＳＰｉｘＲの位置ｘ_ｔＲ，ｙ_ｔＲの値は、基準とした画素Ｐｉｘの位置ｘ_ｃ，ｙ_ｃから１よりも遠く離れている場合には適用できない。このため、下記（２５）式から（２８）式を用いて、副画素ＳＰｉｘＲの位置ｘ_ｔＢ，ｙ_ｔＢの値を整数部分と小数点以下の部分とに分解する必要がある。下記（２５）式及び（２７）式において、「ｆｌｏｏｒ」は、小数点以下を切り捨てて整数部分を取り出す関数である。

　ｘ_ｉＲ＝ｆｌｏｏｒ（ｘ_ｔＲ）・・・（２５）

　ｋ_ｘＲ＝ｘ_ｔＲ－ｘ_ｉＲ・・・（２６）

　ｙ_ｉＲ＝ｆｌｏｏｒ（ｙ_ｔＲ）・・・（２７）

　ｋ_ｙＲ＝ｙ_ｔＲ－ｙ_ｉＲ・・・（２８）

　上述した色収差による位置ずれを考慮した副画素ＳＰｉｘＢの位置ｘ_ｔＢ，ｙ_ｔＢは、副画素の構成に起因する位置を示す各係数ｋ_ｘｐＢ、ｋ_ｘｍＢ、ｋ_ｙｐＢ、ｋ_ｙｍＢを用いて、下記（２９）式から（３２）式で表せる。

　ｘ_ｔＢ＝ｋ_ｘｐＢ＋Δｘ_{ｃｏｍｐ＿Ｂ}＋ｘ_{ｌｅｎｓ０}（ｋ_ｘｍＢ＝０のとき）・・・（２９）

　ｘ_ｔＢ＝－ｋ_ｘｍＢ＋Δｘ_{ｃｏｍｐ＿Ｂ}＋ｘ_{ｌｅｎｓ０}（ｋ_ｘｐＢ＝０のとき）・・・（３０）

　ｙ_ｔＢ＝ｋ_ｙｐＢ＋Δｙ_{ｃｏｍｐ＿Ｂ}＋ｙ_{ｌｅｎｓ０}（ｋ_ｙｍＢ＝０のとき）・・・（３１）

　ｙ_ｔＢ＝－ｋ_ｙｍＢ＋Δｙ_{ｃｏｍｐ＿Ｂ}＋ｙ_{ｌｅｎｓ０}（ｋ_ｙｐＢ＝０のとき）・・・（３２）

　上記（２９）式から（３２）式で示される副画素ＳＰｉｘＢの位置ｘ_ｔＢ，ｙ_ｔＢの値は、画素Ｐｉｘの位置ｘ_ｃ，ｙ_ｃから１よりも遠く離れている場合には適用できない。このため、下記（３３）式から（３６）式を用いて、副画素ＳＰｉｘＢの位置ｘ_ｔＢ，ｙ_ｔＢの値を整数部分と小数点以下の部分とに分解する必要がある。下記（３３）式及び（３５）式において、「ｆｌｏｏｒ」は、小数点以下を切り捨てて整数部分を取り出す関数である。

　ｘ_ｉＢ＝ｆｌｏｏｒ（ｘ_ｔＢ）・・・（３３）

　ｋ_ｘＢ＝ｘ_ｔＢ－ｘ_ｉＢ・・・（３４）

　ｙ_ｉＢ＝ｆｌｏｏｒ（ｙ_ｔＢ）・・・（３５）

　ｋ_ｙＢ＝ｙ_ｔＢ－ｙ_ｉＢ・・・（３６）

　上記（１１）式から（３６）式を用いて算出した各係数ｘ_ｉＱ、ｋ_ｘＱ、ｙ_ｉＱ、ｋ_ｙＱ（Ｑ＝Ｒ，Ｇ，Ｂ）を用いた副画素ＳＰｉｘごとのテクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））は、上記（７）式及び（８）式に代えて、下記（３７）式及び（３８）式で表せる。

　そして、上記（３７）式及び（３８）式に示す副画素ＳＰｉｘごとのテクスチャ座標（ｕ_ｃ（ｘ_ｔＱ，ｙ_ｔＱ），ｖ_ｃ（ｘ_ｔＱ，ｙ_ｔＱ））から、画素Ｐｉｘの位置ｕ_ｃ（ｘ_ｃ，ｙ_ｃ），ｖ_ｃ（ｘ_ｃ，ｙ_ｃ）を差し引くことで、下記（３９）式及び（４０）式に示すテクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））が得られる。

　Δｕ_ｓＱ（ｘ，ｙ）＝ｕ_ｃ（ｘ_ｔＱ，ｙ_ｔＱ）－ｕ_ｃ（ｘ_ｃ，ｙ_ｃ）・・・（３９）

　Δｖ_ｓＱ（ｘ，ｙ）＝ｖ_ｃ（ｘ_ｔＱ，ｙ_ｔＱ）－ｖ_ｃ（ｘ_ｃ，ｙ_ｃ）・・・（４０）

　上記（５）式及び（６）式、又は、上記（３７）式及び（３８）式を用いて生成したテクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））を座標変換テーブルとして画像生成装置２００の記憶部２２０に保持しておき、画像変形処理に適用することで、色収差による位置ずれ補償と表示パネル１１０の画素配列に応じた処理を同時に行うことができる。

　あるいは、上記（７）式及び（８）式、又は、上記（３９）式及び（４０）式を用いて生成したテクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））を座標変換テーブルとして画像生成装置２００の記憶部２２０に保持しておき、画像変形処理において画素Ｐｉｘの位置ｕ_ｃ（ｘ_ｃ，ｙ_ｃ），ｖ_ｃ（ｘ_ｃ，ｙ_ｃ）を求めた後に、座標変換テーブルを適用することで、色収差による位置ずれ補償と表示パネル１１０の画素配列に応じた処理を同時に行うことができる。

　図１５は、座標変換テーブルの第１例を示す図である。図１５において、Ｑ＝Ｒ，Ｇ，Ｂである。すなわち、座標変換テーブルｔｂ１Ｑを用いる場合、画像生成装置２００の記憶部２２０は、副画素ＳＰｉｘＲ用の座標変換テーブルｔｂ１Ｒ、副画素ＳＰｉｘＧ用の座標変換テーブルｔｂ１Ｇ、及び副画素ＳＰｉｘＢ用の座標変換テーブルｔｂ１Ｂを保持する。座標変換テーブルｔｂ１Ｑは、テクスチャ座標の値を保持しているので、表示フレーム毎の表示処理の時は、変換テーブルを参照するだけで標本化点（ｕ_ｔｓＱ、ｖ_ｔｓＱ）を得ることができる。

　あるいは、上記（７）式及び（８）式、又は、上記（３７）式を適用した上記（７）式及び上記（３８）式を適用した上記（８）式を用いて生成したテクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））を座標変換テーブルとして画像生成装置２００の記憶部２２０に保持しておき、画像変形処理に適用することで、表示パネル１１０の画素配列に応じた処理を同時に行うことができる。

　図１６は、座標変換テーブルの第２例を示す図である。図１６において、Ｑ＝Ｒ，Ｇ，Ｂである。すなわち、座標変換テーブルｔｂ２Ｑを用いる場合、画像生成装置２００の記憶部２２０は、副画素ＳＰｉｘＲ用の座標変換テーブルｔｂ２Ｒ、副画素ＳＰｉｘＧ用の座標変換テーブルｔｂ２Ｇ、及び副画素ＳＰｉｘＢ用の座標変換テーブルｔｂ２Ｂを保持する。座標変換テーブルｔｂ２Ｑは、テクスチャ座標の差分値を保持しているので、表示フレーム毎の表示処理の時に標本化点（ｕ_ｔｓＱ、ｖ_ｔｓＱ）を得るためには、画素Ｐｉｘごとの基準となるテクスチャ座標（ｕ_ｃ、ｖ_ｃ）を取得して、変換テーブルの値と加算することが必要となる。描画処理ごとに基準テクスチャ（テクスチャ座標（ｕ_ｃ、ｖ_ｃ））の状態が変化する場合にも、対応することが可能となる。

　ここでは、ポリゴンメッシュを用いた座標変換テーブルｔｂ２Ｑの導出処理について、図１７及び図１８を参照して説明する。図１７は、実施形態に係る座標変換テーブルの導出処理の第１例を示すフローチャートである。図１８は、実施形態に係る座標変換テーブルの導出処理の第２例を示すフローチャートである。

　図１７では、レンズ４１０による色収差を補正する第１の手法を適用した座標変換テーブルｔｂ２Ｑの導出処理を例示している。

　図１７に示す第１の手法を適用した第１例では、レンズ４１０の色収差に応じた副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢに対応するポリゴンメッシュを用いる。

　まず、画像生成装置２００の制御回路２３０は、副画素ＳＰｉｘＲに対応するポリゴンメッシュを生成する（ステップＳ１０１）。

　続いて、制御回路２３０は、副画素ＳＰｉｘＲに対応するポリゴンメッシュを生成する。このポリゴンメッシュは、レンズ４１０のＲ色のレンズ拡大率及び歪を補償する所定の形状で作成され、テクスチャマッピングにより副画素ＳＰｉｘＲに対応するテクスチャ座標（ｕ_ｃＲ（ｘ，ｙ），ｖ_ｃＲ（ｘ，ｙ））を求め、副画素ＳＰｉｘＲに対応するテクスチャ座標テーブルを生成する（ステップＳ１０２）。

　次に、制御回路２３０は、副画素ＳＰｉｘＧに対応するポリゴンメッシュを生成する（ステップＳ１０３）。

　続いて、制御回路２３０は、副画素ＳＰｉｘＧに対応するポリゴンメッシュを生成する。このポリゴンメッシュは、レンズ４１０のＧ色のレンズ拡大率及び歪を補償する所定の形状で作成され、テクスチャマッピングにより副画素ＳＰｉｘＧに対応するテクスチャ座標（ｕ_ｃＧ（ｘ，ｙ），ｖ_ｃＧ（ｘ，ｙ））を求め、副画素ＳＰｉｘＧに対応するテクスチャ座標テーブルを生成する（ステップＳ１０４）。

　次に、制御回路２３０は、副画素ＳＰｉｘＢに対応するポリゴンメッシュを生成する（ステップＳ１０５）。

　続いて、制御回路２３０は、副画素ＳＰｉｘＢに対応するポリゴンメッシュを生成する。このポリゴンメッシュは、レンズ４１０のＢ色のレンズ拡大率及び歪を補償する所定の形状で作成され、テクスチャマッピングにより副画素ＳＰｉｘＢに対応するテクスチャ座標（ｕ_ｃＢ（ｘ，ｙ），ｖ_ｃＢ（ｘ，ｙ））を求め、副画素ＳＰｉｘＢに対応するテクスチャ座標テーブルを生成する（ステップＳ１０６）。

　そして、制御回路２３０は、上記（５）式及び（６）式を用いて、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとのテクスチャ座標（ｕ_ｓＲ（ｘ，ｙ），ｖ_ｓＲ（ｘ，ｙ））、テクスチャ座標（ｕ_ｓＧ（ｘ，ｙ），ｖ_ｓＧ（ｘ，ｙ））、テクスチャ座標（ｕ_ｓＢ（ｘ，ｙ），ｖ_ｓＢ（ｘ，ｙ））を算出する。制御回路２３０は、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢのうちの１つを代表として（例えば、副画素ＳＰｉｘＧの位置ｕ_ｃＧ（ｘ，ｙ），ｖ_ｃＧ（ｘ，ｙ）を代表値として）、上記（７）式及び（８）式を用いて、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとのテクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））を求め、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとの座標変換テーブルｔｂ２Ｑを生成し（ステップＳ１０７）、ステップＳ１０２、ステップＳ１０４、ステップＳ１０６において生成した副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとのテクスチャ座標テーブルを破棄する（ステップＳ１０８）。

　図１８では、レンズ４１０による色収差を補正する第２の手法を適用した座標変換テーブルｔｂ２Ｑの導出処理を例示している。

　図１８に示す第２の手法を適用した第２例では、副画素ＳＰｉｘＧを代表としたポリゴンメッシュを用いる。

　まず、画像生成装置２００の制御回路２３０は、副画素ＳＰｉｘＧに対応するポリゴンメッシュを生成する（ステップＳ２０１）。このポリゴンメッシュは、レンズ４１０のＧ色のレンズ拡大率及び歪を補償する所定の形状で作成する。

　続いて、制御回路２３０は、テクスチャマッピングにより副画素ＳＰｉｘＧに対応するテクスチャ座標（ｕ_ｃＧ（ｘ，ｙ），ｖ_ｃＧ（ｘ，ｙ））を求め、副画素ＳＰｉｘＧに対応するテクスチャ座標テーブルを生成する（ステップＳ２０２）。

　そして、制御回路２３０は、上記（１１）式から（３６）式を用いて各係数ｘ_ｉＱ、ｋ_ｘＱ、ｙ_ｉＱ、ｋ_ｙＱ（Ｑ＝Ｒ，Ｇ，Ｂ）を算出し、上記（３７）式及び（３８）式を用いて、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとのテクスチャ座標（ｕ_ｓＲ（ｘ，ｙ），ｖ_ｓＲ（ｘ，ｙ））、テクスチャ座標（ｕ_ｓＧ（ｘ，ｙ），ｖ_ｓＧ（ｘ，ｙ））、テクスチャ座標（ｕ_ｓＢ（ｘ，ｙ），ｖ_ｓＢ（ｘ，ｙ））を算出する。制御回路２３０は、上記（３９）式及び（４０）式を用いて、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとのテクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））を求め、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢごとの座標変換テーブルｔｂ２Ｑを生成し（ステップＳ２０３）、ステップＳ２０２において生成した副画素ＳＰｉｘＧのテクスチャ座標テーブルを破棄する（ステップＳ２０４）。

　なお、上述した副画素ＳＰｉｘごとの座標変換テーブルｔｂ１Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）、あるいは、上述した副画素ＳＰｉｘごとの座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）は、ＨＭＤのレンズ４１０に応じたテーブルが予め画像生成装置２００の記憶部２２０に記憶されている態様であっても良いし、ＨＭＤのレンズ４１０に応じて、表示システム１の起動時に画像生成装置２００の制御回路２３０が座標変換テーブルｔｂ１Ｑあるいは座標変換テーブルｔｂ２Ｑの導出処理を実行して、記憶部２２０に保持する態様であっても良い。あるいは、実行するＶＲアプリケーション２１２に応じて、適宜、画像生成装置２００の制御回路２３０が座標変換テーブルｔｂ１Ｑあるいは座標変換テーブルｔｂ２Ｑの導出処理を実行して、記憶部２２０に保持する態様であっても良い。

　次に、テクスチャ座標差分値（Δｕ_ｓＱ（ｘ，ｙ），Δｖ_ｓＱ（ｘ，ｙ））またはテクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））を使った表示フレーム毎の表示動作における、表示パネル１１０の各副画素ＳＰｉｘに適用する画素値の導出手法について説明する。

　上述したように、ＨＭＤでは表示パネル１１０に表示された画像をレンズ４１０で拡大して観察するため、表示パネル１１０に表示する画像に対し、レンズ歪を補償するための画像変形処理を行う。この画像変形処理において、画素Ｐｉｘの位置ｘ，ｙの画素Ｐｉｘの表示データとして元画像のテクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））からデータを標本化するが、テクスチャ座標（ｕ_ｓＱ（ｘ，ｙ），ｖ_ｓＱ（ｘ，ｙ））に一致する１点だけではなく、１つ以上のデータ定義点における色データを標本化して、副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢごとの画素値を算出する。このとき、画像変形処理によって移動した後のデータ定義点の配置に応じて、副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢごとの画素値を生成する必要がある。

　副画素ＳＰｉｘごとに標本化を行う場合、折り返し雑音（エイリアシングノイズ）により色付き（偽色）が生じることが問題となる。テクスチャマッピングに基づく画像変形処理では、標本化の対象とするテクスチャの間隔と標本化の間隔（すなわち、表示パネル１１０の画素間隔）が必ずしも一致しないため、マルチサンプリングやぼかし処理により対策が行われる。本開示では、副画素ＳＰｉｘごとに標本化を行うため、副画素ＳＰｉｘ間の状態差が偽色として目立ち易い。

　本開示では、副画素ＳＰｉｘごとの標本化手法として面積平均法及び多点平均法を用いる例について説明する。図１９は、面積平均法を用いて標本化する場合のテクセルと表示パネル上の１画素サイズの平面充填図形に対応したテクスチャ上の平面充填図形との相対位置の第１例を示す図である。図１９において、実線で示した格子はテクセルの境界線を示し、破線は平面充填図形を示している。図１９では、平面充填図形のＸ方向の幅がテクセルの幅の１．５倍、平面充填図形のＹ方向の幅がテクセルの幅の２／３である例を示している。テクセルと平面充填図形の重なり方のバリエーションは、ｄｘ,ｄｙがそれぞれ０から１までの値を取るので、３×２個のテクセルと重なる可能性がある。また、Ｓ_００、Ｓ_１０、Ｓ_２０、Ｓ_０１、Ｓ_１１、Ｓ_２１は、各テクセルと平面充填図形とが重なる領域の面積を示している。

　図１９に示す例において、平面充填図形で示される線形空間の画素値Ｆ_Ｑは、下記（４１）式で表せる。

　図２０は、面積平均法を用いて標本化する場合のテクセルと平面充填図形との相対位置の第２例を示す図である。図２０では、平面充填図形のＸ方向の幅がテクセルの幅の１．５×２倍、平面充填図形のＹ方向の幅がテクセルの幅の２／３×２倍である例を示している。また、Ｓ_００、Ｓ_１０、Ｓ_２０、Ｓ_３０、Ｓ_０１、Ｓ_１１、Ｓ_２１、Ｓ_３１、Ｓ_０２、Ｓ_１２、Ｓ_２２、Ｓ_３２は、標本化点とテクセルの相対位置ｄｕ，ｄｖ（それぞれテクセル単位で０から１まで）の幅で平面充填図形が重なる可能性のあるテクセルについて、各テクセルと平面充填図形が重なる領域の面積を示している。

　図２０に示す例において、平面充填図形で示される線形空間の画素値Ｆ_Ｑは、下記（４２）式で表せる。

　表示パネル１１０に送信される画素値ｆ_Ｑは、上記（４１）式や上記（４２）式で示される画素値Ｆ_Ｑに対し、ガンマ補正を適用した下記（４３）式で表せる。

　図２１は、多点平均法を用いて標本化する場合の平面充填図形のＸＹ座標系上の大きさ及び向きを示すベクトルと中心位置とを示す図である。図２１において、Ｖ_０は、画素の中心位置である。また、ベクトルＶ_１，Ｖ_２は、平面充填図形のＸＹ座標系上の大きさ及び向きを示す。図２２は、図２１に示すＸＹ座標系上の平面充填図形に対応するｕｖ座標系上の図形を示す図である。図２２において、Ｅ_０は、図２１に示す画素Ｐｉｘの中心位置Ｖ_０に対応する。また、ベクトルＥ_１は、図２１に示すベクトルＶ_１に対応する。また、ベクトルＥ_２は、図２１に示すベクトルＶ_２に対応する。標本化対象の副画素ＳＰｉｘのＸＹ座標系上の位置Ｖ_０は、ｕｖ座標系における中心の値Ｅ_０＝（ｕ_ｓＱ，ｖ_ｓＱ）が対応する。

　テクスチャ座標（ｕ_ｓＱ，ｖ_ｓＱ）に基づき複数の位置から標本化して平均を取る多点平均法では、テクスチャの変形や回転に対応し易い。上述した座標変換テーブルには、副画素ＳＰｉｘのＸＹ座標系上の位置に応じた複数のテクスチャ座標が含まれるため、標本化時に参照した座標変換テーブルの値からテクセル上の平面充填図形の大きさを求めることができる。

　複数の副画素ＳＰｉｘに対応する複数の座標変換テーブルから取得したテクスチャ座標（ｕ_ｓＱ，ｖ_ｓＱ）、又はテクスチャ座標差分値（Δｕ_ｓＱ，Δｖ_ｓＱ）の値に平行でない２つ以上の差分値が含まれている場合、その複数の差分値を一次独立したベクトルとして扱うことで、平面充填図形のｕｖ座標系上の大きさ及び向きを示すベクトルＥ_１，Ｅ_２を計算することができる。なお、座標変換テーブルに平行でない２つ以上の差分値が含まれていない場合、所定のＸＹ座標系上のベクトルＶ_１，Ｖ_２に相当するｕｖ座標系上のベクトルＥ_１，Ｅ_２を計算しておき、その値を保持するテーブルを予め作成して参照するようにしても良い。

　図２３Ａ、図２３Ｂ、図２３Ｃ、図２３Ｄは、多点平均法を用いて標本化する場合に平面充填図形を４分割した例を示す図である。図２３Ａ、図２３Ｂ、図２３Ｃ、図２３Ｄに示すように、平面充填図形を４分割する場合、標本化した線形空間における画素値Ｆ_Ｑは、下記（４４）式及び（４５）式で表せる。下記（４４）式及び（４５）式において、ｓｐ_ｉｊは標本化点を示している。また、下記（４４）式において、Ｓａは、ｕｖ座標系上のｓｐ_ｉｊから画素値を得る関数である。

　上記（４４）式において、α＝１とした場合、各標本化点ｓｐ_ｉｊの位置は、図２０Ａに示す位置となる。また、上記（４４）式において、α＝０．５とした場合、各標本化点ｓｐ_ｉｊの位置は、図２３Ｂに示す位置となる。また、上記（４４）式において、α＝２とした場合、各標本化点ｓｐ_ｉｊの位置は、図２３Ｃに示す位置となる。

　上記（４４）式におけるαの値を１以下とすれば、エイリアシングノイズの抑制効果（以下、「アンチエイリアシング効果」とも称する）は低くなるが、解像度を高めることができる。一方、上記（４４）式におけるαの値を大きくすれば、アンチエイリアシング効果を高めることができる。

　なお、下記（４６）式に示す平面充填図形のＸＹ座標系上の中心位置Ｖ_０を標本化点に加えても良い。

　図２４は、多点平均法を用いて標本化する場合に平面充填図形を６分割した例を示す図である。図２４に示すように、平面充填図形を６分割する場合、標本化点ｓｐ_ｉｊは下記（４７）式で表せる。

　表示パネル１１０に送信される画素値ｆ_Ｑは、上記（４４）式で示される画素値Ｆ_Ｑに対し、ガンマ補正を適用した下記（４８）式で表せる。但し、表示パネル１１０の入力値が線形データの場合は、この処理は不要でＦ_Ｑをそのまま出力すれば良い。

　以下、表示フレームごとに実行する画像変形処理の具体例について、図２５及び図２６を参照して説明する。

　図２５は、実施形態に係る画像変形処理の第１例を示すフローチャートである。図２６は、実施形態に係る画像変形処理の第２例を示すフローチャートである。図２５に示す第１例では、図１５に示す座標変換テーブルｔｂ１Ｑを用いた画像変形処理の一例を示している。図２６に示す第２例では、図１６に示す座標変換テーブルｔｂ２Ｑを用いた画像変形処理の一例を示している。

　図２５に示す第１例では、画像生成装置２００の記憶部２２０に副画素ＳＰｉｘごとの座標変換テーブルｔｂ１Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）が保持されていることを前提としている。図２５に示す座標変換テーブルを用いた画像変形処理において、画像生成装置２００の制御回路２３０は、画素値を生成する表示パネル１１０上の画素Ｐｉｘを設定し（ステップＳ３０１）、１フレーム分の全画素について画素値の生成が終了したか否かを判定する（ステップＳ３０２）。

　１フレーム分の全画素について画素値の生成が終了していない場合（ステップＳ３０２；Ｎｏ）、制御回路２３０は、座標変換テーブルｔｂ１Ｒを参照して、ステップＳ３０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＲで標本化すべきテクスチャ座標を取得し（ステップＳ３０３）、上述した標本化手法を用いて当該副画素ＳＰｉｘＲの画素値を算出する（ステップＳ３０４）。

　続いて、制御回路２３０は、座標変換テーブルｔｂ１Ｇを参照して、ステップＳ３０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＧで標本化すべきテクスチャ座標を取得し（ステップＳ３０５）、上述した標本化手法を用いて当該副画素ＳＰｉｘＧの画素値を算出する（ステップＳ３０６）。

　続いて、制御回路２３０は、座標変換テーブルｔｂ１Ｂを参照して、ステップＳ３０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＢで標本化すべきテクスチャ座標を取得し（ステップＳ３０７）、上述した標本化手法を用いて当該副画素ＳＰｉｘＢの画素値を算出する（ステップＳ３０８）。

　以降、ステップＳ３０１に戻り、制御回路２３０は、ステップＳ３０８までの処理を繰り返し行う。ステップＳ３０２において１フレーム分の全画素について画素値の生成が終了した場合（ステップＳ３０２；Ｙｅｓ）、１フレーム分の画像変形処理が終了する。

　図２６に示す第２例では、画像生成装置２００の記憶部２２０に副画素ＳＰｉｘごとの座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）が保持されていることを前提としている。図２６に示す座標変換テーブルを用いた画像変形処理において、画像生成装置２００の制御回路２３０は、まず、画素値を生成する表示パネル１１０上の画素Ｐｉｘを設定し（ステップＳ４０１）、１フレーム分の全画素について画素値の生成が終了したか否かを判定する（ステップＳ４０２）。

　１フレーム分の全画素について画素値の生成が終了していない場合（ステップＳ４０２；Ｎｏ）、制御回路２３０は、基準となるポリゴンメッシュ（例えば、副画素ＳＰｉｘＧに対応するポリゴンメッシュ）を用いて、ステップＳ４０１において設定した画素Ｐｉｘの座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）の基準となるテクスチャ座標（例えば、副画素ＳＰｉｘＧに対応するテクスチャ座標（ｕ_ｃＧ（ｘ，ｙ），ｖ_ｃＧ（ｘ，ｙ）））を取得する（ステップＳ４０３）。

　制御回路２３０は、座標変換テーブルｔｂ２Ｒを参照して、ステップＳ４０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＲで標本化すべき副画素ＳＰｉｘＲに対応するテクスチャ座標を取得する（ステップＳ４０４）。具体的に、制御回路２３０は、上記式（７）式から（１０）式を変形した下記（４９）式及び（５０）式を用いて、テクスチャ座標（ｕ_ｓＲ（ｘ，ｙ），ｖ_ｓＲ（ｘ，ｙ））を算出する。

　ｕ_ｓＲ（ｘ，ｙ）＝ｕ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＲ（ｘ，ｙ）・・・（４９）

　ｖ_ｓＲ（ｘ，ｙ）＝ｖ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＲ（ｘ，ｙ）・・・（５０）

　そして、制御回路２３０は、上述した標本化手法を用いて当該副画素ＳＰｉｘＲの画素値を算出する（ステップＳ４０５）。

　続いて、制御回路２３０は、座標変換テーブルｔｂ２Ｇを参照して、ステップＳ４０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＧで標本化すべき副画素ＳＰｉｘＧに対応するテクスチャ座標を取得する（ステップＳ４０６）。具体的に、制御回路２３０は、上記式（７）式から（１０）式を変形した下記（５１）式及び（５２）式を用いて、テクスチャ座標（ｕ_ｓＧ（ｘ，ｙ），ｖ_ｓＧ（ｘ，ｙ））を算出する。

　ｕ_ｓＧ（ｘ，ｙ）＝ｕ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＧ（ｘ，ｙ）・・・（５１）

　ｖ_ｓＧ（ｘ，ｙ）＝ｖ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＧ（ｘ，ｙ）・・・（５２）

　そして、制御回路２３０は、上述した標本化手法を用いて当該副画素ＳＰｉｘＧの画素値を算出する（ステップＳ４０７）。

　続いて、制御回路２３０は、座標変換テーブルｔｂ２Ｂを参照して、ステップＳ４０１において設定した画素Ｐｉｘの副画素ＳＰｉｘＢで標本化すべき副画素ＳＰｉｘＢに対応するテクスチャ座標を取得する（ステップＳ４０８）。具体的に、制御回路２３０は、上記式（７）式から（１０）式を変形した下記（５３）式及び（５４）式を用いて、テクスチャ座標（ｕ_ｓＢ（ｘ，ｙ），ｖ_ｓＢ（ｘ，ｙ））を算出する。

　ｕ_ｓＢ（ｘ，ｙ）＝ｕ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＢ（ｘ，ｙ）・・・（５３）

　ｖ_ｓＢ（ｘ，ｙ）＝ｖ_ｃＧ（ｘ，ｙ）＋Δｕ_ｓＢ（ｘ，ｙ）・・・（５４）

　そして、制御回路２３０は、上述した標本化手法を用いて当該副画素ＳＰｉｘＢの画素値を算出する（ステップＳ４０９）。

　以降、ステップＳ４０１に戻り、制御回路２３０は、ステップＳ４０９までの処理を繰り返し行う。ステップＳ４０２において１フレーム分の全画素について画素値の生成が終了した場合（ステップＳ４０２；Ｙｅｓ）、１フレーム分の画像変形処理が終了する。

　以下、表示パネル１１０の画素配列の具体例について説明する。

　図２７は、実施形態に係る表示パネルの画素配列の第１例を示す図である。図２７に示す実施形態に係る表示パネル１１０の画素配列の第１例では、１ラインごとに各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢがＸ方向に１つずつずれた、所謂モザイク配列の画素配列を有している。換言すれば、実施形態に係る表示パネル１１０の画素配列の第１例において、画素Ｐｉｘは、赤（第１色：Ｒ）を表示するための副画素ＳＰｉｘＲ（第１画素）と、緑（第２色：Ｇ）を表示するための副画素ＳＰｉｘＧ（第２画素）と、青（第３色：Ｂ）を表示するための副画素ＳＰｉｘＢ（第３画素）と、を含む。Ｘ方向において、副画素ＳＰｉｘＲ（第１画素）が、副画素ＳＰｉｘＧ（第２画素）と副画素ＳＰｉｘＢ（第３画素）とに挟まれており、Ｙ方向において、副画素ＳＰｉｘＲ（第１画素）が、副画素ＳＰｉｘＧ（第２画素）と副画素ＳＰｉｘＢ（第３画素）とに挟まれている。また、Ｘ方向において、副画素ＳＰｉｘＧ（第２画素）が、副画素ＳＰｉｘＲ（第１画素）と副画素ＳＰｉｘＢ（第３画素）とに挟まれており、Ｙ方向において、副画素ＳＰｉｘＧ（第２画素）が、副画素ＳＰｉｘＲ（第１画素）と副画素ＳＰｉｘＢ（第３画素）とに挟まれている。また、Ｘ方向において、副画素ＳＰｉｘＢ（第３画素）が、副画素ＳＰｉｘＧ（第２画素）と副画素ＳＰｉｘＲ（第１画素）とに挟まれており、Ｙ方向において、副画素ＳＰｉｘＢ（第３画素）が、副画素ＳＰｉｘＧ（第２画素）と副画素ＳＰｉｘＲ（第１画素）とに挟まれている。図２７に示す例において、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢは四角形である。図２７では、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢが四角形である例を示したが、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢの形状はこれに限らない。

　図２８は、図２７に示す画素配列における画素構成の第１例を示す図である。図２８に示す例において、画素Ｐｉｘ（０，０）は、副画素ＳＰｉｘＲ（０，０）、副画素ＳＰｉｘＧ（１，０）、副画素ＳＰｉｘＢ（０，１）を含む。また、画素Ｐｉｘ（１，０）は、副画素ＳＰｉｘＲ（３，０）、副画素ＳＰｉｘＧ（２，１）、副画素ＳＰｉｘＢ（２，０）を含む。また、画素Ｐｉｘ（２，０）は、副画素ＳＰｉｘＲ（４，１）、副画素ＳＰｉｘＧ（４，０）、副画素ＳＰｉｘＢ（５，０）を含む。

　また、画素Ｐｉｘ（０，１）は、副画素ＳＰｉｘＲ（１，１）、副画素ＳＰｉｘＧ（０，２）、副画素ＳＰｉｘＢ（１，２）を含む。また、画素Ｐｉｘ（１，１）は、副画素ＳＰｉｘＲ（２，２）、副画素ＳＰｉｘＧ（３，２）、副画素ＳＰｉｘＢ（３，１）を含む。また、画素Ｐｉｘ（２，１）は、副画素ＳＰｉｘＲ（５，２）、副画素ＳＰｉｘＧ（５，１）、副画素ＳＰｉｘＢ（４，２）を含む。

　図２８に示す画素構成では、Ｘ方向に３画素、Ｙ方向に２画素の計６画素の構成が、Ｘ方向及びＹ方向に繰り返し生じている。この３×２の６画素を１画素ブロックとする。

　ここでは、図２８に示す画素構成の実施形態に係る表示パネル１１０に対し、画像生成装置２００の制御回路２３０は、画素Ｐｉｘ（ｓｘ，ｓｙ）ごとにそれぞれ副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素データを送信する例について説明する。ｓｘ、ｓｙは、それぞれ下記（５５）式及び（５６）式で表せる。下記（５５）式及び（５６）式において、％は、割り算の余りを求める演算を示す。

　ｓｘ＝ｘ％３・・・（５５）

　ｓｙ＝ｙ％２・・・（５６）

　図２９は、図２８に示す画素構成における画素データの定義を説明するための概念図である。図２９では、各画素Ｐｉｘ（ｓｘ，ｓｙ）に対応する仮想的な中心位置を黒点で示している。各画素Ｐｉｘ（ｓｘ，ｓｙ）に対応する画素データは、各画素Ｐｉｘ（ｓｘ，ｓｙ）の仮想的な中心位置における副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む。この各画素Ｐｉｘ（ｓｘ，ｓｙ）の仮想的な中心位置と各副画素ＳＰｉｘの中心位置とのズレは、図１２Ａ及び図１２Ｂにおいて説明した画素の代表的な位置に対する副画素の位置のズレに相当する。

　上述したように、図２８に示す画素構成では、Ｘ方向に３画素、Ｙ方向に２画素の計６画素の構成が、Ｘ方向及びＹ方向に繰り返し生じる。このため、図２８に示す画素構成において、図１２Ａ及び図１２Ｂに示す画素の代表的な位置に対する副画素の位置のズレを定義する４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍは、各画素Ｐｉｘ（ｓｘ，ｓｙ）のＸ方向の大きさ及びＹ方向の大きさを１に正規化した場合、図３０で示される値となる。

　図３０は、図２８に示す画素構成における副画素ごとの４つの係数値を示す図である。図３０において、４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍは、それぞれ、ｋ_ｘｐＱ、ｋ_ｘｍＱ、ｋ_ｙｐＱ、ｋ_ｙｍＱ（Ｑ＝Ｒ，Ｇ，Ｂ）で示される。これらの係数は、表示パネル１１０の画素構成に応じて決まる定数である。従って、図３０に示す係数値をテーブル化して画像生成装置２００の記憶部２２０に保持しておくことで、図１５に示す座標変換テーブル、あるいは、図１６に示す座標変換テーブルを生成することができる。

　図２８に示す画素構成における各画素値の標本化手法としては、上述した面積平均法や多点平均法を用いることができる。以下、多点平均法を用いて、図２８に示す画素構成における画素値の算出例について説明する。

　図３１は、図２８に示す画素構成において多点平均法を用いた標本化手法に適用する平面充填図形の一例を示す図である。図３１では、副画素ＳＰｉｘＧを中心として表示パネル１１０の表示領域１１１を斜めに区切った平面充填図形で充填した例を示している。

　図３２は、図３１に示す平面充填図形のＸＹ座標上の大きさ及び向きを示すベクトルを示す図である。図３２において、ベクトルＶ_１及びベクトルＶ_２は、表示パネル１１０の表示領域１１１上の平面充填図形の領域を示している。換言すれば、図３２に示す平面充填図形は、Ｘ方向及びＹ方向とは異なる２方向のベクトルＶ_１及びベクトルＶ_２で示される菱形形状を有している。ベクトルＶ_１は、隣接する同色の副画素ＳＰｉｘ間の間隔のベクトルを示し、ベクトルＶ_２は、ベクトルＶ_１に直交し、斜め方向に並ぶ同色の副画素ＳＰｉｘ間の距離（＝１．２画素）に等しいベクトルを示している。このベクトルＶ_１及びベクトルＶ_２は、下記（５７）式及び（５８）式で示される。

　Ｖ_１＝０．９６ｘ－（２／３）ｙ・・・（５７）

　Ｖ_２＝－０．５ｘ－０．７２ｙ・・・（５８）

　座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｂ，Ｇ）を導出する際、基準となるポリゴンメッシュとして、副画素ＳＰｉｘＧに対応するポリゴンメッシュを用いた場合、副画素ＳＰｉｘＧの座標変換テーブルｔｂ２Ｇには、色収差補正の影響は含まれず、画素Ｐｉｘの仮想的な中心位置と副画素ＳＰｉｘＧの中心位置との差分のみが反映されている。従って、ベクトルＶ_１及びベクトルＶ_２に対応するｕｖ座標系上のベクトルＥ_１，Ｅ_２は、副画素ＳＰｉｘＧの座標変換テーブルｔｂ２Ｇに含まれる値から導出することができる。図３３は、図２８に示す画素配列において多点平均法を用いた標本化手法に適用する平面充填図形のベクトルの一例を示す図である。

　図３３に示すように、図２８に示す画素配列において、画素Ｐｉｘ（１，０）の副画素ＳＰｉｘＧ（２，１）の中心位置から画素Ｐｉｘ（１，０）の仮想的な中心位置を示すベクトルをＶＧ_１０、画素Ｐｉｘ（１，１）の副画素ＳＰｉｘＧ（３，２）の中心位置から画素Ｐｉｘ（１，１）の仮想的な中心位置を示すベクトルをＶＧ_１１として、ベクトルＶＧ_１０及びベクトルＶＧ_１１は、下記（５９）式及び（６０）式で表せる。

　ＶＧ_１０＝－０．２５ｘ＋０．５ｙ・・・（５９）

　ＶＧ_１１＝０．２５ｘ＋（１／６）ｙ・・・（６０）

　このベクトルＶＧ_１０及びベクトルＶＧ_１１を用いて、図３２に示す平面充填図形のＸＹ座標上のベクトルＶ_１及びベクトルＶ_２は、下記（６１）式及び（６２）式で示される。

　Ｖ_１＝－１．９６ＶＧ_１０＋１．８８ＶＧ_１１・・・（６１）

　Ｖ_２＝－０．５８ＶＧ_１０－２．５８ＶＧ_１１・・・（６２）

　上記（５９）式、（６０）式、（６１）式、及び（６２）式は、近似的にｕｖ座標系上でも成立するので、実際の画素値を得る処理では、ベクトルＶＧ_１０及びベクトルＶＧ_１１に相当するテクスチャ座標上のベクトルＥＧ_１０及びベクトルＥＧ_１１を作り、ベクトルＶ_１に相当するベクトルＥ_１、ベクトルＶ_２に相当するベクトルＥ_２を計算できる。従って、副画素ＳＰｉｘＧの座標変換テーブルｔｂ２Ｇから、標本化する画素に近い位置にある、画素Ｐｉｘ（１，０）に相当する画素の副画素ＳＰｉｘＧに対応する差分値と、画素Ｐｉｘ（１，１）に相当する画素の副画素ＳＰｉｘＧに対応する差分値とを参照することで、近似的なベクトルＥＧ_１０及びベクトルＥＧ_１１が得られる。このベクトルＥＧ_１０及びベクトルＥＧ_１１を用いて、上記（６１）式及び（６２）式によりベクトルＥ_１及びベクトルＥ_２を算出することができる。このようにして算出したベクトルＥ_１及びベクトルＥ_２を用いれば、上記（４４）式から（４８）式による標本化点の導出が可能となる。

　図３４は、実施形態に係る表示パネルの画素構成の第２例を示す図である。図３４では、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢのうちの２つを１画素単位とした例を示している。すなわち、１つの画素Ｐｉｘに含まれる副画素の色数は、入力画像に定義された色数（Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色）よりも少ない。

　図３４に示す画素構成では、図９に示す表示システム１に入力される元の画像データに対し、表示パネル１１０の表示画像の画質劣化を抑制するため、所謂サブピクセルレンダリング処理を行う。本開示では、画像生成装置２００の制御回路２３０で画像変形処理を行う際に、表示パネル１１０の画素構成に応じたサブピクセルレンダリング処理を反映した画素データを生成し、表示装置１００に送信することで、表示装置１００側でサブピクセルレンダリング処理を行う必要がなくなるため、表示パネル１１０の表示制御回路１１２での処理を軽減することができる。このサブピクセルレンダリング処理の手法により本開示が限定されるものではない。

　図３４に示す画素構成では、Ｘ方向に３画素、Ｙ方向に３画素の計９画素の構成が、Ｘ方向及びＹ方向に繰り返し生じている。この３×３の９画素を１画素ブロックとする。

　各画素（ｓｘ，ｓｙ）において、ｓｘ、ｓｙは、それぞれ下記（６３）式及び（６４）式で表せる。下記（６３）式及び（６４）式において、％は、割り算の余りを求める演算を示す。

　ｓｘ＝ｘ％３・・・（６３）

　ｓｙ＝ｙ％３・・・（６４）

　図３４に示す例において、画素Ｐｉｘ（０，０）は、副画素ＳＰｉｘＲ（０，０）、副画素ＳＰｉｘＧ（１，０）を含む。また、画素Ｐｉｘ（１，０）は、副画素ＳＰｉｘＢ（２，０）、副画素ＳＰｉｘＧ（３，０）を含む。また、画素Ｐｉｘ（２，０）は、副画素ＳＰｉｘＧ（４，０）、副画素ＳＰｉｘＢ（５，０）を含む。

　また、画素Ｐｉｘ（０，１）は、副画素ＳＰｉｘＢ（０，１）、副画素ＳＰｉｘＲ（１，１）を含む。また、画素Ｐｉｘ（１，１）は、副画素ＳＰｉｘＧ（２，１）、副画素ＳＰｉｘＢ（３，１）を含む。また、画素Ｐｉｘ（２，１）は、副画素ＳＰｉｘＲ（４，１）、副画素ＳＰｉｘＧ（５，１）を含む。

　また、画素Ｐｉｘ（０，２）は、副画素ＳＰｉｘＧ（０，２）、副画素ＳＰｉｘＢ（１，２）を含む。また、画素Ｐｉｘ（１，２）は、副画素ＳＰｉｘＲ（２，２）、副画素ＳＰｉｘＧ（３，２）を含む。また、画素Ｐｉｘ（２，２）は、副画素ＳＰｉｘＢ（４，２）、副画素ＳＰｉｘＲ（５，２）を含む。

　ここでは、図３４に示す画素構成の実施形態に係る表示パネル１１０に対し、画像生成装置２００の制御回路２３０は、図２８に示す画素構成の画素Ｐｉｘ（ｓｘ，ｓｙ）ごとにそれぞれ副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素データを送信する。この場合、図１２Ａ及び図１２Ｂに示す画素の代表的な位置に対する副画素の位置のズレを定義する４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍは、各画素Ｐｉｘ（ｓｘ，ｓｙ）のＸ方向の大きさ及びＹ方向の大きさを１に正規化した場合、図３５で示される値となる。

　図３５は、図３４に示す画素構成における副画素ごとの４つの係数値を示す図である。図３５において、「－」は、対応するデータが存在しないことを示している。例えば、図３４に示す画素構成において、画素Ｐｉｘ（０，０）、画素（２，１）、画素（１，２）は、副画素ＳＰｉｘＢを有していない。また、画素Ｐｉｘ（１，０）、画素（０，１）、画素（２，２）は、副画素ＳＰｉｘＧを有していない。また、画素Ｐｉｘ（２，０）、画素（１，１）、画素（０，２）は、副画素ＳＰｉｘＲを有していない。

　図３４に示す画素構成の画素Ｐｉｘ（ｓｘ，ｓｙ）ごとにそれぞれ副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素データを送信する場合、それぞれの画素Ｐｉｘ（ｓｘ，ｓｙ）で有していない副画素ＳＰｉｘの画素データを「Ｎｕｌｌ」値として送信する必要があり、実際に表示されるデータ量に対して無駄が生じる。

　そこで、送信の無駄をなくすために、例えば、図２８に示す画素構成の画素Ｐｉｘ（ｓｘ，ｓｙ）ごとにそれぞれ副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素の配置にデータを当てはめて、例えば、図９に示した一般的な画像データ形式にまとめたデータを送信することで、実際に表示されるデータ量に対して無駄を生じることなく、効率的なデータ送信が可能となる。なお、図２８に示す画素構成では、一つの画素Ｐｉｘに３つの副画素ＳＰｉｘを含むため、図３４に示す画素構成に対して画像のＹ方向の画素数が２／３となり、画像データ形式上のＸ方向の画素数とＹ方向の画素数との比率が変わってしまう。しかし、データ送信時の画像データ圧縮アルゴリズムの多くは、ＲＧＢの３つのデータを輝度と色差に分解して圧縮するため、例えば、図９に示した一般的な画像データ形式とし、副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘのデータを１つの画素データとすることで、多くの画像データ圧縮アルゴリズムにも適用できる様になり好都合である。

　副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、副画素ＳＰｉｘＢのうちの２つを１画素単位として表示を行う場合の画素構成は、図３４に示す画素構成に限定されない。また、本開示では、表示パネル１１０の画素配列としてモザイク配列を例示したが、これに限らず、例えば、デルタ配列やペンタイル配列等であっても良い。

　また、表示パネル１１０に対し、画像生成装置２００の制御回路２３０から副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素データを送信する際のフォーマットは、図２８に示す画素構成の画素Ｐｉｘ（ｓｘ，ｓｙ）ごとにそれぞれ副画素ＳＰｉｘＲ、副画素ＳＰｉｘＧ、及び副画素ＳＰｉｘＢの画素値を含む画素データを送信する態様に限定されない。図３６Ａ及び図３６Ｂは、画素データの送信フォーマットの図２８とは異なる例を示す概念図である。

　図３６Ａ及び図３６Ｂに示す例では、基本的にはＸ方法に並ぶ各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢを１つの画素Ｐｉｘとして画素データを送る態様とし、ｙ＝１ライン目の副画素ＳＰｉｘＢ（０，１）の画素データを最終列の副画素ＳＰｉｘＧの後に付加して１つの画素Ｐｉｘとして画素データを送り、ｙ＝２ライン目の副画素ＳＰｉｘＧ（０，２）及び副画素ＳＰｉｘＢ（１，２）の画素データを最終列の副画素ＳＰｉｘＲの後に付加して１つの画素Ｐｉｘとして画素データを送る。これにより、Ｘ方向の画素データ数を各ラインで同数とすることができる。また、Ｘ方向両端に位置する不足分の画素データを「Ｎｕｌｌ」値として送信する必要がなく、効率的なデータ送信が可能となる。

　また、上述したように、図１５に示す座標変換テーブルｔｂ１Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）や、図１６に示す座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）は、各副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢに対応した３つのテーブルが必要となる。また、本開示では、表示システム１に入力される画像を幾何学的に変形させるため、厳密には、表示パネル１１０に表示する画像を構成する全ての副画素ＳＰｉｘに対応した個別のデータが必要となる。このため、画像生成装置２００の記憶部２２０の記憶容量に対する負荷が大きくなる。

　図３７Ａ及び図３７Ｂは、座標変換テーブルの変形例を示す概念図である。図３７Ａでは、副画素ＳＰｉｘごとにデータ値を設けた概念図を示している。図３７Ｂでは、上述した１画素ブロックごとのデータ値の変化が小さい領域において、複数の画素ブロックで同一のデータを適用する概念図を示している。図３７Ｂに示す例では、例えば、図３７Ａに示す３×２の６画素の画素ブロック（０，０）、（１，０）、（２，０）、（０，１）、（１，１）、（２，１）、（０，２）、（１，２）、（２，２）のデータ値を同一のデータ値としている。このように、Ｘ方向及びＹ方向の３×３の９ブロックの画素ブロックのデータ値を同一のデータ値とすることで、全体としての座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）のデータ量を１／９に削減することができる。

　なお、図３７Ｂでは、Ｘ方向に３画素、Ｙ方向に２画素の計６画素の構成を１画素ブロックとした例を示したが、画素ブロックの構成はこれに限らない。例えば、図３４に示すように、Ｘ方向に３画素、Ｙ方向に３画素の計９画素の構成を１画素ブロックとした構成であっても良いし、１画素で１画素ブロックとした構成であっても良い。また、図３７Ａ及び図３７Ｂでは座標変換テーブルｔｂ２Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）の変形例を示したが、座標変換テーブルｔｂ１Ｑ（Ｑ＝Ｒ，Ｇ，Ｂ）についても同様である。

　図３８は、実施形態に係る表示パネルの画素配列の第２例を示す図である。図３８に示す実施形態に係る表示パネル１１０の画素配列の第２例では、ＲＧＢストライプ配列の画素配列を有している。ＲＧＢストライプ配列では、Ｘ方向に副画素ＳＰｉｘＲ、ＳＰｉｘＧ、ＳＰｉｘＢが同一順に並ぶ画素ＰｉｘがＸ方向及びＹ方向にマトリクス状に配列されている。図３８に示すＲＧＢストライプ配列の画素構成に本開示を適用する場合、図１２Ａ及び図１２Ｂに示す画素の代表的な位置に対する副画素の位置のズレを定義する４つの係数ｋ_ｘｐ、ｋ_ｘｍ、ｋ_ｙｐ、ｋ_ｙｍは、各画素Ｐｉｘ（ｓｘ，ｓｙ）のＸ方向の大きさ及びＹ方向の大きさを１に正規化した場合、図３９で示される値となる。

　図３９は、図３８に示すＲＧＢストライプ配列の画素構成における副画素ごとの４つの係数値を示す図である。図３９に示すように、ＲＧＢストライプ配列では、副画素ＳＰｉｘＧに対応する係数値が全て０となり、画素Ｐｉｘ（ｘ，ｙ）の中心位置と副画素ＳＰｉｘＧの中心位置とが重なる。従って、副画素ＳＰｉｘＧ用の座標変換テーブルｔｂ１Ｇや座標変換テーブルｔｂ２Ｇは不要となる。

　図３８に示すように、表示パネル１１０の画素配列がＲＧＢストライプ配列である場合でも、表示システム１に入力される元の画像の画像データに対して解像度変換処理等を行う場合、画像生成装置２００の制御回路２３０で画像変形処理を行う際に、表示パネル１１０の解像度に応じた解像度変換処理を反映した画像データを生成し、表示装置１００に送信することで、表示装置１００側で解像度変換処理を行う必要がなくなるため、表示パネル１１０の表示制御回路１１２での処理を軽減することができる。この解像度変換処理の手法により本開示が限定されるものではない。

　本実施形態により、表示システム１は、表示パネルの画素配列に応じたデータ量で画像データの送受信を行うことができる。

　以上、本開示の好適な実施の形態を説明したが、本開示はこのような実施の形態に限定されるものではない。実施の形態で開示された内容はあくまで一例にすぎず、本開示の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、本開示の趣旨を逸脱しない範囲で行われた適宜の変更についても、当然に本発明の技術的範囲に属する。

１　表示システム
１００　表示装置
１１０　表示パネル
１１１　表示領域
１１２　表示制御回路
１１３　信号線接続回路
１１４　走査線駆動回路
１１５　ドライバＩＣ
２００　画像生成装置
２３０　制御回路
３００　ケーブル
４００　装着部材
４１０　レンズ
ＢＭ　遮光層
ＣＦ，ＣＦＲ，ＣＦＧ，ＣＦＢ　カラーフィルタ
ＣＯＭ　共通電極
ＬＣ　液晶層
ＧＬ，Ｇ１，Ｇ２，Ｇ３　走査線
ＰＥ，ＰＥ１，ＰＥ２，ＰＥ３　画素電極
Ｐｉｘ　画素
ＳＰｉｘ，ＳＰｉｘＲ，ＳＰｉｘＧ，ＳＰｉｘＢ　副画素
ＳＬ，Ｓ１，Ｓ２，Ｓ３　信号線
ＳＵＢ１　アレイ基板
ＳＵＢ２　対向基板
ｔｂ１Ｑ　座標変換テーブル
ｔｂ２Ｑ　座標変換テーブル

Claims

　複数の副画素を含み、第１方向、及び、前記第１方向とは異なる第２方向にマトリクス状に配列された画素を有する液晶表示パネルを備える表示装置と、
　前記液晶表示パネルの画素構造に応じて、入力画像の画像変形処理を行う制御回路を備える画像生成装置と、
　を備え、
　前記画像生成装置と前記表示装置とは、有線又は無線通信により接続されており、
　前記制御回路は、
　前記画像変形処理において、前記液晶表示パネルの全ての前記副画素の画素値を生成する、
　表示システム。
　前記表示装置は、
　前記液晶表示パネルに表示させた画像を拡大するレンズを含み、
　前記制御回路は、
　前記画像変形処理において、少なくとも前記レンズの収差による幾何学的な像の歪みを補償して、前記入力画像をユーザに視認させる形状に変形させる、
　請求項１に記載の表示システム。
　前記入力画像は、前記第１方向及び前記第２方向に仮想的にマトリクス配置された複数のデータ定義点ごとに、前記副画素の色に対応する色データを有し、
　前記制御回路は、
　前記画像変形処理において、１つ以上の前記データ定義点における前記色データを標本化して、前記副画素ごとの画素値を生成する、
　請求項２に記載の表示システム。
　前記制御回路は、
　前記画像変形処理によって移動した後のデータ定義点の配置に応じて、前記副画素ごとの画素値を生成する、
　請求項３に記載の表示システム。
　前記制御回路は、
　前記画像変形処理において、面積平均法を用いて前記副画素ごとの標本化を行う、
　請求項４に記載の表示システム。
　前記制御回路は、
　前記画像変形処理において、多点平均法を用いて前記副画素ごとの標本化を行う、
　請求項４に記載の表示システム。
　前記多点平均法を用いて前記副画素ごとの標本化を行う際の平面充填図形は、前記第１方向及び前記第２方向とは異なる２方向のベクトルで示される菱形形状を有している、
　請求項６に記載の表示システム。
　前記画像生成装置は、記憶部を備え、
　前記制御回路は、
　前記画像変形処理において、前記記憶部に記憶された座標変換テーブルに基づき、前記画素値を算出する、
　請求項３から７の何れか一項に記載の表示システム。
　前記制御回路は、
　ポリゴンメッシュを用いて前記座標変換テーブルを生成し、前記記憶部に記憶する、
　請求項８に記載の表示システム。
　前記制御回路は、
　複数の前記副画素の相対的な位置に応じた複数の前記座標変換テーブルを生成する、
　請求項９に記載の表示システム。
　前記制御回路は、
　前記レンズの前記副画素ごとの像倍率に応じた前記座標変換テーブルを生成する、
　請求項１０に記載の表示システム。
　前記座標変換テーブルは、
　前記液晶表示パネルの全ての前記副画素に対応した個別のデータを含む、
　請求項８から１１の何れか一項に記載の表示システム。
　前記座標変換テーブルは、
　１つあるいは複数の前記画素を１つの画素ブロックとして、複数の前記画素ブロックで同一のデータを適用している、
　請求項８から１１の何れか一項に記載の表示システム。
　前記画素に含まれる副画素の色数は、前記入力画像に定義された色数よりも少ない、
　請求項１から１３の何れか一項に記載の表示システム。
　前記液晶表示パネルの解像度と前記入力画像の解像度とが異なっている、
　請求項１から１４の何れか一項に記載の表示システム。