JP6424277B2 - 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体に関する。

近年、例えばヘッドマウントディスプレイやスマートグラスなどのように、ユーザが頭部に装着して使用する出力装置がある。このような出力装置は、ユーザの左右の目のそれぞれの前に配される一対のディスプレイを備え、当該ディスプレイに表示した画像をユーザに提示する。このような出力装置は、臨場感のある映像をユーザに視認させることができるため、バーチャルリアリティ技術などに利用されている。

こうした出力装置において、その視野角を広くするために、ディスプレイに表示した画像を、敢えて歪みの強いレンズを介してユーザの目の前に結像させることができる。このようなレンズを用いる場合、ディスプレイに表示する画像はユーザに提示する画像そのものではなく、レンズの歪みを考慮して、予め元の画像（ソース画像）に対してレンズの歪みとは逆の歪みを与えた補正画像を生成し、当該補正画像を表示する。これによりレンズを介してユーザに視認される画像がソース画像に対応したものとなる。

ここでディスプレイは一般に複数のピクセル（画素）で構成されているが、各画素はさらにＲ（赤），Ｇ（緑），Ｂ（青）の光の三原色の各色でそれぞれ発光する３つのサブピクセル（発光部）により構成される。しかしながら従来、各サブピクセルの位置が一つのピクセルの占める面の中でバラついているにも関わらず、Ｒ，Ｇ，Ｂのいずれの色もピクセル内の所定の一点（通常ピクセルの占める面の中心）で発光しているとして補正が行われていた。

一方、視野角を大きくすればするほど、単位視野角あたりのピクセル数は少なくなるので、わずかな補正の誤差があっても見た目の画像に影響する。例えばディスプレイの周辺部に近いピクセルほど、ディスプレイ上のわずかな位置の違いが、ソース画像上の対応する位置の相違に大きく影響する。こうしたディスプレイ上の位置の誤差（ソース画像上の誤った画素を参照することによる画素値の相違）が色収差として問題となる。

本発明は上記実情に鑑みて為されたもので、サブピクセルを考慮した画像の補正を行うことができる情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体を提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、情報処理システムであって、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置と、前記出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置と、を含む情報処理システムであって、前記情報処理装置は、表示の対象となるソース画像データを受け入れる手段と、前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、当該生成した補正画像データを、前記出力装置に対して出力する出力手段と、を含むこととしたものである。

本発明の実施の形態に係る情報処理システムの例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置の例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置のディスプレイ部のサブピクセルの配置位置の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置の処理例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１０は、図１に例示するように、情報処理装置１１と、出力装置１２とを含んで構成される。

本実施形態の一例では、情報処理装置１１は、例えば家庭用ゲーム機等のコンピュータ利用機器であり、具体的には図１に示したように、制御部２１と、記憶部２２と、インタフェース部２３と、を含んで構成されている。また出力装置１２は、例えばヘッドマウントディスプレイであり、図２に模式的に例示するように、制御部３１と、記憶部３２と、入出力インタフェース部３３と、一対のディスプレイ部３４Ｌ，３４Ｒと、一対のレンズ３５Ｌ，３５Ｒとを含んで構成されている。

ここで情報処理装置１１の制御部２１は、記憶部２２に格納されたプログラムに従って動作するＣＰＵや画像処理モジュールであるＧＰＵ等のプログラム制御デバイスである。本実施の形態の制御部２１は、出力装置１２における表示の対象となるソース画像データを受け入れ、当該受け入れたソース画像データに基づいて、所定の変換式により出力装置１２が備えるレンズ３５の歪みを補正した補正画像データを生成する。またこの制御部２１は、当該生成した補正画像データを、出力装置１２に対して出力する。この制御部２１の動作については、後に詳しく述べる。

記憶部２２は、メモリデバイスやディスクデバイス等であり、制御部２１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ−ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部２２に格納されたものであってもよい。また、この記憶部２２は、制御部２１のワークメモリとしても動作し、例えば処理の対象となる画像データを格納するフレームバッファ領域が設定されていてもよい。

インタフェース部２３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートや、ＵＳＢポート等であり、出力装置１２に接続される。またこのインタフェース部２３は、制御部２１から入力される指示に従い、データ（画像データ等）を出力装置１２へ出力する。またインタフェース部２３は、出力装置１２から入力される情報を制御部２１に出力する。

出力装置１２の制御部３１は、記憶部３２に格納されたプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施の形態においてこの制御部３１は、情報処理装置１１から入出力インタフェース部３３を介して入力される補正画像データをディスプレイ部３４に出力する処理を行う。またこの制御部３１は、記憶部３２に格納されているデータの要求を外部から受けて、当該要求されたデータを記憶部３２から読み出して要求元へ送出する処理を行ってもよい。この制御部３１の動作については、後に述べる。

記憶部３２は、メモリデバイス等であり、制御部３１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ−ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。また、この記憶部３２は、制御部３１のワークメモリとしても動作し、例えば表示する補正画像データを格納する領域が設定されていてもよい。

入出力インタフェース部３３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートや、ＵＳＢポート等であり、情報処理装置１１等に接続されている。

一対のディスプレイ部３４Ｌ，３４Ｒは、例えば液晶ディスプレイ等であり、図２に例示するように、ユーザの左右の目のそれぞれに対応して設けられる（以下、区別の必要がない場合は、ディスプレイ部３４とまとめて表記する）。各ディスプレイ部３４はそれぞれ複数のピクセル３４１を含んで構成され、各ピクセル３４１はさらに、Ｒ，Ｇ，Ｂの各色で発光するサブピクセル３４２を備えている。このサブピクセル３４２は、ピクセル３４１ごとに図３（ａ）または図３（ｂ）に例示するような位置に配置されている。ここでの例では、Ｒのサブピクセル３４２ｒの中心は、図３（ａ），図３（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｒx，Ｒy）だけ離れた位置（Ｃx＋Ｒx，Ｃy＋Ｒy）に位置している。また、Ｇのサブピクセル３４２ｇの中心もまた、図３（ａ），図３（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｇx，Ｇy）だけ離れた位置（Ｃx＋Ｇx，Ｃy＋Ｇy）に位置している。一方、Ｂのサブピクセル３４２ｂの中心は、図３（ａ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx1，Ｂy1）だけ離れた位置（Ｃx＋Ｂx1，Ｃy＋Ｂy1）に位置し、図３（ｂ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx2，Ｂy2）（図３（ａ），（ｂ）の例ではＢx1＝Ｂx2、Ｂy1≠Ｂy2）だけ離れた位置（Ｃx＋Ｂx2，Ｃy＋Ｂy2）に位置する。なお、ここで中心座標は、ピクセル３４１またはサブピクセル３４２の外接矩形の対角線が交わる点などというように、ピクセル３４１またはサブピクセル３４２内の点として予め定めておく。

一対のレンズ３５Ｌ，３５Ｒは、対応するディスプレイ部３４Ｌ，３４Ｒと、当該ディスプレイ部３４Ｌ，３４Ｒに表示される画像を見るユーザの目との間に配される（以下、区別の必要がない場合は、レンズ３５としてまとめて表記する）。このレンズ３５は、対応するディスプレイ部３４に表示された画像（補正画像データに相当する画像）に所定の歪（例えば方眼面を表示したときに中心部に向って糸巻きの形状に縮む糸巻き歪）を生じさせて、ユーザの目に認識させる。

ここで情報処理装置１１の制御部２１の動作について説明する。制御部２１は、機能的には図４に例示するように、ソース画像受入部４１と、補正画像生成部４２と、出力部４３とを含んで構成されている。ここでソース画像受入部４１は、左目用と右目用の一対のソース画像データの入力を受け入れる。本実施の形態の一例では、制御部２１は、ゲームのための処理等、画像の補正とは異なる処理（他の処理）も並列して（時分割的に）実行しており、このソース画像受入部４１は、当該他の処理からソース画像データを受け入れることとしてもよい。

補正画像生成部４２は、一対のソース画像データのそれぞれに対してレンズ３５の歪を打ち消すための所定の変換式（例えば樽型歪を与える変換の演算式）により定められる変換を施して、補正画像データを生成するものであり、具体的には、左目用と右目用の一対の補正画像データのそれぞれについて、補正画像データを構成する各ピクセルに含まれるサブピクセルごとに、当該サブピクセルの位置の情報と上記変換式とにより、当該サブピクセルに対応するソース画像データ上のピクセルを演算により求め、サブピクセルごとに求められた当該ソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する。出力部４３は、補正画像生成部４２にて生成した補正画像データを出力する。

次に、この補正画像生成部４２の動作について説明する。補正画像生成部４２は、一対のソース画像データのそれぞれについて次の補正画像データの生成処理を行う。補正画像生成部４２はいずれかのソース画像データについての補正画像データの生成処理を開始すると、図５に例示するように補正画像データを格納する領域を記憶部２２に確保する（Ｓ１）。この領域は、出力装置１２のディスプレイ部３４のピクセル数に合わせて確保される。

補正画像生成部４２は、補正画像データのピクセル３４１の一つを選択する（Ｓ２）。この選択は例えば左上隅のピクセルからスキャンライン順に行えばよい。つまり最も上側にあるピクセルの行において、左から右へとピクセルを順に選択し、次いで次の行（一つ下の行）へ移ってまた左から右へとピクセルを順に選択する…というように選択していけばよい。もっとも、ピクセルの選択はこの順序に限られるものではなく、任意の順に選択してよい。また、ＧＰＵ（Graphics Processing Unit）を利用して、複数のピクセルを並列的に選択して次の処理を行うこととしてもよい。

補正画像データのピクセル３４１の一つを選択すると、補正画像生成部４２は、当該選択したピクセルに含まれるサブピクセル３４２のそれぞれを順次選択する（Ｓ３）。具体的には、Ｒ，Ｇ，Ｂの順など、予め定めた順に選択すればよい。補正画像生成部４２は、処理Ｓ２で選択したピクセル３４１の中心の座標（Ｃx，Ｃy）を用いて、処理Ｓ３で選択したサブピクセル３４２の中心座標の位置を演算する（Ｓ４）。

このサブピクセル３４２の中心座標は、サブピクセル３４２の配置がすべてのピクセル３４１において同じであれば、各サブピクセル３４２の中心座標が、ピクセル３４１の中心座標からどれだけ離れているかを表す情報を予め記憶部２２に格納しておき、当該情報を参照することで演算できる。

またピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図３（ａ），（ｂ）に例示したように二種類の配置がある場合など）は、配置の種類ごとに、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を記憶部２２に格納しておくとともに、ピクセル３４１ごとに、ピクセル３４１を特定する情報と、当該情報で特定されるピクセル３４１においてサブピクセル３４２がどの種類の配置となっているかを表す情報とを関連付けて記憶部２２に格納しておく。補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１における配置の種類を当該情報に基づいて特定し、当該特定した種類の配置における各サブピクセル３４２の中心座標に係る情報（サブピクセル３４２の中心座標がピクセル３４１の中心座標からどれだけ離れているかを表す、サブピクセル３４２の位置の情報）を参照して各サブピクセル３４２の中心座標の位置を演算する。

さらにピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図３（ａ），（ｂ）に例示したように二種類の配置がある場合など）、ピクセル３４１の各々についての、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を平均し、各サブピクセル３４２の平均の中心座標を求めて、予め記憶部２２に格納しておいてもよい。この場合、補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１の中心座標からどれだけ離れているかを表す情報（平均の情報）を記憶部２２から読み出して参照し、各サブピクセル３４２の中心座標の位置を演算する。

補正画像生成部４２は、処理Ｓ４にて演算したサブピクセル３４２の中心座標に対応する、ソース画像データ上の対応座標を演算により求める（Ｓ５）。この演算は、ソース画像データから補正画像データを得るためのレンズ３５の歪みを打ち消す所定の変換式と、処理Ｓ４にて演算されたサブピクセル３４２の中心座標とにより、上記所定の変換式により当該選択したサブピクセル３４２の中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求めるものである。その具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する。

補正画像生成部４２は、求められたソース画像データ上の対応座標を中心として、ソース画像データ上で所定の範囲にあるピクセル（複数あってもよい）における画素値（処理Ｓ３で選択されたサブピクセル３４２の色に対応する画素値の成分）に基づいて、処理Ｓ３で選択されたサブピクセル３４２の輝度を決定する（Ｓ６）。一般に、処理Ｓ５により求められる対応座標の値はいずれかのピクセルの中心には位置しないので、ここでの輝度の決定は、求められたソース画像データ上の対応座標を中心として所定の範囲にあるピクセルにおける画素値を補間して求めることになる。この補間法には最近傍（ニアレストネイバー）補間、双一次（バイリニア）補間、双三次（バイキュビック）補間等の広く知られたものを用いることができる。一例としてこの処理Ｓ５，Ｓ６に係る演算はOpenCV等のソフトウエアを用いたレンズ歪み補正処理を利用して行うことができる。

補正画像生成部４２は、処理Ｓ３からＳ６を各サブピクセル３４２について繰り返し行う。これにより、処理Ｓ２にて選択したピクセル３４１に含まれる各サブピクセル３４２のそれぞれの輝度が決定され、当該ピクセル３４１の画素値が決定される。すなわち本実施の形態において特徴的なことの一つは、ピクセルごとではなく、サブピクセルごとにそのピクセル内での位置に基づいてソース画像データから変換した補正画像データを得ていることである。

補正画像生成部４２は、処理Ｓ２から処理Ｓ６までの処理を、各ピクセル３４１について繰り返し行う。これにより補正画像生成部４２は、補正画像データに含まれる各ピクセル３４１の画素値を得ていく。また補正画像生成部４２は以上の処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

［レンズの組み付け誤差を考慮した処理］
また本実施の形態の一例では、この補正画像生成部４２は、さらに、出力装置１２が備える一対のディスプレイ部３４Ｌ，３４Ｒ及び一対のレンズ３５の組み付け誤差の情報を得て、当該情報に基づいて補正画像データをさらに平行移動する処理を行ってもよい。

すなわち本実施の形態の出力装置１２は、工場出荷時にディスプレイ部３４Ｌ，３４Ｒ（以下、区別の必要がないときにはディスプレイ部３４とまとめて記す）と、レンズ３５（左目側のレンズ３５Ｌと右目側のレンズ３５Ｒとのそれぞれ）との組み付け誤差が測定される。この測定は広く知られた方法で行うことができる。具体的には、この測定は次のように行われる。まず、左目用、右目用のそれぞれの画像を表示するディスプレイ部３４Ｌ，３４Ｒと、レンズ３５とを組み付けた後、各ディスプレイ部３４Ｌ，３４Ｒの中心に、当該中心の位置で交差する一対の線分（十字）の画像（マーカー）を表示する。

次に各ディスプレイ部３４Ｌ，３４Ｒとレンズ３５Ｌ，３５Ｒとの左右それぞれの理想的な組み付け位置の中心軸とその光軸とを一致させた状態に設置した測定用カメラでそれぞれのディスプレイ部３４Ｌ，３４Ｒに表示されたマーカーを撮影する。

そしてこうして撮影されたマーカーの画像が、測定用カメラの光軸に相当する位置からどれだけずれているかを測定する。

これにより、レンズ３５Ｌ，３５Ｒを通じて視認される、対応するディスプレイ部３４Ｌ，３４Ｒに表示された画像と、視点とのずれ（ディスプレイ部３４の座標で表される）が測定される。そして当該測定した結果（左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌと、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒとのそれぞれの組についての測定結果）を組み付け誤差の情報として記憶部３２に格納する。

またこの出力装置１２の制御部３１は、外部（情報処理装置１１等）から組み付け誤差の情報の要求を受けて、記憶部３２に格納されている組み付け誤差の情報を読み出し、当該読み出した組み付け誤差の情報を、要求元である情報処理装置１１等に対して出力する。

本実施の形態の一例では、このように出力装置１２を構成しておくことで、情報処理装置１１において補正画像生成部４２が、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納しておく。

そして補正画像生成部４２は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。すなわち補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｌの中心に表示されるべきピクセルが、レンズ３５Ｌを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｌのピクセルの位置になるよう左目用の補正画像データ全体を平行移動し、左目用の第２補正画像データを得る。また補正画像生成部４２は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。つまり補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｒの中心に表示されるべきピクセルが、レンズ３５Ｒを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｒのピクセルの位置になるよう右目用の補正画像データ全体を平行移動し、右目用の第２補正画像データを得る。

なお、ここではサブピクセルごとのピクセル内での位置に基づいてソース画像データから変換して得られた補正画像データを、さらに平行移動することとしているが、各ピクセルの中心の位置に基づいてソース画像データから変換して得られた補正画像データを、平行移動することとしてもよい。

また、ここでは補正画像データを得てから、平行移動の処理を行っているが、補正画像データを生成する処理の過程で平行移動処理を併せて行うこととしてもよい。

［動作］
本実施の形態の情報処理システムは以上の構成を備えており、次のように動作する。情報処理装置１１の制御部２１は、ゲームのための処理において生成された、左目用と右目用の一対のソース画像データのそれぞれに対応する補正画像データを格納する領域を記憶部２２に確保する。

制御部２１は、一対の補正画像データのそれぞれについて次の処理を行う。すなわち制御部２１は、補正画像データに含まれるピクセル内のサブピクセルのそれぞれを順次選択する。制御部２１は選択したサブピクセルの中心座標を演算する。なお、サブピクセルの少なくとも一部について、その中心座標がピクセルによって異なる場合（例えば図３（ａ），（ｂ）に例示したように二種類の配置がある場合など）は、各ピクセルについて、その中心座標から各サブピクセルの中心座標がどれだけ離れているかを表す情報を平均し、各サブピクセルの平均の中心座標を求めておき、この平均の中心座標を用いる。

制御部２１は、レンズ３５の歪みを打ち消す変換式により当該サブピクセルの中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求める。ソース画像データ上で、当該対応座標を中心として所定の範囲にあるピクセル（複数あってもよい）における画素値（選択したサブピクセルの色に対応する画素値の成分）に基づいて、選択されたサブピクセルの輝度を決定する。制御部２１は、この処理をサブピクセルごと、またピクセルごとに行うことで、補正画像データに含まれる各ピクセルのサブピクセルごとの輝度（画素値）を得ていく。また制御部２１はこれらの処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

制御部２１は、当該生成した一対の補正画像データを、インタフェース部２３を介して出力装置１２へ出力する。出力装置１２では、入力された左目用の補正画像データを左目用のディスプレイ部３４Ｌに表示し、右目用の補正画像データを右目用のディスプレイ部３４Ｒに表示する。

これら表示された補正画像データは上述のようにレンズ３５の歪みを打ち消すように補正されたものであり、いずれも、対応するレンズ３５Ｌ，Ｒを介することでレンズ３５の歪を受けて補正による変形と歪による変形とが相殺されて、ソース画像データに相当する画像が、ユーザの目に入ることとなる。

本実施の形態の情報処理装置１１により生成された補正画像データでは、サブピクセルの配置が、例えば図３（ａ）または図３（ｂ）に示されたものである場合、Ｒ，Ｇのサブピクセルが縦方向に配されていることから、水平な線に対して非対称となっており、従って水平な線に対して対称な一対の画像をそれぞれソース画像データとした場合に、それぞれから得られる補正画像データは、互いに異なった結果となる。

さらに情報処理装置１１の制御部２１は、レンズの組み付け誤差を考慮した処理を行ってもよい。この場合は制御部２１は、補正画像データの生成時に、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納する。

そして制御部２１は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して左目用の第２補正画像データを得る。また制御部２１は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して、右目用の第２補正画像データを得る。

そして制御部２１は、当該生成した一対の第２の補正画像データを、インタフェース部２３を介して出力装置１２へ出力する。出力装置１２では、入力された左目用の第２の補正画像データを左目用のディスプレイ部３４Ｌに表示し、右目用の第２の補正画像データを右目用のディスプレイ部３４Ｒに表示する。

これら表示された第２の補正画像データは上述のようにレンズ３５の歪みを打ち消すように補正されたものであり、いずれも、対応するレンズ３５Ｌ，Ｒを介することでレンズ３５の歪を受けて補正による変形と歪による変形とが相殺されて、ソース画像データに相当する画像が、ユーザの目に入ることとなる。また、この例では、ディスプレイ部３４やレンズ３５が組み付け時にずれて配されたとしても、レンズ３５を通じたユーザの視線の光軸上に、本来のソース画像データの中心が位置するようディスプレイ部３４に表示する画像が補正されているので、ユーザに対して、意図した遠近感を与えることが可能となる。

［変形例］
本実施の形態では、出力装置１２のディスプレイ部３４における各ピクセル内のサブピクセルの位置の情報については記憶部２２に格納されているものとしたが、この、サブピクセルの位置の情報は、例えば出力装置１２のドライバのインストール時に格納されてもよい。

また本実施の形態の別の例では、出力装置１２が接続されたときに、情報処理装置１１が出力装置１２からサブピクセルの位置の情報を取得して、記憶部２２に格納してもよい。この例では、出力装置１２の記憶部３２に、ディスプレイ部３４における各ピクセル内のサブピクセルの位置を表す情報（各ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報、またはピクセル３４１の中心座標から各サブピクセル３４２の中心座標が平均してどれだけ離れているかを表す情報）が格納される。この情報は、例えば工場出荷時等に、記憶部３２に書き込まれる。

そして出力装置１２の制御部３１は、外部（情報処理装置１１等）から、サブピクセルの位置の情報の要求を受けると、当該要求に応答して、記憶部３２に格納されている、上記サブピクセルの位置の情報を要求元となった情報処理装置１１等に出力する。

この例においては、情報処理装置１１は、出力装置１２が接続されたタイミングなど、補正画像データの生成処理を行うよりも前の段階でサブピクセルの位置の情報を出力装置１２から取得して記憶部２２に格納し、補正画像データの生成処理に用いる。

なお、この例において出力装置１２に対して要求を出力しても、サブピクセルの位置の情報が取得できない場合は、ソース画像データの各ピクセルの中心にすべてのサブピクセルの中心座標があるものとして、補正画像データの生成処理を行ってもよい。この場合、具体的には、従来一般的な画像変形の処理を用いることができるので、ここでの詳しい説明は省略する。

また、ここまでの説明では、ディスプレイやレンズの組み付け誤差を考慮した処理を行う場合、出力装置１２が要求に応じて、工場出荷時に書き込まれたレンズ３５の組み付け誤差の情報を情報処理装置１１に送出するものとしていたが、本実施の形態はこれに限られない。

すなわち、本実施の形態では、出力装置１２がレンズ３５の光軸と対応するディスプレイ部３４の中心との位置のずれを測定する装置を備えていてもよい。この装置は具体的には、広く知られたオートコリメータを用いるもので構わない。なお、本実施の形態では、組み付け誤差の測定は、理想的な光軸に対する位置ずれを測定するものであっても構わないし、レンズ光軸とディスプレイ部３４の中心との相対的な位置ずれを測定するものであってもよい。

この例では、出力装置１２の制御部３１は、外部（情報処理装置１１等）から組み付け誤差の情報の要求を受けて、記憶部３２に格納されている組み付け誤差の情報を読み出す代わりに、各レンズ３５Ｌ，３５Ｒの光軸と、対応するディスプレイ部３４Ｌ，３４Ｒの中心との位置のずれを測定し、当該測定した組み付け誤差の情報を、要求元である情報処理装置１１等に対して出力する。

１０ 情報処理システム、１１ 情報処理装置、１２ 出力装置、２１，３１ 制御部、２２，３２ 記憶部、２３ インタフェース部、３３ 入出力インタフェース部、３４ ディスプレイ部、３５ レンズ、４１ ソース画像受入部、４２ 補正画像生成部、４３ 出力部、３４１ ピクセル、３４２ サブピクセル。

Claims (6)

1. ピクセルごとに、三原色の各色で発光する複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置と、
   前記出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置と、を含む情報処理システムであって、
   前記情報処理装置は、
   表示の対象となるソース画像データを受け入れる手段と、
   前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、
   当該生成した補正画像データを、前記出力装置に対して出力する出力手段と、
   を含む情報処理システム。
2. 画素ごとに、三原色の各色で発光する複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置であって、
   表示の対象となるソース画像データを受け入れる手段と、
   前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、
   当該生成した補正画像データを、前記出力装置に対して出力する出力手段と、
   を含む情報処理装置。
3. 画素ごとに複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置であって、
   表示の対象となるソース画像データを受け入れる手段と、
   前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、
   当該生成した補正画像データを、前記出力装置に対して出力する出力手段と、を有し、
   前記出力装置が備えるディスプレイ部のピクセルは、サブピクセルの位置が異なる複数種類のピクセルを含み、
   前記補正手段は、当該複数種類のピクセルのサブピクセルごとの位置の平均位置を表す情報を、前記サブピクセルの位置の情報として補正画像データを生成する情報処理装置。
4. 請求項１に記載の情報処理システムにおいて、
   前記出力装置は、
   前記ピクセル内のサブピクセルの位置を表す情報を保持する手段と、
   前記保持されているサブピクセルの位置を表す情報を、要求に応じて送出する手段と、
   を有する情報処理システム。
5. 画素ごとに、三原色の各色で発光する複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、
   表示の対象となるソース画像データを受け入れる手段と、
   前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、
   当該生成した補正手段を、前記出力装置に対して出力する出力手段と、
   として機能させるプログラム。
6. 画素ごとに、三原色の各色で発光する複数のサブピクセルを含んで構成されるディスプレイ部を備え、当該ディスプレイ部に表示された画像を、レンズを介して利用者に提示する出力装置に接続され、前記ディスプレイ部に表示される画像を生成する情報処理装置を、
   表示の対象となるソース画像データを受け入れる手段と、
   前記受け入れたソース画像データに基づいて、所定の変換式により前記出力装置が備えるレンズの歪みを補正した補正画像データを生成する補正手段であって、補正画像データを構成する各ピクセルについて、当該ピクセルに含まれる前記サブピクセルごとに、当該サブピクセルの位置の情報と前記変換式とにより、ソース画像データ上の対応するピクセルを演算により求め、サブピクセルごとに求められたソース画像上のピクセルの画素値に基づいて、各サブピクセルの輝度を決定することで補正画像データを生成する補正手段と、
   当該生成した補正手段を、前記出力装置に対して出力する出力手段と、
   として機能させるプログラムを格納したコンピュータ可読な記録媒体。

Images