WO2005064584A1

WO2005064584A1 - 表示システム

Info

Publication number: WO2005064584A1
Application number: PCT/JP2004/019410
Authority: WO
Inventors: Kenro Ohsawa
Original assignee: National Institute Of Information And Communications Technology, Incorporated Administrative Agency; Olympus Corporation
Priority date: 2003-12-25
Filing date: 2004-12-24
Publication date: 2005-07-14
Also published as: EP1699035A4; JP2005189542A; EP1699035A1; US20060238832A1

Abstract

　本発明の表示システムは、カラー画像を表示するためのカラー画像表示装置と、カラー画像データを補正することにより、上記カラー画像表示装置へ出力するための補正カラー画像データを生成する画像補正装置と、を具備し、上記画像補正装置は、上記カラー画像表示装置へ出力する複数のテストカラー画像データと、これら複数のテストカラー画像データに各対応して該カラー画像表示装置に表示されるテストカラー画像の表示色の空間分布と、の関係に基づいて、上記カラー画像データから、上記カラー画像表示装置の光学的フレアを補正する補正カラー画像データを算出するものである。

Description

明細書

表示システム

技術分野

[0001] 本発明は、光学的フレアの影響を補正して画像の表示を行う表示システムに関する。

背景技術

[0002] 近年、電子商取引や電子美術館'博物館などの実現を目的として、被写体の画像をディスプレイ上に正確な色で再現する技術の研究が活発に行われている。

[0003] これらの研究は、画像入力装置や画像表示装置の色特性を測定して、これらの装置の色特性情報に基づ、て色信号の補正を行うものとなって、る。ここで用いられる装置の色特性情報のフォーマットを標準化することは、色再現システムを普及させる上で重要であり、 International Color Consortium (ICC)では装置の色特性情報をデノイスプロファイルとして規定して、る（http：〃 www.color.org)。

[0004] 上述したような ICCのデバイスプロファイルや現行のカラー画像システムでは、カラ一画像機器または画像データに対して、画像の空間座標には依存しな、情報として色特性を規定し、この色特性情報に基づ、て色再現を行って、る。

[0005] 上述したような ICCのデバイスプロファイルや現行のカラー画像システムでは、表示装置における光学的なフレアのような、画像内のある位置の色が他の位置の色に及ぼす影響にっ、てまでを考慮することができるものとはなってヽな、。そのために、光学的なフレアの影響が生じるような表示装置では、十分に正確な色再現を行うことができない場合があった。

発明の開示

課題を解決するための手段

[0006] 本発明は上記事情に鑑みてなされたものであり、光学的フレアの影響を低減して意図した通りの色再現を行、得る表示システムを提供することを目的として!/、る。

[0007] 本発明の表示システムは、カラー画像を表示するためのカラー画像表示装置と、力ラー画像データを補正することにより、上記カラー画像表示装置へ出力するための補正カラー画像データを生成する画像補正装置と、を具備し、上記画像補正装置は、上記カラー画像表示装置へ出力する複数のテストカラー画像データと、これら複数のテストカラー画像データに各対応して該カラー画像表示装置に表示されるテストカラ一画像の表示色の空間分布と、の関係に基づいて、上記カラー画像データから、上記カラー画像表示装置の光学的フレアを補正する補正カラー画像データを算出するものである。

図面の簡単な説明

[0008] [図 1]本発明の一実施形態である表示システムの構成の概要を示す図。

[図 2]上記実施形態における画像補正装置の構成を示すブロック図。

[図 3]上記実施形態におけるフレア算出装置の構成を示すブロック図。

[図 4]上記実施形態において、テスト画像出力装置が出力する幾何補正パターン画像データを示す図。

[図 5]上記実施形態において、十字パターンの中心位置の座標情報が記録されたテキストデータを示す図。

[図 6]上記実施形態において、テスト画像出力装置が出力するテストカラー画像データにおける分割される領域の様子を示す図。

[図 7]上記実施形態におヽて、分割された領域の座標情報が記録されたテキストデータを示す図。

[図 8]上記実施形態における撮影画像入力装置の構成を示すブロック図。

[図 9]上記実施形態において、テストカラー画像に係る撮影画像に対して設定されるサンプル領域の様子を示す図。

[図 10]上記実施形態において、発光領域と発光領域以外のサンプル領域との様子を示す図。

発明を実施するための最良の形態

[0009] まず、本発明の実施形態を具体的に説明する前に、本発明に用いられる原理について詳細に説明する。この原理は、入力画像データが、表示装置の光学的フレア（以下では適宜、単にフレアと述べる。）などの影響を受けて異なる表示画像データとなる場合にぉヽて、どのような補正入力画像データを入力すれば本来の入力画像データと同一の表示画像データが得られるかを求めるものである。

[0010] [原理]

表示装置へ入力される画素数 Nの入力画像データを (p , p , · ··, p とする。ここ

1 2 N

に、右肩の添え字 tは転置を表している。また、この入力画像データに対して、実際に表示される画像の光分布を画素数 Nの画像データとして離散化して表した表示画像データを (g , g , · ··, g この

1 2 N とする。なお、表示画像データは、例えば、デジタル力メラにより表示装置に表示されている画像を撮影することにより、取得することができる。この表示画像データは、表示装置のフレア等の影響を受けるために、一般には入力画像データと一致せず、他の画素位置の信号により表示される光の一部が重畳されたものとなる。さらに、表示装置への入力画像信号が 0である場合にも、表示画像データは一般には 0にはならない。このときの表示画像データをバイアス（o , o ,

1 2

· · · , o

N とする。これらの影響を考慮して、入力画像データと表示画像データとの関係をモデルィ匕したものが数式 1である。

[0011] [数 1]

この数式 1の行列式における各要素の文字に対応する大文字を用いて、該数式 1 を簡単に表記したものが次の数式 2である。

[0012] [数 2]

G =MP+0

なお、この数式 2を含む以下の数式等においては、行列やベクトルを肉太文字で表しているが、表記上の点から、文章中では通常の太さの文字で代用することにする。

[0013] 上記数式 1あるいは数式 2は、ある画素位置 n (n= l— N)の表示光力該画素位置 nの周囲の他の画素位置に広がって、該他の画素位置の表示光に加算される現象を、全ての画素位置 nについてモデル化したものである。ここで、数式 2に示したような行列 M (数式 1においては、要素 1^(1= 1一 N, = 1— でなる行列）を、表示装置の表示特性と呼ぶ。

[0014] 上記表示画像データ Gは、本来は、上記入力画像データ Pと一致することが望ましいが、上述したように、表示画像はフレア等の影響を受けるために、一般には、入力画像データと表示画像データとは異なる。

[0015] そこで、入力画像データを補正し、補正した入力画像データを用いて取得した表示画像データが、本来の入力画像データと一致するか、もしくは近似するように、該補正した入力画像データを算出することを考える。この補正入力画像データを P'とすると、該補正入力画像データ P'に対応する表示画像データである補正表示画像データ G'は、次の数式 3に示すようになる。

[0016] [数 3]

G =MP +0

この数式 3に示した補正表示画像データ G'が、本来の入力画像データ Pと一致する条件式は、次の数式 4に示すようになる。

[0017] [数 4]

G* = P

この数式 4を満たすためには、上記数式 3を用いることにより、次の数式 5に示すような補正入力画像データ P'を用いれば良、。

[0018] [数 5]

P' = M ^[P-O]

ここに、表示特性 Mは既知であるとする。

[0019] この数式 5に示すような表示特性 Mは、上述したように N X Nの行列であり、例えば

1280 X 1024の画素でなる表示装置の場合には、 N= 1280 X 1024= 1310720となるために、一般にデータサイズは非常に大きくなるといえる。

[0020] これに対して、表示特性 Mが特別な特性をもつ場合には、演算をより簡単に行うことができる可能性がある。例えば、表示装置におけるフレア等による光の広がり方が、画素位置にほぼ依存せず、同じ分布で近似することができる場合を考える。このときの表示特性を M，（m， , m， , · · ·, m，）とすると、上記数式 1または数式 2は、この表

1 2 N

示特性 M'と入力画像データ Pとのコンボリューシヨンを用いて、次の数式 6に示すように表される。

[0021] [数 6]

G =M'*P +0 ここに、記号「 *」はコンボリューシヨン演算を表して、る。

[0022] この数式 6における入力画像データ Pを補正入力画像データ P'とし、さらに上記数式 4に示した条件を用いることにより、次の数式 7が得られる。

[0023] [数 7]

P = M *P +0

表示特性 M'が既知である場合には、この数式 7から補正入力画像データ P'を算出することが可能である。すなわち、 2つの画像のコンボリューシヨン画像 (ここでは P O)から、一方の画像 (ここでは Μ' )が既知である場合に、他方の画像 (ここでは Ρ' ) を算出するデコンボリューシヨンに関する技術は公知である。例えば、文献 1 ( Rosenfeld and A.し. KaK, Digital Picture Processing, Academic Press 197D (^：真監訳ディジタル画像処理近代科学社 1978) )の第 7章に記載されているような手法を用いることができる。

[0024] 上記数式 5に示したような補正方法は、要素数の多い行列 Mの逆行列の演算が含まれ、また、上記数式 7や文献 1に記載されたような補正方法は、コンボリューシヨンの逆演算などが含まれるために、演算が複雑であり、処理系の負荷が大きくなつたり処理時間を要したりすることが考えられる。

[0025] これに対して、より簡便な補正方法として、フレア量を入力画像データ力も差し引くことで補正入力画像データを算出することを考える。今、表示画像データ Gが、数式 8に示すような入力画像データ Pとバイアス Oとフレア等の影響により生じるフレア分布データであるフレア成分 Fとの和により表されるものとしてモデルィ匕する。

[0026] [数 8]

G =P+0+F この数式 8におけるフレア成分 Fは、さらに数式 2を用いることにより、次の数式 9に示すように表される。

[0027] [数 9]

F = G -P-0 = MP-P = (M-E)P

ここに、 Eは N X Nの単位行列を表している。

[0028] この数式 9で与えられる Fを用いて、 P— F— M— i〇を補正入力画像データ P'として入力した場合に、補正表示画像データ G'は、数式 3から、

[数 10]

G =MP +0 = M(P-F-M ^I0)+0 = M{P-(M-E)Pl

= 2MP -M²P = P - (M - E)²P

となる。

[0029] ここで、 Mの非対角成分が 1よりも小さい場合、補正表示画像データ G，のフレア補正誤差である数式 10の第 2項の (M— E) ²Pは、補正前の表示画像データ Gのフレァによる影響である数式 9の（M— E) Pよりも小さい値となり、フレアの影響が改善されることが分力ゝる。

[0030] さらにこの結果を考慮して、次の数式 11により与えられる F

[数 11]

F = (M -E)P-(M-E)²P

を用いて P— F— M— i〇を補正入力画像データ P，として入力した場合、補正表示画像データ G'は、数式 3から、次の数式 12に示すようになる。

[0031] [数 12]

G ' = P + {M-E)³P

この数式 12の第 2項の（M— E) ³Pは、フレア補正誤差であり、次数が 3次となっていて、より一層フレアの影響が小さくなつていることが分かる。

[0032] これを、同様にして K次の項まで行った場合のフレア Fは、次の数式 13に示すように与えられる。 [0033] [数 13]

従って、この数式 13に示すようなフレア Fを補正するための補正入力画像データ P' は、次の数式 14に示すようになる。

[0034] [数 14]

P' = P - M-'O - (- l)*⁺¹(M-E)^fcP

k=l この数式 14における Kを大きな値にするほど、フレアの影響をより小さく抑制する補正を行うことができる。あるいは、計算量や計算時間などを考慮して Κを適宜の値とすることにより、処理系の負荷を抑制しながらフレアを良好に取り除く補正を行うことができる。

[0035] このような方法によるフレア補正に対しても、フレア等による光の広がり方が画素位置に依存することなく同じ分布であると近似できる場合には、数式 9の Fはコンボリューシヨンを用いて、次の数式 15に示すように置き換えることができる。

[0036] [数 15]

F = M'*P-P 同様に数式 13は、

[数 16]

F = (M'— Ε')*Ρ— (Μ'— Ε')*(Μ'— Ε')*Ρ + (Μ'—Ε')*(Μ'— Ε')*(Μ'— E')*P— '·■ と置き換えることができる。ここに、 E'は、画像の中心位置に対応する成分が 1、それ以外の成分が 0となる列ベクトルである。

[0037] 従って、数式 14に対応する補正入力画像データ P'は、次の数式 17に示すようになる。

[0038] [数 17] P' = P— 0— (Μ'-Ε')*Ρ + (Μ'— Ε')*(Μ '— E')*P

-(Μ^,-Ε')*(Μ'-Ε^,)*(Μ*-Ε^,)*Ρ+· ··

に、

O は、 Οを Μ，でデコンボリューシヨンしたものである。

[0039] ここまでの説明は、画像データを 1チャンネルのデータとして扱ったものであつたが、画像がカラー画像である場合は、画像データは一般に 3チャンネルのデータとして扱われる。従って、この場合には、 RGB各チャンネル毎に上述したような表示特性 Μ または表示特性 M'を算出して、算出された表示特性に基づきフレア補正を行うことになる。

[0040] さらに、カラー画像が 4原色以上の原色数の画像データとして表される場合にも、同様に、各チャンネルの画像に対して上述したようなフレア補正処理を行うことにより、カラー画像として本来意図した表示を達成することが可能となる。

[0041] また、表示装置やデジタルカメラ等のカラー画像機器の信号値は、対応する輝度と非線形な関係にある場合がある。このような場合には、各信号の非線形性を補正して力上述したような処理を行う必要がある力こうした階調特性の補正は公知の技術であるために、ここでは説明を省略している。すなわち、上述した説明は、信号の非線形性を補正した後の、リニアな空間における原理を説明したものとなっている。

[0042] 以下、図面を参照して本発明の実施形態を説明する。

[0043] <実施形態 >

図 1から図 10は本発明の実施形態を示したものであり、図 1は表示システムの構成の概要を示す図である。

[0044] この表示システムは、画像を投影するためのカラー画像表示装置たるプロジェクタ 1 と、このプロジェクタ 1により投影される補正画像を生成するための画像補正装置 2と、上記プロジェクタ 1から画像が投影されるカラー画像表示装置たるスクリーン 3と、このスクリーン 3に表示される画像の全領域を撮影し得るように配置された例えばデジタルカメラ等でなるテストカラー画像測定手段でありカラーカメラたるテスト画像撮影カメラ 4と、を有して構成されている。

[0045] 上記テスト画像撮影カメラ 4は、広い意味での画像補正装置に含まれるものであり、撮影レンズの光学的特性に起因する画像の面内ムラや、あるいは撮像素子の面内感度ムラに起因する画像の面内ムラなどを補正することができる回路等を備えていて、出力する例えば RGBのデジタル画像データは、これらの補正が行われたものであるとする。さらに、このテスト画像撮影カメラ 4は、入力光強度に対して線形な応答で信号を出力するものとする。

[0046] 次に、このような表示システムの動作について説明する。

[0047] まず、表示システムにお、て、光学的フレアを補正するのに必要な表示特性データを取得するときの動作は、以下のようになつている。

[0048] 画像補正装置 2は、予め内部に記憶している所定のテストカラー画像データをプロジェクタ 1へ出力する。

[0049] プロジェクタ 1は、該画像補正装置 2から供給されたテストカラー画像データを、スクリーン 3に投影する。

[0050] 画像補正装置 2は、このスクリーン 3に表示されている上記テストカラー画像データに対応した表示色分布の画像を、テスト画像撮影カメラ 4を制御することにより撮影させて転送させ、取り込む。

[0051] そして、該画像補正装置 2は、テスト画像撮影カメラ 4から取得したカラー画像データと、上記プロジェクタ 1へ供給した元のテストカラー画像データと、を用いて、カラー画像データを補正するために用いる表示特性データを算出する。

[0052] 次に、表示特性データ取得後の表示システムにより、通常の画像を投影するときの動作は、以下のようになつている。なお、この通常の画像を投影するときには、上記テスト画像撮影カメラ 4は不要であるために、例えば取り外されている。

[0053] また、画像補正装置 2の内部には、輝度に対して線形となるように変換されたカラー画像データが、予め記憶されているものとする。

[0054] 画像補正装置 2は、予め内部に記憶しているカラー画像データを、上述したように算出した表示特性データを用いて補正してから、補正カラー画像データとして内部

[0055] その後に、操作者により表示するカラー画像データが選択されたときに、該選択に対応する補正カラー画像データをプロジェクタ 1へ出力する。

[0056] プロジェクタ 1は、画像補正装置 2から供給された補正カラー画像データに基づいて、スクリーン 3へ画像を投影して表示する。

[0057] これにより、スクリーン 3には、フレア等の影響を補正し得るような画像が表示され、観察者は、画像の表示者が本来意図した画像を観察することが可能となる。

[0058] なお、本実施形態では、プロジェクタ 1へ入力される画像データと、テスト画像撮影カメラ 4から出力される画像データと、画像補正装置 2で処理される画像データとは、全て、横 1280画素 X縦 1024画素で、かつ各画素が RGBの 3色でなる、 3チャンネルの画像データであるとする。

[0059] 次に、図 2は、画像補正装置 2の構成を示すブロック図である。

[0060] この画像補正装置 2は、予め記憶している所定のテストカラー画像データを上記プロジェクタ 1へ出力して上記テスト画像撮影カメラ 4から該テストカラー画像データに係る撮影されたカラー画像データ (撮影画像データ)を取得し、取得した撮影画像データと元のテストカラー画像データとに基づいて表示特性データを算出するフレア算出装置 13と、表示用のカラー画像データを記憶するものであってこのカラー画像データを後述するフレア補正装置 12により補正して得られる補正カラー画像データも記憶する画像データ記憶装置 11と、この画像データ記憶装置 11からカラー画像データを取得して上記フレア算出装置 13により算出された表示特性データを用いて補正し、補正後のカラー画像データ (補正カラー画像データ)を該画像データ記憶装置 11へ再び出力して記憶させるフレア補正装置 12と、を有して構成されて、る。

[0061] 次に、このような画像補正装置 2の動作について説明する。

[0062] まず、表示特性データを取得するときには、以下のように動作する。

[0063] 上記フレア算出装置 13は、上記テストカラー画像データを上記プロジェクタ 1へ出力して、テストカラー画像をスクリーン 3上に表示させる。フレア算出装置 13は、これと同期して、テスト画像撮影カメラ 4を制御することにより、スクリーン 3の表示画像を撮影させる。そして、フレア算出装置 13は、撮影したカラー画像データを転送させることにより取得して、取得したカラー画像データと、元のテストカラー画像データと、に基づいて、表示特性データを算出し記憶する。ここに、フレア算出装置 13が算出する表示特性データは、 2種類あり、 1つが上述した数式 1または数式 2で定義される N X Nの行列 M、他の 1つが数式 6に用いられている M，である。ただし、画像データが R GB3チャンネルであることに対応して、各表記は RGB3チャンネル分のデータであるものとする。なお、画像データの画素数は 1280 X 1024= 1310720であるために、この例では Nは 1310720となる。フレア算出装置 13が表示特性データ M, M，を算出する処理については、後で図 3を参照してさらに詳細に説明する。

[0064] 続いて、カラー画像データを補正するときには、以下のように動作する。

[0065] フレア補正装置 12は、画像データ記憶装置 11に記憶されているカラー画像データを読み出すとともに、フレア補正方法に応じて、フレア算出装置 13から上述した 2種類の表示特性データ Mまたは M'の何れかを入力して、読み出した表示特性データに基づきフレア補正を行い、補正カラー画像データを算出する。

[0066] なお、本実施形態の説明では、カラー画像データが上記原理の説明における入力画像データ Pに対応し、補正カラー画像データが該原理の説明における補正入力画像データ P'に対応している。上述したように、カラー画像データおよび補正カラー画像データは、各画素が RGB3チャンネルの画像データであるために、「P」と「P'」は、ぞれぞれ RGB3チャンネルのデータを表すものとする。

[0067] 該フレア補正装置 12は、次に説明するような第 1一第 4の補正モジュールを有して構成されており、上記フレア算出装置 13から入力した表示特性データ Mまたは M，を、これらの第 1一第 4の補正モジュールにおいて用いて、補正カラー画像データを算出するようになっている。

[0068] まず、第 1の補正モジュールは、表示特性データ Mを入力して、数式 5により補正力ラー画像データ P'を算出する。なお、バイアス Oは、全ての成分が 0となるようなテストカラ一画像をプロジェクタ 1からスクリーン 3に投影して、このスクリーン 3の画像を上記テスト画像撮影カメラ 4を用いて撮影する等により予め測定されて、フレア補正装置 12内に記憶されて、るものとする。

[0069] 次に、第 2の補正モジュールは、表示特性データ M，を入力して、数式 7に基づくデコンボリューシヨン等の演算を行うことにより、補正カラー画像データ P'を算出する。 [0070] さらに、第 3の補正モジュールは、フレア算出手段であって、表示特性データ Mを入力して、数式 14により補正カラー画像データ P'を算出する。なお、定数 Kは、画像補正装置 2の操作者が任意に設定することができるようになっている。

[0071] そして、第 4の補正モジュールは、フレア算出手段であって、表示特性データ M，を入力して、数式 17により補正カラー画像データ P'を算出する。なお、ここでも、数式 1 7における数式 16部分の項数 (この項数は、上記定数 Kに対応している。）は、画像補正装置 2の操作者が任意に設定することができるようになっている。

[0072] このようにして、フレア補正装置 12により算出された補正カラー画像データは、該フレア補正装置 12から画像データ記憶装置 11へ出力されて、該画像データ記憶装置 11により記憶される。

[0073] そして、補正カラー画像データを投影して観察するときには、以下のように行う。

[0074] 操作者が、画像補正装置 2を操作することにより、該画像補正装置 2に記憶されている所望の補正カラー画像データを選択する。すると、選択に対応した補正カラー画像データが画像データ記憶装置 11から読み出されてプロジェクタ 1へ出力される。プロジェクタ 1が、入力した補正カラー画像データに基づく画像をスクリーン 3へ投影することにより、該スクリーン 3上に表示されるカラー画像を光学的フレアの影響が低減された状態で観察することが可能となる。

[0075] 図 3は、フレア算出装置 13の構成を示すブロック図である。

[0076] このフレア算出装置 13は、テストカラー画像データや後述するような幾何補正パターン画像データを記憶しており必要に応じて上記プロジェクタ 1と後述する撮影画像入力装置 22と後述する補正データ算出装置 23とへ出力するテスト画像出力装置 21 と、上記テスト画像撮影カメラ 4を制御することにより撮影されたカラー画像データを該テスト画像撮影カメラ 4から入力するものであり上記幾何補正パターン画像データに基づいて後述するように幾何補正に必要な座標変換テーブルを算出して該テスト画像撮影カメラ 4から入力したカラー画像データを幾何補正してから出力する撮影画像入力装置 22と、上記テスト画像出力装置 21から取得した元のテストカラー画像データと上記撮影画像入力装置 22を介して取得した撮影され幾何補正されたカラー画像データとに基づき上記表示特性 Mと表示特性 M'とを算出する表示特性算出手段たる補正データ算出装置 23と、この補正データ算出装置 23により算出された表示特性 M, M'を記憶し必要に応じて上記フレア補正装置 12へ出力する補正データ記憶装置 24と、を有して構成されている。

[0077] 次に、このようなフレア算出装置 13の動作について説明する。

[0078] テスト画像出力装置 21は、表示特性測定用のテストカラー画像データをプロジェクタ 1へ出力するとともに、テストカラー画像データを出力した旨の信号を撮影画像入力装置 22へ送信する。

[0079] また、テスト画像出力装置 21は、プロジェクタ 1へ出力したテストカラー画像データに関する情報を、補正データ算出装置 23へも出力する。

[0080] 撮影画像入力装置 22は、テスト画像出力装置 21からの上記信号を受けると、テスト画像撮影カメラ 4を制御することにより、プロジェクタ 1からスクリーン 3に投影されて V、るテストカラー画像を撮影させる。こうしてテスト画像撮影カメラ 4により撮影された力ラー画像は、撮影画像データとして撮影画像入力装置 22へ転送される。撮影画像入力装置 22は、取得した撮影画像データを、補正データ算出装置 23へ出力する。

[0081] 補正データ算出装置 23は、テスト画像出力装置 21から入力した元のテストカラー画像データに関する情報と、撮影画像入力装置 22から入力した撮影画像データと、に基づいて、表示特性データを算出する処理を行う。

[0082] すなわち、この補正データ算出装置 23は、 2種類の表示特性データ M, M，に応じた 2種類の表示特性データ算出モジュールを有して構成されていて、第 1の表示特性データ算出モジュールは表示特性データ Mを算出し、第 2の表示特性データ算出モジュールは表示特性データ M，を算出するものである。このとき、何れの表示特性データ算出モジュールを用いるかは、画像補正装置 2の操作者が選択できるように構成されている。

[0083] 次に、図 4はテスト画像出力装置 21が出力する幾何補正パターン画像データを示す図、図 5は十字パターンの中心位置の座標情報が記録されたテキストデータを示す図である。

[0084] テスト画像出力装置 21は、テストカラー画像データを出力するに先立って、まず、例えば図 4に示すような幾何補正パターン画像データをプロジェクタ 1へ出力する。 [0085] このときにテスト画像出力装置 21が出力する幾何補正パターン画像データは、図 4 に示すように、白色の背景に、黒色の十字パターンが、等間隔で縦 4 X横 5に配列された画像データとなって、る。

[0086] 各十字パターンの中心位置の座標情報（幾何補正パターンデータ）は、図 5に示すような形式により、テキストデータとしてテスト画像出力装置 21から撮影画像入力装置 22へ出力されるようになって、る。

[0087] この図 5に示す例では、最も左上に位置する十字パターンの中心位置を座標 1、その右隣りに位置する十字パターンの中心位置を座標 2、などとして、最も右下に位置する座標 20の十字パターンの中心位置までの画素位置が記載されている。このときの座標系は、例えば、最も左上角の画素を座標（0, 0)、最も右下角の画素を座標（1 279, 1023)として、各画素の座標を表すような座標系が採用されている。

[0088] 撮影画像入力装置 22は、後述するように、このような座標情報と、テスト画像撮影力メラ 4から取得した幾何補正パターン画像の撮影画像データと、に基づいて、テスト力ラー画像データの空間座標と、テスト画像撮影カメラ 4により撮影される画像の空間座標と、の対応関係を与える座標変換テーブルを作成する。

[0089] 幾何補正に係る座標変換テーブルの作成が終了すると、テスト画像出力装置 21は、次に、テストカラー画像データをプロジェクタ 1へ出力する。

[0090] 図 6はテスト画像出力装置 21が出力するテストカラー画像データにおける分割される領域の様子を示す図、図 7は分割された領域の座標情報が記録されたテキストデータを示す図である。

[0091] このテストカラー画像データは、図 6に示すように、 1280画素 X 1024画素でなる全領域を縦 4 X横 5に均等に分割した領域（256画素 X 256画素の領域)の内の、 1つの領域のみで RGBの内の何れ力 1色を例えば最大輝度で表示するような画像データとなっている。そして、分割された領域の全てに関して、 RGBでなる 3色の表示をそれぞれ行うために、 60種類のテストカラー画像データが用意されて順次表示されるようになつている。

[0092] このように合計 20個の領域に分割した理由は、各画素毎に処理を行う場合には、 R GBの各 3色について 1画素単位で時系列的に順次発光させることになり、データを取得するのに要する時間が長くなり過ぎてしまうためであり、また、 1画素単位で発光させると、そのフレアの影響を他の画素位置で検出しょうとしても光量が足りず、また各画素の最大輝度にムラがあるなどのデータの安定性に欠ける可能性があるからである。こうして、ブロック単位で処理を行うことにより、十分な光量の安定したデータに基づいて、短時間に処理を行うことが可能となる。

[0093] このテストカラー画像データの領域の座標情報 (パターンデータ）は、図 7に示すような形式により、テキストデータとしてテスト画像出力装置 21から補正データ算出装置 23へ出力されるようになって、る。

[0094] この図 7に示す例では、上記図 5において用いたのと同様の座標系が用いられており、左上角に位置する領域をパターン 1、その右隣りに位置する領域をパターン 2、などとして、右下角に位置するパターン 20の領域までの画素位置が記載されている。

[0095] より具体的には、 (0, 0, 256, 256)と記載されたパターン 1は、領域内の左上角の画素位置が（0, 0)で、この画素位置から（256, 256)だけの大きさを有する領域であることを示してヽる。従って、 ί列えば、（1024, 768, 256, 256)と記載されたノターン 20は、領域内の左上角の画素位置が（1024, 768)で、この画素位置から（256, 256)だけの大きさを有する領域となって、ることが分かる。

[0096] 補正データ算出装置 23は、後述するように、このような座標情報と、テスト画像撮影カメラ 4から取得したテストカラー画像の撮影画像データと、に基づいて、表示特性デ一タM、または表示特性データ Μ 'を算出するようになって!/、る。

[0097] 次に、図 8は、撮影画像入力装置 22の構成を示すブロック図である。

[0098] この撮影画像入力装置 22は、テスト画像出力装置 21からの信号に基づいて上記テスト画像撮影カメラ 4に撮影を行わせるように制御するカメラ制御装置 31と、上記テスト画像撮影カメラ 4により撮影された画像データを入力して記憶する撮影画像記憶装置 32と、この撮影画像記憶装置 32に記憶された幾何補正パターン画像に係る撮影画像と上記テスト画像出力装置 21からの幾何補正パターン画像に対応する座標情報とに基づいて幾何補正テーブルを算出する幾何補正データ算出装置 33と、この幾何補正データ算出装置 33により算出された幾何補正テーブルに基づいて上記撮影画像記憶装置 32に記憶されたテストカラー画像に係る画像データを幾何補正し上記補正データ算出装置 23へ出力する幾何補正装置 34と、を有して構成されている。

[0099] 続いて、このような撮影画像入力装置 22の動作について説明する。

[0100] カメラ制御装置 31は、上記テスト画像出力装置 21から画像データをプロジェクタ 1 へ出力した旨の信号を入力すると、テスト画像撮影カメラ 4を制御し撮影を行わせるためのコマンドを、該テスト画像撮影カメラ 4へ出力する。

[0101] 撮影画像記憶装置 32は、テスト画像撮影カメラ 4から伝送された画像データを入力して記憶する。該撮影画像記憶装置 32は、撮影画像データが幾何補正パターン画像に係るものである場合には該撮影画像データを幾何補正データ算出装置 33へ、また、テストカラー画像データに係るものである場合には該撮影画像データを幾何補正装置 34へ、それぞれ出力する。

[0102] 幾何補正データ算出装置 33は、撮影画像記憶装置 32から幾何補正パターン画像に係る撮影画像を入力するとともに、テスト画像出力装置 21から幾何補正パターン画像に対応する座標情報を入力して、幾何補正テーブルを算出する処理を行う。

[0103] この幾何補正テーブルは、テスト画像撮影カメラ 4から入力された画像データの座標を、テスト画像出力装置 21から出力される画像データの座標へ変換するためのテ一ブルデータであり、具体的には次のように算出される。

[0104] まず、撮影画像記憶装置 32から入力された幾何補正パターン画像に係る撮影画像から、十字パターンを検出してその中心座標を求める。次に、得られた 20組の十字パターンの中心座標と、上記テスト画像出力装置 21から入力した幾何補正パターン画像に対応する座標と、の対応関係に基づき、幾何補正テーブルを算出する。

[0105] 十字パターンを検出する技術や、 20組のサンプル座標の対応関係カゝら幾何補正テーブルを算出する技術は、多くの公知のものがあり、これらを適宜利用することができるが、ここではその詳細については説明を省略する。

[0106] このようにして幾何補正データ算出装置 33により算出された幾何補正テーブルは、幾何補正装置 34へ出力される。

[0107] 幾何補正装置 34は、幾何補正データ算出装置 33から上述したように予め算出された幾何補正テーブルを入力するとともに、撮影画像記憶装置 32からテストカラー画像データに係る撮影画像を入力し、該幾何補正テーブルを参照してテストカラー画像データに係る撮影画像の座標変換を行い、変換後の画像データを補正データ算出装置 23へ出力する。

[0108] 補正データ算出装置 23は、テスト画像出力装置 21から入力したテスト画像の座標情報と、撮影画像入力装置 22から入力した幾何補正後のテストカラー画像の撮影画像と、に基づいて、表示特性データ Mと表示特性データ M'との少なくとも一方を算出し、補正データ記憶装置 24へ出力する。

[0109] このような補正データ算出装置 23の処理について、図 9および図 10を参照して説明する。図 9はテストカラー画像に係る撮影画像に対して設定されるサンプル領域の様子を示す図、図 10は発光領域と発光領域以外のサンプル領域との様子を示す図である。

[0110] 補正データ算出装置 23は、表示特性データを求めるために、幾何補正後のテストカラー画像の撮影画像カゝら所定のサンプル領域における信号値の取得を行う。

[0111] このサンプル領域は、例えば図 9に示すように設定されるようになっている。すなわち、サンプル領域を 9画素 X 9画素の領域として設定して、このサンプル領域を、上記図 5に示した 20個のテスト画像の発光領域における各中心座標部分に位置するように、等間隔に縦 4 X横 5で配列して、サンプル領域 S1— S20とする。

[0112] そして、図 10に示すように、テストカラー画像の発光領域以外のサンプル領域（図 1 0に示す例では、左上角が発光領域となっているために、サンプル領域 S2— S20) について信号値を求めて、各サンプル領域内における各画素の信号値の和（サンプル領域が 9画素 X 9画素である場合には、 81画素分の信号値の和）をそれぞれ算出して平均値をとり、これらを各サンプル領域の中心座標に対するフレア信号とする。こうして、発光領域以外の 19個のサンプル領域の各中心座標のみについてのフレア信号分布をまず求める。なお、このように複数画素分のデータを加算して平均値をとつているのは、フレアの影響による光量がそれほど大きくないためと、データを平均化して信頼性を向上するためである。フレアには高周波成分はないと想定することができるために、このような処理が可能となっている。そして、サンプル領域のみの信号値に基づき処理を行うことにより、処理時間を短縮することが可能となる。 [0113] その後、これら 19個のフレア信号に基づいて、補間処理を行うことにより、他の全ての画素位置におけるフレア信号を求める。このとき、図 10に示す例のように、発光領域が画像の四隅である場合には、近隣画素位置のフレア信号力も外揷を行うことにより、フレア信号を求めることになる。

[0114] こうして、 1つのテストカラー画像に対して全画素のフレア信号を求め、このような処理を、図 5に示したような 20個のテストカラー画像の全てについて行う。なお、ここでは 3チャンネルの RGBカラー画像を例に挙げているために、合計で 60個のテストカラ一画像について上述した処理を行うことになる。

[0115] 1つのチャンネル毎に 20個ずつ得られたフレア信号分布は、上記図 6に示したような 20個の発光領域の中心画素のみが発光したとき (すなわち、中心画素のみが発光画素となったとき）のフレア信号分布と見なされる。実際の発光は、 256画素 X 256 画素でなる発光領域全体の発光により行われるために、 65536で除算して 1つの発光画素当たりのフレア信号分布に変換される。その他の発光画素位置に対応するフレア信号分布については、近隣の発光画素位置に対応するフレア信号分布を用いて、補間処理を行うことにより算出する。

[0116] こうして、全ての画素が発光位置となったときのフレア信号分布が算出される力全領域が上述したように 1280画素 X 1024画素で構成される場合には、全部で 1310 720個のフレア信号分布が算出されることになる。

[0117] こうして、 1310720画素各々のフレア信号を含んで構成されるフレア信号分布が、 1310720画素の発光位置に一対一に対応するように 1310720個作成されて、これ力 S 1310720行 1310720列の行列式でなる表示特性データ Mとなる。このような表示特性データは、上述したように、 3つのチャンネルのそれぞれについて生成される。ここに、表示特性データ Mは、行列式の各要素 mにおける jが発光画素の座標に対応し、 iがフレア信号を取得する画素の座標に対応して!/、る。

[0118] また、補正データ算出装置 23の第 2の表示特性データ算出モジュールにより算出され、フレア補正装置 12の第 2の補正モジュールまたは第 4の補正モジュールにおいて用いられる表示特性データ M，は、 20個の発光領域に各対応する 20個のフレア分布を、発光領域の中心座標が画像の中心座標となるようにそれぞれ座標移動した後に、これら 20個の平均値を求めることにより算出する。

[0119] フレア補正装置 12は、このようにして算出した表示特性データ Mまたは M，を用いて、上述したようにカラー画像データの補正を行い、補正カラー画像データとして画像データ記憶装置 11へ出力する。

[0120] なお、通常の画像表示装置と同様に、得られた補正カラー画像データに対して、プロジェクタの階調特性を考慮した階調補正を行うが、この階調補正は色再現処理に関連する公知の技術であるために、ここではその説明を省略する。

[0121] また、本実施形態では、カラー表示装置としてプロジェクタを例に挙げて説明したが、本発明はこれに限定されるものではなぐ例えば、 CRT,液晶パネル等の任意の画像表示装置に適用することができる。

[0122] さらに、テストカラー画像データに対応する表示色の空間分布を取得する手段として、上述では RGB方式のデジタルカメラで構成されるテスト画像撮影カメラ (カラー力メラ）を用いたが、モノクロカメラや 4バンド以上のバンド数を有するマルチバンドカメラを用いることも可能である。あるいは、図 9に示した例のような、測定サンプル数が比較的少ない場合には、表示色の空間分布を取得する手段として、カメラに代えて、分光放射輝度計、輝度計、色彩計等のスポット測定を行う測定器を用いることもできる。この場合には、測定の精度を上げ得ると期待することができる。

[0123] そして、上述では、プロジェクタが投影する画像データやテスト画像撮影カメラにより取得する画像データ力全て横 1280画素 X縦 1024画素である場合を例に示した力異なる画素数の構成であっても良いのは勿論、表示する画素数と撮像する画素数とが異なっていても構わない。一般に、表示する画素数と撮像する画素数とは、任意の組み合わせを用いることが可能である。この場合には、補正カラー画像データのサイズに対応して表示特性データの算出を行うことになる。

[0124] 力！]えて、幾何補正パターンにおける十字パターンの数、テストカラー画像における発光領域の数、フレア信号測定のためのサンプル領域の数は、上述の例では全て 2 0としたが、これに限らず、夫々を独立に任意の数に設定することができる。また、測定精度や測定時間等を考慮して、画像補正装置の操作者が所望に設定することができるように構成しても構わな、。 [0125] なお、上述では、画像データを予めフレア補正した後に記憶しておき、スクリーンに投影する際には、すでに補正されている画像データを用いるようにしている力十分な処理速度を確保することができる場合には、映像ソースカゝら入力される画像データをリアルタイムでフレア補正して表示させるようにしても構わな!/、。

[0126] そして、上述では、ハードウェア的に処理を行う表示システムを例に挙げて説明した力これに限らず、モニタ等の表示装置やデジタルカメラ等の測定装置が接続されたコンピュータにおいて、表示プログラムを実行することにより同等の機能を実現するようにしても良いし、こうした構成のシステム等に適用される表示方法であっても構わない。

[0127] このような実施形態によれば、任意の画素位置の表示色力それ以外の画素位置力もの光により受ける影響を良好に低減することができ、高い色再現性をもったカラ一画像を表示し得る表示システムを実現することが可能となる。

[0128] また、テストカラー画像データに対応する表示色の空間分布を測定するテストカラ一画像測定手段を備えたために、カラー画像表示装置の表示特性を正確かつ簡便に測定することが可能となる。そして、これにより、カラー画像表示装置の経時的変化にも対応することができる。

[0129] 特に、このテストカラー画像測定手段として、デジタルカメラ等のカラーカメラを用いることにより、より簡便に表示色の空間分布を取得することが可能となる。

[0130] 一方、テストカラー画像測定手段として、輝度計、色彩計、分光放射輝度計などを用いる場合には、より正確に表示特性を測定することが可能になる。あるいは、テストカラー画像測定手段としてモノクロカメラを用いることにより、低コストな装置構成とすることができる。さらには、テストカラー画像測定手段としてマルチバンドカメラを用いることにより、高精度に表示特性を取得することができるとともに、空間的な測定も高精度に行うことができる。

[0131] そして、テストカラー画像データと、このテストカラー画像データに対応する表示色の空間分布と、に基づいて、カラー画像表示装置の表示特性データを算出して用いることにより、フレアのモデルに基づいた正確なフレア補正を行うことが可能となる。

[0132] さらに、フレア算出手段によりフレア分布データを算出し、算出されたフレア分布データに基づ、て補正カラー画像データを算出するようにしたために、補正画像データの算出を簡便に行うことが可能となる。

[0133] また、フレア分布データを表すベクトル Fとして数式 13の表現を用いたために、この数式 13における定数 Kを適切な値に設定することにより、フレア分布データの計算負荷と精度とを考慮した最適なフレア補正を行うことが可能となる。同様に、フレア分布データを表すベクトル Fとして数式 16の表現を用いる場合にも、右辺の項数を適切な値に設定することにより、計算負荷と精度とを考慮した最適なフレア補正を行うことが可能となる。

[0134] こうして、光学的フレアの影響を低減して意図した通りの色再現を行い得る表示システムとなる。

[0135] なお、本発明は上述した実施形態に限定されるものではなぐ発明の主旨を逸脱しな、範囲内にお、て種々の変形や応用が可能であることは勿論である。

[0136] 本出願は、 2003年 12月 25日に日本国に出願された特願 2003—431384号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

産業上の利用可能性

[0137] 以上説明したように本発明によれば、光学的フレアの影響を低減して意図した通りの色再現を行うことが可能となる。

Claims

請求の範囲

[1] カラー画像を表示するためのカラー画像表示装置と、

カラー画像データを補正することにより、上記カラー画像表示装置へ出力するための補正カラー画像データを生成する画像補正装置と、

を具備し、

上記画像補正装置は、上記カラー画像表示装置へ出力する複数のテストカラー画像データと、これら複数のテストカラー画像データに各対応して該カラー画像表示装置に表示されるテストカラー画像の表示色の空間分布と、の関係に基づいて、上記カラー画像データから、上記カラー画像表示装置の光学的フレアを補正する補正力ラー画像データを算出するものであることを特徴とする表示システム。

[2] 上記画像補正装置は、上記テストカラー画像データに対応して上記カラー画像表示装置に表示されるテストカラー画像の表示色の空間分布を測定するためのテストカラー画像測定手段を有して構成されたものであることを特徴とする請求項 1に記載の表示システム。

[3] 上記テストカラー画像測定手段は、輝度計、色彩計、分光放射輝度計、モノクロ力メラ、カラーカメラ、マルチバンドカメラ、の内の少なくとも 1つを含むものであることを特徴とする請求項 2に記載の表示システム。

[4] 上記画像補正装置は、上記テストカラー画像データと、該テストカラー画像データに対応して上記カラー画像表示装置に表示されるテストカラー画像の表示色の空間分布と、に基づいて該カラー画像表示装置の表示特性データを算出する表示特性算出手段を有して構成され、上記表示特性算出手段により算出した表示特性データに基づいて、上記補正カラー画像データを算出するものであることを特徴とする請求項 1から請求項 3の何れか一に記載の表示システム。

[5] 上記画像補正装置は、上記表示特性データに基づいて上記カラー画像データに係るフレア分布データを算出し、該カラー画像データ力もこのフレア分布データを減算することにより、上記補正カラー画像データを算出するフレア算出手段をさらに有して構成されたものであることを特徴とする請求項 4に記載の表示システム。

[6] 複数画素でなるカラー画像データの各画素データを成分とするベクトルを P、このベクトル Pの成分数を N (Nは自然数）、 N X Nの単位行列を E、上記カラー画像表示装置の表示特性の N X Nの行列による表現を M、任意の定数を K、とすると、上記フレア分布データを表すベクトル Fは、次の数式、

F = Y(-Y)^k+l (M ~E†P により与えられることを特徴とする請求項 5に記載の表示システム。

[7] コンピュータに、

カラー画像表示装置へ複数のテストカラー画像データを出力して複数のテストカラ一画像を表示させる第 1の手順、

上記第 1の手順により上記カラー画像表示装置に表示された複数のテストカラー画像の表示色の空間分布をそれぞれ取得する第 2の手順、

上記複数のテストカラー画像データと、これら複数のテストカラー画像データに各対応して上記第 2の手順により取得したテストカラー画像の表示色の空間分布と、に基づいて、カラー画像データから、上記カラー画像表示装置の光学的フレアを補正する補正カラー画像データを算出する第 3の手順、

上記第 3の手順により算出された補正カラー画像データを上記カラー画像表示装置へ出力して表示させる第 4の手順、

を実行させるための表示プログラム。

[8] カラー画像表示装置へ複数のテストカラー画像データを出力して複数のテストカラ一画像を表示させる第 1の手順と、

上記第 1の手順により上記カラー画像表示装置に表示された複数のテストカラー画像の表示色の空間分布をそれぞれ取得する第 2の手順と、

上記複数のテストカラー画像データと、これら複数のテストカラー画像データに各対応して上記第 2の手順により取得したテストカラー画像の表示色の空間分布と、に基づいて、カラー画像データから、上記カラー画像表示装置の光学的フレアを補正する補正カラー画像データを算出する第 3の手順と、

上記第 3の手順により算出された補正カラー画像データを上記カラー画像表示装置へ出力して表示させる第 4の手順と、を含むことを特徴とする表示方法。