WO2007139189A1

WO2007139189A1 - 投影画像補正システム及び補正情報生成プログラム

Info

Publication number: WO2007139189A1
Application number: PCT/JP2007/061104
Authority: WO
Inventors: Imari Sato; Yoichi Sato; Takahiro Okabe; Mark Ashdown
Original assignee: Inter-University Research Institute Corporation Research Organization Of Information And Systems; The University Of Tokyo
Priority date: 2006-05-31
Filing date: 2007-05-31
Publication date: 2007-12-06
Also published as: JP4982844B2; JP2007322671A

Abstract

本発明は、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用して、よりコントラストの高い画像を表示することを可能にする。本発明は、原画像が入力され（ステップＳ１）、原画像がＹｘｙ値に変換されると（ステップＳ２）、物理的な輝度範囲の設定（ステップＳ１１）、色閾値による輝度範囲の拡張（ステップＳ１２）、輝度閾値による輝度範囲の拡張を行う（ステップＳ１３）。ステップＳ２で得られた原画像の輝度Ｙを、ステップＳ１３で求めた拡張輝度範囲［Ｌ``、Ｈ``］に収めるように調整して輝度変換（輝度写像）を行った後に（ステップＳ３）、投影すべき補正画像の生成を行う（ステップＳ４）。

Description

明細書

投影画像補正システム及び補正情報生成プログラム

技術分野

[0001] 本発明は、例えば、投影面に画像を投影するプロジェクタに適用して好適な投影画像補正システム及び補正情報生成プログラムに関する。

背景技術

[0002] 従来、プロジェクタを利用する際には照明を落とした部屋に設置した専用スクリーンが用いられることがほとんどであった。し力ながら、プロジェクタの小型化、低価格化、高輝度変化などが進んだ結果、オフィスや居間の壁など、暗室内の専用スクリーンのように必ずしも理想的な特性を持つとは言えない場所への画像投影を実現する技術に注目が集まっている (非特許文献 1、 7参照)。

[0003] このような場合、投影される面（投影面）が専用スクリーンのような均一かつ高い反射率を持つことは稀であり、また、環境光の色や明るさなどの影響もあり、投影されるべき元の画像と投影された結果の画像とが大きくずれてしまうという問題が生じる。

[0004] このような問題に対して、プロジェクタへの入力（入力画像）とカメラを用いて観測される投影面上の出力 (観測画像）との関係を予め求めておき、その関係に基づいて入力画像を補正してズレを軽減するような手法が提案されている（非特許文献 4、 3参照）。非特許文献 4、 3では、観測画像の R， G, B値は、入力画像の R, G, B値を線形変換したものに環境光成分を足し合わせたものとして表現されている。

[0005] そして、この関係をもとに、投影したい画像（以下、原画像）の R， G， B値と観測画像の R， G, B値が一致するように、プロジェクタへの入力画像を補正するという処理が用いられている。これにより、投影面の反射率のバラツキが比較的小さぐ環境光の影響も少なレ、場合には良好な結果が得られることが示されてレ、る。

[0006] し力しながら、基本的にこれらの手法では、原画像の内容を考慮することなしに、プロジェクタへの入力画像の色と明るさの範囲を投影面上で観測可能な色や輝度の範囲に対応付けるという考え方に基づいている。ここで、明るさの範囲とは、例えば合計 24ビットの R, G, B画像であれば、 R, G, Bに 8ビットずつが害 ijり当てられるので、各 / ンド（R, G, B)で 0〜255の 256P皆調となる。

[0007] そのため、投影面の一部の反射率が大きく異なる場合や環境光の影響が大きい場合には、その影響を避けることは観測画像の明るさや色の範囲を必要以上に制限することとなる。その結果、観測画像のコントラストが非常に低くなつてしまうという欠点があった。

[0008] 例えば、投影面上の一部が低い反射率を持つとすると、この部分では観測画像を明るくすることができなレ、。そして、観測画像の一部だけが暗くなつてしまうのを避けるためには、画像全体の明るさを制限しなければならなレ、。しかし、この場合には、高い反射率を持つ部分では明るい画像を実現することが可能であるにもかかわらず、観測画像全体を必要以上に喑くし、コントラストを下げなければならない。

[0009] これに対して、本発明では、不均一な反射率を持つ投影面や環境光の影響のみならず、原画像の内容も考慮した上で、良好な画質が得られるような補正を実現する手法を提案する。非特許文献 4、 3による補正では、原画像の内容が考慮されなかったのに対し、本発明では、原画像の内容に基づいて補正の仕方を調整するコンテント依存型の補正となっている点が大きく異なる。

[0010] また、本発明では、人間の視覚特性に基づき、入力画像を補正する際に、観測者にとつて違和感を生じないズレを積極的に認めることにより、投影される画像のコントラストを可能な限り拡大することができる点が大きな特長となっている。

[0011] これにより、本発明では、先に述べたように投影面の一部の反射率が低いような場合においても、その部分に投影する画像の明るさがもともと低いのであれば、画像全体を必要以上に暗くしてしまうことなぐ良好なコントラストを持った観測画像を投影面上に映し出すことができる。

[0012] これまでにも、プロジェクタの光学補正に人間の視覚特性を考慮するという試みが、非特許文献 6と 10によってほぼ同時に報告されている。し力ながら、非特許文献 6 に記載の手法は、タイル型に組み合わせた背面投影型のプロジェクタシステムのムラの低減を目的としたものであり、この手法では、原画像の内容は考慮されておらず、力、つ、視覚特性に関するモデルとしても非常に簡略化されたもののみが利用されている。 [0013] また、非特許文献 10に記載の手法では、原画像の内容と人間の視覚特性を考慮して計算された閾値マップ (非特許文献 8参照）に基づき、観測者にとって知覚されにくい誤差を積極的に用いて画像のコントラストを上げるというアルゴリズムが提案された。

[0014] し力、しながら、この手法は、カラー画像ではなく白黒濃淡画像のみを扱うことができ、環境光は存在しないという仮定にもとづいていた。また、画像の補正に関しても、提案手法のように画像の各部分毎に補正の仕方を変えるのではなぐ画像全体の明るさを等しく調整するとレ、う比較的簡単な処理のみが用いられてレ、た。

[0015] また、カラー画像を投射するプロジェクタにおいて、壁等の投射面に色がある場合、正しい色再現するために、本来の投射面に投射する原色の混合量を、投射面の色情報を含めて原画像の色と同等の色を再現するような原色の混合量に変換することにより、色再現を行うプロジェクタの投射面色補正方法が提案されている（特許文献 1 参照）。

[0016] また、投影されている画像を見易くし、かつ簡易で安価な構成で投影するためのプロジェクタとして、投影面における光量または色の少なくとも一方を制御するプロジェクタが提案されている (特許文献 2参照)。

[0017] このプロジェクタにおいては、撮像装置で検出される光量情報または色情報の少なくとも一方が入力され、この入力情報に基づいて、光源から射出される投影光の光量または色の少なくとも一方が調整される。すなわち、入力された光量情報または色情報の少なくとも一方に基づいて、投影光の光量または色の少なくとも一方が、投影面における光量または色の少なくとも一方に対応するように制御されるのである。

[0018] なお、非特許文献 2， 5, 9, 11は、本願発明に最も近い先行技術文献ではないが、本願発明の構成要件の一部に関連する技術文献であり、関連文献で引用している特許文献 1 :特開 2003— 333611号公報

特許文献 2：特開 2004— 128575号公報

非特許乂 ffl^l： Oliver Bimber, Andreas Emmerling,andThomas Klemmer: EmbeddedE ntertainment with Smart Projectors, IEEE computer, 38(1), pp.48-55, 2005. 特言午文献 2 : Peter J.Burt and Edward H.Adelson: The LaplacianPyramid as aComp act Image Code. IEEE Transactions on Communications, 31(4), pp.532-540, 1983. 特言午文献 3 : Kensaku Fujn, Michasel D.Grossberg,and Shree K.Nayar. : A projector -camera System with Real-Time Photometric Adaptation for Dynamic Environments. Proceedings of CVPR2005, pp. 814-821， 2005.

特許文献 4 : Michasel D.Grossberg,Harish Peri, Shree K.Nayar, and Peter N.Belhum eur: Makig One Object Look Like Another:ControllingAppearance Using a Projector

-Camera System, Proceedings of CVPR2004, pp. 452-459， 2004.

非特許文献 5 : Adrian line and Greg Welch: Ensuring Color Consistancy across Multi pie cameras. Proceedings of CVPR2005, pp. 1268-1275, 2005.

非特許文献 6 : Adati Majumder and Rick Stevens: Perceptual Photometric Seamlessn ess in Projection-Based Titled Diplays. ACM Transactions on Graphics, 24(1), pp.1

18-139， 2005.

非特言午文献 7 : Claudio Pinhanez. : The Everywhere Displays Projector:A Device to C reate Ubiquitous Graphical Interfaces. Proceedings of Ubiquitous Computing(UbiCo mp) 2001, pp. 315—331， 2001.

^^特言午文献 8 : Mahesh Ramasubramanian,Sumanta N.Pattaniak,and Donald P.Greenb erg. : A Perceptually Based Physical Error Metric for Realistic Images Synthesis. Pro ceedings of ACM SIGGRAPH99, pp.73-82, 1999.

非特言午文献 9 : Maureen C.Stone: Color and Brightness Appeasrance Issues in Tiles Displays. IEEE computer Graphics & Applications, 21(5), pp.58—66， 2001.

Dong Wangjmari Sato，Takahiro〇kabe，and Yoichi Sato: Radiomentri c Compensation in a Projector-Camera System Based on the Properties of Human V ision System. Proceedings of IEEE International Workshop on Projector-Camera Sys tem2005, 2005.

^特許文献 11： W.D.Wright: The Sensitivity of the Eye to Small Colour Differences. Proceedings of the Physical Society, 53(2)， pp.93— 112， 1941.

発明の開示 [0019] これら特許文献 1、 2に記載の技術は、プロジェクタの投影面であるスクリーン全体の色に画像の背景色を合わせることにより、スクリーンの黄ばみ補正やピントボケの補正を行うのみである。従って、特許文献 1、 2に記載の技術では、投影面がカーテンゃ壁などの場合において、カーテンや壁に地模様や地色が含まれている場合には、対応することができないとレ、う不都合があった。

[0020] 実世界内のさまざまな場所にプロジェクタで画像を投影するとき、不均一な反射特性を持つ被投影面や環境光などの影響により、正しい色で表示可能な画像のコントラストが制限されてしまうという問題がある。

[0021] これに対して、本発明では、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用して、よりコントラストの高い画像を表示することを可能にする手法を提案する。

[課題を解決するための手段]

[0022] 本発明では、画素毎に、原画像の色成分が厳密に表示されうる輝度の範囲を求めた後、人間の視覚特性に関するモデルに基づいて、色成分と輝度成分が許容しうる誤差を計算するようにしてレ、る。

[0023] 本発明者は、上述したような各画素の輝度範囲、及び色成分と輝度成分の許容誤差を考慮し、かつ、原画像から観測画像への変換が隣接画素間で過度に変化しなレ、ようにして、さまざまな被投影面を用いた実験を行った。

[0024] 本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムにおいて、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整手段と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段と、を備えたことを特徴としている。

[0025] 本発明の好ましい形態として、上記調整手段は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第 1の演算部と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第 2の演算部と、を備えている。

[0026] また、更なる本発明の好ましい形態として、上記補正手段は、カラーカメラを用いて撮像された投影面の観測画像の各画素にぉレ、て、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、を備えている。

[0027] また、上記補正手段は、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成部とを備えている。

[0028] ここで、上記補正画像生成部は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、を備えている。

[0029] また、本発明の投影画像補正方法は、プロジェクタの入力に対する投影面の輝度の応答に基づいて、プロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整ステップと、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換ステップと、この色信号に対して、人間の視覚特性に基づレ、て観測者が知覚できなレ、許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正ステップと、を含むことを特徴としている。 [0030] この投影画像補正方法の好ましい形態として、上記調整ステップは、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第 1の演算ステップと、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラ一力メラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第 2の演算ステップと、を含んでいる。

[0031] また、本発明の投影画像補正方法の更なる好ましい形態においては、上記補正ステツプは、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定ステツプと、上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張ステップと、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張ステップと、を含んでレ、る。

[0032] また、上記補正ステップは、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像ステップと、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成ステップとを含んでいる。

[0033] ここで、上記補正画像生成ステップは、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算ステップと、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算ステップと、を含んでレ、る。

[0034] また、本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、このコンピュータに対して、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整機能と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能と、を実現させることを特徴としている。

[0035] 本発明の投影画像補正プログラムの好ましい形態としては、上記調整機能は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第 1の演算機能と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第 2の演算機能と、を含んでいる。

[0036] また、本発明の投影画像補正プログラムで実現する上記補正機能は、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、色信号に対する誤差の許容範囲を示す色閾値に基づき投影面の観測画像の各画素について、輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張機能と、を含んでいる。

[0037] また、上記補正機能は、原画像の輝度信号の輝度を輝度閾値に基づき拡張された投影面の観測画像の輝度範囲に収まるように写像する輝度写像機能と、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号力プロジェクタの入力画像となる補正画像を生成する補正画像生成機能とを含んでいる。

[0038] ここで、上記補正画像生成機能は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、を含んでいる。

[発明の効果] [0039] 本発明により、投影面の反射特性の不均一性，環境光の影響を軽減し、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用することで、よりコントラストの高い画像を投影面に表示することができる。

図面の簡単な説明

[0040] [図 1]第 1のキャリブレーション処理を示す図であり、コンピュータ 5がプロジェクタ 1の応答関数とその逆関数を求める様子を示す図である。

[図 2]第 2のキャリブレーション処理を示す図であり、コンピュータ 5が投影画像と観測画像との明るさの関係を求める様子を示すものである。

[図 3]補正処理を示す図である。

[図 4]原画像に対して、最小輝度画像、最大輝度画像を示す図である。

[図 5]色信号のクリッピング及び色信号誤差の閾値を示す図であり、図 5Aは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図 5Bは原画像の色信号から求めた色信号の誤差の閾値を示す。

[図 6]XYZ及び RGB空間における出力領域を示す図であり、図 6Aは XYZ空間、図 6Bは RGB空間である。

[図 7]輝度差の許容範囲の推定を示す図である。

[図 8]輝度の変換の概念図である。

[図 9]コントラストの変換に対するパラメータ εの効果を示す図である。

[図 10]プロジェクタの応答関数を示す図である。

[図 11]光学的補正の結果を示した図である。

[図 12]他の光学的補正の結果を示した図であり、 122, 124は観測画像 (補正無し）、 123, 125は観測画像 (補正あり）を示している。

発明を実施するための最良の形態

[0041] 本発明の実施形態を、適宜図面を参照しながら説明する。本発明の実施形態では、人間の視覚特性に基づき、投影面の模様などの反射特性の不均一性、室内の蛍光灯などの環境光の影響、あるいはプロジェクタ出力の不均一性を補正して、知覚的に原画像に近い観測画像を投影面に実現することを目指している。

[0042] また、本発明の実施形態では、静的な環境を想定し (環境光は一定）、投影面は完全拡散面であり、視覚方向による見え方の変化はないと仮定している。また、投影面から観測者への距離は既知とする。本発明の実施形態で使用するプロジェクタは、赤、緑、青の 3原色で構成され、その出力は各画素独立で投影面において加色混合されると考える。

[0043] ここで、プロジェクタを用いて、任意の面上に所望の色と明るさで入力画像を歪なく投影するためには、光学的補正だけではなく幾何学的補正が必要となる。カメラプロジヱクタシステムの幾何キャリブレーションに関する研究はこれまで多く報告されているため、本発明の実施形態では投影面として平面のみを対象としている。したがって、特別な幾何学補正は考慮していない。以下では、入力画像と投影面においてカメラで観察される観測画像との関係式を導き、提案する光学補正手法を説明する。

[0044] 図 1に示すように、本発明の実施形態による投影画像補正システムは、投影面 3に画像を投影するプロジェクタ 1と、プロジェクタ 1で投影すべき画像を補正するコンビュータ 5とを有して構成される。

[0045] [キャリブレーション]

まず、補正処理の前提となるプロジェクタのキャリブレーションについて説明する。プロジェクタのキャリブレーションは、使用するプロジェクタが変わる毎に行う処理である。

図 1は、第 1のキャリブレーション処理を示す図であり、コンピュータ 5がプロジェクタ 1の応答関数とその逆関数を求める様子を示している。

[0046] プロジェクタ 1のキャリブレーションには、幾何学的側面と光学的側面がある。幾何学的キャリブレーションにつレ、ては、投影面であるキャリブレーション面（白レ、スクリーン） 3が平面であると仮定して、プロジェクタ 1からの投影 2による画像平面とキヤリブレーシヨン面 3に投影された画像平面との幾何的な変換を示すホモグラフィーを求めることにより行っている。以後、プロジェクタ 1の画像平面と投影面（図 2に番号 12で示すカメラの画像平面）の対応は既知として説明を進める。

[0047] 光学的キャリブレーションには、図 1に示す輝度の応答関数の推定と、図 2に示す色空間の変換式の推定という二つの調整がある。プロジェクタ 1の輝度の応答関数については、空間的に一様であることが知られている（非特許文献 6参照）。そこで、コンピュータ 5がプロジェクタ 1への入力 RGB13 (i)を変化させたときに、キヤリブレーシヨン面 3上の一点の輝度を、 4で示すように測光計で計測する。

[0048] これにより、コンピュータ 5は、プロジェクタ 1への入力 RGB6に対するキヤリブレーシヨン面 3上の輝度の応答関数及び逆関数を演算により得る（図 1 (7)参照)。なお、入力 RGB6は、 0〜1の範囲に正規化されていて、測光計による投影面で計測される輝度（図 1の（4)参照)も、 0〜1の範囲に正規化されている。この応答関数は図 10に示すような特性を有するものである。

[0049] [画像と投影面で観察される明るさの関係]

図 2は、第 2のキャリブレーション処理を示す図であり、コンピュータ 5が投影画像と観測画像との明るさの関係を求める様子を示すものである。第 2のキャリブレーション処理は、プロジェクタ、カメラ、環境光、投影面が変化する毎に行う処理である。

[0050] コンピュータ 5がプロジェクタ 1への入力 RGB値 13 (i)を変化させたときに、投影面 1 1の観測画像 (RGB値）を番号 12で示すようにカメラにより撮像した観測画像に対して、コンピュータ 5が以下の色変換をする。

[0051] このとき、 17で示すように、予めカラーチャートを投影面 11として利用して、プロジェクタ 1から白色を投影した際の輝度を測光計を用いて計測し (図 1の (4)参照）、同時に番号 12で示すカメラにより観測画像 (RGB値）を撮像することによって、コンビユータ 5が観測画像の色変換 (RGBから XYZ)を求めている。なお、一度、コンピュータ 5 が上述した色変換を求めてしまえば、カメラが変わらない限り測光計は利用する必要はない。

[0052] 本発明の実施形態では、入力画像をデバイス依存の R， G， B値から Yxy値 (Yは輝度値、 xyは色信号 (クロミナンス：ある色と同輝度の参照色との差異））に変換した後に後述する光学補正を行っていく。一般に、プロジェクタ 1の出力は入力に対して線形な値を示さないため、コンピュータ 5は、図 1に示すようにプロジェクタ 1の入出力を示す応答関数を投影面の輝度計測に基づき求めておき、入力 R， G, B値 13 (i)に応答関数の逆関数をかけた後の R, G, B値 (以下、とする。 )をプロジェクタ 1への入力とする（図 2 (14)参照)。

[0053] このとき、コンピュータ 5は、先に求めた色変換を用いて（図 2 (17)参照）、カメラ RG B値を投影面において観察される XYZ値 (XYZ色空間で定義される色）へ変換する。変換された XYZ値はカメラで観察される明るさ cに対応する（図 2の（15)参照）。

[0054] これにより、コンピュータ 5は、プロジェクタ 1への入力である R, G, B値 # iと、変換された XYZ値であるカメラで観察される画像の明るさ cとから、プロジェクタ入力と観測画像との関係を演算により求める。そして、さらに、コンピュータ 5は、プロジェクタ入力 R, G， B値 # iを観測画像に変換するための色変換行列 Mと環境光 tを周知の技術を用いて推定する（図 2の（16)参照）。

[0055] 非特許文献 9では、 3 X 3の変換行列を用いて、プロジェクタ入力となる R， G， B値と投影面において観察される XYZ値 (XYZ色空間で定義される色）との関係を定義している。また、非特許文献 4では、同様の変換を用いて、入力画像の画素と投影面をカメラを用いて撮影した観測画像の画素との関係を導いている。ここで、環境光の影響は、オフセットとして表現することができるため、プロジェクタ入力である R, G, B 値 # iとカメラにより観察される画像の明るさである cの関係は、数 1式のように求められる。

[0056] [数 1]

c=M#i+t (1) この式において、 cは投影面 11の対応する画素の XYZ値、 Mは 3 X 3の色変換行歹 IJ、 tは環境光の影響を示している。

[0057] 本発明の実施形態では、予め準備された画像パターンをプロジェクタ 1を用いて投影面 11に投影し、その明るさをカメラで観察することにより、変換行列 Mの 9つの要素と tの 3つの要素の併せて 12の要素を求めている。さらにカメラにより観察される画像の明るさである cに対応する Yxy値は、標準的な色変換を用いて求めることができる。 Yxy空間における Yは XYZ値の Yに対応し、 xyは x = XZ (X + Y + Z)、 y=Y/ (X+Y+Z)のように求められる。また、その逆変換は、 X=x Y/y、Y =Y 、Ζ = (l—x—y) Y/yとなる。

[0058] 数式 1で記述される色空間の変換は、投影面 11のテクスチャや環境光の影響を受けるため、投影面 11の各点で定義される。そのため、プロジェクタ 1へ入力した色（R GB)とカメラで計測したときに得られる色 (XYZ)の関係から、色空間の変換式を求めた。具体的には、変換式が 12個のパラメータを含むこと、及び、 1回の計測で 3つの拘束が得られることから、 4よりも十分に多い回数の計測を行って、最小二乗法によりパラメータを推定した。

[0059] なお、カメラの色信号のキャリブレーション（RGB色空間から XYZ色空間）には、測光計を利用した。また、カラーチャートの色をカメラと測光計の両方で計測して、 RGB から XYZの二次の写像を求めた（非特許文献 5参照）。

[0060] [光学補正の手順]

図 3は、補正処理を示す図である。補正処理は、入力画像毎に行う処理である。提案手法では、原画像が入力されると (ステップ S1)、コンピュータ 5は、原画像を Y xy値に変換し (ステップ S2)、以下の手順に基づき光学補正を行っていく。以下、色空間に変換された原画像を輝度 Y、色信号 e = (ex, ey) tと表現する。ここで、コンビユータ 5は、プロジェクタ投影により投影面において実現可能な最大輝度と最小輝度の平均を求め、この範囲内に原画像が収まるようにスケール調整を行うことで原画像の輝度 Yを物理量で表現してレ、る。

[0061] まず、コンピュータ 5は、第 1の機能として、物理的な輝度範囲の設定を行う（ステツプ Sl l)。具体的には、コンピュータ 5は、観測画像の各画素において、原画像の色信号 eを満たす輝度の範囲 [L、 H]を求める（図 4参照）。図 4において、原画像 41に対して、 42は最小輝度 Lの画像、 43は最大輝度 Hの画像を示す。

[0062] 次に、コンピュータ 5は、第 2の機能として、色閾値による輝度範囲の拡張を行う（ステツプ S12)。具体的には、コンピュータ 5は、色信号 eに対する誤差の許容範囲（色閾値）に基づき、輝度範囲を [L、 H] 力、ら [L'、 Η']へ仮想的に広げる。

[0063] さらに、コンピュータ 5は、第 3の機能として、輝度閾値による輝度範囲の拡張を行う

(ステップ S13)。具体的には、コンピュータ 5は、輝度に対する誤差の許容範囲 (輝度閾値）に基づき、上記で求めた輝度範囲 [L'、 Η']をさらに仮想的に広げる。色閾値及び輝度閾値により拡張された輝度範囲を [L"、 H"]とする。ステップ S11〜ステップ S 13までの処理は、画素単位で行われる処理である。

[0064] そして、コンピュータ 5は、第 4の機能として、輝度変換 (輝度写像）を行う（ステップ S 3)。具体的には、コンピュータ 5は、ステップ S2で得られた原画像の輝度 Yを、ステツプ S 13で求めた拡張輝度範囲 [L"、 H"]に収めるように調整する。この際、コンビュータ 5は、観測者にとって違和感が生じない程度に空間的に非一様な非線形写像を認めることにより、原画像のコントラストを保ちつつ限られた輝度範囲に収めていく。

[0065] さらに、コンピュータ 5は、第 5の機能として、投影すべき補正画像の生成を行う（ステツプ S4)。具体的には、コンピュータ 5は、ステップ S3で写像された輝度 Y'と色信号 eに基づき，観測画像の XYZ値 (数式 1の c)を求め、式 1の逆変換により光学補正を施した入力画像 (補正画像）を求める。

[0066] ステップ S4の補正画像の生成処理は、以下の手順により実行される。第 1の手順として、コンピュータ 5は、色信号 eとステップ S3で写像された輝度 Y'から、カメラで観察される明るさ c (XYZ値）を求める（ステップ S21)。第 2の手順として、コンピュータ 5 は、数式 1に、カメラで観察される明るさ c (XYZ値）、色変換マトリックス M、環境光 tを代入してプロジェクタ入力である R, G, B値 # iを求める（ステップ S22)。第 3の手順として、コンピュータ 5は、プロジェクタの応答関数の逆関数によりプロジェクタ入力である R, G, B値 # iからプロジェクタ 1に入力すべき R, G, B値（i)を求める（ステップ S 23)。

[0067] 最後に、プロジェクタ 1にステップ S4で生成された補正画像入力を行うことにより、投影面 11に補正画像の投影 2が行われるようになる。

以下、特徴となる各手順を詳しく説明する。

[0068] [人間の視覚特性に基づく輝度範囲の拡張]

[物理的な輝度範囲の設定]

この説明は、図 3のステップ S11に対応するものである。

実空間内のさまざまな場所にプロジェクタで画像を投影する場合、投影面の不均一な反射特性や環境光の影響により、プロジェクタ投影による投影面で観察可能な色信号の領域 (色領域)も限られてしまう。ここで、コンピュータ 5は、観測画像の各画素に対して色領域を求める。そして、原画像の色信号が求めた色領域外となる場合には、色領域へのクリッピング処理を行い、色信号 eを満たす輝度の範囲を求めていく。

[0069] 図 5は、色信号のクリッピング及び色信号誤差の閾値を示す図であり、図 5Aは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図 5Bは原画像の色信号から求めた色信号の誤差の閾値を示す。

[0070] 数式 1及び XYZから Yxyへの色変換により、ある RGB値である # iが入力として与えられれば、コンピュータ 5は、対応する XYZ値と Yxy値を求めることができる。そこで、コンピュータ 5は、彩度が最大となる入力 RGB値、 # i= (l， 0, 0) t，（0， 1 , θ 、 (0, 0, それぞれに対して（0 tは行列を示す）、対応する Yxy値を求めることにより、xy空間において色領域を定義する 3頂点（r, g, b)が求められる（図 5A)。同様な手順により、コンピュータ 5は、輝度が最小又は最大となる入力 RGB値、 # i= (0， 0, 0) t, (1， 1， 1 に対応する色信号 (1, h)も求めておく。

[0071] ここで、コンピュータ 5は、原画像の色信号 e= (ex, ey) ¹が求めた色領域内に存在する場合は eを用いて、色領域外となる場合には色領域を形成する 3辺のうち eからの距離が最小の点を eとして、この色信号を満たす輝度の範囲を求めていく（図 5A)。

[0072] [色信号 e に対する最大輝度 [L、H]の算出]

色信号 eは、 XYZ色空間ではべクトノレ d= (ex, ey, 1— ex— ey) ¹に対応する。すなわち、このベクトル上の点 sd (sはベクトル dのスケールを表し 0以上の値をとる）は、全て同じ色信号 eを持つことになる。数式 1より以下の数 2式を得る。

[0073] [数 2] sd=M# i+t (2)

ここで、 # d = M^{_ 1}d、 # t = M^_1tとすると、以下の数 3式となる。

[0074] [数 3]

# i=s#d-#t (3)

[0075] 図 6は、 XYZ及び RGB空間における出力領域を示す図であり、図 6Aは XYZ空間、図 6Bは RGB空間である。

以下では、 RGB色空間での説明を通して、最大、最小輝度に対応するベクトル #d のスケール（S^L、 S^H)を求めていく。 RGB色空間において、全ての #iを含む領域は単位立方体を形成し、色信号 eに対応し最小輝度を持つ点は、 #iR=0、 #iG = 0、 #iB = 0、の面とベクトノレ#(1との交点となることが分かる（図 6B)。この交点に対応するスケール Sは、 SR=#iR/#dR、 SG=#iG/#dG、 SB= #iBZ#dBのように求められる。これらの点のうち、 _#tからの距離が最も遠い点が色信号 eを満たしかつ最小輝度に対応する値へのスケールを示す。すなわち、以下の数 4式となる。

[0076] [数 4]

同様に、ベクトル上の点であり、最大輝度を持つ点のスケールは以下の数 5式により求められる。

[0077] [数 5]

#d_R #d_G #d_Bノ従って、 dL = sLd、 d^H = S^Hdの 2点を求め、それぞれに対応する輝度 L及び Hを求めること力できる。

[0078] [色信号における誤差の考慮]

この説明は、図 3のステップ S12に対応するものである。

人間の視覚特性に基づき、色信号に対する誤差の許容範囲 (色閾値)を考慮することにより、輝度範囲 [L、 H]を仮想的に広げていく。まず、図 5Bに示すように、 xy色空間において、色信号 K最大輝度を導く色信号)と色信号 h (最小輝度を導く色信号 )の方向に、色信号 eから色閾値距離分離れた点 e^H )を求める。

[0079] 言い換えれば、色信号 eからの距離が閾値距離にある e^Hと色信号 eとの色信号差をユーザは知覚することができない。上述した色信号 eに対する最大輝度 [L、 H ]の算出に基づいて、を満たす最低輝度 Lと、 e^Hを満たす最大輝度 Hを求めることができる。

[0080] ここで、 e^L', e^H'は、それぞれ色信号 1、色信号 hに色信号 eより近づいているため、その輝度範囲 [Ι Η']は輝度範囲 [L、 H]よりも広くなる。本実施の形態では、周知の知覚可能な色誤差のデータに基づいた色閾値の決定を行っている（非特許文献 1 1参照）。

[0081] [輝度における誤差の考慮]

この説明は、図 3のステップ S 13に対応するものである。

図 7は、輝度差の許容範囲の推定を示す図である。

輝度における誤差の許容範囲を考慮することにより、上記で求めた [L'、 Η']の輝度範囲をさらに広げていく。本実施の形態では、周知の輝度閾値 (非特許文献 8参照）に基づき、人間が知覚しない輝度差の閾値 Τを求めている。この輝度閾値は、以下の 3要素により構成される。 TVI (Threshold-versus-intensity function) 72は、原画像 71に対して、人間が知覚する最小輝度差を示し、対象点を中心として視野 1度内の周辺領域の平均輝度により決定される。対象点が 80cd/m²以上の輝度を持つ場合、誤差の閾値は輝度に比例することが知られている。本実施の形態では、室内などの一般的な環境光下における光学補正を考えているため、この場合に相当するとして TVI72を求めている。

[0082] CSF (Contrast sensitivity function) 73は、画像の各領域における空間周波数に基づき求められる誤差の許容範囲を示すものである。空間周波数の高い領域は許容範囲も高く認められるなど、周波数の各レベルに対応した許容誤差が定義される。具体的な計算手順では、各周波数バンドに対応するコントラスト値を周知のコントラストピラミッド手法（非特許文献 2参照）に基づき求め、その値の重み付け和により CSF 73を求めている。

[0083] ビジュアルマスキング（Visual Masking)は、 CSF73と関係して、各周波数レベル同士の打ち消し効果などを示すものである。

これらの 3要素のうち、ビジュアルマスキングは計算コストが非常に高いため、本実施の形態では、 TVI72と CSF73の 2つの値を掛け合わせた閾値 rを求め、さらに相対的な輝度閾値 T= (Y+r) ZYを求めている。ここで、 Tは輝度 Yに対して相対的な閾値（74)を示し、 Τ= 1. 1は与えられた輝度 Υに対して 10%の輝度誤差を人間が知覚することができなレ、ことを示す。

人間が知覚する輝度差は輝度の対数に比例することが知られているため、 Τに基づき拡張された輝度範囲は、以下の数 6式により求められる。

[0084] [数 6] し ^ff=し'/ Τ, H"=H' T (6)

[0085] [光学補正のための原画像の変換]

光学補正の実現のためにプロジェクタへの入力として用いる画像を、原画像に対して、補正画像と呼ぶことにする。ここでは、輝度の変換を中心に、原画像から補正画像への変換にっレ、て述べる。

[0086] [輝度の変換]

この説明は、図 3のステップ S 3に対応するものである。

図 8は、輝度の変換の概念図である。

各画素について、原画像の輝度 Yを、数式 6で計算した輝度の範囲 [L' tT]に写像することで、補正画像を投影したときに観測される物理的な輝度 Y'を求める。これは

、原画像の輝度を、空間的に非一様な非線形写像で変換することに対応している。

[0087] 一般に、人間の知覚する明るさは物理的な明るさの対数に比例することから、 L = LogL"、 H =LogH"、及び Y =LogYとして、対数ドメインで説明する。なお、 Y は、 [0， 1]に正規化されているものとする。ここで、原画像の輝度 Yを、 Υ '=Υ (Υ

lg ig lg h— Y +Y ¹のようにして、画素毎に定義された下限 Y ¹と上限 γ ^hの間に線形に写 lg lg lg ig

像するものとする。つまり、輝度の変換の問題を、二つの境界である下限 Y ¹と上限 Y

lg 1 hを求める問題として定義する。

g

[0088] これらの境界は、補正画像を投影したときに観測される画像のコントラストをより高くすると同時に、以下の二つの拘束条件を満たさなくてはならない。

第 1に、ダイナミックレンジによる拘束がある。輝度 Y、は、プロジェクタのダイナミックレンジ内に収まる必要がある。すなわち、 L ≤Y (Y ^h— Υ +Υ ^!≤H を満たさな

lg ig lg ig lg lg くてはならない。

[0089] 第 2に、境界の一様性による拘束がある。境界の輝度があた力も一様であるかのように知覚されるためには、二つの境界 Y ¹と Y ^hの勾配は、人間の視覚特性に基づいて決める閾値 δよりも小さくなければならない。

[0090] 後述する実験では、上記の要求を満たす二つの境界 Υ ¹と Y ^hを、周知の反復法に

lg lg

より決定した。具体的には、 Y 0の初期値を与えた後、拘束条件を満たすように、

lg

二つの境界 Y ¹と Y ^hを交互に更新した。詳細な更新ノレールについては、後で述べる

lg lg

[0091] なお、本発明者は、数回の更新で値が収束することを確認している。このようにして二つの境界 Y ¹と Y ^hが決まると、補正画像を投影したときに観測される輝度 Y 'は、以下の数 7式のように与えられる。

[0092] [数 7]

Y'= exp[Y_{| g} (_¾-Yi ) ₊Y. ] ……ひ）

[0093] [ダイナミックレンジによる拘束]

まず、第一の拘束条件について、 H、 Y及び下限 Y ¹の初期値が与えられたときに、

lg

上限 Y ^hを更新することを考える。プロジェクタのダイナミックレンジによる拘束条件を lg

満たすためには、例えば、 H =Y (Y ^h-Y ^l) +Y ¹を満たすように Y ^hを決定する

lg lg lg lg lg lg

ことが考えられる。し力、しながら、このような更新は、コントラストの低い原画像を、過度にコントラストの高い画像に変換してしまう可能性がある。そこで、原画像のコントラストを過度に高くしすぎないために、パラメータ ε (0 < ε ≤1 )を用いて、 Y ^hを以下の

lg

数 8式のように更新する。

[0094] [数 8]

同様にして、 Υ ¹の更新ルールを、以下の数 9式のように求める。 [0095] [数 9] γ.'

[0096] 図 9に示すように、パラメータ εが小さくなればなるほど、原画像のコントラストを反映した低コントラストの結果が得られることが分かる。次節の実験では、 ε =0.9とした。

[0097] [境界の一様性による拘束]

次に、第二の拘束条件について、境界の更新をする（非特許文献 6参照）。具体的には、数式 8で得られた上限 Y ^hの値を、それ以下の値に置き換える。このとき、 Y ^h(

lg ig

= LogY^h)の勾配が閾値よりも小さくなるように、以下の数 10式の条件下で Y ^hを更

lg 新する。

[0098] [数 10]

γ

(10)

Vに e{i - Ui+1},Vj'e{j - Uj+1)

[0099] 下限 Y ¹についても同様に、数式 9で得られた値を、それ以上の値に置き換える。

lg

人間の視覚特性は、 5 cycle per degreeの周波数において最も感度が高ぐ 1%程度の輝度の差を知覚することができることが知られている。そのため、例えば、幅 2m の平面に投影された 1024 X 768画素の画像を、投影面から 3m離れて観測するときには、 δ = (180X5X0.01Χ2)/(π X 3 X 1024) = 1/540となる。

[0100] [補正画像への変換]

この説明は、図 3のステップ S4に対応するものである。

変換後の輝度 Υ、が L≤Y≤Hを満たすとき、プロジェクタのダイナミックレンジ内で、原画像の色信号をそのまま再現することができる。一方、 L≤Y≤Hを満たさない場合には、輝度や色信号を正確に表現するのは困難であるため、表 1に示すように輝度と色信号を定める。

[0101] [表 1]

Case し umi nance Final XYZ value

1 Η'≤Υ' d^H'

2 Η<Υ'<Η' interpolate between d^H and d^H'

3 L≤Y'≤H interpolate between d^L and d^H

4 じぐ Y'<L interpolate between d^L' and d^L

5 Y'≤じ

[0102] 最後に、このようにして得られた XYZ色空間の画像に対して、プロジェクタの応答関数と数式 1で記述される色空間の変換を考慮して、プロジヱクタへの入力となる RG B色空間で表現された補正画像を求める。

[0103] [実験結果]

図 11に、光学補正の結果を示す。原画像 112をそのまま投影した場合に、観測画像 (補正なし） 113には投影面 111のテクスチャが見えてレ、るのに対して、補正画像による投影画像 114を投影した場合には、観測画像 (補正あり） 115にはコントラストを低下させることなくテクスチャの影響を著しく軽減できているのが分かる。

[0104] 図 12には、異なる投影面に対する他の光学補正の結果を示した。この場合も、観測画像（補正なし） 122、 124、枠内拡大画像 126に見られる投影面 121のテクスチャなどの影響を、観測画像（補正あり） 123, 124、枠内拡大画像 127では軽減できてレ、るのを確認、すること力 Sできる。

[0105] ただし、本明細書を読む環境と実験環境では、画像の大きさやシーンの明るさなどが異なるために、一般に、知覚される画像は異なることに注意が必要である。

なお、コンピュータの CPUとして pentium4, 3.2GHzを用いたときの典型的な計算時間は、 1024X768画素の画像に対して、表 2のとおりであった。

[0106] [表 2] Task Time

Convert original image to XYZ 20 ms

Make L， H,じ' H' 550 ms

Threshold map 480 ms

Make L",H" 10 ms

Iterati e luminance fitting (3 rounds) 350 ms

Make final XYZ and convert to RGB 280 ms

TOTAL 1690 ms

[0107] 最後に、ユーザ評価の結果を報告する。この評価では、本実施の形態の主題であり、かつ、上記のように計算コストも要する、色信号と輝度の閾値を導入することの効果を調べた。具体的には、 10名の被験者に対して、（a)提案手法により得られる補正画像、及び (b)色信号と輝度の閾値をゼロにしたときに上述の手順で計算される補正画像の二種類の画像を、プロジェクタによりランダムな順番で提示した。被験者に、どちらの画像を好むか、及び、どちらの画像のコントラストが高いかという質問をした。なお、提示した画像は 10組であり、合計 100の回答を得た。

[0108] その結果、被験者の好む画像は（a) 94、（b)4、どちらともいえない 2、コントラストの高い画像は（a) 96、（b)4、どちらともいえなレ、 0であった。また、多くの被験者から、色信号と輝度の閾値を考慮した画像が、より鮮明かつ自然に見えるという感想を得た。これらの実験結果からも、プロジェクタの光学補正に関して、人間の視覚特性を考慮することが重要であることがわかる。

[0109] 環境光下で不均一な反射率を持つ面に画像を投影する場合、正しい色で投影可能な画像のコントラストが低下してしまうという問題がある。この問題に対し、本実施の形態では、人間の視覚特性に基づき、観測者がほとんど知覚できない形で色と輝度の誤差を積極的に用いることによって、よりコントラストの高い画像を再現可能とする手法を提案した。

[0110] これまで報告されているプロジェクタの光学補正手法とは異なり、提案手法ではプロジェクタや投影面の光学特性のみならず、投影しょうとする画像の内容に応じて可能な限り投影面で観察される画像の画質を向上させる工夫が用いられている点が大きな特長となっている。

[0111] 本実施の形態では、提案手法の詳細を紹介した上で、さまざまなパターンを持つ投影面への画像の投影に提案手法を適用した結果を詳述した。これらの実験結果から、提案手法を用いることにより環境光下で不均一な反射率を持つ面に投影する場合においても、コントラストの高い良好な画質を得ることができることを確認した。

[0112] なお、今後の研究課題として、提案手法をさらに拡張するためにいくつかの方向を検討している。特に、本実施の形態では、静止画の投影を取り扱つたが、動画を投影する場合の光学補正に関しても適用可能であると想定される。

[0113] その場合、静止画に知覚のみならず、動画の知覚に関する人間の視覚特性を考慮することにより、より積極的に画質を向上させることができると考えられる。また、本実施の形態の提案手法では、投影面と観測者との位置関係が既知であると仮定していたが、この条件を緩和した場合も適用可能であると想定される。

引用符号の説明

[0114] 1···プロジェクタ、 2···投影、 3···キャリブレーション面、 4···測光計による投影面の輝度計測、 5· 'コンピュータ、 6"'入カ1^^8、 7···応答関数とその逆関数を求める、 11···投影面、 12···カメラ RGB (観測画像）、 13···入力 RGB(i)、 14···応答関数により #iを求める、 15···カメラ RGB値を XYZ値へ変換、 16···プロジェクタ入力と観測画像の関係を求める

Claims

請求の範囲

[1] 投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムであって、

上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整手段と、上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、

上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段とを備えたことを特徴とする投影画像補正システム。

[2] 上記調整手段は、

上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第 1の演算部と、

上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第 2の演算部と、

を備えたことを特徴とする請求項 1に記載の投影画像補正システム。

[3] 上記補正手段は、カラーカメラを用レ、て撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、

上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、

上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、を備えたことを特徴とする請求項 1に記載の投影画像補正システム。

[4] 上記補正手段は、

上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、

上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成部と

[5] 上記補正画像生成部は、

上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、

上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、

を備えたことを特徴とする請求項 4に記載の投影画像補正システム。

[6] 投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、

上記コンピュータに対して、

上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整機能と、上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、

上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能とを実現させることを特徴とする投影画像補正プログラム。

[7] 上記調整機能は、

上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第 1の演算機能と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第 2の演算機能と、

を含むことを特徴とする請求項 6に記載の投影画像補正プログラム。

[8] 上記補正機能は、カラーカメラを用レ、て撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、

上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、

上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張と、を含むことを特徴とする請求項 6に記載の投影画像補正プログラム。

[9] 上記補正機能は、

上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像機能と、

上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成機能と

[10] 上記補正画像生成機能は、

上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、

上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、

を含むことを特徴とする請求の範囲 9に記載の投影画像補正プログラム。