JP5140869B2 - 画像投影方法および画像投影装置 - Google Patents

Description

本発明は、画像投影方法および画像投影装置に関する。特に原画像に忠実な画像投影に関する。

電子情報媒体の発達に伴い、光源を含む照明光学系と、照明光学系から出射された光束を外部から入力された画像情報に従って変調する液晶ライトバルブ等の空間光変調装置と、空間光変調装置により変調された光束をスクリーン上に拡大投影して画像をディスプレーする投射レンズ等の投射光学系とを備えた画像投影装置（プロジェクタともいう。）が利用される機会が増えている。プロジェクタの中でも、空間光変調装置として液晶表示素子を用いた液晶プロジェクタが有名である。この液晶プロジェクタは画面の大きさを容易に調節でき、色再現性に優れており、会議室用のプロジェクタ等として広く使われている。

このようなプロジェクタが普及するに従って、プロジェクタの簡素化、小型化に対する要求も急速に強まってきている。プロジェクタの簡素化、小型化を実現するためには、投射光学系を構成する投射レンズの小型化、軽量化が一つの重要な課題となっている。投射光学系の小型化、軽量化のためは、レンズ枚数の削減が有効である。しかし、一般に、レンズ枚数を少なくすると、解像度の低下や歪曲収差・倍率色収差・非点収差等の結像性の劣化の問題が発生する。

投射光学系の収差の問題に対しては、投射光学系で発生する各種収差を設計段階で把握しておき、空間光変調装置の形状や構造を調整して投射光学系により発生する収差分を事前に補償しておくことにより、スクリーンに投射される画像の収差を低減する方法が提案されている。例えば、特許文献１では、色収差を補正できるように、空間光変調装置の画像を生成する有効面の大きさを、波長により相違させる方法が提案されている。また、特許文献２では、投射光学系により発生する歪曲／湾曲収差に対応した形態に歪曲／湾曲された形状構造を有する空間光変調装置が提案されている。

特許第３２６４９１６号公報 特許第３３５７０２６号公報

上述のように、投射光学系による各種の収差については、空間光変調装置の形状や構造を工夫することによりある程度の改善が可能である。しかし、このような方法では、特殊な構造の空間光変調装置が必要である上、投射光学系の解像力低下を回復することは困難である。
本発明においては、投射光学系における結像性能の低下による画像の劣化を低減し、入力された画像情報に近い投影画像を生成する画像投影装置および画像投影方法を提供することを目的とする。

請求項１に記載の発明では、照明光学系から光束を出射する工程と、画像処理装置に入力された元画像情報である入力画像情報を処理して投影画像の出力画像情報を生成する画像情報処理工程と、この生成処理された前記出力画像情報に基づいて、前記光束を空間変調する工程と、空間変調された前記光束を投射光学系によりスクリーンに投影して投影画像を形成する工程を少なくとも有する画像投影方法であって、
前記画像情報処理工程は、前記入力画像情報の空間周波数成分の高域を強調する第１の補正工程と、該第１の補正工程による補正演算を受けた単一の空間周波数を持つ該入力画像情報に対して、前記スクリーンの投射領域における前記出力画像情報の輝度平均値と前記入力画像情報の輝度平均値との差を計算上予測する工程を備え、前記スクリーンにおける前記出力画像情報の輝度平均値が前記入力画像情報の輝度平均値よりも低いと計算上予測される場合には、前記入力画像情報の輝度の平均値以上の輝度を持つ前記投射領域を増大させる補正演算を行い、前記スクリーンにおける前記出力画像情報の輝度平均値が前記入力画像情報の輝度平均値よりも高いと計算上予測される場合には、前記入力画像情報の輝度の平均値以下の輝度を持つ前記投射領域を増大させる補正演算をする第２の補正工程と、前記第１の補正工程の結果に応じて、前記第２の補正工程のうち、平均値以上の輝度を持つ前記投射領域を増大させる補正演算を行うか、又は平均値以下の輝度を持つ投射領域を増大させる補正演算を行って、前記出力画像情報を生成する出力画像情報生成工程を有することを特徴とする。
請求項２に記載の発明では、請求項１に記載の画像投影方法において、前記画像情報処理工程は、前記第１の補正工程による前記スクリーンにおける前記投影画像の前記出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成工程と、前記画像情報処理工程において求めた前記入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の除算に基づく第１の画像情報を生成する第１の画像情報生成工程と、前記第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成工程と、第２の画像情報の輝度と、前記出力画像情報の輝度について画素毎の積に基づき、前記出力画像情報を更新する前記出力画像情報生成工程と、を有することを特徴とする。

請求項３に記載の発明では、請求項２に記載の画像投影方法において、前記出力画像情報生成工程は、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程を有することを特徴とする。
請求項４に記載の発明では、請求項１に記載の画像投影方法において、前記画像情報処理工程は、前記第１の補正工程による前記スクリーンにおける前記投影画像の前記出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成工程を有し、前記画像情報処理工程は、前記画像情報処理工程により求めた前記入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の減算に基づく第１の画像情報を生成する第１の画像情報生成工程と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成工程と、第２の画像情報の輝度と、前記出力画像情報の輝度についての画素毎の和に基づき、前記出力画像情報を更新する前記出力画像情報生成工程と、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット工程、の少なくともどちらか一つを有することを特徴とする。

請求項５に記載の発明では、請求項２ないし請求項４のいずれか１つに記載の画像投影方法において、前記画像情報処理工程は、前記レプリカ画像情報作成工程の前段に、前記画像処理装置に入力された前記入力画像情報と前記レプリカ画像情報とを比較する工程と、前記投射光学系の点像分布関数に対する逆特性を持つフィルタ係数の畳み込み演算により前記出力画像情報の初期値を求める出力画像情報初期値生成工程と、前記出力画像情報初期値の輝度のうち、規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット工程、の少なくともどちらか一つを有することを特徴とする。

請求項６に記載の発明では、請求項２ないし請求項５のいずれか１つに記載の画像投影方法において、前記レプリカ画像情報作成工程は、前記スクリーン上の各座標における前記レプリカ画像情報の輝度と、対応した座標における前記スクリーンの反射率の積に基づき、修正された前記レプリカ画像情報を求めることを特徴とする。
請求項７に記載の発明では、請求項２ないし請求項５のいずれか１つに記載の画像投影方法において、前記点像分布関数は、前記スクリーン上の座標により異なる関数であることを特徴とする。
請求項８に記載の発明では、光束を出射する照明光学系と、画像情報を処理する画像処理装置と、該画像処理装置で処理された画像情報に基づいて前記照明光学系から出射された光束を変調する光変調装置と、前記光変調装置で空間変調された光束をスクリーンに投影して投影画像を形成する投射光学系とを有する画像投影装置であって、前記スクリーンにおける投影画像の出力画像情報を、該出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成手段を有し、前記画像処理装置は、前記画像処理装置への入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の除算に基づく第１の画像情報を生成する第１の画像情報生成手段と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成手段と、第２の画像情報の輝度と、前記出力画像情報の輝度について画素毎の積に基づき、前記出力画像情報を更新する出力画像情報生成手段と、を有する画像投影装置を特徴とする。

請求項９に記載の発明では、請求項８に記載の画像投影装置において、前記出力画像情報生成手段は、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段を有することを特徴とする。
請求項１０に記載の発明では、光束を出射する照明光学系と、画像情報を処理する画像処理装置と、該画像処理装置で処理された画像情報に基づいて前記照明光学系から出射された光束を変調する光変調装置と、前記光変調装置で空間変調された光束をスクリーンに投影して投影画像を形成する投射光学系とを有する画像投影装置であって、前記スクリーンにおける投影画像の出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成手段を有し、前記画像処理装置は、前記画像処理装置への入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の減算に基づく第１の画像情報を生成する第１の画像情報生成手段と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成手段と、第２の画像情報の輝度と、前記出力画像情報の輝度についての画素毎の和に基づき、前記出力画像情報を更新する出力画像情報生成手段と、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット手段、の少なくともどちらか一つを有することを特徴とする。
請求項１１に記載の発明では、請求項８ないし請求項１０のいずれか１つに記載の画像投影装置において、前記画像処理装置は、前記レプリカ画像情報作成手段の前段に、前記画像処理装置への前記入力画像情報と、前記投射光学系の点像分布関数に対する逆特性を持つフィルタ係数の畳み込み演算により前記出力画像情報の初期値を求める出力画像情報初期値生成手段と、前記出力画像情報初期値の輝度のうち、規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット手段、の少なくともどちらか一つを有することを特徴とする。
請求項１２に記載の発明では、請求項８ないし請求項１１のいずれか１つに記載の画像投影装置において、前記レプリカ画像情報作成手段は、前記スクリーン上の各座標における前記レプリカ画像情報の輝度と、対応した座標における前記スクリーンの反射率の積に基づき、修正された前記レプリカ画像情報を求めることを特徴とする。
請求項１３に記載の発明では、請求項８ないし請求項１２のいずれか１つに記載の画像投影装置において、前記点像分布関数は、前記スクリーン上の座標により異なる関数であることを特徴とする画像投影装置。
請求項１４に記載の発明では、請求項８に記載の画像投影装置において、前記出力画像情報生成手段は、前記除算を行うための数値テーブルを有することを特徴とする。

本発明によれば、元画像により忠実な高品質の画像投影方法および投影装置を提供できる。

図１は本発明の第一の実施形態である画像投影装置の構成図である。
同図において符号１は光源、２はロッドインテグレータ、３は空間光変調装置、４は投射光学系、５はスクリーン、１１は画像処理装置、１２は画像生成手段、１４は画像信号、１５は元画像、１６は画像処理手段、２０は照明光学系をそれぞれ示す。
画像投影装置（以下、プロジェクタという）の簡単な説明をする。
空間光変調装置３に送られる各画素領域毎の画像情報である画像信号１４は、画像処理装置１１から提供される。画像処理装置１１は、画像処理手段１６、画像生成手段１２を有し、外部から入力される画像情報である元画像１５を処理して画像信号１４として出力する。

光源１は発光ダイオード（ＬＥＤという）を複数個、例えば二次元的に集積して構成されている。光源１は、ロッドインテグレータ２の内側にＬＥＤの発光部を収納可能に配置することが、光の漏れを無くする上で好ましい。各ＬＥＤは、図示してない外部の電源によって同時に発光可能に構成されている。ＬＥＤの発光色は、赤色、緑色、青色の３原色の単色光を所定のパターンで配置し、全てを点灯させて全体として白色平面光としている。なお、上記構成では光源１としてＬＥＤを使用したが、他の発光原理による光源、例えば、さらに小電力で発光する点光源である半導体レーザ素子などを使用してもよい。

ロッドインテグレータ２は、複数（例えば四面）の壁面で構成された末広がりの角錐台型の中空の角柱構造である。その内壁は反射面で構成されている。ロッドインテグレータ２は、例えば同一の大きさの鏡を２枚ずつの鏡面が対向するように４枚貼り合わせて構成されている。或いは、樹脂板などにアルミニウムなどの金属薄膜を蒸着したり反射性フィルムを接着剤で貼りつけたりしたものを４枚貼り合わせて構成してもよい。どのような構成を採用するにしろ、光の損失を抑えるために、ロッドインテグレータ２の内壁は光が全反射可能な程度に滑らかな鏡面に仕上げられていることが好ましい。このようなロッドインテグレータ２の中を導光された光束は、壁面で反射することで、ロッドインテグレータ２の出口側端面で均一な光量分布となっている。なお、ロッドインテグレータ２の構成としては、上記のような構成に限らず、導光機能を有する中実の透明材料であってもよく、また角錐台に限定されず角柱形状や円柱形状であってもよい。
光源１とロットインテグレータ２に代表されるコリメータにより照明光学系２０を構成している。

光を画像に応じて空間的に変調を行い、画像を生成する空間光変調装置３としては、液晶を利用したものや、マイクロミラーアレーデバイスを用いたＤＭＤなどが開発されている。透過形液晶プロジェクタの場合、その概略の光学的配置構造は図１に示すように、光源１から照射される光束を液晶を用いた空間光変調装置３により各画素単位領域毎に透過するか否かを決定して画像を生成し、この画像を投射光学系４によってスクリーン５に結像させる。空間光変調装置３には、画像信号１４として各画素単位で画像情報が提供される。また、レーザ光源を用いた場合、小型のミラーを用いて光束をスクリーン上に走査し、レーザ光源を変調することにより画像情報を形成する方式の空間光変調装置でも良い。

本実施形態では、投射光学系における投射レンズの簡素化のため、その構成枚数の削減による投射光学系の結像性能低下による投影画像の劣化を、空間光変調装置に入力する画像情報を画像処理手段で処理することにより投影画像の劣化を補償する。その後、最終的な画像情報は画像生成手段１２により空間光変調装置３の駆動信号に変換され、空間光変調装置３に画像が形成される。

画像処理方法の例としては、従来投射光学系による投影画像の劣化を補償する逆フィルタ処理があった。これは例えば、投射光学系のＭＴＦ（Modulation Transfer Function）低下（コントラスト再現性を評価するレンズ性能の指標）に対する逆フィルタを設計しておき、画像処理手段１６により元画像１５に設計した逆フィルタを適用することで投射光学系４に適した画像を作成し、空間光変調装置３に出力する。一般に逆フィルタとしては、ウィーナーフィルタ（Wiener filter）などがある。

逆フィルタ処理は、投射光学系のＭＴＦ低下による画像情報の変形を補償するように逆演算を行い、逆に変形処理をすることにより、投影画像のＭＴＦ低下を補償する方法である。このような画像処理方法は、画像処理された画像情報が空間光変調装置で表現可能な変調範囲（ダイナミックレンジ：ＤＲ）内であれば、つまり元画像が極端に白や黒に近くない場合であれば、表現可能な変調範囲内の画像処理された画像情報が得られ、レンズの結像性能が劣化しても、逆フィルタ処理を行うことにより、投影画像は元の画像を正確に再現することができる。
ウィーナーフィルタの概略を以下に示す。ウィーナーフィルタは以下の式（ａ）により表される線形なフィルタである。

ここで、ＦＴは２次元フーリエ変換、ＩＦＴは２次元逆フーリエ変換、＊は複素共役を示す。また、ｗ（ｘ，ｙ）は設計された逆フィルタ係数、ｈ（ｘ，ｙ）は投射光学系の点像分布関数（ＰＳＦ：Point Spread Function）である。ｃは定数であり、次に示す飽和量による歪みの大きさに応じて適当な値に設定する。この計算により線形逆フィルタｗ（ｘ，ｙ）が設計される。
次に求めたフィルタｗ（ｘ，ｙ）を画像に適用するには、以下の式（ｂ）を用いる。

ここで、＊は畳み込み積分を示す。また、ｆ（ｘ，ｙ）は座標ｘ，ｙにおけるフィルタ出力画像の輝度、ｇ（ｘ，ｙ）は元画像（フィルタ入力画像）の輝度である。なお、ｌｉｍｉｔｗ（Ａ）はＡ＞２５５の場合にはＡ＝２５５，Ａ＜０の場合にはＡ＝０なる関数である。ここでは上限を２５５、下限を０としたが、実際には空間光変調装置におけるダイナミックレンジＤＲである上限値・下限値を設定する。

図２は画像情報のフィルタによる変化を説明する図である。同図（ａ）は元画像の情報、同図（ｂ）は逆フィルタ処理後の画像情報、同図（ｃ）は飽和処理後の画像情報をそれぞれ示す図である。
同図において、元画像データの輝度情報、空間光変調装置への画像信号は仮に８ビットとしているためダイナミックレンジＤＲは下限０、上限２５５となっている。
上記のウィーナーフィルタの様な線形逆フィルタを用いた場合以下の不具合が発生する。

同図（ｂ）に示すように、逆フィルタ処理後の画像情報が空間光変調装置で表現可能な変調範囲をはみ出した部分（画素領域）がある場合、つまり元画像において、空間周波数における高周波成分が大きく、白や黒またはそれに近い部分（画素領域）の場合、逆フィルタによりその部分は空間光変調装置で表現可能な変調範囲を超えてしまう。そこで、表現可能範囲を超えた部分については一般的には変調範囲の上限・下限で飽和させるため、同図（ｃ）に示すよう画像情報を空間光変調装置に提供して投影画像を形成することになる。しかし、この過程は飽和という非線形過程を有するため、投影画像は歪みが発生し、元画像に合わない投影画像しか得られない。

図３はサンプル画像に対する画像処理の結果を説明するための図である。同図（ａ）は元画像のデータと、空間光変調装置への入力情報を示す図である。同図（ｂ）は投影したい画像と、各フィルタを通した後のスクリーン上の画像を示す図である。
同図において符号ＡｖＯは元画像の輝度平均値、Ａｖｂは従来の処理での輝度平均値をそれぞれ示す。以下の図においても同様である。
図４は２次元画像としての投影結果を示す図である。
図３を用いて本発明の動作を示す。説明が分かり易いよう、２次元画像の断面の一部を取り１次元のグラフで説明を行う。なお、２次元の元画像に関する結果は図４に示す。実験画像には、一定の振幅で一定の空間周波数のサンプル画像を用いた。なお、サンプル画像の平均輝度は空間光変調装置のダイナミックレンジの中心より下としてある。

ここで、投影画像（図３（ｂ）参照）においては元画像に近いほど望ましいが、従来の処理によると画像処理手段なしと比較して振幅は強調されているものの、輝度の平均値が元画像とずれており図４を見ると、画像の黒部分が白浮きしており見た目が元画像と異なる画像となってしまっている。特に画像処理手段なしの場合と比較しても元画像との差が大きく、従来の処理により画質が悪化していることが分かる。これは前記の歪みによるものである。

本発明では画像処理手段に２つの補正機能を持たせる。第１の補正機能は、元画像の空間周波数成分の高域を強調する機能であり、この機能を働かせた結果が、各部分において投影画像の輝度平均値が元画像の輝度平均値よりも低くなる場合は、第２の補正機能による補正演算により、輝度平均値以上の領域を増大させ、投影画像の輝度平均値が元画像の輝度平均値よりも高くなる場合には、第２の補正機能による補正演算により、輝度平均値以下の領域を増大させる。今回の例では第１の補正機能による補正演算で高域を強調したところ（従来の処理と同様）、投影画像の輝度平均値が元画像の輝度平均値よりも高いため、第２の補正機能により輝度平均以下の領域を増大させている。そのため、空間光変調装置への入力において、元画像と従来の処理では輝度平均値以下の領域と、輝度平均値以上の領域が同じなのに対して、本発明においては輝度平均値以下の領域を増大させている。その結果、投影画像において輝度平均値は元画像と本発明では歪みなく一致し、かつ高周波成分の強調効果により画像処理手段なしと比較して元画像に近い画像を投影できていることが分かる。

このように、画像生成手段において上記従来の処理に代わり、元画像の部分部分の輝度平均に応じて空間光変調装置のダイナミックレンジという制限条件の中で適応的に作用する本発明を用いると、投射光学系と空間光変調装置の性能を最大限に引き出した、理想的な投影画像を得ることができる。この本発明を用いたフィルタは空間光変調装置のダイナミックレンジという制限があるため入力画像に対して非線形特性を持ち、画像に応じて適応的に処理が行われるため以下非線形適応フィルタと呼ぶ。

図５は非線形適応フィルタを用いた画像処理装置の構成図である。
同図において符号１６１は非線形適応フィルタを示す。
以下に図中の非線形適応フィルタ１６１の詳細を２例示す。
１つ目の非線形適応フィルタ１６１は以下の更新式を持つ反復更新型のフィルタである。このフィルタは投影画像のレプリカを内部で計算し、実際に投影したい画像と比較し、ベイズの定理により空間光変調装置により制限されたダイナミックレンジ内で投射すべき画像の推定を行う。

ここで、ｆ（ｘ，ｙ）は座標ｘ，ｙにおけるフィルタ出力画像の輝度、ｇ（ｘ，ｙ）は元画像（フィルタ入力画像）の輝度、ｈ（ｘ，ｙ）は投射光学系の点像分布関数（ＰＳＦ：Point Spread Function）である。なお、添え字ｋはこの式の反復回数を示す添え字である。式中の点線で囲ってある部分はフィルタ出力画像、つまり空間光変調装置への画像信号と、点像分布関数の畳み込み積分であり、つまり投射光学系を通して投影された投影画像を計算により求めたものである。これを投影画像のレプリカと以下呼ぶ。

以上の式（１）では、ベイズの定理を応用して、投影画像のレプリカより確率的により原画像に近い投影画像を得られるフィルタ出力を反復的に計算できる。ここで注意したいのは式の右辺にはマイナスを取る項はないため、これにより計算されるフィルタ出力画像は常に０以上の値を取る。つまり、空間光変調装置のダイナミックレンジ制限のうち負の方を満たす中で適応的な逆フィルタを構成していることになる。
ここで、式（１）に上限により飽和する関数を追加すると、以下の式（２）が得られる。

ｌｉｍｉｔ（Ａ）はＡ＞２５５の場合にはＡ＝２５５なる関数である。ここでは上限を２５５としたが、実際には空間光変調装置における上限値を設定する。この式（２）では反復計算中、空間光変調装置のダイナミックレンジ制限のうち負、正の方を両方を満たす。つまり、本フィルタにより空間光変調装置のダイナミックレンジによる制限が加わった中で投射画像が最適化される。カラーの場合には当然Ｒ（赤），G（緑），Ｂ（青）毎に本計算を行うことになる。

図６は式（２）を用いた非線形適応フィルタの構成図である。
同図において符号９０はレプリカ画像作成手段、９１は除算器、９２は畳み込み積分演算器、９３は乗算器、９４は上限リミッタをそれぞれ示す。
式（２）の右辺分母を計算するレプリカ画像作成手段９０と、分子である入力との除算を行う除算器９１と、その結果と投射光学系のPSFとの畳み込み積分を演算する畳み込み積分演算器９２と、積を取り結果を飽和させる乗算器９３と上限リミッタ９４から構成される。
なお、これらの式の右辺には割り算が入っているので、本フィルタをハードウエアで構成する場合には、割り算の結果を記録してあるルックアップテーブルを用いるのが有効である。つまり、除算器９１にルックアップテーブルを持つことが有効である。例えば、8ビットの場合にはＣ＝Ａ／Ｂにおいて、Ａ＝０〜２５５までと、B=０〜２５５の組み合わせに対応する結果Ｃのテーブルを持っておけばよい。
もう一つの適応非線形フィルタ１６１の演算を示す式（３）を以下に示す。

ここで、ｆ（ｘ，ｙ）は座標ｘ，ｙにおけるフィルタ出力画像の輝度、ｇ（ｘ，ｙ）は元画像（フィルタ入力画像）の輝度、ｈ（ｘ，ｙ）は投射光学系の点像分布関数（ＰＳＦ：Point Spread Function）である。なお、添え字ｋはこの式の反復回数を示す添え字である。式中の点線で囲ってある部分はフィルタ出力画像、つまり空間光変調装置への画像信号と、点像分布関数の畳み込み積分であり、つまり投射光学系を通して投影された投影画像を計算により求めたもの（投影画像のレプリカ）である。なお、ｌｉｍｉｔｗ（Ａ）はＡ＞２５５の場合にはＡ＝２５５，Ａ＜０の場合にはＡ＝０なる関数である。ここでは上限を２５５、下限を０としたが、実際には空間光変調装置における上限値・下限値を設定する。またｋは正の定数である。
式（３）において実際の元画像と投影画像のレプリカとの差分をとり、その値とＰＳＦの畳み込み演算の結果によりフィルタ出力画像を更新する。この式ではｌｉｍｉｔｗにより反復計算中、空間光変調装置のダイナミックレンジ制限のうち負、正の方を両方を満たす。つまり、本フィルタにより空間光変調装置のダイナミックレンジによる制限が加わった中で投射画像が最適化される。カラーの場合には当然Ｒ（赤），Ｇ（緑），Ｂ（青）毎に本計算を行うことになる。

図７は式（３）を用いた非線形適応フィルタの構成図である。
同図において符号９５は加算器、９６は減算器、９７は上限・下限リミッタをそれぞれ示す。
図８は画像処理手段のフローチャートである。
式（３）中の投影画像のレプリカを計算するレプリカ画像作成手段９０と、入力との減算を行う減算器９６と、その結果と投射光学系のＰＳＦとの畳み込み積分を演算する畳み込み積分演算器９２と、和を取り結果を飽和させる加算器９５と上限・下限リミッタ９７から構成される。
同図において、それぞれの変数に値を代入した後、式（２）または式（３）を指定回数計算する。これにより最終的にｆにフィルタ結果が代入される。最後にｆを出力して終了する。なお、出力画像情報の初期値には、入力画像情報を用いる。ここで、繰り返し回数（上記の指定回数）は１０回程度で十分な結果が得られる。

一般に投射光学系は光軸中心から周辺部に行くほど大きく結像性能が低下するため、投影画像は光軸中心から周辺部に行くほど精細さが低下する。よって投影画像の中心部と周辺部のように、異なる部分で上記の式中のｈ（ＰＳＦ）を変えることで、周辺部の精細さを補う処理が可能である。特に、逆フィルタ処理の特性から、光軸中心から離れた周辺部分では、空間光変調装置で表現可能なダイナミックレンジをはみ出してしまう画素領域が発生しやすい。これは、投射光学系の性能として光軸中心から離れた周辺部分で結像性能が低下しやすく、これを補償するために元画像に強い逆フィルタ処理が必要となるためである。このような場合に本発明の処理は特に大きな効果を発揮する。
また、スクリーン上の投影像の大きさを変化可能なズーム光学系を用いたプロジェクタにおいては、ｈ（ＰＳＦ）は投射光学系のズーム位置や、光学絞りの大きさに連動して変化させることでより高品質な画像を投影できる。
式（２）の変形例の式（４）を以下に示す。

この様に、式（１）または式（２）の右辺の分母に、ある定数ｃを足しておくことで、分母の投影画像のレプリカ部が０の場合に０で除算することを回避することが出来、より高品質なフィルタ演算が可能である。ｃの値は０．０１や１など小さくて演算の容易な任意の値でよい。

式（３）の変形例の式（５）を以下に示す。レプリカと、元画像との差分をとった後に、ある関数（ここではｆｕｎ（ｘ））を作用させた量を誤差量として利用する。このｆｕｎ（ｘ）はｆｕｎ（ｘ）＝｜ｘ｜＊ｘ（｜ｘ｜はｘの絶対値を示す）としても良いし、ｆｕｎ（ｘ）＝ｘ^３としてもよい。たとえば人間の眼の特性は明度に対してｌｏｇスケールの感覚を持つことが知られているが、これらの関数を適切に調整することにより、人間の眼の特性を考慮した際に誤差量が最低となる画像が得られる。

また、たとえば空間光変調装置をサブピクセル長以下で揺動させ、揺動のタイミングに合わせて適切なタイミングで空間光変調装置に表示する画像を調整することにより、時分割で空間光変調装置の解像度以上の画像を投射するなど、いわゆる時分割による空間光変調装置よりも高い解像度の画像を投影する方法がある。
（参考文献：
１．Wobulation: Doubling the Addressed Resolution of Projection Displays, 47.4 , SID05 DIGET.www.hpl.hp.com/personal/Robert_Ulichney/papers/2005-wobulation-SID.pdf
２．リコー 技術最前線 ピクセルシフト技術
http://www.ricoh.co.jp/tech/15/15_02.html）

しかしながら、この手法では空間光変調装置の元々の１ピクセルの大きさは変わらないため、たとえサブピクセル長以下に動かした場合でも、サブピクセルシフトにより作られたピクセルはそれぞれが重なる部分が発生し、解像度の低下（ＭＴＦの低下）が避けられなかった。
本発明で述べた手法は投射光学系の劣化成分を補償する方法として説明をしてきたが、これらの方法に適用する場合、投射光学系による劣化に加えて各ピクセルの重なりの影響をＰＳＦに加えることにより、投射光学系の劣化補償のみならず、サブピクセルシフトによる解像度の低下を補うことが可能である。

図９は実施例１式（２）による効果を説明するための図である。同図（ａ）は元画像のデータと、空間光変調装置への入力情報を示す図である。同図（ｂ）は投影したい画像と、各フィルタを通した後のスクリーン上の画像を示す図である。 説明が分かり易いよう、２次元画像の断面を取り１次元のグラフで説明を行う。実験画像には、画像の左から右へ同じ空間周波数で振幅を変化させたサンプル画像を使用した。なお、サンプル画像の平均輝度は空間光変調装置のダイナミックレンジＤＲの中心より上としてある。上のグラフが元画像の輝度と、各フィルタを通した後の空間光変調装置への入力である。下のグラフが元画像（投影したい理想値）と、各フィルタを通した後、投射光学系によりスクリーンに投影された投影画像の輝度である。

投影画像を見ると、中間調部（グラフの左側）から途中までは２つのフィルタ共きちんと動作し、元画像と同じ輝度が投影出来ている。しかし、従来のフィルタ（式（ｂ））を用いた処理では空間光変調装置のダイナミックレンジを超える部分（グラフ右部）から投影画像における輝度平均値の誤差（歪み）が大きくなっている。これは従来のフィルタでは空間光変調装置のダイナミックレンジの最大値より上の部分を飽和させてしまっているため、輝度の平均値が落ちているためである。この現象は画像に歪みをおこすのみならず、カラー画像においては各色のバランスを崩し、色ずれを引き起こす。それに対し、今回発明した非線形適応フィルタ（式（２））では投影画像の輝度平均値を一定に保つべく適応的に空間光変調装置に送る画像信号の輝度平均値以上の領域と、輝度平均値以下の領域の大きさを調整しており、投影画像において輝度平均値が大きく落ちていないことが分かる。かつその範囲内で高域強調を行う理想に近いフィルタリングを行えており、元画像に最も近いのは今回の発明である式（２）を用いた場合の投影画像である。
なお、式（３）によっても同じ効果が得られることを示す結果を図１０に示す。

図１１は実際にプロジェクタでスクリーンに投影した画像を示す図である。
同図において上段の画像１は３次元物体の写真、下段の画像２は平面画像の写真である。ただし、画像は違いを明確にするため若干強調して示してある。
画像１では、画像処理手段なしのぼけた画像と比較して、従来のフィルタ（式（ｂ））、今回発明した非線形適応フィルタ（式（２））共に投射光学系によるコントラスト低下が補正され、くっきりした画像が得られていることが分かる。画像１のような中間調の画像に対しては従来のフィルタ（式（ｂ））と今回発明した非線形適応フィルタ（式（２））の両者とも同じ効果となる。
しかし、コントラストの高い画像２においては、従来のフィルタ（式（ｂ））では文字の回りにノイズ（リンキング）が生じているのが分かる。これは空間光変調装置のダイナミックレンジの最大値より上の部分と下の部分を飽和させてしまったために生じる歪みである。それに比較して、今回の発明である非線形適応フィルタ（式（２））では、画像処理手段なしと比較して、若干コントラストが高く、かつ歪みがない。つまり、空間光変調装置のダイナミックレンジを最大限に引き出す理想的な動作を行っている事が分かる。

実施例１においては非線形適応フィルタの繰り返し計算が１０回程度必要であったため、計算量が従来の線形逆フィルタに比べて大きいことが回路規模の面から問題となる可能性がある。そこで、繰り返し計算回数の低減のため、式（ｂ）に示した線形逆フィルタを前段に持ち、非線形適応フィルタの出力画像情報の初期値に、線形逆フィルタの出力画像情報を用いる構成が有効である。線形逆フィルタを前段に持つことで後段の非線形適応フィルタでの繰り返し計算回数を１から３回程度にすることが可能であり、計算量、つまり回路規模を大きく削減できる。

図１２は本実施例の画像処理手段の構成図である。
同図において符号１６２は線形逆フィルタを示す。
図１３は線形逆フィルタの構成図である。
同図において符号８０は畳み込み積分演算器、８１は上限・下限リミッタをそれぞれ示す。
図１２において、非線形適応フィルタ１６１は式（２）または式（３）で示されるフィルタであり、線形逆フィルタ１６２は式（ａ）で表されるフィルタである。非線形適応フィルタ１６１の出力画像情報初期値を線形逆フィルタ１６２により求める。なお、図１３に線形逆フィルタの構成図を示す。式（ａ）を計算するため畳み込み積分演算器８０と、上限・下限リミッタ８１を有する。

図１４は画像処理手段のフローチャートである。
それぞれの変数に値を代入した後、まずは式（ｂ）の計算を行い、線形逆フィルタ処理を行う。その後、式（２）または式（３）を指定回数計算する。これにより最終的にｆにフィルタ結果が代入される。最後にfを出力して修了する。この方法では、繰り返し回数（上記の指定回数）は２回程度で十分な結果が得られ、大きな計算量削減効果がある。

カラー画像に対してさらなる計算量削減のためには、それぞれＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）に関して式（２）または式（３）などの適応非線形フィルタを演算するのではなく、人間の眼は色情報には鈍感なことを利用してＲＧＢ情報を輝度・色差情報に変換し、輝度情報のみに式（２）または式（３）などの適応非線形フィルタを掛けた後ＲＧＢに戻す方法を用いると、計算量がＲＧＢ独立に計算をした場合と比較して三分の一で済み、大きな計算量削減効果がある。

図１５は画像とスクリーンの対応する座標に関して説明するための図である。
式（１）または式（２）または式（３）の右辺には、投影画像のレプリカの項があるが、ここに画像を投影するスクリーンの効果を入れても良い。例えば、スクリーンが一様な白面ではなく模様がある場合などには、この項にスクリーンの反射率を乗することでスクリーンの模様をキャンセルする投影画像を作ることが出来る。
以上の効果を持つ式（２）の改良式（６）を以下に示す。

以上の効果を持つ式（３）の改良式（７）を以下に示す。

ここで、ｓ（ｘ，ｙ）は空間光変調装置の各座標に対応するスクリーン上の座標の反射率である。空間光変調装置３に形成された画像は、投射光学系によりスクリーン５上に拡大されて投影される。ここでスクリーン上のある座標を（ｘ’，ｙ’）とすると、対応する空間光変調装置の座標も（ｘ，ｙ）と一意に決まる。式（６）中のｓ（ｘ，ｙ）は座標（ｘ’，ｙ’）におけるスクリーンの反射率である。
もちろんスクリーンの模様に色が付いている場合にはそれぞれＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）などで、異なる反射率ｓ（ｘ，ｙ）を用いてＲ，Ｇ，Ｂ毎に計算を行えば色の付いた模様も補正が可能である。

スクリーンの反射率ｓ（ｘ，ｙ）を求めるために、プロジェクタにカメラを設置し、プロジェクタより投影した画像を、カメラで取り込み解析しスクリーンの反射率を計算により求めても良い。
本手法を用いると、空間光変調装置のダイナミックレンジを最大限に活かし、スクリーンの模様の補正・投射光学系の補正を含んだ画像信号を得ることが出来る。そのため、模様がある壁や、色の付いた壁などにも元画像を忠実に投影することが出来る。

本発明の第一の実施形態である画像投影装置の構成図である。 画像情報のフィルタによる変化を説明する図である。 サンプル画像に対する画像処理の結果を説明するための図である。 ２次元画像としての投影結果を示す図である。 非線形適応フィルタを用いた画像処理装置の構成図である。 式（２）を用いた非線形適応フィルタの構成図である。 式（３）を用いた非線形適応フィルタの構成図である。 画像処理手段のフローチャートである。 実施例１式（２）による効果を説明するための図である。 実施例１式（３）による効果を説明するための図である。 実際にプロジェクタでスクリーンに投影した画像を示す図である。 本実施例の画像処理手段の構成図である。 線形逆フィルタの構成図である。 画像処理手段のフローチャート図である。 画像とスクリーンの対応する座標に関して説明するための図である。

符号の説明

１ 光源
２ ロッドインテグレータ
３ 空間光変調装置
４ 投射レンズ
５ スクリーン
１１ 画像処理装置
１２ 画像生成手段
１６ 画像処理手段

Claims (14)

1. 照明光学系から光束を出射する工程と、画像処理装置に入力された元画像情報である入力画像情報を処理して投影画像の出力画像情報を生成する画像情報処理工程と、この生成処理された前記出力画像情報に基づいて、前記光束を空間変調する工程と、空間変調された前記光束を投射光学系によりスクリーンに投影して投影画像を形成する工程を少なくとも有する画像投影方法であって、
   前記画像情報処理工程は、前記入力画像情報の空間周波数成分の高域を強調する第１の補正工程と、該第１の補正工程による補正演算を受けた単一の空間周波数を持つ該入力画像情報に対して、前記スクリーンの投射領域における前記出力画像情報の輝度平均値と前記入力画像情報の輝度平均値との差を計算上予測する工程を備え、前記スクリーンにおける前記出力画像情報の輝度平均値が前記入力画像情報の輝度平均値よりも低いと計算上予測される場合には、前記入力画像情報の輝度の平均値以上の輝度を持つ前記投射領域を増大させる補正演算を行い、前記スクリーンにおける前記出力画像情報の輝度平均値が前記入力画像情報の輝度平均値よりも高いと計算上予測される場合には、前記入力画像情報の輝度の平均値以下の輝度を持つ前記投射領域を増大させる補正演算をする第２の補正工程と、前記第１の補正工程の結果に応じて、前記第２の補正工程のうち、平均値以上の輝度を持つ前記投射領域を増大させる補正演算を行うか、又は平均値以下の輝度を持つ投射領域を増大させる補正演算を行って、前記出力画像情報を生成する出力画像情報生成工程を有することを特徴とする画像投影方法。
2. 請求項１に記載の画像投影方法において、前記画像情報処理工程は、前記第１の補正工程による前記スクリーンにおける前記投影画像の前記出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成工程と、前記画像情報処理工程において求めた前記入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の除算に基づく第１の画像情報を生成する第１の画像情報生成工程と、前記第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成工程と、第２の画像情報の輝度と、前記出力画像情報の輝度について画素毎の積に基づき、前記出力画像情報を更新する前記出力画像情報生成工程と、を有することを特徴とする画像投影方法。
3. 請求項２に記載の画像投影方法において、前記出力画像情報生成工程は、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程を有することを特徴とする画像投影方法。
4. 請求項１に記載の画像投影方法において、前記画像情報処理工程は、前記第１の補正工程による前記スクリーンにおける前記投影画像の前記出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成工程を有し、前記画像情報処理工程は、前記画像情報処理工程により求めた前記入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の減算に基づく第１の画像情報を生成する第１の画像情報生成工程と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成工程と、第２の画像情報の輝度と、前記出力画像情報の輝度についての画素毎の和に基づき、前記出力画像情報を更新する前記出力画像情報生成工程と、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット工程、の少なくともどちらか一つを有することを特徴とする画像投影方法。
5. 請求項２ないし請求項４のいずれか１つに記載の画像投影方法において、前記画像情報処理工程は、前記レプリカ画像情報作成工程の前段に、前記画像処理装置に入力された前記入力画像情報と前記レプリカ画像情報とを比較する工程と、前記投射光学系の点像分布関数に対する逆特性を持つフィルタ係数の畳み込み演算により前記出力画像情報の初期値を求める出力画像情報初期値生成工程と、前記出力画像情報初期値の輝度のうち、規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット工程、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット工程、の少なくともどちらか一つを有することを特徴とする画像投影方法。
6. 請求項２ないし請求項５のいずれか１つに記載の画像投影方法において、前記レプリカ画像情報作成工程は、前記スクリーン上の各座標における前記レプリカ画像情報の輝度と、対応した座標における前記スクリーンの反射率の積に基づき、修正された前記レプリカ画像情報を求めることを特徴とする画像投影方法。
7. 請求項２ないし請求項５のいずれか１つに記載の画像投影方法において、前記点像分布関数は、前記スクリーン上の座標により異なる関数であることを特徴とする画像投影方法。
8. 光束を出射する照明光学系と、画像情報を処理する画像処理装置と、該画像処理装置で処理された画像情報に基づいて前記照明光学系から出射された光束を変調する光変調装置と、前記光変調装置で空間変調された光束をスクリーンに投影して投影画像を形成する投射光学系とを有する画像投影装置であって、前記スクリーンにおける投影画像の出力画像情報を、該出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成手段を有し、前記画像処理装置は、前記画像処理装置への入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の除算に基づく第１の画像情報を生成する第１の画像情報生成手段と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成手段と、第２の画像情報の輝度と、前記出力画像情報の輝度について画素毎の積に基づき、前記出力画像情報を更新する出力画像情報生成手段と、を有することを特徴とする画像投影装置。
9. 請求項８に記載の画像投影装置において、前記出力画像情報生成手段は、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段を有することを特徴とする画像投影装置。
10. 光束を出射する照明光学系と、画像情報を処理する画像処理装置と、該画像処理装置で処理された画像情報に基づいて前記照明光学系から出射された光束を変調する光変調装置と、前記光変調装置で空間変調された光束をスクリーンに投影して投影画像を形成する投射光学系とを有する画像投影装置であって、前記スクリーンにおける投影画像の出力画像情報を、前記出力画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づき、レプリカ画像情報として求めるレプリカ画像情報作成手段を有し、前記画像処理装置は、前記画像処理装置への入力画像情報の輝度より、前記レプリカ画像情報の輝度の画素毎の減算に基づく第１の画像情報を生成する第１の画像情報生成手段と、第１の画像情報の輝度と、前記投射光学系の点像分布関数の畳み込み積分に基づく第２の画像情報を得る第２の画像情報生成手段と、第２の画像情報の輝度と、前記出力画像情報の輝度についての画素毎の和に基づき、前記出力画像情報を更新する出力画像情報生成手段と、前記出力画像情報に対して規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット手段、の少なくともどちらか一つを有することを特徴とする画像投影装置。
11. 請求項８ないし請求項１０のいずれか１つに記載の画像投影装置において、前記画像処理装置は、前記レプリカ画像情報作成手段の前段に、前記画像処理装置への前記入力画像情報と、前記投射光学系の点像分布関数に対する逆特性を持つフィルタ係数の畳み込み演算により前記出力画像情報の初期値を求める出力画像情報初期値生成手段と、前記出力画像情報初期値の輝度のうち、規定最大値以上の輝度を有する画素の輝度を規定最大値に修正する最大リミット手段、または規定最小値以下の輝度を有する画素の輝度を規定最小値に修正する最小リミット手段、の少なくともどちらか一つを有することを特徴とする画像投影装置。
12. 請求項８ないし請求項１１のいずれか１つに記載の画像投影装置において、前記レプリカ画像情報作成手段は、前記スクリーン上の各座標における前記レプリカ画像情報の輝度と、対応した座標における前記スクリーンの反射率の積に基づき、修正された前記レプリカ画像情報を求めることを特徴とする画像投影装置。
13. 請求項８ないし請求項１２のいずれか１つに記載の画像投影装置において、前記点像分布関数は、前記スクリーン上の座標により異なる関数であることを特徴とする画像投影装置。
14. 請求項８に記載の画像投影装置において、前記出力画像情報生成手段は、前記除算を行うための数値テーブルを有することを特徴とする画像投影装置。

Images