JPWO2016075744A1 - プロジェクタ及び映像表示方法 - Google Patents

Abstract

プロジェクタ１は、入力された映像信号に映像処理を行う映像処理部１０と、映像処理部で映像処理した映像信号を入力して光学像を生成する映像表示素子２２と、映像表示素子で生成した光学像を投射面に投射する投射光学系２３と、を備える。映像処理部１０は、投射光学系２３により投射される映像のボヤケを低減するための映像補正部１２を有し、映像補正部１２では映像信号の黒輝度レベルを変更する。

Description

本発明は、映像を投射面に投射して表示するプロジェクタ及び映像表示方法に係り、特に投射する映像のボヤケを好適に低減する技術に関する。

一般的にプロジェクタは、例えば机や天井などの水平面に設置し、壁などの垂直な面に取り付けられたスクリーンへ映像を投射する。この場合、スクリーン上で鮮明な映像が投射できるようにプロジェクタの姿勢等が調整されている。

ただし、全てのプロジェクタが、設置面とスクリーン面が垂直な関係となるよう設置できる訳ではない。例えば、階段状の広い講堂に設置する場合、天井に設置されたプロジェクタは、見下ろすように講堂正面のスクリーンへ投射される為、映像は台形状に歪む。また、ミーティングルーム等で使用する携帯型プロジェクタは、机上より投射することが多いが、必ずしも垂直な壁面へ投射できる訳ではなく、同様に歪んで表示されることが多い。この歪みなくし矩形状となるよう調整する手法が台形補正(キーストーン補正)である。台形補正においては、投射する映像信号に対し縮小または拡大などの幾何変換操作を行うことで、台形状の映像を矩形状へと変換するものである。

前記台形補正の際、特に縮小変換では部分的に解像度が低下するため、幾何ボヤケが生じる。この幾何ボヤケを改善する手法としてシャープネス処理が挙げられる。これに関連し特許文献１には、台形補正の際の拡大・縮小操作の幾何的ボヤケをシャープネス処理にて低減する技術が開示される。具体的には、画面を複数の領域に分割し、分割領域ごとにシャープネス調整の調整値を設定し、この調整値に基づいて各領域のシャープネス調整を行うことが述べられている。

特開２０１１−７７９７１号公報

プロジェクタのレンズは、スクリーンまでの距離と投射する角度が適切であれば（以降、基準設定と呼ぶ）、スクリーン上で一様に焦点が合うように設計されている。しかし、プロジェクタとスクリーンを基準設定から外れて設置して台形補正を行なった場合、矩形内の映像のうち、レンズの被写界深度を超えた部分の映像は、焦点ズレによるボヤケが生じる。すなわち、台形補正を行っても好適な映像が得られる範囲は著しく限定される。また、基準設定であってもレンズの設計または精度が適切でないと、画面端部では画面中央部との投射距離差や収差を要因としてボヤケが生じるといった課題がある。

台形補正を行う際の投射距離差によるボヤケについては、投射した映像の画面端部で投射角度が急峻となる超短投射プロジェクタや広角の短投射プロジェクタでは特に顕著である。また、最近ではスクリーンや壁といった平面への投射だけでなく、プロジェクションマッピングと呼ばれる建造物等の曲面を含む立体物への投射が行われることも多い。立体物への投射では、奥行きによる焦点距離の差が生じるため、被写界深度以上の距離差が有ると、焦点ズレによるボヤケが生じるといった課題がある。

このような被写界深度を超えた焦点ズレにより生じるボヤケは、特許文献１が採用するシャープネス補正によっては根本的に解決することができない。なぜなら、シャープネス補正では、映像信号の空間的な解像度を改善させることはできるが、プロジェクタの投射光学系のもつ焦点ズレといった光学的な解像度を改善させることはできないからである。

本発明は、上記課題に鑑み、レンズの焦点ズレといった投射光学系の解像度が要因となる映像ボヤケを好適に低減するプロジェクタ及び映像表示方法を提供することである。

本発明は、映像を投射面に投射して表示するプロジェクタにおいて、入力された映像信号に映像処理を行う映像処理部と、映像処理部で映像処理した映像信号を入力して光学像を生成する映像表示素子と、映像表示素子で生成した光学像を投射面に投射する投射光学系と、を備え、映像処理部は、投射光学系により投射される映像のボヤケを低減するための映像補正部を有し、映像補正部では映像信号の黒輝度レベルを変更することを特徴とする。

また本発明は、映像を投射面に投射して表示する映像表示方法において、入力された映像信号に映像処理を行う映像処理ステップと、映像処理した映像信号を入力し映像表示素子にて光学像を生成する光学像生成ステップと、生成した光学像を投射光学系により投射面に投射する投射ステップと、を備え、映像処理ステップでは、投射光学系により投射される映像のボヤケを低減するため、映像信号の黒輝度レベルを変更する映像補正機能を有することを特徴とする。

本発明によれば、レンズの焦点ズレといった投射光学系の解像度が要因となる映像ボヤケを好適に低減することができる。

実施例１におけるプロジェクタの構成を示す図。 図１における映像補正部の構成を示す図。 凸レンズによる焦点と実像の関係を説明する図。 プロジェクタにおける投射映像の原理を示す図。 プロジェクタによるボヤケ映像の発生を示す図。 ガウス分布を示す図。 ＬｏＧ分布（ガウス分布の２次微分）を示す図。 実施例１における映像信号の補正方法を説明する図。 補正なしでボヤケが発生する状態を示す図。 オフセットとゲイン調整の効果を示す図。 ボヤケ低減のメニュー表示の例を示す図。 ブライトネス調整のメニュー表示の例を示す図。 ブライトネス調整単独による入出力特性例を説明する図。 ボヤケ低減機能と連動させたブライトネス調整の入出力特性例を説明する図。 実施例２における映像補正部の構成を示す図。 実施例３における映像補正部の構成を示す図。 各レンズ位置におけるＰＳＦデータを示す図。 実施例４における映像補正部の構成を示す図。 実施例５における映像補正部の構成を示す図。 レンズシフトにおけるＰＳＦデータを示す図。 実施例６における映像補正部の構成を示す図。 プロジェクタの内部映像の例を示す図（台形補正なし）。 図１７Ａの映像をプロジェクタ光軸に仰角を加えて投射した映像を示す図。 プロジェクタの内部映像の例を示す図（台形補正あり）。 図１７Ａの映像をプロジェクタ光軸に仰角を加えて投射した映像を示す図。 プロジェクタから光軸に垂直な投射面へ投射した際の光線図。 プロジェクタから光軸に仰角θを加えて投射した際の光線図。 映像補正部を外部映像装置で構成した場合を示す図。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

実施例１では、逆拡散過程演算による解像度復元処理を行うプロジェクタについて説明する。

図１は、実施例１におけるプロジェクタの構成を示す図である。プロジェクタ１は、放送波やＰＣから出力される映像入力信号１００を入力とし、映像信号の処理を行う映像処理部１０と、映像表示素子である液晶パネルに表示制御信号１０３を入力し、投射映像２０３を生成して投射面であるスクリーン２に投射表示する光学ユニット２０で構成される。

映像処理部１０は、映像入力信号１００を入力し、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ、キーストーン補正等により内部映像信号１０１に変換する入力信号処理部１１と、内部映像信号１０１を入力し、後述する逆拡散過程演算による解像度復元処理を行い補正映像信号１０２に変換する映像補正部１２と、補正映像信号１０２を入力し、表示画面の水平・垂直同期信号に基づいて表示制御信号１０３を生成するタイミング制御部１３で構成される。

光学ユニット２０は、照明光２０１を発生する光源（ランプ）２１と、映像処理部１０より出力される表示制御信号１０３を入力し、照明光２０１の階調を画素毎に調整して光学像２０２を生成する映像表示素子としての液晶パネル（ＬＣＤ）２２と、液晶パネル２２で生成された光学像２０２の焦点を調整して投射映像２０３をスクリーン２へ投射する投射光学系としてのレンズ２３で構成される。

さらにプロジェクタ１には、投射する映像の明るさ（ブライトネス）、コントラスト、色合い、キーストーン等の調整、入力信号切替などをユーザが操作するためのメニュー画面を表示する機能を有し、ユーザの操作に基づいて、図示しない制御部により各部の機能を制御する構成としている。

図２は、図１における映像補正部１２の構成を示す図である。映像補正部３０（図１の符号１２に対応）は、光学ユニット２０からスクリーン２に至る投射光学系において、入力信号と一致する画素位置３０１を取得する位置取得部３１と、映像信号中の各画素がレンズ２３を通しスクリーン２へ投射される際に、映像光線がレンズ上で交わる位置３０２を算出する幾何演算部３２と、レンズ上の位置３０２よりボヤケ量３０３を算出するボヤケ量算出部３３と、内部映像信号１０１とボヤケ量３０３により逆拡散演算を行う解像度復元部３４で構成される。

幾何演算部３２は、ＬＣＤ２２上の画素位置３０１と設定されたフォーカス及びズームより想定される光軸の距離から、ガウスの結像公式により光線がレンズ上で交わる位置３０２を算出する。ガウスの結像公式は、物体からレンズまでの距離をａとし、レンズから実像までの距離をｂとし、焦点をｆとすると数式１で表される。

図３は、凸レンズによる焦点と実像の関係を説明する図である。図のように、レンズ４０の焦点ｆと物体４１の位置ａが与えられると、実像４２までの距離ｂは数式１で決定される。プロジェクタの場合、物体４１はＬＣＤ２２上の映像、実像４２はスクリーン２に投射される映像である。

図４Ａは、プロジェクタにおける投射映像の原理を示す図である。プロジェクタ１の映像は、ランプ２１より生じる照明光が、ＬＣＤ２２を通して映像となる。この映像は、レンズ２３のフォーカスやズーム機能を用いて、スクリーン２の大きさと位置に合わせ結像される。図中のＬＣＤ映像５１は、画面中央に点Ｐ１を表示したものとする。この点Ｐ１はスクリーン２上では、スクリーン映像５２のように点Ｐ２として結像される。そのとき、スクリーン２が被写界深度Ｄの範囲内にある場合は、映像ボヤケを感じることはない。

図４Ｂは、プロジェクタによるボヤケ映像の発生を示す図である。スクリーン２が被写界深度Ｄの範囲外にある場合、ＬＣＤ映像５１の点Ｐ１は、スクリーン２上ではスクリーン映像５２’のように広がった点Ｐ２’として結像される。これが映像ボヤケの原因となる。

ここで、カメラにおける撮像ボヤケについて説明する。例えば、デジタルカメラで焦点ズレを起こした映像を想定する。光はデジタルカメラのレンズを通し、焦点がずれることで拡散され、ＣＣＤ（Charge Coupled Device）撮像素子へ到達した際、ボヤケの生じた映像となる。

このようにしてボヤケが発生した映像の復元方法について説明する。入力する実際の映像（原映像）をＩ_ｏ（ｘ，ｙ）、撮影されたボヤケ映像をＩ（ｘ，ｙ）、ボヤケの過程をＫ^ｔとすると、これらの関係は数式２で表される。ここで、数式２で示されるボヤケ発生の過程を拡散過程と呼ぶ。

撮影されたボヤケ映像Ｉ（ｘ，ｙ）は、数式２の拡散過程を逆に辿ることで実際の映像（原映像）へと復元される。この関係は数式３で表され、拡散過程を逆に辿る過程を逆拡散過程と呼ぶ。

逆拡散過程を解く手法はいくつかある。例えば、図４Ｂの点Ｐ２’のように広がってしまう分布を関数化したものは点拡散関数（ＰＳＦ：Point Spread Function）と呼ばれる。該ＰＳＦをＰ（ｘ，ｙ）とすると、拡散過程は数式４となる。

ここで、ＰＳＦと映像信号の演算をコンボリューション積と呼び、一般に関数ｆ（ｘ，ｙ）と関数ｇ（ｘ，ｙ）のコンボリューション積は数式５のように表される。

コンボリューション積をフーリエ変換すると乗算で表されることに着目し、数式４の両辺をフーリエ変換すると数式６となる。

式中の上線はフーリエ変換を示す。数式６をＰ（ｘ，ｙ）（上線付）で除算後、逆フーリエ変換を施すことにより、元の実際の映像Ｉ_０（ｘ，ｙ）が得られる。

他の手法として、ガウス分布を用いる方法がある。図５は、ガウス分布を示す図であり、一般的なピンホール等の光の放射照度分布は、光軸に対しガウス分布の特性を示す。数式２の拡散過程Ｋ^ｔがガウス分布Ｇ_ｔ（ｘ，ｙ）に従うとすると、数式２は数式７となる。

ここで、Q.Li、Y.Yoshida等が考案したMulitiscale Decomposition処理（Q.Li, Y.Yoshida, N.Nakamori, “A Multiscale Antidiffusion and Restoration Approach for Gaussian Blurred Images”, Proc. IEICE Trans. Fundamentals, 1998）を行うと、実際の映像Ｉ_０（ｘ，ｙ）は数式８のように分解される。

式中の、ガウス分布の２次微分をＬｏＧ（Laplacian of Gaussian）と呼び、数式９のように表される。また図６は、ＬｏＧ分布を示す図である。

さらに、ガウス分布におけるスケールすなわち標準偏差σは、数式１０に従うとして数式８へ代入すると、逆拡散過程が数式１１のようになり、実際の映像Ｉ_０（ｘ，ｙ）が得られる。

以上のように、コンボリューション積で表現されたボヤケ映像を復元する手法をデコンボリューションと呼び、カメラにおける撮像ボヤケの復元に有効となる。

続いて、プロジェクタ１におけるボヤケ映像の復元について説明する。カメラの場合は、撮影する映像信号中にレンズの焦点ズレによる拡散過程が含まれているが、プロジェクタの場合は、映像信号を光学系へと変換した後にレンズで拡散過程が行われる。

そこで、映像補正部３０による補正映像をＩ_Ｃとし、光学系におけるレンズの拡散演算Ｋ^ｔが成された結果、ボヤケのない理想映像Ｉ_０がスクリーンへ投射されるようにする。すなわちこれらの関係は、数式１２のように表される。

ここで、プロジェクタへ入力される映像はＩ_０であることから、Ｉ_Ｃは数式１３を満たさなければならない。

これは、数式３において、Ｉ（ｘ，ｙ）をＩ_０（ｘ，ｙ）とした場合の演算に等しい。すなわち、映像補正部３０の解像度復元部３４では、原映像Ｉ_０（ｘ，ｙ）に対し予め逆拡散過程演算Ｋ^−ｔを行うことで、投射映像２０３の焦点ズレによるボヤケを低減することができる。ただし、ボヤケのない理想映像に対する逆拡散過程演算Ｋ^−ｔは過補正となるため、信号レベルに負値が生じる。この負値対応として、後述するようにゲインαとオフセットβによる補正を導入する。

図７Ａ、図７Ｂ、図７Ｃを用いて映像補正部３０の補正方法を説明する。
図７Ａは、実施例１における映像信号の補正方法を説明する図である。この図では、映像補正部３０への入力映像Ｉ_０、映像補正部３００からの補正映像Ｉ_Ｃ、スクリーン２における投射映像Ｉ_Ｓについて、入力映像Ｉ_０を点映像とした場合の水平位置での輝度レベルを表示している。

補正映像Ｉ_Ｃのグラフは数式１３を用いて算出した輝度レベルを表し、投射映像Ｉ_Ｓのグラフは補正映像Ｉ_Ｃに対し、ボヤケの割合を想定したガウス分布（すなわちＰＳＦ）を重畳した輝度レベルを表す。このように算出した補正映像Ｉ_Ｃが実現可能であれば、入力映像Ｉ_０の輝度分布に近い投射映像Ｉ_Ｓを得ることができる。

図７Ｂは、比較のために補正なしでボヤケが発生する状態を示す図である。（ａ）のグラフは、図４ＢにおけるＬＣＤ２２に入力される映像５１の輝度分布（輝度レベル）を示している。この映像は映像補正部３０での補正がなされないから、入力映像Ｉ_０に等しい。（ｂ）のグラフは、図４Ｂにおけるスクリーン２に映し出されたボヤケ映像５２’の輝度分布（輝度値）を示している。スクリーン２上での輝度値は、面輝度計等により計測されるものである。このように、ＬＣＤ２２での入力映像５１はスクリーン２上の投射映像５２’ではガウス分布状に広がり、ボヤケが生じる。

ところで、数式１３を用いて算出される補正映像Ｉ_Ｃは、図７Ａに示すように輝度レベルに負値を含んでいる。しかし、映像信号を光学系へと変換する際に、映像信号の負値を光の強度では表現できない。そこで、数式１４のようにゲインαとオフセットβの補正を導入することで、高ダイナミックレンジとマイナス補正を表現するようにした。これを図７Ａで示すと、縦軸の輝度レベル分布をオフセットβだけ正側に移動させて、輝度レベルが正値のみを取るようにした。また、ゲインをαだけ調整して、元の輝度レベルに合わせるようにした。

図７Ｃは、補正におけるオフセットとゲイン調整の効果を示す図である。（ａ）のグラフは、ＬＣＤ２２に入力される映像５１’、すなわち補正映像Ｉ_Ｃの輝度レベルを示している。入力する補正映像信号Ｉ_Ｃは、負値を表現するための黒輝度レベルはオフセットβ分だけ持ち上げ、またゲインαを調整して白輝度レベルを合わせている。

（ｂ）のグラフは、スクリーン２に映し出された映像５２（投射映像Ｉ_Ｓ）の輝度分布（輝度値）を示している。逆拡散演算を含む補正によりスクリーン上のボヤケを低減している。その際、オフセットとゲイン調整を導入したことで、黒輝度値が持ち上がるとともにダイナミックレンジの高い映像が得られる効果がある。

図２の解像度復元部３４は、数式１４に基づく逆拡散演算を行う。また、ボヤケ量算出部３３は、拡散過程がガウス分布に従う場合は、ボヤケ量を標準偏差として求める。標準偏差は、図４Ｂのように焦点ズレが起こった位置で、光軸上のＰＳＦを面輝度計にて測定もしくはレンズの光学特性より求め、各画面の投射距離に応じて線形補間することで近似してもよい。以上がプロジェクタにおける映像ボヤケの低減方法である。

次に、本実施例のボヤケ低減機能をプロジェクタのメニュー機能に追加した例について説明する。プロジェクタのメニュー機能としては、例えば画面の明るさ、コントラスト、色合い、キーストーンの調整や、入力切替等をユーザが選択設定するために設けている。

図８Ａは、ボヤケ低減のメニュー表示の例を示す図である。例えば本機能の名称を「ぼやけ除去」６１とし、いくつかの選択肢を設ける。数式１４におけるゲインαの理想値をａ、オフセットβの理想値をｂとするとき、選択肢が「強」の場合はボヤケ低減機能を動作させ（オン）、そのときのオフセットβを理想値のｂ、ゲインαを１／（ａ＋ｂ）とする。また、「中」の場合は、β＝０．５ｂ、α＝１／（ａ＋ｂ＋０．５ｂ）とし、「弱」の場合は、β＝０．２５ｂ、α＝１／（ａ＋ｂ＋０．７５ｂ）とする。「切」の場合は、ボヤケ低減機能を動作させない（オフ）。これによりユーザは、映像の種類や投射環境に応じて、所望レベルでボヤケ低減機能を実行させることができる。

続いて、ボヤケ低減機能を他の映像処理機能と連動させることも可能で、ブライトネス調整と連動させた例を図８Ｂ、図９Ａ，Ｂで説明する。ブライトネスは画面映像の輝度を調整する機能であり、調整は「明るく」もしくは「暗く」することができる。この調整では、光源の輝度値を調整する（調光する）方式と、光源の輝度は変えずに映像信号処理で輝度レベルを調整する方式がある。ここでは、後者の映像信号処理で輝度レベルを調整する方式について説明する。

図８Ｂは、ブライトネス調整のメニュー表示の例を示す図である。例えば本機能の名称を「ブライトネス」６２とし、ブライトネスの調整レベルは通常正負があり、例として＋３０から−３０まで段階的に調整できるものとする。ブライトネスの調整においても、映像信号の輝度レベルの変更を行う。

図９Ａは、ブライトネス調整単独による映像信号の入出力特性例を説明する図である。すなわち、図８Ａのボヤケ低減機能を動作させない場合（ボヤケ除去＝「切」を選択）である。図中のβ’はブライトネス調整レベルを表し、図８Ｂの調整レベルにて設定する。（ａ）はブライトネスを正方向すなわち映像を明るくする方向へ調整する場合、（ｂ）は負方向すなわち暗くする方向へ調整する場合である。これらの調整は、ブライトネス調整レベルβ’に対し、出力輝度レベル＝入力輝度レベル＋β’の関係が成り立っている。

図９Ｂは、ボヤケ低減機能と連動させたブライトネス調整の入出力特性例を説明する図である。すなわち、図８Ａのボヤケ低減機能を動作させた場合（ボヤケ除去＝「強」「中」「弱」を選択）である。この場合、図９Ａにおけるブライトネス調整レベルβ’に、図７Ａでの映像信号補正に用いたオフセット値βを連動させて、出力輝度レベルを決定する。

（ａ）は正方向のブライトネス調整β’と連動させた場合であるが、ブライトネス調整とボヤケ低減機能は同様の処理となるため、二重に適用することのないようにβ’とβとの大きい方の値を採用する。すなわち、オフセット値βがブライトネス調整レベルβ’より大きい場合はβを採用し、逆に、β’がβより大きい場合はβ’を採用する。（ｂ）は負方向のブライトネス調整β’と連動させた場合であるが、ボヤケ低減機能を実行するため、オフセット値βを優先して採用する。（ａ）と（ｂ）いずれの場合でも、オフセット値βがブライトネス調整の下限値となる。

上記したブライトネス調整、及びボヤケ低減機能と連動させたブライトネス調整の各機能は、プロジェクタの制御部が、前記メニュー機能に対するユーザ設定状態に応じて適宜切り替えて実行させる。

以上、ブライトネス調整を例にして説明したが、例えば映像のコントラスト調整すなわち入出力直線の傾き調整に関しても同様である。すなわち、コントラストの調整レベルα’が本実施例のゲイン値αより大きければα’を、本実施例のゲイン値αがコントラストの調整レベルα’より大きければαを採用する。すなわち本実施例のゲイン値αがコントラストの調整レベルの下限値となる。

実施例１の構成によれば、レンズの焦点ズレによる映像ボヤケを好適に低減するプロジェクタを提供することができる。

実施例１では、逆拡散演算による解像度復元処理を備えるプロジェクタの構成について説明した。実施例２では、さらに、逆拡散過程演算による映像信号の輝度レベル補正と、投射光学系適用後の輝度値すなわち照射輝度値とをマッチングすることで、逆拡散演算精度を向上する構成について説明する。

図１０は、実施例２におけるプロジェクタの映像補正部３０（１２）の構成を示す図である。実施例１の図２に対し、輝度変換部３５を追加した構成としている。

映像補正部３０は、位置取得部３１と、幾何演算部３２と、ボヤケ量算出部３３の他に、内部映像信号１０１から実効輝度信号３０５へ輝度レベルを変換する輝度変換部３５を追加している。解像度復元部３４は、ボヤケ量３０３と実効輝度信号３０５とにより逆拡散演算を行う。

輝度変換部３５では内部映像信号１０１から実効輝度信号３０５へ輝度レベルを変換するため、変換テーブルを用いる。この変換テーブルは、例えばランプ２１とＬＣＤパネル２２の光学特性（例えばガンマ特性）により作成する、あるいは、輝度放射分光輝度計等にてＲ，Ｇ，Ｂすべての階調を測定することで作成する。

ここで、内部映像信号１０１から照射輝度値への変換演算をＬとする。解像度復元部３４では、逆拡散演算とレンズによる拡散効果を同じ特性にて演算するため、内部映像信号１０１に対しＬの逆変換を施す。これが上記の変換テーブルとなる。その結果、数式１４に対しＬの逆変換Ｌ^−１を追加した演算式は数式１５となる。

実施例２の構成によれば、ガンマ特性等により内部映像信号と照射輝度の差が大きいプロジェクタにおいて、レンズの焦点ズレによる映像ボヤケの低減の精度を向上させることができる。

実施例３では、実施例１の構成において、レンズのボヤケ量をデータテーブル化することで逆拡散演算の精度を向上する構成について説明する。

図１１は、実施例３におけるプロジェクタの映像補正部３０（１２）の構成を示す図である。実施例１の図２において、ボヤケ量算出部３３に代えて、カーネル算出部３６とＰＳＦマップ３７を追加した構成としている。

映像補正部３０は、位置取得部３１と、幾何演算部３２の他に、レンズ位置より予め光学特性に応じて用意されたＰＳＦマップ３７と、ＰＳＦマップ３７より算出されるコンボリューションカーネル３０７を補間し、ボヤケ量３０３として出力するカーネル算出部３６を備える。解像度復元部３４は、内部映像信号１０１とボヤケ量３０３により逆拡散演算を行う。

実施例１では凸レンズを例に挙げて、光軸に平行な光がレンズを通過した後に焦点で交わることを前提としたため、映像のボヤケは焦点ズレに起因した。ところが、実際のレンズには収差があるため、光が焦点には集まらず、例えば球面収差の場合は円形に広がることがある。収差にはザイデルの５収差や色収差があり、光軸から離れた位置では尾引きや色ずれが起こる。

ここで、ボヤケの情報すなわちスポットダイヤグラムは、レンズの設計データにより予め算出、もしくは観測できる。そこで、各レンズ位置におけるＰＳＦをデータテーブル（ＰＳＦマップ３７）へマップしておく。

この内、関数化できるものは係数をデータテーブルへマップし、複雑な特性のものはコンボリューションカーネルのままマップする。ただし、すべてのレンズ上の画素位置でこの情報を保持すると、データ量が増大するため、例えば対称性があれば対称の部分を削除する。また、図１２に示すように、中心と頂点及び水平軸、垂直軸と矩形の各辺との交点より線形補間することで、データを間引いてもよい。また、色収差が大きい場合には、Ｒ，Ｇ，Ｂの各波長に対し算出したＰＳＦを使用してもよい。

上記のように線形補間することでデータを間引く場合、図１１のＰＳＦマップ３７はＰＳＦがマップされたデータテーブルを保持し、カーネル算出部３６にて間引かれたデータを補間する。また、解像度復元部３４におけるＰＳＦの演算には、数式４、すなわちフーリエ変換を前提とした数式６を用いてもよい。

実施例３の構成によれば、レンズの収差により発生する映像ボヤケの低減の精度を向上することができる。

実施例４では、前記各実施例の構成において、アイリス調整やランプ輝度の調整を追加した場合、また映像ヒストグラムによる動的制御を行う場合について説明する。

図１３は、実施例４におけるプロジェクタの映像補正部３０（１２）の構成を示す図である。ここでは実施例２（図１０）と実施例３（図１１）の構成に対し、さらにヒストグラム取得部３８を設け、またアイリス調整やランプ輝度の調整値３１０を入力する構成とした。

映像補正部３０は、位置取得部３１と、幾何演算部３２と、ＰＳＦマップ３７を用いてボヤケ量３０３を出力するカーネル算出部３６と、内部映像信号１０１から実効輝度信号３０５へ変換する輝度変換部３５の他に、内部映像信号１０１のヒストグラムを取得しヒストグラム情報（頻度情報）３０８を出力するヒストグラム取得部３８を備え、さらに、アイリス調整とランプ輝度の調整値３１０を入力する。解像度復元部３４は、ボヤケ量３０３と実効輝度信号３０５の他に、映像信号のヒストグラム情報３０８とアイリス調整値やランプ輝度調整値３１０を入力し、逆拡散演算を行う。

具体的には、解像度復元部３４は、アイリス調整によりＦ値を上げる、もしくはランプ輝度調整により光量を下げる場合には、照射映像が暗くなるため、数式１５におけるα値及びβ値を下げる。これにより、映像のコントラストが弱まることによるボヤケが生じないようにダイナミックレンジを広げることを優先させる。逆に、アイリス調整によりＦ値を下げる、もしくは輝度調整により光量を上げる場合には、数式１５におけるα値及びβ値を上げ、逆拡散演算によるボヤケの低減機能を優先させる。

また、映像のヒストグラム情報に関しては、白黒２色や高コントラストの２色の頻度が高い場合は、文字や図で構成されるプレゼンテーション用の映像である場合が多いため、数式１５におけるα値及びβ値を上げる。逆に、入力映像が中間調に万遍なく分布している場合は写真等の映像であることが多いので、α値及びβ値を下げることで全体のコントラストを優先させる。

実施例４の構成によれば、アイリスやランプ輝度の調整と、映像のヒストグラム情報を用いて、動的に逆拡散演算のパラメータを設定することで映像ボヤケを効果的に低減することができる。

実施例５では、前記各実施例の構成において、レンズシフト調整による動的制御を行う場合について説明する。

図１４は、実施例５におけるプロジェクタの映像補正部３０（１２）の構成を示す図である。ここでは実施例２（図１０）と実施例３（図１１）の構成に対し、さらにレンズシフトによる映像表示位置情報３１１を入力する構成とした。

映像補正部３０は、位置取得部３１と、幾何演算部３２と、ＰＳＦマップ３７と接続しレンズシフトによる映像表示位置情報３１１を入力するカーネル算出部３６と、内部映像信号１０１から実効輝度信号３０５へ変換する輝度変換部３５を有する。ここにカーネル算出部３６は、ＰＳＦマップ３７とともにレンズシフトによる映像表示位置情報３１１を用いて算出されるコンボリューションカーネル３０７を補間し、ボヤケ量３０３として出力する。解像度復元部３４は、ボヤケ量３０３と実効輝度信号３０５を入力し、逆拡散演算を行う。

前記実施例３（図１１、図１２）では、ボヤケの情報すなわちスポットダイヤグラムは、レンズの設計データにより予め算出もしくは観測して、各レンズ位置におけるＰＳＦをＰＳＦマップ３７へ保存している。本実施例でレンズシフト調整を行う場合は、例えば図１５のように、レンズシフト範囲を包含するＰＳＦマップ３７を用意し、中心と頂点及び水平軸、垂直軸と辺との交点のＰＳＦより、映像表示範囲に限定して線形補間する。

実施例５の構成によれば、レンズシフトに伴う映像ボヤケの低減の精度を向上することができる。

実施例６では、前記各実施例の構成において、台形補正（キーストーン補正）を行う場合について説明する。

図１６は、実施例６におけるプロジェクタの映像補正部３０（１２）の構成を示す図である。ここでは実施例２（図１０）と実施例３（図１１）の構成に対し、さらに、台形補正の設定値３１２を入力する構成とした。

映像補正部３０は、位置取得部３１と、台形補正の設定値３１２を入力する幾何演算部３２と、ＰＳＦマップ３７を用いてボヤケ量３０３を出力するカーネル算出部３６と、内部映像信号１０１から実効輝度信号３０５へ変換する輝度変換部３５とを有する。ここに幾何演算部３２は、映像光線がレンズ上で交わる位置とともに、台形補正の設定値３１２によるスクリーンまでの距離と光軸との距離比とを算出する（符号３０２）。解像度復元部３４は、ボヤケ量３０３と実効輝度信号３０５を入力し、逆拡散演算を行う。

初めに、投射映像における台形歪の補正について図１７と図１８を用いて説明する。
図１７Ａは、プロジェクタ１の内部映像７１の例で台形補正を施さない場合を示す。後述する台形補正を施さない場合、液晶パネル２２上においては入力映像信号１００と同じ矩形状の映像となる。図１７Ｂは、図１７Ａの内部映像７１をプロジェクタ１の光軸に仰角を加えてスクリーン２へ投射した映像７２を示す。この場合、スクリーン２上での映像７２は、上部が台形状に広がり、また上方へと伸びた形状となり、いわゆる台形歪が発生している。

そこで、入力信号処理部１１では、台形歪の発生を抑えるため、入力映像信号１００に対し、映像縦方向を縮小し、かつスクリーン映像と逆の台形映像へと幾何変換する。この補正を台形補正またはキーストーン補正と呼ぶ。台形補正の補正量は、台形歪の大きさに応じて設定する。

図１８Ａは、プロジェクタ１の内部映像７３の例で台形補正を施した場合を示す。矩形状の映像７３のうち台形状の領域７３ａが元の映像で、端部の斜線領域７３ｂは無信号（黒色）である。図１８Ｂは、図１８Ａの映像７３を、プロジェクタ１の光軸に仰角を加えてスクリーン２へ投射した映像７４を示す。ここで、投射映像７４は台形状であるが、端部の斜線領域７４ｂは無信号であるため視認されない。故に、スクリーン２上では元の映像が矩形領域７４ａに表示される。

図１９Ａは、プロジェクタ１からその光軸に垂直な投射面２へ投射した際の光線図である。垂直な投射面２へ投射した場合は、光線が好適に投射され台形歪が発生しないものとする。図１９Ｂは、プロジェクタ１からその光軸に仰角θを加えて投射した際の光線図である。仰角θを加えた投射面２’では、上方に行くほど光線の間隔は広がり、投射距離が長くなることが分かる。

以上の関係から、台形補正の設定により投射面（スクリーン）２がどれだけ傾いているかを推測できる。幾何演算部３２は、台形補正の設定値３１２を入力し、スクリーン２への距離と光軸との距離比とを算出し、これを用いて映像信号中の画素がレンズ２３を通しスクリーン２へ投射される際に、光線がレンズ上で交わる位置３０２を算出する。

前記実施例３（図１１、図１２）では、ボヤケの情報すなわちスポットダイヤグラムは、レンズの設計データにより予め算出もしくは観測して、各レンズ位置におけるＰＳＦをＰＳＦマップ３７へ保存している。本実施例では、カーネル算出部３６おいて、このＰＳＦに対し、スクリーン２への距離差による焦点ズレのＰＳＦ演算を重畳し、例えば線形補間を行う。
実施例６の構成によれば、台形補正に伴って発生する映像ボヤケの低減の精度を向上することができる。

上記各実施例によれば、レンズの焦点ズレといった投射光学系の解像度が要因となる映像ボヤケを好適に低減することができる。これにより、台形補正やプロジェクションマッピング等を行う際の映像ボヤケを好適に低減し、被写界深度以上の距離差がある投射映像でも鮮明に表示できる効果がある。

また各実施例においては、図１のようなプロジェクタの構成に基づき説明したが、図２０に示すように、映像補正部１２’をＰＣのような外部映像装置３で構成し、プロジェクタ１’に接続することもできる。

上記した各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることや、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、以上の実施例ではプロジェクタを例に説明したが、本発明は原理的に同様の構成要素を持つヘッドマウントディスプレイやヘッドアップディスプレイ等の投射光学系機器においても有効である。

１：プロジェクタ、
２：スクリーン（投射面）、
３：外部映像装置、
１０：映像処理部、
１１：入力信号処理部、
１２，３０：映像補正部、
１３：タイミング制御部、
２０：光学ユニット、
２１：光源（ランプ）、
２２：液晶パネル（ＬＣＤ）、
２３：レンズ、
３１：位置取得部、
３２：幾何演算部、
３３：ボヤケ量算出部、
３４：解像度復元部、
３５：輝度変換部、
３６：カーネル算出部、
３７：ＰＳＦマップ、
３８：ヒストグラム取得部。

実施例１におけるプロジェクタの構成を示す図。 図１における映像補正部の構成を示す図。 凸レンズによる焦点と実像の関係を説明する図。 プロジェクタにおける投射映像の原理を示す図。 プロジェクタによるボヤケ映像の発生を示す図。 ガウス分布を示す図。 ＬｏＧ分布（ガウス分布の２次微分）を示す図。 実施例１における映像信号の補正方法を説明する図。 補正なしでボヤケが発生する状態を示す図。 オフセットとゲイン調整の効果を示す図。 ボヤケ低減のメニュー表示の例を示す図。 ブライトネス調整のメニュー表示の例を示す図。 ブライトネス調整単独による入出力特性例を説明する図。 ボヤケ低減機能と連動させたブライトネス調整の入出力特性例を説明する図。 実施例２における映像補正部の構成を示す図。 実施例３における映像補正部の構成を示す図。 各レンズ位置におけるＰＳＦデータを示す図。 実施例４における映像補正部の構成を示す図。 実施例５における映像補正部の構成を示す図。 レンズシフトにおけるＰＳＦデータを示す図。 実施例６における映像補正部の構成を示す図。 プロジェクタの内部映像の例を示す図（台形補正なし）。 図１７Ａの映像をプロジェクタ光軸に仰角を加えて投射した映像を示す図。 プロジェクタの内部映像の例を示す図（台形補正あり）。 図１８Ａの映像をプロジェクタ光軸に仰角を加えて投射した映像を示す図。 プロジェクタから光軸に垂直な投射面へ投射した際の光線図。 プロジェクタから光軸に仰角θを加えて投射した際の光線図。 映像補正部を外部映像装置で構成した場合を示す図。

ここで、Q.Li、Y.Yoshida等が考案したMultiscale Decomposition処理（Q.Li， Y.Yoshida， N.Nakamori， “A Multiscale Antidiffusion and Restoration Approach for Gaussian Blurred Images”， Proc. IEICE Trans. Fundamentals， 1998）を行うと、実際の映像Ｉ_０（ｘ，ｙ）は数式８のように分解される。

図７Ａ、図７Ｂ、図７Ｃを用いて映像補正部３０の補正方法を説明する。
図７Ａは、実施例１における映像信号の補正方法を説明する図である。この図では、映像補正部３０への入力映像Ｉ_０、映像補正部３０からの補正映像Ｉ_Ｃ、スクリーン２における投射映像Ｉ_Ｓについて、入力映像Ｉ_０を点映像とした場合の水平位置での輝度レベルを表示している。

Claims (14)

1. 映像を投射面に投射して表示するプロジェクタにおいて、
   入力された映像信号に映像処理を行う映像処理部と、
   前記映像処理部で映像処理した映像信号を入力して光学像を生成する映像表示素子と、
   該映像表示素子で生成した光学像を前記投射面に投射する投射光学系と、を備え、
   前記映像処理部は、前記投射光学系により投射される映像のボヤケを低減するための映像補正部を有し、該映像補正部では映像信号の黒輝度レベルを変更することを特徴とするプロジェクタ。
2. 請求項１に記載のプロジェクタにおいて、
   前記映像処理部には、さらに、映像のブライトネスを調整するために映像信号の黒輝度レベルを変更する機能を有し、
   前記投射面に表示する映像の状態をユーザが設定するためのメニュー画面を表示し、ユーザ操作に基づいて前記映像処理部を制御する制御部を備え、
   前記メニュー画面には、前記映像ボヤケを低減するために前記映像補正部の動作のオン・オフを設定する第１の設定項目と、前記ブライトネスを調整するために映像信号の黒輝度レベルを設定する第２の設定項目とが含まれており、
   前記制御部は、前記第１の設定項目と前記第２の設定項目のユーザ設定状態に応じて、
   前記第１の設定項目がオフの状態には、前記映像補正部の動作に伴う黒輝度レベルの変更は行わず、前記第２の設定項目に基づいて黒輝度レベルの変更する第１の状態と、
   前記第１の設定項目がオンの状態には、前記映像補正部の動作に伴う黒輝度レベルの変更と前記第２の設定項目に基づく黒輝度レベルの変更とを連動させて映像信号の黒輝度レベルを変更する第２の状態と、
   を切替えることを特徴とするプロジェクタ。
3. 請求項１または２に記載のプロジェクタにおいて、
   前記映像補正部は、
   映像信号中の各画素が前記投射光学系により前記投射面へ投射される際に、前記投射面上に生じる映像のボヤケ量を算出するボヤケ量算出部と、
   前記入力映像信号に対し、逆拡散過程演算を行うことで映像ボヤケを低減し解像度を復元する解像度復元部と、を備えることを特徴とするプロジェクタ。
4. 請求項３に記載のプロジェクタにおいて、
   前記解像度復元部は前記逆拡散過程演算を行う際、映像信号の負値を表現するため輝度レベルの０値すなわち黒輝度レベルに対しオフセットを加算するとともに、元の白輝度レベルに合わせるため輝度レベルのゲインを調整することを特徴とするプロジェクタ。
5. 請求項３に記載のプロジェクタにおいて、
   前記映像補正部は、前記映像表示素子及びこれに照明光を供給する光源の光学特性に基づき、入力する映像信号から実効輝度信号に輝度レベルを変換する輝度変換部を備え、
   前記解像度復元部は、前記輝度変換部にて変換した実効輝度信号に対し、前記逆拡散過程演算を行うことを特徴とするプロジェクタ。
6. 請求項３に記載のプロジェクタにおいて、
   前記ボヤケ量算出部は、前記投射光学系を構成するレンズの収差により発生するボヤケ量をデータテーブルとして保持し、該データテーブルを用いてデータ補間することで各画素位置でのボヤケ量を算出することを特徴とするプロジェクタ。
7. 請求項４に記載のプロジェクタにおいて、
   前記解像度復元部は、前記投射光学系を構成するレンズのアイリス調整値や光源の輝度調整値を入力し、照射される光量が低下する場合には、前記映像信号の黒輝度レベルに対し加算するオフセットを減らすことを特徴とするプロジェクタ。
8. 請求項４に記載のプロジェクタにおいて、
   前記映像補正部は、入力する映像信号のヒストグラムを取得するヒストグラム取得部を備え、
   前記解像度復元部は、前記ヒストグラム取得部からのヒストグラム情報に応じて、白黒の頻度もしくは高コントラストの２値の頻度が高い場合は、前記映像信号の黒輝度レベルに対し加算するオフセットを増やすことを特徴とするプロジェクタ。
9. 請求項６に記載のプロジェクタにおいて、
   前記ボヤケ量算出部は、前記レンズのレンズシフト調整による映像表示位置情報を入力し、前記データテーブルには、前記レンズシフト調整によりシフトする映像表示範囲を包含するように前記ボヤケ量のデータを保持することを特徴とするプロジェクタ。
10. 請求項３に記載のプロジェクタにおいて、
    前記映像補正部は、前記投射面へ投射される映像の台形歪を補正するための台形補正設定値を入力し、前記投射光学系において映像光線がレンズ上で交わる位置とともに前記台形補正設定値により前記投射面までの距離と光軸との距離比とを算出する幾何演算部を備え、
    前記ボヤケ量算出部は、前記幾何演算部の算出結果に基づき前記ボヤケ量を算出することを特徴とするプロジェクタ。
11. 映像を投射面に投射して表示する映像表示方法において、
    入力された映像信号に映像処理を行う映像処理ステップと、
    前記映像処理した映像信号を入力し映像表示素子にて光学像を生成する光学像生成ステップと、
    前記生成した光学像を投射光学系により前記投射面に投射する投射ステップと、を備え、
    前記映像処理ステップでは、前記投射光学系により投射される映像のボヤケを低減するため、映像信号の黒輝度レベルを変更する映像補正機能を有することを特徴とする映像表示方法。
12. 請求項１１に記載の映像表示方法において、
    前記映像処理ステップでは、さらに、映像のブライトネスを調整するために映像信号の黒輝度レベルを変更する機能を有し、
    前記投射面に表示する映像の状態をユーザが設定するためのメニュー画面を表示し、ユーザ操作に基づいて前記映像処理ステップを制御する制御ステップを備え、
    前記メニュー画面には、前記映像ボヤケを低減するために前記映像補正機能の動作のオン・オフを設定する第１の設定項目と、前記ブライトネスを調整するために映像信号の黒輝度レベルを設定する第２の設定項目とが含まれており、
    前記第１の設定項目と前記第２の設定項目のユーザ設定状態に応じて、
    前記第１の設定項目がオフの状態には、前記映像補正機能の動作に伴う黒輝度レベルの変更は行わず、前記第２の設定項目に基づいて黒輝度レベルの変更する第１の状態と、
    前記第１の設定項目がオンの状態には、前記映像補正機能の動作に伴う黒輝度レベルの変更と前記第２の設定項目に基づく黒輝度レベルの変更とを連動させて映像信号の黒輝度レベルを変更する第２の状態と、
    を切替えることを特徴とする映像表示方法。
13. 請求項１１または１２に記載の映像表示方法において、
    前記映像補正機能では、
    映像信号中の各画素が前記投射光学系により前記投射面へ投射される際に、前記投射面上に生じる映像のボヤケ量を算出するボヤケ量算出ステップと、
    前記入力映像信号に対し、逆拡散過程演算を行うことで映像ボヤケを低減し解像度を復元する解像度復元ステップと、を備えることを特徴とする映像表示方法。
14. 請求項１３に記載の映像表示方法において、
    前記解像度復元ステップでは前記逆拡散過程演算を行う際、映像信号の負値を表現するため輝度レベルの０値すなわち黒輝度レベルに対しオフセットを加算するとともに、元の白輝度レベルに合わせるため輝度レベルのゲインを調整することを特徴とする映像表示方法。

Images