JP6371092B2 - 映像処理装置及びそれを用いたプロジェクタ装置 - Google Patents

Description

本発明は、画像全体または一部の視認性が低い映像に対して視認性の向上を行うための映像処理装置に関し、特に、映像を投影して表示する映像表示装置に於いて、投影面に好適な映像補正を行う映像処理装置及びそれを用いたプロジェクタ装置に関する。

近年、プロジェクタの小型化が進んでおり、これにより、例えば、視聴覚室やホール等に固定的に設置されてスクリーンへ投射を行っていたプロジェクタが、携帯して運べるようになり、自由に移動して設置できるようになってきた。かかる携帯型のプロジェクタの用途としては、会議室やミーティングルームでホワイトボードや壁面を利用して映像を手軽に投影したいといったビジネスニーズも加わり、使用シーンが多様化してきている。

なお、本発明の背景技術としては、以下の特許文献が既に知られている。即ち、当該特許文献１には、キーストーン補正の際の拡大・縮小操作の幾何的ボヤケを、シャープネス処理にて低減する技術が開示されている。

特開２０１１−７７９７１号公報

ここで、携帯可能なプロジェクタでは、自由にその設置位置を変えられることから、投影した映像の画質に問題が生じてきた。

即ち、当該問題の一つとして、プロジェクタと投影面との位置関係がある。

これは、映像をプロジェクタからスクリーン等へ投影する際、光線が投影面に対して垂直、すなわち、プロジェクタの光軸に対して垂直に投影した映像は、一般に、矩形映像となるが、例えば、仰角を加えて投影した映像は、台形に歪んだ映像となる。

そこで、プロジェクタでは、台形歪補正（又は、キーストーン補正）と呼ばれる幾何変換を行って、投射した映像を台形映像から矩形映像へと補正する。その際、映像位置毎によって解像度が劣化すると言う弊害が生じ、そのため、部分的に、所謂、ボヤケが生じてしまう。

しかしながら、上述したキーストーン補正の際の幾何変換は、プロジェクタより投影面へ照射される単位面積当たりの光束を変えてしまうため、投影された映像のコントラストにも影響を及ぼすことともなる。その結果、例えば仰角を加えて投影される映像では、映像の上部でのコントラストが低下するという課題がある。

また、ボヤケを低減し、かつ、コントラストを向上する技術を実装すると、回路規模が大きくなり、コストの増大や基板の小型化設計にも影響するといった、即ち、携帯可能なプロジェクタにとって不好な課題を生じる。

本発明は、上述した従来技術における課題に鑑みて達成されたものであり、具体的には、ボヤケとコントラスト低下を好適に抑制する映像処理装置とそれを用いたプロジェクタ装置を提供することをその目的とする。

上記の目的を達成するため、本発明によれば、例えば、入力映像信号を入力する入力部と、前記入力映像信号を補正する映像補正部とを備えた映像処理装置であって、前記映像補正部は、レティネックス処理の一部と解像度復元（デコンボリューション）処理の一部とを共用の回路で行うよう構成されている映像処理装置が提供される。なお、かかる構成において、前記レティネックス処理は、入力映像信号に鏡面反射成分（スペキュラー成分）フィルタをかけた第１の出力、拡散反射成分（ディフューズ成分）フィルタをかけた第２の出力、および環境光成分(アンビエント成分）をかけたフィルタ第３の出力を用いた演算結果に基づいて行なう構成であり、前記解像度復元（デコンボリューション）処理は、少なくとも前記第１の出力および前記第２の出力に基づいた演算処理により行なうものであることが好ましい。

また、本発明によれば、光源と、映像処理装置と、前記映像処理装置からの表示制御信号に基づいて映像を生成して投射する映像表示装置とを備えたプロジェクタ装置であって、前記映像処理装置は、前記に記載の映像処理装置であり、前記プロジェクタによるキーストーン補正を、前記レティネックス処理およびデコンボリューション処理に於いて行い、前記キーストーン補正による映像幾何変換に応じて、レティネックス処理およびデコンボリューション処理における補正強度を調整するプロジェクタ装置が提供される。

本発明によれば、視認性を向上するレティネックス処理およびデコンボリューション処理を同時に実装できる小規模回路の映像処理装置と、キーストーン補正による幾何変換に於いて、該映像処理装置を用いてボヤケとコントラスト低下を好適に抑制する映像表示装置とそれを用いたプロジェクタ装置が提供される。

なお、上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明になる映像処理装置および映像表示装置の構成図の一例を示すブロック図である。 実施例１における映像処理装置の映像補正部の一例を示すブロック図である。 ガウシアン分布を説明する図である。 一般のＲｅｔｉｎｅｘ部における処理を説明する機能ブロック図である。 Ｐｈｏｎｇ反射モデルによる反射光の性質を説明する図である。 映像の輝度値によるスペキュラ補正ゲインおよびディフューズ補正ゲインを説明する図である。 Ｐｈｏｎｇ反射モデルによるＲｅｔｉｎｅｘ部の処理を説明する図である。 実施例１における解像度復元部を説明する機能ブロック図である。 実施例２における映像処理装置の映像補正部の一例を示すブロック図である。 実施例２における解像度復元部を説明する機能ブロック図である。 プロジェクタの内部映像信号、プロジェクタを光軸に垂直な平面へ投影した映像、プロジェクタの光軸に仰角を加えて投影した映像を説明する図である。 台形歪補正したプロジェクタの内部映像信号、プロジェクタに台形歪補正を適用して投影した映像を説明する図である。 プロジェクタを光軸に垂直な平面へ投影した際の光線、プロジェクタの光軸に仰角を加えて投影した際の光線を説明する図である。 仰角を加えて投影した際の輪郭映像の画素、仰角を加えて投影した際の輪郭映像の輝度を説明する図である。 光軸に垂直な平面へ投影した際の画素位置と差分、光軸に仰角を加えて投影した際の画素位置と差分を説明する図である。 実施例２における調整ゲイン算出部を説明する機能ブロック図である。

以下、本発明の実施の形態について、添付の図面を参照しながら詳細に説明する。しかしながら、本発明は、必ずしもこれらの実施の形態に限定されるものではなく、また、以下の実施の形態を説明する各図面においては、同一の部材には同一の符号を付し、その繰り返しの説明は省略している。

本実施例（実施例１）は、視認性を向上するレティネックス処理および解像度復元（デコンボリューション）処理を同時に実装できる小規模回路の映像処理装置と映像表示装置について、その一例として、液晶プロジェクタの構成にて説明する。

図１は、本実施例になる液晶プロジェクタ（即ち、映像処理装置および映像表示装置）の構成の一例を示すブロック図であり、図からも明らかなように、映像装置１０は、放送波やＰＣから出力される映像入力信号１１を入力として映像信号系の処理を行う、映像処理装置１００と、液晶パネルの液晶を制御する表示制御信号１２を入力として投射映像１３を生成する為の光学系処理を行うための映像表示装置２００とで構成される。

映像処理装置１００は、映像入力信号１１を入力とし、例えば、圧縮映像信号のデコーダ、ＩＰ変換、スケーラ、キーストーン補正等により、内部映像信号１０２に変換する入力信号処理部１０１と、内部映像信号１０２を入力とし、視認性を向上する補正映像信号１０３を生成する映像補正部３００と、補正映像信号１０３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１２を生成するタイミング制御部１０４とで構成される。

映像表示装置２００は、光線２０２を生成する光源２０１と、上記映像処理装置１００より出力される表示制御信号１２を入力として、上記光源からの光線２０２の階調を画素毎に調整して投射映像を作成する液晶パネル２０３と、液晶パネル２０３を透過した光線２０４の焦点を調整するレンズ２０５とで構成される。

図２は、本発明に係る映像処理装置における映像補正部３００を説明する図である。

映像補正部３００は、例えば、大小２種類のスケールのフィルタを有しており、このうち、小さなスケールのフィルタをフィルタ１部３０１とし、他の大きなスケールのフィルタをフィルタ２部３０２とする。

また、この映像補正部３００は、内部映像信号１０２と、フィルタ１出力信号３０３と、フィルタ２出力信号３０４とを入力として、レティネックス（Ｒｅｔｉｎｅｘ）理論による局所コントラスト補正を行い、もって、Ｒｅｔｉｎｅｘ補正信号３０５を生成するＲｅｔｉｎｅｘ部５００と、そして、内部映像信号１０２と、上記Ｒｅｔｉｎｅｘ補正信号３０５と、セレクタ３１０にてフィルタ１の出力信号３０３又はフィルタ２の出力信号３０４を選択して得られたフィルタ信号３０６とを入力とし、ボヤケの低減およびコントラストの向上を行う解像度復元（デコンボリューション）部６００にて構成される。

続いて、Ｒｅｔｉｎｅｘ部５００の構成を説明する前に、従来のＲｅｔｉｎｅｘ（レティネックス）理論に基づく映像補正処理について説明する。

従来のコントラストの補正手法により、低輝度から高輝度までの領域を含む映像に対し、一部の輝度域を対象に視認性を上げるように補正する場合、対象外となる輝度域のいずれかに、階調潰れが発生することがある。例えば、明るい屋外から、暗い屋内が同時に映った映像を撮った場合、コントラスト補正によって屋内に映った被写体の視認性を上げようとすると、屋外映像の輝度域が潰れてしまう。

そこで、かかる問題点を解決するための手法として、局所的に映像のコントラストを補正する技術があり、その一つとしてＲｅｔｉｎｅｘ理論があげられる。

ここで、Ｒｅｔｉｎｅｘ理論とは、色恒常性や明るさ恒常性といった、人間の目の視覚特性を示した理論である。そして、当該理論によれば、映像から照明光成分を分離することにより、反射光成分を抽出することができる。それ故、Ｒｅｔｉｎｅｘ理論に基づいた映像補正処理によれば、暗い室内や明るい逆光下の映像も、当該映像中の被写体を見難くする原因である照明光成分の影響を取り除き、反射光成分を抽出することで、視認性の高い映像が得られることとなる。このため、人間が見て感じるところの、自然なダイナミックレンジの映像を、デジタル階調でも、好適に、圧縮することが出来る。

ここで、Ｒｅｔｉｎｅｘ理論によると、映像Ｉは照明光Ｌと反射率ｒとの積で表わされるため、Ｉ＝Ｌ・ｒと記述できる。Ｃ／Ｓ Ｒｅｔｉｎｅｘ（Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ）では、Ｌは映像中の注目画素を中心とするガウシアン分布（Ｇａｕｓｓｉａｎ Ｄｉｓｔｒｉｂｕｔｉｏｎ）に従うと推定し、対数空間の反射光成分Ｒを対数空間に於けるガウシアン分布と注目画素との差分により求める。ここで、注目画素の輝度値をＩ（ｘ，ｙ）、ガウシアンをＦ（ｘ，ｙ）とすると、次の式で記載される。

数式１に於いて、２次元空間上の原点を中心とする標準偏差σのガウシアン分布は、次の式で記載される。（ここで、標準偏差はガウシアン分布の広がりを表すため、以降、スケールと呼ぶ）

また、図３は、縦軸を輝度のレベル、横軸を１次元位置座標で表現したガウシアン分布を説明する図である。このように、中心から離れるとレベルが低くなることが分かる。

さらに、Ｆ（ｘ，ｙ）とＩ（ｘ，ｙ）の積はコンボリューション積と呼び、次のような式で表される。

ここで、数１のように１つのスケールで表されるモデルをＳＳＲ（Ｓｉｎｇｌｅ Ｓｃａｌｅ Ｒｅｔｉｎｅｘ）と呼び、複数のスケールで表されるモデルをＭＳＲ（Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ）と呼ぶ。今、Ｎ個のスケールのＭＳＲは、ｉ番目のＳＳＲの反射光成分を重みＷで合成するとするならば、次の式で表される。

次に、図４および図２を用いて、上記数式４を含むＲｅｔｉｎｅｘ部５００を説明する。以降、簡単のために、２つのＳＳＲで構成されるＭＳＲを考える。

図４は、ＭＳＲの処理を説明する図である。Ｒｅｔｉｎｅｘ部５００は、内部映像信号１０２と、フィルタ１出力信号３０３と、フィルタ２出力信号３０４とを入力とし、同じく、内部映像信号１０２と、フィルタ１出力信号３０３と、そして、フィルタ２出力信号３０４とを入力とする反射光成分生成部５２０と、反射光成分５０１と、フィルタ１出力信号３０３と、そして、フィルタ２出力信号３０４とを入力とし、Ｒｅｔｉｎｅｘ補正信号３０５を出力する照明光積算部５０２で構成される。

ここで、上記図２におけるフィルタ１部、及び、フィルタ２部は、それぞれ、スケール１（i＝１）及びスケール２（i＝２）によるガウシアン分布と映像Ｉとのコンボリューション積である。

また、図４における反射光成分生成部５２０は、２つのスケールに対するＭＳＲ、即ち数４にゲインＧ５２１を加えた構成である。また、照明光積算部５０２は、反射光成分５０１を指数変換した反射率と、照明光とを積算する、即ち、Ｌ・ｒを求める構成となる。本実施例の構成としては、以上に述べた反射光成分生成部５２０の構成としてもよい。

次に、本発明に係る反射光成分生成部５５０を説明する。

図５は、Ｐｈｏｎｇ反射モデルの例を説明する図である。図のモデルは、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。

この図５に於いて、スペキュラ（鏡面反射光）は、光線が球体表面で視線方向に反射した光７０１である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト７０４がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体では、プラスチックよりハイライトの半径が広がるが、輝度は低くなる。このＰｈｏｎｇ反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。

また、この図４に於いて、ディフューズ（拡散反射光）は、光線が球体表面に当たった光７０２が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。

更に、この図４に於いて、アンビエント（環境光）は、影となる部分に回り込んだ光７０３である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。影となる拡散反射する光で、光線と球体表面の向き、光線ベクトルすなわち法線との余弦で明るさが決まる。

以上より、Ｐｈｏｎｇ反射モデルは、次の式で表される。

ここで、反射光成分生成部に於ける入力は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントの分布は、広いスケールのガウシアンに従い、ディフューズの分布は光線に対する余弦による輝度分布に従い、スペキュラの分布は視線に対する余弦のべき乗による輝度分布に従うが、ここでは、該分布はガウシアン分布と近似する。

これより、アンビエントのフィルタをＦａ（ｘ，ｙ）、ディフューズのフィルタをＦｄ（ｘ，ｙ）、スペキュラのフィルタをＦｓ（ｘ，ｙ）とすると、各フィルタは次式のようになる。

ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを以下の数９に示す。

これを、ＭＳＲと同様に、対数空間による反射成分として求めると、以下の数１０となる。

また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。この時、スペキュラによる反射成分は、以下の数１１を用いてもよい。

以下、上記の数１１を用いて、即ち、Ｆｓ（ｘ、ｙ）がデルタ関数δ（ｘ、ｙ）であるとして説明する。

また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、上記数１０のスペキュラＲｓｐｅｃｕｌａｒに対しては、図６（Ａ）に示すような高輝度領域のゲインを加え、他方、ディフューズＲｄｉｆｆｕｓｅに対しては、図６（Ｂ）に示すような中低輝度度領域のゲインを加えてもよい。

ここで、図６（Ａ）の入出力曲線をｇ（Ｉ）とすると、入力輝度Ｉが低輝度の時はゲインが０となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは１となる。図６（Ｂ）の入出力曲線は、１−ｇ（Ｉ）で、低輝度の時にゲインが１で、中輝度から徐々にゲインが低くなり、高輝度でゲインが０となる。

また、ＭＳＲの例と同様、上記数１０は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および照明光積算部の指数関数を、例えば、べき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数をｆとすると、以下の数１２となる。

以上により、Ｐｈｏｎｇ反射モデルを用いて、反射の性質を考慮した補正が行える。

ここで、図７および上記図２を用いて、上述した数１２について説明する。

図７は、実施例１によるＲｅｔｉｎｅｘ部の処理を説明する図であり、上記図４の反射光成分生成部５２０を、反射光成分生成部５５０へ置き換えた構成である。

具体的には、Ｒｅｔｉｎｅｘ部５００は、内部映像信号１０２と、フィルタ１出力信号３０３と、そして、フィルタ２出力信号３０４とを入力としており、同じく、内部映像信号１０２と、フィルタ１出力信号３０３と、フィルタ２出力信号３０４とを入力とする反射光成分生成部５５０と、反射光成分５０１と、フィルタ１出力信号３０３と、フィルタ２出力信号３０４とを入力とし、Ｒｅｔｉｎｅｘ補正信号３０５を出力する照明光積算部５０２とで構成される。

ここで、上記図２のフィルタ１部及びフィルタ２部は、それぞれ、スケール１（i＝１）及びスケール２（i＝２）によるガウシアン分布と映像Ｉとのコンボリューション積であり、フィルタ１部がディフューズによる分布、フィルタ２部がアンビエントによる分布である。

一方、図７の反射光成分生成部５５０は、上記数１２にゲインＧ５５８を加えた構成であり、内部映像信号１０２からの対数関数またはべき乗の関数ｆによるスペキュラの対数分布５５１と、関数ｆによるディフューズの対数分布５５２とを入力とし、スペキュラを検出する検出１部５５４と、関数ｆによるディフューズの対数分布５５２と、関数ｆによるアンビエントの対数分布５５３とを入力とし、ディフューズを検出する検出２部５５５とを含んでおり、更に、重み演算子ＷｓとＷｄを用いたスペキュラ成分５５６とディフューズ成分５５７の積和演算器と、ゲイン乗算器とを含んで構成されている。ここで、検出部１には、上記図６（Ａ）に示された輝度特性を、検出部２には、上記図６（Ｂ）に示された輝度特性を含めてもよい。

また、照明光積算部５０２は、反射光成分５０１を関数ｆの逆関数（指数変換またはべき乗）にて変換した反射率と、照明光とを積算、すなわちＬ・ｒを求める構成となる。

次に、本発明に係る解像度復元部６００について説明する。

最初に、ボヤケによる一般的な劣化映像の復元技術について説明する。今、観測されるボヤケ映像をＩ（ｘ、ｙ），理想的な画像をＩｒ（ｘ、ｙ）、ノイズをｗ（ｘ、ｙ）、ボヤケの過程をＫｔとすると、以下の数１３で表される。ここで、該ボヤケの過程を拡散過程と呼ぶ。

観測された劣化（ボヤケ）映像は、上記数１３の拡散過程を逆に辿ることで、理想の映像へと復元され、その結果、以下の数１４となる。ここで、拡散過程を逆に辿る過程を逆拡散過程と呼ぶ。

拡散過程が上記数２のガウシアン分布に従う場合には、上記数１３は以下の数１５になる。

ここで、Ｑ．Ｌｉ、Ｙ．Ｙｏｓｈｉｄａらが考案したＭｕｌｉｔｉｓｃａｌｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ（Ｑ．Ｌｉ， Ｙ．Ｙｏｓｈｉｄａ， Ｎ．Ｎａｋａｍｏｒｉ， ”Ａ Ｍｕｌｔｉｓｃａｌｅ Ａｎｔｉｄｉｆｆｕｓｉｏｎ ａｎｄ Ｒｅｓｔｏｒａｔｉｏｎ Ａｐｐｒｏａｃｈ ｆｏｒ Ｇａｕｓｓｉａｎ Ｂｌｕｒｒｅｄ Ｉｍａｇｅｓ”， Ｐｒｏｃ． ＩＥＩＣＥ Ｔｒａｎｓ． Ｆｕｎｄａｍｅｎｔａｌｓ， １９９８．）を行うと、上記数１５は、以下の数１６のように分解される。

ここで、ガウシアン分布の２次微分をＬｏＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）と呼ぶ。

次に、スケールは、以下の数１７に従うとものとする。

これを上記数１４へ代入すると、逆拡散過程は、以下の数１８のようになる。

以上が、一般的手法による解像度復元技術の一つである。また、以上のように、コンボリューション積で表現されたボヤケ映像を復元する手法を、デコンボリューションと呼ぶ。

更に、本発明に係る解像度復元技術について説明する。

上述の数１８で、理想的な映像Ｉｒが得られているとすると、両辺は恒等式である。更に、上記数１８の展開式に於ける第１項は、ガウシアン分布によるコンボリューション積である。

ここで、当該恒等式に対し、観測されるボヤケ映像Ｉを内部映像信号１０２、理想的な映像ＩｒをＲｅｔｉｎｅｘ補正信号３０５、上記数１８の展開式における第１項をフィルタ信号３０６とし、そして、理想的な映像Ｉｒとのボヤケ映像との差分信号をΔＩとすると、上記数１８は、以下の数１９のように表わされる。

これにより、差分信号ΔＩは、解像度復元に寄与する項となる。また、差分信号ΔＩにはＲｅｔｉｎｅｘ補正信号も含まれるため、局所コントラスト補正の効果にも寄与する。

続いて、図８を用いて、解像度復元部６００について説明する。

解像度復元部６００は、フィルタ信号３０６と内部映像信号１０２とを切り換えることで解像度復元機能を入り（３０６側）切り（１０２側）を行うセレクタ６０１と、セレクタにより選択された信号６０２とＲｅｔｉｎｅｘ補正信号３０６との差分信号６０３と、ゲインＧ６０４と、内部映像信号１０２とを入力とする積和演算器とで構成される。

ここで、セレクタ６０１が、３０６側の場合、すなわち解像度復元機能が入りの場合は、差分信号６０３は上記数１９となり、ゲイン信号３０９は右辺近似展開式の増分、すなわち、復元強度とコントラスト強度とを調整する。また、セレクタ６０１が、１０２側の場合、すなわち、解像度復元機能が切りの場合は、差分信号６０３はＲｅｔｉｎｅｘ補正量となり、ゲインＧ６０４はコントラスト強度のみを調整する。

次に、Ｒｅｔｉｎｅｘおよび解像度復元処理を制御するパラメータ設定について説明する。

Ｒｅｔｉｎｅｘ処理に於ける反射光成分の強度の制御は、ＭＳＲによるＲｅｔｉｎｅｘ処理の場合は、図４のゲイン（ＭＳＲ）５２１にて、他方、ＰｈｏｎｇモデルによるＲｅｔｉｎｅｘ処理の場合は、図７のゲイン（Ｐｈｏｎｇモデル）５５８にて行なう。

また、Ｒｅｔｉｎｅｘ処理に於ける補正効果の帯域調整は、ＭＳＲによるＲｅｔｉｎｅｘ処理の場合は、重みＷ１、Ｗ２にて、他方、ＰｈｏｎｇモデルによるＲｅｔｉｎｅｘ処理の場合は、重みＷｓ、Ｗｄにて行う。

解像度復元処理に於ける強度の制御は、図８のセレクタ６０１が解像度復元機能入り（３０６側）の場合は、Ｒｅｔｉｎｅｘ補正強度と伴に、ゲイン６０４にて行う。他方、解像度復元機能切りの場合（１０２側）は、Ｒｅｔｉｎｅｘ補正強度の制御のみとなる。

解像度復元処理における補正効果の帯域調整は、図２のセレクタ３１０にて行う。例えば、Ｒｅｔｉｎｅｘ処理がＮ個のスケールによるＭＳＲであれば、セレクタ（マルチプレクサ）の入力はＮ個となり、Ｎ個の帯域から選ぶことができる。

なお、以上のゲイン設定は、ＯＳＤ等にて、例えば直接数値を入力してもよいし、１０段階レバーにて行ってもよい。セレクタの設定は、ＯＳＤ等にて、例えばＯＮ、ＯＦＦの表示を行いレバー切り換えてもよい。重みの設定は、ＯＳＤ等にて、例えば、予め調整された数項目より選択させてもよい。

また、以上の設定は、ＤＶＤ（ＳＤ）、ＢＤ（ＦｕｌｌＨＤ）、放送波、ＰＣ等の入力映像信号の種類によって、変更してもよい。

即ち、以上の構成によれば、視認性を向上するレティネックス処理およびデコンボリューション処理を同時に実装できる小規模回路の映像処理装置を提供することが可能となる。

上記の実施例１では、視認性を向上するレティネックス処理および解像度復元（デコンボリューション）処理を同時に実装できる小規模回路の映像処理装置および映像表示装置の例について説明した。ここで、本実施例２では、本発明に係る上記実施例１を応用した、キーストーン補正によるボヤケとコントラスト劣化を抑制する映像処理装置および映像表示装置について説明する。

本実施例２の映像処理装置および映像表示装置の構成は、上記の図１に示した構成と同様であり、ここでは、その詳述は省略する。なお、本映像装置１０は、放送波やＰＣから出力される映像入力信号１１を入力とし、映像信号系の処理を行う映像処理装置１００と、液晶パネルの液晶を制御する表示制御信号１２を入力とし、投射映像１３を生成する為の光学系処理を行う映像表示装置２００とで構成される。

図９は、映像処理装置の映像補正部３００を説明する図であり、上記実施例１の図２に於いて、調整ゲイン算出部を追加した構成となっており、以下に説明する。

映像補正部３００は、例えば大小２種類のスケールのフィルタを有し、このうち小さなスケールのフィルタをフィルタ１部３０１とし、大きなスケールのフィルタをフィルタ２部３０２とする。

また、映像補正部３００は、内部映像信号１０２と、フィルタ１出力信号３０３と、フィルタ２出力信号３０４を入力とし、Ｒｅｔｉｎｅｘ理論による局所コントラスト補正を行うＲｅｔｉｎｅｘ部５００と、内部映像信号１０２より抽出した映像座標位置を示すアドレス信号３０７と、キーストーン補正の水平垂直補正量３０８を入力とし、コントラストおよび解像度復元の強度を算出する調整ゲイン算出部４００と、内部映像信号１０２と、Ｒｅｔｉｎｅｘ部から出力されるＲｅｔｉｎｅｘ補正信号３０５と、セレクタ３１０にてフィルタ１出力信号３０３またはフィルタ２出力信号３０４を選択したフィルタ信号３０６と、調整ゲイン算出部より出力されるゲイン信号３０９とを入力とし、ゲインに応じてボヤケ低減およびコントラスト向上を行う解像度復元（デコンボリューション）部６００で構成される。

また、Ｒｅｔｉｎｅｘ部５００の構成としては、本実施例２の構成として、ＭＳＲを説明した上記図４に於ける反射光成分生成部５２０で構成してもよいし、Ｐｈｏｎｇ反射モデルを説明した上記図７の反射光成分生成部５５０で構成してもよい。

次に、本実施例２に係る解像度復元部６００を、図１０を用いて説明する。

解像度復元部６００は、フィルタ信号３０６と内部映像信号１０２とを切り換えることで解像度復元機能を入り（３０６側）切り（１０２側）を行うセレクタ６０１と、セレクタにより選択された信号６０２とＲｅｔｉｎｅｘ補正信号３０６との差分信号６０３と、ゲイン信号３０９と、内部映像信号１０２とを入力とする積和演算器とで構成される。

ここで、セレクタ６０１が、３０６側の場合、すなわち解像度復元機能が入りの場合は、差分信号６０３は上記の数１９となり、ゲイン信号３０９は右辺近似展開式の増分、すなわち、復元強度とコントラスト強度とを調整する。また、セレクタ６０１が、１０２側の場合、すなわち解像度復元機能が切りの場合は、差分信号６０３はＲｅｔｉｎｅｘ補正量となり、ゲイン信号３０９はコントラスト強度のみを調整する。

次に、本実施例２に係る調整ゲイン算出部４００について説明する。

初めに、キーストーン補正についての課題を、図１１（Ａ）〜（Ｃ）および図１２（Ａ）、（Ｂ）を用いて説明する。

図１１（Ａ）はプロジェクタの内部映像信号１０２を説明する図である。当該内部映像信号を光軸に垂直な平面へ投影した映像が図１１（Ｂ）である。この場合、投影された映像は、当該内部映像信号と同様に、矩形に投影されている。続いて、図１１（Ｃ）は、当該内部映像信号をプロジェクタの光軸に仰角を加えて投影した映像を説明する図である。この場合、上部が台形状に広がり、上方へと伸びた映像となる。

そこで、当該内部映像信号に対し、映像縦方向を縮小し、かつ投影面と逆の台形映像へと幾何変換する。この補正を台形歪補正またはキーストーン補正と呼ぶ。

図１２（Ａ）は台形歪補正を施した内部映像信号１０２を説明する図である。当該内部映像信号に対し、プロジェクタの光軸に仰角を加えて投影した映像は図１２（Ｂ）となる。ここで、図１２（Ａ）の映像の端の斜線領域は、黒色である。プロジェクタに於いては、黒色は輝度が０であるため、当該領域は、理想的には、光が投射されない領域となる。故に、図１２（Ｂ）のように、投影された映像は正しい矩形映像として表示できる。

続いて、キーストーン補正による課題を、図１３（Ａ）、（Ｂ）および図１４（Ａ）、（Ｂ）を用いて説明する。

図１３（Ａ）は、プロジェクタを光軸に垂直な平面へ投影した際の光線について説明する図である。当該図で示すように、平面に垂直な投影の場合は、好適に光線が投射されるものとする。図１３（Ｂ）は、プロジェクタを光軸に仰角を加え投影した際の光線について説明する図である。当該図で示す通り、仰角を加えた場合の投影面では、上方に行くほど光線の間隔は広がることが分かる。

次に、大きく２色に分けられた領域の輪郭映像を考える。

図１４（Ａ）は、プロジェクタを光軸に仰角を加え投影した際の、映像下部と映像上部に於ける輪郭部拡大映像の画素の違いについて説明する図である。このように、映像上部では面積当たりの画素数が減るため、解像度が低下してしまい、映像にボヤケが生じる。

図１４（Ｂ）は、プロジェクタを光軸に仰角を加え投影した際の、映像下部と映像上部に於ける輪郭部の輝度特性について説明する図である。このように、映像上部では面積当たりの光束が減る為、輝度が低下し、更に輪郭の傾斜も緩やかになるため、コントラストや精細感が低下してしまう。

以上が、キーストーン補正における課題である。

次に、図１５（Ａ）、（Ｂ）を用いて、調整ゲイン算出部４００におけるゲイン算出方法について説明する。

図１５（Ａ）は、前記キーストーン補正の課題を解決するためのゲイン算出方法の一例を示す図であり、光軸に垂直な平面へ投影した際の画素位置と差分について説明する図である。この図１５（Ａ）に於いて、プロジェクタと投影面の距離をＬ、プロジェクタと投影面に照射した注目画素との距離をｒ０、注目画素への光線と光軸の角度をφ、高さをｄ０、注目画素と注目画素の一つ上の画素との光線の成す角度をΔφ、高さの差分をΔｄ０とする。この時、ｄ０、Δｄ０およびｒ０は、以下の数２０のようになる。

次に、図１５（Ｂ）は、前記キーストーン補正の課題を解決するためのゲイン算出方法の一例を示す図であり、光軸に仰角を加えて投影した際の画素位置と差分について説明する図である。この図１５（Ｂ）に於いて、プロジェクタと投影面の距離をＬ、光軸との仰角をθ、プロジェクタと投影面に照射した注目画素との距離をｒ、注目画素への光線と光軸の角度をφ、高さをｄ、注目画素と注目画素の一つ上の画素との光線の成す角度をΔφ、高さの差分をΔｄとする。この時、ｄ、Δｄおよびｒは、以下の数２１のようになる。

ここで、輝度および拡大率は、仰角を加える前後の面積比率によるため、図１５（Ａ）と図１５（Ｂ）との注目画素位置における面積変化率を考える。

今、Δｄ０に対するΔｄの比率は、以下の数２２のようになり、注目画素位置における垂直方向の変化率が求まる。

次に、水平方向の変化率は、水平角度成分の変化は無いが、注目画素の距離に比例するため、ｒ０に対するｒの比率を求めると、以下の数２３となる。

ここで、光軸に垂直な平面へ投影した場合は、水平方向の変化率はないと仮定すると、以下の数２４となる。

これにより、仰角θを加えた場合の面積変化率は、垂直方向の変化率と水平方向の変化率との積となり、即ち、以下の数２５となる。

更に、水平方向へ角度のズレがある場合、すなわち、方位角を与える場合も、同様の計算となる。そこで、プロジェクタの光軸との方位角をθｈ、仰角をθｖ、注目画素との成す角を、水平方向φｈ、垂直方向φｖとすると、以下の数２６となり、即ち、面積比率が求まる。

図７を用いて、調整ゲイン算出部４００について説明する。

調整ゲイン算出部４００は、水平垂直補正量３０８より抽出した水平補正量４０１と、アドレス信号３０７より抽出した水平座標位置４０２とを入力とし、水平変化率４０７を算出する水平変化率算出部４０５、水平垂直補正量３０８より抽出した垂直補正量４０３と、アドレス信号３０７より抽出した垂直座標位置４０４とを入力とし、垂直変化率４０８を算出する垂直変化率算出部４０６、そして、水平変化率４０７と垂直変化率４０８との乗算により面積変化率４０９を求める乗算器により構成される。また、本調整ゲイン算出部４００は、キーストーン補正が行われない場合でも、上記実施例１のゲイン６０４と同様の設定値とし、即ち、局所コントラスト補正と解像度復元による補正効果を加えるためのオフセットＢ４１０を加えてもよい。

ここで、水平垂直補正量３０８は、プロジェクタの光軸との方位角をθｈ、仰角をθｖに関する補正量であり、面積比率の算出方法は、上記の数２６である。

以上、ゲイン算出手法の一例を示したものであるが、面積変化率を求める方法は本手法に限定するものではない。

以上の構成によれば、視認性を向上するレティネックス処理およびデコンボリューション処理を同時に実装できる小規模回路の映像処理装置と、キーストーン補正による幾何変換に於いて、該映像処理装置を用いてボヤケとコントラスト低下を好適に抑制する映像表示装置とを提供することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１０…映像装置、１１…映像入力信号、１２…内部映像信号、１３…投射映像、１００…映像処理装置、１０１…入力信号処理部、１０２…内部映像信号、１０３…補正映像信号、１０４…タイミング制御部、２００…映像表示装置、２０１…光源、２０２…光線、２０３…液晶パネル、２０４…液晶パネルを透過した光線、２０５…レンズ、３００…映像補正部、３０１…フィルタ１部（スケール小）、３０２…フィルタ２部（スケール大）、３０３…フィルタ１出力信号、３０４…フィルタ２出力信号、３０５…Ｒｅｔｉｎｅｘ補正信号、３０６…フィルタ信号（フィルタ１出力信号またはフィルタ２出力信号を選択）、３０７…アドレス信号、３０８…水平垂直補正量、３０９…ゲイン信号、３１０…セレクタ、４００…調整ゲイン算出部、４０１…水平補正量、４０２…水平座標位置、４０３…垂直補正量、４０４…垂直座標位置、４０５…水平変化率算出部、４０６…垂直変化率算出部、４０７…水平変化率、４０８…垂直変化率、４０９…面積変化率、４１０…オフセット、５００…Ｒｅｔｉｎｅｘ部、５０１…反射光成分、５０２…照明光積算部、５２０…反射光成分生成部（ＭＳＲ）、５２１…ゲイン（ＭＳＲ）、５５０…反射光成分生成部（発明に関する手法）、５５１…スペキュラの対数分布、５５２…ディフューズの対数分布、５５３…アンビエントの対数分布、５５４…検出１部（スペキュラ検出）、５５５…検出２部（ディフューズ検出）、５５６…スペキュラ成分、５５７…ディフューズ成分、５５８…ゲイン（Ｐｈｏｎｇモデル）、６００…解像度復元（デコンボリューション）部（実施例１）、６０１…セレクタ（解像度復元技術の入／切）、６０２…セレクタにより選択された信号、６０３…差分信号、６０４…ゲイン（実施例１）、６５０…解像度復元（デコンボリューション）部（実施例２）、７０１…鏡面反射光（スペキュラ）、７０２…拡散反射光（ディフューズ）、７０３…環境光（アンビエント）、７０４…球体を照らす円形のハイライト

Claims (10)

1. 入力映像信号を入力する入力部と、
   前記入力映像信号を補正する映像補正部とを備え、
   前記映像補正部は、レティネックス処理と解像度復元処理とを行うように構成されているものであり、
   前記レティネックス処理は、入力映像信号と、前記入力映像信号にそれぞれ異なるスケールのガウシアン分布と入力映像信号とのコンボリューション積を生成する複数のフィルタ部の出力を用いて、レティネックス理論に基づいて演算することにより、局所コントラスト補正を施した処理信号を生成する処理であり、前記解像度復元処理は、前記複数のフィルタ部の少なくとも一つの出力信号と前記レティネックス処理の処理信号を用いて解像度復元処理を行う、
   ことを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記レティネックス処理における演算は、入力映像信号に鏡面反射成分フィルタをかけた第１の出力、前記複数のフィルタ部を構成する第１のフィルタ部と第２のフィルタ部のうち、前記第１のフィルタ部の出力信号に拡散反射成分フィルタをかけた第２の出力、および前記複数のフィルタ部を構成する第１のフィルタ部と第２のフィルタ部のうち、前記第２のフィルタ部の出力信号に環境光成分フィルタをかけた第３の出力を用いた演算であることを特徴とする映像処理装置。
3. 請求項２に記載の映像処理装置において、前記レティネックス処理における環境光成分が、正規分布のコンボリューション積であることを特徴とする映像処理装置。
4. 請求項２に記載の映像処理装置において、前記レティネックス処理における拡散反射成分と、環境光成分とを含む映像が、余弦による輝度分布で得られ、前記余弦による輝度分布より環境光成分を引いたものが、拡散反射成分であることを特徴とする映像処理装置。
5. 請求項２に記載の映像処理装置において、前記レティネックス処理における鏡面反射成分と、拡散反射成分と、環境光成分とを含む映像が余弦のべき乗による輝度分布であり、前記余弦のべき乗による輝度分布より、前記余弦による輝度分布を引いたものが、鏡面反射成分であることを特徴とする映像処理装置。
6. 請求項２に記載の映像処理装置において、前記レティネックス処理における鏡面反射成分と、拡散反射成分と、環境光成分とを含む映像が、注目画素の輝度値であることを特徴とする映像処理装置。
7. 請求項１に記載の映像処理装置において、前記解像度復元処理が、複数の標準偏差によるガウシアン分布の少なくとも一つの分解映像を用いることを特徴とする映像処理装置。
8. 光源と、
   入力映像信号を入力する入力部と、
   前記入力映像信号を補正する映像補正部と
   前記映像補正部で補正した映像を投射する映像投射部とを備えたプロジェクタ装置であって、
   前記映像補正部は、レティネックス処理と解像度復元処理とを行うものであり、
   前記レティネックス処理は、入力映像信号と、前記入力映像信号にそれぞれ異なるスケールのガウシアン分布と入力映像信号とのコンボリューション積を生成する複数のフィルタ部の出力を用いて、レティネックス理論に基づいて演算することにより、局所コントラスト補正を施した処理信号を生成する処理であり、前記解像度復元処理は、前記複数のフィルタ部の少なくとも一つの出力信号と前記レティネックス処理の処理信号を用いて解像度復元処理を行うように構成されており、
   前記レティネックス処理および前記解像度復元処理における補正強度を前記プロジェクタ装置のキーストーン補正における幾何学補正の補正量に応じて調整することを特徴とするプロジェクタ装置。
9. 請求項８に記載のプロジェクタ装置において、
   前記レティネックス処理および解像度復元処理において、前記キーストーン補正による映像幾何変換に応じて調整をおこなう前記補正強度が、前記キーストーン補正前後の前記プロジェクタ装置によって投影された画素位置の面積変化率に基づいて変化することを特徴とするプロジェクタ装置。
10. 請求項９に記載のプロジェクタ装置において、
    前記キーストーン補正の水平、垂直のパラメータ設定に応じて前記面積変化率の算出を行うことを特徴とするプロジェクタ装置。

Images