JP6046238B2 - 映像表示装置 - Google Patents

Description

本発明は、映像処理技術に関する。

本技術分野の背景技術として、特許文献１がある。この公報には、Ｍｕｌｔｉ Ｓｃａｌｅ Ｒｅｔｉｎｅｘ処理において、処理対象となる原画像の画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼやけ具合の異なる複数のぼやけ画像からいずれかを画素毎に選択することで、合成ぼやけ画像を作成する。合成ぼやけ画像に対してローパスフィルタを施すことによって、不自然な境界の不連続の発生を防止し、Ｒｅｔｉｎｅｘ処理を行なう、と記載されている（要約参照）。

特開２００５−００４５０６号公報

映像信号中に撮影されている被写体の特性を示すパラメータとして、例えば輝度、色、周波数成分など、様々なパラメータを有しているが、映像のシーンが異なるとそれらの値も異なる。視認性の良好な映像表示を行うためには、映像の特徴に応じて映像のコントラスト補正などの特性を変更して映像補正を行う必要がある。

しかし、前記特許文献１のような、ＭＳＲに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、被写体の特徴は考慮されていない。それ故、映像中の被写体の特徴に係わらず、一様な補正となる。

また、前記特許文献１のような、ＭＳＲに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、反射の性質の違いに対する映像の寄与は考慮されていない。

上記課題を解決するために、本発明の一実施の態様は、例えば、映像入力部と、映像入力部から入力された映像について第１のレティネックス処理を行う第１のレティネックス処理部と、映像入力部から入力された映像について、前記第１のレティネックス処理と方式の異なる第２のレティネックス処理を行う第２のレティネックス処理部とを備え、映像入力部から入力された映像の特徴に応じて第１のレティネックス処理部が処理した映像と第２のレティネックス処理部が処理した映像とを合成可能な映像合成部と、映像合成部の出力映像を表示可能な表示部とを備えるように構成すればよい。

本発明によれば、より好適に視認性を向上した映像を得ることができる。

本発明の実施例1に係る映像表示装置の構成例の図である。 映像補正部の構成例の図である。 映像合成部の構成例の図である。 第１のレティネックス処理部の特性の一例である。 第２のレティネックス処理部の特性の一例である。 映像合成制御信号の特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 特徴分析部の動作特性の図である。 本発明の実施例３に係るレティネックス処理部の構成の一例である。 反射光検出部の構成の一例である。 反射光制御部の構成の一例である。 反射光制御部の構成の一例である。 Ｐｈｏｎｇ反射モデルによる反射光の性質を説明する図である。 ガウシアン分布を説明する図である。 余弦による輝度分布を説明する図である。 余弦のべき乗による輝度分布を説明する図である。 映像の輝度値によるスペキュラ補正ゲインを説明する図である。 映像の輝度値によるディフューズ補正ゲインを説明する図である。 本発明の実施例４に係る映像表示装置の構成図の例である。 映像補正部の構成の一例である。 映像合成部の構成の一例である。 照度による制御特性の一例を示す図である。 本発明の実施例５に係る映像表示装置の構成図の例である。 本発明の実施例５に係る設定メニュー画面の一例である。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタの構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行なわず、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。

図１は、本実施例の映像表示装置の構成図の例である。

本映像表示装置は、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、内部映像信号１２を入力とする映像補正部１００と、補正映像信号１３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する光学系装置２００で構成される。

光学系装置２００は、スクリーンへ映像を投影するための光線を照射する光源２０３と、表示制御信号１５を入力とし、光源２０３からの光線の階調を画素毎に調整し、投射映像を作成するパネル２０２と、投射映像をスクリーンに拡大投影するためのレンズ２０１で構成される。

なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイである場合は、光学系装置２００のレンズ２０１は不要である。ユーザーはパネル２０２を直視することとなる。

映像補正部１００の構成の一例を図２に示す。第１のレティネックス処理部２０および第２のレティネックス処理部２２は、内部映像信号１２に対してレティネックス理論に基づく映像処理を行い、第１の補正映像信号２１および第２の補正映像信号２３を出力する。

ここで、レティネックス（Ｒｅｔｉｎｅｘ）理論とは、色恒常性や明るさ恒常性といった人間の目の視覚特性を示した理論である。この理論によれば、映像から照明光成分を分離し、反射光成分を抽出することができる。

それ故、Ｒｅｔｉｎｅｘ理論に基づいた映像補正処理では、暗い室内や明るい逆光下の映像も、該映像中の人物等の被写体を見づらくする原因である照明光成分の影響を取り除き、反射光成分を抽出することで、視認性の高い映像が得られる。このため、人間が見て感じる、自然なダイナミックレンジをデジタル階調でも好適に圧縮できる。

Ｒｅｔｉｎｅｘ理論には、照明光成分または反射光成分の推定手法により、多くのモデルが存在する。例えば、下記参考文献１では、ＭｃＣａｎｎ９９、ＰＳＥＵＤＯ、Ｐｏｉｓｓｏｎ、ＱＰのモデルについて比較されている。

また、局所的な照明光成分がガウシアン分布に従うと推定し、反射光成分を抽出するＲｅｔｉｎｅｘをＣｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ（以下、Ｃ／Ｓと記載する） Ｒｅｔｉｎｅｘと呼ぶ。このＲｅｔｉｎｅｘに代表されるモデルには、Ｓｉｎｇｌｅ Ｓｃａｌｅ Ｒｅｔｉｎｅｘモデル（以下、ＳＳＲ）やＭｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘモデル（以下、ＭＳＲと呼ぶ）等がある。

ＳＳＲは、一つのスケールに対する反射光の輝度成分を映像中から抽出するモデル（例えば、下記参考文献２参照）で、ＳＳＲを拡張し、複数のスケールに対する反射光の輝度成分を映像中から抽出するモデル（例えば、下記参考文献３参照）がＭＳＲである。
〔参考文献１〕野里 良裕,他 「適応的階調補正のハードウェア実現における Retinex理論の比較評価」, 信学技報, SIS2005-16, (2005).
〔参考文献２〕Ｄ．Ｊ．Ｊｏｂｓｏｎ ａｎｄ Ｇ．Ａ．Ｗｏｏｄｅｌｌ， Ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａ Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ： Ｐａｒｔ ２．Ｓｕｒｒｏｕｎｄ Ｄｅｓｉｇｎ，ＮＡＳＡ Ｔｅｃｈｎｉｃａｌ Ｍｅｍｏｒａｎｄｕｍ，１１０１８８，１９９５．
〔参考文献３〕Ｚｉａ−ｕｒ Ｒａｈｍａｎ， Ｄａｎｉｅｌ Ｊ． Ｊｏｂｓｏｎ， ａｎｄ Ｇｌｅｎｎ Ａ． Ｗｏｏｄｅｌｌ， ”Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ Ｆｏｒ Ｃｏｌｏｒ Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ”， ＩＣＩＰ ’９６
本実施例では、一例として、第１のレティネックス処理部２０は、照明光推定性能に優れるＭｃＣａｎｎ９９モデルを用い、第２のレティネックス処理部２２は、コントラスト補正性能に優れるＭＳＲモデルを用いることとする。特徴分析部２４は、内部映像信号１２の特徴を分析し、映像合成部２６へ第１の映像合成制御信号２９および第２の映像合成制御信号２５を出力する。映像合成部２６では、第１の映像合成制御信号２９および第２の映像合成制御信号２５に基づき、補正映像信号２１および補正映像信号２３を合成して補正映像信号１３を出力する。

図３は、映像合成部２６の構成の一例を示している。補正映像信号２１は、利得制御部２７でα倍され、補正映像信号２３は、利得制御部２８で（１−α）倍され、加算部３０で加算処理された後、利得制御部３１でβ倍されて補正映像信号１３が得られる。

次に、図１から図３に示した構成の動作の一例を図４Ａ〜Ｃ、図５Ａ〜Ｆを用いて説明する。 まず、本実施例における第１の映像合成制御信号２９による制御について説明する。

図４Ａおよび図４Ｂは、横軸が輝度レベル、縦軸がゲインを示しており、それぞれ第１のレティネックス処理部２０、第２のレティネックス処理部２２の輝度レベルに対するゲイン特性の一例を示している。本実施例における、第１のレティネックス処理部２０にＭｃＣａｎｎ９９モデルを用い、第２のレティネックス処理部２２にＭＳＲモデルを用いた場合の一例を示している。図４Ａの例では、ＭｃＣａｎｎ９９モデルによる第１のレティネックス処理部２０は、輝度レベルＬＶ１とＬＶ２の間にゲインのピークｇ１を有している。図４Ｂの例では、ＭＳＲモデルを用いた第２のレティネックス処理部２２はＬＶ２とＬＶ３の間にゲインのピークｇ２を有している。

図４Ｃは、第１のレティネックス処理部２０および第２のレティネックス処理部２２の特性が、上述の図４Ａおよび図４Ａの場合の、図２に示した特徴分析部２４から出力する第１の映像合成制御信号２９による合成制御値αの一例を示す図である。構成制御値は、図４Ｃのように、第１のレティネックス処理部２０のゲインが、第２のレティネックス処理部２２のゲインよりも高い輝度レベルでは合成制御値αを小さくし、逆に第１のレティネックス処理部２０のゲインが、第２のレティネックス処理部２２のゲインよりも低い輝度レベルでは合成制御値αを大きくするように制御する。これにより、加算部３０から出力される、第１のレティネックス処理部２０と第２のレティネックス処理部２２の合成出力映像の入出力特性をリニアな特性とする。

以上の処理により、照明光推定性能に優れるＭｃＣａｎｎ９９モデルによるレティネックス処理とコントラスト補正性能に優れるＭＳＲモデルによるレティネックス処理の両者の利点を得る合成映像を得ることができる。

次に、本実施例における第２の映像合成制御信号２５による制御について説明する。

図５Ａおよび図５Ｂは、特徴分析部２４から出力する第２の映像合成制御信号２５の制御の一例を示している。

まず図５Ａは、横軸が映像の輝度レベル、縦軸が１画面中の画素の個数を表しており、各輝度レベルの分布をヒストグラムとしてグラフ化したものである。図５Ａの例において、ヒストグラムｈ１は、輝度レベルＬＶ１からＬＶ３までの範囲の分布が、ＬＶ１以下およびＬＶ３以上の輝度レベルの分布よりも多いことを示している。なお、輝度レベルＬＶ１からＬＶ３までの範囲の分布がフラットな場合は、一点鎖線で示すヒストグラムh0になる。

図５Ｂは、横軸が入力映像の輝度レベル、縦軸が出力映像の輝度レベルを表しており、上述した図５Ａの輝度分布がヒストグラムｈ１の場合に、特徴分析部２４から出力される第２の映像合成制御信号２５の一例を示している。これは、利得制御値βにより制御される入出力レベル特性である。図５Ａの輝度分布がヒストグラムh0の場合には図５Ｂの点線で示した特性となり、図５Ａの輝度分布がヒストグラムh1の場合には図５Ｂの実線で示した特性となる。ここで、βは、点線で示すリニアな特性を基準（β＝１）とするものである。当該βを入力レベルに応じて可変することにより、図５Ｂの実線で示すような特性が得られる。図５Ｂの例では、βはLV2では1であるが、LV1では1より小さく、LV3では1より大きい値である。このように、図５Ａのヒストグラムｈ１の場合には、利得制御値βにより、輝度分布が多いＬＶ１からＬＶ３の範囲の入出力特性曲線の傾きが、それ以外の領域の傾きに対して急峻になるよう制御される。このような特性で補正映像信号１３を得ることにより映像中の分布が多い領域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。

図５Ｃから図５Ｆは、輝度分布が図５Ａとは異なる場合の制御の一例を説明する図である。

まず、図５ＣはＬＶ２以下の輝度レベルの輝度分布がＬＶ２以上の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図５Ｄに示している。図５Ｄのように、輝度分布が多いＬＶ２以下の特性曲線の傾きがＬＶ２以上の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てる。これにより、視認性の良好な映像を得ることができる。

次に、図５ＥはＬＶ２以上の輝度レベルの輝度分布がＬＶ２以下の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図５Ｆに示している。図５Ｆのように、輝度分布が多いＬＶ２以上の特性曲線の傾きがＬＶ２以下の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。

以上説明した映像合成部２６の一連の制御によって、照明光推定性能に優れるＭｃＣａｎｎ９９モデルによるレティネックス処理とコントラスト補正性能に優れるＭＳＲモデルによるレティネックス処理の両者の利点を得ながら、かつ視認性の良い補正映像が得られる。

なお、以上の説明において、レティネックスモデルの組み合わせは上述の例に限ったものではなく、異なる方式のレティネックスデモルの組み合わせでもよい。また、２方式のモデルの組み合わせに限ったものでなく、３つ以上のモデルの組み合わせでも良い。その場合は、図２に示す複数のレティネックス処理部は、並列に並べて各レティネックス処理部の補正映像を合成処理部２６で合成して補正映像信号１３を得るように構成すればよい。

実施例２は、図１の映像表示装置における映像補正部１００の動作が、実施例１と異なる例である。以下に実施例１との相違について説明する。特に説明の無い部分は実施例１と同様であるため、説明を省略する。

実施例２の映像補正部１００について、図２を用いて説明する。第１のレティネックス処理部２０および第２のレティネックス処理部２２は、内部映像信号１２に対して、それぞれ異なる方式のレティネックス理論に基づく映像処理を行い、補正映像信号２１および補正映像信号２３を出力する。本実施例では、第１のレティネックス処理部２０よりも第２のレティネックス処理部２２の方がスケールの大きなレティネックス処理を行うものとする。ここで、レティネックス処理のスケールとは、レティネックス処理において参照する画素範囲の大きさである。

特徴分析部２４は、内部映像信号１２の特徴を分析し、第１の映像合成制御信号２９および第２の映像合成制御信号２５を映像合成部２６へ出力する。映像合成部２６では、映像合成制御信号２９および映像合成制御信号２５に基づき、補正映像信号２１および補正映像信号２３を合成して補正映像信号１３を出力する。

ここで、実施例２の第２の映像合成制御信号２５および利得制御値βは、実施例１と同様であるため、説明を省略する。

実施例２の第１の映像合成制御信号２９による利得制御値αは、実施例１と異なるものである。以下にこれを説明する。

図６に、実施例２における、特徴分析部２４における第１の映像合成制御信号の出力特性の一例を示す。図６は、横軸が映像の輝度レベル、縦軸が第１の映像合成制御信号２９の値を示している。図６のように、例えば、輝度レベルが低い場合はαを小さく、高い場合はαを大きくする。このようにαを制御することで合成比率を輝度レベルに応じて可変できる。映像合成部２６によって得る補正映像信号１３において、輝度レベルが小さい場合は、第２のレティネックス処理部２２の割合を大きくできる。また、輝度レベルが大きい場合は、第１のレティネックス処理部２０の割合を大きくできる。つまり、レティネックス処理のスケールが小さい第１のレティネクス処理部２０からは比較的高い周波数成分の反射光成分を多く含むため、輝度が高い映像領域にて合成割合を大きくとることで、映像の精細感を高めることができる。また、レティネックス処理のスケールが大きな第２のレティネクス処理部２２からは比較的低い周波数成分の反射光成分を多く含むため、輝度が低い映像領域にて合成割合を大きくとることで、映像の陰影部分の視認性を高めることができる。なお、図６に示した特性は一例であり、各輝度レベルにおける最大値、最小値や特性の傾きなどは、レティネックス処理の特性に応じて決定すればよい。

以上説明した実施例において、映像合成制御信号２９は、映像の輝度レベルに応じて生成する一例を示したが、周波数成分に応じた制御であってもよい。周波数成分に応じて制御をする場合は、例えば、映像信号の領域毎の周波数成分が高い場合には、補正映像信号１３において、スケールサイズの小さいレティネックス処理部から得られる映像信号の割合を大きくし、映像信号の領域毎の周波数成分が低い場合には、補正映像信号１３において、スケールサイズの大きなレティネックス処理部から得られる映像信号の割合を大きくする。さらに、映像の輝度レベルと周波数成分の両者を用いた合成制御を行ってもよく、その場合は、例えば、輝度レベルに応じた上述の制御値と、周波数成分に応じた制御値の加算または積算して正規化した値にて制御を行えばよい。

以上説明した本発明の実施例２によれば、異なる複数のレティネックス処理の補正映像をレティネックス処理のスケールに応じて合成することにより、映像の精細感と陰影部分の視認性を両立することが可能となる。

次に図１に示した映像表示装置における映像補正部１００に異なるレティネックスモデルを用いた場合の実施例について説明する。映像補正部１００の構成は、一例として図５の構成を用いることとするが、これに限ったものではない。図７は、第１のレティネックス処理部２０の構成例であり、内部映像信号１２を入力信号とし、Ｒｅｔｉｎｅｘ理論に基づく映像処理を行うことで、２つの反射光成分１０１と１０２とを検出する反射光検出部１５０と、検出された２つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号１３を出力する反射光制御部１８０で構成される。

次に、反射光検出部１５０および反射光制御部１８０について説明する。

光の反射は、被写体の性質により、例えば、滑らかな表面で鏡のような鏡面反射をする光（以下、スペキュラと呼ぶ）、ざらざらした表面の細かな凹凸により拡散反射する光（以下、ディフューズと呼ぶ）、そして周囲の環境に対し反射等を繰り返すことで散乱した光である環境光（以下、アンビエントと呼ぶ）等に分類される。

例えば、３次元コンピュータグラフィックス分野に於いて、これら３つの光の性質を用いて物体表面の陰影を表現する反射モデルに、Ｐｈｏｎｇ反射モデルがある。Ｐｈｏｎｇ反射モデルによれば、材質は光の反射具合により表現できる。

例えば、プラスチック球体にスポットライトを当てた場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。このハイライトの部分がスペキュラである。また、ディフューズやアンビエントも材質に応じて輝度が異なる。

図１０は、Ｐｈｏｎｇ反射モデルの例を説明する図である。図は、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。

図１０に於いてスペキュラは、光線が球体表面で視線方向に反射した光５０１である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト５０４がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。Ｐｈｏｎｇ反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。

図１０に於いてディフューズは、光線が球体表面に当たった光５０２が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。

図１０に於いてアンビエントは、影となる部分に回りこんだ光５０３である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。影となる拡散反射する光で、光線と球体表面の向き、光線ベクトルすなわち法線との余弦で明るさが決まる。

以上より、Ｐｈｏｎｇ反射モデルは、次の式で表される。

そこで、本実施例による反射光検出部に於ける反射光は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントは、広いスケールのガウシアンに従い、ディフューズは余弦による輝度分布に従い、スペキュラは余弦のべき乗による輝度分布に従うとする。アンビエントのフィルタをＦａ（ｘ，ｙ）、ディフューズのフィルタをＦｄ（ｘ，ｙ）、スペキュラのフィルタをＦｓ（ｘ，ｙ）とすると、各フィルタは次式となる。

また、図１１Ａ、図１１Ｂ、図１１Ｃは、それぞれ縦軸を輝度のレベル、横軸を１次元位置座標で表現したアンビエント、ディフューズ、スペキュラの分布を説明する図である。このように、アンビエントのガウシアン分布に比べ、ディフューズ、スペキュラの分布は急峻にレベルが下がることが分かる。

ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを数式５に示す。

これを、ＭＳＲと同様に対数空間による反射成分を求めると数式６となる。

また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。この時、スペキュラによる反射成分は、数式７を用いてもよい。

また、アンビエントは環境全体の平均的な光であるため、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いてもよい。例えば平均輝度を用いると数式８となる。

また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、数式６のスペキュラＲｓｐｅｃｕｌａｒに対しては、図１２Ａに示すような高輝度領域のゲインを加え、ディフューズＲｄｉｆｆｕｓｅに対しては、図１２Ｂに示すような中低輝度度領域のゲインを加えてもよい。ここで、図１２Ａの入出力曲線をｇ（Ｉ）とすると、入力輝度Ｉが低輝度の時はゲインが０となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは１となる。図１２Ｂの入出力曲線は１−ｇ（Ｉ）で、低輝度の時にゲインが１で、中輝度から徐々にゲインが低くなり、高輝度でゲインが０となる。

また、ＭＳＲの例と同様、数式６は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および指数関数を、例えばべき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数ｆとすると数式９となる。

以上により、Ｐｈｏｎｇ反射モデルを用いて、反射の性質を考慮した補正が行える。

図８および図９を用いて、数式９を説明する。

図８は、実施例３による反射光検出部の処理を説明する図である。反射光検出部１５０は、スペキュラフィルタ部１５１、ディフューズフィルタ部１５３と、アンビエントフィルタ部１５５と、関数変換部１５７、１５９、１６１と、スペキュラ検出部１６３と、ディフューズ検出部１６４とで構成される。尚、関数変換部は、対数関数でもよく、べき乗関数で近似してもよい。

図９Ａは、実施例１による反射光制御部の処理を説明する図である。反射光制御部１８０は、重みＷ１とＷ２による加重平均で構成してもよく、重みＷ１とＷ２による加重平均と、ゲインＧと、逆関数変換部１８２にて構成してもよい。ただし、逆関数変換部は、関数変換部で用いた関数の逆関数である。また、図９Ｂに示すように、図９Ａの構成に図１２Ａの高輝度域に高いゲインを持つスペキュラ補正ゲイン１８３と図１２Ｂの中低輝度域に高いゲインを持つディフューズ補正ゲイン１８４を加えてもよい。

以上の構成によれば、反射光成分を抽出する際に、光の反射の性質毎、すなわちスペキュラ、ディフューズ、アンビエント毎に映像を分解し、それぞれの性質に応じて補正量を変えることで、第１のレティネックス処理部２０から映像中のオブジェクトの材質を考慮した、質感の高い第１の補正映像信号２１を得ることができる。

次に、第２のレティネックス処理部２２は、ＭＳＲモデルを用いた映像補正を行うものとする。このとき、上述した第１のレティネックス処理部２０よりもスケールサイズを大きくとった処理を行う。

以上のような構成とすることで、第１の補正映像信号２１はオブジェクトの性質を考慮した映像信号となり、第２の補正映像信号２３は映像の比較的大きな面積でのコントラスト補正を行った映像信号となる。これらの補正映像信号に対して、実施例２で説明した映像合成部２６の動作と同様に合成を行う。これにより、映像の輝度レベルが低い領域では、第２の補正映像信号の割合が大きくできるので、コントラスト改善効果を大きくでき、映像の輝度レベルが高い領域ではオブジェクトの性質を考慮した映像補正信号の割合を大きくできるので、補正映像信号１３として映像の輝度レベルの全帯域に渡って視認性の良好な映像を得ることができる。

以上説明した本発明の実施例３によれば、上述した実施例２の効果に加えて、より質感の高い出力映像を得ることが可能となる。

本実施例では、本発明の映像表示装置において、使用環境における外光を考慮した適応制御例を説明する。

図１３は、本実施例の映像表示装置の構成図の例である。

本映像表示装置は、映像入力信号１０を入力とし、例えば圧縮映像信号のデコーダ、ＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、外光を入力とし、例えば２５６段階の照度レベル信号３２を出力する照度センサ３１と、内部映像信号１２と照度レベル信号３２とを入力とする映像補正部３００と、補正映像信号３３を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する光学系装置２００で構成される。

次に、図１４は、映像補正部３００の構成例を示している。映像合成部２６１は、第１の補正映像信号２１と第２の補正映像信号２３を、第１の映像合成制御信号２９、第２の映像合成制御信号２５、および照度レベル信号３２によって適応的に合成し、補正映像信号１３として出力する。

ここで、図１５は、映像合成部２６１の構成の一例を示している。第１の映像合成制御信号２９と第２の映像合成制御信号２５は、照度ゲイン調整部２６２において照度レベル信号３２によって調整される。次に、それぞれ第２の照度補正信号２５１、第１の照度補正信号２９１として出力され、図１５のように利得制御部２７、２８、３１へ加えられる。これにより、補正映像信号１３の合成特性が決められる。

以上の構成において、まず、第１の映像合成制御信号２９は、照度レベル信号３２に従って、例えば、照度が高い場合には、スケールサイズが小さなレティネックス処理部の合成比率を大きくするよう補正して第１の照度補正信号２９１を出力する。つまり、実施例２で説明した構成例においては、図６に示すα値が大きくなる方向にオフセットを付加すればよい。

次に、第２の映像合成制御信号２５は、照度レベル信号３２の大きさに従って、例えば、図１６に示すゲイン制御信号との積をとり、第２の照度補正信号２５１とする。これにより、周囲の照度が低い場合には、利得制御値βが小さくなり映像の補正量が小さくなるので、原画に近い映像が再生でき、照度が高い場合には、利得制御値が大きくなり映像の補正量が大きくなるので、明るい環境下の映像の視認性が向上できる。補正の方法としては、これに限ったものではなく、例えば、第２の映像合成補正信号２５に対して、照度レベル信号３２に従ったオフセットを付加するように補正してもよい。つまり、照度レベルに応じて明るい環境下での補正量を大きくするよう制御すればよい。

以上説明した本発明の実施例４によれば、外光の影響を考慮して映像処理を制御することにより、明るい環境下であっても映像の視認性を向上させることができる。

本実施例では、本発明の映像表示装置において、使用者が補正特性を設定する場合の制御方法の一例を説明する。図１７は、本実施例の構成の一例を示したものであり、ユーザー設定部４００を設ける。ユーザー設定部４００は、リモコンや装置本体の操作ボタンの操作を介してユーザーからの操作信号４０１を入力し、操作信号に応じて、操作命令信号を映像補正部１００に出力して、映像表示装置における映像処理での補正の有無や補正量などを設定できるように構成している。これにより、表示部に表示される映像をユーザーの所望の状態に切り替える設定を行なうことができる。

なお、図１７の例では、図１の映像表示装置の構成例にユーザー設定部４００を設けた構成となっているが、これに限られず、図１３に示す照度センサを有する映像表示装置の構成例にユーザー設定部４００を設けてもよい。すなわち、本実施例は、上述のいずれの実施例に対して適用してもよい。

図１８に、本実施例のユーザー設定部で設定可能な設定項目の例を、映像表示装置が表示する設定メニュー画面１８００を用いて説明する。

設定メニュー画面１８００は、映像表示装置のメニュー画面信号生成部（図示省略）で生成され、補正映像信号１３に替えて出力される。または、設定メニュー画面１８００は補正映像信号１３に重畳して出力される。

設定メニュー画面１８００の例の「Retinex方式選択」１８１０の項目について説明する。「Retinex方式選択」１８１０の項目により、各実施例で説明した第１のレティネックス処理部２０および第２のレティネックス処理部２２の両者のレティネックス処理の使用の要否を選択できる。選択は、リモコンや装置本体の操作ボタンの操作を介して、カーソル１８１１を移動させることにより行なうように構成する。選択項目とその場合の処理について説明する。例えば、「Retinex1 only 」の選択項目が選択された場合は、第１のレティネックス処理部２０の処理のみを映像補正部の処理に適用し、第２のレティネックス処理部２２の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを１にしてもよく、第２のレティネックス処理部２２の動作自体をＯＦＦしてもよい。次に、「Retinex2 only 」の選択項目が選択された場合は、逆に、第２のレティネックス処理部２２の処理のみを映像補正部の処理に適用し、第１のレティネックス処理部２０の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを０にしてもよく、第１のレティネックス処理部２０の動作自体をＯＦＦしてもよい。「Combining Retinex1 and 2」の選択項目が選択された場合は、上述の実施例で説明したように、第１のレティネックス処理部２０の処理と第２のレティネックス処理部２２の処理とを合成して出力する。「Retinex OFF」の選択項目が選択された場合は、第１のレティネックス処理部２０の処理と第２のレティネックス処理部２２の処理との両者とも映像補正部の処理に適用しない。両者の動作をＯＦＦにしてもよく、映像補正部に入力される映像について、映像補正部をバイパスして出力してもよい。

上述の「Retinex方式選択」１８１０の項目では、必ずしも、上述の４つの選択項目をユーザーに提示する必要はなく、例えば、「Combining Retinex1 and 2」の選択項目および「Retinex OFF」の選択項目の２つを提示するだけでもよい。また、「Combining Retinex1 and 2」の選択項目、「Retinex1 only 」の選択項目、「Retinex OFF」の選択項目の３つを提示してもよい。すなわち、例示した選択肢のうち少なくとも２項目を提示すればよい。

次に、設定メニュー画面１８００の例の「Retinex強度設定」１８２０の項目について説明する。「Retinex強度設定」１８２０の項目では、それぞれのレティネックス処理の強度を設定できる。具体的には、リモコンや装置本体の操作ボタンの操作を介して、スライドバー１８２１や１８２２を移動して、それぞれのレティネックス処理の強度を設定する。その場合の処理は、例えば、図４Ａと図４Ｂに示しているそれぞれのレティネックス処理のゲインに、強度に応じたオフセットを付加することで実現できる。例えば、強度が強い場合には、図４Ａおよび図４Ｂのゲインに対してプラス方向のオフセット、強度が弱い場合にはマイナス方向のオフセットを付加する。このオフセットを付加する処理については、第１のレティネックス処理部２０および第２のレティネックス処理部２２の内部もしくは、補正映像信号２１および補正映像信号２３に対して、オフセットを付加する処理を挿入することで実現できる。

なお、「Retinex強度設定」１８２０の項目は、「Retinex方式選択」１８１０の項目の選択状態に応じて、アクティブ、非アクティブの状態を切り替えるようにに構成してもよい。すなわち、「Retinex方式選択」１８１０の項目でＯＦＦになっている処理についてのスライドバーは、非アクティブ状態としてもよい。

次に、設定メニュー画面１８００の例の「合成設定」１８３０の項目について説明する。「合成設定」１８３０の項目では、それぞれのレティネックス処理の合成比率を設定できる。上述の各実施例で説明したαの値を制御してこれを実現する。具体的には、まず、リモコンや装置本体の操作ボタンの操作を介して、ユーザがカーソル１８３１を移動させ、「Variable」か「Fixed」のいずれかを選択可能とする。「Variable」が選択された場合には、上述の各実施例で説明したように、合成制御値αを入力映像信号に応じて可変とする。「Fixed」が選択された場合には、合成制御値αは、入力映像信号に対して可変にせず、ユーザーが設定した状態で固定する。具体的には、リモコンや装置本体の操作ボタンの操作を介してユーザーがスライドバー１８３２を調整し、その位置に応じた合成制御値αに固定した状態で設定される。図１８の例では、バーが左に行くほどαを大きくし、第１のレティネックス処理部２０の処理が優先されて合成される。バーが右に行くほどαが小さくなり、第２のレティネックス処理部２２の処理が優先されて合成される。

なお、「合成設定」１８３０の項目は、「Retinex方式選択」１８１０の項目の選択状態に応じて、アクティブ、非アクティブの状態を切り替えるようにに構成してもよい。すなわち、「Combining Retinex1 and 2」の選択項目が選択されていない場合は、「合成設定」１８３０の項目の全体を非アクティブとしてもよい。

次に、設定メニュー画面１８００の例の「視認性向上処理強度設定」１８４０の項目について説明する。当該項目は、図３の利得制御部３１の処理の効果の大小を設定できる。具体的には、スライドバー１８４０の移動に応じて、利得制御値βの変化量の振幅の大小を変更する。図５Ｂ、図５Ｄ、図５Ｆのいずれの特性においても、利得制御値βの変化量の振幅が大きくなれば、視認性向上処理が強くなることとなる。

次に、設定メニュー画面１８００の例の「照度センサ適応処理」１８５０の項目について説明する。当該項目は、実施例４の図１３に示す照度センサを有する映像表示装置の構成例にユーザー設定部４００を設けた場合に用いられるメニュー項目である。「照度センサ適応処理」１８５０の項目では、リモコンや装置本体の操作ボタンの操作を介して、ユーザがカーソル１８５１を移動させ、「ON」か「OFF」のいずれかを選択可能とする。「OFF」が選択された場合には、実施例４で説明した図１６のゲイン制御値を１で固定する。

以上説明した本発明の実施例５で説明したユーザー設定部４００を搭載した映像表示装置によれば、本発明の各実施例における映像補正処理をユーザの好みや映像表示装置の使用目的または使用環境にあわせてユーザが調整することが可能である。これにより、より使い勝手のよい映像表示装置が提供できる。

１０ 映像入力信号
１２ 内部映像信号
１３ 補正映像信号
１５ 表示制御信号
２０ 第１のレティネックス処理部
２１ 第１の補正映像信号
２２ 第２レティネックス処理部
２３ 第２の補正映像信号
２４ 特徴分析部
２５ 映像合成制御信号
２６ 映像合成部
２７、２８、３１ 利得制御部
２９ 映像合成制御信号
３０ 加算器
３２ 照度レベル信号
３３ 適応制御による補正映像信号
１００ 映像補正部
１０１ スケール１による反射光成分
１０２ スケール２による反射光成分
１２０ ＭＳＲによる反射光検出部
１２２ スケール１フィルタによるコンボリューション積の結果
１２４ スケール２フィルタによるコンボリューション積の結果
１２６ スケール１によるＳＳＲの結果値
１２８ スケール２によるＳＳＲの結果値
１３０ ＭＳＲによる反射光制御部
１３１ 各ＳＳＲの結果に対する加重平均結果値（ゲイン含む）
１５２ スペキュラフィルタによるコンボリューション積の結果
１５４ ディフューズフィルタによるコンボリューション積の結果
１５６ アンビエントフィルタによるコンボリューション積の結果
１５８ スペキュラフィルタに対する関数変換の結果
１６０ ディフューズフィルタに対する関数変換の結果
１６２ アンビエントフィルタに対する関数変換の結果
１８１ スペキュラおよびディフューズに対する加重平均結果値（ゲイン含む）
３０２ エッジ信号

Claims (5)

1. 映像入力部と、
   前記映像入力部から入力された映像について第１のレティネックス処理を行う第１のレティネックス処理部と、
   前記映像入力部から入力された映像について、前記第１のレティネックス処理と方式の異なる第２のレティネックス処理を行う第２のレティネックス処理部とを備え、
   前記映像入力部から入力された映像の特徴に応じて前記第１のレティネックス処理部が処理した映像と前記第２のレティネックス処理部が処理した映像とを合成可能な映像合成部と、
   前記映像合成部の出力映像を表示可能な表示部とを備え、
   前記第１のレティネックス処理は、入力映像を複数の反射光成分に分離し、分離された前記複数の反射光成分のそれぞれを重み値によって調整し、加重平均し、映像中の反射光の割合を制御する処理であり、
   前記第２のレティネックス処理は、前記第１のレティネックス処理よりもスケールの大きなレティネックス処理であることを特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置であって、
   前記表示部には、設定メニュー画面が表示可能であり、
   前記設定メニュー画面では、前記表示部での映像表示状態の切替設定として、
   前記第１のレティネックス処理を施した映像と前記第２のレティネックス処理を施した映像とを映像合成して表示する第１の状態、
   前記第２のレティネックス処理を施さず、前記第１のレティネックス処理を施した映像を表示する第２の状態、
   前記第１のレティネックス処理を施さず、前記第２のレティネックス処理を施した映像を表示する第３の状態、
   前記第１のレティネックス処理も前記第２のレティネックス処理も施していない映像を表示する第４の状態、
   のうち、少なくとも２つの表示状態を切り替え可能であることを特徴とする映像表示装置。
3. 請求項２に記載の映像表示装置であって、
   前記設定メニュー画面では、
   前記第１のレティネックス処理を施した映像と前記第２のレティネックス処理を施した映像とを映像合成する際の合成比率を変更可能であることを特徴とする映像表示装置。
4. 請求項３に記載の映像表示装置であって、
   前記映像合成部は、前記映像入力部から入力された映像の輝度情報または周波数情報に応じて、前記第１のレティネックス処理を施した映像と前記第２のレティネックス処理を施した映像との合成比率を変更することを特徴とする映像表示装置。
5. 請求項１から請求項４のいずれか一項に記載の映像表示装置であって、
   さらに、外光の照度を測る照度センサを備え、
   前記照度センサの測定結果に応じて、前記映像合成部の処理を変更することを特徴とする映像表示装置。

Images