JP7344975B2 - 映像表示装置およびプロジェクタ - Google Patents

映像表示装置およびプロジェクタ Download PDF

Info

Publication number
JP7344975B2
JP7344975B2 JP2021551055A JP2021551055A JP7344975B2 JP 7344975 B2 JP7344975 B2 JP 7344975B2 JP 2021551055 A JP2021551055 A JP 2021551055A JP 2021551055 A JP2021551055 A JP 2021551055A JP 7344975 B2 JP7344975 B2 JP 7344975B2
Authority
JP
Japan
Prior art keywords
video
gain
conversion process
video input
level conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021551055A
Other languages
English (en)
Other versions
JPWO2021070342A1 (ja
Inventor
浩司 青木
満雄 中嶋
智美 古畑
絵梨子 矢部
篤 加藤
尚弥 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2021070342A1 publication Critical patent/JPWO2021070342A1/ja
Application granted granted Critical
Publication of JP7344975B2 publication Critical patent/JP7344975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、映像処理技術に関する。
本技術分野の背景技術として、特許文献1がある。この公報には、Multi Scale Retinex処理において、処理対象となる原画像の画素値レベルに応じて、スケールの異なる複数の周辺関数から生成されるぼやけ具合の異なる複数のぼやけ画像からいずれかを画素毎に選択することで、合成ぼやけ画像を作成する。合成ぼやけ画像に対してローパスフィルタを施すことによって、不自然な境界の不連続の発生を防止し、Retinex処理を行う、と記載されている(要約参照)。
特開2005-004506号公報
映像信号中に撮影されている被写体の特性を示すパラメータとして、例えば輝度、色、周波数成分など、様々なパラメータを有しているが、映像のシーンが異なるとそれらの値も異なる。視認性の良好な映像表示を行うためには、映像の特徴に応じて映像のコントラスト補正などの特性を変更して映像補正を行う必要がある。
しかし、前記特許文献1のような、MSRに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、被写体の特徴は考慮されていない。それ故、映像中の被写体の特徴に係わらず、一様な補正となる。
また、前記特許文献1のような、MSRに於いて、複数のスケールを調整してダイナミックレンジ圧縮の高性能化を行う技術では、複数のスケールに対する映像の寄与は考慮されているが、反射の性質の違いに対する映像の寄与は考慮されていない。
上記課題を解決するために、本発明の一実施の態様は、例えば、映像入力部と、映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、映像入力部から入力された映像について、第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、映像入力部から入力された映像の特徴に応じて第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成可能な映像合成部と、映像合成部の出力映像に基づく映像を表示可能な表示部と、を備え、映像合成部は、第1のレティネックス処理部が処理した映像と第2のレティネックス処理部が処理した映像とを合成する処理において、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、前記輝度レベル変換処理のゲインを、映像入力部から入力された映像の平均画素値レベルに応じて可変するように構成すればよい。
本発明によれば、より好適に視認性を向上した映像を得ることができる。
本発明の実施例1に係る映像表示装置の構成例の図である。 映像補正部の構成例の図である。 映像合成部の構成例の図である。 第1のレティネックス処理部の特性の一例である。 第2のレティネックス処理部の特性の一例である。 映像合成制御信号の特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 映像の輝度ヒストグラムの一例である。 映像の入出力特性の一例である。 特徴分析部の動作特性の図である。 本発明の実施例3に係るレティネックス処理部の構成の一例である。 反射光検出部の構成の一例である。 反射光制御部の構成の一例である。 反射光制御部の構成の一例である。 Phong反射モデルによる反射光の性質を説明する図である。 ガウシアン分布を説明する図である。 余弦による輝度分布を説明する図である。 余弦のべき乗による輝度分布を説明する図である。 映像の輝度値によるスペキュラ補正ゲインを説明する図である。 映像の輝度値によるディフューズ補正ゲインを説明する図である。 本発明の実施例4に係る映像表示装置の構成図の例である。 映像補正部の構成の一例である。 出力映像生成部の構成の一例である。 映像信号レベルの一例である。 本発明の実施例4に係る映像補正部の構成の一例である。 本発明の実施例5に係る映像表示装置の構成図の例である。 映像補正部の構成の一例である。 映像補正部の構成の一例である。 本発明の実施例5に係る設定メニュー画面の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例である。 本発明の実施例5に係る輝度視認性向上利得の制御の一例の説明図である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例である。 本発明の実施例6に係る色補正比率利得の制御の一例の説明図である。 本発明の実施例6に係る輝度視認性向上利得の制御と色補正比率利得の制御の一例の説明図である。
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
(実施例1)
本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタ(投射型映像表示装置)の構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行わず、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。
図1は、本実施例の映像表示装置の構成図の例である。
本映像表示装置は、映像入力信号10を入力とし、例えば圧縮映像信号のデコーダ、IP変換、スケーラ等により内部映像信号12に変換する入力信号処理部11と、内部映像信号12を入力とする映像補正部100と、補正映像信号13を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号15を生成するタイミング制御部14と、映像を表示する光学系装置200で構成される。
光学系装置200は、スクリーンへ映像を投影するための光線を照射する光源203と、表示制御信号15を入力とし、光源203からの光線の階調を画素毎に調整し、投射映像を作成するパネル202と、投射映像をスクリーンに拡大投影するためのレンズ201で構成される。
なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイである場合は、光学系装置200のレンズ201は不要である。ユーザーはパネル202を直視することとなる。
映像補正部100の構成の一例を図2に示す。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号12に対してレティネックス理論に基づく映像処理を行い、第1の補正映像信号21および第2の補正映像信号23を出力する。
ここで、レティネックス(Retinex)理論とは、色恒常性や明るさ恒常性といった人間の目の視覚特性を示した理論である。この理論によれば、映像から照明光成分を分離し、反射光成分を抽出することができる。
それ故、Retinex理論に基づいた映像補正処理では、暗い室内や明るい逆光下の映像も、該映像中の人物等の被写体を見づらくする原因である照明光成分の影響を取り除き、反射光成分を抽出することで、視認性の高い映像が得られる。このため、人間が見て感じる、自然なダイナミックレンジをデジタル階調でも好適に圧縮できる。
Retinex理論には、照明光成分または反射光成分の推定手法により、多くのモデルが存在する。例えば、下記参考文献1では、McCann99、PSEUDO、Poisson、QPのモデルについて比較されている。
また、局所的な照明光成分がガウシアン分布に従うと推定し、反射光成分を抽出するRetinexをCenter/Surround(以下、C/Sと記載する) Retinexと呼ぶ。このRetinexに代表されるモデルには、Single Scale Retinexモデル(以下、SSR)やMultiscale Retinexモデル(以下、MSRと呼ぶ)等がある。
SSRは、一つのスケールに対する反射光の輝度成分を映像中から抽出するモデル(例えば、下記参考文献2参照)で、SSRを拡張し、複数のスケールに対する反射光の輝度成分を映像中から抽出するモデル(例えば、下記参考文献3参照)がMSRである。
〔参考文献1〕野里 良裕,他 「適応的階調補正のハードウェア実現におけるRetinex理論の比較評価」,信学技報,SIS2005-16,(2005).
〔参考文献2〕D.J.Jobson and G.A.Woodell,Properties of a Center/Surround Retinex:Part 2.Surround Design,NASA Technical Memorandum,110188,1995.
〔参考文献3〕Zia-ur Rahman,Daniel J.Jobson,and Glenn A.Woodell,”Multiscale Retinex For Color Image Enhancement”,ICIP’96
本実施例では、一例として、第1のレティネックス処理部20は、照明光推定性能に優れるMcCann99モデルを用い、第2のレティネックス処理部22は、コントラスト補正性能に優れるMSRモデルを用いることとする。特徴分析部24は、内部映像信号12の特徴を分析し、映像合成部26へ第1の映像合成制御信号29および第2の映像合成制御信号25を出力する。映像合成部26では、第1の映像合成制御信号29および第2の映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。
図3は、映像合成部26の構成の一例を示している。補正映像信号21は、利得制御部27でα倍され、補正映像信号23は、利得制御部28で(1-α)倍され、加算部30で加算処理された後、利得制御部31でβ倍されて補正映像信号13が得られる。
次に、図1から図3に示した構成の動作の一例を図4A~C、図5A~Fを用いて説明する。
まず、本実施例における第1の映像合成制御信号29による制御について説明する。
図4Aおよび図4Bは、横軸が輝度レベル、縦軸がゲインを示しており、それぞれ第1のレティネックス処理部20、第2のレティネックス処理部22の輝度レベルに対するゲイン特性の一例を示している。本実施例における、第1のレティネックス処理部20にMcCann99モデルを用い、第2のレティネックス処理部22にMSRモデルを用いた場合の一例を示している。図4Aの例では、McCann99モデルによる第1のレティネックス処理部20は、輝度レベルLV1とLV2の間にゲインのピークg1を有している。図4Bの例では、MSRモデルを用いた第2のレティネックス処理部22はLV2とLV3の間にゲインのピークg2を有している。
図4Cは、第1のレティネックス処理部20および第2のレティネックス処理部22の特性が、上述の図4Aおよび図4Aの場合の、図2に示した特徴分析部24から出力する第1の映像合成制御信号29による合成制御値αの一例を示す図である。構成制御値は、図4Cのように、第1のレティネックス処理部20のゲインが、第2のレティネックス処理部22のゲインよりも高い輝度レベルでは合成制御値αを小さくし、逆に第1のレティネックス処理部20のゲインが、第2のレティネックス処理部22のゲインよりも低い輝度レベルでは合成制御値αを大きくするように制御する。これにより、加算部30から出力される、第1のレティネックス処理部20と第2のレティネックス処理部22の合成出力映像の入出力特性をリニアな特性とする。
以上の処理により、照明光推定性能に優れるMcCann99モデルによるレティネックス処理とコントラスト補正性能に優れるMSRモデルによるレティネックス処理の両者の利点を得る合成映像を得ることができる。
次に、本実施例における第2の映像合成制御信号25による制御について説明する。
図5Aおよび図5Bは、特徴分析部24から出力する第2の映像合成制御信号25の制御の一例を示している。
まず、図5Aは、横軸が映像の輝度レベル、縦軸が1画面中の画素の個数を表しており、各輝度レベルの分布をヒストグラムとしてグラフ化したものである。図5Aの例において、ヒストグラムh1は、輝度レベルLV1からLV3までの範囲の分布が、LV1以下およびLV3以上の輝度レベルの分布よりも多いことを示している。なお、輝度レベルLV1からLV3までの範囲の分布がフラットな場合は、一点鎖線で示すヒストグラムh0になる。
図5Bは、横軸が入力映像の輝度レベル、縦軸が出力映像の輝度レベルを表しており、上述した図5Aの輝度分布がヒストグラムh1の場合に、特徴分析部24から出力される第2の映像合成制御信号25の一例を示している。これは、利得制御値βにより制御される入出力レベル特性である。図5Aの輝度分布がヒストグラムh0の場合には図5Bの点線で示した特性となり、図5Aの輝度分布がヒストグラムh1の場合には図5Bの実線で示した特性となる。ここで、βは、点線で示すリニアな特性を基準(β=1)とするものである。当該βを入力レベルに応じて可変することにより、図5Bの実線で示すような特性が得られる。図5Bの例では、βはLV2では1であるが、LV1では1より小さく、LV3では1より大きい値である。このように、図5Aのヒストグラムh1の場合には、利得制御値βにより、輝度分布が多いLV1からLV3の範囲の入出力特性曲線の傾きが、それ以外の領域の傾きに対して急峻になるよう制御される。このような特性で補正映像信号13を得ることにより映像中の分布が多い領域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
図5Cから図5Fは、輝度分布が図5Aとは異なる場合の制御の一例を説明する図である。
まず、図5CはLV2以下の輝度レベルの輝度分布がLV2以上の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図5Dに示している。図5Dのように、輝度分布が多いLV2以下の特性曲線の傾きがLV2以上の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てる。これにより、視認性の良好な映像を得ることができる。
次に、図5EはLV2以上の輝度レベルの輝度分布がLV2以下の輝度レベルよりも多い場合のヒストグラムの一例を示している。この場合の利得制御値βの一例を図5Fに示している。図5Fのように、輝度分布が多いLV2以上の特性曲線の傾きがLV2以下の輝度レベルと比較して急峻になるように制御することで、映像の分布が多い輝度帯域に対して、より多くの出力輝度レベルを割り当てることになるので、視認性の良好な映像を得ることができる。
以上説明した映像合成部26の一連の制御によって、照明光推定性能に優れるMcCann99モデルによるレティネックス処理とコントラスト補正性能に優れるMSRモデルによるレティネックス処理の両者の利点を得ながら、かつ視認性の良い補正映像が得られる。
なお、以上の説明において、レティネックスモデルの組み合わせは上述の例に限ったものではなく、異なる方式のレティネックスデモルの組み合わせでもよい。また、2方式のモデルの組み合わせに限ったものでなく、3つ以上のモデルの組み合わせでもよい。その場合は、図2に示す複数のレティネックス処理部は、並列に並べて各レティネックス処理部の補正映像を合成処理部26で合成して補正映像信号13を得るように構成すればよい。
(実施例2)
実施例2は、図1の映像表示装置における映像補正部100の動作が、実施例1と異なる例である。以下に実施例1との相違について説明する。特に説明の無い部分は実施例1と同様であるため、説明を省略する。
実施例2の映像補正部100について、図2を用いて説明する。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号12に対して、それぞれ異なる方式のレティネックス理論に基づく映像処理を行い、補正映像信号21および補正映像信号23を出力する。本実施例では、第1のレティネックス処理部20よりも第2のレティネックス処理部22の方がスケールの大きなレティネックス処理を行うものとする。ここで、レティネックス処理のスケールとは、レティネックス処理において参照する画素範囲の大きさである。
特徴分析部24は、内部映像信号12の特徴を分析し、第1の映像合成制御信号29および第2の映像合成制御信号25を映像合成部26へ出力する。映像合成部26では、映像合成制御信号29および映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。
ここで、実施例2の第2の映像合成制御信号25および利得制御値βは、実施例1と同様であるため、説明を省略する。
実施例2の第1の映像合成制御信号29による利得制御値αは、実施例1と異なるものである。以下にこれを説明する。
図6に、実施例2における、特徴分析部24における第1の映像合成制御信号の出力特性の一例を示す。図6は、横軸が映像の輝度レベル、縦軸が第1の映像合成制御信号29による合成制御値αの値を示している。図6のように、例えば、輝度レベルが低い場合はαを小さく、高い場合はαを大きくする。このようにαを制御することで合成比率を輝度レベルに応じて可変できる。映像合成部26によって得る補正映像信号13において、輝度レベルが小さい場合は、第2のレティネックス処理部22の割合を大きくできる。また、輝度レベルが大きい場合は、第1のレティネックス処理部20の割合を大きくできる。つまり、レティネックス処理のスケールが小さい第1のレティネクス処理部20からは比較的高い周波数成分の反射光成分を多く含むため、輝度が高い映像領域にて合成割合を大きくとることで、映像の精細感を高めることができる。
また、レティネックス処理のスケールが大きな第2のレティネクス処理部22からは比較的低い周波数成分の反射光成分を多く含むため、輝度が低い映像領域にて合成割合を大きくとることで、映像の陰影部分の視認性を高めることができる。なお、図6に示した特性は一例であり、各輝度レベルにおける最大値、最小値や特性の傾きなどは、レティネックス処理の特性に応じて決定すればよい。
以上説明した実施例において、映像合成制御信号29は、映像の輝度レベルに応じて生成する一例を示したが、周波数成分に応じた制御であってもよい。周波数成分に応じて制御をする場合は、例えば、映像信号の領域毎の周波数成分が高い場合には、補正映像信号13において、スケールサイズの小さいレティネックス処理部から得られる映像信号の割合を大きくし、映像信号の領域毎の周波数成分が低い場合には、補正映像信号13において、スケールサイズの大きなレティネックス処理部から得られる映像信号の割合を大きくする。さらに、映像の輝度レベルと周波数成分の両者を用いた合成制御を行ってもよく、その場合は、例えば、輝度レベルに応じた上述の制御値と、周波数成分に応じた制御値の加算または積算して正規化した値にて制御を行えばよい。
以上説明した本発明の実施例2によれば、異なる複数のレティネックス処理の補正映像をレティネックス処理のスケールに応じて合成することにより、映像の精細感と陰影部分の視認性を両立することが可能となる。
(実施例3)
次に、図1に示した映像表示装置における映像補正部100に異なるレティネックスモデルを用いた場合の実施例について説明する。映像補正部100の構成は、一例として図2の構成を用いることとするが、これに限ったものではない。図7は、第1のレティネックス処理部20の構成例であり、内部映像信号12を入力信号とし、Retinex理論に基づく映像処理を行うことで、2つの反射光成分101と102とを検出する反射光検出部150と、検出された2つの反射光成分を入力とし、反射光を調整した後、再合成を行うことで補正映像信号13を出力する反射光制御部180で構成される。
次に、反射光検出部150および反射光制御部180について説明する。
光の反射は、被写体の性質により、例えば、滑らかな表面で鏡のような鏡面反射をする光(以下、スペキュラと呼ぶ)、ざらざらした表面の細かな凹凸により拡散反射する光(以下、ディフューズと呼ぶ)、そして周囲の環境に対し反射等を繰り返すことで散乱した光である環境光(以下、アンビエントと呼ぶ)等に分類される。
例えば、3次元コンピュータグラフィックス分野に於いて、これら3つの光の性質を用いて物体表面の陰影を表現する反射モデルに、Phong反射モデルがある。Phong反射モデルによれば、材質は光の反射具合により表現できる。
例えば、プラスチック球体にスポットライトを当てた場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。このハイライトの部分がスペキュラである。また、ディフューズやアンビエントも材質に応じて輝度が異なる。
図10は、Phong反射モデルの例を説明する図である。図は、光源と光源から延びる光線、光線が到達した球体と球体を載せた床、この様子を観測する観測者で構成される。観測は、視点の位置で行われ、実際に目で観測しても、カメラ等の観測機器を使用してもよい。
図10に於いてスペキュラは、光線が球体表面で視線方向に反射した光501である。これは、光源が球体表面に映りこんだものであり、図中の円形のハイライト504がスペキュラの範囲である。例えば、プラスチックの球体の場合、輝度の高い小さな円形のハイライトができる。また、ゴム状の球体ではプラスチックよりハイライトの半径が広がるが、輝度は低くなる。Phong反射モデルでは、スペキュラは視線と反射光の余弦のべき乗に従うと仮定している。
図10に於いてディフューズは、光線が球体表面に当たった光502が拡散反射する光である。ディフューズの輝度は、光線と球体表面の向き、すなわち光線と法線との余弦で決まるため、球体表面で光が直接当たる部分がディフューズの範囲である。
図10に於いてアンビエントは、影となる部分に回りこんだ光503である。これは、周囲で幾度も反射し、散乱した光が環境全体に平均化されて留まったものあるため、直接光が届かない影の部分にも一定の輝度がある。影となる拡散反射する光で、光線と球体表面の向き、光線ベクトルすなわち法線との余弦で明るさが決まる。
以上より、Phong反射モデルは、数式1で表される。
Figure 0007344975000001
そこで、本実施例による反射光検出部に於ける反射光は、アンビエント、ディフューズ、スペキュラで構成されるとし、映像中のアンビエントは、広いスケールのガウシアンに従い、ディフューズは余弦による輝度分布に従い、スペキュラは余弦のべき乗による輝度分布に従うとする。アンビエントのフィルタをFa(x,y)、ディフューズのフィルタをFd(x,y)、スペキュラのフィルタをFs(x,y)とすると、各フィルタは、数式2~数式4となる。
Figure 0007344975000002
Figure 0007344975000003
Figure 0007344975000004
また、図11A、図11B、図11Cは、それぞれ縦軸を輝度のレベル、横軸を1次元位置座標で表現したアンビエント、ディフューズ、スペキュラの分布を説明する図である。このように、アンビエントのガウシアン分布に比べ、ディフューズ、スペキュラの分布は急峻にレベルが下がることが分かる。
ここで、アンビエントのフィルタによる映像Iaは、全体を平均化するため、ほぼアンビエント成分のみとなる。ディフューズのフィルタによる映像Idは、スペキュラの成分はフィルタにより平均化され、ほぼアンビエント成分とディフューズ成分のみとなる。スペキュラのフィルタによる映像Isは、殆ど平均化されないため、アンビエント成分とディフューズ成分とスペキュラ成分すべてが残る。これを数式5に示す。
Figure 0007344975000005
これを、MSRと同様に対数空間による反射成分を求めると数式6となる。
Figure 0007344975000006
また、鏡や金属等のスペキュラは、全反射と考えられるため、余弦のべき乗は無限大となる。このとき、スペキュラによる反射成分は、数式7を用いてもよい。
Figure 0007344975000007
また、アンビエントは環境全体の平均的な光であるため、ガウシアンフィルタの代わりに平均値フィルタまたは平均輝度を用いてもよい。例えば平均輝度を用いると数式8となる。
Figure 0007344975000008
また、スペキュラが目立つのは高輝度のハイライトであることが多く、ディフューズは中低輝度の場合が多い。そこで、例えば、数式6のスペキュラRspecularに対しては、図12Aに示すような高輝度領域のゲインを加え、ディフューズRdiffuseに対しては、図12Bに示すような中低輝度度領域のゲインを加えてもよい。ここで、図12Aの入出力曲線をg(I)とすると、入力輝度Iが低輝度のときはゲインが0となり、中輝度から徐々にゲインが高くなり、高輝度になるとゲインは1となる。図12Bの入出力曲線は1-g(I)で、低輝度のときにゲインが1で、中輝度から徐々にゲインが低くなり、高輝度でゲインが0となる。
また、MSRの例と同様、数式6は、加重平均後にゲインと指数関数を加えると準同型フィルタとなる。この準同型フィルタに対し、対数関数および指数関数を、例えばべき乗を用いた関数およびその逆関数で近似してもよい。この場合、関数fとすると数式9となる。
Figure 0007344975000009
以上により、Phong反射モデルを用いて、反射の性質を考慮した補正が行える。
図8および図9を用いて、数式9を説明する。
図8は、実施例3による反射光検出部の処理を説明する図である。反射光検出部150は、スペキュラフィルタ部151、ディフューズフィルタ部153と、アンビエントフィルタ部155と、関数変換部157、159、161と、スペキュラ検出部163と、ディフューズ検出部164とで構成される。なお、関数変換部は、対数関数でもよく、べき乗関数で近似してもよい。
図9Aは、実施例1による反射光制御部の処理を説明する図である。反射光制御部180は、重みW1とW2による加重平均で構成してもよく、重みW1とW2による加重平均と、ゲインGと、逆関数変換部182にて構成してもよい。ただし、逆関数変換部は、関数変換部で用いた関数の逆関数である。また、図9Bに示すように、図9Aの構成に図12Aの高輝度域に高いゲインを持つスペキュラ補正ゲイン183と図12Bの中低輝度域に高いゲインを持つディフューズ補正ゲイン184を加えてもよい。
以上の構成によれば、反射光成分を抽出する際に、光の反射の性質毎、すなわちスペキュラ、ディフューズ、アンビエント毎に映像を分解し、それぞれの性質に応じて補正量を変えることで、第1のレティネックス処理部20から映像中のオブジェクトの材質を考慮した、質感の高い第1の補正映像信号21を得ることができる。
次に、第2のレティネックス処理部22は、MSRモデルを用いた映像補正を行うものとする。このとき、上述した第1のレティネックス処理部20よりもスケールサイズを大きくとった処理を行う。
以上のような構成とすることで、第1の補正映像信号21はオブジェクトの性質を考慮した映像信号となり、第2の補正映像信号23は映像の比較的大きな面積でのコントラスト補正を行った映像信号となる。これらの補正映像信号に対して、実施例2で説明した映像合成部26の動作と同様に合成を行う。これにより、映像の輝度レベルが低い領域では、第2の補正映像信号の割合が大きくできるので、コントラスト改善効果を大きくでき、映像の輝度レベルが高い領域ではオブジェクトの性質を考慮した映像補正信号の割合を大きくできるので、補正映像信号13として映像の輝度レベルの全帯域に渡って視認性の良好な映像を得ることができる。
以上説明した本発明の実施例3によれば、上述した実施例2の効果に加えて、より質感の高い出力映像を得ることが可能となる。
(実施例4)
本実施例では、光の反射の性質毎に映像を分解して映像補正を行う映像表示装置をプロジェクタの構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行わず、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。この点については、以降のいずれの実施例でも同様である。
図13は、本実施例の映像表示装置の構成図の例である。
本映像表示装置は、映像入力信号10を入力とし、例えば圧縮映像信号のデコーダ、IP変換、スケーラ等により内部映像信号601に変換する入力信号処理部11と、内部映像信号601を入力とする映像補正部1000と、出力映像信号606を入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号15を生成するタイミング制御部14と、映像を表示する光学系装置200で構成される。なお、映像補正部1000は単に映像処理部と表現してもよい。
光学系装置200は、スクリーンへ映像を投影するための光線を照射する光源203と、表示制御信号15を入力とし、光源203からの光線の階調を画素毎に調整し、投射映像を作成するパネル202と、投射映像をスクリーンに拡大投影するためのレンズ201で構成される。
なお、映像表示装置が、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどの直視平面ディスプレイである場合は、光学系装置200のレンズ201は不要である。ユーザーはパネル202を直視することとなる。
映像補正部1000の構成の一例を図14に示す。色変換部602は、RGB形式で入力される内部映像信号601を、例えばYUV形式に変換して内部映像信号625を出力する。ここで、内部映像信号625の形式は、輝度信号Yと色信号に変換できればよく、YUV形式に限ったわけではない。第1のレティネックス処理部20および第2のレティネックス処理部22は、内部映像信号625の輝度信号Yに対してレティネックス理論に基づく映像処理を行い、第1の補正映像信号21および第2の補正映像信号23を出力する。第1のレティネックス処理部20および第2のレティネックス処理部22の動作は、実施例1と同一であるので詳述は省略する。
特徴分析部24は、内部映像信号625の特徴を分析し、映像合成部26へ第1の映像合成制御信号29および第2の映像合成制御信号25を出力する。映像合成部26では、第1の映像合成制御信号29および第2の映像合成制御信号25に基づき、補正映像信号21および補正映像信号23を合成して補正映像信号13を出力する。この映像合成部26の動作は実施例1で説明した一例と同一とし、詳細な説明は省略する。色変換部603は、補正映像信号13の輝度信号Yと、内部映像信号625の色信号UVを用い、RGB形式の補正映像信号604に変換して出力する。このとき、補正映像信号13と内部映像信号625との間には、上述の各レティネックス処理部と映像合成部26の処理構成により映像のタイミング差が生ずる場合があるが、ここではそのタイミング差を補正して補正映像信号604に変換する。
出力映像生成部605は、内部映像信号601と、補正映像信号604との映像信号レベルの比率に基づき、内部映像信号601に補正を加えて、新たな出力映像信号606として出力する。図15に出力映像生成部605の構成の一例を示す。絶対値化部610は、補正映像信号604のRGB成分より映像レベルの絶対値を算出し、映像レベル信号620を出力する。絶対値化部611は、内部映像信号601のRGB成分より映像レベルの絶対値を算出し、映像レベル信号621を出力する。比率演算器612は、前述の映像レベル信号620と映像レベル信号621の大きさの比率を求め、補正比率信号622を出力する。映像補正部613は、補正比率信号622に基づき内部映像信号601を補正して出力映像信号606を出力する。具体的には、内部映像信号601のRGB成分に対して、それぞれ補正比率信号622を乗算して補正を行う。
この具体的な補正の一例を図16に示す。図16では、RGB色空間において、RGB各軸上に映像信号のRGBレベルを示している。上述した内部映像信号601のRGBレベルが、(r1、g1、b1)であった場合をV1の矢印(実線)で示すベクトルとなる。ここで、ベクトルV1は、内部映像信号601の複数の色パラメータの比率の情報を有するものである。同様に、補正映像信号604のレベルが、(r2、g2、b2)であったとき、V2の矢印(実線)で示すベクトルとなる。上述した各絶対値化部610、611では、各RGB成分からベクトルの絶対値、つまりベクトルV1,V2の長さを求めて映像レベル信号620、621とする。比率演算器612では、この映像レベルの絶対値より大きさの比率を求め、映像補正部613で数式10に示すように乗算を行う。
Figure 0007344975000010
このようにして得る出力映像信号606は、図16のV3の破線で示すようになる。つまり、V1と同一方向のベクトルとなり、内部映像信号601の複数の色パラメータの比率が維持されるため、内部映像信号601の色合いを保持した上で、視認性の良好な映像を得ることが可能となる。
当該処理について、以上の説明では、「内部映像信号601を補正する」と説明しているが、内部映像信号601のRGBレベルのベクトルとその絶対値、および補正映像信号604のRGBレベルのベクトルとその絶対値とに基づいて新たな出力映像信号を生成しているともいえる。
ここまで説明した出力映像生成部605の映像補正処理は、内部映像信号601と補正映像信号604の各RGBレベルの絶対値の比率を用いて内部映像信号601を補正する一例を述べたが、輝度信号(Y)の比率を用いて内部映像信号601を補正することもできる。
その場合の映像補正部1000の構成の一例を図17に示す。色変換部602は、内部映像信号601のRGB形式の信号から内部映像信号626を出力する。第1のレティネックス処理部20、第2のレティネックス処理部22、特徴分析部24、映像合成部26の動作は上述と同様な動作であるため説明は省略する。出力映像生成部630における比率演算器631は、補正後の輝度信号13のレベルと内部映像信号626の輝度信号レベルとの比率を求め、補正比率信号632を出力する。映像補正部633は、補正比率信号632に基づき内部映像信号601を補正して出力映像信号608を出力する。具体的には、内部映像信号601のRGB成分に対して、それぞれ補正比率信号632を乗算して補正を行う。この構成例においても内部映像信号601の色合いを保持した上で、視認性の良好な映像を得ることが可能となる。
以上説明した本実施例の映像表示装置によれば、レティネックス処理による映像補正前の映像信号の色に関する情報(色空間上のベクトル情報または複数の色パラメータの比率の情報)と、レティネックス処理による映像補正前後の色空間ベクトルの絶対値または輝度の比率の情報に基づいて新たな映像信号を生成することができる。これにより、レティネックス処理による視認性の向上効果を得つつ、よりレティネックス処理前の色バランスに近い映像信号を生成して表示することが可能となる。
(実施例5)
本実施例では、本発明の実施例1~4の映像表示装置に対して、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する例を説明する。
一般的な画面全体に施すダイナミックコントラスト制御とは異なり、上述の実施例1~4で説明した画素毎のレティネックス処理の視認性向上効果を強調する利得を用いることで、映像のシーンの明るさに連動して画素毎の視認性向上処理の利得をダイナミックに制御することができる。
これは、上述の実施例1~4の映像補正部の映像補正処理の後段または前段に単純に画面全体に施すダイナミックコントラスト制御を組み合わせた場合とは効果が異なる。すなわち、画面全体に施すダイナミックコントラスト制御では、画素毎に異なるレティネックス処理の視認性向上効果を画素毎に強調することができないためである。
以下、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する例の詳細を説明する。
図18は、本発明の実施例5の映像表示装置の構成図の一例を示したものである。本例は、本発明の実施例1~4のうち、本発明の実施例4の映像表示装置をもとに改良した例である。よって、実施例4の映像表示装置と同一の処理部については同一の符号が付してある。実施例4の映像表示装置と同一の処理部については、その構成および処理は、実施例1~4で既に説明した通りであるので、繰り返しの説明は省略する。
図18に示す入力信号処理部1800では、入力映像全体の平均画素値であるAPL(Average Picture Level=平均画素値レベル)情報1850を算出する。入力信号処理部1800は、算出したAPL情報1850を、映像補正部1810に伝送する。
図18に示すユーザー設定部1820は、ユーザーからの操作入力である操作信号1821を受け付け、操作信号1821に応じて、後述する設定メニュー画面を表示して各項目のユーザー設定を可能とする。設定メニュー画面の詳細は後述する。
次に、図18の映像補正部1810の構成について、図19および図20を用いて説明する。
映像補正部1810の構成は、例えば、実施例4の図14の構成を改良した図19の構成を用いればよい。図19の映像補正部は、図14の映像補正部と異なり、入力信号処理部1800からAPL情報1850を取得できるように構成されている。APL情報1850の特徴分析部24は、入力信号処理部1800から取得したAPL情報1850を用いる処理を行うことができる。
また、映像補正部1810の構成の別の例としては、例えば、実施例4の図17の構成を改良した図20の構成を用いればよい。図20の映像補正部は、図17の映像補正部と異なり、入力信号処理部1800からAPL情報1850を取得できるように構成されている。APL情報1850の特徴分析部24は、入力信号処理部1800から取得したAPL情報1850を用いる処理を行うことができる。特徴分析部24は、APL情報1850を用いて映像合成制御信号25を制御し、利得制御部31が用いる利得制御値βの大小を制御する。上述の各実施例で説明した通り、利得制御値βを制御することにより視認性向上処理強度を制御することができる。
したがって、本実施例の映像補正部1810は、APL情報1850に基づいて、利得制御値βを可変して、視認性向上処理強度を制御することが可能となる。詳細な制御方法については後述する。
次に、図21を用いて、上述の設定メニュー画面について説明する。図21は、本実施例の映像表示装置が表示する設定メニュー画面の一例である設定メニュー画面2100を示す図である。
設定メニュー画面2100は、映像表示装置のメニュー画面信号生成部(図示省略)で生成され、補正映像信号13、出力映像信号606、または出力映像信号608に替えて出力される。または、設定メニュー画面2100はこれらの映像信号に重畳して出力されてもよい。
設定メニュー画面2100の例の「Retinex方式選択」2110の項目について説明する。「Retinex方式選択」2110の項目により、各実施例で説明した第1のレティネックス処理部20および第2のレティネックス処理部22の両者のレティネックス処理の使用の要否を選択できる。選択は、リモコンや装置本体の操作ボタンの操作に基づいて生成される操作信号1821に応じてカーソル2111を移動させることにより行うように構成する。選択項目とその場合の処理について説明する。
例えば、「Retinex1 only」の選択項目が選択された場合は、第1のレティネックス処理部20の処理のみを映像補正部の処理に適用し、第2のレティネックス処理部22の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを1にしてもよく、第2のレティネックス処理部22の動作自体をOFFしてもよい。
次に、「Retinex2 only」の選択項目が選択された場合は、逆に、第2のレティネックス処理部22の処理のみを映像補正部の処理に適用し、第1のレティネックス処理部20の処理は映像補正部の処理に適用しない。具体的には、合成制御値αを0にしてもよく、第1のレティネックス処理部20の動作自体をOFFしてもよい。「Combining Retinex1 and 2」の選択項目が選択された場合は、上述の実施例で説明したように、第1のレティネックス処理部20の処理と第2のレティネックス処理部22の処理とを合成して出力する。
「Retinex OFF」の選択項目が選択された場合は、第1のレティネックス処理部20の処理と第2のレティネックス処理部22の処理との両者とも映像補正部の処理に適用しない。両者の動作をOFFにしてもよく、映像補正部に入力される映像について、映像補正部をバイパスして出力してもよい。
上述の「Retinex方式選択」2110の項目では、必ずしも、上述の4つの選択項目をユーザーに提示する必要はなく、例えば、「Combining Retinex1 and 2」の選択項目および「Retinex OFF」の選択項目の2つを提示するだけでもよい。また、「Combining Retinex1 and 2」の選択項目、「Retinex1 only」の選択項目、「Retinex OFF」の選択項目の3つを提示してもよい。すなわち、例示した選択肢のうち少なくとも2項目を提示すればよい。
次に、設定メニュー画面2120の例の「視認性向上処理強度設定」2120の項目について説明する。当該項目は、図3の利得制御部31の処理の効果の大小を設定できる。具体的には、スライドバー2121の移動に応じて、利得制御値βの変化量の振幅の大小を変更する。本図の例では、スライドバー2121はユーザーの選択によってレベル1、レベル2、レベル3、レベル4の4段階のレベルに設定することが可能となっているレベルがレベル1、レベル2、レベル3、レベル4と大きくなるにつれて利得制御値βの変化量の振幅が大きくなるように設定する。詳細な設定は後述する。ここで、図5B、図5D、図5Fのいずれの特性においても、利得制御値βの変化量の振幅が大きくなれば、視認性向上処理が強くなることとなる。
次に、設定メニュー画面2120の例の「映像適応型視認性向上処理」2130の項目について説明する。これは、本実施例の入力信号処理部1800が取得したAPL情報1850を用いて、映像補正部1810が利得制御値βを可変する機能をONするかOFFするかを選択する項目である。
「映像適応型視認性向上処理」2130の項目では、リモコンや装置本体の操作ボタンの操作を介して、ユーザーがカーソル2131を移動させ、「ON」か「OFF」のいずれかを選択可能とする。「OFF」が選択された場合には、映像補正部1810は、上述の利得制御値βは、上述の「視認性向上処理強度設定」2120の項目のユーザー選択により大きさを制御することができるが、APL情報1850の示すAPLの値に連動して変化しない。「ON」が選択された場合には、、映像補正部1810は、上述の利得制御値βは、APL情報1850の示すAPLの値に連動して変化する。
また、上述の「視認性向上処理強度設定」2120の項目のユーザー選択毎に、APL情報1850に連動する利得制御値βの制御を異ならせることができる。具体的な制御例については後述する。
以上説明した通り、図21に示す設定メニュー画面2100を用いることにより、映像表示装置の映像補正処理をユーザーの好みや映像表示装置の使用目的または使用環境にあわせてユーザーが調整することが可能である。これにより、より使い勝手のよい映像表示装置が提供できる。
次に、図22~25を用いて、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLと、視認性向上を強調するゲインである利得制御値βとの設定の関係の一例を説明する。
図22は、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「OFF」が選択された状態の、輝度視認性向上利得である利得制御値βの設定制御の一例を示している。
図22の表において縦に並ぶ行には「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1(Lv.1)、レベル2(Lv.2)、レベル3(Lv.3)、レベル4(Lv.4)まで示されている。なお、図22から図30の各図において、単にLv.1、Lv.2、Lv.3、またはLv.4と表記した場合には、「視認性向上処理強度設定」2120の項目においてユーザーが選択したレベルを示すものとする。
また、当該Lv.1、Lv.2、Lv.3、またはLv.4の表記の後に、(ON)と表記されているものは、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「ON」であることを示すものとする。同様に、当該Lv.1、Lv.2、Lv.3、またはLv.4の表記の後に、(OFF)と表記されているものは、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であることを示すものとする。本図以降の図でも同様である。
また、図22の表において横に並ぶ列にはAPL情報1850の示すAPLの値がパーセンテージ表記で示されている。
ここで、図22においては、輝度視認性向上利得βの制御の特性をより一般化して説明するために、最大利得を100とし最小利得を0として正規化して表中に表記している。例えば、正規化されて0の値を取る最小利得の実際の倍率は1.0と設定してもよい。最大利得の実際の倍率は設計思想に依存するため、映像表示装置において好適な倍率に設定すればよい。正規化された値のうち0~100までの値は、線形に正規化した値と考えてもよいし、対数曲線等を用いて正規化した値と考えてもよい。
図22の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4と大きくなるにつれて、輝度視認性向上利得βが大きくなるように設定する。これにより、輝度視認性向上処理の効果をユーザーの好みに応じて選択することが可能となる。
しかしながら、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であるため、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4の各状態において、輝度視認性向上利得βはAPLの値に対して固定である。
例えば、図22の例では、輝度視認性向上利得βはユーザー選択状態がレベル1のときは0(最小利得)に固定である。輝度視認性向上利得βはユーザー選択状態がレベル2のときは13に固定である。輝度視認性向上利得βはユーザー選択状態がレベル3のときは57に固定である。輝度視認性向上利得βはユーザー選択状態がレベル4のときは100(最大利得)に固定である。すなわち、図22の例では、輝度視認性向上利得βはAPLの値に対して連動して変化することはない。
次に、図23を用いて、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「ON」が選択された状態の、輝度視認性向上利得βの設定制御の一例を示している。図23の表中の各値の定義は図22と同様であるため、説明を省略する。図23の例では、図22と異なり、輝度視認性向上利得βはAPLの値に対して連動して変化する。図23の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが0%から所定の値(例えば30%)までは、輝度視認性向上利得βが増加するように設定されている。
また、ユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが所定の値(例えば30%)を超えると、輝度視認性向上利得βは飽和するように設定されている。飽和時の輝度視認性向上利得βの値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて大きくなるように設定されている。
すなわち、図23の例では、輝度視認性向上利得βの最大効果をユーザーの好みで設定可能としつつ、APLが低いシーンでは、輝度視認性向上利得βをAPLに連動させて可変することができる。当該制御例では、図3に示す利得制御部31の画素単位の利得を制御することができ、輝度視認性向上効果を好適に可変することができる。画面全体に施すコントラスト調整では当該制御例を同様の効果を得ることはできない。
次に、図22の輝度視認性向上利得βの制御例と、図23の輝度視認性向上利得βの制御例の両者を、図24のグラフに示す。輝度視認性向上利得βの設定制御の特徴は図22および図23の説明で説明した通りであるので、再度の説明は省略する。
次に、図24に示される輝度視認性向上利得βの設定制御のうち、さらに特徴的な例について図25を用いて説明する。図25は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1であるときの、「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」の輝度視認性向上利得βの設定例と、「ON」の輝度視認性向上利得βの設定例を比較したものである。図25の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態が最小選択レベルのレベル1のままであっても、「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」へ切り替わったときに、いずれのAPLでも輝度視認性向上利得βが大きくなるように制御する。これにより、ユーザーは、表示映像を目視することにより「映像適応型視認性向上処理」の効果を確認することができ、好適である。
以上説明した本発明の実施例5の映像表示装置によれば、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理をダイナミックに制御することが可能となる。
(実施例6)
本実施例は、本発明の実施例5の映像表示装置において、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理を入力映像に対してダイナミックに制御する場合に、実施例4で説明した色補正比率も入力映像に対してダイナミックに制御する例である。
具体的には、本発明の実施例5の映像表示装置に対して、色補正比率に利得を乗じて入力映像に対してダイナミックに制御する機能を追加するものである。
本発明の実施例6の映像表示装置は、実施例5の映像表示装置をもとに改良した例である。よって、実施例6の映像表示装置の構成例も、実施例5の映像表示装置の構成例である図18を用いて説明するものとする。以下、図18に記載される構成のうち、実施例5と異なる処理を行う部分について説明するものとし、実施例5と共通の処理を行う部分については、繰り返しの説明は省略する。
本発明の実施例6の映像表示装置では、実施例5の映像表示装置と同様に、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLの関係に基づいて、視認性向上を強調するゲインである輝度視認性向上利得βを設定する。
これに加えて、本発明の実施例6の映像表示装置では、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLの関係に基づいて、実施例4で説明した色補正比率に乗じる利得の値を設定する。本実施例では、当該利得を色補正比率利得と称する。
ここで、実施例4で説明した色補正比率の値とは、具体的には、図15の色補正比率622または、図17の色補正比率632である。実施例6において、映像補正部1810の構成として図19の構成例を採用する場合は、上述の色補正比率622の値を以下に説明する色補正比率の利得設定制御(ゲイン設定制御)に用いる。実施例6において、映像補正部1810の構成として図20の構成例を採用する場合は、上述の色補正比率632の値を以下に説明する色補正比率の利得設定制御(ゲイン設定制御)に用いる。
これらの色補正比率パラメータは、レティネックス処理後の色バランスを、レティネックス処理前の色バランスに近づけるためのパラメータである。具体的には、レティネックス処理の強度が強くなると、彩度が失われる方向に色バランスが変化する傾向があるが、これらの色補正比率により当該色バランスを彩度が上がる方向に修正することができる。
図26~図30を用いて、図21に示す設定メニュー画面2100における「視認性向上処理強度設定」2120の項目についてのユーザー選択状態と、「映像適応型視認性向上処理」2130の項目についてのユーザー選択状態と、APL情報1850に格納される入力映像のAPLと、色補正比率利得の値の設定の関係の一例を説明する。
図26は、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「OFF」が選択された状態の、色補正比率利得の値の設定制御の一例を示している。
図26の表において縦に並ぶ行には、図22同様に「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1(Lv.1)、レベル2(Lv.2)、レベル3(Lv.3)、レベル4(Lv.4)まで示されている。また、図26の表において横に並ぶ列には、図22同様に、APL情報1850の示すAPLの値がパーセンテージ表記で示されている。
ここで、図26においては、色補正比率利得の値の制御の特性をより一般化して説明するために、最大色補正比率利得を100とし最小色補正比率利得を0として正規化して表中に表記している。例えば、正規化されて100の値を取る最大色補正比率利得の実際の倍率は1.0と設定してもよい。例えば、正規化されて0の値を取る最小色補正比率利得の実際の倍率は0や0.5などと設定してもよい。正規化された値のうち0~100までの値は、線形に正規化した値と考えてもよいし、対数曲線等を用いて正規化した値と考えてもよい。
図26の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4と大きくなるにつれて、色補正比率利得が大きくなるように設定する。ここで、実施例6の図26の制御は、図22に示した視認性向上を強調するゲインである輝度視認性向上利得βの制御に加えて行われるものである。すると、図22に示す輝度視認性向上利得βの制御により輝度視認性向上処理の効果をユーザーの好みに応じて選択された場合に、図26の色補正比率利得の制御により、その輝度視認性向上処理の効果に応じた色バランスの修正を行うことができる。
しかしながら、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の選択状態が「OFF」であるため、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4の各状態において、色補正比率利得はAPLの値に対して固定である。
例えば、図26の例では、色補正比率利得はユーザー選択状態がレベル1のときは0(最小色補正比率)に固定である。色補正比率利得はユーザー選択状態がレベル2のときは38に固定である。色補正比率利得はユーザー選択状態がレベル3のときは69に固定である。色補正比率利得はユーザー選択状態がレベル4のときは100(最大色補正比率利得)に固定である。すなわち、図26の例では、色補正比率利得はAPLの値に対して連動して変化することはない。
次に、図27を用いて、図21に示す設定メニュー画面2100の「映像適応型視認性向上処理」2130の項目において「映像適応型視認性向上処理」の「ON」が選択された状態の、色補正比率利得の設定制御の一例を示している。図27の表中の各値の定義は図26と同様であるため、説明を省略する。図27の例では、図26と異なり、色補正比率利得はAPLの値に対して連動して変化する。図27の例では、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが0%から所定の値(例えば60%)までは色補正比率利得が増加するように設定されている。
また、ユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの状態においても、APLが所定の値(例えば60%)を超えると、色補正比率利得は飽和するように設定されている。図27において、飽和時の色補正比率利得の値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて変わることなく共通に設定されている。このように設定する理由とその効果については後述する。
ここで、実施例6の図27の制御は、図23に示した視認性向上を強調するゲインである輝度視認性向上利得βの制御に加えて行われるものである。すると、図23に示す輝度視認性向上利得βの制御により輝度視認性向上処理の効果がAPLに連動して可変する場合に、図27の色補正比率利得の制御によりAPLに連動して可変する輝度視認性向上処理の効果に対して好適な色バランスの修正を行うことができる。
すなわち、図27の制御例では、色補正比率622または色補正比率632に色補正比率利得を乗じることにより、図19の出力映像生成部605や、図20の映像補正部633の色補正を画素単位で制御することができ、色補正効果を好適に可変することができる。画面全体に施す色補正調整では当該制御例を同様の効果を得ることはできない。
次に、図26の色補正比率利得の制御例と、図27の色補正比率利得の制御例の両者を、図28のグラフに示す。色補正比率利得の設定制御の特徴は図26および図27の説明で説明した通りであるので、再度の説明は省略する。
次に、図28に示される色補正比率利得の設定制御による効果について図29を用いて説明する。図29は、図28に補足説明用の矢印群2910と、補足説明用の矢印群2920を加えたものである。
まず、APLが比較的高い映像(以下「高APL映像」と称する。)に対する色補正比率利得の設定制御について説明する。図29に示される色補正比率利得の設定制御において、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3の場合(すなわち、視認性向上処理強度が最大のレベル4以外の場合)については、「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」に変化したとき、高APL映像では、矢印群2910のように色補正比率利得が上昇する。
図29の例では、APLが60%以上では、レベル1、レベル2、レベル3のいずれのレベルにおいても最大色補正比率利得まで上昇する。当該最大色補正比率利得は「映像適応型視認性向上処理」の選択状態が「OFF」における、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル4である場合と同じ値である。このように制御する理由は以下の通りである。
すなわち、上述の通り、そもそも色補正比率は、レティネックス処理の強度が強くなったときに失われた彩度を修正する色補正のためのものであるので、レティネックス処理の強度が強くなる状態ではできる限り大きい色補正比率利得とした方がよい。一方で、レティネックス処理の強度が強くない条件下かつAPLが比較的低い映像(以下「低APL映像」と称する。)において色補正比率を高めると、必要以上に彩度が大きくなったり、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性があった。
したがって、「映像適応型視認性向上処理」の選択状態が「OFF」の場合は、低APLの映像において色補正比率利得を高めることのデメリットを最小限にしながら、高APLの映像において「視認性向上処理強度設定」2120の項目についてユーザーが選択したレベルに対応する視認性向上処理の効果に対する色補正効果を得るために、色補正比率利得を最大色補正比率利得ではなく中間的な値に設定する必要があった。これが、「映像適応型視認性向上処理」がない場合における、色補正比率利得を用いた色補正のメリットを最大限に得られない課題となっていた。
これに対し、本実施例に係る図29の制御例では、「映像適応型視認性向上処理」の選択状態が「ON」の場合は、APL応じて色補正比率利得を可変できるので、当該課題は解消し、高APLの映像において「視認性向上処理強度設定」2120の項目についてユーザーが選択したレベルに関わらず最大色補正比率利得を用いることが可能となり、色補正比率利得を用いた色補正のメリットを最大限に得ることができるようになっている。
次に、低APL映像に対する色補正比率利得の設定制御について説明する。図29に示される色補正比率利得の設定制御において、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル2、レベル3、レベル4の場合については、「映像適応型視認性向上処理」の選択状態が「OFF」から「ON」に変化したとき、低APL映像では、矢印群2920のように色補正比率利得が低下する。特に、視認性向上処理強度が最大のレベル4が選択されている場合は低下が最も大きい。図29の例では、APLが60%より低いときは、レベル2、レベル3、レベル4のいずれのレベルにおいても、「OFF」の状態よりも色補正比率利得が低くなる。図29の例では、いずれのレベルにおいてもAPLが0%のときに最小色補正比率利得まで低下する。当該最大色補正比率利得は「映像適応型視認性向上処理」の選択状態が「OFF」における、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1である場合と同じ値である。このように制御する理由は以下の通りである。
すなわち、図29の制御を行うときに、図23に示す輝度視認性向上利得βの制御も行われているので、低APLの映像に対しては、輝度視認性向上利得βの制御による輝度視認性向処理におけるレティネックス処理の強度が低くなっている。よって、低APLの映像に対して、色補正比率利得を高く維持する必要がない。
また、上述の通り、レティネックス処理の強度が強くない条件下かつ低APL映像において色補正比率利得を高めると、必要以上に彩度が大きくなったり、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性がある。よって、低APLの映像に対しては、デメリットが生じない程度に色補正比率利得を低く設定した方が好ましい。以上の2点の理由により、図29に示すように、低APLの映像に対しては、APLに応じて色補正比率利得を徐々に低下させていく制御がより好適といえる。
図29の例では、以上説明した理由により、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態がレベル1、レベル2、レベル3、レベル4のいずれの場合にも、高APL映像における最大色補正比率利得のメリットを最大限に得つつ、低APLの映像に対しては、APLに応じて色補正比率利得を徐々に低下させていく制御を行っている。この場合特に「視認性向上処理強度設定」2120の項目についてのユーザーが選択したレベルにより差をつける必要はないため、図29の例では、「映像適応型視認性向上処理」の選択状態が「ON」の場合は、ユーザーの選択した当該レベルに関わらず、色補正比率利得の制御を共通としている。
ただし、「映像適応型視認性向上処理」の選択状態が「ON」の場合にユーザーの選択したレベルによって、色補正比率利得の制御を異ならせる必要がある場合は、必ずしも色補正比率利得の制御を共通にする必要はない。この場合、図29に説明したAPLに対する色補正比率利得の増減の傾向さえ維持すれば本発明の効果を得ることができる。
次に、本実施例の「映像適応型視認性向上処理」の選択状態が「ON」の場合における、輝度視認性向上利得βの設定制御例と、色補正比率利得の設定制御例の比較説明を、図30を用いて行う。
図24に示した輝度視認性向上利得βの設定制御例のうち「映像適応型視認性向上処理」の選択状態が「ON」の設定制御例を示すグラフを図30の上半分に示している。図28に示した色補正比率利得の設定制御例のうち「映像適応型視認性向上処理」の選択状態が「ON」の設定制御例を示すグラフを図30の下半分に示している。図30に示されるように、本実施例に係る映像表示装置では、輝度視認性向上利得βは、APL0%からAPL30%程度まで増加し、APL30%程度で飽和する。これに対し、色補正比率利得は、APL0%からAPL60%程度まで増加し、APL60%程度で飽和する。
このように、本実施例に係る映像表示装置では、輝度視認性向上利得βと色補正比率利得とがともに増加する場合に、色補正比率利得の増加が飽和するAPLの値を輝度視認性向上利得βの増加が飽和するAPLの値よりも大きくしている。これにより、色補正比率利得の増加が、輝度視認性向上利得βの増加よりも緩やかになる。
上述の通り、低APLにおいて、色補正比率利得が輝度視認性向上効果に対して必要以上に大きくなると、黒映像に色ノイズが生じたり、グレー映像において不要な有彩色が強調されるというデメリットを生じる可能性があることを説明した。ここで、図30に示す本実施例に係る映像表示装置の制御のように、APLに対する色補正比率利得の増加を、APLに対する輝度視認性向上利得βの増加よりも緩やかにするように制御すれば、低APLにおいて、色補正比率利得が輝度視認性向上効果に対して必要以上に大きくなることを防止することができるので、上述のデメリットを低減することが可能となる。
また、図30から分かるように、映像適応型視認性向上処理の選択状態が「ON」の場合、APL30%程度で輝度視認性向上利得βが飽和し、飽和時の輝度視認性向上利得βの値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに応じて異なるように設定されている。これに対し、APL60%程度で色補正比率利得が飽和し、飽和時の色補正比率利得の値は、「視認性向上処理強度設定」2120の項目についてのユーザー選択状態のレベルに関わらず同じなるように設定されている。このような関係にすることにより、視認性向上処理効果をユーザーの好みにより調整できるようにするとともに、色補正による色バランス修正効果を最大限まで利用することが可能となる。
以上説明した本発明の実施例6の映像表示装置によれば、画素毎に行われるレティネックス処理を用いた視認性向上処理の利得を用いて、視認性向上処理をダイナミックに制御することが可能であり、かつ、ダイナミックな視認性向上処理に対してより好適な色補正を行うことができる。
10 映像入力信号
12 内部映像信号
13 補正映像信号
15 表示制御信号
20 第1のレティネックス処理部
21 第1の補正映像信号
22 第2レティネックス処理部
23 第2の補正映像信号
24 特徴分析部
25 映像合成制御信号
26 映像合成部
27、28、31 利得制御部
29 映像合成制御信号
30 加算器
32 照度レベル信号
33 適応制御による補正映像信号
100 映像補正部
101 スケール1による反射光成分
102 スケール2による反射光成分
120 MSRによる反射光検出部
122 スケール1フィルタによるコンボリューション積の結果
124 スケール2フィルタによるコンボリューション積の結果
126 スケール1によるSSRの結果値
128 スケール2によるSSRの結果値
130 MSRによる反射光制御部
131 各SSRの結果に対する加重平均結果値(ゲイン含む)
152 スペキュラフィルタによるコンボリューション積の結果
154 ディフューズフィルタによるコンボリューション積の結果
156 アンビエントフィルタによるコンボリューション積の結果
158 スペキュラフィルタに対する関数変換の結果
160 ディフューズフィルタに対する関数変換の結果
162 アンビエントフィルタに対する関数変換の結果
181 スペキュラおよびディフューズに対する加重平均結果値(ゲイン含む)
302 エッジ信号
601 内部映像信号
602、603 色変換部
604 補正映像信号
605、607、630 出力映像生成部
606、608 出力映像信号
610、611 絶対値化部
612、631 比率演算器
613、615、633 映像補正部
1000、3000 映像補正部

Claims (22)

  1. 映像入力部と、
    前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
    前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
    前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成して補正映像信号を生成可能な映像合成部と、
    前記映像合成部の出力映像に基づく映像を表示可能な表示部と、を備え、
    前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成する処理において、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成した映像について、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
    前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  2. 請求項に記載の映像表示装置において、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    映像表示装置。
  3. 請求項1に記載の映像表示装置において、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記表示部には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
    前記設定メニュー画面では、
    前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
    前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    映像表示装置。
  4. 請求項に記載の映像表示装置において、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち前記輝度レベル変換処理のゲインを最も小さくする段階が選択されている場合において、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記映像入力部から入力された映像の平均画素値レベルがいずれの値であっても、前記輝度レベル変換処理のゲインの変更後の値は、変更前の値よりも増加する、
    映像表示装置。
  5. 映像入力部と、
    前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
    前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
    前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成可能な映像合成部と、
    前記映像入力部から入力された映像が有する色空間上のベクトルと同じ方向の色空間上のベクトルに対して、前記映像合成部で生成された補正映像信号における色空間ベクトルの絶対値に基づいて算出する色補正比率を用いた補正を行った出力映像を生成する映像生成部と、
    前記映像生成部の出力映像に基づく映像を表示可能な表示部と、を備え、
    前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成する処理において、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成した映像について、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
    前記映像合成部は、前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり、
    前記映像生成部は、前記色補正比率に第2のゲインを乗じることが可能であり、
    前記映像生成部は、前記色補正比率に乗じる前記第2のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであ
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変
    前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    映像表示装置。
  6. 請求項に記載の映像表示装置において、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    映像表示装置。
  7. 請求項に記載の映像表示装置において、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記表示部には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
    前記設定メニュー画面では、
    前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
    前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    映像表示装置。
  8. 請求項に記載の映像表示装置において、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階以外の段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値を超えている場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも増加する、
    映像表示装置。
  9. 請求項に記載の映像表示装置において、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値より小さい場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも低下する、
    映像表示装置。
  10. 請求項に記載の映像表示装置において、
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第1の値を超えると第1のゲインで飽和するように可変するものであり、
    前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第2の値を超えると前記第2のゲインで飽和するように可変するものであり、
    平均画素値レベルの前記第2の値は前記第1の値よりも高い値である、
    映像表示装置。
  11. 請求項10に記載の映像表示装置において、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更可能であるが、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更した場合でも、前記色補正比率に乗じる前記第2のゲインが飽和する前記第2のゲインは変化しない、
    映像表示装置。
  12. 映像入力部と、
    前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
    前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
    前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成可能な映像合成部と、
    前記映像合成部の出力映像に基づく表示映像を投射可能な映像投射部と、を備え、
    前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成する処理において、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成した映像について、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
    前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  13. 請求項12に記載のプロジェクタにおいて、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    プロジェクタ。
  14. 請求項12に記載のプロジェクタにおいて、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記映像投射部から投射する表示映像には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
    前記設定メニュー画面では、
    前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
    前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    プロジェクタ。
  15. 請求項14に記載のプロジェクタにおいて、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち前記輝度レベル変換処理のゲインを最も小さくする段階が選択されている場合において、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記映像入力部から入力された映像の平均画素値レベルがいずれの値であっても、前記輝度レベル変換処理のゲインの変更後の値は、変更前の値よりも増加する、
    プロジェクタ。
  16. 映像入力部と、
    前記映像入力部から入力された映像について第1のレティネックス処理を行う第1のレティネックス処理部と、
    前記映像入力部から入力された映像について、前記第1のレティネックス処理と方式の異なる第2のレティネックス処理を行う第2のレティネックス処理部と、
    前記映像入力部から入力された映像の特徴に応じて前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成可能な映像合成部と、
    前記映像入力部から入力された映像が有する色空間上のベクトルと同じ方向の色空間上のベクトルに対して、前記映像合成部で生成された補正映像信号における色空間ベクトルの絶対値に基づいて算出する色補正比率を用いた補正を行った出力映像を生成する映像生成部と、
    前記映像生成部の出力映像に基づく表示映像を投射可能な映像投射部と、を備え、
    前記映像合成部は、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成し補正映像信号を生成する処理において、前記第1のレティネックス処理部が処理した映像と前記第2のレティネックス処理部が処理した映像とを合成した映像について、度数分布が多い輝度帯域に対してより多くの出力輝度レベルを割り当てて映像の視認性を向上するように輝度レベルを画素毎に変換する輝度レベル変換処理を行うものであり、
    前記映像合成部は、前記輝度レベル変換処理のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであり、
    前記映像生成部は、前記色補正比率に第2のゲインを乗じることが可能であり、
    前記映像生成部は、前記色補正比率に乗じる前記第2のゲインを、前記映像入力部から入力された映像の平均画素値レベルに応じて可変するものであ
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変
    前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが所定の値を超えると所定のゲインで飽和するように可変する、
    プロジェクタ。
  17. 請求項16に記載のプロジェクタにおいて、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記所定のゲインを変更可能である、
    プロジェクタ。
  18. 請求項16に記載のプロジェクタにおいて、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記映像投射部が投射する表示映像には、前記操作入力部を介した操作入力によりユーザーが設定を変更できる設定メニュー画面が表示可能であり、
    前記設定メニュー画面では、
    前記輝度レベル変換処理のゲインを複数の段階から選択可能であり、
    前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変しない第1の状態とするか、前記輝度レベル変換処理のゲインを前記映像入力部から入力された映像の平均画素値レベルに応じて可変する第2の状態とするかを選択可能である、
    プロジェクタ。
  19. 請求項18に記載のプロジェクタにおいて、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階以外の段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値を超えている場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも増加する、
    プロジェクタ。
  20. 請求項18に記載のプロジェクタにおいて、
    前記設定メニュー画面により、前記輝度レベル変換処理のゲインについて前記複数の段階のうち、前記輝度レベル変換処理のゲインを最も大きくする段階が選択されている場合であって、前記映像入力部から入力された映像の平均画素値レベルが前記所定の値より小さい場合に、前記第1の状態から前記第2の状態へと選択が変更されたときに、前記色補正比率に乗じる前記第2のゲインの変更後の値は、変更前の値よりも低下する、
    プロジェクタ。
  21. 請求項16に記載のプロジェクタにおいて、
    前記輝度レベル変換処理のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第1の値を超えると第1のゲインで飽和するように可変するものであり、
    前記色補正比率に乗じる前記第2のゲインは、前記映像入力部から入力された映像の平均画素値レベルが0%から上昇するにつれて増加し、前記映像入力部から入力された映像の平均画素値レベルが第2の値を超えると前記第2のゲインで飽和するように可変するものであり、
    平均画素値レベルの前記第2の値は前記第1の値よりも高い値である、
    プロジェクタ。
  22. 請求項21に記載のプロジェクタにおいて、
    ユーザーからの操作入力を受け付ける操作入力部を備え、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更可能であるが、
    前記操作入力を介したユーザーの操作入力に基づいて前記輝度レベル変換処理のゲインが飽和する前記第1のゲインを変更した場合でも、前記色補正比率に乗じる前記第2のゲインが飽和する前記第2のゲインは変化しない、
    プロジェクタ。
JP2021551055A 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ Active JP7344975B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/040086 WO2021070342A1 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ

Publications (2)

Publication Number Publication Date
JPWO2021070342A1 JPWO2021070342A1 (ja) 2021-04-15
JP7344975B2 true JP7344975B2 (ja) 2023-09-14

Family

ID=75437840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551055A Active JP7344975B2 (ja) 2019-10-10 2019-10-10 映像表示装置およびプロジェクタ

Country Status (4)

Country Link
US (1) US12081916B2 (ja)
JP (1) JP7344975B2 (ja)
CN (1) CN114556907A (ja)
WO (1) WO2021070342A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513907A (ja) 1997-03-06 2000-10-17 松下電器産業株式会社 映像信号の画質補正回路
JP2005198338A (ja) 2005-02-16 2005-07-21 Hitachi Ltd 画像表示装置
JP2006311167A (ja) 2005-04-28 2006-11-09 Hitachi Ltd 映像処理装置及び映像表示装置
JP2010130399A (ja) 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010213008A (ja) 2009-03-10 2010-09-24 Sharp Corp 信号処理装置、映像表示装置及び信号処理方法
WO2015097780A1 (ja) 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置
WO2017046905A1 (ja) 2015-09-16 2017-03-23 日立マクセル株式会社 映像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3208814B2 (ja) 1992-01-09 2001-09-17 松下電器産業株式会社 映像信号補正装置
JP4212134B2 (ja) * 1997-12-25 2009-01-21 三洋電機株式会社 画像信号処理装置
JP2003177727A (ja) * 2001-12-13 2003-06-27 Nec Viewtechnology Ltd 画像表示装置および光量調節方法
JP4271978B2 (ja) * 2003-04-18 2009-06-03 株式会社日立製作所 映像表示装置
EP1618549A4 (en) * 2003-04-25 2006-06-21 Visioneered Image Systems Inc LED LIGHT DISPLAY / SOURCE HAVING THE CAPABILITY TO MONITOR BRIGHTNESS OF INDIVIDUAL LEDS, AND CALIBRATION METHOD
JP4345366B2 (ja) 2003-06-12 2009-10-14 コニカミノルタホールディングス株式会社 画像処理プログラムおよび画像処理装置
KR100526615B1 (ko) * 2003-12-29 2005-11-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP3953507B2 (ja) * 2005-10-18 2007-08-08 シャープ株式会社 液晶表示装置
US8531379B2 (en) * 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
JP2012205051A (ja) * 2011-03-25 2012-10-22 Sanyo Electric Co Ltd 表示装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513907A (ja) 1997-03-06 2000-10-17 松下電器産業株式会社 映像信号の画質補正回路
JP2005198338A (ja) 2005-02-16 2005-07-21 Hitachi Ltd 画像表示装置
JP2006311167A (ja) 2005-04-28 2006-11-09 Hitachi Ltd 映像処理装置及び映像表示装置
JP2010130399A (ja) 2008-11-28 2010-06-10 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010213008A (ja) 2009-03-10 2010-09-24 Sharp Corp 信号処理装置、映像表示装置及び信号処理方法
WO2015097780A1 (ja) 2013-12-25 2015-07-02 日立マクセル株式会社 映像表示装置
WO2017046905A1 (ja) 2015-09-16 2017-03-23 日立マクセル株式会社 映像処理装置

Also Published As

Publication number Publication date
CN114556907A (zh) 2022-05-27
US12081916B2 (en) 2024-09-03
US20230051479A1 (en) 2023-02-16
WO2021070342A1 (ja) 2021-04-15
JPWO2021070342A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
JP5247910B1 (ja) 画像表示装置またはその方法
DiCarlo et al. Rendering high dynamic range images
US10134323B2 (en) Image display device
CN101141595A (zh) 图像校正方法和设备
JP6550138B2 (ja) 映像処理装置
JP6371092B2 (ja) 映像処理装置及びそれを用いたプロジェクタ装置
KR101648762B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
JP6046238B2 (ja) 映像表示装置
US10380725B2 (en) Image processing apparatus, image processing method, and storage medium
JP6738480B2 (ja) 映像表示装置
JP7344975B2 (ja) 映像表示装置およびプロジェクタ
JP2007151094A (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
KR101872015B1 (ko) 적외선 영상 생성장치 및 방법
Lee et al. Complex adaptation-based LDR image rendering for 3D image reconstruction
JP2015138108A (ja) 表示装置及び画質調整装置
Huo et al. Evaluation of HDR tone mapped image and single exposure image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150