WO2016157670A1

WO2016157670A1 - 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2016157670A1
Application number: PCT/JP2016/000112
Authority: WO
Inventors: 鳳陳; 孝明鈴木; 隆浩永野
Original assignee: ソニー株式会社
Priority date: 2015-03-27
Filing date: 2016-01-12
Publication date: 2016-10-06
Also published as: US10896648B2; CN107409192B; CN107409192A; US20180247601A1; JPWO2016157670A1

Abstract

　本技術の一形態に係る画像表示装置は、補正部と、表示制御部とを具備する。前記補正部は、各画素の画素値を含む画像情報をもとに投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正する。前記表示制御部は、前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記投射される画像内の前記上限値を超える画素の表示輝度を増加させる。

Description

画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム

　本技術は、プロジェクタ等の画像表示装置、画像表示方法、これを制御する情報処理装置、情報処理方法、及びプログラムに関する。

　従来からプロジェクタ等の画像表示装置が広く用いられている。例えば光源からの光が液晶素子等の光変調素子により変調され、その変調光がスクリーン等に投影されることで画像が表示される。光変調素子としては、反射型液晶表示素子、透過型液晶素子、又はＤＭＤ（Digital Micromirror Device）等が用いられる。

　特許文献１に記載のプロジェクタでは、投射光学系における結像性能の低下による画像の劣化を減少し、入力された画像情報に近い投影画像を生成するための技術が公開されている。このプロジェクタでは、投射レンズのＭＴＦ（Modulation Transfer Function）低下の逆フィルタ等を用いて、投影画像の劣化を補償する逆フィルタ処理が実行される。その後、所定の画素領域ごとに、逆フィルタ処理の結果が光変調部により表現可能な範囲内であるか否かが判定される。そして表現不可能な画素領域の画像情報については、元画像の画像情報に戻される、あるいは表現可能な限界値に変更される。これにより元画像の完全な再現はできないまでも、高品質な画像が投影可能となっている（特許文献１の明細書段落［００２６］［００３１］［００３５］等）。

特開２００８－１３１０９９号公報

　このようにプロジェクタ等の画像表示装置では、投射光学系の性能等に起因するボケ等の発生を防止して、高品質な画像を投射可能とする技術が求められている。

　以上のような事情に鑑み、本技術の目的は、高品質な画像を投射可能とする情報処理装置、情報処理方法、プログラム、及び画像表示装置を提供することにある。

　上記目的を達成するため、本技術の一形態に係る画像表示装置は、補正部と、表示制御部とを具備する。
　前記補正部は、各画素の画素値を含む画像情報をもとに投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正する。
　前記表示制御部は、前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記投射される画像内の前記上限値を超える画素の表示輝度を増加させる。

　この画像表示装置では、投射画像の劣化を補正するために各画素値が補正される。補正の結果、画素値が上限値を超える場合には、その画素値が上限値以下に変更される。そして投射画像内の該当する画素（補正により画素値が上限値を超える画素）の表示輝度が増加される。これにより投射画像のボケ等を十分に防止することが可能となり、高品質な画像が投射可能となる。

　前記画像表示装置は、さらに、画像投射部を具備してもよい。
　前記画像投射部は、光源部と、前記光源部からの光を変調して画像を生成する光変調部と、前記光変調部により生成された画像を投射する投射部とを有する。
　この場合、前記表示制御部は、前記上限値を超える画素の前記画素値を減少させ、前記光源部の出力輝度を増加させてもよい。
　これにより上限値を超える画素値を表現することが可能となり、高品質な画像が投射可能となる。

　前記表示制御部は、前記上限値を超える画素の前記画素値を所定の割合で減少させ、前記光源部の出力輝度を前記所定の割合と逆数になる割合で増加させてもよい。
　これにより補正後の画像情報に基づく画像を忠実に投射させることが可能となる。

　前記画像表示装置は、さらに、画像を生成して投射する複数の画像投射部を具備してもよい。この場合、前記表示制御部は、前記上限値を超える画素について、前記画素値を複数の分配画素値に分配し、前記複数の分配画素値をもとに前記複数の画像投射部により投射させてもよい。
　これにより上限値を超える画素値を表現することが可能となり、高品質な画像が投射可能となる。

　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含んでもよい。この場合、前記表示制御部は、前記上限値を前記メイン画像投射部に出力し、前記上限値を超える画素の前記画素値と前記上限値との差分を前記サブ画像投射部に出力してもよい。
　これにより簡単に上限値を超える画素値を表現することが可能となる。

　前記サブ画像投射部が投射可能な画像の解像度は、前記メイン画像投射部が投射可能な画像の解像度よりも低くてもよい。
　解像度が低い安価なサブ画像投射部を用いることでコストを抑えることができる。

　前記サブ画像投射部が出力可能な最大輝度は、前記メイン画像投射部が出力可能な最大輝度よりも低くてもよい。
　最大輝度が低い安価なサブ画像投射部を用いることでコストを抑えることができる。

　前記表示制御部は、前記補正により前記画素値が下限値を下回る画素について、前記画素値を補正前の画素値に近づけてもよい。
　これにより下限値を下回る画素値に起因する投射画像の劣化を抑制することが可能となる。

　前記表示制御部は、前記下限値を下回る画素の前記画素値を、前記下限値と前記下限値を下回る画素の前記画素値との差分に応じた割合でこれらを合算した値に変更してもよい。
　これにより下限値を下回る画素値の変更にともなう画像の品質の低下を十分に抑えることができる。

　前記表示制御部は、前記画像情報に含まれる前記各画素の画素値を一定の値だけ増加させて前記補正部に出力してもよい。
　これにより下限値を下回る画素の発生を抑えることができ、高品質な画像が投射可能となる。

　前記補正部は、前記補正により前記画素値が下限値を下回る画素について、補正前の画素値の補正強度を前記下限値と前記下限値を下回る画素の前記画素値との差分に応じて調整し、前記調整された補正強度により前記補正前の画素値を補正してもよい。
　これにより下限値を下回る画素の発生を抑えることができ、高品質な画像が投射可能となる。

　本技術の一形態に係る画像表示方法は、画像の劣化を補正するために画像情報に含まれる各画素の画素値を補正することを含む。
　前記補正により前記画素値が上限値を超える画素について、前記画素値が前記上限値以下の値に変更され、前記投射される画像内の前記上限値を超える画素の表示輝度が増加される。

　本技術の一形態に係る情報処理装置は、前記補正部と、前記表示制御部とを具備する。

　本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、各画素の画素値を含む画像情報をもとに画像表示装置により投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正することを含む。
　前記補正により前記画素値が上限値を超える画素について、前記画素値が前記上限値以下の値に変更され、前記画像表示装置により投射される画像内の前記上限値を超える画素の表示輝度が増加される。

　本技術の一形態に係るプログラムは、コンピュータに前記情報処理方法を実行させる。

　以上のように、本技術によれば、高品質な画像を投射することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態に係る画像表示装置による画像の投射を模式的に示す図である。画像表示装置の内部の構成例を示す概略図である。第１の実施形態に係る画像表示の処理例を示すブロック図である。図３に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフである。第２の実施形態に係る画像表示装置による画像の投射を模式的に示す図である。第２の実施形態に係る画像表示の処理例を示すブロック図である。図６に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフである。低解像度のサブプロジェクタが用いられる場合の画素値の分配方法の一例を説明するための図である。第３の実施形態に係る画像表示の処理例を示すブロック図である。図９に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフであるミキシング比率の算出の一例を説明するためのグラフである。第４の実施形態に係る画像表示の処理例を示すブロック図である。補正強度の調整方法の一例を説明するためのグラフである。他の実施形態に係る画像表示の処理例を示すブロック図である

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１の実施形態＞
　［画像表示装置］
　図１は、本技術の第１の実施形態に係る画像表示装置による画像の投射を模式的に示す図である。画像表示装置１００は、例えばプレゼンテーション用、もしくはデジタルシネマ用のプロジェクタとして用いられる。その他の用途に用いられるプロジェクタ、あるいはプロジェクタ以外の画像表示装置にも本技術は適用可能である。

　図１に示すように、画像表示装置１００は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等やＷｉＦｉモジュール等が備えられた入力インタフェース１０１を有する。入力インタフェース１０１には、例えばＰＣ等の図示しない画像供給源から、有線又は無線を介して画像情報が入力される。画像表示装置１００は、入力された画像情報をもとに画像１を生成し、スクリーン等の投射面５に投射する。

　図２は、画像表示装置１００の内部の構成例を示す概略図である。画像表示装置１００は、光源部１０と、光変調部２０と、投射部３０と、表示制御部４０とを有する。光源部１０は、典型的には、白色光を生成して光変調部２０に出射する。光源部１０には、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源、又は水銀ランプやキセノンランプ等が配置される。

　光変調部２０は、光源部１０からの光を変調して画像１を生成する。光変調部２０は、例えばインテグレータ素子、偏光変換素子、白色光をＲＧＢの３色の光に分割する分割光学系、各色光を変調する３つの光変調素子、及び変調された各色光を合成する合成光学系等を有する。これらの部材や光学系の具体的な構成は限定されない。

　投射部３０は、複数のレンズを有し、光変調部２０により生成された画像１を投射面５に投射する。投射部３０の構成は限定されず、任意の構成が適宜採用されてよい。本実施形態では、光源部１０、光変調部２０、及び投射部３０により、画像投射部が実現される。

　表示制御部４０は、画像表示装置１００内の各機構の動作を制御する。また表示制御部４０は、入力インタフェース１０１から入力された画像情報に対して種々の処理を実行する。

　表示制御部４０は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を有し、ＣＰＵがＲＯＭに予め記録されているプログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。なお表示制御部４０の構成は限定されず、任意のハードウェア及びソフトウェアが適宜用いられてよい。

　［画像表示方法］
　図３は、本実施形態に係る画像表示の処理例を示すブロック図である。図４は、図３に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフである。図４では、横軸が画素の座標となり、縦軸が各画素の画素値（輝度値又は階調値ともいう）となる。

　本実施形態では、下限値が０、上限値が２５５となる、８ビットの画素値が用いられる。もちろんこれに限定されず、例えば０から１０２３までの１０ビットの画素値が用いられてもよい。その他のビット数により画素値が定められる場合でも本技術は適用可能である。

　表示制御部４０により、入力される画像情報に含まれる各画素の画素値が補正される。すなわち本実施形態では、表示制御部４０は補正部としても機能し、入力される画像情報をもとに投射面５に投射される画像１の劣化を補正するために、各画素の画素値が補正される（ステップ１０１）。

　例えば光変調部２０や投射部３０に配置されるレンズやミラー等の光学素子の性能や、画像１が表示される投射面５の形状等により、投射される画像１にボケ等の劣化が発生する場合がある。このボケ等の劣化を補正するために、所定の補正量をもとに画素値の補正が実行される。

　例えば投射される画像１の各画素についてＰＳＦ（Point spread function：点広がり関数）が算出され、当該ＰＳＦを用いた逆フィルタ演算が実行される。この場合その逆フィルタの係数等が図３に示す所定の補正量となる。なおＰＳＦの算出方法は限定されず、例えば所定の校正用画像が投射され、当該校正用画像を撮影して解析することでＰＳＦが算出される。又は、画像表示装置１００の設計値に基づいてＰＳＦは算出されてもよい。あるいは、ユーザによる入力等によりＰＳＦが算出されてもよい。なおボケ等を補正する方法として、他のアルゴリズム等が採用されてもよい。

　表示制御部４０により、画素値が上限値を超える画素と、その飽和量（上限からのはみ出し量）とが検出される（ステップ１０２）。図４Ａの２点鎖線のグラフは、入力された元の画像信号、すなわち補正前の画素値（以下、入力画素値と記載する）の波形である。実線のグラフは、補正後の画像信号であり、画素毎の補正後の画素値である。補正後の波形内の符号Ｈで示す部分が、上限値２５５を超えた画素の画素値となる。

　以下、補正により画素値が上限値２５５を超える画素を飽和画素と記載し、その上限値２５５を超えた画素値を飽和画素値と記載する。従って飽和量は、飽和画素値と上限値２５５との差分となる。

　０から２５５までの画素値は、光変調部２０により表現可能な画素値の範囲となる。従って上限値２５５を超える飽和画素値が光変調部２０に入力されると、例えば投射画像１内にアーティファクト等が発生し画像が劣化してしまう可能性がある。

　そこで本実施形態では、表示制御部４０により、飽和画素値が上限値２５５以下の値に変更される。図３のステップ１０３及び図４Ｂに示すように、本実施形態では、飽和していない画素値も含めて、各画素値が所定の割合で減少される。すなわち補正後の画素値が全体的に所定の割合で圧縮される。

　圧縮する割合は限定されず、例えば図４Ｂに示すように、２／３等の所定の値が圧縮の割合として予め設定されていてもよい。あるいは、最も飽和する飽和画素値が上限値２５５以下の値となる割合がその都度算出されてもよい。

　表示制御部４０は、光源部１０を制御して、光源部１０の出力輝度を増加させる。典型的には、光源部１０の光源に印加される電流が制御されることで、光源部１０から出力される光の輝度が制御される（ステップ１０４）。なお光源部１０の出力輝度を増加させる方法は限定されない。

　光源部１０の出力輝度が増加すると、投射画像１内の各画素の表示輝度（投射面５に表示される各画素の光の強さ）が増加する。図４Ｃでは、圧縮された画素値が破線のグラフで図示され、電流制御により増加された画素値が実線で図示されている。

　電流制御により光源部１０の出力輝度が増加されることで、上限値２５５を超える飽和画素値が表現可能となる。その結果、投射される画像１内の投射部１０等の性能に起因するボケ等が十分に補正され、元の画像情報に忠実な高品質な画像が投射される。このように本技術は、投射画像１を明るくすることでボケ等の劣化を防止するという新たな技術思想に基づいて考案されている。

　光源部１０の出力輝度は、例えばステップ１０３にて画素値を圧縮した割合の逆数になる割合（例えば図４Ｃに示す３／２の割合）で増加される。これにより元の画像情報とほぼ遜色のない高品質の画像が投射可能となる。もちろんこれに限定される訳ではない。

　また電流制御等により、画像１を構成する画素毎に表示輝度を制御可能であるとする。この場合、ステップ１０３の圧縮量と等しい増加量となるように画素毎に制御が実行される。これにより元の画像情報を完全に再現することが可能となる。

　またステップ１０３の圧縮処理に代えて、下限値０を下回る画素が発生しない範囲で、補正後の画素値が全体的に一定の値だけ減算されてもよい。そしてステップ１０４の電流制御により、減算量と等しい増加量となるように、全体的に光源部１０の出力輝度が増加されてもよい。この方法においてもボケ等のない高品質な画像が投射可能となる。

　なおステップ１０２にて飽和画素が検出されない場合には、画像圧縮及び電流制御は実行されず、補正後の画素値をもとに画像１が生成されて投射される。

　＜第２の実施形態＞
　本技術の第２の実施形態に係る画像表示装置について説明する。これ以降の説明では、上記の実施形態で説明した画像表示装置１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

　図５は、第２の実施形態に係る画像表示装置による画像の投射を模式的に示す図である。画像表示装置２００は、メインプロジェクタ２１０、及びサブプロジェクタ２２０の２台の画像表示装置により構成される。メインプロジェクタ２１０内の画像投射部がメイン画像投射部となり、サブプロジェクタ２２０内の画像投射部がサブ画像投射部となる。

　メインプロジェクタ２１０及びサブプロジェクタ２２０は、有線又は無線を介して、互いに通信可能となっている。本実施形態では、メインプロジェクタ２１０の表示制御部により、サブプロジェクタ２２０の動作が制御される。なお２つの画像投射部が１つの筐体に収納されてもよい。この場合、光源部等が共通して使用されてもよい。

　画像表示装置を構成する複数の画像投射部の数は限定されない。例えば３台以上のプロジェクタが並べられて用いられてもよい。

　図５に示すように、メインプロジェクタ２１０により投射される画像２０１の投射位置と、サブプロジェクタ２２０により投射される画像２０２の投射位置とは、互いに等しくなるように設定される。従って画像２０１及び２０２は互いに重ね合わされて表示される。

　本実施形態では、メインプロジェクタ２１０により投射可能な画像２０１の解像度と、サブプロジェクタ２２０により投射可能な画像２９２の解像度とが互いに等しい。従って画像２０１及び２０２内の互いに等しい位置にある画素同士が重ね合わされる。なお画像２０１及び２０２の投射位置は、例えば周知の技術を用いることで画素サイズ以下の精度で制御可能である。

　図６は、本実施形態に係る画像表示の処理例を示すブロック図である。図７は、図６に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフである。

　図６のステップ２０１及び２０２、図７Ａに示すように、入力画素値の補正、及び画像値の飽和量の検出が実行される。次に、メインプロジェクタ２１０及びサブプロジェクタ２２０に対して画素値の分配が実行される。すなわち上限値２５５を超えた飽和画素値が複数の分配画素値に分配され、メインプロジェクタ２１０内のメイン画像投射部とサブプロジェクタ２２０内のサブ画像投射部にそれぞれ出力される（ステップ２０３）。

　メイン画像投射部に出力される分配画素値をメイン分配画素値と記載し、サブ画像投射部に出力される分配画素値をサブ分配画素値と記載する。メイン分配画素値としては、例えば「上限値２５５」が設定される。サブ分配画素値としては、「飽和画素値及び上限値２５５の差分」が設定される。従って補正後の飽和画素値が２７５であるならば、メイン分配画素値は２５５となり、サブ分配画素値は２０となる。

　例えば図７Ｂに示すように、飽和画素とならない画素の画素値と、メイン分配画素値である上限値２５５とがメインプロジェクタ２１０に出力される。（メイン画素値）。一方、飽和画素とならない画素については画素値０、飽和画素については飽和画素値から上限値２５５を減算した値がサブプロジェクタ２２０に出力される（サブ画素値）。

　出力された各画素値をもとに、各プロジェクタにて画像２０１及び２０２が投射されて重ね合わされる（ステッ２０４）。このように複数の画像投射部を用いることで、簡単に飽和画素値を表現することが可能となり、ボケ等の劣化を十分に補正することができる。

　飽和画素値をどのように分配するかは限定されない。高品質な画像が投射されるように分配方法は適宜設定されてよい。また飽和画素とならない画素の画素値も分配され、２台のプロジェクタ２１０及び２２０により画像が重ね合わされてもよい。

　サブプロジェクタ２２０として、メインプロジェクタ２１０の解像度よりも低い解像度のプロジェクタが用いられてもよい。これにより、解像度が低い安価なサブプロジェクタ２２０を用いることが可能となり、コストを抑えることが可能となる。

　図７Ｃは、この場合の画素値の分配方法の一例を示すグラフである。例えば図７Ｃの飽和範囲Ｕ内の画素が飽和画素であるとすると、その飽和画素値が一定の値だけ減算される。そして解像度の低いサブプロジェクタ２２０により、飽和範囲Ｕを含む範囲が、減算された分の画素値により投射される。これにより元の画像とほぼ遜色のない高品質な画像が投射可能となる。なお減算量及び追加分の画素値の大きさは限定されない。

　図８は、低解像度のサブプロジェクタ２２０が用いられる場合の画素値の分配方法の他の例を説明するための図である。サブプロジェクタ２２０が低解像度である場合、飽和範囲Ｕと、サブプロジェクタ２２０により画素値を追加可能な範囲Ｐとが、互いに一致しない場合がある。例えば高解像度のメインプロジェクタ２１０の画素サイズと比べて、低解像度のサブプロジェクタ２２０の画素サイズが大きいとする。この場合、メインプロジェクタ２１０の画素サイズの整数倍となる飽和範囲Ｕと、サブプロジェクタ２２０の画素サイズの整数倍となる範囲Ｐとが互いに異なる。

　この点を考慮して、メインプロジェクタ２１０に入力される画素値について、飽和範囲Ｕのみならず、サブプロジェクタ２２０の画素値の追加可能範囲Ｐと一致する範囲の画素値が、一定の値だけ減算されてもよい。この結果、サブプロジェクタ２２０により画素値が追加されることで、追加可能範囲Ｐにて高い精度で画像が再現可能となる。

　サブプロジェクタ２２０により出力可能な最大輝度に制限が設けられてもよい。すなわちサブプロジェクタ２２０の光源部に印加される電力が制限されており、その制限されている範囲にて画素値が分配されてもよい。このように消費電力を抑えることでコストを抑えることが可能となる。

　サブプロジェクタ２２０についての解像度に関する制限や消費電力に関する制限が、ステップ２０１のボケ補正に用いられる補正量を算出する際の最適化制約として設定されてもよい。すなわち解像度や消費電力の制限を制約条件として、元の画像との差異が最も小さくなる最適な補正量が算出されてもよい。

　＜第３の実施形態＞
　図９は、本技術の第３の実施形態に係る画像表示の処理例を示すブロック図である。図１０は、図９に示す処理内の各ステップを説明するための図であり、入力される画像信号を模式的に示すグラフである。

　この画像表示装置では、ステップ３０１のボケ補正により、画素値が下限値０を下回る画素（以下、不足画素と記載する）について、下限値０を下回る不足画素値が、補正前の画素値に近づけられる。すなわち図１０の符号Ｌで示す部分の不足画素値が入力画素値に近づけられる。

　そのために本実施形態では、ミキシング比率が算出され、当該ミキシング比率をもとに画素値のミキシングが実行される（ステップ３０２及び３０３）が実行される。具体的には、以下の式にてミキシングが実行される
　不足画素値×ミキシング比率＋入力画素値×（１－ミキシング比率）
　なおミキシング比率は、０以上１．０以下の値である。

　ミキシング比率は、下限値０と不足画素値との差分の大きさ（絶対値）をもとに、例えば以下の式にて算出される。図１１には、当該式のグラフが図示されている。
　ミキシング比率＝Ｃ／（ｘ＋Ｃ）
　Ｃ…定数
　ｘ…下限値０と不足画素値との差分の大きさであり、以下、下クリップ量と記載する。

　図１１にグラフに示すように、下クリップ量が大きいほど、ミキシング比率は小さくなる。すなわち下クリップ量が大きいほど、不足画素値がミキシングされる割合は小さくなり、より入力画素値に近づけられる。このように下限値０と不足画素値との差分に応じた割合でミキシングを実行することで、不足画素値の発生を防止しつつ、不足画素値を補正することによる画像品質の低下を防止することが可能となる。すなわち入力画素値の波形と略等しい波形となるように不足画素値を補正することが可能となる。なおミキシング比率の算出方法や、ミキシング方法は限定されない。

　図９に示すように、ミキシングが実行された後は、デバイス制御が実行される（ステップ３０４）。このデバイス制御とは、第１の実施形態で説明した画素値の圧縮及び電流制御、あるいは、第２の実施形態で説明した画素値の分配及び複数のプロジェクタによる画像の重ね合わせのことである。すなわち本実施形態に係る技術を実行することで、デバイス制御では対応できない不足画素が発生してしまうことを抑制することができる。

　図１０に示す上限値２５５を超えた飽和画素値について、飽和量（図１０では上クリップ量と記載）に応じたミキシング比率が算出され、飽和画素値を入力画素値に近づけるミキシングが実行されてもよい。例えば飽和画素値があまりに大きくなった場合等に、上クリップ量に応じたミキシングが実行されることで、高品質の画像が投射可能となる。

　図９に示す処理では、ボケ補正の結果として算出される不足画素値をもとにミキシング比率が算出され、画素値のミキシングが実行された。これに代えて、ボケ補正が実行される前に、入力される入力画素値と補正量とをもとに、不足画素値が予測されてもよい。そして当該予測された不足画素値をもとにミキシングが実行されてもよい。

　例えば画素毎のＰＳＦ、入力画素値の振幅（ダイナミックレンジ）、予測対象の画素の位置等をもとに、不足画素値を予測することが可能である。また予測対象の画素を中心とした所定の範囲内の画素についてのＰＳＦや振幅等をもとに、不足画素値が予測されてもよい。ボケ補正の前に不足画素値を予測してミキシング比率を算出することで、事前補償が可能となり、処理時間を短縮することができる。また映像等を投射する際のフレーム画像の出力遅延を防止することができる。

　画像情報が入力された際に、当該画像情報に含まれる画素毎の入力画素値が、全体的に一定の値だけ増加されてもよい。すなわちボケ補正やミキシング比率の算出前に、図１０に示す入力画素値の波形が上方へ持ち上げられてもよい。これにより補正による不足画素の発生をさらに抑制することができる。

　＜第４の実施形態＞
　図１２は、本技術の第４の実施形態に係る画像表示の処理例を示すブロック図である。この画像表示装置では、予測された不足画素値をもとに、ステップ４０３のボケ補正が実行される際の補正強度を調整するための調整量が算出される（ステップ４０１）。当該算出された調整量をもとに、データベース９０から読み出された補正量が調整される、すなわち補正強度が調整される（ステップ４０２）。当該調整された補正強度により入力画素値が補正され（ステップ４０３）、デバイス制御が実行される（ステップ４０４）。

　図１３は、補正強度の調整方法の一例を説明するためのグラフである。例えば図１３に示すグラフで表される関数をもとに、クリップ量に応じて補正強度が定められる。この関数に限定される訳ではないが、図１３に示すように典型的には、クリップ量が大きくなるほど補正強度が小さく抑えられる。これにより不足画素の発生を抑えることが可能となる。なおクリップ量が０の場合には、予め設定された適切な強度でボケ補正が実行される。

　補正強度を調整する方法は限定されず、例えばＰＳＦが２次元のガウス関数で近似されている場合、当該ガウス関数のσ値が調整される。あるいはバイラテラル重み乗算によりＰＳＦの係数が調整されてもよい。

　データベース９０に補正強度が異なる複数の補正量のセットが記憶されており、その中から調整後の補正強度となる補正量が選択されてもよい。当該補正量のセットは、画像表示装置のラインナップ毎に設定されてもよい。一方、補正量を記憶するデータベース９０が備えられず、ボケ補正のために適宜算出される補正量がその都度調整されてもよい。さらにＧＵＩを介したユーザの操作により、補正量が調整されてもよい。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　図１４は、他の実施形態に係る画像表示の処理例を示すブロック図である。図１４に示す画像表示は、第１の実施形態に係る画像表示の変形例ともいえるものであり、ボケ補正の後に、図３のステップ１０２に示す飽和量の検出をすることなく、画素値圧縮及び電流制御が実行される（ステップ５０１－５０３）。すなわちこの実施形態では、補正された画像情報に対して、常に画素値圧縮及び電流制御が実行される。この結果、表示制御部の構成及び処理の簡素化、処理時間の短縮、及びコストの削減等を実現することができる。

　上記の各実施形態で説明した画像情報への処理は、ＲＧＢの各色光の画像についてそれぞれ実行されればよい。これにより高品質なカラー画像を投射することができる。

　図１に示す画像表示装置１００や、図５に示すメインプロジェクタ２１０及びサブプロジェクタ２２０にＰＣ等のコンピュータが接続され、当該コンピュータにより入力画素値の補正等の信号処理や、上記で説明したデバイス制御等が実行されてもよい。この場合、当該コンピュータは、本技術に係る情報処理装置として機能する。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）各画素の画素値を含む画像情報をもとに投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正する補正部と、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記投射される画像内の前記上限値を超える画素の表示輝度を増加させる表示制御部と
　を具備する画像表示装置。
（２）（１）に記載の画像表示装置であって、さらに、
　光源部と、前記光源部からの光を変調して画像を生成する光変調部と、前記光変調部により生成された画像を投射する投射部とを有する画像投射部を具備し、
　前記表示制御部は、前記上限値を超える画素の前記画素値を減少させ、前記光源部の出力輝度を増加させる
　画像表示装置。
（３）（２）に記載の画像表示装置であって、
　前記表示制御部は、前記上限値を超える画素の前記画素値を所定の割合で減少させ、前記光源部の出力輝度を前記所定の割合と逆数になる割合で増加させる
　画像表示装置。
（４）（１）に記載の画像表示装置であって、さらに、
　画像を生成して投射する複数の画像投射部を具備し、
　前記表示制御部は、前記上限値を超える画素について、前記画素値を複数の分配画素値に分配し、前記複数の分配画素値をもとに前記複数の画像投射部により投射させる
　画像表示装置。
（５）（４）に記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記表示制御部は、前記上限値を前記メイン画像投射部に出力し、前記上限値を超える画素の前記画素値と前記上限値との差分を前記サブ画像投射部に出力する
　画像表示装置。
（６）（４）又は（５）に記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記サブ画像投射部が投射可能な画像の解像度は、前記メイン画像投射部が投射可能な画像の解像度よりも低い
　画像表示装置。
（７）（４）から（６）のうちいずれか１つに記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記サブ画像投射部が出力可能な最大輝度は、前記メイン画像投射部が出力可能な最大輝度よりも低い
　画像表示装置。
（８）（１）から（７）のうちいずれか１つに記載の画像表示装置であって、
　前記表示制御部は、前記補正により前記画素値が下限値を下回る画素について、前記画素値を補正前の画素値に近づける
　画像表示装置。
（９）（８）に記載の画像表示装置であって、
　前記表示制御部は、前記下限値を下回る画素の前記画素値を、前記下限値と前記下限値を下回る画素の前記画素値との差分に応じた割合でこれらを合算した値に変更する
　画像表示装置。
（１０）（１）から（９）のうちいずれか１つに記載の画像表示装置であって、
　前記表示制御部は、前記画像情報に含まれる前記各画素の画素値を一定の値だけ増加させて前記補正部に出力する
　画像表示装置。
（１１）（１）から（１０）のうちいずれか１つに記載の画像表示装置であって、
　前記補正部は、前記補正により前記画素値が下限値を下回る画素について、補正前の画素値の補正強度を前記下限値と前記下限値を下回る画素の前記画素値との差分に応じて調整し、前記調整された補正強度により前記補正前の画素値を補正する
　画像表示装置

　１、２０２、２０２…画像
　１０…光源部
　２０…光変調部
　３０…投射部
　４０…表示制御部
　１００、２００…画像表示装置
　１０１…入力インタフェース
　２１０…メインプロジェクタ
　２２０…サブプロジェクタ

Claims

　各画素の画素値を含む画像情報をもとに投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正する補正部と、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記投射される画像内の前記上限値を超える画素の表示輝度を増加させる表示制御部と
　を具備する画像表示装置。
　請求項１に記載の画像表示装置であって、さらに、
　光源部と、前記光源部からの光を変調して画像を生成する光変調部と、前記光変調部により生成された画像を投射する投射部とを有する画像投射部を具備し、
　前記表示制御部は、前記上限値を超える画素の前記画素値を減少させ、前記光源部の出力輝度を増加させる
　画像表示装置。
　請求項２に記載の画像表示装置であって、
　前記表示制御部は、前記上限値を超える画素の前記画素値を所定の割合で減少させ、前記光源部の出力輝度を前記所定の割合と逆数になる割合で増加させる
　画像表示装置。
　請求項１に記載の画像表示装置であって、さらに、
　画像を生成して投射する複数の画像投射部を具備し、
　前記表示制御部は、前記上限値を超える画素について、前記画素値を複数の分配画素値に分配し、前記複数の分配画素値をもとに前記複数の画像投射部により投射させる
　画像表示装置。
　請求項４に記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記表示制御部は、前記上限値を前記メイン画像投射部に出力し、前記上限値を超える画素の前記画素値と前記上限値との差分を前記サブ画像投射部に出力する
　画像表示装置。
　請求項４に記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記サブ画像投射部が投射可能な画像の解像度は、前記メイン画像投射部が投射可能な画像の解像度よりも低い
　画像表示装置。
　請求項４に記載の画像表示装置であって、
　前記複数の画像投射部は、メイン画像投射部とサブ画像投射部とを含み、
　前記サブ画像投射部が出力可能な最大輝度は、前記メイン画像投射部が出力可能な最大輝度よりも低い
　画像表示装置。
　請求項１に記載の画像表示装置であって、
　前記表示制御部は、前記補正により前記画素値が下限値を下回る画素について、前記画素値を補正前の画素値に近づける
　画像表示装置。
　請求項８に記載の画像表示装置であって、
　前記表示制御部は、前記下限値を下回る画素の前記画素値を、前記下限値と前記下限値を下回る画素の前記画素値との差分に応じた割合でこれらを合算した値に変更する
　画像表示装置。
　請求項１に記載の画像表示装置であって、
　前記表示制御部は、前記画像情報に含まれる前記各画素の画素値を一定の値だけ増加させて前記補正部に出力する
　画像表示装置。
　請求項１に記載の画像表示装置であって、
　前記補正部は、前記補正により前記画素値が下限値を下回る画素について、補正前の画素値の補正強度を前記下限値と前記下限値を下回る画素の前記画素値との差分に応じて調整し、前記調整された補正強度により前記補正前の画素値を補正する
　画像表示装置
　画像の劣化を補正するために画像情報に含まれる各画素の画素値を補正し、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記投射される画像内の前記上限値を超える画素の表示輝度を増加させる
　画像表示方法。
　各画素の画素値を含む画像情報をもとに画像表示装置により投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正する補正部と、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記画像表示装置により投射される画像内の前記上限値を超える画素の表示輝度を増加させる表示制御部と
　を具備する情報処理装置。
　各画素の画素値を含む画像情報をもとに画像表示装置により投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正し、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記画像表示装置により投射される画像内の前記上限値を超える画素の表示輝度を増加させる
　ことをコンピュータが実行する情報処理方法。
　各画素の画素値を含む画像情報をもとに画像表示装置により投射される画像の劣化を補正するために、前記画像情報に含まれる前記各画素の画素値を補正するステップと、
　前記補正により前記画素値が上限値を超える画素について、前記画素値を前記上限値以下の値に変更し、前記画像表示装置により投射される画像内の前記上限値を超える画素の表示輝度を増加させるステップと
　をコンピュータに実行させるプログラム。