WO2018230049A1 - 表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム - Google Patents

Abstract

本実施の形態にかかる映像処理装置（１４０）は、元映像に応じて、画素ずらし表示を行うか否かを判定する判定部（１４３）と、判定部（１４３）での判定結果に基づいて、画素ずらし表示のＯＮ／ＯＦＦと、画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成する制御信号生成部（１４５）と、判定部（１４３）での判定結果に基づいて、元映像から表示画像を生成する表示画像生成部（１４６）と、表示画像に制御信号を付加する付加部（１４７）と、を備えたものである。

Description

表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム

　本発明は、表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラムに関する。

　特許文献１には、ＲＧＢの画素の表示位置をずらす光路変更部を備えた画像表示装置が開示されている。光路変更部は、ＲＧＢの各色の透過型液晶表示素子と、圧電アクチュエータとを備えている。光路変更部は、フレーム周期に応じて、表示位置を縦方向、及び横方向に０．５画素ピッチずらしている。これにより、変位量が０であるフレームと、変位量が０．５画素のフレームとが交互に繰り返される。

　特許文献２には、液晶表示素子、第１の偏光変換素子、及び複屈折素子を備えた画素ずらし表示装置が開示されている。特許文献２の画素ずらし表示装置は、１フレームの画像（元画像）から１枚の元画像の表示期間内に画素ずらしを行わないサブフレーム画像と行うサブフレーム画像の２枚のサブフレーム画像を生成している。

　そして、液晶表示素子は、表示画像の強度に応じて光を偏光変調する。第１の偏光変換素子は、画素ずらしを行わないサブフレーム画像の場合、画像表示光の偏光方向を回転させず、画素ずらしを行うサブフレーム画像の場合、偏光方向を９０°回転させている。そして、第１の偏光変換素子からの画像表示光が複屈折素子により屈折されている。複屈折素子は、複屈折が生じる水晶で形成された光学素子であり、偏光方向において光路をずらす。よって、画素ずらしを行わないサブフレーム画像と画素ずらしを行うサブフレーム画像とが交互に表示されている。

特許５５３８０９３号公報 特許５７７２０９１号公報

　このような画素ずらし表示を行うことで、表示解像度を高くすることができる。画素ずらし表示は、複数フレーム分の信号で１つの画像を表示するものであるため、動きの遅い画像や静止画像には適している。しかしながら、画素ずらし表示では、画素ずらしを行わない場合と比較してフレームレートが低くなり、動きの早い画像では画像がぼける等の画質劣化を招く可能性がある。

　本実施形態は上記の点に鑑みなされたもので、シーンに応じて適切に表示を行うことができる表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及び、プログラムを提供することを目的とする。

　本実施形態の一態様にかかる表示システムは、元映像に基づいて、表示映像信号を生成する映像処理装置と、前記表示映像信号に基づいて、画素ずらし表示を行う画素ずらし表示装置と、を備えた表示システムであって、前記映像処理装置は、元映像に応じて、画素ずらし表示を行うか否かを判定する判定部と、前記判定部での判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成する制御信号生成部と、前記判定部での判定結果に基づいて、前記元映像から表示画像を生成する表示画像生成部と、前記表示画像に前記制御信号を付加して、前記表示映像信号を生成する付加部と、を備え、前記画素ずらし表示装置は、前記表示映像信号に含まれる表示画像の画素データに基づいて、光を変調して射出する空間変調器と、前記空間変調器からの光を投影する投影光学系と、前記投影光学系で投影される映像に対して画素ずらし表示を行うために、前記投影光学系による投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらす光路変更部と、前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替える切替部と、を備えたものである。

　本実施形態の一態様にかかる映像処理装置は、元映像に応じて、画素ずらし表示を行うか否かを判定する判定部と、前記判定部での判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成する制御信号生成部と、前記判定部での判定結果に基づいて、前記元映像から表示画像を生成する表示画像生成部と、前記表示画像に前記制御信号を付加して、表示映像信号を生成する付加部と、を備えたものである。

　本実施形態の一態様にかかる画素ずらし表示装置は、表示映像信号に含まれる表示画像の画素データに基づいて、光を変調して射出する空間変調器と、前記空間変調器からの光を投影する投影光学系と、前記投影光学系で投影される映像に対して画素ずらし表示を行うために、前記投影光学系による投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらす光路変更部と、前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替える切替部と、を備えたものである。

　本実施形態の一態様にかかる映像処理方法は、元映像に応じて、画素ずらし表示を行うか否かを判定するステップと、判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成するステップと、前記判定結果に基づいて、前記元映像から表示画像を生成するステップと、前記表示画像に前記制御信号を付加して、表示映像信号を生成するステップと、を備えたものである。

　本実施形態の一態様にかかる表示方法は、表示映像信号に含まれる表示画像の画素データに基づいて、空間変調器が光を変調して射出するステップと、前記空間変調器からの光を投影光学系により投影するステップと、投影される映像に対して画素ずらし表示を行うために、前記投影光学系による投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらすステップと、前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替えるステップと、を備えたものである。

　本実施形態の一態様にかかるプログラムは、元映像に応じて、画素ずらし表示を行うか否かを判定するステップと、判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成するステップと、前記判定結果に基づいて、前記元映像から表示画像を生成するステップと、前記表示画像に前記制御信号を付加して、表示映像信号を生成するステップと、を、コンピュータに実行させるものである。

　本実施形態によれば、シーンに応じて適切に表示することができる表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及び、プログラムを提供できる。

表示システムの全体構成を示す図である。 画素ずらし表示を行う表示装置の構成を示す図である。 画素ずらし表示を行う表示装置の概略構成図である。 画素ずらし表示の動作を説明するための模式図である。 画素ずらし表示による画素表示位置を説明するための図である。 画素ずらし表示を行うための表示映像信号を生成する映像処理装置の構成を示すブロック図である。 元映像から生成されるサブフレーム画像を説明するための図である。 画素ずらし表示ＯＮ／ＯＦＦを切り替えて表示するための構成を示すブロック図である。 画素ずらし表示のＯＮ／ＯＦＦ時の処理を示すタイミングチャートである。

〈表示システム〉
　本実施の形態にかかる表示システムは、映像を表示するための表示システムである。表示システムで表示される映像は、カメラにより取得されたカメラ映像でもよく、コンピュータにより生成されたコンピュータグラフィックス映像（ＣＧ映像）でもよい。ＣＧ映像を表示する表示システムは、例えば、フライトシミュレータやドライブシミュレータなどである。

　図１に、表示システムの全体構成を示す。表示システム１００は、プロジェクタ１１０と、インターフェース部１３０と、映像処理装置１４０とを備えている。

　プロジェクタ１１０は、動画又は静止画の映像を表示する。プロジェクタ１１０は、画素ずらし表示（wobblingともいう）のＯＮ／ＯＦＦを切り替えて、映像を表示することができる。画素ずらし表示ＯＮでは、プロジェクタ１１０は、サブフレーム毎に、０．５画素ピッチだけ表示位置をずらす。具体的には、プロジェクタ１１０は、サブフレーム画像Ａとサブフレーム画像Ａの表示位置から０．５画素ピッチずれたサブフレーム画像Ｂとを交互に表示する。一方、画素ずらし表示ＯＦＦでは、映像が常時同じ位置に投影される。画素ずらし表示ＯＮでは、画素ずらし表示ＯＦＦの場合よりも、高い解像度で表示を行うことができる。

　プロジェクタ１１０は、例えば、背面投射型のプロジェクタ（リアプロジェクタ）である。なお、本実施の形態では、ディスプレイが背面投射型のプロジェクタ１１０であるとして説明するが、反射型のプロジェクタであってもよい。あるいは、ディスプレイは、プラズマディスプレイ、液晶ディスプレイ、有機ＥＬ（Electroluminescent）ディスプレイなどの他のディスプレイ（表示装置）を用いたものであってもよい。ディスプレイとしては、画素ずらし表示を行うことができる画素ずらし表示装置であればよい。

　プロジェクタ１１０は、投射部１１１とミラー１１３とスクリーン１１４とを備えている。投射部１１１は、スクリーン１１４上に映像を投射するため、表示映像信号に基づいて投射光を生成する。投射部１１１からの投射光は、ミラー１１３でスクリーン１１４の方向に反射されている。スクリーン１１４は、プロジェクタ１１０の映像が投影される投影面となる。投射部１１１からの表示映像は、投射レンズなどにより、スクリーン１１４上に拡大投影される。なお、投射部１１１の構成ついては後述する。

　映像処理装置１４０は、元映像に基づいて、画素ずらし表示を行うための表示映像信号を生成する。映像処理装置１４０が、ＣＧ映像を生成するＩＧ（Ｉｍａｇｅ　Ｇｅｎｅｒａｔｏｒ）である場合、光源やオブジェクトなどの情報に基づいて、映像処理装置１４０が元映像を生成する。元映像は、８Ｋ対応カメラなどの高解像度カメラにより取得されたカメラ画像であってもよい。

　例えば、映像処理装置１４０は、ＣＰＵ(Central Processing Unit)、メモリ、グラフィックカード、キーボード、マウス、入出力ポート（入出力Ｉ／Ｆ）等を備えたパーソナルコンピュータ（ＰＣ）等である。映像入出力に関する入出力ポートは、例えば、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ、ＳＤＩ等である。

　映像処理装置１４０は、表示映像信号を生成するための、プロセッサ１４１とメモリ１４２とを備えている。なお、図１では、一つのプロセッサ１４１と一つのメモリ１４２が示されているが、プロセッサ１４１とメモリ１４２は複数設けられていてもよい。なお、映像処理装置１４０における処理の詳細については後述する。

　画素ずらし表示ＯＮの場合、映像処理装置１４０は、元映像の１フレームの画像（以下、元画像）に基づいて、２枚のサブフレーム画像Ａ、Ｂを生成する。サブフレーム画像Ａとサブフレーム画像Ｂとは、画素表示位置がずれている。すなわち、スクリーン１１４において、サブフレーム画像Ａは第１の画素表示位置に投影され、サブフレーム画像Ｂは第２の画素表示位置に投影される。映像処理装置１４０は、サブフレーム画像Ａとサブフレーム画像Ｂとを交互に表示するように、表示映像信号を生成する。

　例えば、元映像が８Ｋ（７６８０×４３２０）の解像度であるとすると、サブフレーム画像Ａ、Ｂはそれぞれ４Ｋ（３８４０×２１６０）の解像度となる。また、元映像のフレームレート（リフレッシュレート）が６０Ｈｚであるとすると、サブフレーム画像Ａとサブフレーム画像Ｂとは、１２０Ｈｚで切り替わる。

　メモリ１４２は、画像処理を行うためのコンピュータプログラムが格納されている。そして、プロセッサ１４１がメモリ１４２からプログラムを読み出して、実行する。こうすることで、映像処理装置１４０は、元画像から表示映像信号を生成する。なお、表示映像信号には、各画素の階調値に対応する画素データが含まれている。表示映像信号の画素データは、各画素のＲＧＢデータである。

　インターフェース部１３０は、映像処理装置１４０とプロジェクタ１１０との間にインターフェースを有している。すなわち、インターフェース部１３０を介して、映像処理装置１４０とプロジェクタ１１０との間で信号が伝送される。具体的には、インターフェース部１３０は、映像処理装置１４０の出力ポートとプロジェクタ１１０の入力ポートとを接続するＡＶ（Audio Visual）ケーブル等を備えている。インターフェース部１３０としては、上記のようにＨＤＭＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ、ＳＤＩ等の汎用Ｉ／Ｆを用いることができる。インターフェース部１３０は、４Ｋ解像度の映像を入出力可能なインターフェースである。

〈画像ずらし表示〉
　次に、図２～図５を参照して、プロジェクタ１１０における画素ずらし表示について説明する。図２は、プロジェクタ１１０における光学系を示す模式図である。図３は、画素ずらし表示ユニット１に設けられた光路変更部２の構成を示す図である。図４は、光路変更部２における光路を説明するための図である。図５は、画素ずらし表示における画素表示位置を説明するための図である。本実施形態では、特許文献２と同様に、複屈折素子を用いて、画素ずらし表示を行う構成を用いている。なお、画素ずらし表示の詳細については、特許文献２と同様の構成、及び方法を用いることができるため、詳細な説明を省略する。

　まず、図２を用いて、プロジェクタ１１０の光学系である投射部１１１について説明する。投射部１１１は、画素ずらし表示部１を備えている。画素ずらし表示部１は個別の光路から入射する赤、緑、青の３つの光を１本の光路に射出する色合成プリズム（クロスダイクロイックプリズム）１８の光出口側に設けられる。

　図２に示すように、投射部１１１は、光源１１と、光源１１からの光が進行する側に設けられたインテグレータ１２及び偏光合成素子１３と、を備える。

　光源１１は、高圧水銀ランプ、メタルハライドランプ等が用いられる。光源１１から発した白色光は、直進または回転放物面を有するリフレクタ１１ａにより反射されて、インテグレータ１２に概略平行光として入射する。

　インテグレータ１２は、入射した白色光の強度を空間的に均一化させる。偏光合成素子１３は、短冊状に並列に配列されて平板状に構成された複数の偏光ビームスプリッタと位相差板からなる光学素子であり、ランダムに偏光している入射した光の偏光方向を一定の偏光方向に揃えて射出させる。本実施形態では、偏光合成素子１３は入射したランダムな偏光をＰ波に変換する。別の形態として、偏光合成素子１３が入射光をＳ波に揃え、その後、ローテータ（図示せず）等を用いてＳ波をＰ波に変換してもよい。

　投射部１１１は、更に、クロス型ダイクロイックミラー１４を備える。クロス型ダイクロイックミラー１４は、偏光合成素子１３からの白色光を、青色の成分を含む光Ｂと、黄色の成分を含む光Ｙに分離し、それぞれを別の光路に射出する。

　クロス型ダイクロイックミラー１４を経た青色の光Ｂは、ダイクロイックミラー１５による反射を経て、偏光ビームスプリッタ（ＰＢＳ）としてのワイヤグリッド１６に入射する。なお、ダイクロイックミラー１５はアルミ蒸着膜等で形成された周知のミラーでもよい。ワイヤグリッド１６はＰ波を透過しＳ波を反射させる。クロス型ダイクロイックミラー１４からの光ＢはＰ波なので、ワイヤグリッド１６を透過し、青色用液晶表示素子１７に入射する。青色用液晶表示素子１７は、入射した光Ｂの偏光成分（即ちＰ波成分）を表示画像の青色成分の強度に応じてＳ波に変調しつつ、この入射光をワイヤグリッド１６に向けて反射する。青色用液晶表示素子１７からの反射光は、ワイヤグリッド１６にてＳ波成分のみが反射されて色合成プリズム１８に入射する。

　一方、クロス型ダイクロイックミラー１４を経た黄色の光Ｙは、ダイクロイックミラー１９を経て、更にダイクロイックミラー２０に入射する。なお、ダイクロイックミラー１９はアルミ蒸着膜等で形成された周知のミラーでもよい。

　ダイクロイックミラー２０では黄色の光Ｙが緑色の光Ｇと赤色の光Ｒとに分離され、緑色の光Ｇは反射し、赤色の光Ｒは透過する。その後の光Ｇ及び光Ｒの光路上には、図１に示すように、ＰＢＳとしてのワイヤグリッド２１及び緑色用液晶表示素子２２、ＰＢＳとしてのワイヤグリッド２３及び赤色用液晶表示素子２４がそれぞれ設置されており、これらの機能は、光Ｂに対して用いたワイヤグリッド１６及び青色用液晶表示素子１７と同様である。従って、緑色の光Ｇについては、緑色用液晶表示素子２２による偏光変調によって得られたＳ波成分のみが色合成プリズム１８に入射し、赤色の光Ｒについては、赤色用液晶表示素子２４による偏光変調によって得られたＳ波成分のみが色合成プリズム１８に入射することになる。

　なお、色合成プリズム１８に至るまでの各光学素子の選定、及び配置は図１に限定されず、適宜変更可能である。液晶表示素子１７、２２、２４は、例えば、ＬＣＯＳ（Liquid Crystal On Silicon）パネルであり、複数の画素がアレイ状に配列されている。液晶表示素子１７、２２、２４は、画素データに基づいて、光を変調して射出する空間変調器である。液晶表示素子１７、２２、２４の各画素は所定のビット数で階調表示を行う。例えば、液晶表示素子１７、２２、２４のそれぞれは、４Ｋの解像度を有している。また、液晶表示素子１７、２２、２４は、何れも反射型に限られず、透過型でもよい。

　色合成プリズム１８は、各側面及び背面から入射された光Ｂ、Ｇ、Ｒを合成し、その光を前面から射出させる。色合成プリズム１８から射出された光は、画素ずらし表示ユニット１の光路変更部２を経て、投影光学系としての投影レンズ７に入射する。投影レンズ７は、入射された照明光を、スクリーン１１４（図１参照）に向けて投影し、結像させ、画像表示を行う。これにより、投射部１１１は，スクリーン１１４上にカラー画像を投影することができる。

　画素ずらし表示部１は、光学素子の集合体である光路変更部２と、投影レンズ７と、偏光制御ドライバ８と、シャッタ制御ドライバ９とを備える。

　図３に示すように、光路変更部２は、光の入射側から順番に配置された、１／２波長板３１と、偏光角回転素子（第１の偏光変換素子）３と、複屈折素子４と、シャッタ素子（第２の偏光変換素子）５と、偏光子（偏光板）６とを備える。各光学素子３、４、５、６は積層構造として構成してもよく、透明ガラス等により形成された部材によって支持された構成でもよい。色合成プリズム１８からの光は１／２波長板３１から入射し、偏光子６から射出する。偏光子６からの光は、投影光学系としての投影レンズ７に入射する。

　１／２波長板３１は、入射するＳ波の光２７の偏光方向を４５°回転させるために、１／２波長板３１の光学軸（進相軸または遅相軸）Ｔを入射光（Ｓ波）の偏光方向に対して光の進行方向（即ち光軸）の周りで２２．５°傾けて設置される。１／２波長板３１を射出した光は、図４のように、１／２波長板３１から偏光子６に向かう方向に見て入射光の偏光方向に対し、右４５°に偏光している。

　偏光角回転素子３は、入射光の偏光角（偏光方向）をその光軸の周りで９０°回転させることにより、右４５°方向の偏光を左４５°方向の偏光に変換する。以下の説明の便宜上、右４５°方向の偏光をＲ波と、左４５°方向の偏光をＬ波と称する。この変換は、液晶表示素子１７、２２、２４における表示画像の更新の度に、偏光制御ドライバ８の出力電圧（出力信号）に基づいて実施される。偏光制御ドライバ８から出力されるパルス信号のＨｉｇｈ／Ｌｏｗによって、偏光角回転素子３は偏光を制御することができる。本実施形態ではこのような旋光機能を持つ光学素子として、例えばネマチック液晶などにより構成された透過型の液晶パネルが用いられる。

　複屈折素子４は、複屈折を生じる物質（例えば水晶）で形成された光学素子であり、入射するＲ波、Ｌ波の偏光方向に応じて射出時の光路をずらす。また、複屈折素子４は、光ローパスフィルタ（ＯＬＰＦ）でもある。液晶表示素子１７、２２、２４の画素ピッチをＧとすると、本実施形態の複屈折素子４は、Ｒ波とＬ波での光路間シフト量が約（√２／２）Ｇとなるように形成されている。

　シャッタ素子５は、偏光角回転素子３と同様の構成であり、シャッタ制御ドライバ９による印加電圧に応じて入射光の偏光角を、その光軸の周りで９０°回転させることにより、Ｒ波をＬ波に（又はＬ波をＲ波に）変換する。シャッタ制御ドライバ９から出力されるパルス信号のＨｉｇｈ／Ｌｏｗによって、シャッタ素子５は、偏光を制御することができる。

　偏光子６は、偏光角回転素子３によって設定される２つの偏光方向の光のうち、一方の偏光方向の光のみを選択して射出し、他方の偏光方向の光を破棄する。偏光子６は透過型、反射型の何れでもよい。本実施形態の偏光子６は、例えばワイヤグリッドであり、Ｒ波のみを通過させ、且つ、Ｌ波を遮断するように配置している。

　投影レンズ７は偏光子６からの光をスクリーン１１４に向かって拡大投影する。投影レンズ７は既知のレンズを用いて構成されたものでよい。そのため、詳細な説明は割愛する。

　上記のように、複屈折素子４は、Ｒ波とＬ波とで光路をシフトしている。したがって、サブフレーム画像毎に画素表示位置が切り替わることになる。ここで、スクリーン１１４における画素の表示位置について、図５を用いて説明する。図５は、１画素の表示画素位置を模式的に示すものであり、スクリーン１１４における横方向をＸ方向とし、縦方向をＹ方向としている。サブフレーム画像Ａにおける画素を画素ＰＡとし、サブフレーム画像Ｂにおける画素を画素ＰＢとして示している。なお、画素ＰＡと画素ＰＢとは同じ画素アドレスの画素である。画素ＰＡの位置を第１の画素表示位置とし、画素ＰＢの位置を第２の画素表示位置とする。

　Ｘ方向において、画素ＰＡと画素ＰＢとは、Ｐｘ／２ずれている。Ｙ方向において、画素ＰＡと画素ＰＢとは、Ｐｙ／２ずれている。なお、Ｐｘは、Ｘ方向における画素ピッチで有り、ＰｙはＹ方向における画素ピッチである。よって、同じ画素アドレスの画素は、サブフレーム画像Ａでは、第１の画素表示位置に投影され、サブフレーム画素Ｂでは第２の画素表示位置に投影される。よって、サブフレーム画像Ａの表示位置（投影位置）とサブフレーム画像Ｂの表示位置（投影位置）が半画素分ずれている。

　このような画素ずらし表示を行うため、偏光制御ドライバ８とシャッタ制御ドライバ９がパルス信号を生成している。具体的には、サブフレーム画像Ａでは、複屈折素子４にＬ波が入射し、サブフレーム画像Ｂでは、複屈折素子４にＲ波が入射するように、偏光制御ドライバ８が偏光角回転素子３を制御する。サブフレーム画像Ａとサブフレーム画像Ｂとが１２０Ｈｚで切り替わる場合、偏光制御ドライバ８が１２０ＨｚでＨｉｇｈ／Ｌｏｗが切り替わるパルス信号を偏光角回転素子３に供給すればよい。

　偏光子６はＲ波を通過させるものであるため、サブフレーム画像を表示させる場合、偏光子６にＲ波が入射するように、シャッタ制御ドライバ９がシャッタ素子５を制御すればよい。具体的には、複屈折素子４にＬ波の光が入射するサブフレーム画像Ａでは、シャッタ素子５が光をＬ波からＲ波に変換する。複屈折素子４にＲ波の光が入射するサブフレーム画像Ｂでは、シャッタ素子５が光をＲ波のままとする。サブフレーム画像Ａとサブフレーム画像Ｂとが１２０Ｈｚで切り替わる場合、シャッタ制御ドライバ９が１２０ＨｚでＨｉｇｈ／Ｌｏｗが切り替わるパルス信号をシャッタ素子５に供給すればよい。

　これにより、サブフレーム画像Ａでは、各画素が第１の画素表示位置に投影され、サブフレーム画像Ｂでは、各画素が第２の画素表示位置に投影される。すなわち、所定の周期で、スクリーン１１４における映像の投影位置が切り替わる。また、サブフレーム画像Ａとサブフレーム画像Ｂとが切り替わるタイミングにおいて、偏光子６にＬ波が入射する期間を設けてもよい。これにより、クロストークを抑制することができる。

　光路変更部２は、投影レンズ７による投影位置を所定の周期で切り替えるように、制御信号に応じて液晶表示素子からの光の光路をずらす。これにより、投影レンズ７で投影される映像に対して画素ずらし表示を行うことができる。

　なお、上記の説明では、画素ずらし表示を行うために、複屈折素子４を用いて光路を変更したが、特許文献１と同様に圧電アクチュエータを用いて、光路を変更することも可能である。もちろん、これら以外の構成によって、サブフレーム画像毎に光路を変更してもよい。

〈表示映像信号の生成〉
　さらに、本実施の形態では、画素ずらし表示のＯＮ／ＯＦＦを切り替えることができる。画素ずらし表示ＯＮでは、上記の通り、光路変更部２が、サブフレーム画像毎に光路を変更する。すなわち、第１の画素表示位置と第２の画素表示位置とが交互に切り替わるように、光路変更部２が光路を変更する。一方、画素ずらし表示ＯＦＦでは、光路変更部２が光路を変更しない。すなわち、画素表示位置が常に同じ位置、例えば、常時第１の画素表示位置になる。

　図６を参照して、表示映像信号を生成するための構成について説明する。図６は、映像処理装置１４０の構成を示すブロック図である。映像処理装置１４０は、判定部１４３、制御信号生成部１４５、表示画像生成部１４６、付加部１４７、及び出力ポート１４８を備えている。

　元映像が判定部１４３、及び表示画像生成部１４６に入力される。元映像は、例えば、映像処理装置１４０で生成されたＣＧ映像、又は、カメラにより取得されたカメラ映像である。なお、元映像は、画像に関する情報を含んでいれば、完全な画像を形成するものでなくてもよい。

　元映像の解像度は、液晶表示素子１７、２２、２４の表示解像度よりも高くなっている。例えば、元映像の解像度は８Ｋとなっており、液晶表示素子１７、２２、２４の表示解像度は４Ｋとなっている。元映像のフレームレートは、例えば、１２０Ｈｚとなっている。すなわち、元映像のフレーム画像が（１／１２０）ｓｅｃ毎に切り替わる。もちろん、フレームレートは、１２０Ｈｚに限定されるものではない。

　判定部１４３は、元映像に基づいて、画素ずらし表示を行うか否かを判定する。判定部１４３は、元映像の動きがしきい値よりも遅い場合、画素ずらし表示をＯＮとし、動きがしきい値よりも速い場合、画素ずらし表示をＯＦＦとする。例えば、判定部１４３は、元映像の連続する２以上のフレーム画像を比較する。そして、判定部１４３は、隣接するフレーム画像間の動きが小さい場合、画素ずらし表示をＯＮとする。一方、判定部１４３は、隣接するフレーム画像間の動きが大きい場合、画素ずらし表示をＯＦＦとする。

　そして、判定部１４３は、判定結果を示す判定信号を制御信号生成部１４５、及び表示画像生成部１４６に出力する。なお、判定部１４３は、フレーム画像全体の動きに基づいて、判定を行ってもよく、フレーム画像の一部分の動きや、フレーム画像に含まれる対象物の動きに応じて判定を行ってもよい。あるいは、判定部１４３は、元映像の動き以外に応じて、判定してもよい。

　制御信号生成部１４５は、判定部１４３での判定結果に基づいて、制御信号を生成する。制御信号は、画素ずらし表示のＯＮ／ＯＦＦを示すＯＮ／ＯＦＦ信号と、画素ずらし表示ＯＮの場合の画素表示位置を示すＨｉｇｈ／Ｌｏｗ信号とを含んでいる。ＯＮ／ＯＦＦ信号は、1ビットデータである。映像の動きが遅い場合、ＯＮ／ＯＦＦ信号は、画素ずらし表示ＯＮを示す値となる。映像の動きが速い場合、ＯＮ／ＯＦＦ信号は、画素ずらし表示ＯＦＦを示す値となる。

　Ｈｉｇｈ／Ｌｏｗ信号は、１ビットデータである。例えば、第１の画素表示位置となる場合、Ｈｉｇｈ／Ｌｏｗ信号は、第１の値となり、第２の画素表示位置となる場合、Ｈｉｇｈ／Ｌｏｗ信号は、第２の値となる。画素ずらし表示ＯＮの場合、Ｈｉｇｈ／Ｌｏｗ信号では、第１の値と第２の値とが一定の周期で交互に繰り返される。画素ずらし表示ＯＦＦの場合、Ｈｉｇｈ／Ｌｏｗ信号は、常時同じ値となる。このように、制御信号生成部１４５は、合計２ビットの制御信号を生成する。制御信号生成部１４５は生成した制御信号を付加部１４７に出力する。

　表示画像生成部１４６は、判定部１４３での判定結果に基づいて、元映像から表示画像を生成する。表示画像は、液晶表示素子１７、２２、２４により生成される画像に対応している。具体的には、表示画像は、液晶表示素子１７、２２、２４の各表示画素の画素データ（ＲＧＢデータ）により構成される。例えば、インターフェース部１３０を介して、映像処理装置１４０が液晶表示素子１７、２２、２４の情報を取得しておくことで、表示解像度等が分かる。

　元映像の動きが遅い場合、元映像からサブフレーム画像Ａ、Ｂを表示画像として生成する。ここで、図７を用いて、元映像に基づいてサブフレーム画像Ａ、Ｂを生成する処理について説明する。図７は、元映像の画素と、液晶表示素子１７、２２、２４における表示画素を説明するための図である。以下、液晶表示素子１７、２２、２４を代表して液晶表示素子１７のみについて説明する。

　図７では、元映像における４×４個の画素を画素Ｐ１１～Ｐ４４として示している。画素Ｐ１１～Ｐ４４が、液晶表示素子１７の２×２個の表示画素ＰＤ１１～ＰＤ２２に対応している。すなわち、元映像の４つの画素が、液晶表示素子１７における１つの表示画素に対応する。

　サブフレーム画像Ａでは、元映像の画素Ｐ１１の階調値を表示画素ＰＤ１１の階調値とする。同様に、サブフレーム画像Ａでは、元映像の画素Ｐ３１、Ｐ１３、Ｐ３３の階調値をそれぞれ表示画素ＰＤ２１、ＰＤ１２、ＰＤ２２の階調値とする。サブフレーム画像Ｂでは、画素Ｐ２２、Ｐ４２、Ｐ２４、Ｐ４４の階調値をそれぞれ表示画素ＰＤ１１、ＰＤ２１、ＰＤ１２、ＰＤ２２の階調値とする。

　従って、画素Ｐ１１、Ｐ２２が同じ表示画素ＰＤ１１により表示されることになる。すなわち、サブフレーム画像Ａの表示期間（以下、第１表示期間とする）では、液晶表示素子１７の表示画素ＰＤ１１の階調値は、画素Ｐ１１の階調値となり、サブフレーム画像Ｂの表示期間（以下、第２表示期間とする）では、液晶表示素子１７の表示画素ＰＤ１１の階調値は、画素Ｐ２２の階調値となる。

　このようにすることで、元映像の１フレームの画像（元画像）から、２つのサブフレーム画像Ａ、Ｂを生成することができる。つまり、元画像の階調値からサブフレーム画像Ａ、Ｂの各画素の階調値を決定することができる。また、元画像の画素と液晶表示素子の階調値のビット数が異なる場合、適宜液晶表示素子の階調値のビット数に合わせたサブフレーム画像Ａ、Ｂを生成すればよい。このように、画素ずらし表示がＯＮの場合、表示画像生成部１４６は、元映像から、サブフレーム画像Ａ、Ｂを表示画像として生成している。もちろん、サブフレーム画像Ａ、Ｂを生成するための方法が、上記の方法に限定されるものではない。例えば、表示画像生成部１４６は、元映像の連続する２フレーム以上の元画像に基づいて、サブフレーム画像Ａ，Ｂを生成してもよい。

　画素ずらし表示ＯＮの場合、液晶表示素子１７の解像度よりも高い解像度の映像を表示することができる。これにより、表示品質の高い映像を表示することが可能になる。２つのサブフレーム画像Ａ、Ｂにより1フレームの投影画像が形成される。

　一方、映像の動きが速い場合、画素ずらし表示がＯＦＦとなる。この場合、表示画像生成部１４６が異なる方法で、元映像から表示画像を生成する。表示画像生成部１４６は、元映像の１フレームの画像から１フレームの表示画像を生成する。図７における４つの画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２の階調値に基づいて、表示画素ＰＤ１１の階調値を生成することができる。例えば、表示画像生成部１４６は、４つの画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２の階調値の平均値を、表示画素ＰＤ１１の階調値とする。あるいは、表示画像生成部１４６は、４つの画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２のうちの一つの画素の階調値を代表値として、代表値を表示画素ＰＤ１１の階調値とする。このようにすることで、元映像の１フレームのフレーム画像から、１フレームの表示画像が生成される。なお、映像処理装置１４０がＩＧの場合、映像処理装置１４０は任意の解像度の元映像を生成することができるため、画素ずらし表示ＯＦＦの場合、映像処理装置１４０が表示画像と同じ解像度で元映像を生成してもよい。

　このように、画素ずらし表示のＯＮ／ＯＦＦに応じて、表示画像生成部１４６は、元映像から表示映像を生成する手法を変えている。表示映像の１画素が、元映像のｎ（ｎは２以上の整数、図７ではｎ＝４）個の画素に対応しているとする。判定部１４３が画素ずらし表示を行うと判定した場合、投影位置が第１の投影位置となる表示画像では、ｎ個の画素のうちの第１の画素の画素データを用いて、投影位置が第２の投影位置となる表示画像では、ｎ個の画素のうちの第２の画素の画素データを用いて、表示画像生成部１４６が表示画像を生成する。判定部１４３が画素ずらし表示を行わないと判定した場合、ｎ個の画素のうちの１つの画素の画素データを代表値として用いて、あるいは、ｎ個の画素の画素データの平均値を用いて、表示画像生成部１４６が表示画像を生成する。なお、ｎは４に限らず、２以上であればよい。

　このように、表示画像生成部１４６は元映像に基づいて、液晶表示素子１７の解像度に応じた表示画像を生成する。画素ずらし表示ＯＮの場合のサブフレーム画像Ａ、Ｂがそれぞれ表示画像となる。そして、２つのサブフレーム画像Ａ、Ｂが１フレームの投影画像を形成する。画素ずらし表示ＯＦＦの場合の１フレームの表示画像が１フレームの投影画像を形成する。もちろん、表示画像生成部１４６は、元映像の連続する２以上のフレーム画像に基づいて、表示画像を生成してもよい。表示画像生成部１４６は、生成した表示画像を付加部１４７に出力する。

　付加部１４７は、表示画像に制御信号を付加する。上記のように、制御信号は２ビットのデータである。本実施の形態では、付加部１４７は、表示画像の画素データ（ＲＧＢデータ）に制御信号を付加している。例えば、付加部１４７は、表示画像の１ライン目の最初の１画素又は数画素のＲＧＢデータの一部を制御信号に置き換える。このようにすることで、付加部１４７は、メタデータである制御信号を、表示画像に埋め込むことができる。また、付加部１４７がＲＧＢデータの低ビット側に制御信号を埋め込むことで、投影画像に対する影響を小さくすることできる。また、付加部１４７は、常時同じ画素アドレスの同じビットに制御信号を埋め込む。

　付加部１４７は、表示画像に制御信号を付加することで、表示映像信号を生成する表示映像信号生成部となる。すなわち、付加部１４７は、ＲＧＢデータに制御信号がメタデータとして埋め込まれた表示映像信号を生成する。付加部１４７によって生成された表示映像信号は、出力ポート１４８を介して、インターフェース部１３０に伝送される。出力ポート１４８は、例えば、ＤｉｓｐｌａｙＰｏｒｔである。

　このようにして、映像処理装置１４０は、表示画像と制御信号とを含む表示映像信号を生成する。表示映像信号は表示画像の画素データ（ＲＧＢデータ）から構成されている。表示画像のフレームレートは１２０Ｈｚであり、液晶表示素子１７のフレームレートと一致している。液晶表示素子１７は、（１／１２０）ｓｅｃ毎に表示画像を切り替える。

　表示画像のＲＧＢデータは、液晶表示素子１７、２２、２４の各階調を示すデータである。制御信号は、画素ずらし表示のＯＮ／ＯＦＦ信号と、画素ずらし表示における極性（画素表示位置）を示すＨｉｇｈ／Ｌｏｗ信号とを含んでいる。制御信号は、画素データ（ＲＧＢデータ）の一部に埋め込まれている。

〈プロジェクタ１１０での表示〉
　次に、図８、及び図９を用いて、プロジェクタ１１０における処理を説明する。図８は、投射部１１１の構成を示す制御ブロック図である。図９は、プロジェクタ１１０における処理を説明するためのタイミングチャートである。

　図８に示すように、投射部１１１は、入力ポート１２１、ＤＳＰ（Digital Signal Processor）１２２、デコーダ１２３、遅延部１２４、位相シフト部１２５、及び切替部１２６を備えている。

　入力ポート１２１は、ＤｉｓｐｌａｙＰｏｒｔである。映像処理装置１４０からの表示映像信号は、インターフェース部１３０を介して、入力ポート１２１に入力される。入力ポート１２１からの表示映像信号は、ＤＳＰ１２２、及びデコーダ１２３に入力される。ＤＳＰ１２２は、表示映像信号に基づいて、液晶表示素子１７の表示駆動信号を生成する。表示駆動信号が各画素の階調値に対応する画素データ（ＲＧＢデータ）を含んでいる。

　ＤＳＰ１２２は、表示駆動信号を液晶表示素子１７に出力する。そして、液晶表示素子１７が表示素子の画素データ（Ｂデータ）に基づいて、表示画像を生成する。例えば、液晶表示素子１７は、表示駆動信号に基づいて、走査線、及び信号線を駆動する表示ドライバを有している。よって、表示画素の画素データに基づいて、液晶表示素子１７の各画素が階調表示を行うことができる。

　なお、液晶表示素子２２、２４は、液晶表示素子１７と同様の処理を行うため、図８では省略されている。液晶表示素子２２、２４はそれぞれＧデータ、Ｒデータに基づいて階調表示を行う。液晶表示素子１７、２２、２４は、表示映像信号に含まれる表示画像の画素データ（ＲＧＢデータ）に基づいて、光を変調して射出する。よって、投射部１１１がＲＧＢの光が合成された表示画像を形成することができる。

　デコーダ１２３は、表示画像をデコードして、制御信号を抽出する。上記のように、制御信号は、同じ画素アドレスの同じビットに埋め込まれている。よって、デコーダ１２３は、表示画像に埋め込まれた制御信号を抽出することができる。デコーダ１２３は、ＯＮ／ＯＦＦ信号を遅延部１２４に出力し、Ｈｉｇｈ／Ｌｏｗ信号を位相シフト部１２５に出力する。

　位相シフト部１２５はＨｉｇｈ／Ｌｏｗ信号の位相をシフトして、表示画像に対するＨｉｇｈ／Ｌｏｗ信号のタイミングを調整する。例えば、ＤＳＰ１２２での処理時間に応じて、位相シフト部１２５が数クロック分、Ｈｉｇｈ／Ｌｏｗ信号の位相をシフトする。そして、位相シフト部１２５は、Ｈｉｇｈ／Ｌｏｗ信号を切替部１２６に出力する。遅延部１２４は、ＯＮ／ＯＦＦ信号を所定時間遅延することで、Ｈｉｇｈ／Ｌｏｗ信号とＯＮ／ＯＦＦ信号のタイミングを調整する。遅延部１２４は、ＯＮ／ＯＦＦ信号を切替部１２６、及び液晶表示素子１７に出力する。

　切替部１２６は、ＯＮ／ＯＦＦ信号及びＨｉｇｈ／Ｌｏｗ信号に基づいて、光路変更部２を制御する制御部となる。切替部１２６は、ＯＮ／ＯＦＦ信号に基づいて、画素ずらし表示のＯＮ／ＯＦＦを切替える。ＯＮ／ＯＦＦ信号が画素ずらし表示ＯＮを示す値の場合、光路変更部２がサブフレーム期間に対応する周期（１２０Ｈｚ）で光路を切替えるように、切替部１２６が偏光制御ドライバ８、シャッタ制御ドライバ９を制御する。これにより、表示画像が第１の表示画素位置に投影されるサブフレーム画像Ａと、表示画像が第２の画素表示位置に投影されるサブフレーム画像Ｂとが交互に切り替えられる。

　ＯＮ／ＯＦＦ信号が画素ずらし表示ＯＦＦを示す値の場合、光路変更部２が光路を切替えないように、切替部１２６が偏光制御ドライバ８、シャッタ制御ドライバ９を制御する。偏光制御ドライバ８、シャッタ制御ドライバ９がそれぞれ偏光角回転素子３と、シャッタ素子５に一定の電圧を供給する。これにより、表示画像が常時同じ位置に投影される。

　ここで、表示画像の表示フレームレートは、画素ずらし表示ＯＮ／ＯＦＦで同じ１２０Ｈｚとなっている。すなわち、液晶表示素子１７は、１２０Ｈｚで表示画像を切替える。画素ずらし表示ＯＮでは、サブフレーム画像Ａとサブフレーム画像Ｂとが１２０Ｈｚで交互に切り替わるように表示される。

　画素ずらし表示ＯＮでは、元映像の１枚のフレーム画像から２枚のサブフレーム画像Ａ、Ｂが表示画像として生成されている。図９に示すように、映像処理装置１４０は、元映像のフレーム番号０のフレーム画像からサブフレーム画像Ａ０、Ｂ０を生成する。同様に、映像処理装置１４０は、元映像のフレーム番号１のフレーム画像からサブフレーム画像Ａ１、Ｂ１を生成している。サブフレーム画像Ａ０、Ａ１では、Ｈｉｇｈ／Ｌｏｗ信号がＨとなり、サブフレーム画像Ｂ０、Ｂ１では、Ｈｉｇｈ／Ｌｏｗ信号がＬとなる。

　画素ずらし表示ＯＦＦでは、元映像の１枚のフレーム画像から１枚の表示画像が生成されている。例えば、図９では、映像処理装置１４０は、元映像のフレーム番号０のフレーム画像から表示画像Ａ０を生成している。さらに、映像処理装置１４０は、元映像のフレーム番号１～３のフレーム画像から表示画像Ａ１～Ａ３をそれぞれ生成している。

　よって、画素ずらし表示ＯＮと画素ずらし表示ＯＦＦとで、元映像が異なるフレームレートで表示されることになる。図９では、元映像のフレームレートをＶｓｙｎｃ＿ｉｎで示している。画素ずらし表示ＯＦＦで、元映像の４枚のフレーム画像を表示する期間において、画素ずらし表示ＯＮでは、元映像の２枚のフレーム画像が表示される。よって、画素ずらし表示ＯＦＦでは、高いフレームレートで元映像を表示することができる。

　動きが速いシーンでは、高いフレームレートで映像を表示することで、画像のぼけを抑制することができるため、投射部１１１が、画素ずらし表示ＯＦＦとしている。例えば、映像中の一部の対象物が高速に移動している場合、映像が高いフレームレートで表示される。これにより、対象物の動きが滑らかに表示される。一方、動きが遅いシーンでは、低いフレームレートで映像を表示しても表示遅延が生じないため、投射部１１１が、画素ずらし表示ＯＮとしている。これにより、動きが遅いシーンでは、高い解像度で画像を表示することができる。これにより、シーンに応じて、適切な表示を行うことができる。

　切替部１２６は、画素ずらし表示のＯＮ／ＯＦＦはフレーム毎に切替えてもよい。このようにすることで、映像の動きに応じて、ダイナミックに表示を切替えることができる。あるいは、切替部１２６は、シーン毎に画素ずらし表示のＯＮ／ＯＦＦを切替えてもよい。

　さらに、画素データ内に制御信号を埋め込んでいるため、投射部１１１が、画素ずらし表示を容易に行うことができる。例えば、外部制御により画素ずらし表示を行う場合、ＣＰＵなどを介在させる必要があるため、フレーム単位で画素ずらし表示ＯＮ／ＯＦＦと映像の動きの速さが一致した制御が困難となる。これに対して、本実施形態では、画素データ内に制御信号を埋め込んでいるため、フレーム単位で、画素ずらし表示ＯＮ／ＯＦＦと映像の動きの速さを一致することができる。すなわち、表示切り替えのタイミングを容易に調整することができる。

　表示画像生成部１４６が生成する表示画像は、判定部１４３が画素ずらし表示を行うと判定した場合に対し、画素ずらし表示を行わないと判定した場合、同一投影位置（同一の画像表示位置）におけるフレームレートが２倍となる。例えば、画素ずらし表示を行う場合、表示画像が第１の画素表示位置（第１の投影位置）と第２の画素表示位置（第２の投影位置）とが交互に投影され、画素ずらし表示を行わない場合、表示画像が第１の画素表示位置に投影されるとする。画素ずらし表示を行わない場合の第１の画素表示位置（第１の投影位置）におけるフレームレートが、画素ずらし表示を行う場合の第１の画素表示位置（第１の投影位置）におけるフレームレートの２倍となる。第１の画素表示位置（第１の投影位置）におけるフレームレートは、表示画像が第１の画素表示位置（第１の投影位置）に繰り返し投影される周波数である。上記したように、画素ずらし表示ＯＦＦの場合、第１の画像表示位置に投影される表示画像のフレームレートが１２０Ｈｚとなる例では、画素ずらし表示ＯＮの場合、第１の画像表示位置に投影される表示画像のフレームレートは、６０Ｈｚとなる。

　映像処理装置１４０が、ＣＧ映像を生成するＩＧである場合、映像の解像度及びフレームレートを任意に変更することができる。映像処理装置１４０が、映像の動きに応じて、映像の解像度及びフレームレートを変更することができる。映像処理装置１４０は、動きの速いシーンでは、高いフレームレートかつ低い解像度で映像を生成し、動きの遅いシーンでは、低いフレームレートかつ高い解像度で映像を生成することができる。映像処理装置１４０が高いフレームレートかつ高い解像度で映像を生成しなくてもよいため、映像処理装置１４０の処理負荷を軽減することができる。

　また、元映像がカメラ映像である場合は、カメラの性能（撮像フレームレート及び撮像解像度）に応じて、映像処理装置１４０が制御信号を生成すればよい。例えば、カメラ映像が解像度８Ｋ、フレームレート６０Ｈｚで取得されている場合、画素ずらし表示ＯＮとし、解像度４Ｋ、フレームレート１２０Ｈｚで取得されている場合、画素ずらし表示ＯＦＦとするよう、映像処理装置１４０が制御信号を生成する。これにより、カメラ映像を適切に表示することができる。

　なお、上記の解像度やフレームレートは典型的な一例であり、下記の値に限定されるものではない。例えば、４Ｋ６０Ｐで表示できるプロジェクタ１１０では、画素ずらし表示ＯＮの場合、映像処理装置１４０が８Ｋ３０Ｐの表示画像を生成する。画素ずらし表示ＯＦＦの場合、映像処理装置１４０が４Ｋ６０Ｐの表示画像を生成する。

　複数のフレームを使って擬似的に階調表示を行う方法として、フレームレートコントロール処理（例えば、特開２０１２－９３４７９号公報、特開２０１５－１９４５９６号広報を参照）や、誤差拡散処理（例えば、特開２０１５－８７６３１号広報を参照）が有効である。

　通常、フレームレートコントロール処理は、連続している複数のフレームをセットとして行うが、画素ずらし表示を行う場合の映像信号は、サブフレームＡとサブフレームＢとが交互に繰り返す信号となる。このため、連続する（サブ）フレームでフレームレートコントロール処理を行うと不具合が生じる。そこで、画素ずらし表示を行う場合、同じ投影位置となるサブフレームＡのフレーム毎、およびサブフレームＢのフレーム毎に別々にフレームレートコントロール処理を行うように制御する。具体的には、液晶表示素子１７に入力されるＯＮ／ＯＦＦ信号がＯＮの場合（画素ずらし表示を行う場合）、ひとつおきの複数のフレーム毎にそれぞれフレームレートコントロール処理を行う。液晶表示素子１７に入力されるＯＮ／ＯＦＦ信号がＯＦＦの場合（画素ずらし処理を行わない場合）、連続する複数のフレームをセットとしてフレームレートコントロール処理を行う。

　特開２０１５－８７６３１号公報に記載の誤差拡散処理を行う場合も同様に、画素ずらし表示を行う場合、同じ投影位置となるサブフレームＡのフレーム毎、およびサブフレームＢのフレーム毎に別々に誤差拡散処理を行うように制御する。具体的には、液晶表示素子１７に入力されるＯＮ／ＯＦＦ信号がＯＮの場合（画素ずらし表示を行う場合）、ひとつおきの複数のフレーム毎にそれぞれ誤差拡散処理を行う。液晶表示素子１７に入力されるＯＮ／ＯＦＦ信号がＯＦＦの場合（画素ずらし処理を行わない場合）、連続する複数のフレーム間で誤差拡散処理を行う。

　なお、上記の説明では、画素ずらし表示ＯＮにおいて、第１の画素表示位置と第２の画素表示位置とが交互に繰り返されている例について説明したが、光路変更部２が３つ以上の画素表示位置を順番に切替えるようにしてもよい。例えば、４つの画素表示位置を順番に切替えるように、光路変更部２が光路を変更してもよい。この場合、第１の画素表示位置を基準として、第２の画素表示位置はＸ方向にだけ０．５画素ずれており、第３の画素表示位置では、Ｙ方向にだけ０．５画素ずれており、第４の画素表示位置は、Ｘ方向及びＹ方向に０．５画素ずれている。

　具体的には、図７において、第１の画素表示位置が画素Ｐ１１に対応し、第２の画素表示位置が画素Ｐ２１に対応し、第３の画素表示位置が画素Ｐ１２に対応し、第４の画素表示位置が画素Ｐ２２に対応する。このように映像処理装置１４０が表示画像を生成することで、液晶表示素子１７の４倍の解像度を得ることができる。この場合、例えば、映像処理装置１４０が、８Ｋの元映像から、４つの４Ｋのサブフレーム画像を生成する。よって、投影画像が８Ｋの解像度となる。

　画素ずらし表示ＯＮにおける画素表示位置の数を、映像の動きの速さに応じて段階的に変えることも可能である。例えば、映像処理装置１４０が映像の動きを３段階に分けて、画素ずらし表示ＯＦＦ、２つの画素表示位置での画素ずらし表示、４つの表示画素位置での画素ずらし表示を切り替えることもできる。

　具体的には、映像処理装置１４０が、映像の動きに対する２つのしきい値を設定する。第１のしきい値は、第２のしきい値よりも映像の動きが速いことを示す値となっている。映像の動きが第１のしきい値よりも速い場合は、投射部１１１が画素ずらし表示をＯＦＦとする。映像の動きが第２のしきい値よりも遅い場合、投射部１１１が４つの画素表示位置を切り替えて画素ずらし表示を行う。映像の動きが第１のしきい値と第２のしきい値との間の場合、投射部１１１が２つの画素表示位置を切り替えて画素ずらし表示を行う。この場合、画素表示位置を示す制御信号が２ビットのデータとなる。

　映像の動きに合わせて、元映像のフレームレートを段階的に変更することが可能となる。よって、より動きの速い映像では、より高いフレームレートでの表示が可能となり、より動きの遅い映像では、より低いフレームレートでの表示が可能となる。このようにすることで、映像処理装置１４０における処理負荷を低減することができる。

　なお、上記の説明では、制御信号が画素ずらし表示ＯＮ／ＯＦＦを切替えるために用いられたが、制御信号は、その他の用途に用いることもできる。映像処理装置１４０が、２つの表示を切替えるための制御信号を生成すれば良い。具体的には、映像処理装置１４０が、３Ｄ表示のＯＮ／ＯＦＦを切替える制御信号を生成してもよい。この場合、３Ｄ表示ＯＮの場合、映像処理装置１４０が、サブフレーム画像Ａ、Ｂと同様に、左画像と右画像とを交互に生成する。３Ｄ表示ＯＦＦの場合、映像処理装置１４０が、画素ずらし表示ＯＦＦと同様に表示画像を生成する。これにより、３次元画像を表示することができる。

　あるいは、映像処理装置１４０が、赤外画像表示ＯＮ／ＯＦＦを切替える制御信号を生成してもよい。赤外画像表示ＯＮでは、サブフレーム画像Ａ、Ｂと同様に、赤外画像と可視画像とを交互に生成する。赤外画像ＯＦＦの場合、映像処理装置１４０が、画素ずらし表示ＯＦＦと同様に表示画像を生成する。これにより、赤外画像と可視画像とを交互に表示することができる。
　上記説明では画素ずらしＯＮ／ＯＦＦ信号と、画素ずらしＯＮの場合の画素表示位置を示す信号とを別々の信号として説明したが、これらを１つの信号として兼用するように応用することも可能である。

　上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。そして、メモリ１４２に格納された命令をプロセッサ１４１が実行することで、上記の処理が実行される。

　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

　この出願は、２０１７年６月１６日に出願された日本出願特願２０１７－１１８９５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本開示は、画像を表示する、映像処理装置、及び表示システムに適用可能である。

　１１０　プロジェクタ
　１１１　投射部
　１１４　スクリーン
　１２１　入力ポート
　１２２　ＤＳＰ
　１２３　デコーダ
　１２４　遅延部
　１２５　位相シフト部
　１２６　切替部
　１３０　インターフェース部
　１４０　映像処理装置
　１４１　プロセッサ
　１４２　メモリ
　１４３　判定部
　１４５　制御信号生成部
　１４６　表示画像生成部
　１４７　付加部
　１４８　出力ポート

Claims (13)

1. 　元映像に基づいて、表示映像信号を生成する映像処理装置と、
   　前記表示映像信号に基づいて、画素ずらし表示を行う画素ずらし表示装置と、を備えた表示システムであって、
   　前記映像処理装置は、
   　元映像に応じて、画素ずらし表示を行うか否かを判定する判定部と、
   　前記判定部での判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成する制御信号生成部と、
   　前記判定部での判定結果に基づいて、前記元映像から表示画像を生成する表示画像生成部と、
   　前記表示画像に前記制御信号を付加して、前記表示映像信号を生成する付加部と、を備え、
   　前記画素ずらし表示装置は、
   　前記表示映像信号に含まれる表示画像の画素データに基づいて、光を変調して射出する空間変調器と、
   　前記空間変調器からの光を投影する投影光学系と、
   　前記投影光学系で投影される映像に対して画素ずらし表示を行うために、前記投影光学系による投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらす光路変更部と、
   　前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替える切替部と、を備えた表示システム。
2. 　前記制御信号が、前記表示画像の画素データに埋め込まれている請求項１に記載の表示システム。
3. 　元映像の動きがしきい値よりも速い場合、前記画素ずらし表示装置が前記画素ずらし表示ＯＦＦで表示を行い、
   　前記元映像の動きが前記しきい値よりも遅い場合、前記画素ずらし表示装置が前記画素ずらし表示ＯＮで表示を行う請求項１、又は２に記載の表示システム。
4. 　前記空間変調器では、複数のフレームを使って擬似的に階調表示を行う処理を行う際に、
   　前記画素ずらし表示がＯＦＦの場合、連続する複数のフレームを使って処理を行い、
   　前記画素ずらし表示がＯＮの場合、同じ投影位置となるフレーム毎に複数のフレームを使って処理を行う、
   ことを特徴とする請求項１～３のいずれか１項に記載の表示システム。
5. 　前記判定部が前記画素ずらし表示を行わないと判定した場合、前記投影位置が第１の投影位置になり、
   　前記判定部が前記画素ずらし表示を行うと判定した場合、前記投影位置が第１の投影位置及び第２の投影位置の交互に切り替わり、
   　前記画素ずらし表示を行わない場合における前記第１の投影位置でのフレームレートが、前記画素ずらし表示を行う場合における前記第１の投影位置でのフレームレートの２倍となっている請求項１～４のいずれか１項に記載の表示システム。
6. 　前記表示画像の１表示画素が前記元映像のｎ個（ｎは２以上の整数）の画素に対応しており、
   　前記判定部が前記画素ずらし表示を行うと判定した場合、前記投影位置が第１の投影位置となる表示画像では、前記ｎ個の画素のうちの第１の画素の画素データを用い、前記投影位置が第２の投影位置となる表示画像では、前記ｎ個の画素のうちの第２の画素の画素データを用いて、前記表示画像生成部が前記表示画像を生成し、
   　前記判定部が前記画素ずらし表示を行わないと判定した場合、前記ｎ個の画素のうちの１つの画素の画素データを代表値として用いて、あるいは、前記ｎ個の画素の画素データの平均値を用いて、前記表示画像を生成する請求項１～４のいずれか１項に記載の表示システム。
7. 　元映像に応じて、画素ずらし表示を行うか否かを判定する判定部と、
   　前記判定部での判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成する制御信号生成部と、
   　前記判定部での判定結果に基づいて、前記元映像から表示画像を生成する表示画像生成部と、
   　前記表示画像に前記制御信号を付加して、表示映像信号を生成する付加部と、を備えた映像処理装置。
8. 　前記判定部が前記画素ずらし表示を行わないと判定した場合、前記表示画像の投影位置が第１の投影位置になり、
   　前記判定部が前記画素ずらし表示を行うと判定した場合、前記投影位置が第１の投影位置及び第２の投影位置の交互に切り替わり、
   　前記画素ずらし表示を行わない場合における前記第１の投影位置でのフレームレートが、前記画素ずらし表示を行う場合における前記第１の投影位置でのフレームレートの２倍となっている請求項７に記載の映像処理装置。
9. 　前記表示画像の１表示画素が前記元映像のｎ個（ｎは２以上の整数）の画素に対応しており、
   　前記判定部が前記画素ずらし表示を行うと判定した場合、前記表示画像の投影位置が第１の投影位置となる表示画像では、前記ｎ個の画素のうちの第１の画素の画素データを用い、前記投影位置が第２の投影位置となる表示画像では、前記ｎ個の画素のうちの第２の画素の画素データを用いて、前記表示画像生成部が前記表示画像を生成し、
   　前記判定部が前記画素ずらし表示を行わないと判定した場合、前記ｎ個の画素のうちの１つの画素の画素データを代表値として用いて、あるいは、前記ｎ個の画素の画素データの平均値を用いて、前記表示画像を生成する請求項７、又は８に記載の映像処理装置。
10. 　表示映像信号に含まれる表示画像の画素データに基づいて、光を変調して射出する空間変調器と、
    　前記空間変調器からの光を投影する投影光学系と、
    　前記投影光学系で投影される映像に対して画素ずらし表示を行うために、前記投影光学系による投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらす光路変更部と、
    　前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替える切替部と、を備えた画素ずらし表示装置。
11. 　元映像に応じて、画素ずらし表示を行うか否かを判定するステップと、
    　判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成するステップと、
    　前記判定結果に基づいて、前記元映像から表示画像を生成するステップと、
    　前記表示画像に前記制御信号を付加して、表示映像信号を生成するステップと、を備えた映像処理方法。
12. 　表示映像信号に含まれる表示画像の画素データに基づいて、空間変調器が光を変調して射出するステップと、
    　前記空間変調器からの光を投影光学系により投影するステップと、
    　投影される映像に対して画素ずらし表示を行うために、前記投影光学系の投影位置を所定の周期で切り替えるように、前記表示映像信号に含まれる制御信号に応じて前記空間変調器からの光の光路をずらすステップと、
    　前記表示映像信号に含まれる制御信号に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦを切り替えるステップと、を備えた表示方法。
13. 　元映像に応じて、画素ずらし表示を行うか否かを判定するステップと、
    　判定結果に基づいて、前記画素ずらし表示のＯＮ／ＯＦＦと、前記画素ずらし表示ＯＮの場合の画素表示位置と、を示す制御信号を生成するステップと、
    　前記判定結果に基づいて、前記元映像から表示画像を生成するステップと、
    　前記表示画像に前記制御信号を付加して、表示映像信号を生成するステップと、を、
    　コンピュータに実行させるプログラム。

Images