JP5927559B2 - 表示装置 - Google Patents

Description

本発明は、計算機ホログラムによる回折パターンでレーザ光を回折させることにより情報を表示させる、例えば頭部装着型の表示装置に関するものである。

ヘッドマウントディスプレイ(Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下「ＨＭＤ」と記す）は、ユーザが頭部に装着した状態で、ユーザに情報を表示する装置である。ＨＭＤは、一般的に、装着性の観点から、小型軽量であることが望ましく、一方で、表示性能の観点からは、大画面で高画質であることが望ましい。従来、ＨＭＤでは、小型の液晶パネル等に表示した画像を、凸レンズや自由曲面プリズム等で光学的に拡大することで、拡大された仮想画像をユーザへ表示する方式があった（例えば、特許文献１参照）。なお、本明細書では前述の画像をプリズムなどで拡大する方式について「光学拡大方式」と記す。

また一方、計算機ホログラム（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｈｏｌｏｇｒａｍ、以下「ＣＧＨ」と記す）を用いた表示装置では、表示したい画像を入力データとして計算機で求めた回折パターンを、位相変調型の液晶パネル等に表示し、その液晶パネルにレーザ光を照射して回折させることで、仮想画像位置からの表示光の波面を再現し、仮想画像をユーザへ表示するものがある（例えば、特許文献２参照）。ＣＧＨ方式では、液晶パネルの手前や奥の位置に３次元立体画像を表示できる特徴がある。また、ＣＧＨ方式ではないが、回折パターンにより３次元立体画像をユーザに表示する先行例もある（例えば、特許文献３参照）。

しかしながら、ＣＧＨ方式では、液晶パネルなどに表示するための回折パターンを生成する際の計算コストが問題になる。一般に、回折パターンを計算するためには、点充填法やフーリエ変換による生成方法を用いて、ユーザに表示したい画像（以後、元画像）から回折パターンを生成する。この例を図２２に示す。

図２２（ａ）は、元画像４０１の例を示す図である。図２２（ｂ）は、元画像４０１から生成された回折パターン４０２の例を示す図である。この回折パターン４０２を位相変調型の液晶パネルなどに表示することで、ユーザは、回折パターン４０２を生成する基となった元画像４０１を視認することが可能になる。この回折パターン４０２を生成するに際して、元画像４０１の画素数や、液晶パネルの画素数が大きくなるほど、高解像度・広視野角の表示を行うことが可能となるが、反面、回折パターン４０２を生成する際の計算量が大きくなってしまう。

以下、回折パターンの生成方法について、点充填法を用いる場合の計算方法について例示する。点充填法では、元画像（物体）を点光源の集合とみなし、各点光源からの光が、液晶パネル上の各点で重なったときの位相から、回折パターンを計算する。

図２３は、回折パターンを生成する際の、元画像５０１と回折パターンを表示する液晶パネル５０２の位置関係の例を示す図である。液晶パネル５０２上に表示する回折パターンを点充填法によって生成するためには、前述のように元画像５０１上の各点（各画素）を点光源とみなす。元画像５０１上の点ｉが、振幅αｉ、位相φｉであった場合、この点ｉから発生した光の、液晶パネル５０２上の点ｕでの複素振幅は式（１）で表される。

また、式（１）でのｒｉは、点ｉと点ｕとの距離であり、液晶パネル５０２の中心を原点とし、点ｉの座標を（ｘｉ、ｙｉ、ｚｉ）、点ｕの座標を（ξ、η）で表した場合に、ｒｉは式（２）で計算される。

また、式（１）におけるｋは波数であり、点ｉからの光の波長をλとした場合に、ｋ＝２π／λで求められる。式（１）による計算によって、点ｉからの光の点ｕでの複素振幅が求められるため、同様の計算を元画像５０１上の各点に対して行い、足し合わせることで、液晶パネル５０２上の点ｕでの複素振幅の値を求めることができる。点ｕでの複素振幅を示す数式を式（３）に示す。

点充填法では、式（３）に示す計算を液晶パネル５０２上の各点によって行うことで回折パターンを生成する。なお、この例では簡単のため、参照光による位相の変化などを例示していない。

式（１）〜式（３）の計算式から示されるように、元画像５０１の画素数および液晶パネル５０２の画素数（回折パターンの画素数）が増えると、必要な計算回数が増加し、計算コストが増大する。元画像５０１を逆フーリエ変換することで回折パターンを生成する方法を用いる場合、より高速に計算を行うことが可能になるが、画素数の増加によって計算コストは増大してしまう。ＣＧＨ方式の表示装置において、装置が有する計算能力が回折パターン生成のために必要な計算コストに満たない場合、ユーザに表示する映像のフレームレートの低下など画質の低下を招く。前記特許文献２、３ではこのような点に対する考慮がなされていない。

特開平８−２４０７７３号公報 特表２００８−５４１１４５号公報 特開平６−２０２５７５号公報

本発明は、前記従来の課題を解決するもので、使用者が視認する元画像の画質低下を抑制することが可能なＣＧＨ方式の表示装置を提供することを目的とする。

本発明の一局面に係る表示装置は、レーザ光を出力する光源と、前記レーザ光の照明光を出射する照明光学系と、元画像データから回折パターンを生成する回折パターン生成部と、前記回折パターンを表示することで前記照明光を回折する空間変調素子と、前記空間変調素子が表示する回折パターンの表示タイミングの変更及び前記回折パターン生成部が生成する回折パターンの大きさの変更の少なくとも一方の変更を行わせる表示制御部と、を備える。

本発明の表示装置によれば、回折パターンの表示タイミングの変更及び回折パターンの大きさの変更の少なくとも一方の変更を行うことで、回折パターンを好適に生成することができるため、使用者が視認する画像の画質低下を抑制することが可能なＣＧＨ方式の表示装置を提供することが可能になる。

実施の形態１における表示装置の機能ブロック図である。 図１に示される表示装置の構成を模式的に示す図である。 眼球、反射ミラー、空間変調素子、及び回折パターンによる再生像等の位置関係の説明図である。 眼球、反射ミラー、空間変調素子、及び回折パターンによる再生像等の位置関係の説明図である。 回折パターンのサイズ削減を行わない場合の表示の例を示す図である。 回折パターンのサイズ削減を行った場合の表示の例を示す図である。 実施の形態１において、図１に示される制御部のＣＰＵの各機能ブロックが実行する手順を示すフローチャートである。 実施の形態１における許容計算コスト判定表の例を示す図である。 （ａ）は、高輝度の画素が少ない輝度分布の元画像の場合の再生像の例を示す図であり、（ｂ）は、高輝度の画素が多い輝度分布の元画像の場合の再生像の例を示す図である。 実施の形態１における許容計算ノイズ判定表の例を示す図である。 実施の形態１において、表示制御部が回折パターンの削減及びフレームレートの低減を判断する際の手順例を示すフローチャートである。 サイズが削減された回折パターンの例を示す図である。 （ａ）は、回折パターンの表示の変化例を示す図であり、（ｂ）は、（ａ）の変化による再生像の変化の例を示す図である。 （ａ）、（ｂ）は、左右の空間変調素子で表示される回折パターンのサイズが異なる場合の例を示す図である。 （ａ）、（ｂ）は、左右の空間変調素子で回折パターンが交互に表示される例を示す図である。 元画像を、右目用の元画像と、左目用の元画像とに分割した例を示す図である。 実施の形態２における表示装置の構成を模式的に示す図である。 図１７に示される本体部の機能ブロック図である。 実施の形態２における許容計算コスト判定表の例を示す図である。 元画像から複数の回折パターンを生成する本発明の実施の形態３を説明する図である。 （ａ）は、元画像から生成した基本回折パターンのサイズを示す図であり、（ｂ）は、空間変調素子に表示される回折パターンのサイズを示す図である。 （ａ）は、元画像の例を示す図であり、（ｂ）は、元画像から生成された回折パターンの例を示す図である。 回折パターンを生成する際の、元画像と回折パターンを表示する液晶パネルの位置関係の例を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１における頭部装着型の表示装置（ＨＭＤ）１の機能ブロック図である。図２は、図１に示される表示装置１の構成を模式的に示す図である。実施の形態１の表示装置１は、図２に示されるように、メガネ型形状をしており、図２は上方から見た図である。以下、図１、図２を用いて、実施の形態１における表示装置１の構成が説明される。

光源１０１は、レーザ光を出力するレーザ光源である。実施の形態１では、光源１０１として、緑色波長のレーザ光を出力する半導体レーザ（レーザダイオード）を用いる。なお、赤色や青色の単色でもよいし、赤緑青の３色を合波してカラー表示としてもよいし、後述するよう３色を時分割駆動してカラー表示としてもよい。また、半導体レーザ以外のレーザを用いてもよいし、半導体レーザと他との組合せでもよい。赤外線の半導体レーザと、赤外線を緑色に変換する第２次高調波発生（ＳＨＧ）素子の組合せでもよい。

照明光学系１０２は、光源１０１からのレーザ光の波面形状や強度分布を変更した照明光を出射する。実施の形態１では照明光学系１０２として、拡散光のレーザ光を収束光へ変換する凸レンズと、レーザ光の強度を減衰させる減光フィルタ（ＮＤフィルタ）とを用いる。なお、照明光の波面形状を変える素子は、レンズでもよいしミラーでもよいし、液晶レンズのように動的に変更できる素子でもよい。また、照明光学系１０２は、強度分布を変更する光学系を含んでもよい。また、照明光学系１０２は、不要照明光の除去フィルタを含んでもよい。

空間変調素子１０３は、回折パターンを表示することによって、照明光学系１０２からの照明光を回折させ、ユーザが表示像を視認することを可能にする。実施の形態１では空間変調素子１０３として、位相変調型の反射型液晶パネルを用いる。なお、空間変調素子１０３は、回折パターンを表示することで照明光を回折できれば、別の表示素子でもよい。空間変調素子１０３として、例えば透過型パネルを用いても良い。この場合、光源１０１などを眼鏡の耳側に配置するなどの光学系のレイアウトを変更することなどが可能になる。

反射ミラー１０４は、空間変調素子１０３からの回折光をユーザの眼球１９０の方向へ反射させる。実施の形態１では反射ミラーとして、半透過フレネルミラーを用いる。フレネルレンズに薄い金属膜を蒸着させることで半透過フレネルミラーとし、フロント部１１２のレンズ部１１３に接着剤で接着している。フレネルミラーと接着剤の屈折率を近づけることで、透過光が直進するようにし、レンズ部１１３を通して見える外界が歪まないようにしている。なお、反射ミラー１０４を用いずに、液晶パネルをユーザが直接見るＨＭＤとしてもよい。なお、反射ミラー１０４は、レンズ型を用いてもよいし、ホログラム等の回折格子で実現してもよい。ホログラムで反射ミラー１０４を構成することで、より薄型で透過率の高いシースルーディスプレイを構成することが可能になる。

眼球１９０は、実施の形態１の表示装置１の眼球想定位置にある眼球を図示している。眼球想定位置は、ユーザが表示装置１を装着している際の眼球位置として想定される位置を意味する。実施の形態１では、眼球想定位置は、ユーザが表示装置１を装着している際の眼球１９０の瞳孔１９１の瞳孔中心１９３としている。反射ミラー１０４で反射された回折光は、眼球想定位置に位置する眼球１９０の瞳孔１９１を経由して、網膜に像を結像し、ユーザに画像を表示する。図２における眼球中心１９２は、眼球１９０の中心位置であり、眼球１９０の回転中心でもある。眼球想定位置は、瞳孔中心１９３から多少ずれても構わない。また、眼球想定位置は、瞳孔中心１９３に代えて、眼球中心１９２としてもよい。

なお、ユーザが図２に示される表示装置１を頭部に装着すると（つまりテンプル部１１１を耳に掛けると）、空間変調素子１０３と眼球想定位置との位置関係は固定される。なお、頭部に対する眼球１９０の位置のユーザによる個人差や、表示装置１の装着ずれを考慮して、眼球想定位置に許容誤差を設けてもよく、眼球想定位置を調整する機能を有するようにしてもよい。

制御部１０５は、光源１０１を駆動し、回折パターンを空間変調素子１０３に表示させる。制御部１０５は、光源１０１を点灯消灯させ、眼球に適切な光量が入射するように、光源１０１が出力するレーザ光の強度を調整する。なお、制御部１０５は、３色のレーザ光源を時分割駆動し、３色それぞれに対応した回折パターンを光源１０１に同期させて空間変調素子１０３に表示することで、カラー表示を行ってもよい。また、制御部１０５は、バッテリー１０６の制御を行ってもよいし、照明光学系１０２や反射ミラー１０４が制御可能な場合は制御してもよい。

また、本実施の形態１において、制御部１０５は、ＣＰＵ１１及びメモリ１２を含み、計算コストを考慮した回折パターンの生成制御などを行う。ＣＰＵ１１は、機能ブロックとして、機器状況取得部６０１、画像判定部６０３、周辺状況取得部６０４、表示制御部６０６、回折パターン生成部６０７を含み、表示制御部６０６は、許容計算コスト判定部６０２、許容計算ノイズ判定部６０５を含む。メモリ１２には、プログラムが保存されている。また、メモリ１２には、データなどが一時的に保存される。ＣＰＵ１１は、メモリ１２に保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。図１の各機能ブロックの機能については、後述する。輝度センサー１３は、フロント部１１２の図２中、左右方向におけるほぼ中央に配置されている。輝度センサー１３は、周辺の輝度を検出し、検出結果を周辺状況取得部６０４に出力する。

バッテリー１０６は、制御部１０５や空間変調素子１０３など、表示装置１の各部へ電源を供給する。実施の形態１のバッテリー１０６は充電式であり、ユーザの表示装置１の非装着時に充電される。バッテリー１０６は、テンプル部１１１の耳側の後端近くに配置されることで、全体の重量バランスを耳側に近づけ、フロント部１１２のずり落ちを軽減できる効果もある。なお、バッテリー１０６は充電式でなくてもよく、表示装置１の使用中に電源供給されてもよい。また、外部から表示装置１に電源供給されてもよいし、発電手段を表示装置１が有してもよい。

図２のメガネ形状の表示装置１は、側頭部のテンプル部１１１と、眼前のフロント部１１２から成る。テンプル部１１１には光源１０１、照明光学系１０２、空間変調素子１０３、制御部１０５、バッテリー１０６が配置される。テンプル部１１１には出射窓１１４が設けられ、空間変調素子１０３からの回折光が反射ミラー１０４へと出射されるようになっている。

フロント部１１２はレンズ部１１３を含み、レンズ部１１３の一部（表面または内部）に、反射ミラー１０４が配置されている。なお、実施の形態１の反射ミラー１０４は表示光を反射しつつ、外景を透過させるが、外景を透過させない構成としてもよい。また、フロント部１１２とテンプル部１１１は、携帯性を向上させるために、折れ曲がるようにしてもよい。この場合、折れ曲がる位置はテンプル部１１１の端でもよいし、空間変調素子１０３より耳側でもよい。レンズ部１１３は、通常のメガネレンズと同様に、近視用の度数が入ったレンズでもよいし、遠視や乱視を補正するレンズでもよい。また、レンズ部１１３は、サングラスのように、透過率を下げる機能を有してもよく、偏光機能を有してもよい。また、レンズ部１１３は、不要光の反射を防止してもよく、汚れを防止する機能を有する膜を含んでもよい。

本実施の形態１においては、使用者の左右の目の両方に仮想画像を表示する。そのため、図２に示されるように、左目部分についても、右目部分と同様の構成要素が配置されている。表示装置１の左目部分の各構成要素には、右目部分の対応する構成要素の符号に添え字「ａ」を添えた対応する符号が付されている。左目部分の各構成要素は、右目部分の対応する各構成要素と同じ機能を有する。なお、左目部分と右目部分とで全ての構成要素を備えなくても良い。例えば、制御部１０５は右目部分にのみ配置し、左目部分には制御部１０５ａを配置せずに、右目部分の制御部１０５によって、右目と左目の両方の表示を同時に制御しても良い。この場合、表示装置の部品数を低減し、コストや重量を削減する効果がある。

以下では、説明の便宜上、右目部分の制御部１０５が、左目部分の光源１０１ａ、空間変調素子１０３ａ等も制御するものとして説明する。また、以下では、回折パターンの表示として空間変調素子１０３のみに言及している場合でも、特に断りのない限り、空間変調素子１０３ａにも回折パターンが表示されるものとする。

図２に符号１２１で示される距離は、ユーザの眼球想定位置（この実施形態では、上述のように瞳孔中心１９３）から反射ミラー１０４までの距離を示し、図２に符号１２２で示される距離は、反射ミラー１０４から空間変調素子１０３までの距離を示す。また本明細書では距離１２１と距離１２２との和を、眼球想定位置から空間変調素子１０３までの距離（あるいは光軸距離）と称す。

図３および図４は、眼球１９０、反射ミラー１０４、空間変調素子１０３、及び回折パターンによる再生像（仮想画像）等の位置関係の説明図である。

図３に示すように、眼球１９０、反射ミラー１０４、空間変調素子１０３が配置されている。反射ミラー１０４の光学倍率が１である場合、空間変調素子１０３の虚像２０２は図３に示した位置にある。眼球１９０の瞳孔中心から虚像２０２までの距離は、眼球１９０の瞳孔中心から反射ミラー１０４までの距離１２１と、反射ミラー１０４から空間変調素子１０３までの距離１２２との和である「空間変調素子１０３までの距離２１０」に等しい。なお、図３の例では、空間変調素子１０３が光軸２２０に対して斜めに配置してあるが、この場合の距離は、空間変調素子１０３の中央の点を基準とした距離である。なお、中央以外の点を基準として用いてもよい。

また、図４に示すように、反射ミラー１０４の光学倍率が１より大きい場合は、空間変調素子１０３の虚像３０２は図４に示した位置にある。眼球１９０の瞳孔中心から空間変調素子１０３の虚像３０２までの距離３１０は、前記「空間変調素子１０３までの距離２１０」よりも遠くなり、虚像３０２は虚像２０２に比べて大きくなる。

空間変調素子１０３に、回折パターン（例えば、図２２（ｂ）に示される回折パターン４０２）を表示することにより、図３、図４の仮想画像２０１、３０１（例えば、図２２（ａ）に示される元画像（仮想画像）４０１）をユーザは視認することができる。ここで、仮想画像までの距離２１１、３１１は、回折パターンの算出で変えることができる。そのためユーザの視力に合わせて眼球１９０から仮想画像までの距離を適切に調節することなどが可能になる。

このように、図１及び図２に示されるＣＧＨ方式による表示装置１を用いて、空間変調素子１０３に回折パターンを表示することで、照明光学系１０２などを大型化させることなく、ユーザの眼球１９０から遠い位置に仮想画像を生成することが可能になる。

しかしながら、前述のように空間変調素子１０３に表示する回折パターンを生成するためには、ユーザに表示するための元となる画像からの計算が必要となる。計算にかかるコストが大きい場合、一枚の回折パターンを生成し、表示するための時間が長くなる。その結果、動画などを表示する際には動画のフレームレートの低減などを招く場合がある。

この問題に対処するために、本実施の形態においては制御部１０５が、表示装置およびユーザの周辺状況に応じて回折パターンの生成を制御する。これによって、回折パターンを生成するための計算コストの低減を行い、ユーザに表示する仮想画像の画質が低下することを抑制する。本実施の形態１においては、回折パターンの生成に必要な計算コストが大きい場合には、回折パターンのサイズを小さくすることで対応を行う。この例を図５、図６を用いて説明する。

図５は、回折パターンのサイズ削減を行わない場合のＣＧＨ方式での表示の例を示す図である。元画像８０１から回折パターン８０２が生成され、この回折パターン８０２を空間変調素子１０３に表示する。これによって、ユーザに対して再生像（仮想画像）８０３を提示することができる。

図６は、回折パターンのサイズ削減を行った場合の表示の例を示す図である。図６の例では、図５と同様に元画像９０１から回折パターン９０２を生成しているが、回折パターン９０２のサイズは回折パターン８０２のサイズに対して小さくされている。

図５、図６の例では、回折パターン９０２は、回折パターン８０２の中央部分を切り取ったものと一致する。この回折パターン９０２を空間変調素子１０３に表示することでユーザに対して再生像（仮想画像）９０３を表示することが可能になる。この時、再生像９０３は、再生像８０３に比較してノイズの多い画像となる。図６では画面全体に対して白浮きがノイズとして発生している例を示している。元画像８０１，９０１が元画像データの一例に相当する。

このように、ＣＧＨ方式では、ある回折パターン８０２に対してその一部（回折パターン９０２）だけを計算して空間変調素子１０３に表示することで、ユーザに対して再生像を提示することが可能になる。その結果、計算量の削減を行うことが可能になる。反面、使用される回折パターンのサイズが小さい場合、再生される像にはノイズが含まれる可能性が生じる。このため、回折パターンの計算に許容できる計算コストと、再生される像に含まれるノイズの許容量とを適切に制御する必要がある。以下、図１、図７を用いて、具体的に回折パターンの生成及び制御を行う例が説明される。

図７は、本実施の形態１において、図１に示される制御部１０５のＣＰＵ１１の各機能ブロックが実行する手順を示すフローチャートである。図１に示されるＣＰＵ１１の各機能ブロックは、図７に示されるステップＳ７０１〜Ｓ７０７の処理を行うことで、回折パターンの生成および表示の制御を行う。

（ステップＳ７０１：機器状況判定）
本ステップＳ７０１では、機器状況取得部６０１が、表示装置の状況に関する情報を取得する。本実施の形態では、機器状況取得部６０１は、バッテリー１０６の残量、およびＣＰＵ１１の利用率を取得する。一般に、回折パターンを生成するための計算コスト（演算量など）が大きい場合ほど、バッテリー１０６の消費量が多く、また、計算時のＣＰＵ１１の利用率が高くなる。そのため、本実施の形態１では、機器状況取得部６０１は、回折パターンの計算に使用できる計算コストを判断するために、これらの情報を取得し、取得した情報を許容計算コスト判定部６０２に通知する。

（ステップＳ７０２：許容計算コスト判定）
本ステップＳ７０２では、表示制御部６０６に含まれる許容計算コスト判定部６０２が、ステップＳ７０１で機器状況取得部６０１が取得した機器状況に関する情報に基づき、回折パターン生成に際して、許容することができる許容計算コストを判定する。本実施の形態では、計算コストは、回折パターンを生成する際に、バッテリー１０６やＣＰＵ１１に与える負荷を示す指標とする。また、許容計算コストは、回折パターンの計算に使用可能なバッテリー１０６やＣＰＵ１１などの計算資源の量を示す指標とする。許容計算コスト判定部６０２は、許容計算コストの数値が大きいほど、回折パターンの生成の際に、計算資源や計算時間を費やしても良いという判断を行う。許容計算コスト判定部６０２は、機器状況に関する情報から許容計算コストを判定するための、許容計算コスト判定表を保持する。

図８は、本実施の形態における許容計算コスト判定表の例を示す図である。図８の例では、ステップＳ７０１で取得されたバッテリー１０６の残量、およびＣＰＵ１１の利用率の値から、許容計算コスト判定部６０２は、バッテリー１０６及びＣＰＵ１１のそれぞれに関して、個別許容コストの値を算出する。本実施の形態では、許容計算コスト判定部６０２は、判定した個別許容コスト、および図８に示されている最大許容コストの数値を、式（４）に示される計算式に適用することで、許容計算コストを判定する。許容計算コスト判定部６０２により判定された許容計算コストは、表示制御部６０６により用いられる。

なお、本実施の形態においては、許容計算コスト判定部６０２は、許容計算コストの判定に、図８に示されるような表形式の許容計算コスト判定表を用いたが、別の方法によって判定を行っても良い。例えば機器状況を示す情報を変数にとり、許容計算コストを出力する関数を定義し、許容計算コスト判定部６０２は、その関数を用いて許容計算コストの判定を行っても良い。この場合、より詳細に、許容計算コストの判定を行うことなどが可能になる。

また、本実施の形態においては、許容計算コスト判定部６０２は、個別許容コストから許容計算コストを判定する際に、式（４）の計算式を用いたが、別の数式を用いて判定を行っても良い。例えば、許容計算コスト判定部６０２は、計算速度により影響のあるＣＰＵ１１の利用率の許容計算コストに対して一定の係数（例えば１より大きい値）をかけるような計算式を用いても良い。この場合、回折パターン生成時の各計算資源への負荷の度合いを考慮して、許容計算コストを見積もることなどが可能になる。

（ステップＳ７０３：輝度分布判定）
本ステップＳ７０３では、画像判定部６０３が、ユーザに対して表示する元画像の輝度分布を判定する。

ＣＧＨ方式による表示を行う場合、計算ノイズや量子化ノイズと呼ばれるノイズが発生することが知られている。回折パターンを生成する基となる元画像に輝度の高い画素が多く含まれるほど、このノイズの発生量が多くなる傾向がある。この例を図９に示す。

図９（ａ）は、高輝度の画素が少ない輝度分布の元画像の場合の再生像（仮想画像）の例を示す図である。図９（ｂ）は、高輝度の画素が多い輝度分布の元画像の場合の再生像（仮想画像）の例を示す図である。

図９（ａ）の表示例１３０１は、輝度の高い画素が少ない元画像１３０３を使用した場合の、回折パターン１３０４および再生像１３０５の例を示している。また図９（ｂ）の表示例１３０２は、輝度の高い画素が多い元画像１３０６を使用した場合の、回折パターン１３０７および再生像１３０８の例を示している。再生像１３０５、１３０８に示されるように、元画像に含まれる輝度の高い画素（図９（ａ）、図９（ｂ）の例では、白ピクセル）の割合が多いほど、再生像に含まれるノイズは多くなり、全体に白浮きしているように見える傾向がある。

本実施の形態では、元画像の輝度分布が、再生像で発生するノイズを推定するための情報として用いられる。そのため、画像判定部６０３は、判定した画像の輝度分布のデータを許容計算ノイズ判定部６０５に対して通知する。

（ステップＳ７０４：周辺状況判定）
本ステップＳ７０４では、周辺状況取得部６０４が、ユーザの周辺状況として周辺の輝度に関する情報を取得する。

本実施の形態では、表示装置１は図２に示されるような眼鏡型であり、ユーザに対する画像の表示は、ＣＧＨによる表示像と、眼鏡越しにみえる外界像が重畳されて表示されるシースルー表示で行われる。このシースルー表示を行う場合、周辺の輝度が高いほど、ユーザは、ＣＧＨにより表示される画像のノイズを視認しづらくなる傾向がある。例えば図９の表示例１３０２では、ユーザに表示される再生像１３０８はノイズが多く、文字の背景部分などが白浮きしている。しかしながら、ユーザの周辺の輝度が高い（例えば日中の屋外などで明るい）場合、背景の白浮きは目立ちづらくなる。

本実施の形態では、周辺の輝度に関する情報は、再生像で発生するノイズをユーザがどこまで許容することができるのかを推定するための情報として用いられる。そのため、周辺状況取得部６０４は、表示装置１に備えられた輝度センサー１３を使用し、ユーザの周辺の輝度を測定し、その結果を許容計算ノイズ判定部６０５に対して通知する。

本実施の形態では、輝度センサー１３は、フロント部１１２の中央部分（眼鏡の眉間の部分）に設けている（図２）。これによって、表示装置１のデザイン性を損なうことなく、また、ユーザの視線方向の輝度を測定することが可能になる。しかし、本発明は、これに限られず、輝度センサー１３は、表示装置１の任意の場所に備えられていても良い。また、複数の輝度センサーを表示装置１に備えるようにしてもよい。この場合、より正確に、ユーザの周辺状況（周辺の輝度）を判定することが可能になる。

なお、本実施の形態においては、周辺状況取得部６０４は、ユーザの周辺状況として周辺輝度の情報を用いたが、他の情報を用いても良い。また、周辺状況取得部６０４は、周辺輝度を取得するのに輝度センサー以外を用いても良い。周辺状況取得部６０４は、例えばＧＰＳや無線ＬＡＮの情報を取得し、その位置情報から、ユーザが現在、屋内または屋外のどちらにいるかを判定し、その判定結果に基づき輝度を推定しても良い。この場合、表示装置１が備える必要のあるセンサーの数を削減することができる。

（ステップＳ７０５：許容計算ノイズ判定）
本ステップＳ７０５では、表示制御部６０６に含まれる許容計算ノイズ判定部６０５が、ステップＳ７０３で取得された画像の輝度分布およびステップＳ７０４で取得されたユーザの周辺状況に関する情報から、ＣＧＨ方式での再生像の表示の際に、許容することができる許容計算ノイズを判定する。本実施の形態では、計算ノイズとは、前述のように、回折パターンを空間変調素子１０３で表示した際に、再生像に含まれるノイズを示す。また、本実施の形態では、許容計算ノイズとは、ユーザが許容することができる計算ノイズの量を示す指標とする。許容計算ノイズ判定部６０５は、画像の輝度分布およびユーザ周辺状況に関する情報から許容計算ノイズを判定するための、許容計算ノイズ判定表を保持する。

図１０は、本実施の形態における許容計算ノイズ判定表の例を示す図である。図１０の例では、許容計算ノイズ判定部６０５は、ステップＳ７０３で取得された画像の輝度分布およびステップＳ７０４で取得された周辺輝度の値から、輝度分布及び周辺輝度のそれぞれに関して個別許容ノイズの値を算出する。

図１０に含まれる高輝度分布率は、画像に含まれる画素の輝度値のうち、一定の閾値（例えば白表示と黒表示の際の輝度の中間値）よりも高い輝度を持つ画素の割合を示す。上記閾値として、輝度を８ビットで表す場合には、例えば輝度「１２７」としてもよい。この場合において、輝度「１２７」が基準輝度の一例に相当する。また、例えば画像が二値画像である場合には、画像全体に対する白画素の割合を示す。この場合において、輝度「０」が基準輝度の一例に相当する。

図１０に含まれる周辺輝度値は、取得された現在の周辺輝度の値の、ある一定値（例えば、日中の最大輝度１０００ｃｄ／ｍ^２）に対する割合を計算することで求められる。例えば、ステップＳ７０４で取得されたユーザの周辺輝度が１００ｃｄ／ｍ^２であった場合、周辺輝度値は１０％として計算される。そして、周辺状況に対する個別許容ノイズは、図１０の表から５０と判定される。図１０において、周辺輝度値５０％が基準値の一例に相当する。

本実施の形態では、許容計算ノイズ判定部６０５は、判定した個別許容ノイズ、および図１０に示されている最大許容ノイズの数値を、式（５）に示される計算式に適用することで許容計算ノイズを判定する。許容計算ノイズ判定部６０５により判定された許容計算ノイズは、表示制御部６０６により用いられる。

なお、本実施の形態においては、許容計算ノイズ判定部６０５は、許容計算ノイズの判定に図１０に示される表形式の許容計算ノイズ判定表を用いたが、別の方法によって判定を行っても良い。許容計算ノイズ判定部６０５は、例えば周辺状況を示す情報を変数にとり、許容計算ノイズを出力する関数を定義し、それを用いて許容計算ノイズの判定を行っても良い。この場合、許容計算ノイズ判定部６０５は、より詳細に許容計算ノイズの判定を行うことなどが可能になる。

（ステップＳ７０６：表示方法の決定）
本ステップＳ７０６では、表示制御部６０６が、ステップＳ７０２で判定された許容計算コスト、およびステップＳ７０５で判定された許容計算ノイズの値を基に、ユーザに対する画像の表示方法を決定する。

本実施の形態では、表示制御部６０６は、許容計算コストが低い場合に、回折パターンの削減を行う。これによって、回折パターンの生成にかかる時間などを抑制し、フレームレートの低下などを防止する。また、表示制御部６０６は、回折パターンの削減に伴う計算ノイズが、ユーザが許容できる計算ノイズの量を超えると判断される場合には、回折パターンの削減を行わずに、フレームレートの低下を行う。

図１１は、本実施の形態において、表示制御部６０６が、回折パターンの削減及びフレームレートの低減を判断する際の手順例を示すフローチャートである。表示制御部６０６は、許容計算コスト判定部６０２により求められた許容計算コストと、許容計算ノイズ判定部６０５により求められた許容計算ノイズとに基づき、ユーザに対する表示方法の判定を開始する（ステップＳ１６０１）。

表示制御部６０６は、最初に、許容計算コストを用いて表示の判定を行う（ステップＳ１６０２）。ここで、許容計算コストの値が一定値（図１１の例では、０．５）以上の場合、表示制御部６０６は、回折パターンを削減する必要がないとの判断を行う（ステップＳ１６０３）。許容計算コストが一定値未満の場合、表示制御部６０６は、回折パターンの削減もしくはフレームレートの低下を行う必要があると判定し、次に、許容計算ノイズを用いた表示方法の判定を行う（ステップＳ１６０４）。

ここで、許容計算ノイズの値が一定値（図１１の例では、０．５）以上の場合、表示制御部６０６は、回折パターンの削減による計算ノイズの発生はユーザに許容されるとの判断を行い、回折パターンの削減の判定を行う（ステップＳ１６０５）。また、許容計算ノイズの値が一定値未満の場合、表示制御部６０６は、回折パターンの削減を行わない。この場合、回折パターンの生成に時間がかかる可能性があるため、表示制御部６０６は、ユーザに表示する映像のフレームレートを低減する判断を行う（ステップＳ１６０６）。表示制御部６０６は、図１１に示される判定フローの実行結果に応じて、回折パターンの生成を行うためステップＳ７０７を実行する。

なお、表示制御部６０６は、図１１に示すフローチャート以外の方法で、表示方法の判定を行っても良い。例えば、ステップＳ１６０２における許容計算コストの閾値と、ステップＳ１６０４における許容計算ノイズの閾値とを、異なる値に設定しても良い。この場合、表示制御部６０６は、許容計算コストを重視して判定を行う処理を行うことなどが可能になる。

（ステップＳ７０７：回折パターンの生成）
本ステップＳ７０７では、回折パターン生成部６０７が、ステップＳ７０６の判定結果に基づいて、ユーザに表示する元画像を表す元画像データからの回折パターンの生成を行う。

ステップＳ７０６における判定の結果、回折パターンの削減を行わない場合、回折パターン生成部６０７は、図５に示すように、元となる画像を表す元画像データから空間変調素子１０３の表示サイズに応じた回折パターンを生成する。

また、回折パターンの削減を行う場合には、回折パターン生成部６０７は、図６の例のように、空間変調素子１０３の表示サイズよりも小さいサイズ（図５の回折パターンの一部分）を、回折パターンのサイズとすることで、回折パターンの生成に必要な計算コストを削減する。

回折パターン生成部６０７は、生成した回折パターンを表示制御部６０６に通知する。表示制御部６０６は、回折パターンを空間変調素子１０３に表示するために、ステップＳ７０８の処理を行う。

なお、回折パターン生成部６０７による回折パターンの生成を行う方法は、特定の方法に限定する必要はなく、任意の計算手法を用いても良い。例えば、回折パターン生成部６０７は、元画像データに対して位相分布データを加算した後に、式（１）〜（３）の計算式を適用することで生成を行ってもよい。この方法では、立体感のある虚像を生成することが可能となる。また、回折パターン生成部６０７は、元画像データに位相分布データを加算したものを逆フーリエ変換することで、回折パターンの生成を行なっても良い。この方法では、より高速な計算を行うことが可能になる。

なお、式（１）〜（３）による計算式（以後、点充填法）や逆フーリエ変換による計算結果に対して、更に計算処理を行うようにしてもよい。この場合、光学系の収差を補正するなどの処理を行うことが可能になる。

式（１）〜（３）で示す計算式に基づいて回折パターンを計算する場合、回折パターンの解像度がＭＸ×ＭＹ、再生像のサイズがＮＸ×ＮＹとすると、回折パターンの計算に必要な計算コストのオーダは、Ｏ（ＭＸ×ＭＹ×ＮＸ×ＮＹ）となる。そのため、回折パターンのサイズを縦横ともに半減させると、回折パターンに必要な計算量を１／４に抑制することが可能になる。

また、式（１）〜（３）で示される計算式に対して近似を行い、元画像データを逆フーリエ変換することによって回折パターンを生成する場合、回折パターンの解像度をＮ×Ｎとすると、回折パターンの計算に必要な計算コストのオーダは、Ｏ（ＮｌｏｇＮ×ＮｌｏｇＮ）となる。この場合、回折パターンのサイズを半減させることにより、計算コストを１／４に抑制することが可能になる。

なお、回折パターンの削減については、回折パターン生成部６０７は、通常の回折パターンの中央部分のみを計算する方法（例えば図６に示される方法）以外の方法を用いても良い。

図１２は、サイズが削減された回折パターンの例を示す図である。図１２の回折パターン１００１は、通常の回折パターンに比較して、左右の半分だけを生成する例である。図１２の回折パターン１００２は、通常の回折パターンの奇数列もしくは偶数列の画素のみを回折パターンとして生成する例である。図１２の回折パターン１００３は、通常の回折パターンの奇数行もしくは偶数行の画素のみを回折パターンとして生成する例である。図１２の回折パターン１００４は、通常の回折パターンに比較して、上下の半分だけを生成する例である。

図１２において、回折パターン１００３，１００４は、左右方向（水平方向）の範囲は削減されていないため、左右方向の画角を維持することができる。このため、回折パターン１００３，１００４の方が、回折パターン１００１，１００２より好ましい。また、回折パターン１００３は、計算領域が離散的になっているが、回折パターン１００４は、計算領域が一つの領域になっている。このため、回折パターン１００４の方が、回折パターン１００３より好ましい。

図６及び図１２に示されるように、通常の回折パターンと比較して、生成する回折パターンの画素数を削減することで、特に点充填法アルゴリズムで回折パターンを生成する際には、計算コストを効果的に低減することが可能になる。

なお、本実施の形態では、表示制御部６０６は、画像判定部６０３から回折パターンを生成するための元画像データを取得するが、別の方法で元画像データを取得しても良い。例えば表示制御部６０６は、画像判定部６０３から元画像データの格納位置を示す情報だけを取得し、ネットワーク上のサーバなどから元画像データを取得しても良い。この場合、表示装置１の内部に元画像データを蓄積する必要がなくなるため、表示装置１のコストを低減できるなどの効果がある。

（ステップＳ７０８：回折パターンの表示）
本ステップＳ７０８では、表示制御部６０６が、ステップＳ７０７で生成された回折パターンを空間変調素子１０３に表示する。本実施の形態では、左右の目にそれぞれ空間変調素子１０３ａ，１０３が用意されているため、それぞれに同一の回折パターンを表示することでユーザの両目に対して表示像を提示することが可能になる。

なお、本実施の形態においては、空間変調素子１０３は、ステップＳ７０７で計算された回折パターンの位相情報を表示することで、再生像の表示を行う。例えば式（１）〜（３）による計算結果や逆フーリエ変換による計算結果は、複素振幅データであるため、各画素の位相情報のみを空間変調素子１０３が表示することで、空間変調素子位相型ホログラムとして機能することができる。

なお、空間変調素子１０３が、一定の位相しか表示できない場合（例えば、位相０と位相πの二値しか表現できない強誘電液晶である場合）には、各画素の位相を量子化（例えば、位相０もしくは位相πのいずれかに値を合わせる）を行うことにより、再生像の表示を行うことができる。

本実施の形態１において、空間変調素子１０３が第１空間変調素子の一例に相当し、空間変調素子１０３ａが第２空間変調素子の一例に相当し、ＣＰＵ１１が演算部の一例に相当し、許容計算コスト判定部６０２がコスト判定部の一例に相当する。

本実施の形態１によれば、上記ステップＳ７０１〜Ｓ７０８の処理を実行することで、表示装置１の状況や、表示装置１の周辺状況に応じてユーザに表示する回折パターンを制御することが可能になる。

図１３（ａ）は、回折パターンの表示の変化例を示す図である。図１３（ｂ）は、図１３（ａ）の変化による再生像の変化の例を示す図である。図１３（ａ）の回折パターン列１１０１は、空間変調素子１０３に表示する回折パターンの変化を示す。回折パターン１１０１ａ、１１０１ｃを表示しているときは、表示装置の計算資源に余裕があるため回折パターンの削減が行われておらず、計算資源に余裕が無い時だけ回折パターン１１０１ｂに示すようにサイズの削減が行われている。

図１３（ｂ）の再生像列１１０２は、回折パターン列１１０１に対応する再生像を例示している。回折パターンの削減が行われていない場合の再生像１１０２ａ、１１０２ｃはノイズが少なく、回折パターンが削減されている場合の再生像１１０２ｂはノイズが発生する表示となっている。図１３に示すような回折パターンの表示を行うことで、ユーザに表示する再生像のフレームレートが低下するのを防止することが可能になる。その結果、ユーザに表示する再生像の画質低下を抑制することができる。

（実施の形態１の変形形態）
上記実施の形態１においては、表示制御部６０６が左右の目の空間変調素子１０３ａ，１０３の両方に同一の回折パターンを表示する例を示したが、表示制御部６０６は、左右の目に別々の回折パターンを表示してもよい。この場合、左右の目に視差画像を表示することで立体表示を行うことなどが可能になる。また、表示制御部６０６は、ユーザの左右の目の視力の差に応じて、回折パターン生成部６０７に、生成する回折パターンを変更させ、再生像の表示位置を調節するようにしてもよい。これによって、よりユーザが再生像を見やすくすることが可能になる。

また、表示制御部６０６が左右の目で異なる回折パターンを表示する形態においては、回折パターンを削減する際に、表示制御部６０６は、左右の目のいずれかの回折パターンのみのサイズを削減するようにしてもよい。

図１４（ａ）、１４（ｂ）は、左右の空間変調素子１０３ａ，１０３で表示される回折パターンのサイズが異なる場合の例を示す図である。図１４（ａ）は右目用を示し、図１４（ｂ）は左目用を示す。図１４（ａ）の回折パターン列１２０１は、ユーザの右目に表示される回折パターン、つまり空間変調素子１０３に表示される回折パターンの変化を示す例であり、回折パターン１２０１ａ〜１２０１ｃが順に表示されている。また、図１４（ｂ）の回折パターン列１２０２は、ユーザの左目に表示される回折パターン、つまり空間変調素子１０３ａに表示される回折パターンの変化を示す例であり、回折パターン１２０２ａ〜１２０２ｃが順に表示されている。

図１４（ａ）、１４（ｂ）に示されているように、表示制御部６０６は、右目と左目では絶えず表示される回折パターンのサイズが異なるように、空間変調素子１０３，１０３ａにおける回折パターンの表示を制御している。このような表示を行うことで、二つの回折パターンを生成する際の計算コストを抑え、かつ左右の目のどちらかにはノイズの少ない再生像を提示することが可能になる。図１４（ａ）、１４（ｂ）に示される形態において、回折パターン１２０１ａが第１回折パターンの一例に相当し、回折パターン１２０２ａが第２回折パターンの一例に相当する。

また、図１４（ａ）、１４（ｂ）のように左右の目に表示する回折パターンのサイズを削減するのではなく、表示制御部６０６は、左右の目のどちらかにのみ回折パターンを表示するようにしてもよい。この例を図１５に示す。

図１５（ａ）、１５（ｂ）は、左右の空間変調素子１０３ａ，１０３で回折パターンが交互に表示される例を示す図である。図１５（ａ）は右目用を示し、図１５（ｂ）は左目用を示す。図１５（ａ）の表示内容１７０１は、ユーザの右目に対して表示される表示内容、つまり空間変調素子１０３の表示内容を示す例であり、回折パターン１７０１ａ、空白１７０１ｂ、回折パターン１７０１ｃが順に表示されている。図１５（ｂ）の表示内容１７０２は、ユーザの左目に対して表示される表示内容、つまり空間変調素子１０３ａの表示内容を示す例であり、空白１７０２ａ、回折パターン１７０２ｂ、空白１７０２ｃが順に表示されている。

図１５（ａ）、１５（ｂ）に示される形態では、表示制御部６０６は、右目用の空間変調素子１０３と左目用の空間変調素子１０３ａとに交互に回折パターンを表示する。これによって、左右の目に表示する回折パターン全体の計算コストを半減することが可能になる。図１５（ａ）、１５（ｂ）に示される形態において、回折パターン１７０１ａ，１７０１ｃが第１回折パターンの一例に相当し、回折パターン１７０２ｂが第２回折パターンの一例に相当する。

上記実施の形態１においては、回折パターンのサイズは、図５の回折パターン８０２に示すような通常サイズと、図６の回折パターン９０２に示すような通常の半分のサイズの二種類を用いた。しかし、前述の許容計算コストなどの値に応じて、回折パターンのサイズをより詳細に変更してもよい。この場合、表示装置１の状況に応じて、より計算ノイズの少ない表示制御が可能になる。

上記実施の形態１では、左右の目のそれぞれに単一の空間変調素子１０３ａ，１０３を用いる例を示したが、単眼に複数の空間変調素子を用いてもよい。この場合、より高解像度で広視野角の仮想画像をユーザに提示することが可能になる。

上記実施の形態１においては、図１１に示すように回折パターンの生成に必要な計算コストを重視した回折パターンの生成を行ったが、計算ノイズを重視した制御を行っても良い。例えば許容計算ノイズの値が低い時には、ある元画像を左右の目で分割して表示することで、発生する計算ノイズの量を低減することが可能になる。その例を図１６に示す。

図１６は、元画像１８０１を、右目用の元画像１８０２と、左目用の元画像１８０３とに分割した例を示す図である。ある元画像１８０１において、輝度の高い画素（図１６の例では白い部分の画素）が多い場合、回折パターン生成部６０７は、元画像１８０１を右目用の元画像１８０２および左目用の元画像１８０３に分割する。回折パターン生成部６０７は、元画像１８０２から第１回折パターンを生成し、この第１回折パターンを表示制御部６０６は右目用の空間変調素子１０３に表示する。回折パターン生成部６０７は、元画像１８０３から第２回折パターンを生成し、この第２回折パターンを表示制御部６０６は左目用の空間変調素子１０３ａに表示する。これによって、ユーザに提示される計算ノイズの量を変更することが可能になる。図１６に示される形態において、元画像１８０１が元画像データの一例に相当し、元画像１８０２が第１元画像データの一例に相当し、元画像１８０３が第２元画像データの一例に相当する。

また、回折パターン生成部６０７が、元画像データから回折パターンを生成する際には、一般に、ランダムな位相分布データを生成し、生成した位相分布データを元画像データに対して足し合わせる（重畳する）ことで位相重畳画像データを生成し、この位相重畳画像データから回折パターンの生成を行う（点充填法、およびフーリエ変換を用いた方法）。この際に、左右の目で空間変調素子１０３ａ，１０３に表示する回折パターンの生成に異なる位相分布データを使用するようにしてもよい。この形態によれば、ユーザが感じるノイズ、例えば光源１０１の出力光としてレーザ光を用いることによるスペックルノイズを低減することが可能になる。なお、位相分布データは、真にランダムでなくても、実質的にランダムであればよい。

上記実施の形態１においては、許容計算コストと許容計算ノイズとの両方を考慮した回折パターンの表示の制御を行う例を示したが、どちらか一方による制御のみを行っても良い。この場合、制御部１０５のＣＰＵ１１の機能ブロック構成を簡略化し、コストを低減することなどが可能になる。また、条件判定の回数を削減することができるため、より高速な回折パターンの計算を行うことが可能になる。

上記実施の形態１においては、機器状況取得部６０１は、機器状況としてバッテリー１０６の残量、ＣＰＵ１１の利用率を取得したが、別の情報を取得しても良い。機器状況取得部６０１は、例えばメモリ１２の利用率を取得してもよい。そして、許容計算コスト判定部６０２は、機器状況取得部６０１により取得されたメモリ１２の利用率に基づき、個別許容コストを求めるようにしてもよい。この形態において、メモリ１２が記憶部の一例に相当する。この形態によれば、許容計算コストをさらに詳細に求めることができる。

上記実施の形態１では、画像判定部６０３は、制御部１０５に含まれるＣＰＵ１１の機能としての構成を示したが、画像判定部６０３は、制御部１０５と別体であっても良い。例えば、制御部１０５は表示装置１の本体に含まれ、画像判定部６０３は表示装置１と無線通信を行う携帯端末に含まれるような構成をとってもよい。この場合、表示装置１をより軽量化し、ユーザによる表示装置１の装着時の快適性を向上させることなどが可能になる。

上記実施の形態１では、画像判定部６０３は、計算ノイズを推定するための情報として、輝度分布のデータを使用したが、他の情報を用いても良い。例えば、画像判定部６０３は、単に黒画素以外の画素数を求め、これを許容計算ノイズ判定部６０５に通知するようにしても良い。黒画素以外の画素数は、例えば８ビットで黒画素を信号レベル「０」で表す場合、信号レベルが「１」〜「２５５」の画素数とすればよい。この形態において、信号レベル「０」が基準輝度の一例に相当する。この形態によれば、画像判定部６０３が扱う情報量を削減することなどが可能になる。

（実施の形態２）
上記実施の形態１では、制御部１０５が表示装置１の内部に格納されている例を示したが、必要に応じて、制御部１０５のＣＰＵ１１の機能のうち一部の機能、例えば回折パターン生成部６０７を外部の端末に配置しても良い。

図１７は、実施の形態２における表示装置１ａの構成を模式的に示す図である。図１８は、図１７に示される本体部２００１の機能ブロック図である。図１９は、実施の形態２における許容計算コスト判定表の例を示す図である。なお、図１、図２に示される実施の形態１と同様の要素には同様の符号が付されている。また、図１７では、左目用の構成の図示を省略している。以下、実施の形態１との相違点を中心に、実施の形態２が説明される。

表示装置１ａは、図１７に示されるように、本体部２００１と、携帯端末２００２とを含む。本体部２００１は、実施の形態１の表示装置１において、制御部１０５に代えて制御部１０５ｂを備える。本体部２００１のその他の構成は、図１、図２に示される実施の形態１の表示装置１と同様である。

本体部２００１の制御部１０５ｂは、図１、図２に示される表示装置１において、ＣＰＵ１１に代えてＣＰＵ１１ａを備え、メモリ１２に代えてメモリ１２ａを備え、さらに通信部１４を新たに備える。ＣＰＵ１１ａは、機能ブロックとして、機器状況取得部６０１ａ、画像判定部６０３、周辺状況取得部６０４、表示制御部６０６ａを含み、表示制御部６０６ａは、許容計算コスト判定部６０２ａ、許容計算ノイズ判定部６０５を含む。メモリ１２ａには、プログラムが保存されている。また、メモリ１２ａには、データなどが一時的に保存される。ＣＰＵ１１ａは、メモリ１２ａに保存されているプログラムを実行することによって、上記各機能ブロックとして動作する。

携帯端末２００２は、ＣＧＨ方式の表示制御を行うための回折パターン生成部６０７と、本体部２００１との通信を行う通信部２００３とを備える。回折パターン生成部６０７は、上記実施の形態１と同様に、回折パターンを生成する。通信部２００３は、回折パターン生成部６０７により生成された回折パターンを本体部２００１に送信する。

本体部２００１の通信部１４は、携帯端末２００２の通信部２００３から送信された回折パターンを受信する。通信部１４は、受信した回折パターンを表示制御部６０６ａに通知する。

ＣＰＵ１１ａの機器状況取得部６０１ａは、実施の形態１の機器状況取得部６０１と同様の機能を有する。機器状況取得部６０１ａは、さらに、通信部１４の通信帯域の情報を取得する。許容計算コスト判定部６０２ａは、この実施の形態２では、図１９に示される許容計算コスト判定表を保持する。

実施の形態２では、通信部１４の通信帯域によって、携帯端末２００２の通信部２００３から通信部１４に送信可能な回折パターンのサイズが増減する。このため、許容計算コスト判定部６０２ａは、図１９に示される許容計算コスト判定表を用いて、通信部１４の通信帯域の値から許容計算コストを判定する。表示制御部６０６ａは、通信速度が低下した場合には、通信部１４を介して回折パターン生成部６０７に、生成する回折パターンのサイズの削減を指示する。

回折パターン生成部６０７は、表示制御部６０６ａからの指示にしたがって、サイズを削減した回折パターンを生成する。携帯端末２００２の通信部２００３は、回折パターン生成部６０７により生成された、サイズが削減された回折パターンを通信部１４に送信する。表示制御部６０６ａは、通信部１４が受信した、サイズが削減された回折パターンを空間変調素子１０３に表示させる。その結果、通信速度が低下した場合でも、フレームレートを低下させることなく、空間変調素子１０３に回折パターンの表示を行うことが可能になる。本実施の形態２において、許容計算コスト判定部６０２ａがコスト判定部の一例に相当する。

本実施の形態２によれば、眼鏡型の本体部２００１に必要な部品数を削減することができ、バッテリー１０６として必要な容量を削減することが可能になる。その結果、より軽量で装着しやすい眼鏡型の本体部２００１を実現することが可能になる。

上記実施の形態２では、上記実施の形態１のＣＰＵ１１において、回折パターン生成部６０７の機能ブロックのみを携帯端末２００２に設けているが、本発明は、これに限られない。回折パターン生成部６０７に加えて、ＣＰＵ１１ａの他の機能ブロックも携帯端末２００２に設けるようにしてもよい。これによって、本体部２００１をより軽量化し、ユーザが本体部２００１を装着した時の快適性を向上させることなどが可能になる。但し、周辺状況取得部６０４は、本体部２００１の周辺の状況を取得する機能を有するため、本体部２００１に含まれることが好ましい。

上記実施の形態２では、本体部２００１と無線通信可能な携帯端末２００２において回折パターンを生成しているが、本発明は、これに限られない。例えば、本体部２００１と無線通信可能なネットワーク上のサーバを利用して回折パターン生成を行っても良い。この形態でも、上記実施の形態２と同様に、本体部２００１に必要な計算資源を削減し、コスト削減や軽量化を行うことが可能になる。

（実施の形態３）
本実施の形態３においては、一枚の元画像から複数の回折パターンを生成することで、再生像のノイズを抑制する場合の例を説明する。なお、本実施の形態３における頭部装着型の表示装置（ＨＭＤ）の構成は、図１、図２に示される実施の形態１と同様であるため、表示装置の構成についての詳細な説明は省略し、必要な場合は図１を参照する。

上記実施の形態１のようなＣＧＨによる表示では、回折パターン生成部６０７が元画像から回折パターンを生成し、生成された回折パターンを表示制御部６０６が空間変調素子１０３に表示し、光源１０１からの光で回折パターンを照明することにより、再生像を形成する。実施の形態１では、光源１０１にレーザ光源を使用しているため、再生像にスペックルと呼ばれるノイズが発生する。これを防止するために、本実施の形態３においては、一枚の元画像から２つ以上の回折パターンを生成する。この例を図２０に示す。

図２０は、元画像から複数の回折パターンを生成する本発明の実施の形態３を説明する図である。図２０では、ユーザに対して表示する画像として、元画像２１０１、２１０２が順番に表示される例を示している。ＣＧＨ方式では、ユーザに画像を表示するために、元画像から回折パターンを生成する。本実施の形態３においては、回折パターン生成部６０７は、一枚の元画像から複数の回折パターンを生成する。本明細書では、以後、一枚の元画像から生成される回折パターンをサブフレームとも称し、当該回折パターンの集合を、サブフレーム系列と称する。

図２０の例では、元画像２１０１から、複数の回折パターン（サブフレーム）からなるサブフレーム系列２１０３が生成されており、元画像２１０２から、複数の回折パターン（サブフレーム）からなるサブフレーム系列２１０４が生成されている。表示制御部６０６が、空間変調素子１０３にサブフレーム系列２１０３，２１０４を表示させることで、ユーザに対して元画像２１０１、２１０２の表示を行うことが可能になる。

この際、サブフレーム系列２１０３，２１０４内の回折パターンとして、回折パターン生成部６０７は、異なるスペックルパターンが発生されるように、各回折パターンを生成する。これによって、スペックルノイズを平準化し、ユーザの目が知覚するスペックルノイズを抑制することが可能になる。

異なるスペックルパターンが発生されるように、回折パターン生成部６０７が各回折パターン（サブフレーム）を生成する方法は、特定の方法に限定する必要はなく、任意の方法を用いることができる。例えば、回折パターン生成部６０７は、回折パターンを生成する際に、各サブフレームで、元画像の各画素に対して異なる位相分布データを与えるようにしてもよい。この形態では、各サブフレームは異なるスペックルパターンを発生するため、高速にサブフレームの表示を切り替えた場合に、スペックルノイズの抑制を行うことが可能になる。この形態では、回折パターン生成部６０７は、サブフレームごとに、回折パターン生成の計算を行う。

また、空間変調素子１０３の大きさに比べて、より大きなサイズの基本回折パターンを生成し、各サブフレームは、基本回折パターンの異なる領域から切り取って構成するようにしてもよい。この例を図２１に示す。

図２１（ａ）は、元画像から生成した基本回折パターン２２０１のサイズを示す図である。図２１（ｂ）は、空間変調素子１０３に表示される回折パターン（サブフレーム）２２０２のサイズを示す図である。図２１（ａ）に示されるように、基本回折パターン２２０１の画素数はＮ×Ｎである。図２１（ｂ）に示されるように、サブフレーム２２０２の画素数はＸ×Ｙである。ここで、Ｘ＜Ｎであり、かつ、Ｙ＜Ｎである。

一般にフーリエ変換を、高速なアルゴリズム（高速フーリエ変換：ＦＦＴ）で行う場合には、Ｎの値は２のべき乗に制限される。しかしながら、空間変調素子１０３の解像度は、２のべき乗ではない場合が多い。例えば、ＳＶＧＡは、（８００×６００）である。そこで、回折パターン生成部６０７は、元画像を２のべき乗の大きさに調節し、各画素にランダムな位相分布データを与えてから、逆フーリエ変換を行なって基本回折パターンを生成する。これによって、回折パターン生成部６０７は、ＦＦＴにより回折パターンの生成を高速に行うことが可能になる。

また、Ｘ＜Ｎ、かつＹ＜Ｎに設定して、基本回折パターン２２０１の大きさを、空間変調素子１０３の大きさよりも大きくしている。このため、空間変調素子１０３に表示するサブフレーム２２０２は、基本回折パターン２２０１の一部（例えば、図２１（ａ）の点線領域２２０３）を切り取ることによって生成することができる。そのため、回折パターン生成部６０７は、ある元画像に対応するサブフレーム系列の各サブフレームを、基本回折パターン２２０１の異なる領域を切り取ることによって生成する。これによって、各サブフレームを異なる回折パターンとすることができ、各サブフレームで異なるスペックルパターンを発生させることが可能になる。

この形態では、元画像に対する逆フーリエ変換を一度行うだけで、複数のサブフレームを生成することが可能になる。したがって、サブフレーム系列の生成に必要な計算量を抑制することが可能になる。

なお、上記実施の形態３において、表示制御部６０６は、表示装置が許容できる計算コストに応じて、生成するサブフレームの数を変更するようにしてもよい。

また、上記実施の形態３において、図２１（ａ）、図２１（ｂ）を用いて説明されたように、基本回折パターンからサブフレーム系列を切り取る方法を用いる場合には、回折パターン生成部６０７は、切り取ったサブフレームに対して更に、計算処理を加えるようにしてもよい。例えば、回折パターン生成部６０７は、虚像（仮想画像）の表示位置を補正するための球面波パターンを加算してもよい。また、例えば、回折パターン生成部６０７は、光学系収差を補正するための位相分布データを付加しても良い。この形態によれば、サブフレーム生成のための計算量を抑制しながら、表示する仮想画像の画質を向上させることが可能になる。

なお、上記各実施の形態で示した表示装置１等の各部機能の一部が、表示装置１等の本体とは別の装置で実現されていてもよい。また、表示装置１等に上記各実施の形態で示さなかった機能が搭載されていてもよい。上記実施の形態２で説明されたように、表示装置１等の本体と、表示装置１等の本体とは別の携帯端末とで、機能を分担してもよい。また、表示装置１等とネットワークサーバとで機能を分担してもよい。

また、上記実施の形態１では、回折パターンの計算を、表示装置１の制御部１０５で行い、上記実施の形態２では、外部の装置である携帯端末２００２で求めた回折パターンを表示装置１ａの本体部２００１が取得している。しかし、これに限られず、外部の装置で回折パターンの計算の一部を行い、表示装置１等で計算の残りを行ってもよい。

また、上記各実施の形態において、光源１０１が外部の装置に設けられ、光ファイバで光源１０１から出力された光を伝送してもよい。また、バッテリー１０６が外部の装置に設けられ、電源コードが表示装置１等に接続されていてもよい。また、表示装置１等は、他の機能として、カメラ、角速度や温度やＧＰＳなど各種センサ、スイッチなどの入力デバイス、スピーカー等の出力デバイスを含んでもよい。

なお、本明細書において、回折パターンの大きさとは、回折パターンを空間変調素子１０３に表示する際の解像度、回折パターンのファイルサイズ、回折パターン全体における干渉縞を表示する領域の割合のいずれでもよいし、それらの組み合わせでもよい。

なお、これまでに説明した実施の形態は一例であって、本発明の趣旨を逸脱しない範囲でさまざまな形態を採りうる。

上述した具体的実施形態には以下の構成を有する発明が主に含まれている。

本発明の一局面に係る表示装置は、レーザ光を出力する光源と、前記レーザ光の照明光を出射する照明光学系と、元画像データから回折パターンを生成する回折パターン生成部と、前記回折パターンを表示することで前記照明光を回折する空間変調素子と、前記空間変調素子が表示する回折パターンの表示タイミングの変更及び前記回折パターン生成部が生成する回折パターンの大きさの変更の少なくとも一方の変更を行わせる表示制御部と、を備える。

本構成によれば、光源は、レーザ光を出力する。照明光学系は、レーザ光の照明光を出射する。回折パターン生成部は、元画像データから回折パターンを生成する。空間変調素子は、回折パターンを表示することで照明光を回折する。表示制御部は、空間変調素子が表示する回折パターンの表示タイミングの変更及び回折パターン生成部が生成する回折パターンの大きさの変更の少なくとも一方の変更を行わせる。例えば右目用と左目用とで回折パターンの表示タイミングを変更して交互に表示すると、回折パターンの生成回数を低減することができるため、回折パターンの計算時間を低減することができる。また、例えば回折パターンの大きさを小さくすると、回折パターンの計算時間を低減することができる。その結果、回折パターンを好適に生成することができるため、使用者が視認する画像の画質低下を抑制することが可能になる。

また、上記の表示装置において、前記空間変調素子は、使用者の右目に対して第１回折パターンを表示する第１空間変調素子と、前記使用者の左目に対して第２回折パターンを表示する第２空間変調素子と、を含み、前記回折パターン生成部は、前記第１回折パターンと、前記第２回折パターンとが異なるように、前記第１回折パターンおよび前記第２回折パターンの生成を行うことが好ましい。

本構成によれば、第１空間変調素子は、使用者の右目に対して第１回折パターンを表示する。第２空間変調素子は、使用者の左目に対して第２回折パターンを表示する。回折パターン生成部は、第１回折パターンと第２回折パターンとが異なるように、第１回折パターンおよび第２回折パターンの生成を行う。したがって、使用者は、右目と左目とで、同じ元画像データから生成された異なる回折パターンによる画像を視認する。このため、例えば視差画像が表示されるように第１回折パターンおよび第２回折パターンの生成を行うことにより、臨場感の高い表示を行うことが可能になる。

また、上記の表示装置において、前記回折パターン生成部は、ランダムな位相分布データを生成し、生成した前記位相分布データを前記元画像データに対して重畳した位相重畳画像データから前記回折パターンを生成し、前記第１回折パターンの生成と前記第２回折パターンの生成とにおいて、用いる位相分布データを変更することが好ましい。

本構成によれば、回折パターン生成部は、ランダムな位相分布データを生成する。回折パターン生成部は、生成した位相分布データを元画像データに対して重畳した位相重畳画像データから回折パターンを生成する。回折パターン生成部は、第１回折パターンの生成と第２回折パターンの生成とにおいて、用いる位相分布データを変更する。したがって、右目用と左目用とで位相分布データが異なることから、レーザ光を使用することで発生するスペックルノイズの影響を低減することが可能になる。

また、上記の表示装置において、前記回折パターン生成部は、互いに大きさが異なる前記第１回折パターン及び前記第２回折パターンを生成することが好ましい。

本構成によれば、回折パターン生成部は、互いに大きさが異なる第１回折パターン及び第２回折パターンを生成する。したがって、第１回折パターンと第２回折パターンとのうち、大きさが小さい方の回折パターンの計算量を低減することが可能になる。また、第１回折パターンと第２回折パターンとのうち、大きさが大きい方の回折パターンによって、小さい方の回折パターンによる画質の低下を抑制することが可能になる。

また、上記の表示装置において、前記回折パターン生成部は、前記元画像データを右目用の第１元画像データおよび左目用の第２元画像データに分割し、前記第１元画像データから前記第１回折パターンを生成し、かつ、前記第２元画像データから前記第２回折パターンを生成することが好ましい。

本構成によれば、回折パターン生成部は、元画像データを右目用の第１元画像データおよび左目用の第２元画像データに分割する。回折パターン生成部は、第１元画像データから第１回折パターンを生成する。回折パターン生成部は、第２元画像データから第２回折パターンを生成する。したがって、回折パターンの計算に必要な計算量をより低減することが可能になる。

また、上記の表示装置において、前記表示制御部は、前記第１空間変調素子による前記第１回折パターンの表示と、前記第２空間変調素子による前記第２回折パターンの表示とを交互に行わせることが好ましい。

本構成によれば、表示制御部は、第１空間変調素子による第１回折パターンの表示と、第２空間変調素子による第２回折パターンの表示とを交互に行わせる。したがって、右目用の第１回折パターンと左目用の第２回折パターンとを同時に計算する必要がなくなるため、回折パターンの計算量を低減することが可能になる。

また、上記の表示装置において、電源を供給するためのバッテリーの残量に関する情報、前記回折パターン生成部による回折パターンの生成を含む演算を行うための演算部の利用率に関する情報、データを記憶するための記憶部の利用率に関する情報、及び外部装置と通信を行うための通信部の通信帯域に関する情報のうち少なくとも一つの情報を取得する機器状況取得部をさらに備え、前記表示制御部は、前記機器状況取得部により取得された情報に応じて、前記回折パターン生成部が生成する回折パターンの大きさを変更することが好ましい。

本構成によれば、機器状況取得部は、電源を供給するためのバッテリーの残量に関する情報、回折パターン生成部による回折パターンの生成を含む演算を行うための演算部の利用率に関する情報、データを記憶するための記憶部の利用率に関する情報、及び外部装置と通信を行うための通信部の通信帯域に関する情報のうち少なくとも一つの情報を取得する。表示制御部は、機器状況取得部により取得された情報に応じて、回折パターン生成部が生成する回折パターンの大きさを変更する。したがって、表示装置の状況を考慮して、回折パターンの生成に必要な計算コストを調節することが可能になる。

また、上記の表示装置において、前記表示制御部は、前記機器状況取得部により取得された情報に基づき、前記回折パターン生成部による回折パターンの生成に利用可能な計算資源を示す許容計算コストを判定するコスト判定部を含み、前記表示制御部は、前記許容計算コストの値が小さいほど前記回折パターンの大きさを小さくすることが好ましい。

本構成によれば、表示制御部に含まれるコスト判定部は、取得部により取得された情報に基づき、回折パターン生成部による回折パターンの生成に利用可能な計算資源を示す許容計算コストを判定する。表示制御部は、許容計算コストの値が小さいほど回折パターンの大きさを小さくする。したがって、表示装置の計算資源に余剰が少ない時ほど回折パターンの大きさを小さくして、表示装置にかかる負荷を抑制することが可能になる。

また、上記の表示装置において、前記元画像データにおける各画素の輝度を表す輝度分布の情報及び前記元画像データにおける各画素のうち輝度が所定の基準輝度を超える画素の数の情報の少なくとも一方の情報を前記元画像データに基づき判定する画像判定部をさらに備え、前記表示制御部は、前記画像判定部により判定された情報に応じて、前記回折パターン生成部が生成する回折パターンの大きさを変更することが好ましい。

本構成によれば、画像判定部は、元画像データにおける各画素の輝度を表す輝度分布の情報及び元画像データにおける各画素のうち輝度が所定の基準輝度を超える画素の数の情報の少なくとも一方の情報を元画像データに基づき判定する。表示制御部は、画像判定部により判定された情報に応じて、回折パターン生成部が生成する回折パターンの大きさを変更する。元画像データにおいて高輝度の画素が多いほどノイズが多く発生する。したがって、元画像データによって発生するノイズを考慮して、回折パターンの大きさを変更することが可能になる。

また、上記の表示装置において、前記表示制御部は、前記元画像データにおいて輝度が前記基準輝度を超える画素が多いほど、前記回折パターン生成部が生成する回折パターンの大きさを大きくすることが好ましい。

本構成によれば、表示制御部は、元画像データにおいて輝度が基準輝度を超える画素が多いほど、回折パターン生成部が生成する回折パターンの大きさを大きくする。したがって、ノイズの発生を抑制することが可能になる。

また、上記の表示装置において、前記表示装置の周辺の輝度を表す情報を取得する周辺状況取得部を備え、前記表示制御部は、前記輝度を表す情報が、前記表示装置の周辺の輝度が所定の基準値以上であることを示す場合には、前記回折パターン生成部が生成する回折パターンの大きさを小さくすることが好ましい。

本構成によれば、周辺状況取得部は、表示装置の周辺の輝度を表す情報を取得する。表示制御部は、輝度を表す情報が、表示装置の周辺の輝度が所定の基準値以上であることを示す場合には、回折パターン生成部が生成する回折パターンの大きさを小さくする。表示装置の周辺の輝度が高い場合には、ノイズが発生しても目立たない。したがって、ノイズの発生が目立つことなく、回折パターンの生成に必要な計算コストを抑制することが可能になる。

また、上記の表示装置において、前記回折パターン生成部は、前記元画像データから互いに異なる位相分布を有する複数の回折パターンを生成し、前記表示制御部は、前記空間変調素子に表示させる前記回折パターンとして、前記複数の回折パターンを順に前記空間変調素子に表示させることが好ましい。

本構成によれば、回折パターン生成部は、元画像データから互いに異なる位相分布を有する複数の回折パターンを生成する。表示制御部は、空間変調素子に表示させる回折パターンとして、複数の回折パターンを順に空間変調素子に表示させる。したがって、順に表示される複数の回折パターンの位相分布が互いに異なるため、レーザ光を使用することで発生するスペックルパターンが異なる。その結果、スペックルノイズの影響を低減することが可能になる。

また、上記の表示装置において、前記回折パターン生成部は、前記元画像データから前記空間変調素子の画素数よりも多い画素数を有する基本回折パターンを生成し、前記空間変調素子の画素数に対応する大きさの領域であって、かつ、少なくとも一部が互いに異なる領域をそれぞれ前記基本回折パターンから切り取ることにより、前記複数の回折パターンを生成することが好ましい。

本構成によれば、回折パターン生成部は、元画像データから空間変調素子の画素数よりも多い画素数を有する基本回折パターンを生成する。回折パターン生成部は、空間変調素子の画素数に対応する大きさの領域であって、かつ、少なくとも一部が互いに異なる領域をそれぞれ基本回折パターンから切り取ることにより、複数の回折パターンを生成する。したがって、回折パターンの計算としては、基本回折パターンの計算を行うだけで、複数の回折パターンを生成することができる。このため、スペックルノイズの影響を低減した回折パターンを高速に生成することができる。

本発明にかかる表示装置は、回折パターンを表示することでレーザ照明光を回折する空間変調素子を眼球近くに有し、空間変調素子からの回折光が眼球想定位置へ至る、ＨＭＤ等の表示装置として有用である。また、表示システム、表示方法、表示装置設計方法、等の用途にも応用できる。

Claims (12)

1. レーザ光を出力する光源と、
   前記レーザ光の照明光を出射する照明光学系と、
   元画像データから回折パターンを生成する回折パターン生成部と、
   前記回折パターンを表示することで前記照明光を回折する空間変調素子と、
   前記空間変調素子が表示する回折パターンの表示タイミングの変更及び前記回折パターン生成部が生成する回折パターンの大きさの変更の少なくとも一方の変更を行わせる表示制御部と、
   前記元画像データにおける各画素の輝度を表す輝度分布の情報及び前記元画像データにおける各画素のうち輝度が所定の基準輝度を超える画素の数の情報の少なくとも一方の情報を前記元画像データに基づき判定する画像判定部と、
   を備え、
   前記表示制御部は、前記画像判定部により判定された情報に応じて、前記回折パターン生成部が生成する回折パターンの大きさを変更することを特徴とする表示装置。
2. 前記空間変調素子は、
   使用者の右目に対して第１回折パターンを表示する第１空間変調素子と、
   前記使用者の左目に対して第２回折パターンを表示する第２空間変調素子と、
   を含み、
   前記回折パターン生成部は、前記第１回折パターンと、前記第２回折パターンとが異なるように、前記第１回折パターンおよび前記第２回折パターンの生成を行うことを特徴とする請求項１に記載の表示装置。
3. 前記回折パターン生成部は、ランダムな位相分布データを生成し、生成した前記位相分布データを前記元画像データに対して重畳した位相重畳画像データから前記回折パターンを生成し、前記第１回折パターンの生成と前記第２回折パターンの生成とにおいて、用いる位相分布データを変更することを特徴とする請求項２に記載の表示装置。
4. 前記回折パターン生成部は、互いに大きさが異なる前記第１回折パターン及び前記第２回折パターンを生成することを特徴とする請求項２または３に記載の表示装置。
5. 前記回折パターン生成部は、
   前記元画像データを右目用の第１元画像データおよび左目用の第２元画像データに分割し、
   前記第１元画像データから前記第１回折パターンを生成し、かつ、
   前記第２元画像データから前記第２回折パターンを生成することを特徴とする請求項２または３に記載の表示装置。
6. 前記表示制御部は、前記第１空間変調素子による前記第１回折パターンの表示と、前記第２空間変調素子による前記第２回折パターンの表示とを交互に行わせることを特徴とする請求項２に記載の表示装置。
7. 電源を供給するためのバッテリーの残量に関する情報、前記回折パターン生成部による回折パターンの生成を含む演算を行うための演算部の利用率に関する情報、データを記憶するための記憶部の利用率に関する情報、及び外部装置と通信を行うための通信部の通信帯域に関する情報のうち少なくとも一つの情報を取得する機器状況取得部をさらに備え、
   前記表示制御部は、前記機器状況取得部により取得された情報に応じて、前記回折パターン生成部が生成する回折パターンの大きさを変更することを特徴とする請求項１ないし６のいずれか１項に記載の表示装置。
8. 前記表示制御部は、前記機器状況取得部により取得された情報に基づき、前記回折パターン生成部による回折パターンの生成に利用可能な計算資源を示す許容計算コストを判定するコスト判定部を含み、
   前記表示制御部は、前記許容計算コストの値が小さいほど前記回折パターンの大きさを小さくすることを特徴とする請求項７に記載の表示装置。
9. 前記表示制御部は、前記元画像データにおいて輝度が前記基準輝度を超える画素が多いほど、前記回折パターン生成部が生成する回折パターンの大きさを大きくすることを特徴とする請求項１に記載の表示装置。
10. 前記表示装置の周辺の輝度を表す情報を取得する周辺状況取得部を備え、
    前記表示制御部は、前記輝度を表す情報が、前記表示装置の周辺の輝度が所定の基準値以上であることを示す場合には、前記回折パターン生成部が生成する回折パターンの大きさを小さくすることを特徴とする請求項１ないし９のいずれか１項に記載の表示装置。
11. 前記回折パターン生成部は、前記元画像データから互いに異なる位相分布を有する複数の回折パターンを生成し、
    前記表示制御部は、前記空間変調素子に表示させる前記回折パターンとして、前記複数の回折パターンを順に前記空間変調素子に表示させることを特徴とする請求項１に記載の表示装置。
12. 前記回折パターン生成部は、
    前記元画像データから前記空間変調素子の画素数よりも多い画素数を有する基本回折パターンを生成し、
    前記空間変調素子の画素数に対応する大きさの領域であって、かつ、少なくとも一部が互いに異なる領域をそれぞれ前記基本回折パターンから切り取ることにより、前記複数の回折パターンを生成することを特徴とする請求項１１に記載の表示装置。

Images