JP3798511B2 - Computer generated hologram display - Google Patents

Description

なる演算を行う。この変換を透視変換と呼ぶ。このスクリーン座標系(x,y,z) も、視点を原点とし、ホログラム面に垂直であってホログラム面に向かう方向を z軸とするものである。
【００２３】
この視点座標系からスクリーン座標系への透視変換は、 xe,ye座標値についてはze座標値により除算することにより視野角（視線の方位）へ変換することに相当し、また、ze座標値についてはその逆数をとることにより直線から直線へ変換することに相当する。すなわち、この透視変換は、視点から見た同一の視線上にある多角形平面体内部の点をスクリーン座標系における同一の x,y座標値に変換する。また、透視変換は、 x,y座標値が同一であれば、視点に近い点ほど大きい z座標値に変換する。
【００２４】
したがって、スクリーン座標系で表した多角形平面体内部の各点それぞれについて、同一の x,y座標値で表される複数の頂点が存在した場合に、そのうちで最も z座標値が大きい点（すなわち、最も視点に近い点）を選択することにより、視点から見える点のみが選択され、陰面消去処理がなされることになる。
【００２５】
このように同一の x,y座標値である各点の中から最小の z座標値である点を選択するに際して、具体的には、例えば以下のようにして行う。すなわち、記憶素子を用意し、多角形平面体の内部の各点について、その x,y座標値に対応するアドレスにその z座標値を記憶する。もし、そのアドレス（ x,y座標値）にデータ（ z座標値）が既に記憶されている場合には、その記憶されているデータ（ z座標値）と新たな z座標値とのうち大きな値を記憶素子に記憶する。このとき、その点に対応する輝度データをも記憶する。このようにすることにより、視点から見た物体は、スクリーン座標系において陰面消去処理され、 x,y座標値で表された視野角、 z座標値で表された距離、および、輝度データで表される。
【００２６】
続いて、以上のようにして得られたスクリーン座標系(x,y,z) 上のデータを、再び実空間上の視点座標系(xe,ye,ze)に変換する。この変換に際しては、スクリーン座標系上の各 x,y座標値それぞれ、および、これに対応する z座標値について、
【数２】

なる演算を行う。これを逆透視変換という。この逆透視変換で得られた視点座標系上のデータは、陰面消去処理が既に施されたものであるので、直ちに波面伝搬の計算を行うことができる。したがって、この逆透視変換で得られた視点座標系上のデータに基づいて、物体からホログラム面までの波面を計算することにより、陰面消去処理の施されたホログラムを得ることができる。この波面の計算に際しては、ＦＦＴ（Fast Fourier Transform）を用いたフレネル変換法や球面波法が用いられる。
【００２７】
以上説明したｚバッファ法に基づく陰面消去処理は、従来技術に比べれば、計算量が極めて少ないものである。しかし、上記 (1)式に依る透視変換は、表示すべき物体の表面を構成する複数の多角形平面それぞれの各頂点についてのみ行うものであるのに対し、上記 (2)式に依る逆透視変換は、陰面消去処理により得られた多角形平面体の表面の全ての点について行うものである。したがって、物体がスクリーン座標系において広い範囲を占めるものである場合には、上記 (2)式に依る逆透視変換は、計算を間引くにしても、その計算量が多い。
【００２８】
次に、ｚバッファ法に基づくものであって逆透視変換が不要である陰面消去処理について説明する。この陰面消去処理では、逆透視変換が不要であるので、更に計算量が少なくて済む。この陰面消去処理では、スクリーン座標系(x,y,z) とホログラム座標系(xh,yh,zh)とが x,y成分（ xh,yh成分）に関して実質的に一致するよう光学系を工夫し、これにより逆透視変換を不要とする。図１は、逆透視変換を不要とする光学系の説明図である。
【００２９】
この図に示すように、視点１は、焦点距離ｆのレンズ２の光軸上の焦点位置にある。その視点１の位置が、視点座標系(xe,ye,ze)およびスクリーン座標系(x,y,z) それぞれの原点である。また、視点１からレンズ２の中心位置へ向かう方向が、視点座標系(xe,ye,ze)およびスクリーン座標系(x,y,z) それぞれのze方向および z方向それぞれである。空間光変調素子３は、視点１とは反対側のレンズ２の光軸上であって、レンズ２の中心位置から距離ｐの位置に、光軸に垂直に配されている。そして、空間光変調素子３にホログラムを形成し、この空間光変調素子３の左方から可干渉平行光を照射して、空間光変調素子３の右方に物体の実像（real image）を再生し、視点１からレンズ２を介して虚像（virtual image ）を観るものとする。
【００３０】
このとき、物体の虚像の各点のxo,yo,zo座標値それぞれを視点座標系(xe,ye,ze)で表すと、物体の実像の対応する点の x,y,z座標値それぞれは、
【数３】

なる変換式により得られる。また、近軸領域では、ガウスの結像公式より、
【数４】

なる変換式により近似して変換してもよい。
【００３１】
この (3)式（または (4)式）と上記 (1)式とを比較すると、(3)式（または (4)式）で得られる x,y座標値は、(1)式で得られる x,y座標値に対して、レンズ２の焦点距離ｆを乗じただけの相違しかない。すなわち、 x,y座標成分のみ見れば、スクリーン座標系とホログラム座標系とは、実質的に互いに一致している。そこで、 (3)式（または (4)式）で得られた x,y座標値を、この物体の実像の各点をホログラム座標系(xh,yh,zh)で表したときの xh,yh座標値とする。ここで、ホログラム座標系(xh,yh,zh)は、空間光変調素子３とレンズ２の光軸との交点を原点とし、レンズ２の光軸に平行であってレンズ２に向かう方向をzh軸とするものである。
【００３２】
また、 x,y座標値については、 (1)式による変換で得られるスクリーン座標系の空間は仮想上のものであるので、波面の伝搬は直接には計算することができない。これに対して、 (3)式による変換で得られるホログラム座標系は実空間上のものであるので、その変換後に視点座標系に戻すことなく、ホログラム面（空間光変調素子３が配置されている面）上における波面は、ＦＦＴによるフレネル変換法または球面波法により直接に計算することができる。
【００３３】
したがって、物体の実像の各点を視点座標系(xe,ye,ze)で表した座標値を、ホログラム座標系(xh,yh,zh)で表した座標値に変換するには、 xh,yh座標値については、上記 (3)式により得られる x,y座標値から直ちに求め、一方、zh座標値については、
【数５】

なる変換式で求める。そして、ホログラム座標系(xh,yh,zh)で表された物体の実像の各点から空間光変調素子３へ伝搬する波面を計算することにより、ホログラムを作成することができる。
【００３４】
（第１の実施形態）
次に、第１の実施形態について説明する。図２は、第１の実施形態に係る計算機ホログラム表示装置の構成図である。本実施形態は、ｚバッファ法を採用し、上述の透視変換および逆透視変換を行ってホログラムを計算し表示するものである。
【００３５】
この計算機ホログラム表示装置における表示部１０の構成ならびに各座標系について先ず説明する。表示部１０は、可干渉光であるレーザ光を出力する光源１１と、そのレーザ光の光束径を拡げて平行光束とするコリメータ１２と、その平行光束とされたレーザ光を参照波として入力し物体の実像または虚像を再生する空間光変調素子１３とを備えて構成されており、これらは互いに一体に固定されていて、制御部１４により光軸方向が制御される。
【００３６】
視点１は、空間光変調素子１３について光源１１およびコリメータ１２の反対側であって距離ｐの位置にある。視点位置検出器１５は、視点１の位置を検出して、その情報を制御部１４に与える。制御部１４は、視点位置検出器１５により検出された視点１の位置の情報に基づいて、表示部１０の光軸上に視点１が存在するように表示部１０の光軸方向を制御する。これにより視域を拡大している。なお、この図では、制御部１４は虚像が再生される位置（物体座標系の原点）を中心に表示部１０を回転する場合について示している。
【００３７】
視点座標系(xe,ye,ze)は、視点１を原点とし、空間光変調素子１３に向かう方向をze軸とする。スクリーン座標系(x,y,z) も同様に、視点１を原点とし、空間光変調素子１３に向かう方向を z軸とする。物体座標系(xo,yo,zo)は、再生されるべき物体の像（実像および虚像の何れか）に設定された座標系である。ホログラム座標系(xh,yh,zh)は、ホログラムが形成される空間光変調素子１３に設定された座標である。本実施形態では、ワールド座標系と視点座標系とを同一のものとしている。なお、これらの座標系のうち、スクリーン座標系は仮想空間上のものであり、その他の座標系は実空間上のものである。
【００３８】
なお、表示部１０の光軸上に常に視点１が存在するよう制御部１４および視点位置検出器１５により制御されるので、視点座標系(xe,ye,ze)のxe,ye,ze軸それぞれ、スクリーン座標系(x,y,z) の x,y,z軸それぞれ、物体座標系(xo,yo,zo)のxo,yo,zo軸それぞれ、および、ホログラム座標系(xh,yh,zh)のxh,yh,zh軸それぞれは、常に互いに平行である。
【００３９】
また、実像を再生する場合には、物体座標系(xo,yo,zo)の原点は、ホログラム座標系(xh,yh,zh)の原点から視点１の方向に距離ｌの位置（視点１から距離ｍの位置）にあるものとし、虚像を再生する場合には、物体座標系(xo,yo,zo)の原点は、ホログラム座標系(xh,yh,zh)の原点から光源１１の方向に距離ｌの位置（視点１から距離ｍ＋２ｌの位置）にあるものとする。
【００４０】
指示部１６は、再生される物体の実像または虚像の平行移動、回転または拡大／縮小を指示するものであり、例えば、キーボード、マウスまたはジョイスティック等が好適に用いられる。また、データ記憶部２１は、再生すべき物体を表す多角形平面体の各頂点それぞれについて物体座標系(xo,yo,zo)で表した座標値および輝度値（色情報をも含む。以下同じ。）を記憶している。
【００４１】
アフィン変換部２２は、データ記憶部２１に記憶されている多角形平面体の各頂点を物体座標系(xo,yo,zo)で表した座標値および輝度値、指示部１６を介して指示された再生像の平行移動、回転または拡大／縮小に関する情報、ならびに、視点位置検出器１５により検出された視点１の変位量を入力して、
【数６】

なる演算を行って、多角形平面体の各頂点を視点座標系(xe,ye,ze)で表した座標値を出力する。
【００４２】
ここで、行列Ｔｄは、再生像を平行移動させるためのものであり、行列Ｔｒｘは、再生像をxo軸の回りに回転させるためのものであり、行列Ｔｒｙは、再生像をyo軸の回りに回転させるためのものであり、行列Ｔｒｚは、再生像をzo軸の回りに回転させるためのものであり、行列Ｔｓは、再生像を拡大／縮小させるためのものである。
【００４３】
指示部１６より入力された再生像のxo,yo,zo軸方向それぞれの平行移動量をtx,ty,tzそれぞれとし、xo,yo,zo軸それぞれの回りの回転量をrx,ry,rzそれぞれとし、xo,yo,zo軸方向それぞれの拡大縮小率をsx,sy,szそれぞれとする。また、視点位置検出器１５により検出された視点１のxe,ye,ze軸方向それぞれの変位量をΔex,Δey,Δezそれぞれとする。このとき、行列Ｔｄ，Ｔｒｘ，Ｔｒｙ，ＴｒｚおよびＴｓそれぞれは以下のように表される。
【００４４】
すなわち、行列Ｔｄは、
【数７】

で表される。
【００４５】
行列Ｔｒｘは、
【数８】

で表される。
【００４６】
行列Ｔｒｙは、
【数９】

で表される。
【００４７】
行列Ｔｒｚは、
【数１０】

で表される。
【００４８】
また、行列Ｔｓは、
【数１１】

で表される。
【００４９】
透視変換部２３は、アフィン変換部２２から出力された多角形平面体の各頂点を視点座標系(xe,ye,ze)で表した座標値および輝度値を入力し、
【数１２】

なる変換式で表される透視変換を行って、多角形平面体の各頂点をスクリーン座標系(x,y,z) で表した座標値および輝度値を出力する。
【００５０】
内部座標値発生部２４は、透視変換部２３から出力された多角形平面体の各頂点をスクリーン座標系(x,y,z) で表した座標値および輝度値を入力し、その多角形平面体の内部の全ての点の x,y,z座標値それぞれを順次に発生して出力し、また、輝度値をシェーディング処理やビットマップ処理して出力する。この多角形平面体の内部の全ての点の座標値の発生に際しては、多角形平面体を構成する複数の多角形平面それぞれを適宜２分割し、それぞれの端の２点を順次更新し、その２点の座標値の差を(Δx,Δy,Δz) をスクリーン座標系上のホログラムのピッチで除算したものを定数として逐次加算し、内部の全ての画素の x,y,z座標値を求める。
【００５１】
なお、本実施形態は、透視変換部２３の後段に内部座標値発生部２４を設けて、多角形平面体の各頂点それぞれについてのみ透視変換するものであるが、視点座標系における直線は透視変換後でもスクリーン座標系における直線となるので、内部座標値発生部２４の後段に透視変換部２３を設けてもよい。
【００５２】
スクリーン座標値発生部２５は、スクリーン座標系における x,y平面上の全ての点の x,y座標値それぞれを順次に発生し出力する。
【００５３】
アドレス選択部２６は、内部座標値発生部２４から出力された x,y座標値と、スクリーン座標値発生部２５から出力された x,y座標値とを入力し、それらの何れか一方を選択して出力する。このアドレス選択部２６から出力された x,y座標値は、輝度値メモリ２７および距離メモリ２８それぞれにアドレスとして入力する。
【００５４】
輝度値メモリ２７は、内部座標値発生部２４から出力された輝度値を、アドレス選択部２６から出力された x,y座標値で示されるアドレスに記憶する。距離メモリ２８は、内部座標値発生部２４から出力された z座標値を、アドレス選択部２６から出力された x,y座標値で示されるアドレスに記憶する。また、輝度値メモリ２７および距離メモリ２８それぞれは、二重バンク構造となっており、一方のバンクでその記憶内容を更新し、同時に、他方のバンクでその記憶内容を読み出すことができる。
【００５５】
すなわち、アドレス選択部２６は、内部座標値発生部２４から出力された x,y座標値を、輝度値メモリ２７および距離メモリ２８それぞれの一方のバンクの更新記憶時のアドレスとし、スクリーン座標値発生部２５から出力された x,y座標値を、他方のバンクの読出時のアドレスとする。
【００５６】
距離比較部２９は、アドレス選択部２６から出力された x,y座標値で示されるアドレスに距離メモリ２８が既に記憶している z座標値と、内部座標値発生部２４から新たに出力された z座標値とを大小比較する。そして、距離比較部２９は、後者の値が大きい（すなわち、視点１に近い）と判断した場合には、輝度値メモリ２７および距離メモリ２８それぞれに対して書込許可信号を出力し、内部座標値発生部２４から新たに出力された輝度値および z座標値それぞれを更新記憶することを指示する。距離比較部２９は、この操作を多角形平面体の内部の全ての点について行う。なお、距離メモリ２８は、初期状態においては、距離比較部２９が書込許可信号を必ず出力し得る内容を全てのアドレスに記憶している。
【００５７】
このようにして、多角形平面体の内部の全ての点について距離比較部２９により内容が更新記憶された輝度値メモリ２７および距離メモリ２８それぞれは、ｚバッファ法に基づく陰面消去処理がなされた輝度値およびスクリーン座標系で表した z座標値それぞれを保持している。そこで、輝度値メモリ２７および距離メモリ２８それぞれは、スクリーン座標値発生部２５から出力されアドレス選択部２６を経て到達した x,y座標値をアドレスとして順次入力し、そのアドレスに記憶されている輝度値および z座標値それぞれを順次出力する。
【００５８】
逆透視変換部３０は、スクリーン座標値発生部２５から出力された x,y座標値、ならびに、その x.y座標値に応じて輝度値メモリ２７および距離メモリ２８それぞれから出力された輝度値および z座標値それぞれを入力し、
【数１３】

なる変換を行って、視点座標系(xe,ye,ze)で表された座標値に逆透視変換する。
【００５９】
さらに、ホログラム座標変換部３１は、逆透視変換部３０から出力された視点座標系(xe,ye,ze)で表された座標値および輝度値を入力し、
【数１４】

なる変換を行って、ホログラム座標系(xh,yh,zh)で表された座標値に変換する。
【００６０】
そして、ホログラム計算部３２は、ホログラム座標変換部３１から出力されたホログラム座標系(xh,yh,zh)で表された座標値および輝度値を入力し、これらのデータに基づいて波面伝搬の計算を行い、空間光変調素子１３の位置における波面すなわちホログラムデータを計算する。この波面計算に際して、虚像を再生する場合には、フレネル変換法や球面波法を用いて空間光変調素子１３上の波面を求め、実像を再生する場合には、フレネル逆変換法や球面波法による計算の後に複素共役をとって空間光変調素子１３上の波面を求め、これをホログラムデータとする。また、ホログラム計算部３２は、振幅および位相の双方または一方の変調が可能な空間光変調素子１３に、このホログラムデータを表示する。そして、空間光変調素子１３は、光源１１から出力されたレーザ光がコリメータ１２を介して照射されると、物体の実像または虚像を再生する。
【００６１】
以上のように、本実施形態に係る計算機ホログラム表示装置では、多角形平面体の各頂点の座標値および輝度値は、データ記憶部２１により、物体座標系(xo,yo,zo)で表されて予め記憶されており、アフィン変換部２２により、平行移動、回転、拡大／縮小および視点追従がなされて視点座標系(xe,ye,ze)で表され、透視変換部２３により透視変換されてスクリーン座標系(x,y,z) で表される。さらに、内部座標値発生部２４、選択部２６、輝度値メモリ２７、距離メモリ２８および距離比較部２９により、ｚバッファ法に基づく陰面消去処理が施され、その陰面消去処理がなされた後の座標値および輝度値は、距離メモリ２８のアドレス（ x,y座標値）およびその記憶内容（ z座標値）ならびに輝度値メモリ２７の記憶内容として保持される。陰面消去処理後の座標値および輝度値は、スクリーン座標値発生部２５により距離メモリ２８および輝度値メモリ２７から読み出され、逆透視変換部３０により視点座標系(xe,ye,ze)に逆透視変換され、ホログラム座標変換部３１によりホログラム座標系(xh,yh,zh)に変換され、ホログラム計算部３２により波面計算がなされてホログラムデータが計算される。そして、このホログラムデータに基づいて空間光変調素子１３にホログラムが形成され、光源１１から出射された可干渉光が空間光変調素子１３に照射されると物体像（実像および虚像の何れか）が再生される。
【００６２】
このように、ｚバッファ法を採用したことにより、従来技術に比べて計算量が少ないので、短時間にホログラムを計算することができる。したがって、再生像の平行移動、回転または拡大／縮小をスムーズに行うことができ、また、高速に視点追従することができる計算機ホログラム表示装置を実現することができる。
【００６３】
（第２の実施形態）
次に、第２の実施形態について説明する。図３は、第２の実施形態に係る計算機ホログラム表示装置の構成図である。本実施形態は、ｚバッファ法を採用し、上述の透視変換を行うが、光学系を工夫して逆透視変換を行うことなく、ホログラムを計算し表示するものである。
【００６４】
この計算機ホログラム表示装置における表示部の構成ならびに各座標系について先ず説明する。この表示部は、右視点１Ｒおよび左視点１Ｌそれぞれに対応して設けられている。表示部のうち右視点１Ｒに対応する部分は、可干渉光であるレーザ光を出力する光源１１Ｒと、そのレーザ光の光束径を拡げて平行光束とするコリメータ１２Ｒと、その平行光束とされたレーザ光を反射させるミラー４１Ｒと、ミラー４１Ｒにより反射されたレーザ光を直線偏光にする偏光板４２Ｒと、その直線偏光とされたレーザ光を参照波として入力し物体の実像を再生する空間光変調素子１３Ｒと、空間光変調素子１３Ｒから出力された光のうちの所定方位の直線偏光成分を透過させる偏光板４３Ｒと、偏光板４３Ｒから出力された光を入力し物体の虚像を結像するレンズ４４Ｒと、その光を順次反射させ視点１Ｒに到達させるミラー４５Ｒおよび４６Ｒとを備えて構成されている。
【００６５】
これらのうち、光源１１Ｒ、コリメータ１２Ｒ、ミラー４１Ｒ、偏光板４２Ｒ、空間光変調素子１３Ｒ、偏光板４３Ｒおよびレンズ４４Ｒは、互いに一体にされ、位置が固定されている。一方、ミラー４５Ｒおよび４６Ｒは、制御部１４Ｒにより、視点位置検出器１５Ｒにより検出された視点１Ｒの位置の情報に基づいて、レンズ４４Ｒの焦点位置に視点１Ｒが存在するように制御される。
【００６６】
表示部のうちの左視点１Ｌに対応する部分も、同様に、光源１１Ｌと、コリメータ１２Ｌと、ミラー４１Ｌと、偏光板４２Ｌと、空間光変調素子１３Ｌと、偏光板４３Ｌと、レンズ４４Ｌと、ミラー４５Ｌおよび４６Ｌとを備えて構成されている。また、同様に、これらのうち、光源１１Ｌ、コリメータ１２Ｌ、ミラー４１Ｌ、偏光板４２Ｌ、空間光変調素子１３Ｌ、偏光板４３Ｌおよびレンズ４４Ｌは、互いに一体にされ、位置が固定されている。一方、ミラー４５Ｌおよび４６Ｌは、制御部１４Ｌにより、視点位置検出器１５Ｌにより検出された視点１Ｌの位置の情報に基づいて、レンズ４４Ｌの焦点位置に視点１Ｌが存在するように制御される。これにより視域を拡大している。
【００６７】
右視点１Ｒについての視点座標系(xer,yer,zer) は、右視点１Ｒを原点とし、レンズ４４Ｒの光軸に平行であってレンズ４４Ｒに向かう方向を zer軸とする。また、同様に、左視点１Ｌについての視点座標系(xel,yel,zel) は、左視点１Ｌを原点とし、レンズ４４Ｌの光軸に平行であってレンズ４４Ｌに向かう方向を zel軸とする。物体座標系(xo,yo,zo)は、再生されるべき物体の虚像に設定された座標系であり、右視点１Ｒについての視点座標系の zer軸方向と左視点１Ｌについての視点座標系の zel軸方向との交点を原点とし、右視点１Ｒと左視点１Ｌとの中点に向かう方向をzo軸とする。ホログラム座標系(xhr,yhr,zhr) および(xhl,yhl,zhl) それぞれは、ホログラムが形成される空間光変調素子１３Ｒおよび１３Ｌそれぞれに設定された座標である。本実施形態では、ワールド座標系と物体座標系とを同一のものとしている。なお、これらの座標系は全て実空間上のものである。
【００６８】
右視点１Ｒと左視点１Ｌとの間の距離は、初期状態では距離Ｗであるものとする。空間光変調素子１３Ｒとレンズ４４Ｒとの距離をｐとし、また、空間光変調素子１３Ｌとレンズ４４Ｌとの距離もｐとする。物体座標系(xo,yo,zo)の原点から右視点１Ｒと左視点１Ｌとの中点までの距離をｍとする。
【００６９】
指示部１６は、再生される物体の虚像の平行移動、回転または拡大／縮小を指示するものであり、例えば、キーボード、マウスまたはジョイスティック等が好適に用いられる。また、データ記憶部２１は、再生すべき物体を表す多角形平面体の各頂点それぞれについて物体座標系(xo,yo,zo)で表した座標値および輝度値（色情報をも含む。以下同じ。）を記憶している。
【００７０】
このデータ記憶部２１に記憶されている座標値および輝度値は、アフィン変換部２２Ｒおよび２２Ｌそれぞれに入力し、これ以降、右視点１Ｒおよび左視点１Ｌそれぞれに対応してホログラムが計算されるまでの処理は、互いに独立した構成により行われる。以下では、先ず、右視点１Ｒに対応したホログラムを計算する構成について説明する。
【００７１】
アフィン変換部２２Ｒは、データ記憶部２１に記憶されている多角形平面体の各頂点を物体座標系(xo,yo,zo)で表した座標値および輝度値、指示部１６を介して指示された再生虚像の平行移動、回転または拡大／縮小に関する情報、ならびに、視点位置検出器１５Ｒにより検出された右視点１Ｒの変位量を入力して、
【数１５】

なる演算を行って、多角形平面体の各頂点を視点座標系(xer,yer,zer) で表した座標値を出力する。
【００７２】
ここで、行列Ｔｒｄは、再生虚像を平行移動させるためのものであり、行列Ｔｒｒｘは、再生虚像をxo軸の回りに回転させるためのものであり、行列Ｔｒｒｙは、再生虚像をyo軸の回りに回転させるためのものであり、行列Ｔｒｒｚは、再生虚像をzo軸の回りに回転させるためのものであり、行列Ｔｒｓは、再生虚像を拡大／縮小させるためのものである。
【００７３】
指示部１６より入力された再生虚像のxo,yo,zo軸方向それぞれの平行移動量をtx,ty,tzそれぞれとし、xo,yo,zo軸それぞれの回りの回転量をrx,ry,rzそれぞれとし、xo,yo,zo軸方向それぞれの拡大縮小率をsx,sy,szそれぞれとする。また、視点位置検出器１５Ｒにより検出された右視点１Ｒの xer,yer,zer軸方向それぞれの変位量をΔerx,Δery,Δerz それぞれとする。このとき、行列Ｔｒｄ，Ｔｒｒｘ，Ｔｒｒｙ，ＴｒｒｚおよびＴｒｓそれぞれは以下のように表される。
【００７４】
すなわち、行列Ｔｒｄは、
【数１６】

で表される。
【００７５】
行列Ｔｒｒｘは、
【数１７】

で表される。
【００７６】
行列Ｔｒｒｙは、
【数１８】

で表される。
【００７７】
行列Ｔｒｒｚは、
【数１９】

で表される。
【００７８】
また、行列Ｔｒｓは、
【数２０】

で表される。
【００７９】
内部座標値発生部２４Ｒは、アフィン変換部２２Ｒから出力された多角形平面体の各頂点を視点座標系(xer,yer,zer) で表した座標値および輝度値を入力し、その多角形平面体の内部の全ての点の xer,yer,zer座標値それぞれを順次に発生して出力し、また、輝度値をシェーディング処理やビットマップ処理して出力する。この多角形平面体の内部の全ての点の座標値の発生に際しては、多角形平面体を構成する複数の多角形平面それぞれを適宜２分割し、それぞれの端の２点を順次更新し、その２点の座標を一旦実像変換し、その２点のホログラム座標系上での差を(Δxhr,Δyhr,Δzhr) をホログラムのピッチで除算したサンプリング数を計算してこれを分割定数とし、実像変換以前の視点座標系(xer,yer,zer) での差(Δxer,Δyer,Δzer) をその分割定数で除算し、これを定数として逐次加算し、内部の全ての画素の xer,yer,zer座標値を求める。
【００８０】
実像変換部５１Ｒは、内部座標値発生部２４Ｒから出力された多角形平面体の内部の全ての点を視点座標系(xer,yer,zer) で表した座標値および輝度値を入力し、
【数２１】

なる変換を行う。ここで、ｆは、レンズ４４Ｒの焦点距離である。この実像変換で得られた x,y座標値それぞれは、ホログラム座標系(xhr,yhr,zhr) における xhr,yhr座標値それぞれと同一である。なお、近軸領域では、ガウスの結像公式より、
【数２２】

なる変換式により近似して変換してもよい。
【００８１】
ホログラム座標値発生部５２Ｒは、ホログラム座標系(xhr,yhr,zhr) における xhr,yhr平面上の全ての点の xhr,yhr座標値それぞれを順次に発生し出力する。輝度値メモリ２７Ｒおよび距離メモリ２８Ｒそれぞれは、二重バンク構造となっており、一方のバンクでその記憶内容を更新し、同時に、他方のバンクでその記憶内容を読み出すことができる。輝度値メモリ２７Ｒおよび距離メモリ２８Ｒそれぞれは、実像変換部５１Ｒから出力された xhr,yhr座標値を更新記憶時のアドレスとして入力し、ホログラム座標値発生部５２Ｒから出力された xhr,yhr座標値を読出時のアドレスとして入力する。また、輝度値メモリ２７Ｒは、実像変換部５１Ｒから出力された輝度値を更新記憶し又は読み出し、距離メモリ２８Ｒは、実像変換部５１Ｒから出力された z座標値を更新記憶し又は読み出す。
【００８２】
距離比較部２９Ｒは、実像変換部５１Ｒから出力された xhr,yhr座標値で示されるアドレスに距離メモリ２８Ｒが既に記憶している z座標値と、実像変換部５１Ｒから新たに出力された z座標値とを大小比較する。そして、距離比較部２９Ｒは、後者の値が大きい（すなわち、右視点１Ｒに近い）と判断した場合には、輝度値メモリ２７Ｒおよび距離メモリ２８Ｒそれぞれに対して書込許可信号を出力し、実像変換部５１Ｒから新たに出力された輝度値および z座標値それぞれを更新記憶することを指示する。距離比較部２９Ｒは、この操作を多角形平面体の内部の全ての点について行う。なお、距離メモリ２８Ｒは、初期状態においては、距離比較部２９Ｒが書込許可信号を必ず出力し得る内容を全てのアドレスに記憶している。
【００８３】
このようにして、多角形平面体の内部の全ての点について距離比較部２９Ｒにより内容が更新記憶された輝度値メモリ２７Ｒおよび距離メモリ２８Ｒそれぞれは、ｚバッファ法に基づく陰面消去処理がなされた輝度値および z座標値それぞれを保持している。そこで、輝度値メモリ２７Ｒおよび距離メモリ２８Ｒそれぞれは、ホログラム座標値発生部５２Ｒから出力された xhr,yhr座標値をアドレスとして順次入力し、そのアドレスに記憶されている輝度値および z座標値それぞれを順次出力する。
【００８４】
そして、ホログラム計算部３２Ｒは、ホログラム座標値発生部５２Ｒから出力された xhr,yhr座標値、および、その xhr,yhr座標値をアドレスとして距離メモリ２８Ｒおよび輝度値メモリ２７Ｒそれぞれから読み出された z座標値および輝度値それぞれを入力し、
【数２３】

なる演算を行って、入力した z座標値を、ホログラム座標系(xhr,yhr,zhr) 上の zhr座標値に変換する。さらに、ホログラム計算部３２Ｒは、これらのデータに基づいて波面伝搬の計算を行い、空間光変調素子１３Ｒの位置における波面すなわちホログラムデータを計算する。この波面計算に際して、フレネル変換法や球面波法を用いて空間光変調素子１３Ｒ上の波面を求め、これをホログラムデータとする。また、ホログラム計算部３２Ｒは、振幅および位相の双方または一方の変調が可能な空間光変調素子１３Ｒに、このホログラムデータを表示する。そして、空間光変調素子１３Ｒは、光源１１Ｒから出力されたレーザ光がコリメータ１２Ｒ等を介して照射されると、空間光変調素子１３Ｒとレンズ４４Ｒとの間に物体の実像を再生し、更に、レンズ４４Ｒは、右視点１Ｒと左視点１Ｌとの交点の位置に物体の虚像を結像する。
【００８５】
次に、左視点１Ｌに対応したホログラムを計算する構成について説明する。アフィン変換部２２Ｌは、データ記憶部２１に記憶されている多角形平面体の各頂点を物体座標系(xo,yo,zo)で表した座標値および輝度値、指示部１６を介して指示された再生虚像の平行移動、回転または拡大／縮小に関する情報、ならびに、視点位置検出器１５Ｌにより検出された左視点１Ｌの変位量を入力して、
【数２４】

なる演算を行って、多角形平面体の各頂点を視点座標系(xel,yel,zel) で表した座標値を出力する。
【００８６】
ここで、行列Ｔｌｄは、再生虚像を平行移動させるためのものであり、行列Ｔｌｒｘは、再生虚像をxo軸の回りに回転させるためのものであり、行列Ｔｌｒｙは、再生虚像をyo軸の回りに回転させるためのものであり、行列Ｔｌｒｚは、再生虚像をzo軸の回りに回転させるためのものであり、行列Ｔｌｓは、再生虚像を拡大／縮小させるためのものである。
【００８７】
指示部１６より入力された再生虚像のxo,yo,zo軸方向それぞれの平行移動量をtx,ty,tzそれぞれとし、xo,yo,zo軸それぞれの回りの回転量をrx,ry,rzそれぞれとし、xo,yo,zo軸方向それぞれの拡大縮小率をsx,sy,szそれぞれとする。また、視点位置検出器１５Ｌにより検出された左視点１Ｌの xel,yel,zel軸方向それぞれの変位量をΔelx,Δely,Δelz それぞれとする。このとき、行列Ｔｌｄ，Ｔｌｒｘ，Ｔｌｒｙ，ＴｌｒｚおよびＴｌｓそれぞれは以下のように表される。
【００８８】
すなわち、行列Ｔｌｄは、
【数２５】

で表される。
【００８９】
行列Ｔｌｒｘは、
【数２６】

で表される。
【００９０】
行列Ｔｌｒｙは、
【数２７】

で表される。
【００９１】
行列Ｔｌｒｚは、
【数２８】

で表される。
【００９２】
また、行列Ｔｌｓは、
【数２９】

で表される。
【００９３】
内部座標値発生部２４Ｌは、アフィン変換部２２Ｌから出力された多角形平面体の各頂点を視点座標系(xel,yel,zel) で表した座標値および輝度値を入力し、その多角形平面体の内部の全ての点の xel,yel,zel座標値それぞれを順次に発生して出力し、また、輝度値をシェーディング処理やビットマップ処理して出力する。この多角形平面体の内部の全ての点の座標値の発生に際しては、内部座標値発生部２４Ｒにおける場合と同様にして行う。
【００９４】
実像変換部５１Ｌは、内部座標値発生部２４Ｌから出力された多角形平面体の内部の全ての点を視点座標系(xel,yel,zel) で表した座標値および輝度値を入力し、
【数３０】

なる変換を行う。ここで、ｆは、レンズ４４Ｌの焦点距離である。この実像変換で得られた x,y座標値それぞれは、ホログラム座標系(xhl,yhl,zhl) における xhl,yhl座標値それぞれと同一である。なお、近軸領域では、ガウスの結像公式より、
【数３１】

なる変換式により近似して変換してもよい。
【００９５】
ホログラム座標値発生部５２Ｌは、ホログラム座標系(xhl,yhl,zhl) における xhl,yhl平面上の全ての点の xhl,yhl座標値それぞれを順次に発生し出力する。輝度値メモリ２７Ｌおよび距離メモリ２８Ｌそれぞれは、二重バンク構造となっており、一方のバンクでその記憶内容を更新し、同時に、他方のバンクでその記憶内容を読み出すことができる。輝度値メモリ２７Ｌおよび距離メモリ２８Ｌそれぞれは、実像変換部５１Ｌから出力された xhl,yhl座標値を更新記憶時のアドレスとして入力し、ホログラム座標値発生部５２Ｌから出力された xhl,yhl座標値を読出時のアドレスとして入力する。また、輝度値メモリ２７Ｌは、実像変換部５１Ｌから出力された輝度値を更新記憶し又は読み出し、距離メモリ２８Ｌは、実像変換部５１Ｌから出力された z座標値を更新記憶し又は読み出す。
【００９６】
距離比較部２９Ｌは、実像変換部５１Ｌから出力された xhl,yhl座標値で示されるアドレスに距離メモリ２８Ｌが既に記憶している z座標値と、実像変換部５１Ｌから新たに出力された z座標値とを大小比較する。そして、距離比較部２９Ｌは、後者の値が大きい（すなわち、左視点１Ｌに近い）と判断した場合には、輝度値メモリ２７Ｌおよび距離メモリ２８Ｌそれぞれに対して書込許可信号を出力し、実像変換部５１Ｌから新たに出力された輝度値および z座標値それぞれを更新記憶することを指示する。距離比較部２９Ｌは、この操作を多角形平面体の内部の全ての点について行う。なお、距離メモリ２８Ｌは、初期状態においては、距離比較部２９Ｌが書込許可信号を必ず出力し得る内容を全てのアドレスに記憶している。
【００９７】
このようにして、多角形平面体の内部の全ての点について距離比較部２９Ｌにより内容が更新記憶された輝度値メモリ２７Ｌおよび距離メモリ２８Ｌそれぞれは、ｚバッファ法に基づく陰面消去処理がなされた輝度値および z座標値それぞれを保持している。そこで、輝度値メモリ２７Ｌおよび距離メモリ２８Ｌそれぞれは、ホログラム座標値発生部５２Ｌから出力された xhl,yhl座標値をアドレスとして順次入力し、そのアドレスに記憶されている輝度値および z座標値それぞれを順次出力する。
【００９８】
そして、ホログラム計算部３２Ｌは、ホログラム座標値発生部５２Ｌから出力された xhl,yhl座標値、および、その xhl,yhl座標値をアドレスとして距離メモリ２８Ｌおよび輝度値メモリ２７Ｌそれぞれから読み出された z座標値および輝度値それぞれを入力し、
【数３２】

なる演算を行って、入力した z座標値を、ホログラム座標系(xhl,yhl,zhl) 上の zhl座標値に変換する。さらに、ホログラム計算部３２Ｌは、これらのデータに基づいて波面伝搬の計算を行い、空間光変調素子１３Ｌの位置における波面すなわちホログラムデータを計算する。この波面計算に際して、フレネル変換法や球面波法を用いて空間光変調素子１３Ｌ上の波面を求め、これをホログラムデータとする。また、ホログラム計算部３２Ｌは、振幅および位相の双方または一方の変調が可能な空間光変調素子１３Ｌに、このホログラムデータを表示する。そして、空間光変調素子１３Ｌは、光源１１Ｌから出力されたレーザ光がコリメータ１２Ｌ等を介して照射されると、空間光変調素子１３Ｌとレンズ４４Ｌとの間に物体の実像を再生し、更に、レンズ４４Ｌは、右視点１Ｒと左視点１Ｌとの交点の位置に物体の虚像を結像する。
【００９９】
本実施形態に係る計算機ホログラム表示装置の具体的な実施例としては、光源１１Ｒ，１１Ｌは、Ｈｅ−Ｎｅレーザ光源が用いられ、レンズ４４Ｒ，４４Ｌは、焦点距離３０ｃｍのものが用いられ、空間光変調素子１３Ｒ，１３Ｌは、ＴＮ型液晶表示素子（ソニー社製ＬＣＸ０１２ＡＬ、画素数６４０×４８０画素、ピッチ４１．４μｍ）が用いられ、レンズ４４Ｒ，４４Ｌの前側焦点面に置かれ、両面に偏光板が置かれる。この場合、空間光変調素子１３Ｒ，１３Ｌそれぞれは、入射したレーザ光（参照波）の振幅および位相の双方を変調するものではないので、物体の再生虚像は共役像をも伴う。
【０１００】
この不要な共役像を以下のようにして除去する。図４は、共役像の除去方法の説明図である。なお、この図では、空間光変調素子１３Ｒから右視点１Ｒに到るまでの光学系を簡略化して記してある。今、空間光変調素子１３Ｒには、半円の余弦波ゾーンプレート６０Ｒが書き込まれているものとし、可干渉光であるレーザ光（参照波）を左方から入力して、その光の振幅および位相の何れかを変調する。この余弦波ゾーンプレート６０Ｒによる再生像として、虚像７１および実像７２が得られる。虚像７１は、レンズ４４Ｒの後側焦点面においては一方の半平面にあり、実像７２は、他方の半平面にある。そこで、レンズ４４Ｒの後側焦点面に、０次光を遮光する０次光遮光マスク６１Ｒと、一方の半平面について遮光する共役像遮光マスク６２Ｒとを設け、そして、これらの背後に右視点１Ｒを置く。このようにすることにより、実像および虚像の一方を選択することができ、 in-line型に特有の共役像に因る再生像の劣化を防止することができる。この図では、虚像７１を除去するよう共役像遮光マスク６２Ｒが配置されており、視点１Ｒからは、実像７２のレンズ４４Ｒによる虚像７３のみが観察され得る。
【０１０１】
この手法を図３に示す構成に適用するには、再生すべき物体の表面の各輝点ごとに半円の余弦波ゾーンプレートを対応させて累積加算して空間光変調素子１３Ｒおよび１３Ｌそれぞれに表示すべきホログラムデータを作成し、右視点１Ｒの直前に０次光遮光マスク６１Ｒと共役像遮光マスク６２Ｒとを置き、左視点１Ｌの直前に０次光遮光マスク６１Ｌと共役像遮光マスク６２Ｌとを置けばよい。
【０１０２】
以上のように、本実施形態に係る計算機ホログラム表示装置では、多角形平面体の各頂点の座標値および輝度値は、データ記憶部２１により、物体座標系で表されて予め記憶されており、アフィン変換部２２Ｒ，２２Ｌにより、平行移動、回転、拡大／縮小および視点追従がなされて視点座標系で表される。さらに、内部座標値発生部２４Ｒ，２４Ｌおよび実像変換部５１Ｒ，５１Ｌにより、再生すべき物体の虚像を結像し得る実像が実空間上の座標系で求められ、輝度値メモリ２７Ｒ，２７Ｌ、距離メモリ２８Ｒ，２８Ｌおよび距離比較部２９Ｒ，２９Ｌにより、ｚバッファ法に基づく陰面消去処理が施され、その陰面消去処理がなされた後の座標値および輝度値は、距離メモリ２８Ｒ，２８Ｌのアドレスおよびその記憶内容ならびに輝度値メモリ２７Ｒ，２７Ｌの記憶内容として保持される。陰面消去処理後の座標値および輝度値は、ホログラム座標値発生部５２Ｒ，５２Ｌにより距離メモリ２８Ｒ，２８Ｌおよび輝度値メモリ２７Ｒ，２７Ｌから読み出され、ホログラム計算部３２Ｒ，３２Ｌにより波面計算がなされてホログラムデータが計算される。そして、このホログラムデータに基づいて空間光変調素子１３Ｒ，１３Ｌにホログラムが形成され、光源１１Ｒ，１１Ｌから出射された可干渉光が空間光変調素子１３Ｒ，１３Ｌに照射されると実像が再生され、その実像に基づいてレンズ４４Ｒ，４４Ｌにより虚像が結像される。
【０１０３】
このように、ｚバッファ法を採用したことにより、従来技術に比べて計算量が少ないので、短時間にホログラムを計算することができる。したがって、再生虚像の平行移動、回転または拡大／縮小をスムーズに行うことができ、また、高速に視点追従することができる計算機ホログラム表示装置を実現することができる。また、本実施形態では、空間光変調素子１３Ｒ、１３Ｌにより再生された実像をレンズ４４Ｒ，４４Ｌにより虚像に変換することにより、逆透視変換を不要としたので、第１の実施形態に比べて、さらに計算量が少ない。
【０１０４】
【発明の効果】
以上、詳細に説明したとおり、本発明に係る第１の計算機ホログラム表示装置によれば、再生すべき物体像は、透視変換手段により、透視変換されてスクリーン座標系で表現され、陰面消去手段により、そのスクリーン座標系で表された物体像上の各点と視点との間の距離に基づいて陰面消去される。この陰面消去されたスクリーン座標系上の物体像は、逆透視変換手段により、逆透視変換されて実空間上の座標系で表現され、ホログラム計算手段により、この実空間上の座標系で表現された物体像に基づいて波面計算されてホログラムデータが求められる。そして、ホログラム形成手段により、このホログラムデータに基づいてホログラムが形成され、再生手段により、ホログラムに可干渉光が照射されて物体像が再生される。このようにしたことにより、陰面消去処理のなされたホログラムを少ない計算量で短時間に求めることができる。したがって、視点の変位に対応した物体像を表示する視点追従方式の場合や、平行移動、回転または拡大／縮小して物体像を表示する場合のように、ホログラムを高速に計算する必要がある場合に好適に適用できる。
【０１０５】
また、本発明に係る第２の計算機ホログラム表示装置によれば、実像変換手段により、レンズの焦点位置に置かれた視点から観たときに再生すべき物体像を結像し得る実像が実空間上の座標系で求められ、陰面消去手段により、その実像上の各点と視点との間の距離に基づいて陰面消去される。ホログラム計算手段により、この陰面消去された実像に基づいて波面計算されてホログラムデータが求められ、ホログラム形成手段により、このホログラムデータに基づいてホログラムが形成される。そして、再生手段により、ホログラムに可干渉光が照射されて実像が再生され、結像光学系により、再生手段により再生された実像に基づいて物体像が結像される。この場合には、第１の計算機ホログラム表示装置と比べて更に少ない計算量で短時間に、陰面消去処理のなされたホログラムを求めることができるので、視点追従方式の場合や平行移動、回転または拡大／縮小して表示する場合に適用するのに更に好適である。
【図面の簡単な説明】
【図１】逆透視変換を不要とする光学系の説明図である。
【図２】第１の実施形態に係る計算機ホログラム表示装置の構成図である。
【図３】第２の実施形態に係る計算機ホログラム表示装置の構成図である。
【図４】共役像の除去方法の説明図である。
【符号の説明】
１，１Ｒ，１Ｌ…視点、２…レンズ、３…空間光変調素子、４…再生実像、５…再生虚像、１０…表示部、１１，１１Ｒ，１１Ｌ…光源、１２，１２Ｒ，１２Ｌ…コリメータ、１３，１３Ｒ，１３Ｌ…空間光変調素子、１４，１４Ｒ，１４Ｌ…制御部、１５，１５Ｒ，１５Ｌ…視点位置検出器、１６…指示部、２１…データ記憶部、２２，２２Ｒ，２２Ｌ…アフィン変換部、２３…透視変換部、２４…内部座標値発生部、２５…スクリーン座標値発生部、２６…アドレス選択部、２７，２７Ｒ，２７Ｌ…輝度値メモリ、２８，２８Ｒ，２８Ｌ…距離メモリ、２９，２９Ｒ，２９Ｌ…距離比較部、３０…逆透視変換部、３１…ホログラム座標変換部、３２，３２Ｒ，３２Ｌ…ホログラム計算部、４１Ｒ，４１Ｌ…ミラー、４２Ｒ，４２Ｌ，４３Ｒ，４３Ｌ…偏光板、４４Ｒ，４４Ｌ…レンズ、４５Ｒ，４５Ｌ，４６Ｒ，４６Ｌ…ミラー、５１Ｒ，５１Ｌ…実像変換部、５２Ｒ，５２Ｌ…ホログラム座標値発生部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a computer generated hologram display device that reproduces and displays an image of a three-dimensional object.
[0002]
[Prior art]
In a computer generated hologram display device, a hologram is calculated by performing a hidden surface erasing process on a three-dimensional object to be reproduced / displayed, and a reference wave is irradiated to the hologram subjected to the hidden surface erasing process to reproduce a three-dimensional object image. Yes. The hidden surface erasure processing is performed so that the wavefront generated from the back surface of the object (surface that cannot be seen from the viewpoint) is erased and only the wavefront generated from the surface of the object (surface that can be viewed from the viewpoint) reaches the viewpoint. The following various methods are known for this hidden surface erasing process.
[0003]
For example, the hidden surface elimination is performed with the consideration that the wavefront generated at a position far from the viewpoint is affected by the part of the object closer to the viewpoint and reaches the observation plane with the second-order diffracted wave generated thereby. (See "Optical Information Processing", Asakura Shoten, pp.249-254). In this technique, a three-dimensional object is considered as a set of many two-dimensional faults, and a wavefront that reaches the next fault adjacent to the viewpoint side is obtained by performing Fresnel transformation on a wavefront generated at a fault far from the viewpoint. . When the fault has a transmittance distribution, the product of the wavefront that has reached and the transmittance distribution is obtained, and this product is used as a new wavefront. On the other hand, when the fault is opaque and the fault generates light emission or reflection light, the light emission or reflection light is set as a new wavefront. The new wavefront obtained in this way is subjected to Fresnel transformation to obtain the wavefront at the next fault adjacent to the viewpoint side. By performing such processing for all the tomograms, a computer generated hologram of a three-dimensional object with hidden surface removal is obtained.
[0004]
This method is superior in that it does not require consideration of viewpoints and is compatible with multiple viewpoints, and is also excellent in that it also considers the effect of diffraction. However, since it is necessary to perform Fresnel transformation at each position of each fault, there is a problem that the amount of calculation is extremely large. In particular, if an object is to be displayed precisely, it is necessary to increase the number of faults and increase the number of calculation points in each fault, which leads to an explosive increase in the amount of calculation.
[0005]
Therefore, several methods for reducing the amount of calculation are known. For example, a scan line method or ray tracing method that is a computer graphic method ignores the effect that a wavefront generated at a position far from the viewpoint is affected by the part of the object closer to the viewpoint and produces a second-order diffracted wave. Vol.31, No.2, for which hidden surface removal processing by, is adopted for hologram calculation (for example, M. Yamaguchi, et al., "Holographic three-dimensional printer: new method", Appl. Opt. Vol. 31, No. 2, pp. 217-222 (1992), JP-A-6-67591, JP-A-6-102811, and JP-A-6-130881).
[0006]
In hidden surface removal processing using the scan line method or ray tracing method, a straight line passing through each point on the object surface is assumed from the viewpoint, and if there are multiple intersections between the straight line and the object surface, the multiple intersection points are Judge the distance from, and adopt the intersection closest to the viewpoint. Then, by calculating the wavefront generated at each of the adopted intersections and propagating to the hologram surface, a computer generated hologram of a three-dimensional object with hidden surface removal is obtained.
[0007]
[Problems to be solved by the invention]
However, even in the case of hidden surface removal processing using the scan line method or ray tracing method, it is necessary to solve the equation to find the coordinate value of the intersection between the straight line and the object for each straight line from the viewpoint. The calculation amount is still large.
[0008]
On the other hand, there is known a viewpoint-following computer hologram display device that can reduce the amount of calculation by making it a relatively small hologram while at the same time expanding the viewing zone (Fukaya et al. "Review of Display", Journal of the Institute of Image Electronics Engineers of Japan, Vol. 24, No. 5, pp.38-43 (1995), and N. Fukaya, et al., "Eye-Position Tracking Type Electro-Holographic Display Using Liquid Crystal Devices ", Asia Display '95 Proc., S36-5 (1995)). In this method, since the calculation is performed with the viewing zone expanded, the efficiency of the hologram calculation method itself is poor. Further, nothing is mentioned about the hidden surface removal processing.
[0009]
In the case of such a viewpoint follow-up type computer generated hologram display device, it is necessary to calculate a hologram that has been subjected to hidden surface removal processing corresponding to the viewpoint position in a short time. Reduction is required.
[0010]
The present invention has been made to solve the above-described problems, and provides a computer generated hologram display device that can perform hidden surface erasing processing in a short time with a small amount of calculation and can be suitably applied to the viewpoint tracking method. The purpose is to provide.
[0011]
[Means for Solving the Problems]
The first computer generated hologram display device according to the present invention includes (1) perspective transformation means for perspective transformation of an object image to be reproduced and expressing it in a screen coordinate system, and (2) on the object image represented in the screen coordinate system. A hidden surface erasing means for erasing the hidden surface based on the distance between each point and the viewpoint, and (3) reverse perspective transformation of the object image on the screen coordinate system erased by the hidden surface erasing processing means in the real space. An inverse perspective transformation means that expresses in a coordinate system, and (4) a hologram calculation means that obtains hologram data by wavefront calculation based on an object image expressed in a coordinate system in real space by an inverse perspective transformation means, and (5) A hologram forming unit that forms a hologram based on hologram data, and (6) a reproduction unit that reproduces an object image by irradiating the hologram with coherent light.
[0012]
According to the first computer generated hologram display device, the object image to be reproduced is perspective-transformed by the perspective transformation means and expressed in the screen coordinate system, and the object image represented in the screen coordinate system by the hidden surface elimination means. The hidden surface is erased based on the distance between each point above and the viewpoint. This hidden surface-erased object image on the screen coordinate system is inversely perspective transformed by the inverse perspective transformation means and expressed in the real space coordinate system, and is expressed in the real space coordinate system by the hologram calculation means. Hologram data is obtained by wavefront calculation based on the obtained object image. Then, a hologram is formed on the basis of the hologram data by the hologram forming means, and an object image is reproduced by irradiating the coherent light onto the hologram by the reproducing means.
[0013]
The first computer generated hologram display device according to the present invention further includes (1) viewpoint detection means for detecting the position or displacement of the viewpoint, and (2) the viewpoint position or displacement detected by the viewpoint detection means. Affine transformation means for affine transformation of the object image to be reproduced, and (3) control means for controlling the optical axis of the reproduction means based on the position or displacement of the viewpoint detected by the viewpoint detection means. It is characterized by that. In this case, the object image to be reproduced is affine transformed by the affine transformation unit based on the position or displacement of the viewpoint detected by the viewpoint detection unit, and thereafter, the perspective transformation unit, the hidden surface elimination unit, the reverse perspective transformation unit, Reproduced by the hologram calculating means, hologram forming means and reproducing means. At this time, the optical axis of the reproduction means is controlled by the control means based on the position or displacement of the viewpoint detected by the viewpoint detection means, and can follow the viewpoint displacement.
[0014]
Further, the second computer generated hologram display according to the present invention provides: (1) a real image that can form an object image to be reproduced when viewed from a viewpoint placed at the focal point of the lens; Real image conversion means obtained in step (2), (2) hidden surface removal means for removing the hidden surface based on the distance between each point on the real image, and (3) wavefront based on the real image that has been hidden surface erased by the hidden surface removal processing means. Hologram calculation means for calculating and obtaining hologram data, (4) Hologram formation means for forming a hologram based on the hologram data, (5) Reproduction means for irradiating the hologram with coherent light and reproducing a real image, 6) An imaging optical system that has an imaging function substantially equivalent to the imaging function of the lens and that forms an object image based on the real image reproduced by the reproducing means.
[0015]
According to the second computer generated hologram display device, a real image capable of forming an object image to be reproduced when viewed from a viewpoint placed at the focal position of the lens is represented in a coordinate system in real space by the real image conversion means. The hidden surface is erased by the hidden surface erasing means based on the distance between each point on the real image and the viewpoint. The hologram calculation means calculates the wavefront based on the hidden surface-erased real image to obtain hologram data, and the hologram forming means forms a hologram based on the hologram data. The reproducing unit irradiates the hologram with coherent light to reproduce a real image, and the imaging optical system forms an object image based on the real image reproduced by the reproducing unit.
[0016]
The second computer generated hologram display apparatus according to the present invention further includes (1) viewpoint detection means for detecting the position or displacement of the viewpoint, and (2) the viewpoint position or displacement detected by the viewpoint detection means. Affine transformation means for affine transformation of the object image to be reproduced, and (3) control means for controlling the optical axis of the imaging optical system based on the position or displacement of the viewpoint detected by the viewpoint detection means. It is further provided with the feature. In this case, the object image to be reproduced is affine transformed by the affine transformation means based on the position or displacement of the viewpoint detected by the viewpoint detection means, and then the real image transformation means, hidden surface elimination means, hologram calculation means, hologram Reproduction is performed by the forming unit, the reproducing unit, and the imaging optical system. At this time, the optical axis of the imaging optical system is controlled by the control means based on the position or displacement of the viewpoint detected by the viewpoint detection means, and can follow the displacement of the viewpoint.
[0017]
Further, in the second computer generated hologram display device according to the present invention, the imaging optical system is further arranged on a focal plane opposite to the hologram (a), and 0th order light shielding means for shielding 0th order light. And (b) a conjugate image light shielding unit arranged on a focal plane opposite to the hologram and shielding a wavefront of a conjugate image of a real image reproduced by the reproducing unit. In this case, the 0th order light traveling from the reproducing means to the viewpoint through the imaging optical system is shielded by the 0th order light shielding means, and the wavefront of the conjugate image of the real image reproduced by the reproducing means is conjugated image shielded. Since the light is shielded by the means, deterioration of the reproduced image due to the conjugate image peculiar to the in-line type is prevented.
[0018]
Further, in each of the first and second computer generated hologram displays according to the present invention, (1) instruction means for instructing parallel movement, rotation or enlargement / reduction of an object image to be reproduced, and (2) instruction means And affine transformation means for affine transformation of the object image to be reproduced based on the parallel movement, rotation, or enlargement / reduction indicated by. In this case, the instruction means instructs the parallel movement, rotation or enlargement / reduction of the object image to be reproduced, and based on this instruction, the object image to be reproduced is affine transformation means by the affine transformation means. The image to be displayed is the one that has been translated, rotated, or enlarged / reduced based on an instruction from the instruction means.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
[0020]
Prior to the description of the computer generated hologram display device according to the present embodiment, a z buffer method (also referred to as a z sort method), which is a hidden surface erasing method used in the present embodiment, will be described.
[0021]
In this z-buffer method, first, the surface of an object to be displayed is composed of a plurality of polygon planes, and the coordinate values of the vertices of each of the plurality of polygon planes are the object coordinates with the center position of the object as the origin. Display in the system. Next, each vertex coordinate value is converted into data expressed in the world coordinate system, and further converted into data expressed in the viewpoint coordinate system (xe, ye, ze) in the real space. This viewpoint coordinate system uses the viewpoint (the position of the eyes of the person viewing the hologram) as the origin, and the direction perpendicular to the hologram surface (the surface on which the hologram is to be formed) and toward the hologram surface as the ze axis. .
[0022]
Then, the coordinate value of each point inside the polygonal plane composed of a plurality of polygonal planes represented by the vertex coordinate values (including the surface, the same applies hereinafter) is represented by the viewpoint coordinate system (xe, ye, ze) is converted to data represented in the screen coordinate system (x, y, z) in the virtual space. For this transformation, for each point inside the polygonal plane,
[Expression 1]

Perform the following operation. This conversion is called perspective conversion. This screen coordinate system (x, y, z) also has the viewpoint as the origin, and the direction perpendicular to the hologram surface and toward the hologram surface is the z-axis.
[0023]
This perspective transformation from the viewpoint coordinate system to the screen coordinate system is equivalent to converting the xe, ye coordinate value by the ze coordinate value to the viewing angle (the direction of the line of sight). Corresponds to conversion from a straight line to a straight line by taking the reciprocal thereof. That is, in this perspective transformation, a point inside a polygonal plane that is on the same line of sight as seen from the viewpoint is converted to the same x, y coordinate value in the screen coordinate system. In the perspective transformation, if the x and y coordinate values are the same, the point closer to the viewpoint is transformed into a larger z coordinate value.
[0024]
Therefore, for each point inside the polygonal plane represented by the screen coordinate system, when there are multiple vertices represented by the same x and y coordinate values, the point with the largest z coordinate value (ie , The point closest to the viewpoint) is selected, so that only the point visible from the viewpoint is selected and the hidden surface removal process is performed.
[0025]
In this way, when the point having the minimum z coordinate value is selected from the points having the same x and y coordinate values, specifically, for example, the following is performed. That is, a storage element is prepared, and for each point inside the polygonal plane, the z coordinate value is stored at an address corresponding to the x, y coordinate value. If data (z coordinate value) is already stored at the address (x, y coordinate value), the larger value of the stored data (z coordinate value) and the new z coordinate value Is stored in the storage element. At this time, the luminance data corresponding to the point is also stored. By doing so, the object viewed from the viewpoint is subjected to hidden surface removal processing in the screen coordinate system, and is represented by the viewing angle represented by the x, y coordinate values, the distance represented by the z coordinate values, and the luminance data. Is done.
[0026]
Subsequently, the data on the screen coordinate system (x, y, z) obtained as described above is converted again into the viewpoint coordinate system (xe, ye, ze) in the real space. In this conversion, each x and y coordinate value on the screen coordinate system and the corresponding z coordinate value are
[Expression 2]

Perform the following operation. This is called reverse perspective transformation. Since the data on the viewpoint coordinate system obtained by the reverse perspective transformation has already been subjected to the hidden surface removal processing, the wavefront propagation can be immediately calculated. Therefore, by calculating the wavefront from the object to the hologram surface based on the data on the viewpoint coordinate system obtained by this reverse perspective transformation, it is possible to obtain a hologram that has been subjected to hidden surface removal processing. In calculating the wavefront, a Fresnel transform method using FFT (Fast Fourier Transform) or a spherical wave method is used.
[0027]
The hidden surface removal processing based on the z-buffer method described above has a very small amount of calculation compared to the prior art. However, the perspective transformation based on the above equation (1) is performed only for each vertex of a plurality of polygonal planes constituting the surface of the object to be displayed, whereas the reverse perspective based on the above equation (2) is used. The conversion is performed for all the points on the surface of the polygonal plane obtained by the hidden surface erasing process. Therefore, when the object occupies a wide range in the screen coordinate system, the inverse perspective transformation according to the above equation (2) has a large amount of calculation even if the calculation is thinned out.
[0028]
Next, a hidden surface removal process that is based on the z-buffer method and does not require reverse perspective transformation will be described. In this hidden surface removal process, the reverse perspective transformation is not required, so that the amount of calculation is further reduced. In this hidden surface removal process, the optical system is devised so that the screen coordinate system (x, y, z) and the hologram coordinate system (xh, yh, zh) substantially match with respect to the x, y component (xh, yh component). This eliminates the need for reverse perspective transformation. FIG. 1 is an explanatory diagram of an optical system that does not require reverse perspective transformation.
[0029]
As shown in this figure, the viewpoint 1 is at the focal position on the optical axis of the lens 2 having a focal length f. The position of the viewpoint 1 is the origin of each of the viewpoint coordinate system (xe, ye, ze) and the screen coordinate system (x, y, z). The directions from the viewpoint 1 toward the center position of the lens 2 are the ze direction and the z direction of the viewpoint coordinate system (xe, ye, ze) and the screen coordinate system (x, y, z), respectively. The spatial light modulator 3 is arranged on the optical axis of the lens 2 opposite to the viewpoint 1 and at a distance p from the center position of the lens 2 and perpendicular to the optical axis. Then, a hologram is formed on the spatial light modulation element 3 and irradiated with coherent parallel light from the left side of the spatial light modulation element 3 to reproduce a real image of the object on the right side of the spatial light modulation element 3. Assume that a virtual image is viewed from the viewpoint 1 through the lens 2.
[0030]
At this time, if each xo, yo, zo coordinate value of each point of the virtual image of the object is expressed in the viewpoint coordinate system (xe, ye, ze), each x, y, z coordinate value of the corresponding point of the real image of the object is ,
[Equation 3]

Is obtained by the following conversion formula. In the paraxial region, from Gaussian imaging formula,
[Expression 4]

You may approximate and convert by the conversion formula.
[0031]
When this equation (3) (or (4)) is compared with the above equation (1), the x and y coordinate values obtained by equation (3) (or (4)) can be obtained by equation (1). There is only a difference obtained by multiplying the obtained x and y coordinate values by the focal length f of the lens 2. That is, when only the x and y coordinate components are viewed, the screen coordinate system and the hologram coordinate system substantially coincide with each other. Therefore, xh, yh when the x, y coordinate values obtained in (3) (or (4)) are expressed in the hologram coordinate system (xh, yh, zh) for each point of the real image of this object. Use coordinate values. Here, the hologram coordinate system (xh, yh, zh) has an origin at the intersection of the spatial light modulator 3 and the optical axis of the lens 2, and zh is a direction parallel to the optical axis of the lens 2 and toward the lens 2. The axis.
[0032]
As for the x and y coordinate values, the space in the screen coordinate system obtained by the conversion according to equation (1) is virtual, so the wavefront propagation cannot be calculated directly. On the other hand, since the hologram coordinate system obtained by the conversion according to the equation (3) is in real space, the hologram surface (the spatial light modulation element 3 is disposed without returning to the viewpoint coordinate system after the conversion). The wavefront on the surface can be directly calculated by the Fresnel transform method using FFT or the spherical wave method.
[0033]
Therefore, to convert the coordinate value representing each point of the real image of the object in the viewpoint coordinate system (xe, ye, ze) to the coordinate value represented in the hologram coordinate system (xh, yh, zh), xh, yh The coordinate value is immediately obtained from the x and y coordinate values obtained by the above equation (3), while the zh coordinate value is
[Equation 5]

It is calculated by the following conversion formula. Then, a hologram can be created by calculating the wavefront propagating from each point of the real image of the object represented by the hologram coordinate system (xh, yh, zh) to the spatial light modulator 3.
[0034]
(First embodiment)
Next, a first embodiment will be described. FIG. 2 is a configuration diagram of the computer generated hologram display device according to the first embodiment. In this embodiment, a z-buffer method is employed, and the above-described perspective transformation and reverse perspective transformation are performed to calculate and display a hologram.
[0035]
First, the configuration of the display unit 10 and each coordinate system in the computer generated hologram display device will be described. The display unit 10 receives a light source 11 that outputs laser light that is coherent light, a collimator 12 that expands the light beam diameter of the laser light to make a parallel light beam, and the laser light that has been made the parallel light beam as a reference wave. And a spatial light modulator 13 that reproduces a real image or a virtual image of the object. These are fixed integrally with each other, and the direction of the optical axis is controlled by the control unit 14.
[0036]
The viewpoint 1 is on the opposite side of the light source 11 and the collimator 12 with respect to the spatial light modulator 13 and at a position of a distance p. The viewpoint position detector 15 detects the position of the viewpoint 1 and gives the information to the control unit 14. The control unit 14 controls the optical axis direction of the display unit 10 based on the position information of the viewpoint 1 detected by the viewpoint position detector 15 so that the viewpoint 1 exists on the optical axis of the display unit 10. This enlarges the viewing zone. In this figure, the control unit 14 shows a case where the display unit 10 is rotated around the position where the virtual image is reproduced (the origin of the object coordinate system).
[0037]
In the viewpoint coordinate system (xe, ye, ze), the viewpoint 1 is the origin, and the direction toward the spatial light modulator 13 is the ze axis. Similarly, in the screen coordinate system (x, y, z), the viewpoint 1 is the origin, and the direction toward the spatial light modulator 13 is the z axis. The object coordinate system (xo, yo, zo) is a coordinate system set to an image (either a real image or a virtual image) of an object to be reproduced. The hologram coordinate system (xh, yh, zh) is coordinates set in the spatial light modulation element 13 on which the hologram is formed. In this embodiment, the world coordinate system and the viewpoint coordinate system are the same. Of these coordinate systems, the screen coordinate system is in the virtual space, and the other coordinate systems are in the real space.
[0038]
Since the control unit 14 and the viewpoint position detector 15 control the viewpoint 1 so that the viewpoint 1 always exists on the optical axis of the display unit 10, the xe, ye, and ze axes of the viewpoint coordinate system (xe, ye, ze) respectively. , X, y, z axes of screen coordinate system (x, y, z), xo, yo, zo axes of object coordinate system (xo, yo, zo), and hologram coordinate system (xh, yh, zh) ) Xh, yh, and zh axes are always parallel to each other.
[0039]
In the case of reproducing a real image, the origin of the object coordinate system (xo, yo, zo) is a position at a distance l from the origin of the hologram coordinate system (xh, yh, zh) to the viewpoint 1 (from the viewpoint 1). When the virtual image is reproduced, the origin of the object coordinate system (xo, yo, zo) is in the direction of the light source 11 from the origin of the hologram coordinate system (xh, yh, zh). It is assumed that it is at a position of distance l (position of distance m + 2l from viewpoint 1).
[0040]
The instruction unit 16 instructs parallel movement, rotation, or enlargement / reduction of a real image or a virtual image of an object to be reproduced. For example, a keyboard, a mouse, a joystick, or the like is preferably used. In addition, the data storage unit 21 includes coordinate values and luminance values (including color information, which are expressed in the object coordinate system (xo, yo, zo) for each vertex of the polygonal plane representing the object to be reproduced. .) Is remembered.
[0041]
The affine transformation unit 22 is instructed via the coordinate unit and the luminance value representing each vertex of the polygonal plane stored in the data storage unit 21 in the object coordinate system (xo, yo, zo), and the instruction unit 16. Information about the parallel movement, rotation or enlargement / reduction of the reproduced image, and the displacement amount of the viewpoint 1 detected by the viewpoint position detector 15,
[Formula 6]

And a coordinate value representing each vertex of the polygonal planar body in the viewpoint coordinate system (xe, ye, ze) is output.
[0042]
Here, the matrix Td is for translating the reproduced image, the matrix Trx is for rotating the reproduced image about the xo axis, and the matrix Try is for rotating the reproduced image about the yo axis. The matrix Trz is for rotating the reproduced image around the zo axis, and the matrix Ts is for enlarging / reducing the reproduced image.
[0043]
The parallel movement amounts in the xo, yo, and zo axis directions of the reproduced image input from the instruction unit 16 are tx, ty, and tz, respectively, and the rotation amounts around the xo, yo, and zo axes are rx, ry, and rz, respectively. And sx, sy, and sz are the enlargement / reduction ratios in the xo, yo, and zo axis directions, respectively. In addition, the displacement amounts of the viewpoint 1 detected by the viewpoint position detector 15 in the xe, ye, and ze axis directions are Δex, Δey, and Δez, respectively. At this time, each of the matrices Td, Trx, Try, Trz, and Ts is expressed as follows.
[0044]
That is, the matrix Td is
[Expression 7]

It is represented by
[0045]
The matrix Trx is
[Equation 8]

It is represented by
[0046]
The matrix Try is
[Equation 9]

It is represented by
[0047]
The matrix Trz is
[Expression 10]

It is represented by
[0048]
The matrix Ts is
[Expression 11]

It is represented by
[0049]
The perspective transformation unit 23 inputs a coordinate value and a luminance value representing each vertex of the polygonal plane output from the affine transformation unit 22 in the viewpoint coordinate system (xe, ye, ze),
[Expression 12]

A perspective transformation expressed by the following transformation formula is performed, and a coordinate value and a luminance value representing each vertex of the polygonal plane in the screen coordinate system (x, y, z) are output.
[0050]
The internal coordinate value generation unit 24 inputs coordinate values and luminance values representing the vertices of the polygonal plane output from the perspective transformation unit 23 in the screen coordinate system (x, y, z), and the polygon plane The x, y, and z coordinate values of all points inside the body are generated and output sequentially, and the luminance value is output after shading or bitmap processing. When generating the coordinate values of all the points inside this polygonal plane, each of the plurality of polygonal planes constituting the polygonal plane is appropriately divided into two, and the two points at each end are sequentially updated. The difference between two coordinate values (Δx, Δy, Δz) divided by the hologram pitch on the screen coordinate system is added sequentially as a constant to obtain the x, y, z coordinate values of all internal pixels. .
[0051]
In the present embodiment, the internal coordinate value generation unit 24 is provided after the perspective conversion unit 23 to perform perspective conversion only for each vertex of the polygonal plane, but the straight line in the viewpoint coordinate system is perspective conversion. Since it becomes a straight line in the screen coordinate system later, the perspective conversion unit 23 may be provided in the subsequent stage of the internal coordinate value generation unit 24.
[0052]
The screen coordinate value generation unit 25 sequentially generates and outputs x, y coordinate values of all points on the x, y plane in the screen coordinate system.
[0053]
The address selection unit 26 inputs the x and y coordinate values output from the internal coordinate value generation unit 24 and the x and y coordinate values output from the screen coordinate value generation unit 25 and selects one of them. And output. The x and y coordinate values output from the address selection unit 26 are input to the luminance value memory 27 and the distance memory 28 as addresses.
[0054]
The luminance value memory 27 stores the luminance value output from the internal coordinate value generation unit 24 at the address indicated by the x, y coordinate values output from the address selection unit 26. The distance memory 28 stores the z coordinate value output from the internal coordinate value generation unit 24 at the address indicated by the x, y coordinate values output from the address selection unit 26. Each of the luminance value memory 27 and the distance memory 28 has a double bank structure, and the stored contents can be updated in one bank and the stored contents can be read out in the other bank at the same time.
[0055]
That is, the address selection unit 26 uses the x, y coordinate values output from the internal coordinate value generation unit 24 as addresses at the time of update storage of one bank of the luminance value memory 27 and the distance memory 28, and generates screen coordinate values. The x and y coordinate values output from the unit 25 are used as addresses for reading from the other bank.
[0056]
The distance comparison unit 29 is newly output from the z coordinate value already stored in the distance memory 28 at the address indicated by the x and y coordinate values output from the address selection unit 26 and the internal coordinate value generation unit 24. Compare the z coordinate value with the size. When the distance comparison unit 29 determines that the latter value is large (that is, close to viewpoint 1), it outputs a write permission signal to each of the luminance value memory 27 and the distance memory 28, and the internal coordinates An instruction is given to update and store each of the luminance value and z coordinate value newly output from the value generating unit 24. The distance comparison unit 29 performs this operation for all points inside the polygonal plane. In the initial state, the distance memory 28 stores the contents that the distance comparison unit 29 can always output the write permission signal at all addresses.
[0057]
In this way, the luminance value memory 27 and the distance memory 28 whose contents are updated and stored by the distance comparison unit 29 for all the points inside the polygonal planar body are respectively luminances that have been subjected to hidden surface removal processing based on the z-buffer method. Holds each value and z coordinate value expressed in the screen coordinate system. Therefore, each of the luminance value memory 27 and the distance memory 28 sequentially inputs the x and y coordinate values output from the screen coordinate value generation unit 25 and reached through the address selection unit 26 as addresses, and the luminances stored at the addresses. The value and z coordinate value are output sequentially.
[0058]
The reverse perspective conversion unit 30 outputs the x and y coordinate values output from the screen coordinate value generation unit 25, and the luminance values and z coordinates output from the luminance value memory 27 and the distance memory 28 according to the xy coordinate values, respectively. Enter each value,
[Formula 13]

Is converted to the reverse perspective to the coordinate value represented by the viewpoint coordinate system (xe, ye, ze).
[0059]
Further, the hologram coordinate conversion unit 31 inputs the coordinate value and the luminance value expressed in the viewpoint coordinate system (xe, ye, ze) output from the inverse perspective conversion unit 30;
[Expression 14]

Is converted into a coordinate value represented by a hologram coordinate system (xh, yh, zh).
[0060]
Then, the hologram calculation unit 32 inputs coordinate values and luminance values expressed by the hologram coordinate system (xh, yh, zh) output from the hologram coordinate conversion unit 31, and calculates wavefront propagation based on these data. The wavefront at the position of the spatial light modulator 13, that is, hologram data is calculated. In this wavefront calculation, when reproducing a virtual image, the wavefront on the spatial light modulator 13 is obtained using the Fresnel transformation method or the spherical wave method, and when reproducing the real image, the Fresnel inverse transformation method or the spherical wave method is used. After the calculation according to the above, a complex conjugate is taken to obtain the wavefront on the spatial light modulator 13, which is used as hologram data. Further, the hologram calculation unit 32 displays this hologram data on the spatial light modulation element 13 capable of modulating both amplitude and / or phase. The spatial light modulator 13 reproduces a real image or a virtual image of the object when the laser light output from the light source 11 is irradiated through the collimator 12.
[0061]
As described above, in the computer generated hologram display device according to the present embodiment, the coordinate value and the luminance value of each vertex of the polygonal planar body are expressed by the data storage unit 21 in the object coordinate system (xo, yo, zo). The affine transformation unit 22 performs parallel movement, rotation, enlargement / reduction, and viewpoint tracking, and is represented in the viewpoint coordinate system (xe, ye, ze). The perspective transformation unit 23 performs perspective transformation. Expressed in the screen coordinate system (x, y, z). Further, the coordinates after the hidden surface removal processing based on the z buffer method is performed by the internal coordinate value generation unit 24, the selection unit 26, the luminance value memory 27, the distance memory 28, and the distance comparison unit 29, and the hidden surface removal processing is performed. The value and the luminance value are held as the address (x, y coordinate value) and the stored content (z coordinate value) of the distance memory 28 and the stored content of the luminance value memory 27. The coordinate value and the luminance value after the hidden surface erasure processing are read from the distance memory 28 and the luminance value memory 27 by the screen coordinate value generation unit 25, and reversed to the viewpoint coordinate system (xe, ye, ze) by the reverse perspective conversion unit 30. The perspective transformation is performed, the hologram coordinate conversion unit 31 converts it into a hologram coordinate system (xh, yh, zh), and the hologram calculation unit 32 performs wavefront calculation to calculate hologram data. Then, a hologram is formed on the spatial light modulation element 13 based on the hologram data, and when the coherent light emitted from the light source 11 is irradiated onto the spatial light modulation element 13, an object image (either a real image or a virtual image) is formed. Played.
[0062]
As described above, by employing the z buffer method, the amount of calculation is less than that of the prior art, so that the hologram can be calculated in a short time. Therefore, it is possible to realize a computer generated hologram display apparatus that can smoothly perform parallel movement, rotation, or enlargement / reduction of a reproduced image and that can follow the viewpoint at high speed.
[0063]
(Second Embodiment)
Next, a second embodiment will be described. FIG. 3 is a configuration diagram of a computer generated hologram display device according to the second embodiment. This embodiment employs the z-buffer method and performs the above-described perspective transformation, but calculates and displays a hologram without devising the optical system and performing the reverse perspective transformation.
[0064]
First, the configuration of the display unit and each coordinate system in this computer generated hologram display device will be described. This display unit is provided corresponding to each of the right viewpoint 1R and the left viewpoint 1L. Of the display unit, the portion corresponding to the right viewpoint 1R is a light source 11R that outputs laser light that is coherent light, a collimator 12R that expands the light beam diameter of the laser light to form a parallel light beam, and the parallel light beam. A mirror 41R that reflects laser light, a polarizing plate 42R that linearly polarizes the laser light reflected by the mirror 41R, and spatial light modulation that reproduces a real image of an object by inputting the laser light that has been linearly polarized as a reference wave The element 13R, a polarizing plate 43R that transmits a linearly polarized light component in a predetermined direction out of the light output from the spatial light modulator 13R, and a lens that inputs the light output from the polarizing plate 43R and forms a virtual image of the object 44R, and mirrors 45R and 46R that sequentially reflect the light to reach the viewpoint 1R.
[0065]
Among these, the light source 11R, the collimator 12R, the mirror 41R, the polarizing plate 42R, the spatial light modulation element 13R, the polarizing plate 43R, and the lens 44R are integrated with each other and their positions are fixed. On the other hand, the mirrors 45R and 46R are controlled by the control unit 14R so that the viewpoint 1R exists at the focal position of the lens 44R based on the position information of the viewpoint 1R detected by the viewpoint position detector 15R.
[0066]
Similarly, the portion of the display unit corresponding to the left viewpoint 1L includes the light source 11L, the collimator 12L, the mirror 41L, the polarizing plate 42L, the spatial light modulator 13L, the polarizing plate 43L, and the lens 44L. Mirrors 45L and 46L are provided. Similarly, among these, the light source 11L, the collimator 12L, the mirror 41L, the polarizing plate 42L, the spatial light modulation element 13L, the polarizing plate 43L, and the lens 44L are integrated with each other and their positions are fixed. On the other hand, the mirrors 45L and 46L are controlled by the control unit 14L so that the viewpoint 1L exists at the focal position of the lens 44L based on the position information of the viewpoint 1L detected by the viewpoint position detector 15L. This enlarges the viewing zone.
[0067]
In the viewpoint coordinate system (xer, yer, zer) for the right viewpoint 1R, the right viewpoint 1R is the origin, the direction parallel to the optical axis of the lens 44R and toward the lens 44R is the zer axis. Similarly, in the viewpoint coordinate system (xel, yel, zel) for the left viewpoint 1L, the left viewpoint 1L is the origin, the direction parallel to the optical axis of the lens 44L and toward the lens 44L is the zel axis. The object coordinate system (xo, yo, zo) is a coordinate system set to a virtual image of the object to be reproduced, and the zer axis direction of the viewpoint coordinate system for the right viewpoint 1R and the viewpoint coordinate system for the left viewpoint 1L. The intersection point with the zel axis direction is the origin, and the direction toward the midpoint between the right viewpoint 1R and the left viewpoint 1L is the zo axis. Each of the hologram coordinate systems (xhr, yhr, zhr) and (xhl, yhl, zhl) is a coordinate set for each of the spatial light modulation elements 13R and 13L on which the hologram is formed. In the present embodiment, the world coordinate system and the object coordinate system are the same. These coordinate systems are all in real space.
[0068]
The distance between the right viewpoint 1R and the left viewpoint 1L is assumed to be the distance W in the initial state. The distance between the spatial light modulator 13R and the lens 44R is p, and the distance between the spatial light modulator 13L and the lens 44L is also p. Let m be the distance from the origin of the object coordinate system (xo, yo, zo) to the midpoint between the right viewpoint 1R and the left viewpoint 1L.
[0069]
The instruction unit 16 instructs parallel movement, rotation, or enlargement / reduction of the virtual image of the object to be reproduced. For example, a keyboard, a mouse, a joystick, or the like is preferably used. In addition, the data storage unit 21 includes coordinate values and luminance values (including color information, which are expressed in the object coordinate system (xo, yo, zo) for each vertex of the polygonal plane representing the object to be reproduced. .) Is remembered.
[0070]
The coordinate values and luminance values stored in the data storage unit 21 are input to the affine transformation units 22R and 22L, and thereafter, the holograms are calculated corresponding to the right viewpoint 1R and the left viewpoint 1L, respectively. Processing is performed by a configuration independent from each other. Below, the structure which calculates the hologram corresponding to the right viewpoint 1R first is demonstrated.
[0071]
The affine transformation unit 22 </ b> R is instructed via the coordinate value and the luminance value representing each vertex of the polygonal planar body stored in the data storage unit 21 in the object coordinate system (xo, yo, zo), and the instruction unit 16. Information about the parallel movement, rotation or enlargement / reduction of the reproduced virtual image, and the displacement amount of the right viewpoint 1R detected by the viewpoint position detector 15R,
[Expression 15]

The coordinate value which represents each vertex of the polygonal plane by the viewpoint coordinate system (xer, yer, zer) is output.
[0072]
Here, the matrix Trd is for translating the reproduction virtual image, the matrix Trrx is for rotating the reproduction virtual image around the xo axis, and the matrix Try is a rotation of the reproduction virtual image around the yo axis. The matrix Trrz is for rotating the reproduced virtual image around the zo axis, and the matrix Trs is for enlarging / reducing the reproduced virtual image.
[0073]
The parallel movement amounts of the reproduced virtual image input from the instruction unit 16 in the xo, yo, and zo axis directions are tx, ty, and tz, respectively, and the rotation amounts around the xo, yo, and zo axes are rx, ry, and rz, respectively. And sx, sy, and sz are the enlargement / reduction ratios in the xo, yo, and zo axis directions, respectively. Further, the displacements in the xer, yer, and zer axial directions of the right viewpoint 1R detected by the viewpoint position detector 15R are assumed to be Δerx, Δery, and Δerz, respectively. At this time, each of the matrices Trd, Trrx, Try, Trrz, and Trs is expressed as follows.
[0074]
That is, the matrix Trd is
[Expression 16]

It is represented by
[0075]
The matrix Trrx is
[Expression 17]

It is represented by
[0076]
The matrix Try is
[Formula 18]

It is represented by
[0077]
The matrix Trrz is
[Equation 19]

It is represented by
[0078]
The matrix Trs is
[Expression 20]

It is represented by
[0079]
The internal coordinate value generation unit 24R inputs coordinate values and luminance values representing each vertex of the polygonal plane output from the affine transformation unit 22R in the viewpoint coordinate system (xer, yer, zer), and the polygon plane The xer, yer, and zer coordinate values of all points inside the body are generated and output sequentially, and the luminance value is output after shading or bitmap processing. When generating the coordinate values of all the points inside this polygonal plane, each of the plurality of polygonal planes constituting the polygonal plane is appropriately divided into two, and the two points at each end are sequentially updated. Real image conversion is performed by converting the coordinates of the two points into a real image, and calculating the number of samples by dividing the difference between the two points on the hologram coordinate system by the pitch of the hologram (Δxhr, Δyhr, Δzhr). Divide the difference (Δxer, Δyer, Δzer) in the previous viewpoint coordinate system (xer, yer, zer) by the division constant, add this as a constant, and add xer, yer, zer coordinates of all the internal pixels Find the value.
[0080]
The real image conversion unit 51R inputs coordinate values and luminance values representing all points inside the polygonal plane output from the internal coordinate value generation unit 24R in the viewpoint coordinate system (xer, yer, zer),
[Expression 21]

Perform the conversion. Here, f is the focal length of the lens 44R. The x, y coordinate values obtained by this real image conversion are the same as the xhr, yhr coordinate values in the hologram coordinate system (xhr, yhr, zhr), respectively. In the paraxial region, from Gaussian imaging formula,
[Expression 22]

You may approximate and convert by the conversion formula.
[0081]
The hologram coordinate value generation unit 52R sequentially generates and outputs xhr, yhr coordinate values of all points on the xhr, yhr plane in the hologram coordinate system (xhr, yhr, zhr). Each of the luminance value memory 27R and the distance memory 28R has a double bank structure, and the stored contents can be updated in one bank and the stored contents can be read out in the other bank at the same time. Each of the luminance value memory 27R and the distance memory 28R receives the xhr, yhr coordinate value output from the real image conversion unit 51R as an address at the time of update storage, and the xhr, yhr coordinate value output from the hologram coordinate value generation unit 52R. Input as an address for reading. The luminance value memory 27R updates and stores the luminance value output from the real image conversion unit 51R, and the distance memory 28R updates and stores or reads the z coordinate value output from the real image conversion unit 51R.
[0082]
The distance comparison unit 29R includes the z coordinate value already stored in the distance memory 28R at the address indicated by the xhr and yhr coordinate values output from the real image conversion unit 51R, and the z coordinate newly output from the real image conversion unit 51R. Compare the value with the size. When the distance comparison unit 29R determines that the latter value is large (that is, close to the right viewpoint 1R), the distance comparison unit 29R outputs a write permission signal to each of the luminance value memory 27R and the distance memory 28R to obtain a real image. An instruction is given to update and store each of the luminance value and the z coordinate value newly output from the conversion unit 51R. The distance comparison unit 29R performs this operation on all the points inside the polygonal plane. In the initial state, the distance memory 28R stores the contents that the distance comparison unit 29R can always output the write permission signal at all addresses.
[0083]
In this way, the luminance value memory 27R and the distance memory 28R whose contents are updated and stored by the distance comparison unit 29R for all the points inside the polygonal planar body are respectively subjected to the hidden surface erasure processing based on the z buffer method. Holds each value and z-coordinate value. Therefore, each of the luminance value memory 27R and the distance memory 28R sequentially inputs the xhr and yhr coordinate values output from the hologram coordinate value generation unit 52R as addresses, and each of the luminance values and z coordinate values stored at the addresses is input. Output sequentially.
[0084]
Then, the hologram calculation unit 32R reads out the xhr, yhr coordinate values output from the hologram coordinate value generation unit 52R, and the z values read from the distance memory 28R and the luminance value memory 27R using the xhr, yhr coordinate values as addresses. Enter each coordinate value and brightness value,
[Expression 23]

The input z coordinate value is converted into a zhr coordinate value on the hologram coordinate system (xhr, yhr, zhr). Further, the hologram calculation unit 32R calculates wavefront propagation based on these data, and calculates the wavefront at the position of the spatial light modulator 13R, that is, hologram data. In this wavefront calculation, the wavefront on the spatial light modulator 13R is obtained by using the Fresnel transformation method or the spherical wave method, and this is used as hologram data. In addition, the hologram calculation unit 32R displays this hologram data on the spatial light modulation element 13R that can modulate both amplitude and / or phase. The spatial light modulator 13R reproduces a real image of the object between the spatial light modulator 13R and the lens 44R when the laser beam output from the light source 11R is irradiated through the collimator 12R and the like, and The lens 44R forms a virtual image of the object at the intersection of the right viewpoint 1R and the left viewpoint 1L.
[0085]
Next, a configuration for calculating a hologram corresponding to the left viewpoint 1L will be described. The affine transformation unit 22 </ b> L is instructed via the coordinate value and luminance value representing each vertex of the polygonal plane body stored in the data storage unit 21 in the object coordinate system (xo, yo, zo), and the instruction unit 16. Information about the parallel movement, rotation or enlargement / reduction of the reproduced virtual image, and the displacement of the left viewpoint 1L detected by the viewpoint position detector 15L,
[Expression 24]

To output a coordinate value representing each vertex of the polygonal plane in the viewpoint coordinate system (xel, yel, zel).
[0086]
Here, the matrix Tld is for translating the reproduced virtual image, the matrix Tlrx is for rotating the reproduced virtual image about the xo axis, and the matrix Tlry is the reproduced virtual image about the yo axis. The matrix Tlrz is for rotating the reproduced virtual image around the zo axis, and the matrix Tls is for enlarging / reducing the reproduced virtual image.
[0087]
The parallel movement amounts of the reproduced virtual image input from the instruction unit 16 in the xo, yo, and zo axis directions are tx, ty, and tz, respectively, and the rotation amounts around the xo, yo, and zo axes are rx, ry, and rz, respectively. And sx, sy, and sz are the enlargement / reduction ratios in the xo, yo, and zo axis directions, respectively. Further, the displacements in the xel, yel, and zel axial directions of the left viewpoint 1L detected by the viewpoint position detector 15L are respectively Δelx, Δely, and Δelz. At this time, each of the matrices Tld, Tlrx, Tlry, Tlrz, and Tls is expressed as follows.
[0088]
That is, the matrix Tld is
[Expression 25]

It is represented by
[0089]
The matrix Tlrx is
[Equation 26]

It is represented by
[0090]
The matrix Tlry is
[Expression 27]

It is represented by
[0091]
The matrix Tlrz is
[Expression 28]

It is represented by
[0092]
The matrix Tls is
[Expression 29]

It is represented by
[0093]
The internal coordinate value generation unit 24L inputs coordinate values and luminance values representing the vertices of the polygonal plane output from the affine transformation unit 22L in the viewpoint coordinate system (xel, yel, zel), and the polygon plane The xel, yel, and zel coordinate values of all points inside the body are generated and output sequentially, and the luminance value is output after shading or bitmap processing. Generation of the coordinate values of all points inside the polygonal plane is performed in the same manner as in the internal coordinate value generation unit 24R.
[0094]
The real image conversion unit 51L inputs coordinate values and luminance values representing all points inside the polygonal plane body output from the internal coordinate value generation unit 24L in the viewpoint coordinate system (xel, yel, zel),
[30]

Perform the conversion. Here, f is the focal length of the lens 44L. The x and y coordinate values obtained by this real image conversion are the same as the xhl and yhl coordinate values in the hologram coordinate system (xhl, yhl, zhl), respectively. In the paraxial region, from Gaussian imaging formula,
[31]

You may approximate and convert by the conversion formula.
[0095]
The hologram coordinate value generator 52L sequentially generates and outputs xhl, yhl coordinate values of all points on the xhl, yhl plane in the hologram coordinate system (xhl, yhl, zhl). Each of the luminance value memory 27L and the distance memory 28L has a double bank structure, and the stored contents can be updated in one bank and the stored contents can be read out in the other bank at the same time. Each of the luminance value memory 27L and the distance memory 28L inputs the xhl, yhl coordinate value output from the real image conversion unit 51L as an address at the time of update storage, and the xhl, yhl coordinate value output from the hologram coordinate value generation unit 52L. Input as an address for reading. The luminance value memory 27L updates and stores the luminance value output from the real image conversion unit 51L, and the distance memory 28L updates and stores or reads the z coordinate value output from the real image conversion unit 51L.
[0096]
The distance comparison unit 29L includes the z coordinate value already stored in the distance memory 28L at the address indicated by the xhl and yhl coordinate values output from the real image conversion unit 51L, and the z coordinate newly output from the real image conversion unit 51L. Compare the value with the size. When the distance comparison unit 29L determines that the latter value is large (that is, close to the left viewpoint 1L), it outputs a write permission signal to each of the luminance value memory 27L and the distance memory 28L, and the real image It instructs to update and store each of the luminance value and z coordinate value newly output from the conversion unit 51L. The distance comparison unit 29L performs this operation for all the points inside the polygonal plane. In the initial state, the distance memory 28L stores the contents that the distance comparison unit 29L can always output the write permission signal at all addresses.
[0097]
In this way, the luminance value memory 27L and the distance memory 28L, whose contents are updated and stored by the distance comparison unit 29L for all the points inside the polygonal plane, are each subjected to the hidden surface erasure processing based on the z buffer method. Holds each value and z-coordinate value. Therefore, each of the luminance value memory 27L and the distance memory 28L sequentially inputs the xhl and yhl coordinate values output from the hologram coordinate value generation unit 52L as addresses, and the luminance value and z coordinate value stored at the addresses are respectively input. Output sequentially.
[0098]
Then, the hologram calculation unit 32L reads the xhl, yhl coordinate values output from the hologram coordinate value generation unit 52L, and z read from the distance memory 28L and the luminance value memory 27L using the xhl, yhl coordinate values as addresses. Enter each coordinate value and brightness value,
[Expression 32]

The input z coordinate value is converted into a zhl coordinate value on the hologram coordinate system (xhl, yhl, zhl). Further, the hologram calculation unit 32L calculates wavefront propagation based on these data, and calculates the wavefront at the position of the spatial light modulator 13L, that is, hologram data. In this wavefront calculation, the wavefront on the spatial light modulator 13L is obtained using the Fresnel transform method or the spherical wave method, and this is used as hologram data. Further, the hologram calculation unit 32L displays this hologram data on the spatial light modulation element 13L that can modulate both or one of the amplitude and the phase. The spatial light modulator 13L reproduces a real image of the object between the spatial light modulator 13L and the lens 44L when the laser light output from the light source 11L is irradiated through the collimator 12L and the like, The lens 44L forms a virtual image of the object at the intersection of the right viewpoint 1R and the left viewpoint 1L.
[0099]
As a specific example of the computer generated hologram display device according to the present embodiment, the light sources 11R and 11L are He-Ne laser light sources, the lenses 44R and 44L are those having a focal length of 30 cm, and spatial light. The modulation elements 13R and 13L are TN type liquid crystal display elements (LCX012AL manufactured by Sony Corporation, the number of pixels is 640 × 480 pixels, the pitch is 41.4 μm), placed on the front focal plane of the lenses 44R and 44L, and polarizing plates on both sides Is placed. In this case, since each of the spatial light modulation elements 13R and 13L does not modulate both the amplitude and phase of the incident laser light (reference wave), the reproduced virtual image of the object also includes a conjugate image.
[0100]
This unnecessary conjugate image is removed as follows. FIG. 4 is an explanatory diagram of a conjugate image removal method. In this figure, the optical system from the spatial light modulation element 13R to the right viewpoint 1R is simplified. Now, it is assumed that a semicircular cosine wave zone plate 60R is written in the spatial light modulator 13R, and laser light (reference wave) that is coherent light is input from the left side, Modulate any of the phases. A virtual image 71 and a real image 72 are obtained as reproduced images by the cosine wave zone plate 60R. The virtual image 71 is on one half plane on the rear focal plane of the lens 44R, and the real image 72 is on the other half plane. Therefore, a 0th-order light shielding mask 61R that shields the 0th-order light and a conjugate image shielding mask 62R that shields one half plane are provided on the rear focal plane of the lens 44R, and the right viewpoint 1R is behind them. Put. By doing so, one of the real image and the virtual image can be selected, and the reproduction image can be prevented from being deteriorated due to the conjugate image peculiar to the in-line type. In this figure, a conjugate image light shielding mask 62R is disposed so as to remove the virtual image 71, and only the virtual image 73 by the lens 44R of the real image 72 can be observed from the viewpoint 1R.
[0101]
In order to apply this method to the configuration shown in FIG. 3, a semicircular cosine wave zone plate is accumulated corresponding to each luminescent spot on the surface of the object to be reproduced and added to each of the spatial light modulators 13R and 13L. Hologram data to be displayed is created, the 0th-order light shielding mask 61R and the conjugate image shielding mask 62R are placed immediately before the right viewpoint 1R, and the 0th-order light shielding mask 61L and the conjugate image shielding mask 62L are placed just before the left viewpoint 1L. Just place it.
[0102]
As described above, in the computer generated hologram display device according to the present embodiment, the coordinate value and the luminance value of each vertex of the polygonal planar body are expressed in the object coordinate system and stored in advance by the data storage unit 21. The affine transformation units 22R and 22L perform parallel movement, rotation, enlargement / reduction, and viewpoint tracking, and are expressed in the viewpoint coordinate system. Further, a real image capable of forming a virtual image of the object to be reproduced is obtained in the coordinate system in the real space by the internal coordinate value generating units 24R and 24L and the real image converting units 51R and 51L, and the luminance value memories 27R and 27L, the distance The memory 28R, 28L and the distance comparison units 29R, 29L perform hidden surface erasure processing based on the z buffer method, and the coordinate value and the luminance value after the hidden surface erasure processing are performed are the addresses of the distance memories 28R, 28L and their The stored contents and the stored contents of the luminance value memories 27R and 27L are retained. The coordinate value and the luminance value after the hidden surface erasure processing are read from the distance memories 28R and 28L and the luminance value memories 27R and 27L by the hologram coordinate value generation units 52R and 52L, and the wavefront calculation is performed by the hologram calculation units 32R and 32L. Hologram data is calculated. A hologram is formed on the spatial light modulation elements 13R and 13L based on the hologram data, and a real image is reproduced when the coherent light emitted from the light sources 11R and 11L is irradiated onto the spatial light modulation elements 13R and 13L. Based on the real image, a virtual image is formed by the lenses 44R and 44L.
[0103]
As described above, by employing the z buffer method, the amount of calculation is less than that of the prior art, so that the hologram can be calculated in a short time. Therefore, it is possible to realize a computer generated hologram display apparatus that can smoothly perform parallel movement, rotation, or enlargement / reduction of the reproduced virtual image and that can follow the viewpoint at high speed. Further, in the present embodiment, since the real image reproduced by the spatial light modulators 13R and 13L is converted into a virtual image by the lenses 44R and 44L, the reverse perspective conversion is not required, and therefore, compared to the first embodiment, Furthermore, the amount of calculation is small.
[0104]
【The invention's effect】
As described above in detail, according to the first computer generated hologram display device according to the present invention, the object image to be reproduced is perspective-transformed by the perspective transformation means and expressed in the screen coordinate system, and is hidden by the hidden surface elimination means. The hidden surface is erased based on the distance between each point on the object image represented by the screen coordinate system and the viewpoint. This hidden surface-erased object image on the screen coordinate system is inversely perspective transformed by the inverse perspective transformation means and expressed in the real space coordinate system, and is expressed in the real space coordinate system by the hologram calculation means. Hologram data is obtained by wavefront calculation based on the obtained object image. Then, a hologram is formed on the basis of the hologram data by the hologram forming means, and an object image is reproduced by irradiating the coherent light onto the hologram by the reproducing means. By doing in this way, the hologram by which the hidden surface removal process was made can be calculated | required in a short time with a small calculation amount. Therefore, when it is necessary to calculate the hologram at high speed, such as in the case of a viewpoint tracking method that displays an object image corresponding to the displacement of the viewpoint, or when displaying an object image by translation, rotation, or enlargement / reduction. It can be suitably applied to.
[0105]
Further, according to the second computer generated hologram display device of the present invention, the real image which can form the object image to be reproduced when viewed from the viewpoint placed at the focal position of the lens is real space by the real image converting means. It is obtained in the upper coordinate system, and hidden surface removal is performed by the hidden surface removal means based on the distance between each point on the real image and the viewpoint. The hologram calculation means calculates the wavefront based on the hidden surface-erased real image to obtain hologram data, and the hologram forming means forms a hologram based on the hologram data. The reproducing unit irradiates the hologram with coherent light to reproduce a real image, and the imaging optical system forms an object image based on the real image reproduced by the reproducing unit. In this case, since the hologram subjected to the hidden surface erasing process can be obtained in a short time with a smaller amount of calculation compared to the first computer generated hologram display device, the viewpoint follow-up method, parallel movement, rotation or enlargement can be obtained. / It is more suitable for application when displaying in a reduced size.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of an optical system that does not require reverse perspective transformation.
FIG. 2 is a configuration diagram of a computer generated hologram display device according to the first embodiment.
FIG. 3 is a configuration diagram of a computer generated hologram display device according to a second embodiment.
FIG. 4 is an explanatory diagram of a conjugate image removal method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1,1R, 1L ... Viewpoint, 2 ... Lens, 3 ... Spatial light modulation element, 4 ... Reproduction | regeneration real image, 5 ... Reproduction virtual image, 10 ... Display part, 11, 11R, 11L ... Light source, 12, 12R, 12L ... Collimator, 13, 13R, 13L ... Spatial light modulators, 14, 14R, 14L ... control unit, 15, 15R, 15L ... viewpoint position detector, 16 ... instruction unit, 21 ... data storage unit, 22, 22R, 22L ... affine transformation 23: Perspective conversion unit, 24 ... Internal coordinate value generation unit, 25 ... Screen coordinate value generation unit, 26 ... Address selection unit, 27, 27R, 27L ... Luminance value memory, 28, 28R, 28L ... Distance memory, 29 29R, 29L ... distance comparison unit, 30 ... reverse perspective conversion unit, 31 ... hologram coordinate conversion unit, 32, 32R, 32L ... hologram calculation unit, 41R, 41L ... mirror, 42R, 42L, 43 , 43L ... polarizing plate, 44R, 44L ... lens, 45R, 45L, 46R, 46L ... mirror, 51R, 51L ... real conversion unit, 52R, 52L ... hologram coordinate value generating portion.

Claims (6)

Perspective conversion means for perspective-transforming an object image to be reproduced and expressing it in a screen coordinate system;
Hidden surface erasing means for erasing the hidden surface based on the distance between each point on the object image represented in the screen coordinate system and the viewpoint;
Reverse perspective transformation means for inverse perspective transformation of the object image on the screen coordinate system that has been hidden plane erased by the hidden surface elimination processing means, and expressing it in a coordinate system on real space;
Hologram calculation means for obtaining hologram data by wavefront calculation based on the object image expressed in a coordinate system in real space by the inverse perspective transformation means;
Hologram forming means for forming a hologram based on the hologram data;
Reproducing means for reproducing the object image by irradiating the hologram with coherent light,
A computer generated hologram display device. Viewpoint detection means for detecting the position or displacement of the viewpoint;
Affine transformation means for affine transformation of an object image to be reproduced based on the position or displacement of the viewpoint detected by the viewpoint detection means;
Control means for controlling the optical axis of the reproduction means based on the position or displacement of the viewpoint detected by the viewpoint detection means;
The computer generated hologram display device according to claim 1, further comprising: Real image conversion means for obtaining a real image that can form an object image to be reproduced when viewed from the viewpoint placed at the focal point of the lens in a coordinate system in real space;
Hidden surface erasing means for erasing the hidden surface based on the distance between each point on the real image and the viewpoint;
Hologram calculation means for obtaining hologram data by wavefront calculation based on the real image hidden surface hidden by the hidden surface removal processing means;
Hologram forming means for forming a hologram based on the hologram data;
Reproducing means for reproducing the real image by irradiating the hologram with coherent light;
An imaging optical system having an imaging function substantially equivalent to the imaging function of the lens, and imaging the object image based on the real image reproduced by the reproducing means;
A computer generated hologram display device. Viewpoint detection means for detecting the position or displacement of the viewpoint;
Affine transformation means for affine transformation of an object image to be reproduced based on the position or displacement of the viewpoint detected by the viewpoint detection means;
Control means for controlling the optical axis of the imaging optical system based on the position or displacement of the viewpoint detected by the viewpoint detection means;
The computer generated hologram display device according to claim 3, further comprising: The imaging optical system is
A zero-order light blocking means disposed on a focal plane opposite to the hologram and blocking zero-order light;
A conjugate image light shielding unit arranged on a focal plane opposite to the hologram and shielding a wavefront of a conjugate image of the real image reproduced by the reproducing unit;
The computer generated hologram display device according to claim 3, further comprising: Instruction means for instructing parallel movement, rotation or enlargement / reduction of an object image to be reproduced;
Affine transformation means for affine transformation of an object image to be reproduced based on the parallel movement, rotation or enlargement / reduction indicated by the instruction means;
The computer generated hologram display device according to claim 1, further comprising:

Images