JP6998102B2 - ホログラフィック投影のための、表示装置に対する画素マッピング - Google Patents

ホログラフィック投影のための、表示装置に対する画素マッピング Download PDF

Info

Publication number
JP6998102B2
JP6998102B2 JP2019186092A JP2019186092A JP6998102B2 JP 6998102 B2 JP6998102 B2 JP 6998102B2 JP 2019186092 A JP2019186092 A JP 2019186092A JP 2019186092 A JP2019186092 A JP 2019186092A JP 6998102 B2 JP6998102 B2 JP 6998102B2
Authority
JP
Japan
Prior art keywords
hologram
input
pixels
tiling
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019186092A
Other languages
English (en)
Other versions
JP2020076973A (ja
Inventor
ウェンジエロウ マイケル
クリスマス ジェイミーソン
Original Assignee
デュアリタス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デュアリタス リミテッド filed Critical デュアリタス リミテッド
Publication of JP2020076973A publication Critical patent/JP2020076973A/ja
Application granted granted Critical
Publication of JP6998102B2 publication Critical patent/JP6998102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B27/0103Head-up displays characterised by optical features comprising holographic elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/10Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12Spatial modulation, e.g. ghost imaging
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32Systems for obtaining speckle elimination
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0066Adaptation of holography to specific applications for wavefront matching wherein the hologram is arranged to convert a predetermined wavefront into a comprehensive wave, e.g. associative memory
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208Individual components other than the hologram
    • G03H2001/0224Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • G03H2001/2228Particular relationship between light source, hologram and observer adapted for reflection and transmission reconstruction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2252Location of the holobject
    • G03H2001/2255Holobject out of Fourier or hologram planes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • G03H2001/2297Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • G03H2001/306Tiled identical sub-holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00Hologram nature or properties
    • G03H2240/50Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56Resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、空間光変調器のドライバ、空間光変調器のタイリングエンジン、および空間光変調器を駆動する方法に関する。さらに詳細には、本開示は、ホログラフィックプロジェクタ、およびホログラフィック投影の方法に関する。いくつかの実施形態は、ホログラフィック投影の品質を向上させる方法、およびホログラフィック投影の解像度を増加させる方法に関する。他の実施形態は、入力ホログラムの画素を表示画素にマッピングするためのホログラムプロセッサ、およびホログラム画素を、画素を含む表示装置にマッピングする方法に関する。別の実施形態は、ホログラフィックプロジェクタを備えるヘッドアップディスプレイに関する。
物体から散乱した光は、振幅情報および位相情報の両方を含む。この振幅情報および位相情報は、ホログラフィと呼ばれる干渉技法を使用して、感光板またはフィルムで捕捉することができる。感光板またはフィルムで捕捉されたパターンは、ホログラフィック記録物、またはホログラムと呼ばれる。ホログラムは、物体を再構成するために用いられてもよい。ホログラムによって形成された物体の再構成は、ホログラフィック再構成と呼ばれる。ホログラフィック再構成は、ホログラムを適切な光で照明することによって形成されてもよい。
コンピュータ生成コンピュータ生成ホログラフィは、光の干渉によってホログラムを形成するために使用される工程を数値的にシミュレートしてもよい。コンピュータ生成コンピュータ生成ホログラムは、数学的変換を使用して計算されてもよい。数学的変換は、フーリエ変換に基づいてもよい。数学的変換は、フーリエ変換またはフレネル変換であってもよい。対象画像のフーリエ変換を行うことによって計算されたホログラムは、フーリエ変換ホログラム、またはフーリエホログラムと呼ばれてもよい。フーリエホログラムは、対象画像の表現であるフーリエ領域または周波数領域と考えられてもよい。フレネル変換を使用して計算されたホログラムは、フレネルホログラムと呼ばれてもよい。
コンピュータ生成コンピュータ生成ホログラムは、ホログラム画素と呼ばれ得る、ホログラム値の配列を含んでもよい。各ホログラム値は、位相値および/または振幅値であってもよい。各ホログラム値は、複数の許容値のうちの1つに制限されてもよく、例えば、量子化されてもよい。コンピュータ生成ホログラムは、表示装置に表示されてもよい。許容値の選択は、ホログラムの表示に用いられる表示装置に基づいてもよい。複数の許容値は、表示装置の性能に基づいてもよい。
表示装置は、画素の配列を含む空間光変調器であってもよい。空間光変調器は、液晶装置であってもよく、この場合、各画素は個別にアドレス可能な、複屈折を有する液晶セルである。各画素は、対応するホログラム画素に従って、光の振幅および/または位相を変調してもよい。各画素は、光変調素子、および光変調素子を駆動するように構成された画素回路を含む。ホログラムは、光変調パターンと考えられてもよい。
ホログラフィック再構成は、表示されたホログラムを適切な光で照明することによって形成されてもよい。入射光の振幅および/または位相は、光変調パターンに従って空間的に変調される。光は、空間光変調器によって回折される。表示装置から出る複雑な光パターンは、対象画像に対応するホログラフィック再構成を形成するために再生平面で干渉する。ホログラムがフーリエホログラムの場合、再生平面は遠視野(すなわち表示装置から無限遠)にあるが、再生平面を近視野にするためにレンズが使用されてもよい。便宜上、ホログラフィック再構成自体が画像と呼ばれてもよい。ホログラフィック再構成は表示装置から離れた平面上に投影され、したがってこの手法はホログラフィック投影として知られている。ヘッドアップディスプレイは、ホログラフィックプロジェクタを使用して形成される場合があるが、ヘッドマウントディスプレイなどの他の多くの装置が、本開示によるホログラフィックプロジェクタを画像ソースとして使用してもよい。
本開示は、ホログラフィック投影の品質を向上させる手法に関する。
本開示によるドライバは、画像(すなわちホログラフィック再構成)を表示するシステムの一部として使用されてもよく、静的、または時間とともに変更可能であり、例えば、リアルタイムに変更可能である。本開示によるホログラムは、[x×y]画素など、複数の画素を含む。ホログラムの画素が表示装置の画素よりも少ない場合、ホログラムは表示装置でタイリングされてもよい。タイリングは、ホログラムの少なくとも一部の反復を表示するために、表示装置の余分な画素を使用する。タイリングによって、タイリングされたパターンが表示装置に表示され、タイリングされたパターンは複数のタイルを含んでいる。タイルは、ホログラムの連続した、隣接する画素のグループである。複数のタイルは、ホログラムの任意の数の完全タイルと、任意の数の部分タイルとを含み得る。完全タイルは、完全なホログラムである。つまり完全タイルは、ホログラムの[x×y]画素の完全な隣接したグループである。部分タイルは、ホログラムのサブセットである。つまり部分タイルは、ホログラムの[x×y]画素の連続した隣接するサブセットである。いくつかの実施形態では、タイリングは表示装置を埋めるために使用される。つまりタイリングは、ホログラムを表示するために表示装置の全画素を使用し得る。いくつかの実施形態では、すべてのタイルが四角形である。いくつかの実施形態では、すべてのタイルが長方形である。各タイルは、必要に応じて任意の大きさまたはアスペクト比を有してもよい。
表示装置で反復されるホログラムは、タイリングの工程に使用されるソースなので、本明細書では入力ホログラムと呼ばれる。表示装置に表示されるタイルを含む、結果として生じたパターンは、本明細書では出力ホログラムと呼ばれる。入力ホログラムは入力コンピュータ生成ホログラムであり、出力ホログラムは出力コンピュータ生成ホログラムである。表示装置に表示される出力ホログラムは、光変調パターンと呼ばれてもよい。要約すると、本開示は空間光変調器用のドライバに関し、このドライバは、動的に変更されるタイリング方式を使用して、入力ホログラムから出力ホログラムを形成する。
本開示による各タイリング方式は独特の画素マッピング方式によるものであり、出力ホログラムの全画素が入力ホログラムの1つの画素に対応するように、入力ホログラムの隣接した画素のグループを出力ホログラムの画素上にマッピングする。したがって、入力ホログラムのいくつかの画素は、出力ホログラムの複数の画素に対応することが理解されよう。入力ホログラムの少なくとも一部の画素と、出力ホログラムの画素との間に一対多の相関関係があると言ってもよい。タイルの数は、2~12枚であってもよく、例えば、4~10枚であってもよい。各タイルは、少なくとも2画素を含む。各タイリング方式は、2~12のタイリング方式など、複数のタイリング方式から選択されてもよい。いくつかの実施形態では、各タイリング方式は、4つまたは8つの異なるタイリング方式を含むグループから選択される。いくつかの実施形態では、各タイリング方式は、少なくとも1枚の完全タイルを含む出力ホログラムを形成する。いくつかの実施形態では、第1のタイリング方式は、4枚の完全タイルを含む出力ホログラムを形成し、第2、第3、および第4のタイリング方式は、1枚の完全タイルと8枚の部分タイルとを含む。しかしながら本開示は、表示装置に収まることが可能な完全タイルと部分タイルとの任意の組み合わせを含む、出力ホログラムの形成にまで及ぶ。
本開示では、空間光変調器用のドライバを提供する。空間光変調器は、[m×n]画素を含む。ドライバは、それぞれが[x×y]画素を含む入力ホログラムを受信するように構成される。本明細書で開示するいくつかの例では、m≧x、およびn≧yである。本明細書で開示する他の例では、m>x、および/またはn>yである。ドライバは、タイリング方式を使用して各入力ホログラムに対応する出力ホログラムを形成するために、各入力ホログラムを空間光変調器の画素にタイリングすることによって、それぞれが[m×n]画素を含む出力ホログラムをそこに表示するよう、空間光変調器を駆動するようにさらに構成される。ドライバは、第1の出力ホログラムの表示に第1のタイリング方式を使用し、第2の出力ホログラムの表示に第2のタイリング方式を使用するように構成される。各出力ホログラムは、入力ホログラムの複数のタイルを含む。各タイリング方式は、空間光変調器の画素における各タイルの大きさ、および各タイルの位置を定義する。
タイリングによって形成された各出力ホログラムは、入力ホログラムの複数のタイルを含む連続した光変調パターンであり、タイルは、入力ホログラムの連続した、隣接する画素のグループである。タイリング方式は、ホログラムの少なくともいくつかの画素と、空間光変調器の画素との一対多のマッピングを含む画素マッピング方式である。
同様に、[m×n]画素を含む空間光変調器を駆動する方法が提供される。本方法は、[x×y]画素を含む入力ホログラムを受信する第1のステップを含み、m≧x、およびn≧yである。本方法は、最初は第1のタイリング方式を使用して入力ホログラムを空間光変調器の画素にタイリングすることによって、[m×n]画素を含む第1の出力ホログラムを表示する、第2のステップを含む。本方法は、2度目は第2のタイリング方式を使用して入力ホログラムを空間光変調器の画素にタイリングすることによって、[m×n]画素を含む第2の出力ホログラムを表示する、第3のステップを含む。第1のステップは、第2のステップの前に行われてもよく、第2のステップは、第3のステップの前に行われてもよい。
各入力ホログラムの総画素数は、対応する出力ホログラム、または空間光変調器で表現されるホログラムの画素数よりも少ない。例えば、入力ホログラムは、両寸法を出力ホログラムよりも小さくする(m>x、およびn>y)、または1つの寸法のみを出力ホログラムよりも小さくする(m>x、n=y、またはm=x、n>y)ことができる。この配置により、入力ホログラムのあらゆる部分を出力ホログラムのどこかの位置にマッピングすることが可能になる。実施形態では、入力ホログラム全体が連続した画素のセットとしてマッピングされる。他の例では、出力ホログラムが入力ホログラム全体の連続した表現を含まないように、入力ホログラムはマッピングの際に複数の画素のセットに分解される。つまり、このような他の例では、出力ホログラムは完全タイルを含まない。実施形態では、各出力ホログラムは少なくとも1枚の完全タイルを含み、任意で複数の部分タイルを含む。受信した入力ホログラムの画素は、動的/変更可能なタイリング方式を使用して、少なくとも1つの対応するより大きい出力ホログラムにマッピングされる。元の入力ホログラムの少なくとも1つの画素が、出力ホログラムで反復される。例えば、空間光変調器の画素配列はいくつかの離散領域に分割でき、そのそれぞれが、少なくとも入力ホログラムのサブセットを表現するように構成される。したがって入力ホログラムの一部(つまり、ホログラムの画素の連続したサブセット)を、従来は使用されていなかったこのような空間光変調器の画素上で反復することができる。
本開示による空間光変調器のドライバは、ホログラフィック再構成の画質を向上させる。具体的には、ホログラフィック再構成においてノイズまたはアーチファクトとして現れる光学効果を平滑化または平均化することが判明した。
いくつかの実施形態では、出力ホログラムの各タイルは、入力ホログラムの少なくとも1つの端または境界を含む。より詳細には、各タイルはホログラムの少なくとも1つの画素の端の行、または画素の端の列を含む。入力ホログラムの端の行/列は、入力ホログラムの4つの境界にある画素の行および列の1つである。より詳細には、端の行/列は、入力ホログラムの画素の最初または最後の行/列である。画素の最初の行/列は、画素の最後の行/列の反対側にある。例えば、行1は行xの反対側にあり、列1は列yの反対側にある。いくつかの実施形態では、タイリングは連続的であり、これは、出力ホログラムの隣接したタイルのすべての対が、入力ホログラムの1つの端を入力ホログラムの反対側の端に結合することを意味する。例えば、隣接したタイルは、列yを列1に、または行xを行1に結合してもよい。すべての隣接したタイルが、入力ホログラムの画素の最後の列を入力ホログラムの画素の最初の列に結合するか、あるいは入力ホログラムの画素の最後の行を入力ホログラムの画素の最初の行に結合すると言ってもよい。
特に、発明者は、入力ホログラムの画素値の反復シーケンスにおいて、隣接したタイルが中間シーケンスに不連続部を生じさせる場合は、ホログラフィック再構成にアーチファクトが見られ、画像の知覚品質に弊害をもたらすことを発見した。このようなアーチファクトは、出力ホログラムの各行および各列が、入力ホログラムの画素値のシーケンスを分解しないときに最小化される。つまり、出力ホログラムの各行および各列は、入力ホログラムの対応する行または列の連続的な反復になる。連続的になっている、タイリングされたパターンのタイルは、反復しているパターンを端から端まで結合する。出力ホログラムは、画素値のシーケンスが飛んでいたり、シーケンス内の画素値が抜けていたりする行または列は含まない。このような実施形態は、ホログラムパターンの連続的な反復を形成すると言ってもよい。
とりわけ発明者は、開示されているホログラフィック再構成の品質を向上させるための手法は、出力ホログラムが少なくとも1枚の完全タイルを含み、かつ入力ホログラムの各画素が、出力ホログラム内で画素値の配列の両方向へ少なくとも一度反復されるときに、特に効果的であることも発見した。後者については、出力ホログラムが前述したようなホログラムパターンの連続的な反復であって、m≧2x、およびn≧2yであるときに実現され得る。疑義を避けるために、いくつかの実施形態では、各出力ホログラムは少なくとも1枚の完全タイルを含み、完全タイルは、入力ホログラムの[x×y]画素の完全な隣接したグループである。いくつかの実施形態では、各出力ホログラムは、これに加えて、またはこれに代えて、複数の部分タイルを含み、部分タイルは入力ホログラムの画素の隣接したサブセットである。
ドライバは、第1の入力ホログラムを受信するように構成されてもよい。ドライバは、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングするように構成されてもよい。また、ドライバは、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングするように構成されてもよい。
同様に、空間光変調器を駆動する方法は、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングする、第4のステップをさらに含んでもよい。本方法は、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングする、第5のステップをさらに含んでもよい。
この構成によって複数の出力ホログラムの計算または形成が容易になり、そのそれぞれが、単一の受信した入力ホログラムに対応する。受信した入力ホログラムは、ホログラムのシーケンスのうちの1つのホログラムであってもよく、複数の出力ホログラムが各入力ホログラムに対して生成されてもよい。例えば、次の入力ホログラムが処理される前に、同じ入力ホログラムに対応する複数の出力ホログラムが表示されてもよい。各出力ホログラムの画像コンテンツは当然同じになるが、この実施形態では、出力ホログラムの形成に異なるタイリング方式が使用されてもよい。入力ホログラム当たりの出力ホログラムの数は、例えば、ハードウェアの速度、表示装置のリフレッシュレート、あるいは入ってくる画像、または画像に対応するコンピュータ生成ホログラムのフレームレートによって決定されてもよい。例では、各入力ホログラムは、3つまたは6つのそれぞれ異なるようにタイリングされた出力ホログラムを形成するために使用される。1つの入力ホログラムに別のタイリング方式を使用でき、これによって同じ画像の複数のホログラフィック再構成が可能になる。疑義を回避するために、入力ホログラムから出力ホログラムを形成するには1つのタイリング方式が使用され、出力ホログラムが適切に照明されるとホログラフィック再構成が生じる。対応する出力ホログラムのシーケンスを表示するために、同じ入力ホログラムに異なるタイリング方式を使用することによって画質が向上することがわかった。任意で、タイリング方式は、入力ホログラム毎に2~6回変更されてもよいが、タイリング方式は、入力ホログラム毎に2~12回変更することができる。つまり、各入力ホログラムに対して、2~6、またはさらに2~12の異なる出力ホログラムを連続して表示でき、各出力ホログラムは、同じ入力ホログラムがそれぞれ異なるようにタイリングされたものである。タイリング方式は、その他任意の変化率にすることが可能である。例えば、この効果を実現するために、タイリング方式の変化率は、例えば、120ヘルツ(Hz)、180Hz、240Hz、300Hz、360Hz、420Hz、または480ヘルツ(Hz)以上になり得る。タイリング方式は、例えば、出力ホログラム1つおきに変更されてもよく、または任意の考えられる方式によって変更されてもよい。
ドライバは、入力ホログラムの動画レートシーケンスなどの、入力ホログラムのシーケンスを受信するように構成されてもよい。ドライバは各入力ホログラムに対して、複数の異なるタイリング方式を使用して入力ホログラムを空間光変調器の画素にタイリングすることによって、次の入力ホログラムが受信される前に、複数の対応する出力ホログラムを連続して表示するように構成されてもよい。
同様に、空間光変調器を駆動する方法は、入力ホログラムの動画レートシーケンスを受信するステップと、各入力ホログラムに対して、複数の異なるタイリング方式を使用して入力ホログラムを空間光変調器の画素にタイリングすることによって、次の入力ホログラムが受信される前に、複数の対応する出力ホログラムを連続して表示するステップとをさらに含む。
ドライバは、第1の入力ホログラムを受信し、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングするように構成されてもよい。ドライバは、第2の入力ホログラムを受信し、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、第2の入力ホログラムを空間光変調器の画素にタイリングするようにさらに構成されてもよい。
同様に、空間光変調器を駆動する方法は、第1の入力ホログラムを受信するステップを含んでもよい。本方法は、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、第1の入力ホログラムを空間光変調器の画素にタイリングするステップを含んでもよい。本方法は、第2の入力ホログラムを受信するステップを含んでもよい。本方法は、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、第2の入力ホログラムを空間光変調器の画素にタイリングするステップを含んでもよい。
実施形態では、各出力ホログラムは、異なる入力ホログラムに対応し、これは例えば、フレームのシーケンスのうちの1つのフレームであってもよい。このように、タイリング方式は、入力ホログラムに対して何度も変更されるのではなく、新しい入力ホログラムのそれぞれで変更されてもよい。このような実施形態では、タイリング方式は、例えば、入力ホログラム毎に、または入力ホログラム1つおきに変更されてもよい。例えば、タイリング方式は、60Hz、30Hz、または15Hzで変更されてもよい。他の実施形態では、タイリング方式は連続的に変更され、2つの連続した出力ホログラムが同じタイリング方式を使用することはない。実施形態では、タイリング方式は各表示イベントで変更されると言ってもよい。
ドライバは、入力ホログラムの動画レートシーケンスを受信するように構成されてもよい。ドライバは、各入力ホログラムを空間光変調器の画素に連続的にタイリングし、かつタイリング方式を連続的に変更することによって、対応する出力ホログラムの動画レートシーケンスを表示するようにさらに構成されてもよい。
いくつかの実施形態では、各入力ホログラムは、空間周波数の空間分布を含む。空間周波数の空間分布を含む各入力ホログラムは、フーリエまたはフレネルホログラムである。
特に、動的なタイル移動により、表示装置上で空間周波数を効率的に移動させる。つまり、空間周波数の空間分布を変化させる。これには投影システムの欠点を取り除く効果があるため画質が向上する。例えば、実際には、ホログラムを照明するのに使用される光は、輝度にいくらかの不均一性があり、波面全体の位相にいくらかの相違がある。入射光の輝度が完全に均一でない場合、異なる空間周波数が異なる輝度で照明されることになる。同様に、入射波面全体における位相の小さい相違は、表示装置全体に位相誤配分を生じさせる。さらに、表示装置自体が不完全な場合があり、画素の配列に関して誤配分がある場合がある。このような問題、およびその他類似の問題によって画質が低下する。発明者は、特に、このような問題によって画像を形成する画像スポット(または画像画素)に不均一性が生じることを発見した。フーリエまたはフレネルホログラムの動的な再タイリングが使用されるとき、画像スポットの大きさ、形状、および輝度が再生フィールド全体でより均一になることが認められる。画像スポットをより均一にすることによって、隣接する画像スポットが干渉して画像内にノイズが生じる画素のクロストークの問題が生じることなく、記録密度を上げることができる。したがってノイズが増加することなく、より解像度の高い画像が提供され得る。
本開示では、ドライバと、空間光変調器と、光源とを備えるホログラフィックプロジェクタがさらに提供される。光源は、各入力ホログラムに対応するホログラフィック再構成が再生平面に形成されるように、空間光変調器に表示された各出力ホログラムをコヒーレント光で照明するように構成される。
同様に、本明細書で説明するように空間光変調器を駆動するステップと、各入力ホログラムに対応する再生平面に少なくとも1つのホログラフィック再構成を形成するために、各出力ホログラムをコヒーレント光で照明するステップとを含む、ホログラフィック投影の方法が提供される。
いくつかの実施形態では、ホログラフィック再構成はスクリーンなどの受光機能または受光面で形成され、空間光変調器によって空間的に変調された光は、レーザなどのコヒーレント光の光源から来たコヒーレント光である。このような実施形態では、ホログラフィック再構成はレーザスペックルを示す。異なる第1のタイリング方式と第2のタイリング方式とを使用することによって、ホログラフィック再構成が向上する。タイリング方式を変更することによって、出力コンピュータ生成ホログラムのシーケンスに対して知覚されるスペックルパターンが平均化される。特に、SLMでホログラムを変換することによって、再生画像またはホログラフィック再構成で位相変位が生じる。人間の目は位相を検知できないので、見る者はこの位相変位に気がつかない。しかしながら、この位相変位は、画像が投影されるスクリーンによって生じた干渉パターンを変化させ、したがって再生画像で知覚されるスペックルの影響が低減される。本質的に、タイリングパターン、またはタイリング方式を動的に再構成することにより、ホログラフィック再構成に疑似ランダムが導入され、これによってスペックルをぼかして、再構成または再生画像におけるスペックルの問題を低減する。
いくつかの実施形態では、動的な再タイリングを容易にする目的で、表示装置よりも少ない画素を含むホログラムを計算するステップを含む方法が提供される。本方法は、画像に対応するホログラムを計算する前に画像の画素数を削減するステップを含んでもよく、その結果、ホログラム画素の数は表示装置画素の数よりも少なくなる。本方法は、ホログラム計算の前に画像の解像度(画素数)を小さくする、または削減するステップを含んでもよく、その結果、小さくした後に、ホログラム画素の数は表示装置の画素数よりも少なくなる。本方法は、小さくしたホログラムの少なくとも1枚の完全タイル、および少なくとも1枚の部分タイルを含む光変調パターンを表示するために、表示装置の全画素を使用するステップを含み得る。
本明細書で説明するいくつかの実施形態では、ドライバは、あるいはタイリングエンジンと呼ばれる。
本開示では、ホログラフィックプロジェクタが提供され、[x×y]画素を含む入力コンピュータ生成ホログラムを受信し、空間光変調器に出力するために、タイリング方式に従って、受信した各コンピュータ生成ホログラムの画素を少なくとも1つの対応する出力コンピュータ生成ホログラムの画素にマッピングすることによって、[m×n]画素を含む対応する出力コンピュータ生成ホログラムを形成するように構成され、mn>xyである、タイリングエンジンと、タイリングエンジンから出力コンピュータ生成ホログラムのシーケンスを受信して表現し、空間光変調器に表現された各コンピュータ生成ホログラムに従って、ホログラフィック再構成を形成するための空間的に変調された光を出力するように構成された空間光変調器とを備え、タイリングエンジンは、画素を[m×n]画素を含む第1の出力コンピュータ生成ホログラムにマッピングするために第1のタイリング方式を使用し、画素を[m×n]画素を含む第2の出力コンピュータ生成ホログラムにマッピングするために第2のタイリング方式を使用するようにさらに構成される。
本開示では、ホログラフィックプロジェクタ用のドライバまたはタイリングエンジンが提供される。ドライバまたはタイリングエンジンは、[x×y]画素を含む入力コンピュータ生成ホログラムを受信して、タイリング方式に従って、各受信コンピュータ生成ホログラムの画素を少なくとも1つの対応する出力コンピュータ生成ホログラムの画素にマッピングすることによって、[m×n]画素を含む対応する出力コンピュータ生成ホログラムを形成するように構成され、mn>xyである。ドライバまたはタイリングエンジンは、画素を[m×n]画素を含む第1の出力コンピュータ生成ホログラムにマッピングするために第1のタイリング方式を使用し、画素を[m×n]画素を含む第2の出力コンピュータ生成ホログラムにマッピングするために第2のタイリング方式を使用するようにさらに構成される。
本開示では、タイリングエンジンと光源とを備えるホログラフィックプロジェクタが提供される。タイリングエンジンは、[x×y]画素を含む入力ホログラムを受信して、出力ホログラムを形成するように、入力ホログラムを空間光変調器の画素にタイリングすることによって、[m×n]画素を含む対応する出力ホログラムを空間光変調器に表示するように構成され、m≧2x、およびn≧2yである。光源は、出力ホログラムに対応するホログラフィック再構成を形成する、空間的に変調された光を形成するために、出力ホログラムを照明するように構成される。タイリングエンジンは、[m×n]画素を含む第1の出力コンピュータ生成ホログラムを表示するために第1のタイリング方式を使用し、[m×n]画素を含む第2の出力コンピュータ生成ホログラムを表示するために第2のタイリング方式を使用するようにさらに構成される。
タイリングエンジンは、[x×y]画素を含む第1の入力ホログラムを受信して、第1のタイリング方式に従って、第1の入力ホログラムの画素を第1の出力ホログラムの画素にマッピングすることによって、かつ第2のタイリング方式に従って、第1のホログラムの画素を第2の出力ホログラムの画素にマッピングすることによって、[m×n]画素を含む第1の出力ホログラム、および[m×n]画素を含む第2の出力ホログラムを形成するように構成されてもよい。また、タイリングエンジンは、対応する複数の別のタイリング方式に従って、第1の入力ホログラムの画素を複数の出力ホログラムの画素にマッピングすることによって、第1の入力ホログラムから、[m×n]画素を含む複数の出力ホログラムを形成するように構成されてもよい。
タイリングエンジンは、[x×y]画素を含む第1のホログラムを受信して、第1のタイリング方式に従って、第1のホログラムの画素を第1の出力ホログラムの画素にマッピングすることによって、[m×n]画素を含む第1の出力ホログラムを形成し、かつ[x×y]画素を含む第2の入力ホログラムを受信して、第2のタイリング方式に従って、第2の入力ホログラムの画素を第2の出力ホログラムの画素にマッピングすることによって、[m×n]画素を含む第2の出力ホログラムを形成するように構成されてもよい。また、タイリングエンジンは、対応する複数の別のタイリング方式に従って、各入力ホログラムの画素を複数の対応する出力ホログラムの画素にマッピングすることによって、各入力ホログラムに対応する[m×n]画素を含む複数の出力ホログラムを形成するように構成されてもよい。
いくつかの構成では、ホログラフィックプロジェクタは、カラーのホログラフィック再構成を形成するように構成される。いくつかの例では、これは空間的に分離された色、すなわち「SSC(Spatially Separated Colours)」として知られている方法によって実現され、複数の各単色光源と、複数の単一色の各ホログラムとを使用して、複数の異なる色(例えば、赤色、緑色、および青色)のホログラフィック再構成が重ね合わされる。各ホログラムは、それぞれの空間光変調器、または1つの共通の空間光変調器の複数の各画素で表現されてもよい。したがってこのような例では、複数の光チャネルが使用されることが理解されよう。カラーチャネルは独立しているので、各光チャネルは、本明細書で説明するように複数の異なる各タイリング方式を使用してもよい。したがって複数の異なるタイリング方式は、各カラーチャネルについて同じであるか、または異なっていてもよい。
各カラーチャネルの各空間光変調器で表現される出力コンピュータ生成ホログラムを形成するために、1つ以上の異なるタイリング方式を使用することができる。このようにして、互いに異なる、あるいはこのうちの1つ以上が同じであってもよい第1、第2、および第3のタイリング方式を使用して、単一のフレームカラーのホログラフィック再構成を形成することができる。
カラーホログラフィック再構成は、フレーム・シーケンシャル・カラー、すなわち「FSC(Frame Sequential Colour)」として知られている方法を使用して実現されてもよい。FSCシステムの例では、3つのレーザ(赤色、緑色、および青色)が使用され、動画の各フレームを生成するために、各レーザが単一のSLMで連続して発射される。見る人が3つのレーザによって形成された画像が組み合わされることによって多色画像を見るように、色は、十分な速度で循環する(例えば、赤色、緑色、青色、赤色、緑色、青色など)。したがって各ホログラムは固有の色を有する。例えば、1秒間に25フレームの動画では、第1のフレームは、赤色のレーザを1/75秒間発射し、次に緑色のレーザが1/75秒間発射され、最後に青色のレーザが1/75秒間発射されることによって生成される。その後、次のフレームがまた赤色のレーザから開始して生成されるといった具合である。FSC法の利点は、各色に対してSLM全体が使用されることである。これは、各カラー画像に対してSLMの全画素が使用されるために、生成される3つのカラー画像の品質が損なわれないことを意味する。
いくつかの実施形態では、タイリング方式は、入力ホログラムを行単位で表示装置にタイリングする。このようにすると、タイル単位または画素単位で出力コンピュータ生成ホログラムを形成するのに比べ、出力コンピュータ生成ホログラムをより速く形成でき、その理由は、データの長いシーケンスが、メモリに記憶されている順にマッピングされ得るからである。これによりタイリングエンジンの計算負荷を低減することができる。
ホログラフィックプロジェクタは、タイリングエンジンに入力ホログラムを提供するように構成されたホログラムエンジンをさらに備えてもよい。プロセッサは、対象画像から入力ホログラムを計算するように構成され得る。この計算は、本明細書で説明する方法を使用してリアルタイムで行われてもよい。いくつかの実施形態では、入力ホログラムの生成は、まず入力ホログラムの画素数が初期対象画像の画素数よりも少なく、かつ表示装置の画素数よりも少なくなるように対象画像を小さくすることを含む。あるいは、プロセッサは、以前に生成されたホログラムのリポジトリから入力ホログラムを検索するように構成でき、以前に生成されたホログラムは、例えば、コンピュータ可読媒体その他の記憶装置に記憶されている。
いくつかの例では、空間光変調器は、受信した光に位相限定変調を適用する。したがって空間光変調器は、位相限定空間光変調器であってもよい。これは、振幅を変調することによる光学エネルギーの損失がないため好適であろう。したがって、効果的なホログラフィック投影システムが提供される。しかしながら本開示は、振幅限定空間光変調器、または振幅および位相(複合)空間光変調器においても等しく実施され得る。ホログラムは、これに対応して位相限定、振幅限定、または完全複合型になることが理解されよう。
「ホログラム」という用語は、物体に関する振幅および/または位相情報を含む、記録物を指すのに用いられる。本開示では、入力ホログラム、すなわち受信したホログラムは、ホログラムである。出力されるコンピュータ生成ホログラムの全体もまたホログラムであり、「ホログラム」という用語は、入力ホログラムの完全タイルと、追加の部分タイルとの組み合わせを包含する。「ホログラフィック再構成」という用語は、ホログラムを照明することによって形成される、物体の光学的再構成を指すのに用いられる。「再生平面」という用語は、ホログラフィック再構成が形成される空間内の平面を指すために使用される。「画像」、「画像領域」、および「再生フィールド」という用語は、ホログラフィック再構成を形成する光で照明される再生平面の領域を指す。いくつかの実施形態では、「画像」は、「画像画素」と呼ばれる場合がある画像スポットを含む。
「符号化」、「書き込み」、または「アドレス」という用語は、各画素の変調レベルをそれぞれ決定する、それぞれの複数の制御値を、SLMの複数の画素に提供する工程を述べるのに用いられる。SLMの画素は、複数の制御値を受けることに応じて、光変調分布またはパターンを「表示する」または「表現する」ように構成されると言ってもよい。
コンピュータ生成ホログラム、または空間光変調器の位相値、位相成分、位相情報、あるいは単に画素の位相を、「位相遅延」の省略表現として参照してもよい。つまり、説明される位相値はいずれも、実際には、その画素によって提供される位相遅延の量を表す、(例えば、0~2πの範囲の)数字である。例えば、π/2の位相値を有するものとして説明される空間光変調器の画素は、受信した光の位相をπ/2ラジアン遅延させる。いくつかの実施形態では、空間光変調器の各画素は、複数の可能な変調値(例えば、位相遅延値)のうちの1つで動作可能である。「グレーレベル」という用語は、複数の使用可能な変調レベルを指すのに用いられてもよい。例えば、異なる位相レベルが異なるグレーの諧調を提供しない場合であっても、「グレーレベル」という用語は、位相限定変調器において、複数の使用可能な位相レベルを指すのに便宜上使用されてもよい。また、「グレーレベル」という用語は、複素変調器における、複数の使用可能な複素変調レベルを指すのに便宜上用いられてもよい。
ホログラムは、したがって、グレーレベルの配列、つまり、位相遅延値、または複素変調値の配列など、光変調値の配列を含む。ホログラムは回折パターンとも考えられ、その理由は、空間光変調器で表示され、かつ空間光変調器の画素ピッチと比較すると、通常はそれよりも短い波長を有する光で照明されたときに、回折が生じるパターンだからである。本明細書では、ホログラムを他の回折パターン、例えば、レンズまたは回折格子として機能する回折パターンと組み合わせることについて言及する。例えば、回折格子として機能する回折パターンは、再生平面上の再生フィールドを平行移動させるためにホログラムと組み合わされてもよく、あるいはレンズとして機能する回折パターンは、ホログラフィック再構成を近視野の再生平面上で焦点合わせするためにホログラムと組み合わされてもよい。
「光」という用語は、本明細書ではその最も広い意味で使用される。いくつかの実施形態は、可視光、赤外光、紫外光およびこれらの任意の組み合わせに等しく適用可能である。
本開示は単なる例示として、1Dおよび2Dのホログラフィック再構成について言及または説明する。ホログラフィック再構成は、あるいは3Dホログラフィック再構成であってもよい。つまり、本開示のいくつかの例では、各コンピュータ生成ホログラムは3Dホログラフィック再構成を形成する。
特定の実施形態について、添付の図面を参照しながら単なる例として説明する。
スクリーンにホログラフィック再構成を生成する、反射型SLMの概略図である。 例示的なGerchberg-Saxtonタイプのアルゴリズムの第1反復を示す。 例示的なGerchberg-Saxtonタイプのアルゴリズムの、第2反復および後続の反復を示す。 例における代替的な第2反復および後続の反復を示す。 反射型LCOS SLMの概略図である。 入力画像の例を示す。 図4Aの入力画像の画素の例を示し、画素は完全タイルおよび部分タイルとして配置されている。 ホログラムの生成の例を示す。 ホログラフィックプロジェクタを示す。 タイリング配置のシーケンスの例を示す。 タイリング配置のシーケンスの別の例を示す。 タイリング配置のシーケンスのさらに別の例を示す。 タイリング配置の代替的なシーケンスを示す。 タイリング配置の代替的な別のシーケンスを示す。 タイリング配置の代替的なさらに別のシーケンスを示す。 タイリング配置の代替的なさらに別のシーケンスを示す。 タイリング配置を示す。 図9に示すタイリング配置の例示的なシーケンシャル配置を示す。 図9に示すタイリング配置の、別の例示的なシーケンシャル配置を示す。 図9に示すタイリング配置の、さらに別の例示的なシーケンシャル配置を示す。 図9に示すタイリング配置の、さらに別の例示的なシーケンシャル配置を示す。 図9に示すタイリング配置の、さらに別の例示的なシーケンシャル配置を示す。 図9に示すタイリング配置の、さらに別の例示的なシーケンシャル配置を示す。 代替的なタイリング配置を示す。 代替的な別のタイリング配置を示す。 代替的なさらに別のタイリング配置を示す。 代替的なさらに別のタイリング配置を示す。 代替的なさらに別のタイリング配置を示す。 代替的なさらに別のタイリング配置を示す。
全図面を通じて、同じ部品、または類似の部品を参照するために同じ参照符号が使用される。
本発明は、以下で説明される実施形態に限定されることはなく、添付の特許請求の範囲の全範囲に及ぶ。つまり、本発明は、異なる形態で具体化されてもよく、説明されている実施形態に限定されると解釈されるべきではなく、これらの実施形態は、例示の目的で提示されているものである。
別の構造の上部/下部に形成される、または他の構造の上/下に形成されると説明されている構造は、構造が互いに接触している場合、およびさらにこれらの間に第3の構造が配置される場合を含むと解釈されるべきである。
時間関係の説明において、例えば、事象の時間的順序が「後」、「後続の」、「次の」、「前」などと記載されているときは、特に明記しない限り、本開示は連続的、および非連続的な事象を含むと解釈されるべきである。例えば、「ちょうど」、「即時に」、または「直接的に」などの言葉が使用されていない限り、この記述は連続的でない場合を含むと解釈されるべきである。
様々な要素を説明するために、「第1の」、「第2の」などの用語が本明細書で使用されている場合があるが、このような要素は、これらの用語によって限定されるものではない。このような用語は、1つの要素を別の要素と区別するために使用されているにすぎない。例えば、添付の特許請求の範囲から逸脱することなく、第1の要素を第2の要素と呼ぶ場合があり、同様に、第2の要素を第1の要素と呼ぶ場合がある。
異なる実施形態の特徴は、部分的または全体的に、互いに結合される、あるいは組み合わされてもよく、互いに様々に相互運用されてもよい。いくつかの実施形態は、互いに独立して実施されてもよく、あるいは共依存の関係でともに実施されてもよい。
異なる実施形態、および一群の実施形態が、以下の詳細な説明の中で個別に開示される場合があるが、任意の実施形態または一群の実施形態の任意の特徴は、任意の実施形態または一群の実施形態の他の特徴、または特徴の組み合わせと結合されてもよい。つまり、本開示で開示された特徴のあらゆる可能な組み合わせ、および変更が予想される。
光学配置
図1は、コンピュータ生成ホログラムが、単一の空間光変調器で符号化される実施形態を示す。コンピュータ生成ホログラムは、再構成のための物体のフーリエ変換である。したがって、ホログラムは、物体のフーリエ領域表現、または周波数領域表現、あるいはスペクトル領域表現と言われる場合がある。この実施形態では、空間光変調器は、シリコン上の反射型液晶(liquid crystal on silicon、LCOS)装置である。ホログラムは、空間光変調器で符号化され、ホログラフィック再構成は、再生フィールド、例えば、スクリーンまたはディフューザなどの受光面で形成される。
光源110、例えば、レーザまたはレーザダイオードは、コリメーティングレンズ111を介してSLM140を照明するように配置される。コリメーティングレンズにより、SLMに入射する、ほぼ平面の光の波面が生じる。図1では、波面の方向はオフノーマルである(例えば、透明層の平面に対する真の直角から2度または3度離れている)。しかしながら、他の実施形態では、ほぼ平面の波面は垂直入射で提供され、入力光路と出力光路とを分離するために、ビームスプリッタ構成が用いられる。図1に示す実施形態では、光源からの光がSLMの反射裏面で反射されて光変調層と相互作用して、出口波面112を形成する構成になっている。出口波面112は、フーリエ変換レンズ120を含む光学素子に印加され、スクリーン125で焦点を結ぶ。より詳細には、フーリエ変換レンズ120は、SLM140から変調光のビームを受信して周波数-空間変換を行い、スクリーン125でホログラフィック再構成を生成する。
特に、この種のホログラフィでは、ホログラムの各画素が再構成全体に寄与する。再生フィールドの特定の点(または画像画素)と、特定の光変調素子(またはホログラム画素)との間に、一対一相関は存在しない。言い換えれば、光変調層を出る変調光は、再生フィールド全体に分散される。
このような実施形態では、空間におけるホログラフィック再構成の位置は、フーリエ変換レンズのジオプトリ度数(集束力)によって決定される。図1に示す実施形態では、フーリエ変換レンズは、物理レンズである。つまり、フーリエ変換レンズは光学的なフーリエ変換レンズであり、フーリエ変換は光学的に行われる。どのようなレンズでもフーリエ変換レンズとして機能できるが、レンズの性能によって、行うフーリエ変換の精度が制限される。当業者であれば、光学的なフーリエ変換を行うためのレンズの使用方法について理解しているであろう。
ホログラム計算
いくつかの実施形態では、コンピュータ生成ホログラムはフーリエ変換ホログラム、すなわち単にフーリエホログラム、またはフーリエに基づくホログラムであり、正レンズのフーリエ変換特性を使用することによって、画像が遠視野に再構築される。フーリエホログラムは、再生平面の所望のライトフィールドをフーリエ変換して、レンズ平面に戻すことによって計算される。コンピュータ生成フーリエホログラムは、フーリエ変換を用いて計算されてもよい。
フーリエ変換ホログラムは、Gerchberg-Saxtonアルゴリズムなどのアルゴリズムを用いて計算されてもよい。さらに、Gerchberg-Saxtonアルゴリズムは、(写真などの)空間領域における振幅限定情報から、フーリエ領域におけるホログラム(すなわち、フーリエ変換ホログラム)を計算するために使用されてもよい。物体に関する位相情報は、空間領域における振幅限定情報から効率的に「検索」される。いくつかの実施形態では、コンピュータ生成ホログラムは、Gerchberg-Saxtonアルゴリズム、またはその変形を用いて、振幅限定情報から計算される。
Gerchberg-Saxtonアルゴリズムは、平面AおよびBのそれぞれにおける、光ビームの輝度断面I(x,y)およびI(x,y)が知られていて、I(x,y)およびI(x,y)が、1つのフーリエ変換によって関連付けられるときの状況を考慮する。所与の輝度断面で、平面AおよびBにおける位相分布のそれぞれの近似値、Ψ(x,y)およびΨ(x,y)が求められる。Gerchberg-Saxtonアルゴリズムでは、反復過程に従うことによって、この問題の解決策が見つかる。より詳細には、Gerchberg-Saxtonアルゴリズムは、空間領域とフーリエ(スペクトルまたは周波数)領域との間で、IA(x,y)およびIB(x,y)を表すデータセット(振幅および位相)を繰り返し転送している間に、空間制限およびスペクトル制限を反復的に適用する。スペクトル領域における、対応するコンピュータ生成ホログラムは、アルゴリズムを少なくとも1回反復することによって得られる。アルゴリズムは、入力画像を表現するホログラムを生成するように収束され構成される。ホログラムは、振幅限定ホログラム、位相限定ホログラム、または完全複素ホログラムであってもよい。
いくつかの実施形態では、位相限定ホログラムは、例えば、参照することによってその全体が本明細書に組み込まれる、英国特許第2,498,170号明細書、または英国特許第2,501,112号明細書で説明されている、Gerchberg-Saxtonアルゴリズムに基づくアルゴリズムを用いて計算される。しかしながら、本明細書で開示される実施形態は、単なる例として、位相限定ホログラムの計算について説明する。このような実施形態では、Gerchberg-Saxtonアルゴリズムは、既知の振幅情報T[x,y]を生じさせるデータセットの、フーリエ変換の位相情報Ψ[u,v]を検索し、振幅情報T[x,y]は、対象画像(写真など)を表す。大きさ(magnitude)および位相は、フーリエ変換では本来組み合わされるので、変換された大きさおよび位相は、計算されたデータセットの精度についての有用な情報を含む。したがって、アルゴリズムは、振幅情報および位相情報の両方のフィードバックを伴って、反復的に使用されてもよい。しかしながら、このような実施形態では、画像平面で対象画像のホログラフィック表現を形成するために、位相情報Ψ[u,v]のみがホログラムとして用いられる。ホログラムは、位相値のデータセット(2D配列など)である。
他の実施形態では、完全複素ホログラムを計算するために、Gerchberg-Saxtonアルゴリズムに基づくアルゴリズムが用いられる。完全複素ホログラムは、大きさ成分と位相成分とを有するホログラムである。ホログラムは、複素データ値の配列を含む、(2D配列などの)データセットであり、各複素データ値は、大きさ成分と位相成分とを含む。
いくつかの実施形態では、アルゴリズムは複素データを処理し、フーリエ変換は複素フーリエ変換である。複素データは、(i)実数成分および虚数成分、または(ii)大きさ成分および位相成分を含むものとみなされてもよい。いくつかの実施形態では、複素データの2つの成分は、アルゴリズムの多様な段階でそれぞれ異なるように処理される。
図2Aは、位相限定ホログラムを計算するためのいくつかの実施形態による、アルゴリズムの第1反復を示す。アルゴリズムに対する入力は、画素の2D配列、またはデータ値を含む入力画像210であり、各画素またはデータ値は、大きさ値、すなわち振幅値である。つまり、入力画像210の各画素またはデータ値は、位相成分を有していない。入力画像210は、したがって、大きさ限定分布、すなわち振幅限定分布、あるいは輝度限定分布とみなされてもよい。このような入力画像210の例は、写真、またはフレームの時系列を含む、1フレームの動画である。アルゴリズムの第1反復は、開始複素データセット(starting complex data set)を形成するために、ランダム位相分布(またはランダム位相シード)230を用いて、入力画像の各画素にランダム位相値を割り当てることを含む、データ形成ステップ202Aから開始し、セットの各データ素子は、大きさおよび位相を含む。開始複素データセットは、空間領域における入力画像を表すと言ってもよい。
第1の処理ブロック250は、開始複素データセットを受信して複素フーリエ変換を行い、フーリエ変換された複素データセットを形成する。第2の処理ブロック253は、フーリエ変換された複素データセットを受信して、ホログラム280Aを出力する。いくつかの実施形態では、ホログラム280Aは、位相限定ホログラムである。このような実施形態では、第2の処理ブロック253は、各位相値を量子化し、各振幅値を1に設定して、ホログラム280Aを形成する。各位相値は、空間光変調器の画素で表現され得る位相レベルに従って量子化され、空間光変調器は、位相限定ホログラムを「表示する」ために用いられる。例えば、空間光変調器の各画素が、256の異なる位相レベルを提供する場合、ホログラムの各位相値は、256の可能な位相レベルのうち1つの位相レベルに量子化される。ホログラム280Aは、入力画像を表す、位相限定フーリエホログラムである。他の実施形態では、ホログラム280Aは、受信したフーリエ変換複素データセットから得られた、(それぞれが振幅成分および位相成分を含む)複素データ値の配列を含む、完全複素ホログラムである。いくつかの実施形態では、第2の処理ブロック253は、ホログラム280Aを形成するために、各複素データ値を、複数の許容可能な複素変調レベルうちの1つに制限する。制限するステップは、各複素データ値を、複素平面内の最も近い許容可能な複素変調レベルに設定することを含んでもよい。ホログラム280Aは、スペクトル領域、またはフーリエ領域、あるいは周波数領域における入力画像を表すと言ってもよい。いくつかの実施形態では、アルゴリズムはこの時点で停止する。
しかしながら、他の実施形態では、アルゴリズムは、図2Aの点線矢印で示されているように継続する。言い換えれば、図2Aの点線矢印に従ったステップは任意である(すなわち、すべての実施形態で必須というわけではない)。
第3の処理ブロック256は、第2の処理ブロック253から修正された複素データセットを受信して逆フーリエ変換を行い、逆フーリエ変換された複素データセットを形成する。逆フーリエ変換された複素データセットは、空間領域における入力画像を表すと言ってもよい。
第4の処理ブロック259は、逆フーリエ変換された複素データセットを受信して、大きさ値211Aの分布、および位相値213Aの分布を抽出する。必要に応じて、第4の処理ブロック259は、大きさ値211Aの分布を評価する。具体的には、第4の処理ブロック259は、逆フーリエ変換された複素データセットの大きさ値211Aの分布を入力画像210と比較してもよく、入力画像210は、それ自体が大きさ値の分布であることは言うまでもない。大きさ値211Aの分布と、入力画像210との間の差が十分に小さい場合、第4の処理ブロック259は、ホログラム280Aを許容できると判断してもよい。つまり、大きさ値211Aの分布と、入力画像210との間の差が十分に小さい場合、第4の処理ブロック259は、ホログラム280Aが入力画像210を十分に正確に表現していると判断してもよい。いくつかの実施形態では、比較の目的のために、逆フーリエ変換された複素データセットの位相値213Aの分布は無視される。大きさ値211Aの分布と、入力画像210とを比較する別の方法がいくつか使用されてもよく、本開示がいかなる特定の方法にも限定されないことは理解されよう。いくつかの実施形態では、平均二乗偏差が計算され、平均二乗偏差が閾値未満の場合、ホログラム280Aは、許容されるものとみなされる。第4の処理ブロック259が、ホログラム280Aを許容できないと判断した場合、さらにアルゴリズムの反復が行われてもよい。しかしながら、この比較するステップは必須ではなく、他の実施形態では、行われるアルゴリズムの反復数は、予め決定されるか、または予め設定され、あるいはユーザによって定義される。
図2Bは、アルゴリズムの第2反復、およびそれ以上のアルゴリズムの反復を示す。前述した反復の、位相値213Aの分布は、アルゴリズムの処理ブロックを介してフィードバックされる。大きさ値211Aの分布は、入力画像210の大きさ値の分布を優先して拒絶される。第1反復では、データ形成ステップ202Aは、入力画像210の大きさ値の分布を、ランダム位相分布230と結合することによって、第1の複素データセットを形成した。しかしながら、第2反復および後続の反復では、データ形成ステップ202Bは、(i)前述したアルゴリズムの反復からの位相値213Aの分布を、(ii)入力画像210の大きさ値の分布と結合することによって、複素データセットを形成することを含む。
図2Bのデータ形成ステップ202Bによって形成された複素データセットは、次に、図2Aを参照して説明した方法と同様の方法で処理されて、第2反復のホログラム280Bを形成する。処理の説明は、したがってここでは繰り返さない。アルゴリズムは、第2反復のホログラム280Bが計算されたときに停止してもよい。しかしながら、任意の回数で、アルゴリズムのさらなる反復が行われてもよい。第3の処理ブロック256は、第4の処理ブロック259が必要とされる場合、あるいはさらなる反復が必要とされる場合にのみ必要になることは理解されよう。出力ホログラム280Bは通常、反復されるごとに良好になる。しかしながら、実際には、目に見える改善がみられない時点や、処理時間が増えることの悪影響が、さらなる反復を行うことの利益を上回る時点に達することが多い。したがって、アルゴリズムは、反復的かつ収束的なものとして説明される。
図2Cは、第2反復、および後続の反復の代替的な実施形態を示す。前述した反復の、位相値213Aの分布は、アルゴリズムの処理ブロックを介してフィードバックされる。大きさ値211Aの分布は、大きさ値の代替的な分布を優先して拒絶される。この代替実施形態では、大きさ値の代替的な分布は、前述した反復の大きさ値211の分布から得られる。具体的には、処理ブロック258は、入力画像210の大きさ値の分布を、前述した反復の大きさ値211の分布から差し引き、その差を利得係数αで拡大縮小し、拡大縮小された差を入力画像210から差し引く。これは以下の数式によって数学的に表され、下付きの文字および数字は、反復回数を示す。
Figure 0006998102000001
ここで、
F´は、逆フーリエ変換、
Fは、順フーリエ変換、
R[x,y]は、第3の処理ブロック256による複素データセット出力、
T[x,y]は、入力画像または対象画像、
∠は、位相成分、
Ψは、位相限定ホログラム280B、
ηは、大きさ値211Bの新しい分布、
αは、利得係数である。
利得係数αは、定数または変数であってもよい。いくつかの実施形態では、利得係数αは、入ってくる対象画像データの大きさおよび比率に基づいて決定される。いくつかの実施形態では、利得係数αは、反復回数に依存する。いくつかの実施形態では、利得係数αは、単に反復回数の関数である。
図2Cの実施形態は、他のすべての点において、図2Aおよび図2Bの実施形態と同じである。位相限定ホログラムΨ(u,v)は、周波数領域またはフーリエ領域に、位相分布を含んでいると言ってもよい。
いくつかの実施形態では、フーリエ変換は、空間光変調器を用いて行われる。具体的には、ホログラムデータは、屈折力を提供する第2のデータと組み合わされる。つまり、空間光変調用に書き込まれたデータは、物体を表すホログラムデータと、レンズを表すレンズデータとを含む。空間光変調器で表示され、光で照明されると、レンズデータは物理レンズを模倣する、つまり、対応する物理的光学素子と同じ方法で光を焦点に当てる。レンズデータは、したがって、屈折力、または集束力を提供する。このような実施形態では、図1の物理フーリエ変換レンズ120は、省略されてもよい。レンズを表すデータを計算する方法は、当該分野において知られている。レンズを表すデータは、ソフトウェアレンズと呼ばれてもよい。例えば、位相限定レンズは、その屈折率のため、および光路長が空間的に異なるためにレンズの各点で生じる、位相遅延を計算することによって形成されてもよい。例えば、凸レンズの中央の光路長は、レンズの縁部の光路長よりも長い。振幅限定レンズは、フレネル・ゾーン・プレートによって形成されてもよい。レンズを表すデータをホログラムと組み合わせる方法もまた、コンピュータ生成ホログラフィの技術分野では知られており、その結果、物理フーリエレンズを必要とすることなく、ホログラムのフーリエ変換を行うことができる。いくつかの実施形態では、レンズデータは、単純なベクトル加算などの簡単な加算によって、ホログラムと結合される。いくつかの実施形態では、物理レンズがソフトウェアレンズと併用されてフーリエ変換が行われる。あるいは、他の実施形態では、ホログラフィック再構成が遠視野で行われるように、フーリエ変換レンズは完全に省略される。別の実施形態では、ホログラムは、同様の方法で回折格子データと結合され、これはつまり、ビームステアリングなどの回折格子機能を実行するように構成されたデータである。これについても、このようなデータを計算する方法が知られている。例えば、位相限定回折格子は、ブレーズド回折格子の表面の各点で生じる、位相遅延をモデル化することによって形成されてもよい。振幅限定回折格子は、ホログラフィック再構成の角度ステアリングを行うために、単に振幅限定ホログラムに重ね合わせられてもよい。
いくつかの実施形態では、フーリエ変換は、物理フーリエ変換レンズと、ソフトウェアレンズとの共同によって行われる。つまり、フーリエ変換に寄与する屈折力の一部はソフトウェアレンズによって提供され、フーリエ変換に寄与する残りの屈折力は、1つまたは複数の物理光学素子によって提供される。
いくつかの実施形態では、画像データを受信して、アルゴリズムを用いてホログラムをリアルタイムに計算するように構成された、リアルタイムエンジンが提供される。いくつかの実施形態では、画像データは、一連の画像フレームを含む動画である。他の実施形態では、ホログラムは、予め計算され、コンピュータのメモリに記憶され、SLMに表示するために必要に応じて再現される。つまり、いくつかの実施形態では、所定のホログラムのリポジトリが提供される。
実施形態は、単なる例として、フーリエホログラフィ、およびGerchberg-Saxtonタイプのアルゴリズムに関する。本開示は、同様の方法で計算され得るフレネルホログラフィおよびフレネルホログラムに同等に適用可能である。本開示は、点群方式に基づいたものなどの、他の技法で計算されたホログラムにも適用可能である。
光変調
空間光変調器は、コンピュータ生成ホログラムを含む、光変調(または回折)パターンを表示するために使用されてもよい。ホログラムが位相限定ホログラムの場合は、位相を変調する空間光変調器が必要になる。ホログラムが完全複素ホログラムの場合は、位相および振幅を変調する空間光変調器が使用されてもよく、あるいは位相を変調する第1の空間光変調器と、振幅を変調する第2の空間光変調器とが使用されてもよい。
いくつかの実施形態では、空間光変調器の光変調素子は、液晶を含むセルである。つまり、いくつかの実施形態では、空間光変調器は、光学活性成分が液晶の、液晶装置である。各液晶セルは、複数の光変調レベルを選択的に提供するように構成される。つまり、各液晶セルは、どの時点においても、複数の可能な光変調レベルから選択された1つの光変調レベルで動作するように構成される。各液晶セルは、複数の光変調レベルから、異なる光変調レベルに動的に再構成可能である。いくつかの実施形態では、空間光変調器は、シリコン上の反射型液晶(LCOS)空間光変調器であるが、本開示は、この種の空間光変調器に限定されない。
LCOS装置は、(例えば、幅数センチメートルの)小開口内に画素の密集配列を設ける。画素は、通常は約10ミクロン以下なので、回折角度が数度になり、光学系を小型にすることができる。他の液晶装置の大開口を照明するよりも、LCOS SLMの小開口を適切に照明するほうが容易である。LCOS装置は、通常は反射型であり、つまり、LCOS SLMの画素を駆動する回路は、反射面の下に埋め込むことができる。その結果、開口率が高くなる。言い換えれば、画素が密に詰まっており、画素間のデッドスペースが非常に小さいことを意味する。このことは、再生フィールドの光学ノイズが低減されるため有利である。LCOS SLMはシリコンバックプレーンを使用し、利点として画素が光学的に平坦である。このことは、位相変調装置にとって特に重要である。
適切なLCOS SLMについては、図3を参照しながら、単なる例として以下で説明する。LCOS装置は、単結晶シリコン基板302を用いて形成される。これは、平面形状が正方形のアルミニウム電極301の2D配列を有し、アルミニウム電極301はギャップ301aで離間され、基板の上面に配置されている。各電極301は、基板302に埋め込まれた回路302aを介してアドレスすることができる。各電極は、それぞれの平坦なミラーを形成する。配向層303が電極の配列上に置かれ、液晶層304が配向層303上に置かれる。第2の配向層305は、ガラスなどの平坦な透明層306上に置かれる。ITOなどの単一の透明電極307は、透明層306と、第2の配向層305との間に置かれる。
各方形電極301は、透明電極307の上方の領域と、介在する液晶材料とともに、しばしば画素と呼ばれる、制御可能な位相変調素子308を画定する。有効画素領域、すなわちフィルファクタは、画素同士の間の空間301aを考慮に入れた、光学活性な総画素の割合である。透明電極307に対して、各電極301に印加される電圧を制御することによって、各位相変調素子の液晶材料の特性が変化する場合があり、これによって入射光に可変遅延がもたらされる。この効果は、波面に位相限定変調をもたらすものであり、すなわち振幅効果は生じない。
説明したLCOS SLMは、空間的に変調された光を反射させて出力する。反射型LCOS SLMには、信号線、ゲート線、およびトランジスタが鏡面の下方にあることによって、フィルファクタが高く(通常は90%よりも高い)、かつ解像度が高くなるという利点がある。反射型LCOS空間光変調器を使用することの別の利点は、液晶層の厚さを、透過装置が用いられた場合に必要な厚さの半分にできることである。これにより、液晶のスイッチング速度が飛躍的に向上する(動画を投影するための大きな利点となる)。しかしながら、本開示の教示は、透過型LCOS SLMを使用して同等に実施されてもよい。実施形態では、受信したコンピュータ生成ホログラムは、タイリングエンジンに対する入力ホログラムである。入力ホログラムは、タイリング方式に従って空間光変調器で「タイリング」され、タイリング方式は動的に変更され、例えば、入力ホログラム間で変更される。「タイル」および「タイリング」という概念については、図4を参照してさらに説明する。
ホログラムのタイリング
図4Aは、タイリングのみについて説明する目的で入力画像401を示す。この説明のためにのみ、入力画像401はホログラムではなく、一般によく知られている従来の画像である。画像401は、[x×y]画素からなる。図4Bは、図4Aの入力画像401に対するタイリングの概念を示す。図4Bでは、元の入力画像401の画素のサブセットを反復することによって、[m×n]画素(ここではm>x、およびn>y)からなる第2のより大きい画像400が形成される。
具体的には、第2の画像400は、元の入力画像401の画素と同一の、[x×y]画素のセット401を含む。第2の画像内のこの[x×y]画素のセット401は、完全タイル(本明細書では「完全なタイル」とも呼ばれる)と考えることができる。第2の画像400は、入力画像401の[a×b]画素の第1のサブセット402をさらに含む。[a×b]画素の第1のサブセット402(ここではa≦xおよびb<y、またはa<xおよびb≦y)は、第1の部分タイルと考えることができる。第2の画像は、入力画像401の[a’,b’]画素の第2のサブセット403をさらに含む。[a’×b’]画素の第2のサブセット403(ここではa’≦xおよびb’<y、またはa’<xおよびb’≦y)は、第2の部分タイルと考えることができる。第2の画像400は、入力画像401の[a’’×b’’]画素の第3のサブセット404をさらに含む。[a’’×b’’]画素の第3のサブセット404(ここではa’’≦xおよびb’’<y、またはa’’<xおよびb’’≦y)は、第3の部分タイルと考えることができる。
これを説明するために、図4Bに示す配置は、実際の画像をタイリングする例である。しかしながら本開示は、表示装置でホログラムをタイリングすることに関する。本開示によるホログラムは、複数の画素を含む。図4Aおよび図4Bに示されているのと同じ方法で、初期の入力ホログラムの画素のサブセットをタイリングすることによって、より大きいホログラムを形成することができる。ホログラムのこのタイリングは、図5および図6でさらに詳しく図示されている。
いくつかの例では、[x×y]画素を含む1つ以上の入力コンピュータ生成ホログラムを受信し、少なくとも2つの異なるタイリング方式を使用して、1つ以上の入力コンピュータ生成ホログラムの画素を、[m×n]画素を含む出力コンピュータ生成ホログラムのシーケンスの画素にマッピングするように構成されたドライバまたはタイリングエンジンであって、mn>xyであり、タイリングエンジンは、出力コンピュータ生成ホログラムのシーケンスを空間光変調器に供給するようにさらに構成される、ドライバまたはタイリングエンジンと、タイリングエンジンから出力コンピュータ生成ホログラムのシーケンスを受信して、出力コンピュータ生成ホログラムのシーケンスを表現するように構成された空間光変調器と、空間的に変調された光パターンの対応するシーケンスを形成するために、空間光変調器に表現された出力コンピュータ生成ホログラムのシーケンスを照明するように構成された光源とを備える、ホログラフィックプロジェクタが提供される。一例では、タイリングエンジンは、1つの入力コンピュータ生成ホログラムを受信するように構成される。あるいは、1つ以上の入力コンピュータ生成ホログラムが、入力コンピュータ生成ホログラムのシーケンスであってもよい。
入力ホログラムの大きさは、両寸法が空間光変調器の大きさよりも小さくてもよく、かつ少なくとも1つの寸法が出力コンピュータ生成ホログラムの大きさよりも小さくてもよい。各入力コンピュータ生成ホログラムの画素は、出力コンピュータ生成ホログラムのすべての画素が埋まるように、各出力コンピュータ生成ホログラムにマッピングされてもよい。任意で、出力コンピュータ生成ホログラムの画素数は空間光変調器の画素数と等しくなる。これにより、空間光変調器の表面領域全体が確実に使用される。
mn>xyのとき、各タイルは、空間光変調器に表現される出力コンピュータ生成ホログラムの合計サイズよりもサイズが小さくなる。空間光変調器に最終的に表現される出力コンピュータ生成ホログラムは、したがって複数の(すなわち2枚以上の)タイルを含む。いくつかの実施形態では、空間光変調器に書き込まれるホログラフィックパターン、または出力コンピュータ生成ホログラムは、少なくとも1枚の完全タイル(つまり、完全な入力ホログラム)、および少なくとも1枚の部分タイル(つまり、ホログラムの画素の連続したサブセット)を含む。空間光変調器に出力ホログラムが表現されている、または表示されているときは、したがって出力ホログラムが何枚かのタイルを含んでいると考えることができる。
第1のタイリング方式は、入力コンピュータ生成ホログラムの完全タイルを、第1の出力コンピュータ生成ホログラムの[x×y]画素の隣接した第1のサブセットにマッピングすることを含んでもよく、第2のタイリング方式は、入力コンピュータ生成ホログラムの完全タイルを、第2の出力コンピュータ生成ホログラムの[x×y]画素の隣接した第2のサブセットにマッピングすることを含んでもよい。第1のサブセットおよび第2のサブセットは、部分的にのみ重複してもよい。つまり、第1のサブセットおよび第2のサブセットの画素の位置は、部分的にのみ重複する。
第1のタイリング方式は、入力コンピュータ生成ホログラムの第1の複数の部分タイルを、第1の出力コンピュータ生成ホログラムにマッピングすることを含んでもよい。第2のタイリング方式は、入力コンピュータ生成ホログラムの第2の複数の部分タイルを、第2の出力コンピュータ生成ホログラムにマッピングすることを含んでもよい。第1の複数の部分タイルと第2の複数の部分タイルとは異なっていてもよい。例えば、第1の複数の部分タイルと第2の複数の部分タイルとは、数が異なっていてもよい。これに代えて、またはこれに加えて、第1の複数の部分タイルのうちの少なくとも1つの部分タイルは、第2の複数の部分タイルのすべてと大きさが異なっていてもよい。
いくつかの例では、タイリング方式は、受信したコンピュータ生成ホログラムの完全タイルを、出力コンピュータ生成ホログラムの[x×y]画素の隣接したサブセットにマッピングし、ここで完全タイルは、受信したコンピュータ生成ホログラムの[x×y]画素の隣接したセットである。タイリング方式は、受信したコンピュータ生成ホログラムの第1の部分タイルを、出力コンピュータ生成ホログラムの[a×b]画素の隣接したサブセットにさらにマッピングし、ここで第1の部分タイルは、受信したコンピュータ生成ホログラムの[a×b]画素の隣接したサブセットであり、a≦xおよびb<y、またはa<xおよびb≦yである。タイリング方式は、受信したコンピュータ生成ホログラムの第2の部分タイルを、出力コンピュータ生成ホログラムの[a’×b’]画素の隣接したサブセットにさらにマッピングし、ここで第2の部分タイルは、受信したコンピュータ生成ホログラムの[a’×b’]画素の隣接したサブセットであり、a’≦xおよびb’<y、またはa’<xおよびb’≦yである。最後に、タイリング方式は、受信したコンピュータ生成ホログラムの第3の部分タイルを、出力コンピュータ生成ホログラムの[a’’×b’’]画素の隣接したサブセットにさらにマッピングし、ここで第3の部分タイルは、受信したコンピュータ生成ホログラムの[a’’×b’’]画素の隣接したサブセットであり、a’’≦xおよびb’’<y、またはa’’<xおよびb’’≦yである。これらのタイルの寸法は、(ab+a’b’+a’’b’’+xy)=mnのようになる。
一例では、完全タイルと、第1の部分タイルと、第2の部分タイルと、第3の部分タイルとは、空間光変調器を埋めるように、各出力コンピュータ生成ホログラム内に配置される。これら4枚の異なるタイルは、後述するように形成および配置することができる。最初に、完全タイルが出力ホログラムに配置される。第1の部分タイルの幅は完全タイルの幅と等しく、第1の部分タイルの高さが出力コンピュータ生成ホログラムの高さの残部を埋める(すなわち、完全タイルの高さ、および第1の部分タイルの高さが、出力コンピュータ生成ホログラムの高さと等しくなる)。第3の部分タイルの高さは完全タイルの高さと等しく、第3の部分タイルの幅が出力コンピュータ生成ホログラムの幅の残部を埋める(すなわち、第3の部分タイルの幅、および完全なタイルの幅が、出力コンピュータ生成ホログラムの幅と等しくなる)。第2の部分タイルは、完全タイルと、第1の部分タイルおよび第3の部分タイルとが残した、少なくとも1つの対応する出力コンピュータ生成ホログラムの残部を埋める。次に、別のタイリング方式で、例えば、2つの異なるタイル配置、3つの異なるタイル配置などを交互に切り替えたり、すべての可能なタイル配置を繰り返したりすることができる。
一例では、第1の出力コンピュータ生成ホログラムは、完全タイル、第1の部分タイル、第2の部分タイル、第3の部分タイルから選択された2枚以上のタイルの組み合わせを含む。例えば、第1の出力コンピュータ生成ホログラムは、完全タイルと第1の部分タイルとを含むことができ、あるいは完全タイルと第2の部分タイルと第3の部分タイルとを含むが、第1の部分タイルは含まないようにすることができる。いくつかの実施形態では、空間光変調器に書き込まれるホログラフィックパターンは、少なくとも1枚の完全タイル(完全なタイル、つまり完全な入力ホログラム)と、タイル全体のうちの少なくとも1片のタイル(部分タイル、つまり入力ホログラムの画素の連続したサブセット)とを含む。あるいは、その他任意の考えられるタイルの組み合わせを使用することができる。
第2の出力コンピュータ生成ホログラムは、別のタイリング方式が使用されているために、第1の出力コンピュータ生成ホログラムとは異なるタイルの組み合わせを含んでもよい。前述したように、別のタイリング方式を使用すると、画像の品質が向上するという利点がある。これは、2つのタイリング方式で異なるタイルの組み合わせを使用することによって実現することができる。あるいは、第1のタイリング方式と第2のタイリング方式との間で異なる数のタイルを使用することによって実現することができる。あるいは、各タイリング方式で同じ数のタイルおよびタイルの組み合わせを使用し、出力コンピュータ生成ホログラム内のタイルの位置または配置のみを変更してもよい。好ましい実施形態では、第1および第2のタイリング方式は両方とも1枚の完全タイルと複数の部分タイルとを含んでいるが、空間光変調器における完全タイルの位置は2つのタイリング方式で異なっている。両方のタイリング方式において、完全タイルの周囲の空間は部分タイルで埋められる。
前述したことに加えて、タイルは、例えば、第1のタイリング方式が第1の部分タイルを第1の出力コンピュータ生成ホログラムにマッピングし、第2のタイリング方式が第1の部分タイルを第2のコンピュータ生成ホログラムにマッピングするように配置することができる。前述した第1の部分タイルを含む出力コンピュータ生成ホログラムの画素の位置は、第1の出力コンピュータ生成ホログラムと第2の出力コンピュータ生成ホログラムとで完全に異なっているか、または画素の位置が、第1の出力コンピュータ生成ホログラムと第2の出力コンピュータ生成ホログラムとで部分的に重複していてもよい。
いくつかの例では、タイリング方式は、次に、第2の部分タイルを各コンピュータ生成ホログラムにマッピングでき、第1の部分タイルと第2の部分タイルとは、各出力コンピュータ生成ホログラムで連続した画素のグループを形成する。例えば、2枚の部分タイルは、これらを組み合わせた幅が空間光変調器の幅と等しくなるように、またはこれらを組み合わせた高さが空間光変調器の高さと等しくなるように配置することができる。このようにして、これらの部分タイルは連続した画素のサブセットとして、空間光変調器に好適に配置される。
任意で、ホログラフィックプロジェクタは、空間光変調器を照明するために配置された光源をさらに備える。出力コンピュータ生成ホログラムが空間光変調器に表示または表現されるときに空間光変調器を照明することによって、出力コンピュータ生成ホログラムに対応するホログラフィック再構成の形成が可能になる。光源は、少なくとも部分的な空間コヒーレント光源、空間コヒーレント光源、またはレーザであってもよい。
図5は、ホログラムの生成を示す。具体的には、HDMIソースその他の画像ソース501は、ホログラムエンジン505に画像503を提供する。ホログラムエンジン505は、例えば、図2Aおよび図2Bを参照して前述した工程に従って、または当業者に知られている、ホログラムを形成する他の任意の方法によって、ホログラムを形成あるいは生成するように構成される。
ホログラムエンジン505は、コンピュータ生成ホログラム507を出力する。これは、画像503を表現したホログラムである。ホログラム507は、SLM540に表示することができ、SLM540は、例えば、図1および図3を参照して前述した空間光変調器である。SLM540は、シリコン上の液晶(LCOS)SLMでもよいが、光学的にアドレスされたSLMを含む他のSLMも同様に適している。図5の点線で囲まれた領域は、ホログラムを表示または表現するのに適したSLMの全領域を示す。特に、空間光変調器のすべての画素が、ホログラム507がSLMで表現されるときに使用されるわけではない。
図5に引き続き、図6は、本開示によるタイリングエンジンの動作を示す。タイリングエンジン609は、入力ホログラム、すなわち受信ホログラムとして、ホログラムエンジン505によって生成されたコンピュータ生成ホログラム507を受信する。タイリングエンジン609は、次に、出力して引き続き空間光変調器540によって符号化して表示するための、対応する出力コンピュータ生成ホログラム611を形成する。出力コンピュータ生成ホログラム611は、元のホログラム507よりも大きく、[m×n]画素を含み、m>x、およびn>yである。
出力コンピュータ生成ホログラム611は、タイリングエンジン609によって、タイリング方式に従って受信した入力コンピュータ生成ホログラム507の画素をマッピングすることによって形成される。タイリング方式は、アドレス方式またはマッピング方式と呼ばれてもよい。タイリング方式は、入力ホログラム507のどの画素を、出力ホログラム611のどの画素にマッピングするべきかについての命令を与える。図6に示すように、この例の出力ホログラム611は[x×y]画素のセット607を含み、これは入力ホログラム507の[x×y]画素と同一である。出力ホログラム611は、[a×b]画素のサブセット608をさらに含み、これは入力ホログラム507の[x×y]画素の隣接する連続したサブセットを表している。画素[a×b]の隣接する連続したサブセットは、図4Bで実際の入力画像に関して図示されているように、ホログラム507の完全なサブパートを表しているものと理解することができる。この[a×b]画素のサブセットは第1の部分タイルになるものと考えられ、出力ホログラム611の[x×y]画素のセット607は、初期ホログラム507と同一の完全タイルになるものと考えることができる。この点において、タイリング方式は、入力ホログラム507の個々の隣接した画素を、出力ホログラム611側の画素に対してまったく異なる位置にランダムに割り当てるのではなく、入力ホログラム507の画素を画素のグループ、すなわちタイルとして出力ホログラム611にマッピングする。
タイリングエンジン609によって出力ホログラム611が形成されると、空間光変調器540などの空間光変調器に表示することができる。あるいは、SLMによって符号化される前に、出力ホログラム611に別の情報を追加することができる。図6に示す例示的な装置では、ホログラムにソフトウェア光学素子を適用するための別のエンジン613が提供されている。このようなソフトウェア光学素子は、例えば、前述したようなレンズを表すデータ613A、および回折格子データ613Bであってもよい。ソフトウェア光学素子は、本明細書では仮想光学素子とも呼ばれる。
レンズを表すデータ613Aは位相限定データなどのデータであり、ホログラムデータにこれを追加することにより、ビーム経路にレンズを配置して、再構成された画像をSLMの平面(またはシステム内の光学素子の焦点面)に垂直な方向へ、ビーム経路に沿って移動させる効果がある。レンズを表すデータ613Aは、実際の物理的なレンズが存在するかのような働きをする。計算による、またはソフトウェアによるレンズデータ(言い換えればソフトウェアレンズまたは計算レンズ)は、したがってシステムに屈折力を加える働きをする。いくつかの実施形態では、レンズを表すデータ613Aはフーリエ変換を行うように構成される。これに加えて、またはこれに代えて、レンズを表すデータ613Aは、ホログラフィック再構成が形成されるスクリーンその他の表面の収差を矯正するために屈折力を加えることもできる。例えば、フロントガラスの屈折力は、レンズを表すデータ613Aを追加して相殺することができる。
前述したように、レンズを表すデータ613Aは、任意でフーリエ変換レンズであり、物理的なレンズを必要とせずにホログラフィックデータを空間領域にフーリエ変換する働きをする。コンピュータ生成ホログラムの技術分野では、物理的なフーリエレンズを必要とせずにフーリエ変換を行えるように、レンズを表すホログラフィックデータを、物体を表すホログラフィックデータと組み合わせる方法が知られている。いくつかの実施形態では、レンズデータは、単純なベクトル加算によって、ホログラフィックデータと結合される。いくつかの実施形態では、物理レンズがソフトウェアレンズと併用されてフーリエ変換が行われる。あるいは、他の実施形態では、ホログラフィック再構成が遠視野で行われるように、フーリエ変換レンズは完全に省略される。
別の実施形態では、ホログラムは回折格子データ613Bを含んでもよく、これはつまり、ビームステアリングなどの回折格子の機能を実行するように構成されたデータである。データ613Bは、ホログラムデータにこれを追加することにより、ビーム経路に回折格子を配置して、再構成された画像をビーム経路に垂直で、かつSLMの平面(または光学素子の焦点面)と平行な方向へ移動させる効果があるデータである。これについても、このようなホログラフィックデータを計算して、物体を表現するホログラフィックデータと結合する方法は、コンピュータ生成ホログラムの分野では知られている。例えば、位相限定ホログラフィック回折格子は、ブレーズド回折格子の表面の各点で生じる、位相遅延をモデル化することによって形成されてもよい。振幅限定ホログラフィック回折格子は、振幅限定ホログラムの角度ステアリングを提供するために、物体を表現する振幅限定ホログラムに単に重ねられてもよい。
仮想光学系エンジン613によって、仮想光学素子またはソフトウェア光学素子が適用されると、出力コンピュータ生成ホログラムによって、空間光変調器540の画素を設定する最終的なホログラム615を出力することができる。前述したように、空間光変調器は、シリコン上の液晶、すなわちLCOS空間光変調器540にすることができる。空間光変調器540は、最終的なホログラム615を受信して表現し、かつ照明されたときに空間光変調器に表現されたコンピュータ生成ホログラムに従って、空間的に変調された光を出力するように構成され、空間的に変調された光は、スクリーン上、または車のフロントガラスなどの再生フィールド位置でホログラフィック再構成を形成する。
図5および図6に示す例では、タイリングエンジンによって、入力画像503の所与の入力ホログラム507に対して単一の出力コンピュータ生成ホログラムのみが形成されている。しかしながら、容易に理解されるように、タイリングエンジン609によって、出力コンピュータ生成ホログラム611のシーケンスを生成または形成することができる。出力コンピュータ生成ホログラム611のシーケンスは、様々な方法で実施することができる。
第1の実施では、タイリングエンジン609は、[x×y]画素を含む第1のコンピュータ生成ホログラム507を受信して、対応する複数の異なるタイリング方式に従って、第1のコンピュータ生成ホログラム507の画素を複数の各出力コンピュータ生成ホログラム611の画素にマッピングすることによって、[m×n]画素を含む複数の出力コンピュータ生成ホログラムを形成するように構成される。いくつかの実施形態では、タイリングエンジン609が受信した第1のコンピュータ生成ホログラム507は、入力ホログラムのシーケンスのうちの1つの入力ホログラムであり、複数の出力コンピュータ生成ホログラム611は、各入力ホログラムに対応する。この実施の1つの特定の例では、第1の受信コンピュータ生成ホログラム507は、第1および第2のタイリング方式のそれぞれに従って、第1および第2の出力コンピュータ生成ホログラム611を形成するようにマッピングされる。タイリングエンジン609によって受信される第1のコンピュータ生成ホログラムは、画像のホログラフィック再構成を作成するために、動画のフレームのホログラムではなく単一画像のホログラムであってもよいことは言うまでもない。
第2の実施では、タイリングエンジン609は、複数の入力コンピュータ生成ホログラム507を受信して、対応する複数の異なるタイリング方式に従って、複数のコンピュータ生成ホログラム507の画素を出力コンピュータ生成ホログラム611の画素にマッピングすることによって、対応する複数の出力コンピュータ生成ホログラム611を形成するように構成される。この実施の1つの特定の例では、タイリングエンジンは、第1のコンピュータ生成ホログラム507を受信して、第1のタイリング方式に従って、第1の入力コンピュータ生成ホログラム507の画素を第1の出力コンピュータ生成ホログラム611の画素にマッピングすることによって、第1の出力コンピュータ生成ホログラム611を形成する。タイリングエンジン609は、次に、第2の入力コンピュータ生成ホログラムを受信して、第2のタイリング方式に従って、第2の受信コンピュータ生成ホログラムの画素を第2の出力コンピュータ生成ホログラムの画素にマッピングすることによって、第2の出力コンピュータ生成ホログラムを形成する。この工程は、後続の入力ホログラムのために繰り返されてもよい。
前述した例の両方において、タイリングエンジンは、画素を第1の出力コンピュータ生成ホログラムにマッピングするために第1のタイリング方式を使用し、画素を第2の出力コンピュータ生成ホログラムにマッピングするために第2のタイリング方式を使用するように構成される。好ましくは、前述した例示的な実施の第1および第2のタイリング方式は異なっているが、この2つが同じである可能性も考えられる。複数のタイリング方式がある場合、タイリング方式はすべて異なっていてもよく、あるいは2つの異なるタイリング方式を切り替えてもよく、あるいは一部または全部のタイリング方式が同じであってもよい。2つの異なるタイリング方式を使用する例については、図7A~図7Cを参照して以下で説明する。
図7Aは、出力ホログラム711の例を示す。これは、図6の出力ホログラム611と等価であると考えられる。出力ホログラム711は2枚のタイルを含み、1枚目は、初期入力画像(図5の符号503)に対応する、入力ホログラム507の完全な複製を表す完全なタイル707であり、2枚目は、入力ホログラム507の画素のサブセットを表す部分タイル708である。初期入力ホログラム507はタイリングエンジン609によって、第1のタイリング方式を使用して出力ホログラム711にマッピングされる。
図7Bは、第2の出力ホログラム721を示す。出力ホログラム721は、第1の完全なタイル717と、第2の部分タイル718とを含む。1つの例示的なホログラム721は、入力ホログラム507に対応する出力コンピュータ生成ホログラムである。別の例では、ホログラム721は、別の第2の入力ホログラムに対応する出力コンピュータ生成ホログラムであって、タイリングエンジン609によって受信され、第2のタイリング方式に従って出力ホログラム721を形成するようにマッピングされる。図7Aと図7Bとの比較において明らかなように、第1のタイリング方式と第2のタイリング方式とは異なっている。
図7Cは、第3の出力ホログラム731を示す。出力ホログラム731は、第1の完全なタイル727と、第2の部分タイル728とを含む。一例では、ホログラム731は、図7Bに示す出力コンピュータ生成ホログラム721を形成するために使用される、入力ホログラム507または第2の入力ホログラムのいずれかに対応する出力コンピュータ生成ホログラムである。別の例では、ホログラム731は、第3の異なる入力ホログラムに対応する出力コンピュータ生成ホログラムである。第3の入力ホログラムはタイリングエンジン609によって受信され、第3のタイリング方式に従って出力ホログラム731を形成するようにマッピングされる。図7Aと図7Cとの比較において明らかなように、第1のタイリング方式と第3のタイリング方式とは同じである。この例では、ホログラフィックプロジェクタは、第1のタイリング方式と第2のタイリング方式とを切り替えるように構成されている。この切り替えは特定の実施に応じて、フレーム内で、または複数のフレーム間で行うことができる。
図8A~図8Dは、このホログラフィックプロジェクタで実現可能なタイリング配置の代替的な実施を示す。図8A~図8Dはそれぞれ、異なるタイリング方式による、入力すなわち受信したコンピュータ生成ホログラムの出力コンピュータ生成ホログラムに対するマッピングを示す。各タイリング方式は、初期入力ホログラムを、1枚の完全なタイル830と、第1の部分タイル810と、第2の部分タイル820としてマッピングする。図8Aは第1のタイリング方式を示し、第1の部分タイル810と第2の部分タイル820とを互いに隣接させ、かつ完全なタイル830の上にマッピングしている。図8Bは第2のタイリング方式を示し、第1の部分タイルの位置と第2の部分タイルの位置とが入れ替わっている。完全なタイル830は、同じ位置にとどまっている。図8Cは第3のタイリング方式を示し、第1の部分タイルの位置と第2の部分タイルの位置とが再度入れ替わっており、完全なタイルの位置と部分タイルの位置も入れ替わっている。図8Bの第2のタイリング方式では、完全なタイル830が部分タイルの下にあったのに対し、図8Cでは、完全なタイル830が2枚の部分タイルの上になっている。図8Dは、第4のタイリング方式を示し、完全なタイル830は図8Cの第3のタイリング方式によるものと同じ位置にとどまっているが、第1の部分タイル810の位置と第2の部分タイル820の位置とが再度入れ替わっている。
図9は、ホログラフィックプロジェクタのタイリング配置の代替的な実施を示す。図9では、出力コンピュータ生成ホログラムは、完全なタイル910と、第1の部分タイル920と、第2の部分タイル930と、第3の部分タイル940との4枚のタイルを含む。これら4枚のタイルは、空間光変調器の使用可能な出力の全体を埋める。これらのタイルの寸法は、図10Aに示されている。第1の部分タイルの幅は完全なタイルの幅と等しく、第3の部分タイルの高さは完全なタイルの高さと等しく、第2の部分タイルは、少なくとも1つの対応する出力コンピュータ生成ホログラムの残部を埋めていることがわかる。図9に示す例示的なタイリングは、連続的である。つまり、隣接するタイルが一方向または両方向において端から端まで結合している。
図10Aに示すように、完全なタイル910は、受信したコンピュータ生成ホログラムの[x×y]画素の隣接する連続したセット(例えば、図6に示す入力コンピュータ生成ホログラム507)であり、出力コンピュータ生成ホログラムの[x×y]画素の隣接したセットにマッピングされる。完全なタイル910については、画素数xは幅を表し、画素数yは高さを表す。第1の部分タイル920は、受信したコンピュータ生成ホログラムの[a×b]画素の隣接する連続したサブセットで、a=x、およびb<yであり、出力コンピュータ生成ホログラムの[a×b]画素の隣接したサブセットにマッピングされる。第1の部分タイル920については、画素数aは幅を表し、画素数bは高さを表す。図9を参照して説明したように、完全なタイル910の幅は、第1の部分タイル920の幅と等しい。第2の部分タイル930は、受信したコンピュータ生成ホログラムの[a’×b’]画素の隣接したサブセットで、a’<x、およびb’<yであり、出力コンピュータ生成ホログラムの[a’×b’]画素の隣接したサブセットにマッピングされる。第2の部分タイル930については、画素数a’は幅を表し、画素数b’は高さを表す。最後に、第3の部分タイル940は、受信したコンピュータ生成ホログラムの[a’’×b’’]画素の隣接したサブセットで、a’’<x、およびb’’=yであり、出力コンピュータ生成ホログラムの[a’’×b’’]画素の隣接したサブセットにマッピングされる。第3の部分タイル940については、画素数a’’は幅を表し、画素数b’’は高さを表す。図9を参照して説明したように、第3の部分タイル940の高さは、完全なタイル910の高さと等しい。
図10Aでは、4枚の異なるタイルの出力コンピュータ生成ホログラムに対するマッピングは、第1のタイリング方式に従って行われる。第2の部分タイル930は、出力コンピュータ生成ホログラムの残部を埋めるような幅および高さを有する。言い換えれば、タイルは、a’+x=a’’+a=m、およびb+y=b’’+b’=nになるように配置され、これによって出力コンピュータ生成ホログラムのすべての使用可能な空間が埋まる。図10B~図10Fはそれぞれ、4枚のタイルの異なる構成を示し、異なるタイリング方式による、初期入力ホログラムの出力コンピュータ生成ホログラムに対するマッピングを表す。図10A~図10Fからわかるように、出力コンピュータ生成ホログラムのタイルの数には変わりはなく、その配置のみが異なっている。
これとは対照的に、図11A~図11Fは、タイリング方式によってタイルの数が変化し、したがって出力コンピュータ生成ホログラム内のタイルの大きさとその位置との両方が変化していることを示している。特に、図11Aは、入力ホログラムの6枚のタイルに対するマッピングを示しており、1枚の完全なタイルと5枚の部分タイルとがあり、各部分タイルは同じ大きさになっている。次に図11Bは、1枚の完全なタイルと、第1の部分タイルと、第1の部分タイルとは異なる2枚の第2の部分タイルとのマッピングを示す。出力コンピュータ生成ホログラム内の前述したタイルの位置は図ごとに異なっているが、図11C~図11Fは、マッピングされたタイルの数が図11Aおよび図11Bから変化していることを示しており、各マッピングが異なるタイリング方式に従って行われていることを示している。
図7A~図7C、図8A~図8D、図10A~図10F、および図11A~図11Fに示す配置は、すべて異なるタイリング方法を示している。マッピングされるタイルの数、大きさ、および/または位置を連続するタイリング方式間で変化させることによって、ホログラフィック再構成の品質が向上する。タイリング方式の変化率は50Hzよりも大きく、任意で50~500Hzであってもよい。
本明細書で述べる方法および工程は、コンピュータ可読媒体で具体化されてもよい。「コンピュータ可読媒体」という用語は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、バッファメモリ、フラッシュメモリ、およびキャッシュメモリなどの、一時的または永久的にデータを記憶するように構成された媒体を含む。「コンピュータ可読媒体」という用語もまた、機械によって実行するための命令を記憶可能な任意の媒体、または複数の媒体の組み合わせを含むとみなされるものとし、その結果、命令は、1つ以上のプロセッサによって実行されると、本明細書で説明した方法のうちの任意の1つ以上が、全体的に、または部分的に機械によって実行される。
「コンピュータ可読媒体」という用語は、クラウドベースの記憶システムをさらに包含する。「コンピュータ可読媒体」という用語は、これに限定されないが、ソリッドステートメモリチップ、光学ディスク、磁気ディスク、またはこれらの任意の適切な組み合わせといった例示的な形態で、1つ以上の有形かつ非一時的なデータリポジトリ(例えば、データボリューム)を含む。いくつかの例示的な実施形態では、実行するための命令は、搬送媒体によって通信されてもよい。このような搬送媒体の例には、一時的な媒体(例えば、命令を通信する伝播信号)が含まれる。
当業者には、添付の特許請求の範囲から逸脱することなく、様々な修正および変更を加えられることは明らかであろう。本開示は、添付の特許請求の範囲、およびその均等物の範囲内のあらゆる修正および変更を包含する。
110 光源
111 コリメーティングレンズ
112 出口波面
120 フーリエ変換レンズ
125 スクリーン
140 SLM
202A、202B データ形成ステップ
210 入力画像
211A、211B 大きさ値
213A 位相値
230 ランダム位相分布
250 第1の処理ブロック
253 第2の処理ブロック
256 第3の処理ブロック
258 処理ブロック
259 第4の処理ブロック
280A、280B ホログラム
301 電極
301a ギャップ
302 基板
302a 回路
303 配向層
304 液晶層
305 第2の配向層
306 透明層
307 透明電極
308 位相変調素子
400 第2の画像
401 入力画像
402 第1のサブセット
403 第2のサブセット
404 第3のサブセット
501 画像ソース
503 画像
505 ホログラムエンジン
507 入力コンピュータ生成ホログラム
540 空間光変調器
607 [x×y]画素のセット
608 サブセット
609 タイリングエンジン
611 出力コンピュータ生成ホログラム
613 仮想光学系エンジン
613A レンズを表すデータ
613B 回折格子データ
615 最終的なホログラム
707 完全なタイル
708 部分タイル
711 出力ホログラム
717 第1の完全なタイル
718 第2の部分タイル
721 第2の出力ホログラム
727 第1の完全なタイル
728 第2の部分タイル
731 第3の出力ホログラム
810 第1の部分タイル
820 第2の部分タイル
830 完全なタイル
910 完全なタイル
920 第1の部分タイル
930 第2の部分タイル
940 第3の部分タイル

Claims (17)

  1. [m×n]画素を含む空間光変調器用のドライバであって、前記ドライバは、複数の入力ホログラムを受信するように構成され、前記入力ホログラムのそれぞれは[x×y]画素を含み、
    前記入力ホログラムは、前記入力ホログラムのそれぞれによって再構成される対象画像に対応するものであり、
    前記入力ホログラムのそれぞれは、前記空間光変調器の画素より少ない画素を含むように、m≧xおよびn≧yであり、
    タイリング方式を使用して、前記入力ホログラムのそれぞれに対応する出力ホログラムを少なくともひとつ形成するために、前記入力ホログラムのそれぞれを前記空間光変調器の前記画素にタイリングすることによって、それぞれが[m×n]画素を含む出力ホログラムを前記空間光変調器に表示するように前記空間光変調器を駆動し、
    前記入力ホログラムのそれぞれを前記空間光変調器の前記画素にタイリングすることには、
    前記入力ホログラムをひとつ前記空間光変調器の前記画素に用いた場合に使用されない余剰な前記空間光変調器の前記画素を、前記入力ホログラムの画素の一部を繰り返し表示するために用いることを含み、
    前記ドライバは、第1の出力ホログラムと第2の出力ホログラムを含む一連の出力ホログラムを形成するように構成され、
    第1の出力ホログラムを表示するために第1のタイリング方式を使用し、第1の出力ホログラムとは異なる第2の出力ホログラムを表示するために第1のタイリング方式とは異なる第2のタイリング方式を使用し、
    各出力ホログラムは、対応する前記入力ホログラムの複数のタイルを含み、
    各タイリング方式は、前記空間光変調器の前記画素上の各タイルの大きさおよび各タイルの位置を定義する
    ドライバ。
  2. 第1の出力ホログラムのタイルのうち第2の出力ホログラムと接する部分にある端のタイルと、第2の出力ホログラムのタイルのうち第1の出力ホログラムと接する部分にある端のタイルは、それぞれ前記入力ホログラムの1つの端の画素と前記入力ホログラムの1つの端の反対側の端の画素を含む請求項1に記載のドライバ。
  3. 各出力ホログラムが少なくとも1つの完全タイルを含み、完全タイルは、前記入力ホログラムの[x×y]画素の完全な連続したグループである
    請求項1または2に記載のドライバ。
  4. m≧2x、およびn≧2yである
    請求項1~3のいずれか一項に記載のドライバ。
  5. 各出力ホログラムが複数の部分タイルを含み、部分タイルは、前記入力ホログラムの画素の隣接したサブセットである
    請求項1~4のいずれか一項に記載のドライバ。
  6. 前記ドライバが、第1の入力ホログラムを受信し、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングし、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングするように構成される
    請求項1~5のいずれか一項に記載のドライバ。
  7. 前記対象画像は、一連の画像フレームを含む動画に含まれる画像フレームを含み、
    前記ドライバが、
    前記動画の前記画像フレームに対応する一連の入力ホログラムを受信し、
    各入力ホログラムに対して、複数の異なるタイリング方式を使用して前記入力ホログラムを前記空間光変調器の前記画素にタイリングすることによって、次の前記入力ホログラムが受信される前に、複数の対応する出力ホログラムを連続して表示するように構成される
    請求項1~5のいずれか一項に記載のドライバ。
  8. 前記ドライバが、第1の入力ホログラムを受信し、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングし、第2の入力ホログラムを受信し、2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、前記第2の入力ホログラムを前記空間光変調器の前記画素にタイリングするように構成される
    請求項1~5のいずれか一項に記載のドライバ。
  9. 前記対象画像は、一連の画像フレームを含む動画に含まれる画像フレームを含み、
    前記ドライバが、
    前記動画の前記画像フレームに対応する一連の入力ホログラムを受信し、
    各入力ホログラムを前記空間光変調器の前記画素に連続的にタイリングし、かつ前記タイリング方式を連続的に変更することによって、対応する出力ホログラムを表示するように構成される
    請求項1~5のいずれか一項に記載のドライバ。
  10. 各入力ホログラムが、空間周波数の空間分布を含み、任意で、各入力ホログラムがフーリエまたはフレネルホログラムである
    請求項1~9のいずれか一項に記載のドライバ。
  11. 請求項1~10のいずれか一項に記載のドライバを備え、前記空間光変調器と、各入力ホログラムに対応する再構成された対象画像が
    再生平面に形成されるように、コヒーレント光で各出力ホログラムを照明するように構成された光源とをさらに備える
    ホログラフィックプロジェクタ。
  12. [m×n]画素を含む空間光変調器を駆動する方法であって、
    [x×y]画素を含む複数の入力ホログラムを受信するステップであって、
    前記入力ホログラムのそれぞれは、前記入力ホログラムのそれぞれによって再構成される対象画像に対応するものであり、
    前記入力ホログラムのそれぞれは、前記空間光変調器の画素より少ない画素を含むように、m≧x、およびn≧yである、ステップと、
    タイリング方式を使用して、前記入力ホログラムのそれぞれに対応する出力ホログラムを少なくともひとつ形成するために、前記入力ホログラムのそれぞれを前記空間光変調器の前記画素にタイリングするステップと、
    最初は第1のタイリング方式を使用して前記入力ホログラムを前記空間光変調器の前記画素にタイリングすることによって、[m×n]画素を含む第1の出力ホログラムを表示するステップと、
    2度目は第1のタイリング方式とは異なる第2のタイリング方式を使用して前記入力ホログラムを前記空間光変調器の前記画素にタイリングすることによって、[m×n]画素を含む第1の出力ホログラムとは異なる第2の出力ホログラムを形成するステップとを含み、
    前記入力ホログラムのそれぞれを前記空間光変調器の前記画素にタイリングすることには、
    前記入力ホログラムをひとつ前記空間光変調器の前記画素に用いた場合に使用されない余剰な前記空間光変調器の前記画素を、前記入力ホログラムの画素の一部を繰り返し表示するために用いることを含み、
    各出力ホログラムは、対応する前記入力ホログラムの複数のタイルを含み、当該入力ホログラムと同じ対象画像を表し、
    前記タイリング方式は、前記空間光変調器の前記画素上の各タイルの大きさおよび各タイルの位置を定義する
    方法。
  13. 第1の入力ホログラムを受信するステップと、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングするステップと、
    2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングするステップとをさらに含む
    請求項12に記載の空間光変調器を駆動する方法。
  14. 前記対象画像は、一連の画像フレームを含む動画に含まれる画像フレームを含み、
    前記動画の前記画像フレームに対応する一連の入力ホログラムを受信するステップと、
    各入力ホログラムに対して、複数の異なるタイリング方式を使用して前記入力ホログラムを前記空間光変調器の前記画素にタイリングすることによって、次の前記入力ホログラムを受信する前に、複数の対応する出力ホログラムを連続して表示するステップとをさらに含む
    請求項12に記載の空間光変調器を駆動する方法。
  15. 第1の入力ホログラムを受信するステップと、最初は第1の出力ホログラムを表示するために第1のタイリング方式を使用して、前記第1の入力ホログラムを前記空間光変調器の前記画素にタイリングするステップと、
    第2の入力ホログラムを受信するステップと、
    2度目は第2の出力ホログラムを表示するために第2のタイリング方式を使用して、前記第2の入力ホログラムを前記空間光変調器の前記画素にタイリングするステップとをさらに含む
    請求項12に記載の空間光変調器を駆動する方法。
  16. 請求項12~15のいずれか一項に記載されているように空間光変調器を駆動するステップと、
    各入力ホログラムに対応する再生平面に少なくとも1つの再構成される対象画像を形成するために、各出力ホログラムをコヒーレント光で照明するステップとを含む
    ホログラフィック投影の方法。
  17. m≧2x、およびn≧2yである
    請求項16に記載のホログラフィック投影の方法。
JP2019186092A 2018-11-09 2019-10-09 ホログラフィック投影のための、表示装置に対する画素マッピング Active JP6998102B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1818295.6 2018-11-09
GB1818295.6A GB2578785C (en) 2018-11-09 2018-11-09 Pixel mapping onto a display device for holographic projection

Publications (2)

Publication Number Publication Date
JP2020076973A JP2020076973A (ja) 2020-05-21
JP6998102B2 true JP6998102B2 (ja) 2022-01-18

Family

ID=64739464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019186092A Active JP6998102B2 (ja) 2018-11-09 2019-10-09 ホログラフィック投影のための、表示装置に対する画素マッピング

Country Status (7)

Country Link
US (1) US11231683B2 (ja)
EP (1) EP3650949B1 (ja)
JP (1) JP6998102B2 (ja)
KR (1) KR102241604B1 (ja)
CN (1) CN111176092B (ja)
GB (1) GB2578785C (ja)
PL (1) PL3650949T3 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2597828B (en) * 2018-11-12 2022-10-19 Dualitas Ltd A spatial light modulator for holographic projection
GB2587400B (en) * 2019-09-27 2022-02-16 Dualitas Ltd Hologram display using a liquid crystal display device
GB2598088B (en) * 2020-08-05 2022-08-24 Envisics Ltd Holographic fingerprint
GB2604890B (en) 2021-03-17 2024-01-31 Envisics Ltd Image projection
WO2022201938A1 (ja) * 2021-03-22 2022-09-29 日本電気株式会社 投射装置、制御方法、および記録媒体
US11328634B1 (en) * 2021-09-07 2022-05-10 Himax Display, Inc. Projection device and method with liquid crystal on silicon panel

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170988A (ja) 2007-01-05 2008-07-24 Seiko Epson Corp グラフィックス・コントローラ、メイン画像とタイル画像から合成画像を生成する方法、およびグラフィクス・コントローラを用いてタイル状背景画像上にメイン画像を合成させる方法
JP2015505971A (ja) 2011-10-26 2015-02-26 トゥー ツリーズ フォトニクス リミテッド パラメータ引き継ぎを伴う反復位相回復
WO2018100397A1 (en) 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301550A (ja) * 1997-02-26 1998-11-13 Ricoh Co Ltd 画像表示方法、画像出力システム及び画像処理システム
EP1415480A1 (en) * 2001-07-06 2004-05-06 Explay Ltd. An image projecting device and method
JP2003337523A (ja) * 2002-05-17 2003-11-28 Pioneer Electronic Corp ホログラム記録装置及びホログラム再生装置
JPWO2004034387A1 (ja) * 2002-10-09 2006-02-09 株式会社オプトウエア ホログラフィを利用した情報記録方法、再生方法および記録再生方法
GB0329012D0 (en) * 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
CN101802725B (zh) * 2007-05-16 2013-02-13 视瑞尔技术公司 全息显示装置
JP5180021B2 (ja) * 2008-10-01 2013-04-10 浜松ホトニクス株式会社 レーザ加工装置およびレーザ加工方法
NL2003845A (en) 2008-12-19 2010-06-22 Asml Netherlands Bv Lithographic apparatus, and patterning device for use in a lithographic process.
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
GB2496108B (en) 2011-10-26 2015-03-04 Two Trees Photonics Ltd Image production
GB2499579B (en) 2012-02-07 2014-11-26 Two Trees Photonics Ltd Lighting device
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
WO2014053164A1 (en) * 2012-10-01 2014-04-10 Seereal Technologies S.A. Controllable device for phase modulation of coherent light
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
GB2526158B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Imaging device for moving a virtual image
GB2554575B (en) 2014-05-16 2018-09-26 Two Trees Photonics Ltd Diffuser for head-up display
GB2526159B (en) 2014-05-16 2017-12-20 Two Trees Photonics Ltd Diffuser for head-up display
GB2526275B (en) 2014-05-16 2017-12-13 Two Trees Photonics Ltd Display for reducing speckle
US10571862B1 (en) * 2015-05-21 2020-02-25 Real View Imaging Ltd. Producing a computer generated holographic image
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
GB2547926B (en) 2016-03-03 2020-04-29 Dualitas Ltd Display system
GB2547929B (en) 2016-03-03 2018-02-21 Daqri Holographics Ltd Display system
EP3472827B1 (en) 2016-10-27 2021-12-01 Dualitas Ltd. Method of operating a display driver
GB2560490B (en) 2017-01-19 2020-08-12 Envisics Ltd Holographic light detection and ranging
KR102266803B1 (ko) * 2017-04-06 2021-06-18 한국전자통신연구원 디지털 컬러 홀로그램 생성 방법 및 장치, 그리고 타일링을 이용한 디지털 컬러 홀로그래픽 디스플레이 장치
GB2551870B (en) 2017-04-07 2020-04-01 Dualitas Ltd Holographic projector
GB2567410B (en) 2017-08-02 2020-08-19 Envisics Ltd A display device and system
US11231583B2 (en) 2017-08-02 2022-01-25 Envisics Ltd. Display device and system
GB2567409B (en) 2017-08-02 2020-08-26 Envisics Ltd A display device and system
GB2565834B (en) 2017-08-25 2020-05-20 Dualitas Ltd Display system
GB2569206B (en) 2018-05-25 2019-12-04 Dualitas Ltd A method of displaying a hologram on a display device comprising pixels
GB2569208B (en) 2018-07-19 2019-12-04 Envisics Ltd A head-up display
GB2586511B (en) * 2019-08-23 2021-12-01 Dualitas Ltd Holographic projector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008170988A (ja) 2007-01-05 2008-07-24 Seiko Epson Corp グラフィックス・コントローラ、メイン画像とタイル画像から合成画像を生成する方法、およびグラフィクス・コントローラを用いてタイル状背景画像上にメイン画像を合成させる方法
JP2015505971A (ja) 2011-10-26 2015-02-26 トゥー ツリーズ フォトニクス リミテッド パラメータ引き継ぎを伴う反復位相回復
WO2018100397A1 (en) 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector
WO2018100394A1 (en) 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector

Also Published As

Publication number Publication date
EP3650949B1 (en) 2021-01-27
KR102241604B1 (ko) 2021-04-16
KR20200054091A (ko) 2020-05-19
GB2578785C (en) 2023-08-09
US11231683B2 (en) 2022-01-25
US20200150589A1 (en) 2020-05-14
JP2020076973A (ja) 2020-05-21
GB2578785B (en) 2022-08-03
CN111176092A (zh) 2020-05-19
GB2578785A (en) 2020-05-27
GB201818295D0 (en) 2018-12-26
EP3650949A1 (en) 2020-05-13
PL3650949T3 (pl) 2021-05-31
CN111176092B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
JP6830124B2 (ja) 画素を含むディスプレイ装置にホログラムを表示する方法
JP6998102B2 (ja) ホログラフィック投影のための、表示装置に対する画素マッピング
JP6711769B2 (ja) 2次元/3次元ホログラフィ表示システム
TWI745782B (zh) 全像投影的空間光調變器
JP6994777B2 (ja) ホログラフィックプロジェクタ
US20150346491A1 (en) Holographic Image Projection with Holographic Correction
CN112558452B (zh) 全息投影
KR102453726B1 (ko) 홀로그램 프로젝터
TWI820365B (zh) 用於在多個平面上形成影像重建的投射器和方法及相關的抬頭顯示器
GB2597828A (en) A spatial light modulator for holographic projection
TWI785712B (zh) 空間光調變器
US20240077833A1 (en) Display device and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211216

R150 Certificate of patent or registration of utility model

Ref document number: 6998102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150