JP5072763B2 - Hologram creation method - Google Patents

Hologram creation method Download PDF

Info

Publication number
JP5072763B2
JP5072763B2 JP2008199887A JP2008199887A JP5072763B2 JP 5072763 B2 JP5072763 B2 JP 5072763B2 JP 2008199887 A JP2008199887 A JP 2008199887A JP 2008199887 A JP2008199887 A JP 2008199887A JP 5072763 B2 JP5072763 B2 JP 5072763B2
Authority
JP
Japan
Prior art keywords
image
fourier transform
hologram
created
fast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008199887A
Other languages
Japanese (ja)
Other versions
JP2010039069A (en
Inventor
民樹 竹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2008199887A priority Critical patent/JP5072763B2/en
Publication of JP2010039069A publication Critical patent/JP2010039069A/en
Application granted granted Critical
Publication of JP5072763B2 publication Critical patent/JP5072763B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Description

本発明は、複数の要素ホログラムが配列されて構成される合成ホログラムを作成する方法に関するものである。   The present invention relates to a method for creating a composite hologram configured by arranging a plurality of element holograms.

非特許文献1〜3それぞれには、複数の要素ホログラムが配列されて構成される合成ホログラムを作成する方法が記載されている。合成ホログラムを構成する各要素ホログラムは一般に以下のようにして作成される。合成ホログラムが記録または呈示されるべきホログラム記録材料(例えば、感光材料、空間光変調器、など)において各要素ホログラムが記録されるべき局所領域の中心位置が仮想視点とされて、合成ホログラムにより再生されるべき目標再生像が透視変換され、これにより透視変換画像が作成される。そして、この透視変換画像に基づいて高速フーリエ変換または高速逆フーリエ変換が実行されて物体光の波面が作成され、この物体光と参照光との干渉縞に基づいて要素ホログラムが作成される。
Toyohiko Yatagai, "Stereoscopic approach to 3-D display usingcomputer-generated holograms", Applied Optics, Vol.15, No.11, pp.2722-2729(1976). Masahiro Yamaguchi, et al, "Phase added stereogram: calculationof hologram using computer graphics technique", SPIE, Vol.1914, pp.25-31(1993). 小林義章、他、“補正PASによる計算機合成ホログラムの高画質化と高速生成”、3次元画像コンファレンス、Vol.15, pp.1-4 (2007),
Each of Non-Patent Documents 1 to 3 describes a method of creating a synthetic hologram configured by arranging a plurality of element holograms. Each element hologram constituting the composite hologram is generally created as follows. The hologram recording material (for example, photosensitive material, spatial light modulator, etc.) on which the synthesized hologram is to be recorded or presented is reproduced by the synthesized hologram with the central position of the local area where each element hologram is to be recorded as a virtual viewpoint. The target reproduction image to be processed is perspective-transformed, thereby creating a perspective-transformed image. Then, fast Fourier transform or fast inverse Fourier transform is executed based on the perspective transformation image to create a wavefront of the object light, and an element hologram is created based on the interference fringes between the object light and the reference light.
Toyohiko Yatagai, "Stereoscopic approach to 3-D display using computer-generated holograms", Applied Optics, Vol.15, No.11, pp.2722-2729 (1976). Masahiro Yamaguchi, et al, "Phase added stereogram: calculationof hologram using computer graphics technique", SPIE, Vol.1914, pp.25-31 (1993). Yoshiaki Kobayashi, et al., “High-quality image generation and high-speed generation of computer-generated holograms using corrected PAS”, 3D image conference, Vol.15, pp.1-4 (2007),

高速フーリエ変換および高速逆フーリエ変換の何れも、入力画像上の(M×M)個のデータを処理して出力画像上の(M×M)個のデータを得るものである。M値が大きいほど、再生時に照明光が照射された各要素ホログラムから出力される再生光の光線密度が大きくなるので、再生像が鮮明に観察され得る。それ故、M値は大きいほど好ましい。しかし、一般に、各要素ホログラムから出力される再生光の光線の数は(M×M)個に制限される。また、Mは2の冪数であるという制限もある。したがって、M値を大きくすることができず、観察される再生像を鮮明にするにも限界がある。   Both the fast Fourier transform and the fast inverse Fourier transform process (M × M) data on the input image to obtain (M × M) data on the output image. As the M value increases, the light density of the reproduction light output from each element hologram irradiated with illumination light during reproduction increases, so that the reproduction image can be observed clearly. Therefore, a larger M value is preferable. However, in general, the number of light beams of reproduction light output from each element hologram is limited to (M × M). There is also a restriction that M is a power of 2. Therefore, the M value cannot be increased, and there is a limit to clear the observed reproduced image.

本発明は、上記問題点を解消する為になされたものであり、より鮮明な再生像を再生し得る合成ホログラムを作成することができる方法を提供することを目的とする。   The present invention has been made to solve the above problems, and an object of the present invention is to provide a method capable of creating a synthetic hologram capable of reproducing a clearer reproduced image.

本発明に係るホログラム作成方法は、合成ホログラムを構成する複数の要素ホログラムそれぞれが記録されるべき局所領域の中心位置を仮想視点として、合成ホログラムにより再生されるべき目標再生像を透視変換して透視変換画像を作成し、この透視変換画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して要素ホログラムを作成し、複数の要素ホログラムを配列して合成ホログラムを作成する方法である。   The hologram creating method according to the present invention performs perspective transformation by perspectively transforming a target reproduced image to be reproduced by a synthetic hologram, with the central position of a local area where each of a plurality of element holograms constituting the synthetic hologram is to be recorded as a virtual viewpoint. This is a method of creating a converted image, executing fast Fourier transform or fast inverse Fourier transform based on this perspective transformed image to create an element hologram, and arranging a plurality of element holograms to create a composite hologram.

本発明に係るホログラム作成方法は、(1) 高速フーリエ変換または高速逆フーリエ変換のための入力画像座標位置に対応する透視変換画像の座標位置の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成し、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して第1出力画像を作成する第1ステップと、(2) 高速フーリエ変換または高速逆フーリエ変換のための入力画像座標位置に対して所定の偏差を有する位置に対応する透視変換画像の座標位置の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成し、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して出力画像を作成し、この出力画像に対して所定の偏差に応じた補正を行って当該補正後の第2出力画像を作成する第2ステップと、(3) 第1ステップで作成された第1出力画像と第2ステップで作成された第2出力画像との和を求め、この和により得られる画像に基づいて要素ホログラムを作成する第3ステップと、(4) 第3ステップで作成された複数の要素ホログラムを配列して合成ホログラムを作成する第4ステップと、を備えることを特徴とする。   The hologram creating method according to the present invention includes (1) a fast Fourier transform or a fast inverse Fourier transform based on coordinate position information of a perspective transformation image corresponding to an input image coordinate position for fast Fourier transform or fast inverse Fourier transform. A first step of creating a first output image by creating an input image for the image and executing a fast Fourier transform or a fast inverse Fourier transform based on the input image; and (2) a fast Fourier transform or a fast inverse Fourier transform. An input image for fast Fourier transform or fast inverse Fourier transform is created based on the coordinate position information of the perspective transformation image corresponding to a position having a predetermined deviation from the input image coordinate position for the input image. Based on this, an output image is created by executing a fast Fourier transform or a fast inverse Fourier transform, and the output image is compensated according to a predetermined deviation. To calculate the sum of the first output image created in the first step and the second output image created in the second step. A third step of creating an element hologram based on an image obtained by the sum; and (4) a fourth step of arranging a plurality of element holograms created in the third step to create a composite hologram. It is characterized by that.

本発明に係るホログラム作成方法は、第2ステップにおいて、透視変換画像の原点を含む中央領域では座標位置の輝度情報の値を0とし、透視変換画像の中央領域の外側にある周辺領域では座標位置の輝度情報を非0として、高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成するのが好適である。   In the hologram creating method according to the present invention, in the second step, the luminance information value of the coordinate position is set to 0 in the central region including the origin of the perspective transformation image, and the coordinate position is set in the peripheral region outside the central region of the perspective transformation image. It is preferable to create an input image for fast Fourier transform or fast inverse Fourier transform with non-zero luminance information.

本発明に係るホログラム作成方法は、第2ステップにおいて、複数の所定の偏差それぞれに対応して複数の第2出力画像を作成し、第3ステップにおいて、第1ステップで作成された第1出力画像と第2ステップで作成された複数の第2出力画像との和を求め、この和により得られる画像に基づいて要素ホログラムを作成するのが好適である。   The hologram creating method according to the present invention creates a plurality of second output images corresponding to each of a plurality of predetermined deviations in the second step, and the first output image created in the first step in the third step. And a plurality of second output images created in the second step, and an element hologram is preferably created based on the image obtained by the sum.

本発明によれば、要素ホログラムから出力される再生光の光線の数を増加させることができて、より鮮明な再生像を再生し得る合成ホログラムを作成することができる。   According to the present invention, it is possible to increase the number of reproduced light beams output from the element hologram, and to create a synthetic hologram that can reproduce a clearer reproduced image.

以下、添付図面を参照して、本発明を実施するための最良の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.

図1は、本実施形態に係るホログラム作成方法により作成される合成ホログラムの説明図である。同図(a)は、ホログラム記録材料に記録または呈示される合成ホログラムを説明する図である。同図(b)は、合成ホログラムを構成する各要素ホログラムを説明する図である。合成ホログラムHが記録または呈示されるホログラム記録材料は、例えば、露光または電子ビーム照射により光学的特性(透過率、反射率または位相)が調整され得る感光材料や、2次元配列された複数の画素それぞれにおいて光学的特性(透過率、反射率または位相)が調整され得る空間光変調器である。   FIG. 1 is an explanatory diagram of a synthetic hologram created by the hologram creating method according to the present embodiment. FIG. 4A is a diagram for explaining a synthetic hologram recorded or presented on a hologram recording material. FIG. 4B is a diagram for explaining each element hologram constituting the composite hologram. The hologram recording material on which the synthetic hologram H is recorded or presented is, for example, a photosensitive material whose optical characteristics (transmittance, reflectance, or phase) can be adjusted by exposure or electron beam irradiation, or a plurality of pixels arranged two-dimensionally. Each is a spatial light modulator whose optical characteristics (transmittance, reflectance or phase) can be adjusted.

合成ホログラムHは、同図(a)に示されるように、(mmax×nmax)個の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)が配列されて構成される。(mmax×nmax)個の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)は、横方向(x軸方向)にmmax列に配列され、縦方向(y軸方向)にnmax行に配列されている。各要素ホログラムH(m,n)は、位置(m,n)に配置される。なお、各要素ホログラムが記録される局所領域は、隣にある他の要素ホログラムが記録される局所領域に対して、一部が重なっていてもよいし、異なっていてもよく、また、後者の場合には、離間していてもよいし、境界が接していてもよい。 As shown in FIG. 5A, the composite hologram H is formed by arranging (m max × n max ) element holograms H (0,0) to H (m max −1, n max −1). Composed. (m max × n max ) element holograms H (0,0) to H (m max −1, n max −1) are arranged in m max columns in the horizontal direction (x-axis direction), and the vertical direction ( It is arranged in n max rows in the y-axis direction). Each element hologram H (m, n) is arranged at a position (m, n). The local area where each element hologram is recorded may partially overlap or be different from the local area where other element holograms are recorded next to each other. In some cases, they may be separated or bordered.

各要素ホログラムH(m,n)は、同図(b)に示されるように、(M×M)個の光変調部P(0,0)〜P(M−1,M−1)が配列されて構成される。(M×M)個の光変調部P(0,0)〜P(M−1,M−1)は、横方向(x軸方向)にM列に一定間隔Λで配列され、縦方向(y軸方向)にM行に一定間隔Λで配列されている。各光変調部P(i,j)は、位置(i,j)に配置される。各光変調部P(i,j)は、入力した光に対して強度または位相を変調して透過または反射させて出力する。各光変調部P(i,j)は、例えば、ホログラム記録材料としての感光材料において光ビームまたは電子ビームが照射される単位領域に相当し、或いは、ホログラム記録材料としての空間光変調器の画素に相当する。以下では、各光変調部P(i,j)が入力光に対して強度を変調して透過させて出力するものとして説明する。   Each element hologram H (m, n) includes (M × M) light modulators P (0,0) to P (M−1, M−1) as shown in FIG. Arranged and configured. (M × M) light modulators P (0,0) to P (M−1, M−1) are arranged in the M direction in the horizontal direction (x-axis direction) at a constant interval Λ, and the vertical direction ( In the y-axis direction), M rows are arranged at a constant interval Λ. Each light modulator P (i, j) is arranged at a position (i, j). Each light modulator P (i, j) modulates the intensity or phase of the input light, and transmits or reflects and outputs the modulated light. Each light modulator P (i, j) corresponds to, for example, a unit region irradiated with a light beam or an electron beam in a photosensitive material as a hologram recording material, or a pixel of a spatial light modulator as a hologram recording material It corresponds to. In the following description, it is assumed that each light modulation unit P (i, j) modulates the intensity of the input light and transmits the light.

図2は、本実施形態に係るホログラム作成方法における透視変換画像の作成を説明する図である。観察者1からホログラム面10へ向う方向を+z方向とし、ホログラム面10の位置をz=0とする。ホログラム面10は、x軸およびy軸に平行であるとする。観察者1とホログラム面10との間に目標再生像21が再生され、或いは、ホログラム面10を挟んで観察者1と反対の側に目標再生像22が再生されるとする。目標再生像21,22は、計算機により作成されたポリゴンデータにより表現される。また、以降の処理も計算機により実行される。   FIG. 2 is a diagram illustrating the creation of a perspective transformation image in the hologram creating method according to the present embodiment. The direction from the observer 1 toward the hologram surface 10 is defined as + z direction, and the position of the hologram surface 10 is defined as z = 0. The hologram surface 10 is assumed to be parallel to the x axis and the y axis. It is assumed that the target reproduction image 21 is reproduced between the observer 1 and the hologram surface 10, or the target reproduction image 22 is reproduced on the opposite side of the observer 1 with the hologram surface 10 interposed therebetween. The target reproduced images 21 and 22 are expressed by polygon data created by a computer. The subsequent processing is also executed by the computer.

ホログラム面10において各要素ホログラムが記録される局所領域は、共通の大きさを有する正方形であって、隣にある他の要素ホログラムが記録される局所領域に対して境界が接しているものとする。また、この正方形の局所領域は、観察者1の目の水平分解能に近い大きさを有しているのが好ましい。この正方形の各局所領域の中心位置に仮想視点Cが設定される(図1(b)参照)。   The local area where each element hologram is recorded on the hologram surface 10 is a square having a common size, and the boundary is in contact with the local area where another adjacent element hologram is recorded. . The square local region preferably has a size close to the horizontal resolution of the eye of the observer 1. A virtual viewpoint C is set at the center position of each square local area (see FIG. 1B).

この仮想視点Cにより目標再生像21が透視変換されてスクリーン面31上に透視変換画像41が作成される。また、仮想視点Cにより目標再生像22が透視変換されてスクリーン面32上に透視変換画像42が作成される。仮想視点Cが四角錘の頂点となり、スクリーン面31,32が該四角錘の底面となり、該四角錘の底面であるスクリーン面31,32に透視変換画像41,42が作成される。透視変換画像は、正確には仮想視点C付近のクリップした四角錐台の上面に定義されるが、底面に透視変換画像を投影したスクリーン画面も同等であるから、以降では、スクリーン面31,32に透視変換画像41,42が生じるものとして説明する。   The target reproduction image 21 is perspectively transformed by the virtual viewpoint C, and a perspective transformation image 41 is created on the screen surface 31. Further, the target reproduction image 22 is perspective-transformed by the virtual viewpoint C, and a perspective transformation image 42 is created on the screen surface 32. The virtual viewpoint C is the apex of the quadrangular pyramid, the screen surfaces 31 and 32 are the bottom surfaces of the quadrangular pyramids, and the perspective transformation images 41 and 42 are created on the screen surfaces 31 and 32 that are the bottom surfaces of the quadrangular pyramids. The perspective transformation image is precisely defined on the upper surface of the clipped quadrangular pyramid near the virtual viewpoint C. However, since the screen screen on which the perspective transformation image is projected on the bottom surface is equivalent, the screen surfaces 31 and 32 are hereinafter referred to. In the following description, it is assumed that the perspective transformation images 41 and 42 are generated.

各要素ホログラムH(m,n)における各光変調部P(i,j)の配置のピッチをΛとし、ホログラム面10への物体光の入射角をθ,θとし、隣接する光変調部Pから生じる再生光の光路長差をD,Dとしたとき、図3に示される回折の関係から、下記(1)式の関係式が成り立つ。 The pitch of the arrangement of each light modulation part P (i, j) in each element hologram H (m, n) is Λ, the incident angle of the object light on the hologram surface 10 is θ x , θ y , and the adjacent light modulation When the optical path length difference of the reproduction light generated from the part P is D x and D y , the following relational expression (1) is established from the diffraction relation shown in FIG.

Figure 0005072763
Figure 0005072763

仮想視点Cとスクリーン面31,32との間の距離をLとし、スクリーン面31,32における画像幅をWとし、スクリーン面31,32における画素数を(N×N)とし、スクリーン面31,32上の画素位置を(N,N)とすると、下記(2)式の関係式が成り立つ。ここで、NおよびNそれぞれは−N/2からN/2−1までの整数値をとり得る。 The distance between the virtual viewpoint C and the screen surfaces 31, 32 is L, the image width on the screen surfaces 31, 32 is W, the number of pixels on the screen surfaces 31, 32 is (N × N), and the screen surfaces 31, When the pixel position on 32 is (N x , N y ), the following relational expression (2) is established. Here, each of N x and N x can take an integer value from −N / 2 to N / 2-1.

Figure 0005072763
Figure 0005072763

物体光および再生光の波長をλとする。各要素ホログラムH(m,n)における光変調部P(i,j)の個数を(M×M)とする。すなわち、以下で実行する高速フーリエ変換および高速逆フーリエ変換は、入力画像上の(M×M)個のデータを処理して出力画像上の(M×M)個のデータを得るものとする。高速フーリエ変換または高速逆フーリエ変換の入力画像において画素位置を(F,F)とする。ここで、FおよびFそれぞれは−M/2からM/2−1までの整数値をとり得る。このとき、下記(3)式の関係式が成り立つ。 Let λ be the wavelengths of the object light and the reproduction light. The number of light modulators P (i, j) in each element hologram H (m, n) is (M × M). That is, the fast Fourier transform and fast inverse Fourier transform executed below process (M × M) data on the input image to obtain (M × M) data on the output image. Let the pixel position be (F x , F y ) in the input image of the fast Fourier transform or fast inverse Fourier transform. Here, each of F x and F x can take an integer value from −M / 2 to M / 2-1. At this time, the following relational expression (3) holds.

Figure 0005072763
Figure 0005072763

上記(1)式,(2)式および(3)式から、高速フーリエ変換または高速逆フーリエ変換の入力画像における画素位置(F,F)とスクリーン面31,32上の画素位置(N,N)との関係を表す式として、下記(4)式が得られる。 From the above formulas (1), (2) and (3), the pixel position (F x , F y ) in the input image of fast Fourier transform or fast inverse Fourier transform and the pixel position (N The following expression (4) is obtained as an expression representing the relationship with x 1 , N y ).

Figure 0005072763
Figure 0005072763

この(4)式が用いられて、図4に示されるように、高速フーリエ変換または高速逆フーリエ変換の入力画像における各画素位置(F,F)に対応するスクリーン面31,32上の画素位置(N,N)が求められる。そして、そのスクリーン面31,32上の透視変換画像41,42の画素位置(N,N)の輝度情報が、高速フーリエ変換または高速逆フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。 This equation (4) is used, as shown in FIG. 4, on the screen surfaces 31 and 32 corresponding to the pixel positions (F x , F y ) in the input image of the fast Fourier transform or fast inverse Fourier transform. A pixel position (N x , N y ) is obtained. Then, the luminance information of the pixel positions (N x , N y ) of the perspective transformation images 41, 42 on the screen surfaces 31, 32 is converted into the pixel position (F x of the input image for the fast Fourier transform or the fast inverse Fourier transform. , F y ), the input image is created.

本実施形態に係るホログラム作成方法では、ここまで説明したように、合成ホログラムHを構成する複数の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)それぞれが記録されるべき局所領域の中心位置が仮想視点Cとされて、合成ホログラムHにより再生されるべき目標再生像21,22が透視変換されて透視変換画像41,42が作成され、この透視変換画像41,42に基づいて高速フーリエ変換または高速逆フーリエ変換が実行されて要素ホログラムH(m,n)が作成され、複数の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)が配列されて合成ホログラムHが作成される。 In the hologram production method according to the present embodiment, as described so far, each of the plurality of element holograms H (0,0) to H (m max −1, n max −1) constituting the composite hologram H is recorded. The center position of the local area to be used is the virtual viewpoint C, and the target reproduction images 21 and 22 to be reproduced by the synthetic hologram H are perspectively transformed to create the perspective transformation images 41 and 42. 42, fast Fourier transform or fast inverse Fourier transform is executed to create an element hologram H (m, n), and a plurality of element holograms H (0,0) to H (m max -1, n max -1). ) Are arranged to create a composite hologram H.

本実施形態に係るホログラム作成方法は、以下に説明するような第1〜第4のステップを含む。以下では、透視変換画像の作成の為に仮想視点Cに配置されるグラフィックスカメラがMicrosoft社のDirectX(登録商標)の場合のように−z方向の透視変換を行うことができない場合について説明する。したがって、以下の第1ステップおよび第2ステップそれぞれの説明では、z座標値が負の領域(z<0)に存在する目標再生像21の場合と、z座標値が正の領域(z>0)に存在する目標再生像22の場合とに分ける。   The hologram creating method according to the present embodiment includes first to fourth steps as described below. In the following, a case will be described where the graphics camera placed at the virtual viewpoint C for creation of the perspective transformation image cannot perform the perspective transformation in the -z direction as in the case of Microsoft DirectX (registered trademark). . Therefore, in the following description of each of the first step and the second step, the target reproduced image 21 in which the z coordinate value exists in the negative region (z <0) and the region in which the z coordinate value is positive (z> 0). ) In the case of the target reproduced image 22 existing in FIG.

先ず、本実施形態に係るホログラム作成方法の第1ステップについて説明する。第1ステップでは、高速フーリエ変換または高速逆フーリエ変換のための入力画像の座標位置(F,F)に対応する透視変換画像41,42の座標位置(N,N)の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像が作成され、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換が実行されて第1出力画像が作成される。 First, the first step of the hologram creating method according to this embodiment will be described. In the first step, information on the coordinate positions (N x , N y ) of the perspective transformation images 41, 42 corresponding to the coordinate positions (F x , F y ) of the input image for fast Fourier transform or fast inverse Fourier transform is included. Based on this, an input image for fast Fourier transform or fast inverse Fourier transform is created, and based on this input image, fast Fourier transform or fast inverse Fourier transform is executed to create a first output image.

第1ステップにおいて、z座標値が負の領域(z<0)に存在する目標再生像21に対する処理は以下のとおりである。z座標値が負の領域(z<0)に存在する目標再生像21は、同じくz座標値が負の領域(z<0)にいる観察者1により、ホログラム面10から手前に浮き出して観察される。透視変換画像41の作成の際には、グラフィックスカメラは+z方向にセットされる。また、目標再生像21は仮想視点Cを中心とする点対称行列が作用されてz座標値が正の領域(z>0)に移動され、この移動後の目標再生像が透視変換される。   In the first step, the processing for the target reproduced image 21 in which the z coordinate value exists in the negative region (z <0) is as follows. The target reconstructed image 21 existing in the negative z-coordinate region (z <0) is observed by being lifted from the hologram surface 10 by the observer 1 who is also in the negative z-coordinate region (z <0). Is done. When creating the perspective transformation image 41, the graphics camera is set in the + z direction. Further, the target reproduced image 21 is moved to a region where the z coordinate value is positive (z> 0) by applying a point symmetric matrix with the virtual viewpoint C as the center, and the target reproduced image after the movement is perspective-transformed.

この透視変換の際の隠面消去としては、実際の観察者1に近いポリゴンデータが残され、遠いポリゴンデータが上書き消去される。そのために、ホログラム面10からポリゴンデータまでの距離を記憶するzバッファの比較モードは遠方モードとされる。これにより、点対称行列によりz座標値が正の領域に移動された目標再生像のうち、実際の観察者1に近いポリゴンデータ(すなわち、z値としては大きい遠方のポリゴンデータ)が優先して残される。また、透視変換されるポリゴン面は通常とは反対側の面となるので、そのポリゴン面のうち観察される側の面を示すカリングは反転モードとされる。   As the hidden surface removal at the time of the perspective transformation, polygon data close to the actual observer 1 is left, and distant polygon data is overwritten and deleted. Therefore, the comparison mode of the z buffer that stores the distance from the hologram surface 10 to the polygon data is set to the far mode. As a result, among the target reproduced image whose z coordinate value has been moved to the positive area by the point symmetry matrix, polygon data close to the actual observer 1 (that is, distant polygon data having a large z value) is given priority. Left behind. Further, since the polygon surface to be perspective-transformed is the surface opposite to the normal surface, culling indicating the observed surface of the polygon surface is set to the reverse mode.

透視変換により得られた透視変換画像41は、保存され、後述する第1ステップにおけるz座標値が正の領域(z>0)に存在する目標再生像22に対する処理の際にマスク画像として用いられる。また、透視変換画像41の中心位置を回転中心点とし180度回転させることで、OpenGL(登録商標)のようにグラフィックスカメラが−z方向に配置されて透視変換されて得られた透視変換画像と同一となる。   The perspective transformation image 41 obtained by the perspective transformation is stored and used as a mask image when processing the target reproduction image 22 in which the z coordinate value in the first step described later exists in a positive region (z> 0). . Further, by rotating 180 degrees with the center position of the perspective transformation image 41 as the rotation center point, the perspective transformation image obtained by performing perspective transformation by arranging the graphics camera in the −z direction as in OpenGL (registered trademark). Is the same as

以上のようにして、z座標値が負の領域(z<0)に存在する目標再生像21に対する透視変換画像41が得られる。そして、上記(4)式が用いられて、高速逆フーリエ変換の入力画像における各画素位置(F,F)に対応するスクリーン面31上の画素位置(N,N)が求められる。さらに、そのスクリーン面31上の透視変換画像41の画素位置(N,N)の輝度情報が、高速逆フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。 As described above, the perspective transformation image 41 for the target reproduction image 21 existing in the region (z <0) where the z coordinate value is negative is obtained. Then, using the above equation (4), the pixel position (N x , N y ) on the screen surface 31 corresponding to each pixel position (F x , F y ) in the input image of the fast inverse Fourier transform is obtained. . Furthermore, the luminance information of the pixel position (N x , N y ) of the perspective transformation image 41 on the screen surface 31 is the luminance information of the pixel position (F x , F y ) of the input image for fast inverse Fourier transform. As a result, this input image is created.

この高速逆フーリエ変換の入力画像の各画素位置(F,F)の輝度情報は、実数成分Re(F,F)および虚数成分Im(F,F)を含み、或いは、振幅情報Am(F,F)および位相情報Ph(F,F)を含む。これらの間には下記(5)式の関係がある。これらのうち振幅情報Am(F,F)に上記入力画像情報が用いられる。また、位相情報Ph(F,F)については、全ての画素位置(F,F)の位相を値0としてもよいし、位相をランダムに分布させてもよいし、或いは、隣接画素位置の間の位相差をπ/4までに抑制して位相をランダムに分布させてもよい。 The luminance information of each pixel position (F x , F y ) of the input image of this fast inverse Fourier transform includes a real component Re (F x , F y ) and an imaginary component Im (F x , F y ), or It includes amplitude information Am (F x , F y ) and phase information Ph (F x , F y ). There is a relationship of the following formula (5) between them. Among these, the input image information is used for the amplitude information Am (F x , F y ). Further, for the phase information Ph (F x , F y ), the phase of all pixel positions (F x , F y ) may be 0, the phases may be distributed randomly, or adjacent to each other. The phase difference between the pixel positions may be suppressed to π / 4 and the phases may be distributed randomly.

Figure 0005072763
Figure 0005072763

この入力画像に基づいて高速逆フーリエ変換が実行されて出力画像が作成される。この出力画像は、目標再生像21に対応するホログラム面10上の物体光の波面を表すもので、実数成分Re(F,F)および虚数成分Im(F,F)を含む。 A fast inverse Fourier transform is executed based on the input image to create an output image. This output image represents the wavefront of the object light on the hologram surface 10 corresponding to the target reproduction image 21, and includes a real number component Re (F x , F y ) and an imaginary number component Im (F x , F y ).

また、この第1出力画像は、後述する第2ステップにおける処理の際の位相補正操作のために、下記(6)式のように振幅情報Am(F,F)および位相情報Ph(F,F)に変換される。 Further, the first output image is subjected to amplitude information Am (F x , F y ) and phase information Ph (F (F) as shown in the following equation (6) for a phase correction operation at the time of processing in the second step described later. x , F y ).

Figure 0005072763
Figure 0005072763

第1ステップにおいて、z座標値が正の領域(z>0)に存在する目標再生像22に対する処理は以下のとおりである。z座標値が正の領域(z>0)に存在する目標再生像22は、z座標値が負の領域(z<0)にいる観察者1により、ホログラム面10より遠い位置に観察される。透視変換画像42の作成の際には、グラフィックスカメラは+z方向にセットされて、z座標値が正の領域(z>0)の透視変換が行われる。   In the first step, processing for the target reproduced image 22 in which the z coordinate value exists in the positive region (z> 0) is as follows. The target reconstructed image 22 that exists in the region where the z coordinate value is positive (z> 0) is observed at a position farther from the hologram surface 10 by the observer 1 who is in the region where the z coordinate value is negative (z <0). . At the time of creating the perspective transformation image 42, the graphics camera is set in the + z direction, and perspective transformation is performed on a region where the z coordinate value is positive (z> 0).

この透視変換の際の隠面消去としては、実際の観察者1に近いポリゴンデータが残され、遠いポリゴンデータが上書き消去される。そのために、ホログラム面10からポリゴンデータまでの距離を記憶するzバッファの比較モードを近接モードとされる。これにより、z座標値が正の領域(z>0)に存在して観察者1に近いポリゴンデータ(すなわち、z値としては小さい近接のポリゴンデータ)が優先して残される。また、透視変換されるポリゴン面は観察者1を向く面となるので、そのポリゴン面のうち観察される側の面を示すカリングは通常モードとされる。   As the hidden surface removal at the time of the perspective transformation, polygon data close to the actual observer 1 is left, and distant polygon data is overwritten and deleted. Therefore, the comparison mode of the z buffer for storing the distance from the hologram surface 10 to the polygon data is set to the proximity mode. As a result, polygon data close to the observer 1 with a z coordinate value in the positive region (z> 0) (that is, polygon data close to the z value is preferentially left) is left preferentially. In addition, since the polygon surface to be perspectively converted is a surface facing the observer 1, culling indicating the observed surface of the polygon surface is set to the normal mode.

ただし、このままでは、ここで得られる透視変換画像42は、既に得られた透視変換画像41と重なる。そこで、既に得られた透視変換画像41がマスク画像として用いられて、今の場合の透視変換の際の座標位置において透視変換画像41の画素の存否が調べられ、透視変換画像41の画素が存在する場合には透視変換が中止され或いは透視変換画像42における画素値が0とされる。   However, in this state, the perspective transformation image 42 obtained here overlaps the already obtained perspective transformation image 41. Therefore, the already obtained perspective transformation image 41 is used as a mask image, and the presence / absence of the pixel of the perspective transformation image 41 is checked at the coordinate position at the time of the perspective transformation in this case, and the pixel of the perspective transformation image 41 exists. In this case, the perspective transformation is stopped or the pixel value in the perspective transformed image 42 is set to zero.

以上のようにして、z座標値が正の領域(z>0)に存在する目標再生像22に対する透視変換画像42が得られる。そして、上記(4)式が用いられて、高速フーリエ変換の入力画像における各画素位置(F,F)に対応するスクリーン面32上の画素位置(N,N)が求められる。さらに、そのスクリーン面32上の透視変換画像42の画素位置(N,N)の輝度情報が、高速フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。 As described above, the perspective transformation image 42 with respect to the target reproduced image 22 that exists in the region where the z coordinate value is positive (z> 0) is obtained. Then, using the above equation (4), the pixel position (N x , N y ) on the screen surface 32 corresponding to each pixel position (F x , F y ) in the input image of the fast Fourier transform is obtained. Further, the luminance information of the pixel position (N x , N y ) of the perspective transformation image 42 on the screen surface 32 is used as the luminance information of the pixel position (F x , F y ) of the input image for fast Fourier transform. Thus, this input image is created.

この高速フーリエ変換の入力画像の各画素位置(F,F)の輝度情報は、実数成分Re(F,F)および虚数成分Im(F,F)を含み、或いは、振幅情報Am(F,F)および位相情報Ph(F,F)を含む。これらの間には上記(5)式の関係がある。これらのうち振幅情報Am(F,F)に上記入力画像情報が用いられる。また、位相情報Ph(F,F)については、全ての画素位置(F,F)の位相を値0としてもよいし、位相をランダムに分布させてもよいし、或いは、隣接画素位置の間の位相差をπ/4までに抑制して位相をランダムに分布させてもよい。 The luminance information of each pixel position (F x , F y ) of the input image of the fast Fourier transform includes a real component Re (F x , F y ) and an imaginary component Im (F x , F y ), or an amplitude Information Am (F x , F y ) and phase information Ph (F x , F y ) are included. There is a relationship of the above formula (5) between them. Among these, the input image information is used for the amplitude information Am (F x , F y ). Further, for the phase information Ph (F x , F y ), the phase of all pixel positions (F x , F y ) may be 0, the phases may be distributed randomly, or adjacent to each other. The phase difference between the pixel positions may be suppressed to π / 4 and the phases may be distributed randomly.

この入力画像に基づいて高速フーリエ変換が実行されて出力画像が作成される。この出力画像は、目標再生像22に対応するホログラム面10上の物体光の波面を表すもので、実数成分Re(F,F)および虚数成分Im(F,F)を含む。 Based on this input image, a fast Fourier transform is performed to create an output image. This output image represents the wavefront of the object light on the hologram surface 10 corresponding to the target reproduction image 22 and includes a real number component Re (F x , F y ) and an imaginary number component Im (F x , F y ).

第1ステップでは、以上のようにして作成された目標再生像21,22それぞれに対応するホログラム面10上の物体光の波面が加算されて、第1出力画像が得られる。この第1出力画像は、目標再生像21および目標再生像22の双方に対応するホログラム面10上の物体光の波面を表す。なお、目標再生像21および目標再生像22のうち一方のみが存在する場合には、その存在する目標再生像に対してのみ上記の処理が行われて第1出力画像が得られる。   In the first step, the wavefronts of the object light on the hologram surface 10 corresponding to the respective target reproduction images 21 and 22 created as described above are added to obtain a first output image. This first output image represents the wavefront of object light on the hologram surface 10 corresponding to both the target reproduction image 21 and the target reproduction image 22. When only one of the target reproduced image 21 and the target reproduced image 22 exists, the above-described processing is performed only on the existing target reproduced image, and the first output image is obtained.

次に、本実施形態に係るホログラム作成方法の第2ステップについて説明する。第2ステップでは、高速フーリエ変換または高速逆フーリエ変換のための入力画像の座標位置(F,F)に対して所定の偏差θxh,θyhを有する位置に対応する透視変換画像41,42の座標位置(N,N)の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像が作成され、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換が実行されて出力画像が作成され、この出力画像に対して偏差θxh,θyhに応じた補正が行われて当該補正後の第2出力画像が作成される。 Next, the second step of the hologram creating method according to this embodiment will be described. In the second step, a perspective transformation image 41 corresponding to a position having predetermined deviations θ xh and θ yh with respect to the coordinate position (F x , F y ) of the input image for fast Fourier transform or fast inverse Fourier transform. An input image for fast Fourier transform or fast inverse Fourier transform is created based on the information of the 42 coordinate positions (N x , N y ), and fast Fourier transform or fast inverse Fourier transform is executed based on the input image. Thus, an output image is created, and the output image is corrected according to the deviations θ xh and θ yh to create a corrected second output image.

図5に示されるように、前の第1ステップでは、透視変換画像41,42のうち2次元格子状に配置された黒丸で示される座標位置Q(N,N)の輝度情報が用いられたが、この第2ステップでは、透視変換画像41,42のうち座標位置Qに対して所定の偏差θxh,θyhを有する位置にある白丸で示される位置Q(Nxh,Nyh)の輝度情報が用いられる。すなわち、前の第1ステップでは、上記(4)式に従って、高速フーリエ変換または高速逆フーリエ変換のための入力画像の座標位置(F,F)に対応する透視変換画像41,42の座標位置Q(N,N)の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像が作成された。これに対して、この第2ステップでは、透視変換画像41,42のうち座標位置Qに対して偏差θxh,θyhを有する位置Q(Nxh,Nyh)の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像が作成される。 As shown in FIG. 5, in the previous first step, the luminance information of the coordinate position Q 1 (N x , N y ) indicated by the black circles arranged in a two-dimensional lattice pattern in the perspective transformation images 41 and 42 is obtained. Although used, in this second step, a position Q 2 (N xh , indicated by a white circle at a position having predetermined deviations θ xh , θ yh with respect to the coordinate position Q 1 in the perspective transformation images 41, 42. N yh ) luminance information is used. That is, in the previous first step, the coordinates of the perspective transformation images 41 and 42 corresponding to the coordinate position (F x , F y ) of the input image for the fast Fourier transform or the fast inverse Fourier transform according to the above equation (4). An input image for the fast Fourier transform or the fast inverse Fourier transform is created based on the information on the position Q 1 (N x , N y ). On the other hand, in the second step, high-speed operation is performed based on the information of the position Q 2 (N xh , N yh ) having deviations θ xh and θ yh with respect to the coordinate position Q 1 in the perspective transformation images 41 and 42. An input image for Fourier transform or fast inverse Fourier transform is created.

第2ステップにおいて、z座標値が負の領域(z<0)に存在する目標再生像21に対する処理は以下のとおりである。透視変換画像41において、第1ステップで用いられた座標位置Q(N,N)に対して偏差θxh,θyhを有する位置Q(Nxh,Nyh)が設定される。この第2ステップで用いられる位置Q(Nxh,Nyh)は、前の第1ステップで用いられた座標位置Q(N,N)に対応付けられ、さらに、上記(4)式により、高速逆フーリエ変換のための入力画像の画素位置(F,F)に対応付けられている。 In the second step, the processing for the target reproduced image 21 in which the z coordinate value exists in the negative region (z <0) is as follows. In the perspective transformation image 41, a position Q 2 (N xh , N yh ) having deviations θ xh , θ yh with respect to the coordinate position Q 1 (N x , N y ) used in the first step is set. The position Q 2 (N xh , N yh ) used in the second step is associated with the coordinate position Q 1 (N x , N y ) used in the previous first step, and (4) According to the equation, it is associated with the pixel position (F x , F y ) of the input image for fast inverse Fourier transform.

透視変換画像41の位置Q(Nxh,Nyh)の輝度情報が、高速逆フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。そして、第1ステップと同様にして、この入力画像に基づいて高速逆フーリエ変換が実行されて出力画像が作成される。この出力画像は、目標再生像21に対応するホログラム面10上の物体光の波面を表す。 The luminance information of the position Q 2 (N xh , N yh ) of the perspective transformation image 41 is used as the luminance information of the pixel position (F x , F y ) of the input image for fast inverse Fourier transform. An image is created. Then, as in the first step, the fast inverse Fourier transform is executed based on this input image to create an output image. This output image represents the wavefront of object light on the hologram surface 10 corresponding to the target reproduction image 21.

ただし、上記のようにして得られる出力画像は、目標再生像21に対応するホログラム面10上の物体光の波面を表すものではあるものの、その波面は、位置Q(Nxh,Nyh)へ向うものではなく、高速逆フーリエ変換のための入力画像の画素位置(F,F)に対応付けられる位置Q(N,N)へ向うものである。そこで、この出力画像に対して偏差θxh,θyhに応じた補正が行われて当該補正後の出力画像が作成される。この補正操作は、くさび形のガラス板で与えられる光線方向の偏向に例えられる。 However, although the output image obtained as described above represents the wavefront of the object light on the hologram surface 10 corresponding to the target reproduction image 21, the wavefront has a position Q 2 (N xh , N yh ). It is not directed to the position Q 1 (N x , N y ), which is associated with the pixel position (F x , F y ) of the input image for fast inverse Fourier transform. Therefore, the output image is corrected according to the deviations θ xh and θ yh, and the corrected output image is created. This correction operation is likened to the deflection of the light beam direction given by the wedge-shaped glass plate.

この補正操作では、偏差θxh,θyhに対して下記(7)式で与えられる隣接光変調部間の位相差φxh,φyhが、各要素ホログラムH(m,n)の各光変調部P(i,j)に加えられる。すなわち、出力画像のうち光変調部P(0,0)の位相が基準とされたときに、その出力画像のうち光変調部P(i,j)の情報に対して、下記(8)式で表される位相が加えられる。このようにして、補正後の出力画像が得られる。 In this correction operation, the phase differences φ xh , φ yh between the adjacent light modulation units given by the following equation (7) with respect to the deviations θ xh , θ yh become the light modulations of the element holograms H (m, n). To the part P (i, j). That is, when the phase of the light modulator P (0, 0) in the output image is used as a reference, the following equation (8) is applied to the information of the light modulator P (i, j) in the output image. Is added. In this way, a corrected output image is obtained.

Figure 0005072763
Figure 0005072763

Figure 0005072763
Figure 0005072763

第2ステップにおいて、z座標値が正の領域(z>0)に存在する目標再生像22に対する処理は以下のとおりである。透視変換画像42において、第1ステップで用いられた座標位置Q(N,N)に対して偏差θxh,θyhを有する位置Q(Nxh,Nyh)が設定される。この第2ステップで用いられる位置Q(Nxh,Nyh)は、前の第1ステップで用いられた座標位置Q(N,N)に対応付けられ、さらに、上記(4)式により、高速フーリエ変換のための入力画像の画素位置(F,F)に対応付けられている。 In the second step, the processing for the target reproduced image 22 in which the z coordinate value exists in the positive region (z> 0) is as follows. In the perspective transformation image 42, a position Q 2 (N xh , N yh ) having deviations θ xh , θ yh with respect to the coordinate position Q 1 (N x , N y ) used in the first step is set. The position Q 2 (N xh , N yh ) used in the second step is associated with the coordinate position Q 1 (N x , N y ) used in the previous first step, and (4) According to the equation, it is associated with the pixel position (F x , F y ) of the input image for fast Fourier transform.

透視変換画像42の位置Q(Nxh,Nyh)の輝度情報が、高速フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。そして、第1ステップと同様にして、この入力画像に基づいて高速フーリエ変換が実行されて出力画像が作成される。この出力画像は、目標再生像22に対応するホログラム面10上の物体光の波面を表す。 The luminance information of the position Q 2 (N xh , N yh ) of the perspective transformation image 42 is used as the luminance information of the pixel position (F x , F y ) of the input image for the fast Fourier transform. Is created. Then, in the same manner as in the first step, fast Fourier transform is executed based on this input image, and an output image is created. This output image represents the wavefront of the object light on the hologram surface 10 corresponding to the target reproduction image 22.

ただし、上記のようにして得られる出力画像は、目標再生像22に対応するホログラム面10上の物体光の波面を表すものではあるものの、その波面は、位置Q(Nxh,Nyh)へ向うものではなく、高速フーリエ変換のための入力画像の画素位置(F,F)に対応付けられる位置Q(N,N)へ向うものである。そこで、この出力画像に対して偏差θxh,θyhに応じた補正が行われて当該補正後の出力画像が作成される。この補正操作は、上記(7)式および(8)式による前述の補正操作と同様である。 However, although the output image obtained as described above represents the wavefront of the object light on the hologram surface 10 corresponding to the target reproduction image 22, the wavefront has a position Q 2 (N xh , N yh ). Rather than heading to the position Q 1 (N x , N y ) corresponding to the pixel position (F x , F y ) of the input image for fast Fourier transform. Therefore, the output image is corrected according to the deviations θ xh and θ yh, and the corrected output image is created. This correction operation is the same as the above-described correction operation according to the above equations (7) and (8).

第2ステップでは、以上のようにして偏差θxh,θyhに応じた補正がなされて作成された目標再生像21,22それぞれに対応するホログラム面10上の物体光の波面が加算されて、第2出力画像が得られる。この第2出力画像は、目標再生像21および目標再生像22の双方に対応するホログラム面10上の物体光の波面を表す。なお、目標再生像21および目標再生像22のうち一方のみが存在する場合には、その存在する目標再生像に対してのみ上記の処理が行われて第2出力画像が得られる。この第2ステップの処理の後、第3ステップの処理が行われる。 In the second step, the wavefronts of the object light on the hologram surface 10 corresponding to the respective target reproduced images 21 and 22 created by performing correction according to the deviations θ xh and θ yh as described above are added, A second output image is obtained. This second output image represents the wavefront of the object light on the hologram surface 10 corresponding to both the target reproduction image 21 and the target reproduction image 22. When only one of the target reproduced image 21 and the target reproduced image 22 exists, the above-described processing is performed only on the existing target reproduced image, and the second output image is obtained. After the second step, the third step is performed.

なお、これまでの説明では、第1ステップ及び第2ステップにおいて、z座標値が負の領域(z<0)に存在する目標再生像21に対する処理と、z座標値が正の領域(z>0)に存在する目標再生像22に対する処理とが別個に行われた。しかし、以下のようにすることで、より簡便に処理をすることが可能である。図6は、本実施形態に係るホログラム作成方法の第1ステップ及び第2ステップを説明する図である。   In the description so far, in the first step and the second step, the processing for the target reproduction image 21 in which the z coordinate value exists in the negative region (z <0) and the region where the z coordinate value is positive (z>) The processing for the target reproduced image 22 existing in 0) is performed separately. However, it is possible to process more simply by doing as follows. FIG. 6 is a diagram for explaining the first step and the second step of the hologram creating method according to the present embodiment.

同図(a)に示されるように、ホログラム面10の前後に目標再生像(ポリゴンデータ)21,22が存在し、ホログラム面10の右側の領域(z座標値が負の領域)に観察者1が存在するものとする。同図(b)に示されるように、スクリーン面32における透視変換画像の情報が初期化され、zバッファ52の初期値が遠方値とされ、また、zバッファ52の比較モードが近接モードとされて、z値が小さいポリゴンデータが残され、z値が大きいポリゴンデータが上書き消去される。また、カリングは通常モードとされ、法線ベクトルが+z方向であるポリゴンデータは、背面となるので、透視変換されないようにされる。以上の設定の下で、z座標値が正の領域(z>0)に存在する目標再生像22に対する透視変換画像42が作成される。   As shown in FIG. 6A, target reproduction images (polygon data) 21 and 22 exist before and after the hologram surface 10, and an observer is in the right region (region where the z coordinate value is negative) of the hologram surface 10. 1 is present. As shown in FIG. 5B, the information of the perspective transformation image on the screen surface 32 is initialized, the initial value of the z buffer 52 is set to the far value, and the comparison mode of the z buffer 52 is set to the proximity mode. Thus, polygon data having a small z value remains, and polygon data having a large z value are overwritten and erased. Further, the culling is set to the normal mode, and the polygon data whose normal vector is in the + z direction is the back surface, so that the perspective transformation is not performed. Under the above settings, a perspective transformation image 42 for the target reproduced image 22 in which the z coordinate value exists in the positive region (z> 0) is created.

続いて、同図(c)に示されるように、z座標値が負の領域(z<0)に存在する目標再生像21は、仮想視点Cを中心とする点対称行列が作用されてz座標値が正の領域(z>0)に移動され、この移動後のものが目標再生像21Aとされる。そして、同図(d)に示されるように、スクリーン面32における透視変換画像の情報が初期化されることなく、既に透視変換画像42が記録されたスクリーン面32に対して、目標再生像21Aが透視変換されて、目標再生像21Aに対する透視変換画像41が上書きされる。   Subsequently, as shown in FIG. 6C, the target reproduced image 21 existing in the region where the z coordinate value is negative (z <0) is subjected to a point symmetric matrix with the virtual viewpoint C as the center, and z The coordinate value is moved to a positive region (z> 0), and the resulting image is used as the target reproduced image 21A. Then, as shown in FIG. 6D, the target reproduction image 21A is applied to the screen surface 32 on which the perspective transformation image 42 has already been recorded without the information of the perspective transformation image on the screen surface 32 being initialized. Is perspective transformed, and the perspective transformed image 41 with respect to the target reproduced image 21A is overwritten.

この上書き透視変換の際の設定として、zバッファ52の初期値が最小値とされ、zバッファ52の比較モードが遠方モードとされ、カリングが反転モードとされる。これにより、本来、z座標値が負の領域(z<0)に存在する目標再生像21のうち観察者1に近いポリゴンデータが上書き透視変換され、観察者1の視点から観察した際に所定の隠面消去済みの透視変換画像が得られる。   As settings for the overwrite perspective transformation, the initial value of the z buffer 52 is set to the minimum value, the comparison mode of the z buffer 52 is set to the far mode, and the culling is set to the inversion mode. As a result, polygon data close to the viewer 1 in the target reproduction image 21 that originally exists in the region where the z coordinate value is negative (z <0) is subjected to overwrite perspective transformation, and is predetermined when observed from the viewpoint of the viewer 1. A transparent transformation image with hidden surfaces removed can be obtained.

このように目標再生像22に対する透視変換画像に対して目標再生像21Aに対する透視変換画像が上書きされて作成される新たな透視変換画像が用いられて、上記(4)式に従って高速逆フーリエ変換の入力画像における各画素位置(F,F)に対応する透視変換画像上の画素位置(N,N)が求められる。さらに、その透視変換画像の画素位置(N,N)の輝度情報が、高速逆フーリエ変換のための入力画像の画素位置(F,F)の輝度情報とされることで、この入力画像が作成される。 In this way, a new perspective transformation image created by overwriting the perspective transformation image for the target reproduction image 21A with the perspective transformation image for the target reproduction image 22 is used, and fast inverse Fourier transform is performed according to the above equation (4). A pixel position (N x , N y ) on the perspective transformation image corresponding to each pixel position (F x , F y ) in the input image is obtained. Further, the luminance information of the pixel position (N x , N y ) of the perspective transformation image is used as the luminance information of the pixel position (F x , F y ) of the input image for the fast inverse Fourier transform. An input image is created.

第1ステップでは、この入力画像に基づいて高速逆フーリエ変換が実行されて得られた出力画像が第1出力画像とされる。第2ステップでは、出力画像に対して偏差θxh,θyhに応じた補正がなされて第2出力画像とされる。これら第1出力画像および第2出力画像は、目標再生像21および目標再生像22の双方に対応するホログラム面10上の物体光の波面を表す。この後、第3ステップの処理が行われる。 In the first step, an output image obtained by performing fast inverse Fourier transform based on this input image is set as the first output image. In the second step, the output image is corrected according to the deviations θ xh and θ yh to obtain the second output image. These first output image and second output image represent the wavefronts of the object light on the hologram surface 10 corresponding to both the target reproduction image 21 and the target reproduction image 22. Thereafter, the process of the third step is performed.

次に、本実施形態に係るホログラム作成方法の第3ステップについて説明する。第3ステップでは、第1ステップで作成された第1出力画像と第2ステップで作成された第2出力画像との複素和が求められ、この複素和により得られる画像(物体光の波面)に基づいて要素ホログラムが作成される。以上のような第1〜第3のステップの各処理は、複数の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)それぞれについて行われる。 Next, the third step of the hologram creating method according to this embodiment will be described. In the third step, a complex sum of the first output image created in the first step and the second output image created in the second step is obtained, and an image (wavefront of object light) obtained by this complex sum is obtained. An element hologram is created based on this. Each process of the first to third steps as described above is performed for each of the plurality of element holograms H (0, 0) to H (m max −1, n max −1).

第3ステップでは、第1出力画像と第2出力画像との複素和により得られる画像(物体光の波面)に基づいて要素ホログラムが作成される際に、その物体光と参照光との干渉計算に替えて、物体光の出射角度に変化が与えられることで要素ホログラムが作成されてもよい。この場合について以下に説明する。   In the third step, when an element hologram is created based on an image (object wavefront) obtained by complex addition of the first output image and the second output image, the interference calculation between the object light and the reference light is performed. Instead, the element hologram may be created by changing the emission angle of the object light. This case will be described below.

要素ホログラムの作成に際しては、ホログラム面10に入射角θxr,θyrを有する平面波の参照光として、ホログラム面10の隣接する光変調部の間の位相差φxr,φyrは下記(9)式で表される。この位相差φxr,φyrは、合成ホログラムHの全体に亘って考慮されなければならない。したがって、要素ホログラムH(0,0)の光変調部P(0,0)における参照光の位相が基準とされたとき、要素ホログラムH(m,n)の光変調部P(i,j)における参照光の位相は下記(10)式で与えられる。参照光の振幅を物体波面の振幅と等しいと仮定すると、要素ホログラムH(m,n)の光変調部P(i,j)のホログラムは下記(11)式で表される。 When creating an element hologram, the phase differences φ xr and φ yr between adjacent light modulation portions of the hologram surface 10 are expressed as the following (9) as plane wave reference light having incident angles θ xr and θ yr on the hologram surface 10. It is expressed by a formula. The phase differences φ xr and φ yr must be considered throughout the synthetic hologram H. Therefore, when the phase of the reference light in the light modulation unit P (0,0) of the element hologram H (0,0) is used as a reference, the light modulation unit P (i, j) of the element hologram H (m, n). The phase of the reference beam at is given by the following equation (10). Assuming that the amplitude of the reference light is equal to the amplitude of the object wavefront, the hologram of the light modulation part P (i, j) of the element hologram H (m, n) is expressed by the following equation (11).

Figure 0005072763
Figure 0005072763

Figure 0005072763
Figure 0005072763

Figure 0005072763
Figure 0005072763

そして、続く第4ステップでは、第3ステップで作成された複数の要素ホログラムH(0,0)〜H(mmax−1,nmax−1)が配列されて合成ホログラムHが作成される。このようにして作成された合成ホログラムHでは、各要素ホログラムから出力される再生光の光線の数を増加させることができて、より鮮明な再生像を再生し得る。 In the subsequent fourth step, a plurality of element holograms H (0, 0) to H (m max −1, n max −1) created in the third step are arranged to create a composite hologram H. In the synthetic hologram H created in this way, the number of light beams of reproduction light output from each element hologram can be increased, and a clearer reproduction image can be reproduced.

以上のようにして作成された合成ホログラムHは、ホログラム記録材料(例えば、感光材料、空間光変調器、など)に記録または呈示される。この提示または記録の際に、負の成分が表現できないので、ホログラム面10の全面の光変調部Pの全てについて振幅情報に適当な正定数を加えて、振幅情報を正の成分のみとする。さらに、ホログラム記録材料が2値化の表現をとる場合には、振幅情報が負である成分を0とし、振幅情報が正である成分を1としてもよい。   The synthetic hologram H created as described above is recorded or presented on a hologram recording material (for example, a photosensitive material, a spatial light modulator, etc.). At the time of presentation or recording, since a negative component cannot be expressed, an appropriate positive constant is added to the amplitude information for all the light modulation portions P on the entire surface of the hologram surface 10 so that the amplitude information is only positive components. Further, when the hologram recording material takes a binarized expression, the component whose amplitude information is negative may be 0, and the component whose amplitude information is positive may be 1.

このような2値化は電子ビーム描画ホログラムに適している。電子ビーム描画ホログラムでは、走査型電子顕微鏡などと同様に磁場や静電場が用いられて、10nmオーダのサイズに電子ビームが収束され、かつ、精度よく電子ビームが偏向されて、毎秒1m程度の速度で電子ビーム描画が行われ得る。   Such binarization is suitable for an electron beam drawing hologram. In an electron beam drawing hologram, a magnetic field or an electrostatic field is used in the same manner as in a scanning electron microscope, the electron beam is converged to a size of the order of 10 nm, and the electron beam is deflected with high accuracy, and a speed of about 1 m per second. Electron beam drawing can be performed.

電子ビームに露光するレジスト(例えば、膜厚300nmのPMMA)がガラス基板に塗布され、電子ビームによりホログラムが描画された後に、このガラス基板が温度23℃のMIBKの現像液に浸されることで、描画したパターンに応じた凹凸が形成される。なお、PMMAは、露光された部分が現像液で溶解するポジ型のものである。   A resist (for example, PMMA having a film thickness of 300 nm) that is exposed to an electron beam is applied to a glass substrate, a hologram is drawn by the electron beam, and then the glass substrate is immersed in a MIBK developer at a temperature of 23 ° C. Unevenness corresponding to the drawn pattern is formed. PMMA is a positive type in which an exposed portion is dissolved by a developer.

ホログラムの大量生産に際しては、上記のような凹凸が形成されたガラス基板にニッケルメッキが施されて、これがマスターの型とされる。このマスターの型が用いられて、樹脂材料等に凹凸が写し取られ、さらに、この樹脂材料の凹凸形成面にアルミメッキが施され反射率が高められて完成品とされる。或いは、ガラス基板上のレジストへの露光が増加されることで、現像後の露光部が完全にレジストが除去された状態とされ、フッ化水素等でガラス基板に凹部が形成され、レジスト残留部は状態維持とされて凹凸形成が行われ、これによりホログラムが完成されるのも好適である。   In mass production of holograms, nickel plating is applied to the glass substrate on which the above irregularities are formed, and this is used as a master mold. The master mold is used to copy the unevenness on the resin material or the like, and the aluminum material is applied to the unevenness forming surface of the resin material to increase the reflectivity to obtain a finished product. Alternatively, the exposure of the resist on the glass substrate is increased, so that the exposed portion after development is completely removed, and a recess is formed in the glass substrate with hydrogen fluoride or the like, and the resist remaining portion It is also preferable that the state is maintained and unevenness is formed, whereby the hologram is completed.

本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、第2ステップにおいて、透視変換画像の原点を含む中央領域では座標位置の輝度情報の値が0とされ、透視変換画像の中央領域の外側にある周辺領域では座標位置の輝度情報が非0とされて、高速フーリエ変換または高速逆フーリエ変換のための入力画像が作成されるのも好適である。これは、特に、各要素ホログラムH(m,n)における各光変調部P(i,j)の配置のピッチΛが波長λ程度以下である場合に、物体光の発散角が大きい領域では等角度間隔の発散角度は期待され得ない場合に有効である。   The present invention is not limited to the above embodiment, and various modifications can be made. For example, in the second step, the luminance information value at the coordinate position is 0 in the central region including the origin of the perspective transformation image, and the luminance information at the coordinate position is non-zero in the peripheral region outside the central region of the perspective transformation image. It is also preferable that an input image for fast Fourier transform or fast inverse Fourier transform is created. This is particularly the case in the region where the divergence angle of the object light is large when the pitch Λ of the arrangement of the light modulators P (i, j) in each element hologram H (m, n) is about the wavelength λ or less. The divergence angle of the angular interval is effective when it cannot be expected.

また、第2ステップにおいて、複数の所定の偏差それぞれに対応して複数の第2出力画像が作成され、第3ステップにおいて、第1ステップで作成された第1出力画像と第2ステップで作成された複数の第2出力画像との複素和が求められ、この複素和により得られる画像に基づいて要素ホログラムが作成されるのも好適である。この場合には、各要素ホログラムから出力される再生光の光線の数を更に増加させることができて、更に鮮明な再生像を再生し得る合成ホログラムを作成することができる。   In the second step, a plurality of second output images are created corresponding to each of the plurality of predetermined deviations. In the third step, the first output image created in the first step and the second output image are created. It is also preferable that a complex sum with a plurality of second output images is obtained and an element hologram is created based on an image obtained by the complex sum. In this case, it is possible to further increase the number of light beams of reproduction light output from each element hologram, and it is possible to create a synthetic hologram that can reproduce a clearer reproduced image.

本実施形態に係るホログラム作成方法により作成される合成ホログラムの説明図である。It is explanatory drawing of the synthetic hologram produced by the hologram production method which concerns on this embodiment. 本実施形態に係るホログラム作成方法における透視変換画像の作成を説明する図である。It is a figure explaining creation of a perspective transformation image in a hologram creation method concerning this embodiment. 回折現象を説明する図である。It is a figure explaining a diffraction phenomenon. 本実施形態に係るホログラム作成方法における高速フーリエ変換または高速逆フーリエ変換のための入力画像の作成を説明する図である。It is a figure explaining creation of the input image for fast Fourier transform or fast inverse Fourier transform in the hologram creation method concerning this embodiment. 本実施形態に係るホログラム作成方法の第2ステップを説明する図である。It is a figure explaining the 2nd step of the hologram production method concerning this embodiment. 本実施形態に係るホログラム作成方法の第1ステップ及び第2ステップを説明する図である。It is a figure explaining the 1st step and 2nd step of the hologram production method which concern on this embodiment.

符号の説明Explanation of symbols

10…ホログラム面、21,22…目標再生像、31,32…スクリーン面、41,42…透視変換画像。
10 ... Hologram surface, 21, 22 ... Target reproduction image, 31, 32 ... Screen surface, 41, 42 ... Perspective transformation image.

Claims (3)

合成ホログラムを構成する複数の要素ホログラムそれぞれが記録されるべき局所領域の中心位置を仮想視点として、前記合成ホログラムにより再生されるべき目標再生像を透視変換して透視変換画像を作成し、この透視変換画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して要素ホログラムを作成し、複数の要素ホログラムを配列して前記合成ホログラムを作成する方法であって、
高速フーリエ変換または高速逆フーリエ変換のための入力画像座標位置に対応する前記透視変換画像の座標位置の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成し、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して第1出力画像を作成する第1ステップと、
高速フーリエ変換または高速逆フーリエ変換のための入力画像座標位置に対して所定の偏差を有する位置に対応する前記透視変換画像の座標位置の情報に基づいて高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成し、この入力画像に基づいて高速フーリエ変換または高速逆フーリエ変換を実行して出力画像を作成し、この出力画像に対して前記所定の偏差に応じた補正を行って当該補正後の第2出力画像を作成する第2ステップと、
前記第1ステップで作成された前記第1出力画像と前記第2ステップで作成された前記第2出力画像との和を求め、この和により得られる画像に基づいて要素ホログラムを作成する第3ステップと、
前記第3ステップで作成された複数の要素ホログラムを配列して前記合成ホログラムを作成する第4ステップと、
を備えることを特徴とするホログラム作成方法。
A perspective transformation image is created by perspective-transforming a target reproduced image to be reproduced by the synthetic hologram, with the center position of a local area where each of the plurality of element holograms constituting the synthetic hologram is to be recorded as a virtual viewpoint. A method of creating an element hologram by performing a fast Fourier transform or a fast inverse Fourier transform based on a transformed image, and creating a composite hologram by arranging a plurality of element holograms,
An input image for the fast Fourier transform or the fast inverse Fourier transform is created based on the coordinate position information of the perspective transform image corresponding to the input image coordinate position for the fast Fourier transform or the fast inverse Fourier transform. A first step of performing a fast Fourier transform or a fast inverse Fourier transform to create a first output image based on
For fast Fourier transform or fast inverse Fourier transform based on the coordinate position information of the perspective transformation image corresponding to a position having a predetermined deviation from the input image coordinate position for fast Fourier transform or fast inverse Fourier transform Create an input image, execute fast Fourier transform or fast inverse Fourier transform on the basis of the input image, create an output image, perform correction according to the predetermined deviation on the output image, and then perform the correction A second step of creating a second output image of
A third step of obtaining a sum of the first output image created in the first step and the second output image created in the second step, and creating an element hologram based on the image obtained by the sum When,
A fourth step of creating the composite hologram by arranging a plurality of element holograms created in the third step;
A hologram production method comprising:
前記第2ステップにおいて、前記透視変換画像の原点を含む中央領域では座標位置の輝度情報の値を0とし、前記透視変換画像の前記中央領域の外側にある周辺領域では座標位置の輝度情報を非0として、高速フーリエ変換または高速逆フーリエ変換のための入力画像を作成する、ことを特徴とする請求項1に記載のホログラム作成方法。   In the second step, the luminance information value at the coordinate position is set to 0 in the central area including the origin of the perspective transformation image, and the luminance information at the coordinate position is not displayed in the peripheral area outside the central area of the perspective transformation image. 2. The hologram creating method according to claim 1, wherein an input image for fast Fourier transform or fast inverse Fourier transform is created as zero. 前記第2ステップにおいて、複数の前記所定の偏差それぞれに対応して複数の前記第2出力画像を作成し、
前記第3ステップにおいて、前記第1ステップで作成された前記第1出力画像と前記第2ステップで作成された複数の前記第2出力画像との和を求め、この和により得られる画像に基づいて要素ホログラムを作成する、
ことを特徴とする請求項1に記載のホログラム作成方法。
In the second step, a plurality of second output images are created corresponding to each of the plurality of predetermined deviations,
In the third step, a sum of the first output image created in the first step and the plurality of second output images created in the second step is obtained, and based on the image obtained by the sum Create element holograms,
The hologram creating method according to claim 1, wherein:
JP2008199887A 2008-08-01 2008-08-01 Hologram creation method Active JP5072763B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008199887A JP5072763B2 (en) 2008-08-01 2008-08-01 Hologram creation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008199887A JP5072763B2 (en) 2008-08-01 2008-08-01 Hologram creation method

Publications (2)

Publication Number Publication Date
JP2010039069A JP2010039069A (en) 2010-02-18
JP5072763B2 true JP5072763B2 (en) 2012-11-14

Family

ID=42011721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008199887A Active JP5072763B2 (en) 2008-08-01 2008-08-01 Hologram creation method

Country Status (1)

Country Link
JP (1) JP5072763B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926547B1 (en) 2011-10-28 2018-12-10 삼성전자주식회사 Method and apparatus for generating fast 3d hologram
CN114166141B (en) * 2021-11-23 2023-05-26 中国直升机设计研究所 Multi-circular mark detection method for helicopter high-speed rotating blade image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108823B2 (en) * 1998-04-14 2008-06-25 浜松ホトニクス株式会社 Hologram creation device
JP2000259070A (en) * 1999-03-10 2000-09-22 Hamamatsu Photonics Kk Hologram forming device and method therefor
JP2002215008A (en) * 2001-01-15 2002-07-31 Victor Co Of Japan Ltd Compute hologram data generating method
JP2003295744A (en) * 2002-04-08 2003-10-15 Toppan Printing Co Ltd Optical information recording medium constituted of computer hologram
JP4339639B2 (en) * 2003-07-14 2009-10-07 浜松ホトニクス株式会社 Computer hologram creation method
DE102004063838A1 (en) * 2004-12-23 2006-07-06 Seereal Technologies Gmbh Method and apparatus for calculating computer generated video holograms

Also Published As

Publication number Publication date
JP2010039069A (en) 2010-02-18

Similar Documents

Publication Publication Date Title
Wakunami et al. Occlusion culling for computer generated hologram based on ray-wavefront conversion
JP6426149B2 (en) Near eye device
TWI409716B (en) A computer device for generating a video image and for expanding Real - time generation of image - like image of 3D rendering drawing pipeline
CN108055867A (en) Display system
Kurihara et al. Shading of a computer-generated hologram by zone plate modulation
CN103712123B (en) Back light unit and display system
JP2015184288A (en) Hologram data generation method, hologram image reproduction method, and hologram image reproducer
JP2004309709A (en) Computer processed composite hologram
Amano et al. Reconstruction of a three-dimensional color-video of a point-cloud object using the projection-type holographic display with a holographic optical element
CN111176094B (en) Laser holographic projection display method and device
JP2013506880A (en) Overlay of visible image and synthetic hologram
WO2019009722A2 (en) Interference light field reconstruction using sparsely distributed light points
KR100910642B1 (en) Method for reproducing hologram 3D image by integral imaging scheme and Apparatus thereof
JP5072763B2 (en) Hologram creation method
JP2013054068A (en) Hologram generating device and hologram generating method
JP4844249B2 (en) Method and apparatus for manufacturing hologram recording medium
Rabosh et al. Analog-to-digital conversion of information archived in display holograms: I. discussion
JP4317176B2 (en) Computer-generated hologram recording medium
Ma et al. Resolution-improved holographic stereogram for dual-view 3D display based on integral imaging
Zhang et al. Fast generation of 360-degree cylindrical photorealistic hologram using ray-optics based methods
US20220057750A1 (en) Method and apparatus for generating computer-generated hologram
JP2009187027A (en) Holographic recording medium and method for manufacturing the same
JP2010032818A (en) Lens function member array, hologram producing device, and hologram producing program
JP6607491B2 (en) Hologram data generation device and program thereof
Khuderchuluun et al. Simplified content generation for holographic printer using computer-generated integral imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R150 Certificate of patent or registration of utility model

Ref document number: 5072763

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3