JP6884949B2

JP6884949B2 - Hologram generator, hologram generator and holographic projection system

Info

Publication number: JP6884949B2
Application number: JP2017079228A
Authority: JP
Inventors: 保之市橋; 隆太朗大井; 奥井　誠人; 誠人奥井; 健詞山本; 光喜涌波; ジャキンボワズ
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2017-04-12
Filing date: 2017-04-12
Publication date: 2021-06-09
Anticipated expiration: 2037-04-12
Also published as: JP2018180261A; WO2018190163A1

Description

本発明は、電子ホログラフィに利用するホログラムを生成するホログラム生成装置、ホログラム生成プログラムおよびホログラフィックプロジェクションシステムに関する。 The present invention relates to a hologram generator, a hologram generator, and a holographic projection system that generate holograms used for electron holography.

従来、ホログラムの生成手法として、点光源からフレネル近似式を用いてホログラムを生成する手法が知られている。しかしながら、この手法では点群の３次元モデルしか扱うことが出来ず、写実的な３次元ＣＧ（Computer Graphics）モデルや実写の３次元モデルのような被写体を扱うことは難しいものであった。 Conventionally, as a hologram generation method, a method of generating a hologram from a point light source using a Fresnel approximation formula is known. However, this method can handle only a three-dimensional model of a point cloud, and it is difficult to handle a subject such as a realistic three-dimensional CG (Computer Graphics) model or a live-action three-dimensional model.

これに対し、光線情報からホログラムを生成する手法が開発されている。この手法は、図５に示すように、被写体５の近くに光線サンプリング面Ｐ_１を設け、光線サンプリング面Ｐ_１上において、光線をサンプリングする。光線サンプリング面Ｐ_１には、光線サンプリング点が高密度に配置されており、各光線サンプリング点を通過する光線群をその点の投影画像（要素画像）として取得する（処理［１］：光線情報の取得処理）。この投影画像の強度情報は角度スペクトルに相当するため、フーリエ変換処理により対応する光線サンプリング点近傍の小領域（要素画像）の波面情報に変換することができる（処理［２］：光線情報の波面情報への変換処理）。全ての光線サンプリング点の投影画像に対してフーリエ変換を行い、結果として取得した波面情報を光線サンプリング面Ｐ_１に再配置することより、波面サンプリング面Ｐ_２を得ることができる。そして、波面サンプリング面Ｐ_２からホログラム面Ｐ_３までの波面伝搬を計算し、ホログラム面Ｐ_３上での参照光との干渉縞を計算することでホログラムパターン（干渉パターン）を得る（処理［３］：ホログラム面への伝搬計算処理）。 On the other hand, a method of generating a hologram from ray information has been developed. This approach, as shown in FIG. 5, the light sampling surface P ₁ is provided in the vicinity of the object 5, the light sampling plane P on ₁ samples the light. Ray sampling points are arranged at high density on the ray sampling surface P ₁ , and a group of rays passing through each ray sampling point is acquired as a projected image (element image) of that point (process [1]: ray information). Acquisition process). Since the intensity information of this projected image corresponds to an angular spectrum, it can be converted into wavefront information of a small region (element image) near the corresponding ray sampling point by Fourier transform processing (process [2]: wavefront of ray information). Conversion process to information). Performs Fourier transform on the projected image of all rays sampling point, than to reposition the acquired wavefront information results in light sampling surface P _1, it is possible to obtain a wavefront sampling plane P _2. Then, the front propagation from the wavefront sampling plane P ₂ to the hologram plane P ₃ is calculated, to obtain a hologram pattern (interference pattern) by calculating an interference fringe between the reference light on the hologram plane P ₃ (process [3 ]: Propagation calculation processing to the hologram surface).

この光線サンプリング面Ｐ_１を被写体５の近傍に設けることにより、ホログラム面Ｐ_３から離れた物体でも光線のサンプリングや解析の影響によるぼけを抑えた光分解能な像再生が実現できる。また、陰影や質感といったＣＧの写実的な表現を再生像に反映させることができる。 By providing the light ray sampling surface P ₁ in the vicinity of the subject 5, it is possible to realize light resolution image reproduction in which blurring due to the influence of light ray sampling and analysis is suppressed even for an object away from _{the hologram surface P 3.} In addition, realistic expressions of CG such as shading and texture can be reflected in the reproduced image.

また、ＣＧではなく実写の被写体５から光線情報を生成する技術として、インテグラルフォトグラフィが知られている（非特許文献１参照）。このインテグラルフォトグラフィでは、多数の小さなレンズ（要素レンズ）が平面状に並んだレンズアレイを用いて、被写体５からの光（物体光）を記録する。このとき、記録面（光線サンプリング面）には、被写体５を異なる角度から観測した微小な像（要素画像）が多数記録される。このインテグラルフォトグラフィの手法で得た要素画像について、その複素振幅を要素毎にフーリエ変換することによりホログラム面Ｐ_３の複素振幅を得て、ホログラムパターンを算出することができる。 Further, integral photography is known as a technique for generating ray information from a live-action subject 5 instead of CG (see Non-Patent Document 1). In this integral photography, light (object light) from the subject 5 is recorded by using a lens array in which a large number of small lenses (element lenses) are arranged in a plane. At this time, a large number of minute images (element images) obtained by observing the subject 5 from different angles are recorded on the recording surface (ray sampling surface). The obtained element image in the integral photography method, to obtain a complex amplitude of the hologram plane P ₃ by Fourier transforming the complex amplitude for each element, it is possible to calculate the hologram pattern.

Yasuyuki Ichihashi, Ryutaro Oi, Takanori Senoh, Kenji Yamamoto, and Taiichiro Kurita, “Real-time capture and reconstruction system with multiple GPUs for a 3D live scene by a generation from 4K IP images to 8K holograms,” Optics Express, Vol. 20, Issue 19, pp. 21645-21655 (2012)Yasuyuki Ichihashi, Ryutaro Oi, Takanori Senoh, Kenji Yamamoto, and Taiichiro Kurita, “Real-time capture and reconstruction system with multiple GPUs for a 3D live scene by a generation from 4K IP images to 8K holograms,” Optics Express, Vol. 20 , Issue 19, pp. 21645-21655 (2012)

従来の手法では、ホログラムの作成のために必要な処理［１］〜処理［３］のそれぞれについて、膨大な量の情報を扱う必要がある。例えば、ホログラムプリンタにおいて２０ｃｍ四方のホログラムを生成する場合には、約５００Ｇバイトのデータを作成する必要がある。ホログラムプリンタでは、これらのデータの印刷を一度に行うのではなく、適当なサイズに分割したセル単位で行う。従って、セル単位でホログラムを生成し記録を逐次実行することが、リアルタイム性という点では望ましい。しかしながら、現時点では、この計算にスーパーコンピュータ等のクラウドサービスを利用しており、これらのサービスは、一般的にリアルタイム性を保証するものではないため、ホログラムプリンタの処理状況に合わせて逐次ホログラムの計算を効率良く実行するには適していない。 In the conventional method, it is necessary to handle a huge amount of information for each of the processes [1] to [3] required for creating the hologram. For example, when generating a hologram of 20 cm square in a hologram printer, it is necessary to create data of about 500 Gbytes. In a hologram printer, these data are not printed all at once, but are printed in cell units divided into appropriate sizes. Therefore, it is desirable in terms of real-time performance to generate holograms on a cell-by-cell basis and execute recording sequentially. However, at present, cloud services such as supercomputers are used for this calculation, and since these services generally do not guarantee real-time performance, sequential hologram calculation is performed according to the processing status of the hologram printer. Is not suitable for efficient execution.

図６は、従来技術による、ホログラムの生成および印刷の流れを説明するための図である。
ホログラムを生成する際には、レンダリング用サーバ６が、他のＰＣ（Personal Computer）等で作成されたＣＧの３次元モデルや、レンズアレイで撮影することにより得られた実写の３次元モデルを取得し、図５で示した処理［１］の光線サンプリングによる要素画像の取得処理を行う。そして、レンダリング用サーバ６が、その結果を大型のワークステーションやスーパーコンピュータ等のクラウドサービスに送信することにより、処理［２］の光線情報の波面情報への変換処理、および、処理［３］のホログラム面への伝搬計算処理を実行させてその結果（ホログラムデータ）を取得し、プリンタ制御用ＰＣ７へ出力する。プリンタ制御用ＰＣ７は、外部ストレージ３等にホログラムデータを記憶するとともに、ホログラムプリンタ２に印刷の指示を出力することによりホログラムを生成する。 FIG. 6 is a diagram for explaining a flow of hologram generation and printing according to the prior art.
When generating a hologram, the rendering server 6 acquires a 3D model of CG created by another PC (Personal Computer) or the like, or a 3D model of a live-action image obtained by shooting with a lens array. Then, the element image acquisition process is performed by the ray sampling of the process [1] shown in FIG. Then, the rendering server 6 transmits the result to a cloud service such as a large workstation or a supercomputer, thereby converting the ray information of the process [2] into wavefront information, and the process [3]. The propagation calculation process to the hologram surface is executed, the result (hologram data) is acquired, and the result (hologram data) is output to the printer control PC 7. The printer control PC 7 stores hologram data in an external storage 3 or the like, and generates a hologram by outputting a printing instruction to the hologram printer 2.

つまり、従来のシステムでは、リアルタイム性が保証されていないクラウドサービスを利用するため、ホログラムプリンタ等の処理に対応したセル単位のホログラムデータをリアルタイムに生成することができなかった。また、大量のデータをクラウドサービスとの間で送受信するため、通信ロスも発生していた。 That is, in the conventional system, since a cloud service whose real-time performance is not guaranteed is used, it is not possible to generate hologram data in cell units corresponding to processing by a hologram printer or the like in real time. In addition, since a large amount of data is sent and received to and from the cloud service, communication loss has also occurred.

そこで、本発明では、ホログラム生成に必要となるデータを、効率良くリアルタイムに生成することを課題とする。 Therefore, an object of the present invention is to efficiently generate data required for hologram generation in real time.

前記課題を解決するために、本発明のホログラム生成装置は、被写体からの光線をサンプリングする光線サンプリング面を設定してホログラムを計算するホログラム生成装置であって、光線情報取得変換手段と、光線波面変換手段と、干渉縞計算手段と、動作制御手段と、を備える構成とした。 In order to solve the above problems, the hologram generation device of the present invention is a hologram generation device that calculates a hologram by setting a light ray sampling surface for sampling light rays from a subject, and is a light ray information acquisition conversion means and a ray wavefront. The configuration includes a conversion means, an interference fringe calculation means, and an operation control means.

かかる構成において、ホログラム生成装置は、光線情報取得変換手段によって、被写体の３次元モデルから得られる異なる角度の光線情報を取得し、生成しようとするホログラムの仕様に合わせて、光線サンプリング面における、所定のサイズおよび所定の個数の要素画像を作成する。これによって、ホログラム生成装置は、生成しようとするホログラムの仕様に合わせて要素画像を生成することができる。 In such a configuration, the hologram generation device acquires ray information of different angles obtained from the three-dimensional model of the subject by the ray information acquisition conversion means, and determines predetermined on the ray sampling surface according to the specifications of the hologram to be generated. Create a size and a predetermined number of element images. As a result, the hologram generator can generate an element image according to the specifications of the hologram to be generated.

そして、ホログラム生成装置は、光線波面変換手段によって、作成した要素画像毎に、光線サンプリング面の光線情報を波面サンプリング面の波面情報に変換する。そして、ホログラム生成装置は、干渉縞計算手段によって、波面サンプリング面からホログラムを再生するホログラム面までの波面伝搬を要素画像毎に計算し、波面伝搬の計算で得られた物体光と参照光とのホログラム面上での干渉縞を計算してホログラムデータを算出し、算出したホログラムデータをホログラムプリンタに出力する。
これによって、ホログラム生成装置は、作成した要素画像毎に、光線情報を波面情報に変換した上で、ホログラム面上での干渉縞を計算し、ホログラムデータを算出することができる。 Then, the hologram generation device converts the ray information of the ray sampling surface into the wavefront information of the wavefront sampling surface for each element image created by the ray wavefront conversion means. Then, the hologram generator calculates the wavefront propagation from the wavefront sampling plane to the hologram plane that reproduces the hologram for each element image by the interference fringe calculation means, and the object light and the reference light obtained by the calculation of the wavefront propagation The interference fringes on the hologram surface are calculated to calculate the hologram data, and the calculated hologram data is output to the hologram printer.
Thereby, the hologram generation device can calculate the interference fringes on the hologram surface after converting the ray information into the wavefront information for each created element image, and calculate the hologram data.

そして、ホログラム生成装置は、動作制御手段によって、ホログラムプリンタがホログラムデータを用いて一度に記録する分割されたホログラムを示すセルのサイズと、光線情報取得変換手段が作成する要素画像の所定のサイズとを比較し、セルのサイズの方が大きい場合に、セルのサイズに合わせて対応する複数の要素画像を設定し、ホログラムプリンタからの一つのセルに関するホログラムデータの生成要求に対応する設定した複数の要素画像について、光線情報取得変換手段、光線波面変換手段、干渉縞計算手段のそれぞれが並列処理するように制御する。そして、動作制御手段は、設定した複数の要素画像について算出したホログラムデータを干渉縞計算手段がホログラムプリンタに出力すると、次に記録するセルの生成要求をホログラムプリンタから受信する前に、当該次に記録するセルに対応する複数の要素画像についての、光線情報取得変換手段、光線波面変換手段、干渉縞計算手段それぞれの処理を実行させる。
これによって、ホログラム生成装置は、ホログラムプリンタによる分割したセル単位でのホログラムの記録に合わせて、光線情報取得変換手段、光線波面変換手段、干渉縞計算手段の各処理を複数の要素画像について並列に実行することができる。また、ホログラム生成装置は、ローカルな環境で各処理を実行できるため、従来技術のようなクラウドサービスを利用する場合に比べ、通信ロスを削減することができる。 Then, in the hologram generation device, the size of the cell showing the divided holograms recorded at once by the hologram printer using the hologram data by the operation control means, and the predetermined size of the element image created by the ray information acquisition conversion means are set. When the cell size is larger, multiple element images corresponding to the cell size are set, and a plurality of set element images corresponding to the hologram data generation request for one cell from the hologram printer are set. The element image is controlled so that each of the light beam information acquisition conversion means, the light wave surface conversion means, and the interference fringe calculation means perform parallel processing. Then, when the interference fringe calculation means outputs the hologram data calculated for the set plurality of element images to the hologram printer, the operation control means then receives the next cell generation request to be recorded before receiving the next recording cell generation request from the hologram printer. The processing of each of the ray information acquisition conversion means, the ray wavefront conversion means, and the interference fringe calculation means is executed for a plurality of element images corresponding to the cells to be recorded.
As a result, the hologram generator performs each process of the ray information acquisition conversion means, the ray wavefront conversion means, and the interference fringe calculation means in parallel for a plurality of element images in accordance with the recording of the hologram in the divided cell units by the hologram printer. Can be executed. Further, since the hologram generator can execute each process in the local environment, it is possible to reduce the communication loss as compared with the case of using the cloud service as in the prior art.

また、前記課題を解決するために、本発明のホログラフィックプロジェクションシステムは、上記したホログラム生成装置と、液晶ディスプレイを有する空間光変調器とを備えるホログラフィックプロジェクションシステムであって、ホログラム生成装置が、時系列に変化する被写体の３次元データを取り込んで生成したホログラムデータを空間光変調器に出力し、空間光変調器が、取得した時系列に変化するホログラムデータを液晶ディスプレイに表示させ、光源からの入射光を回折させることにより、動きのあるホログラムを再生するものとした。これによって、動きのあるホログラムをリアルタイムに再生することが可能となる。 Further, in order to solve the above-mentioned problems, the holographic projection system of the present invention is a holographic projection system including the above-mentioned hologram generator and a spatial light modulator having a liquid crystal display, and the hologram generator is a holographic projection system. The hologram data generated by capturing the three-dimensional data of the subject changing in time series is output to the spatial light modulator, and the spatial light modulator displays the acquired hologram data changing in time series on the liquid crystal display from the light source. By diffracting the incident light of, a moving hologram is reproduced. This makes it possible to reproduce a moving hologram in real time.

本発明によれば、ホログラム生成に必要となるデータを、効率良くリアルタイムに生成することができる。 According to the present invention, the data required for hologram generation can be efficiently generated in real time.

本実施形態に係るホログラム生成装置を含むホログラム生成システムの全体構成を示す図である。It is a figure which shows the whole structure of the hologram generation system including the hologram generation apparatus which concerns on this embodiment. 本実施形態に係るホログラム生成装置の機能ブロック図である。It is a functional block diagram of the hologram generation apparatus which concerns on this embodiment. 本実施形態に係るホログラム生成装置のホログラム生成処理に関する状態遷移を説明するための図である。It is a figure for demonstrating the state transition concerning the hologram generation processing of the hologram generation apparatus which concerns on this embodiment. 本実施形態の変形例に係るホログラフィックプロジェクションシステムの全体構成を示す図である。It is a figure which shows the whole structure of the holographic projection system which concerns on the modification of this embodiment. 光線情報からホログラムを生成する処理の概念図である。It is a conceptual diagram of the process of generating a hologram from ray information. 従来技術によるホログラムの生成および印刷の流れを説明するための図である。It is a figure for demonstrating the flow of hologram generation and printing by a prior art.

以下、本発明を実施するための形態（以下、「実施形態」と称する。）について図面を参照して説明する。
図１に示すように、ホログラム生成システム１００は、ユーザ端末４と、ホログラム生成装置１とホログラムプリンタ２を含んで構成される。なお、このホログラム生成システム１００に、外部ストレージ３を備えるようにしてもよい。 Hereinafter, embodiments for carrying out the present invention (hereinafter, referred to as “embodiments”) will be described with reference to the drawings.
As shown in FIG. 1, the hologram generation system 100 includes a user terminal 4, a hologram generation device 1, and a hologram printer 2. The hologram generation system 100 may be provided with an external storage 3.

ホログラム生成装置１は、ユーザ端末４から取得した被写体の３次元モデルを用いて、図５で示した、処理［１］光線情報の取得処理、処理［２］光線情報の波面情報への変換処理、処理［３］ホログラム面への伝搬計算処理、の各処理を実行することにより、ホログラム生成に必要なホログラムデータを生成する。
この際、ホログラム生成装置１は、従来技術と異なり、ローカルな環境で処理［１］〜処理［３］を実行する。よって、スーパーコンピュータ等のクラウドサービスを利用することがなく、通信ロスが発生しない。また、ホログラム生成装置１は、ホログラムプリンタ２における分割したセル単位での印刷に合わせて、処理［１］，処理［２］，処理［３］を独立して実行するとともに、各処理を要素画像単位で並列して実行する。これにより、ホログラムデータを、効率良くリアルタイムに生成することができる（詳細は後記）。 The hologram generation device 1 uses the three-dimensional model of the subject acquired from the user terminal 4 to perform the processing [1] ray information acquisition processing and processing [2] ray information conversion processing into wavefront information shown in FIG. , Processing [3] Propagation calculation processing to the hologram surface, the hologram data necessary for hologram generation is generated by executing each processing.
At this time, unlike the prior art, the hologram generator 1 executes the processes [1] to [3] in a local environment. Therefore, no cloud service such as a supercomputer is used, and communication loss does not occur. Further, the hologram generation device 1 independently executes the processing [1], the processing [2], and the processing [3] in accordance with the printing in the divided cell units by the hologram printer 2, and each processing is performed as an element image. Execute in parallel in units. As a result, hologram data can be efficiently generated in real time (details will be described later).

ホログラムプリンタ２は、ホログラム生成装置１が生成したホログラムデータを、記録媒体（透明フィルム等）に記録する装置である。ホログラムプリンタ２は、記録媒体への露光を、上記のように分割したセル単位で行い、一度の露光で記録されるホログラムを記録媒体上に並べていくことで一つの画像を生成する。また、ホログラムプリンタ２は、ホログラム生成装置１の処理結果として得たホログラム面の複素振幅分布を、２５６階調処理し、デジタルビジュアルインタフェース（ＤＶＩ）などの標準的な映像出力により、ホログラムをディスプレイ（不図示）に表示させることもできる。 The hologram printer 2 is a device that records hologram data generated by the hologram generation device 1 on a recording medium (transparent film or the like). The hologram printer 2 exposes the recording medium in units of cells divided as described above, and generates one image by arranging the holograms recorded by one exposure on the recording medium. Further, the hologram printer 2 processes the complex amplitude distribution of the hologram surface obtained as a result of the processing of the hologram generator 1 by 256 gradations, and displays the hologram by a standard video output such as a digital visual interface (DVI). It can also be displayed (not shown).

外部ストレージ３は、ＨＤＤ（Hard Disk Drive：ハードディスク）やＳＳＤ（Solid State Drive）等により構成され、ビットマップ形式などの標準的な画像フォーマットにより、ホログラムデータを保存しておく。これにより、必要に応じて、ホログラムデータを外部ストレージ３から読み出して利用することが可能となる。 The external storage 3 is composed of an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like, and stores hologram data in a standard image format such as a bitmap format. As a result, the hologram data can be read out from the external storage 3 and used as needed.

ユーザ端末４は、ＰＣ等からなり、ホログラムの対象となる被写体がＣＧにより作成された場合には、当該ＣＧの３次元モデルを、ホログラム生成装置１に出力する。また、ユーザ端末４は、被写体がＣＧではなく実写である場合には、例えば、インテグラルフォトグラフィの手法によりレンズアレイで撮影することにより得られた実写の３次元モデルを、ホログラム生成装置１に出力する。 The user terminal 4 is composed of a PC or the like, and when a subject to be a hologram is created by CG, the user terminal 4 outputs a three-dimensional model of the CG to the hologram generation device 1. Further, when the subject is a live-action photograph instead of the CG, the user terminal 4 uses the hologram generation device 1 to transfer a three-dimensional model of the live-action photograph obtained by taking a picture with a lens array by, for example, an integral photography technique. Output.

＜ホログラム生成装置の構成＞
次に、ホログラム生成装置１について、詳細に説明する。
ホログラム生成装置１は、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３、動作制御手段１４を含んで構成される。
これらの各手段は、リアルタイムに逐次処理を実行するため、例えば、高速な計算処理が可能な画像処理演算装置（ＧＰＵ：Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等により実現される。そして、ホログラム生成装置１の機能を、ＳｏＢ（System on Board）若しくはＳｏＣ（System on Chip）として実現することも可能である。 <Structure of hologram generator>
Next, the hologram generation device 1 will be described in detail.
The hologram generation device 1 includes a ray information acquisition conversion means 11, a ray wavefront conversion means 12, an interference fringe calculation means 13, and an operation control means 14.
Since each of these means executes sequential processing in real time, it is realized by, for example, an image processing arithmetic unit (GPU: Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) capable of high-speed calculation processing. Then, the function of the hologram generation device 1 can be realized as SoB (System on Board) or SoC (System on Chip).

光線情報取得変換手段１１は、上記した図５の処理［１］（光線情報の取得処理）を実行する。
光線情報取得変換手段１１は、ユーザ端末４（図１参照）から、光線情報として、ＣＧで作成された３次元モデルのデータを取得した場合には、生成するホログラムの仕様（例えば、要素ホログラムの大きさ（開口）、要素画像のサイズ、要素画像の個数、総画素数、画素ピッチ（サンプリング間隔））に合わせて、要素画像を作成する。
なお、ホログラム生成装置１が生成するホログラムの仕様の各パラメータについては、予め光線情報取得変換手段１１に設定しておく。 The ray information acquisition conversion means 11 executes the process [1] (ray ray information acquisition process) of FIG. 5 described above.
When the ray information acquisition conversion means 11 acquires the data of the three-dimensional model created by CG as the ray information from the user terminal 4 (see FIG. 1), the specifications of the hologram to be generated (for example, the element hologram of the element hologram). An element image is created according to the size (aperture), the size of the element image, the number of element images, the total number of pixels, and the pixel pitch (sampling interval).
It should be noted that each parameter of the hologram specifications generated by the hologram generation device 1 is set in advance in the ray information acquisition conversion means 11.

光線情報取得変換手段１１は、ユーザ端末４から、インテグラルフォトグラフィ等の手法により、実写映像による光線情報を取得した場合は、その光線情報を、生成するホログラムの仕様に合わせて変換処理を実行することにより要素画像を生成する。 When the ray information acquisition conversion means 11 acquires ray information from a live-action image from the user terminal 4 by a method such as integral photography, the ray information acquisition conversion means executes conversion processing according to the specifications of the hologram to be generated. By doing so, an element image is generated.

この変換処理は、インテグラルフォトグラフィ等の手法を用いた場合に、レンズアレイを構成する要素レンズの数によって決まる光線情報（要素画像）の数と、生成しようとするホログラムの画素数とが異なる場合に、仮に生成しようとするホログラムの画素数の方が大きいとすると、単に、光線情報（要素画像）を拡大しただけでは、要素画像のサイズは増加するが、要素画像の数は変化しない。即ち、解像度は変わらず、拡大表示した分、画像の粗さが目立つだけになることに対応するための処理である。 In this conversion process, when a method such as integral photography is used, the number of ray information (element images) determined by the number of element lenses constituting the lens array is different from the number of pixels of the hologram to be generated. In this case, assuming that the number of pixels of the hologram to be generated is larger, the size of the element image increases but the number of element images does not change simply by enlarging the ray information (element image). That is, it is a process for dealing with the fact that the resolution does not change and the roughness of the image becomes conspicuous due to the enlarged display.

光線情報取得変換手段１１は、この変換処理を、公知の手法（例えば、特開2013-3396号公報に記載の手法）を用いて行う。
特開2013-3396号公報には、インテグラルフォトグラフィを用いて、レンズアレイを構成する各要素レンズにより撮影された各要素画像について、以下の処理を実行する。
各要素画像から同じ角度の光線の情報を持つ画素を集めて１つの画像とする。そしてこれらの画像を、それぞれ画像補間（既知の、ニアレストネイバー法、バイリニア法、バイキュービック法）を用いて任意の画素数に拡大（または縮小）し、各画素をそれぞれ元のインテグラルフォトグラフィの画像中の対応する位置に戻す。このときの位置関係は、初めに集められた画素については元々と同じ状態を保つものとし、補間されて生成された光線の情報を持つ画素については、その補間の元となる画素（集められた画素）を持つ要素画像の間に新たな要素画像を生成し、その中の画素として配置する。このようにすることで、要素画像の大きさは変わらないが、要素画像の数が増える（または減る）ことになり、生成するホログラムの解像度を上げることができる。 The ray information acquisition conversion means 11 performs this conversion process by using a known method (for example, the method described in Japanese Patent Application Laid-Open No. 2013-3396).
Japanese Patent Laying-Open No. 2013-3396 uses integral photography to perform the following processing on each element image taken by each element lens constituting the lens array.
Pixels having information on light rays at the same angle are collected from each element image to form one image. Then, each of these images is enlarged (or reduced) to an arbitrary number of pixels by using image interpolation (known, nearest neighbor method, bilinear method, bicubic method), and each pixel is enlarged (or reduced) to the original integral photography. Return to the corresponding position in the image of. The positional relationship at this time shall be the same as the original for the pixels collected at the beginning, and for the pixels with the information of the light rays generated by interpolation, the pixels that are the source of the interpolation (collected). A new element image is generated between element images having pixels) and arranged as pixels in the new element image. By doing so, the size of the element image does not change, but the number of element images increases (or decreases), and the resolution of the generated hologram can be increased.

また、光線情報取得変換手段１１は、奥行きの深い複数の被写体を対象にする場合には、公知の物体間の隠面処理を行う（例えば、非特許文献２参照：Koki Wakunami, Masahiro Yamaguchi,“Calculation for computer generated hologram using ray-sampling plane,”Optics Express, Vol.19, Issue 10, pp.9086-9101(2011)）。隠面処理を行うためには、後方から伝搬する波面を前方の物体表面で遮蔽する必要がある。この場合、光線情報取得変換手段１１は、前方および後方の被写体に対して、それぞれ光線サンプリング面を設定する。そして、光線情報取得変換手段１１は、ホログラム面から遠い方（後方）のサンプリング面を、前方のサンプリング面まで伝搬させ、そこで波面情報を光線情報に変換する。こうして得た、後方の光線情報に対して、対応する前方の光線情報を上書きすることにより、前後関係が適切な光線情報を生成でき、光線空間で隠面消去を行うことができる。
この隠面処理の手法では、サンプリングされた光線の全ての角度方向に対して隠面処理が適用されるため、遮蔽物体の形状を必要とせずに様々な観測位置に対して正確なオクルージョンを実現できる。 Further, when the ray information acquisition conversion means 11 targets a plurality of subjects having a deep depth, the ray information acquisition conversion means 11 performs a hidden surface treatment between known objects (see, for example, Non-Patent Document 2: Koki Wakunami, Masahiro Yamaguchi, “ Calculation for computer generated hologram using ray-sampling plane, "Optics Express, Vol.19, Issue 10, pp.9086-9101 (2011)). In order to perform the hidden surface treatment, it is necessary to shield the wavefront propagating from the rear with the surface of the object in front. In this case, the ray information acquisition conversion means 11 sets ray sampling planes for the front and rear subjects, respectively. Then, the ray information acquisition conversion means 11 propagates the sampling plane far from the hologram plane (rear) to the sampling plane in front, and converts the wavefront information into ray information there. By overwriting the corresponding front ray information with respect to the rear ray information obtained in this way, the ray information having an appropriate context can be generated, and the hidden surface can be erased in the ray space.
In this concealment treatment method, the concealment treatment is applied to all the angular directions of the sampled light rays, so that accurate occlusion is realized for various observation positions without the need for the shape of a shielding object. it can.

光線波面変換手段１２は、上記した図５の処理［２］（光線情報の波面情報への変換処理）を実行する。
光線波面変換手段１２は、例えば、公知の角スペクトル法に基づき、要素画像毎に、当該要素画像の強度情報を用いてフーリエ変換処理を実行することにより、光線情報を波面情報（複素振幅）に変換することができる。これを、光線サンプリング面Ｐ_１の各要素画像の全てについて計算ことにより、波面サンプリング面Ｐ_２の波面情報（複素振幅分布）を求めることができる。 The ray wavefront conversion means 12 executes the process [2] (conversion process of ray information into wavefront information) of FIG. 5 described above.
The ray wavefront transforming means 12 converts the ray information into wavefront information (complex amplitude) by executing a Fourier transform process for each element image using the intensity information of the element image, for example, based on a known angular spectrum method. Can be converted. By calculating this for all of the element images of the ray sampling surface P ₁ , the wavefront information (complex amplitude distribution) _{of the wavefront sampling surface P 2 can be obtained.}

干渉縞計算手段１３は、波面サンプリング面Ｐ_２からホログラム面Ｐ_３まで（図５参照）の波面伝搬を計算する。具体的には、干渉縞計算手段１３は、要素画像の複素振幅を、２次元フーリエ変換することによりホログラム面Ｐ_３の複素振幅を求めることができる（例えば、非特許文献３参照：大井隆太朗、他３名、「インテグラルフォトグラフィを入力として用いたホログラムの生成技術」、情報通信研究機構季報、国立研究開発法人情報通信研究機構、Vol.56、Nos.1/2、2010年3・6月、p.19-28）。なお、この２次元フーリエ変換は、要素画像毎に独立した１次元フーリエ変換に分解して計算することができる。そして、干渉縞計算手段１３は、計算したホログラム面Ｐ_３の複素振幅で示される物体光と参照光との干渉縞を計算することにより、ホログラムパターン（ホログラムデータ）を算出する。
また、干渉縞計算手段１３は、算出したホログラムデータを、外部装置であるホログラムプリンタ２や、外部ストレージ３に出力する。 Interference fringe computing section 13 calculates the front propagation from the wavefront sampling plane P ₂ to the hologram plane P ₃ (see FIG. 5). Specifically, the interference fringe computing section 13, the complex amplitude of the element image, it is possible to determine the complex amplitude of the hologram plane P ₃ by two-dimensional Fourier transform (e.g., Non-Patent Document 3 Reference: Oi RyuTaro , Other 3 people, "Hologram generation technology using amplitude photography as input", National Institute of Information and Communications Technology, National Institute of Information and Communications Technology, Vol.56, Nos.1 / 2, 2010 3. June, p.19-28). The two-dimensional Fourier transform can be calculated by decomposing it into an independent one-dimensional Fourier transform for each element image. Then, the interference fringe computing section 13, by calculating the interference fringes of the object light and the reference light represented by the complex amplitude of the calculated hologram plane P _3, and calculates a hologram pattern (hologram data).
Further, the interference fringe calculation means 13 outputs the calculated hologram data to the hologram printer 2 which is an external device and the external storage 3.

上記のように、光線情報取得変換手段１１が生成した各要素画像の情報について、光線波面変換手段１２および干渉縞計算手段１３は、要素画像毎に独立して計算処理を実行できる。そして、干渉縞計算手段１３が、ホログラムデータを算出することが可能となる。 As described above, the ray wavefront conversion means 12 and the interference fringe calculation means 13 can independently execute the calculation process for each element image with respect to the information of each element image generated by the ray information acquisition conversion means 11. Then, the interference fringe calculation means 13 can calculate the hologram data.

動作制御手段１４は、外部装置（以下、ここでは、ホログラムプリンタ２として説明する。）との間で信号を送受信することにより、ホログラム生成装置１内でのホログラム生成処理を、ホログラムプリンタ２との間で適切な処理タイミングで実行し、ホログラムデータを出力するように制御する。
なお、動作制御手段１４は、ホログラムプリンタ２が記録媒体（透明フィルム等）に記録する分割されたセル（以下、「サブホログラム」ともいう。）のサイズの情報を予め取得しておく。そして、動作制御手段１４は、この印刷（露光）時のセル（サブホログラム）のサイズと、干渉縞計算手段１３が生成する各要素画像に対応したホログラムデータ（要素ホログラム）のサイズとが異なる場合には、印刷に必要となるホログラムデータ（サブホログラムのデータ）がリアルタイムに計算されるように、光線情報取得変換手段１１、光線波面変換手段１２および干渉縞計算手段１３を制御する。 The operation control means 14 transmits and receives a signal to and from an external device (hereinafter, referred to as a hologram printer 2) to perform hologram generation processing in the hologram generation device 1 with the hologram printer 2. It is executed at an appropriate processing timing between them and controlled to output hologram data.
The operation control means 14 acquires information on the size of the divided cells (hereinafter, also referred to as “sub-hologram”) recorded on the recording medium (transparent film or the like) by the hologram printer 2 in advance. Then, when the size of the cell (sub-hologram) at the time of printing (exposure) and the size of the hologram data (element hologram) corresponding to each element image generated by the interference fringe calculation means 13 are different from each other in the operation control means 14. Controls the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 so that the hologram data (sub-hologram data) required for printing is calculated in real time.

具体的には、例えば、ホログラムプリンタ２が記録媒体に記録するセル（サブホログラム）のサイズが、要素ホログラムのサイズより大きい場合、動作制御手段１４は、後記するホログラムの印刷指示を示すプリンタ制御信号（ＥＮＡ）をホログラムプリンタ２に出力するため、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３のそれぞれが、印刷するセル（サブホログラム）に対応する複数の要素画像に関する処理を並列に実行するように制御する。これにより、ホログラム生成装置１は、ホログラムプリンタ２に対して、印刷に必要となるセル単位のホログラムデータをリアルタイムに出力することが可能となる。 Specifically, for example, when the size of the cell (sub-hologram) recorded on the recording medium by the hologram printer 2 is larger than the size of the element hologram, the operation control means 14 is a printer control signal indicating a hologram printing instruction described later. In order to output (ENA) to the hologram printer 2, each of the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 processes related to a plurality of element images corresponding to cells (sub-holograms) to be printed. Is controlled to be executed in parallel. As a result, the hologram generation device 1 can output the hologram data of each cell required for printing to the hologram printer 2 in real time.

以下、動作制御手段１４を詳細に説明する。
なお、動作制御手段１４は、クロック信号（ＣＬＫ）（図２参照）を受信することにより、光線情報取得変換手段１１、光線波面変換手段１２および干渉縞計算手段１３との間で同期をとっておく。 Hereinafter, the operation control means 14 will be described in detail.
By receiving the clock signal (CLK) (see FIG. 2), the operation control means 14 synchronizes with the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13. deep.

動作制御手段１４は、ホログラムプリンタ２からリクエスト信号（ＲＥＱ）（図２参照）を受信することにより、ホログラムプリンタ２が記録媒体（透明フィルム等）に記録する１つの分割されたセル（サブホログラム）に対応する１つ以上の要素画像について、処理の開始を示す制御信号（処理開始信号）を光線情報取得変換手段１１に出力する。これにより、光線情報取得変換手段１１は、３次元モデルのデータを取得し（ＤＩＮ）、要素画像を生成する。この際、光線情報取得変換手段１１は、必要に応じて、要素レンズの数等によって決まる光線情報（要素画像）の数と、生成しようとするホログラムの画素数を合わせる変換処理や、複数の被写体を対象にする場合の隠面処理を実行して要素画像を生成する。 The operation control means 14 receives a request signal (RQ) (see FIG. 2) from the hologram printer 2 to record one divided cell (sub-hologram) on a recording medium (transparent film or the like) by the hologram printer 2. A control signal (processing start signal) indicating the start of processing is output to the light beam information acquisition conversion means 11 for one or more element images corresponding to. As a result, the ray information acquisition conversion means 11 acquires the data of the three-dimensional model (DIN) and generates an element image. At this time, the ray information acquisition conversion means 11 performs conversion processing for matching the number of ray information (element images) determined by the number of element lenses and the like with the number of pixels of the hologram to be generated, and a plurality of subjects, if necessary. The element image is generated by executing the hidden surface processing when targeting.

そして、動作制御手段１４は、光線情報取得変換手段１１が実行する、ホログラムプリンタ２の印刷（露光）時における１つのセルに対応する１つ以上の要素画像についての生成処理が終了すると、次に、光線波面変換手段１２により、光線情報の波面情報への変換処理を実行させる。続いて、干渉縞計算手段１３によるホログラム面への伝搬計算処理を実行させ、１つのセルに対応する１つ以上の要素画像についてのホログラムデータを算出する。そして、干渉縞計算手段１３が、算出したホログラムデータを、ホログラムプリンタ２に出力する（ＤＯＵＴ）。 Then, when the operation control means 14 completes the generation process for one or more element images corresponding to one cell at the time of printing (exposure) of the hologram printer 2, which is executed by the light ray information acquisition conversion means 11, the operation control means 14 is next. , The ray wavefront conversion means 12 executes a process of converting ray information into wavefront information. Subsequently, the propagation calculation process to the hologram surface is executed by the interference fringe calculation means 13, and the hologram data for one or more element images corresponding to one cell is calculated. Then, the interference fringe calculation means 13 outputs the calculated hologram data to the hologram printer 2 (DOUT).

動作制御手段１４は、１つのセルに対応する１つ以上の要素画像についての全てのホログラムデータが出力されると、ホログラムプリンタ２に対し、当該セルに関するホログラムデータの生成完了、つまり、ホログラムの印刷指示を示すプリンタ制御信号（ＥＮＡ）をホログラムプリンタ２に送信する。このプリンタ制御信号（ＥＮＡ）を受信することにより、ホログラムプリンタ２は、当該セルについての印刷（露光）を実行する。ホログラムプリンタ２は、印刷（露光）が完了し、次のセルについての印刷準備が完了すると、ホログラム生成装置１に対し、次のセルについてのホログラムデータの生成要求を示すリクエスト信号（ＲＥＱ）を送信する。
このように、動作制御手段１４は、ホログラムプリンタ２が印刷するセルに対応する要素画像についてのホログラムデータを、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３を制御し適宜計算させ、ホログラムプリンタ２に出力させることができる。 When the operation control means 14 outputs all the hologram data for one or more element images corresponding to one cell, the operation control means 14 completes the generation of the hologram data for the cell to the hologram printer 2, that is, prints the hologram. A printer control signal (ENA) indicating an instruction is transmitted to the hologram printer 2. Upon receiving this printer control signal (ENA), the hologram printer 2 executes printing (exposure) on the cell. When the printing (exposure) is completed and the printing preparation for the next cell is completed, the hologram printer 2 transmits a request signal (RQ) indicating a request for generating hologram data for the next cell to the hologram generating device 1. To do.
In this way, the operation control means 14 controls the light beam information acquisition conversion means 11, the light wavefront conversion means 12, and the interference fringe calculation means 13 to appropriately control the hologram data of the element image corresponding to the cell printed by the hologram printer 2. It can be calculated and output to the hologram printer 2.

＜動作制御手段１４の処理＞
次に、この動作制御手段１４の処理に基づく、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３の各処理の並列化について、図３の状態遷移図を参照して説明する。 <Processing of motion control means 14>
Next, the parallelization of each process of the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 based on the processing of the operation control means 14 will be described with reference to the state transition diagram of FIG. To do.

動作制御手段１４は、ホログラムプリンタ２との同期をとるため、大きく分けて次の３つの状態を遷移し処理を実行する。ただし、後記するように、動作制御手段１４は、（状態１）の待機状態とならないようにすることにより、リアルタイム性を高める制御を行う。
なお、図３に示す「ＲＥＱ＝０」はリクエスト信号を受信していない状態、「ＲＥＱ＝１」はリクエスト信号を受信している状態を示す。また、「ＥＮＡ＝０」はプリンタ制御信号を送信しない状態、「ＥＮＡ＝１」はプリンタ制御信号を送信する状態を示す。 In order to synchronize with the hologram printer 2, the operation control means 14 roughly divides into the following three states and executes processing. However, as will be described later, the motion control means 14 performs control to enhance the real-time property by preventing the state from being in the standby state (state 1).
Note that "RQ = 0" shown in FIG. 3 indicates a state in which the request signal is not received, and "RQ = 1" indicates a state in which the request signal is received. Further, "ENA = 0" indicates a state in which the printer control signal is not transmitted, and "ENA = 1" indicates a state in which the printer control signal is transmitted.

（状態１：待機状態）…＜ＲＥＱ＝０，ＥＮＡ＝０＞
（状態１）は、初期状態、若しくは、ホログラムプリンタ２にプリンタ制御信号（ＥＮＡ）を出力し終え、動作制御手段１４が、ホログラムプリンタ２から次のリクエスト信号（ＲＥＱ）を受信するまでの状態である（ステップＳ１：待機状態）。動作制御手段１４は、リクエスト信号を受信すると、処理の開始を示す制御信号（処理開始信号）を光線情報取得変換手段１１に出力する。 (State 1: Standby state) ... <REF = 0, ENA = 0>
(State 1) is the initial state or a state in which the printer control signal (ENA) has been output to the hologram printer 2 until the operation control means 14 receives the next request signal (RQ) from the hologram printer 2. Yes (step S1: standby state). Upon receiving the request signal, the operation control means 14 outputs a control signal (processing start signal) indicating the start of processing to the ray information acquisition conversion means 11.

（状態２：ホログラムデータ生成状態）…＜ＲＥＱ＝１，ＥＮＡ＝０＞
（状態２）は、動作制御手段１４が、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３に対し、各処理を実行させることによりホログラムデータを生成させる状態である。ホログラム生成装置１は、上記のように、１つ以上のセルに対応する１つ以上の要素画像について、光線情報取得変換手段１１、光線波面変換手段１２および干渉縞計算手段１３が、並列に処理することができる。これに加えて、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３の処理それぞれは、要素画像毎に独立して計算処理することが可能である。よって、各処理間も並列化することができる。 (State 2: Hologram data generation state) ... <REF = 1, ENA = 0>
(State 2) is a state in which the motion control means 14 causes the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 to execute each process to generate hologram data. In the hologram generation device 1, as described above, the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 process one or more element images corresponding to one or more cells in parallel. can do. In addition to this, the processing of the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 can be calculated independently for each element image. Therefore, it is possible to parallelize each process.

（状態２）では、光線情報取得変換手段１１が動作制御手段１４から処理開始信号を受け取ることにより、光線情報取得変換手段１１の３次元モデルのデータ取得（ＤＩＮ）（ステップＳ２−１）、同じく光線情報取得変換手段１１による要素画像の生成処理（ステップＳ２−２）、光線波面変換手段１２の光線情報の波面情報への変換処理（ステップＳ２−３）、干渉縞計算手段１３のホログラム面への伝搬計算処理（ステップＳ２−４：干渉縞計算処理）、同じく干渉縞計算手段１３によるホログラムデータの出力（ＤＯＵＴ）（ステップＳ２−５）を順次実行していく。 In (state 2), when the ray information acquisition conversion means 11 receives the processing start signal from the operation control means 14, the data acquisition (DIN) of the three-dimensional model of the ray information acquisition conversion means 11 (step S2-1) is also performed. Element image generation processing by the ray information acquisition conversion means 11 (step S2-2), conversion processing of the ray information of the ray wave surface conversion means 12 into wave surface information (step S2-3), to the hologram surface of the interference fringe calculation means 13. Propagation calculation process (step S2-4: interference fringe calculation process) and output of hologram data (DOUT) (step S2-5) by the interference fringe calculation means 13 are sequentially executed.

（状態３：ホログラム印刷指示）…＜ＲＥＱ＝０，ＥＮＡ＝１＞
（状態３）は、干渉縞計算手段１３が、ホログラムデータの出力（ＤＯＵＴ）（図２参照）を完了したことにより（状態２）から遷移し、動作制御手段１４が、ホログラムプリンタ２に対して、ホログラムの印刷指示を示すプリンタ制御信号（ＥＮＡ）を出力するまでの状態である。このとき、動作制御手段１４は、次に印刷指示を出そうとしているセルのホログラムデータについて、ホログラムプリンタ２からリクエスト信号（ＲＥＱ）を受信しているか否かを確認し、受信している場合に、そのリクエスト信号（ＲＥＱ）に対応するセルの印刷指示を示すプリンタ制御信号（ＥＮＡ）をホログラムプリンタ２に送信する（ステップＳ３）。 (State 3: Hologram printing instruction) ... <REF = 0, ENA = 1>
In (state 3), the interference fringe calculation means 13 transitions from (state 2) when the hologram data output (DOUT) (see FIG. 2) is completed, and the operation control means 14 with respect to the hologram printer 2. , It is a state until a printer control signal (ENA) indicating a hologram printing instruction is output. At this time, the operation control means 14 confirms whether or not a request signal (RQ) is received from the hologram printer 2 for the hologram data of the cell for which the print instruction is to be issued next, and if so, , A printer control signal (ENA) indicating a cell print instruction corresponding to the request signal (RQ) is transmitted to the hologram printer 2 (step S3).

また、動作制御手段１４は、ホログラムプリンタ２にプリンタ制御信号（ＥＮＡ）を送信すると、ホログラムプリンタ２からのリクエスト信号を待たずに、次のセル（次の印刷用ホログラムデータ）についての処理開始信号を光線情報取得変換手段１１に出力する（ステップＳ４）。これにより、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３の各処理を開始させる。動作制御手段１４は、ホログラムプリンタ２からリクエスト信号を受信する前に、次のセル（次の印刷用のホログラムデータ）の処理開始指示を出力しておくことにより、（状態１）の待機状態を削減し、時間的なロスを低減してリアルタイム性をより高めることができる。 Further, when the operation control means 14 transmits the printer control signal (ENA) to the hologram printer 2, the processing start signal for the next cell (next print hologram data) does not wait for the request signal from the hologram printer 2. Is output to the ray information acquisition conversion means 11 (step S4). As a result, each process of the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13 is started. The operation control means 14 outputs the processing start instruction of the next cell (hologram data for the next print) before receiving the request signal from the hologram printer 2, thereby setting the standby state of (state 1). It can be reduced, time loss can be reduced, and real-time performance can be further improved.

このように、本実施形態に係るホログラム生成装置１によれば、ホログラムプリンタ２の印刷に適したホログラムデータの生成処理を、光線情報取得変換手段１１、光線波面変換手段１２、干渉縞計算手段１３のそれぞれが、要素画像毎に独立して計算することが可能である。よって、各処理を並列化して実行することができる。また、ホログラム生成装置１の処理は、データの入力からホログラムデータの出力までの流れが１方向であり、従来技術のような各処理間での余分な通信は発生しない。よって、本実施形態に係るホログラム生成装置１によれば、ホログラム生成に必要となるデータを、効率良くリアルタイムに生成することができる。 As described above, according to the hologram generation device 1 according to the present embodiment, the hologram data generation process suitable for printing by the hologram printer 2 is performed by the ray information acquisition conversion means 11, the ray wavefront conversion means 12, and the interference fringe calculation means 13. Each of these can be calculated independently for each element image. Therefore, each process can be executed in parallel. Further, in the processing of the hologram generation device 1, the flow from the data input to the output of the hologram data is one direction, and extra communication between each processing as in the prior art does not occur. Therefore, according to the hologram generation device 1 according to the present embodiment, the data required for hologram generation can be efficiently generated in real time.

（本実施形態の変形例）
次に本実施形態に係るホログラム生成装置１の変形例について説明する。
本実施形態に係るホログラム生成装置１は、外部装置としてホログラムプリンタ２と接続し、ホログラムプリンタ２の印刷をリアルタイムに実行できるものとして説明した。本実施形態の変形例に係るホログラフィックプロジェクションシステム２００（図４参照）においては、ホログラム生成装置１をホログラムスクリーン（後記する、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ））に接続し、リアルタイムに投影して再生像を生成するものである。
図４は、本実施形態に係るホログラム生成装置１を含むホログラフィックプロジェクションシステム２００の全体構成を示す図である。ホログラフィックプロジェクションシステム２００は、ホログラム生成装置１と、ユーザ端末４と、光源２１と、反射型ＬＣＤ２３を有する空間光変調器２２と、ピンホールフィルタ２４と、コリメータレンズ２５と、ビームスプリッタ２６と、レンズ２７とを備える。
なお、本実施形態の変形例に係るホログラフィックプロジェクションシステム２００においては、ＬＣＤを反射型ＬＣＤ２３として構成する例で説明するが、透過型ＬＣＤを用いてホログラフィックプロジェクションシステム２００を構成することもできる。 (Modified example of this embodiment)
Next, a modified example of the hologram generation device 1 according to the present embodiment will be described.
The hologram generation device 1 according to the present embodiment has been described as being able to be connected to the hologram printer 2 as an external device and print the hologram printer 2 in real time. In the holographic projection system 200 (see FIG. 4) according to a modified example of the present embodiment, the hologram generator 1 is connected to a hologram screen (described later, LCD (Liquid Crystal Display)) and projected in real time. To generate a reproduced image.
FIG. 4 is a diagram showing the overall configuration of the holographic projection system 200 including the hologram generation device 1 according to the present embodiment. The holographic projection system 200 includes a hologram generator 1, a user terminal 4, a light source 21, a spatial light modulator 22 having a reflective LCD 23, a pinhole filter 24, a collimator lens 25, a beam splitter 26, and the like. It includes a lens 27.
In the holographic projection system 200 according to the modified example of the present embodiment, the example in which the LCD is configured as the reflective LCD 23 will be described, but the holographic projection system 200 can also be configured by using the transmissive LCD.

図４に示すように、ホログラム生成装置１を、反射型ＬＣＤ２３を有する空間光変調器２２に接続する。そして、ホログラム生成装置１から出力されたホログラムデータ（干渉縞）を、空間光変調器２２により反射型ＬＣＤ２３に表示させ、光源２１からの入射光を回折させることにより、３次元映像を再生する。ホログラム生成装置１は、例えば、ＣＧで作成された動きのある３次元データ（例えば、鳥が羽ばたく様子などの被写体に動きのある３次元データ）をユーザ端末４から取り込んで、本実施形態で説明したように、各処理を並列化してホログラムデータを生成する。これにより、ホログラム生成装置１は、リアルタイムにホログラムデータを空間光変調器２２に出力し、動きのあるホログラムの再生像を生成することができる。 As shown in FIG. 4, the hologram generator 1 is connected to the spatial light modulator 22 having the reflective LCD 23. Then, the hologram data (interference fringes) output from the hologram generation device 1 is displayed on the reflective LCD 23 by the spatial light modulator 22, and the incident light from the light source 21 is diffracted to reproduce the three-dimensional image. The hologram generation device 1 takes in moving three-dimensional data created by CG (for example, moving three-dimensional data on a subject such as a bird flapping) from a user terminal 4, and is described in the present embodiment. As described above, each process is parallelized to generate hologram data. As a result, the hologram generation device 1 can output hologram data to the spatial light modulator 22 in real time and generate a reproduced image of a moving hologram.

このホログラム生成装置１は、ＬＣＤの仕様に基づき、総画素数や要素ホログラムのサイズ、画素ピッチ等を調整して、ホログラムデータを生成し空間光変調器２２に出力する。また、ホログラム生成装置１は、ホログラムデータの生成に際して、クラウドサービスを利用しないローカルな環境で処理を実行し、かつ、ホログラムデータ生成のための各処理を並列化して実行することができる。よって、本実施形態の変形例に係るホログラフィックプロジェクションシステム２００によれば、動きのあるホログラムをリアルタイムの再生することが可能となる。 The hologram generation device 1 adjusts the total number of pixels, the size of the element hologram, the pixel pitch, and the like based on the specifications of the LCD, generates hologram data, and outputs the hologram data to the spatial light modulator 22. Further, the hologram generation device 1 can execute the processing in a local environment that does not use the cloud service when generating the hologram data, and can execute each processing for generating the hologram data in parallel. Therefore, according to the holographic projection system 200 according to the modified example of the present embodiment, it is possible to reproduce a moving hologram in real time.

１ホログラム生成装置
２ホログラムプリンタ
３外部ストレージ
４ユーザ端末
５被写体
１１光線情報取得変換手段
１２光線波面変換手段
１３干渉縞計算手段
１４動作制御手段
２１光源
２２空間光変調器
２３反射型ＬＣＤ
１００ホログラム生成システム
２００ホログラフィックプロジェクションシステム 1 Hologram generator 2 Hologram printer 3 External storage 4 User terminal 5 Subject 11 Ray information acquisition conversion means 12 Ray wavefront conversion means 13 Interference fringe calculation means 14 Operation control means 21 Light source 22 Spatial light modulator 23 Reflective LCD
100 Hologram generation system 200 Holographic projection system

Claims

A hologram generator that calculates a hologram by setting a ray sampling surface that samples the rays from the subject.
Ray information acquisition that acquires ray information of different angles obtained from a three-dimensional model of the subject and creates a predetermined size and a predetermined number of element images on the ray sampling surface according to the specifications of the hologram to be generated. Conversion means and
For each of the created element images, a ray wavefront conversion means for converting the ray information of the ray sampling surface into wavefront information of the wavefront sampling surface, and
The wavefront propagation from the wavefront sampling surface to the hologram surface for reproducing the hologram is calculated for each element image, and the interference fringes of the object light and the reference light obtained by the calculation of the wavefront propagation are calculated on the hologram surface. And the interference fringe calculation means that calculates the hologram data and outputs the calculated hologram data to the hologram printer.
The size of the cell showing the divided holograms recorded at one time by the hologram printer using the hologram data is compared with a predetermined size of the element image created by the ray information acquisition conversion means, and the size of the cell is compared. When is larger, a plurality of element images corresponding to the size of the cell are set, and the set plurality of element images corresponding to the request for generating the hologram data for one cell from the hologram printer are set. A holographic information acquisition conversion means, a light wave surface conversion means, and an operation control means for controlling each of the interference fringe calculation means to perform parallel processing are provided.
When the interference fringe calculation means outputs the hologram data calculated for the set plurality of element images to the hologram printer, the operation control means before receiving the generation request of the cell to be recorded next from the hologram printer. , The processing of the ray information acquisition conversion means, the ray wavefront conversion means, and the interference fringe calculation means for the plurality of element images corresponding to the cell to be recorded next.
A hologram generator characterized by.

A hologram generation program for causing a computer to function as the hologram generation device according to claim 1.

A holographic projection system including the hologram generator according to claim 1 and a spatial light modulator having a liquid crystal display.
The hologram generator takes in three-dimensional data of a subject that changes in time series and outputs the generated hologram data to the spatial light modulator.
The spatial light modulator is characterized in that it reproduces a moving hologram by displaying acquired hologram data that changes in time series on the liquid crystal display and diffracting incident light from a light source. system.