JPWO2017013862A1 - 投射装置、投射方法およびプログラム記憶媒体 - Google Patents

投射装置、投射方法およびプログラム記憶媒体 Download PDF

Info

Publication number
JPWO2017013862A1
JPWO2017013862A1 JP2017529449A JP2017529449A JPWO2017013862A1 JP WO2017013862 A1 JPWO2017013862 A1 JP WO2017013862A1 JP 2017529449 A JP2017529449 A JP 2017529449A JP 2017529449 A JP2017529449 A JP 2017529449A JP WO2017013862 A1 JPWO2017013862 A1 JP WO2017013862A1
Authority
JP
Japan
Prior art keywords
phase distribution
target image
modulation element
phase
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017529449A
Other languages
English (en)
Other versions
JP6743819B2 (ja
Inventor
藤男 奥村
藤男 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2017013862A1 publication Critical patent/JPWO2017013862A1/ja
Application granted granted Critical
Publication of JP6743819B2 publication Critical patent/JP6743819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • H04N9/3126—Driving therefor for spatial light modulators in series
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3152—Modulator illumination systems for shaping the light beam
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3158—Modulator illumination systems for controlling the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816—Iterative algorithms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0841—Encoding method mapping the synthesized field into a restricted set of values representative of the modulator parameters, e.g. detour phase coding
    • G03H2001/085—Kinoform, i.e. phase only encoding wherein the computed field is processed into a distribution of phase differences
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655—Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/56—Resolution
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Abstract

所望の目標画像を表示するまでの時間を短縮しながら、最終的に鮮明な目標画像を表示するために、光源と、目標画像の位相分布を表示させる表示部で光源からの光を反射する空間変調素子と、目標画像の位相分布を生成する第１処理と、第１処理よりも計算コストの高い処理によって目標画像の位相分布を生成する第２処理とを異なる演算部によって並行して実行し、第１処理によって生成された位相分布を空間変調素子の表示面に表示させた後に、第２処理によって生成された位相分布を空間変調素子の表示面に表示させる変調素子制御手段と、空間変調素子の反射光を投射する投射手段とを備える投射装置とする。

Description

本発明は、空間変調素子を用いる投射装置、投射方法および投射プログラムに関する。
近年、プロジェクタとカメラとを組み合わせたインターフェース装置の開発が進んでいる。そのようなインターフェース装置は、プロジェクタから投射された画像に対して行われた操作内容をカメラが撮像した画像データ上で認識することによって、インタラクティブな動作を実現する。特許文献１および２には、プロジェクタとカメラとを組み合わせたインターフェース装置が開示されている。
特許文献２のインターフェース装置は、位相変調型の空間変調素子を用いた照射手段を有する。位相変調型の空間変調素子を用いたプロジェクタでは、目標画像を投射するための位相分布を空間変調素子の表示面に表示させ、その表示面に照射された光の反射光を投射することによって所望の目標画像を被投射面に表示させることができる。特許文献２のインターフェース装置は、反復フーリエ変換法などの最適化法を用いて、空間変調素子に表示させる位相分布を逐一形成する。反復フーリエ変換法は、演算結果が収束するまでに何回も処理を反復するため、計算コストが高くなる。そのため、リアルタイムで高画質な目標画像を表示する場合には、計算量が膨大となって処理に遅延が生じることがある。
特許文献３には、反復フーリエ変換法などの最適化法によって計算機ホログラムを作成する際に、計算時間を短縮する方法について開示されている。
特許文献３の方法では、まず、目標再生像の一部の画素を含む副目標再生像を生成し、その副目標再生像を再生するための計算機ホログラムを生成する。次に、生成済みの副目標再生像に画素を付加して解像度を高くした新たな副目標再生像を作成する。そして、新たな副目標再生像を生成するための計算機ホログラムを作成する。特許文献３の方法においては、計算機ホログラムが目標の画素数に達するまで、新たな副目標再生像の生成と、その副目標再生像を生成するための計算機ホログラムの作成とを繰り返す。
国際公開第２０１４／１３６２９２号 国際公開第２０１５／０４９８６６号 特開２００５−３７６８２号公報
特許文献３の方法によれば、計算機ホログラムを生成する時間を短縮することができる。しかし、特許文献３の方法では、計算機ホログラムを生成する時間は短縮できるが、計算機ホログラムを生成している最中には、その計算機ホログラムを用いて形成される目標再生像を投射することができない。そのため、特許文献３の方法では、計算機ホログラムを生成している間に目標再生像の状態が変化する状況では、表示された再生像の状態が実時間の状態とずれてしまうという問題点があった。また、特許文献３の方法では、投射された再生像が不鮮明であっても、再計算しない限り鮮明な再生像を得ることができないという問題点があった。
本発明の目的は、所望の目標画像を表示するまでの時間を短縮しながら、最終的に鮮明な目標画像を表示することができる投射装置を提供することにある。
本発明の投射装置は、光源と、目標画像の位相分布を表示させる表示部で光源からの光を反射する空間変調素子と、目標画像の位相分布を生成する第１処理と、第１処理よりも計算コストの高い処理によって目標画像の位相分布を生成する第２処理とを異なる演算部によって並行して実行し、第１処理によって生成された位相分布を空間変調素子の表示面に表示させた後に、第２処理によって生成された位相分布を空間変調素子の表示面に表示させる変調素子制御手段と、空間変調素子の反射光を投射する投射手段とを備える。
本発明の投射方法においては、空間変調素子の表示面に照射された光の反射光を投射する投射方法であって、目標画像の位相分布を生成する第１処理と、第１処理よりも計算コストの高い処理によって目標画像の位相分布を生成する第２処理とを異なる演算部によって並行して実行し、第１処理によって生成された位相分布を空間変調素子の表示面に表示した後に、第２処理によって生成された位相分布を空間変調素子の表示面に表示する。
本発明の投射プログラムは、空間変調素子の表示面に照射された光の反射光を投射する投射プログラムであって、目標画像の位相分布を生成する第１処理と、第１処理よりも計算コストの高い処理によって目標画像の位相分布を生成する第２処理とを異なる演算部によって並行して実行する処理と、第１処理によって生成された位相分布を空間変調素子の表示面に表示した後に、第２処理によって生成された位相分布を空間変調素子の表示面に表示する処理とをコンピュータに実行させる。
本発明によれば、所望の目標画像を表示するまでの時間を短縮しながら、最終的に鮮明な目標画像を表示することができる投射装置を提供することが可能になる。
本発明の第１の実施形態に係る投射装置の構成を示すブロック図である。 本発明の第１の実施形態に係る投射装置の変調素子制御手段の構成を示すブロック図である。 本発明の第１の実施形態に係る投射装置の光学的な構成を示す概念図である。 本発明の第１の実施形態に係る投射装置の位相分布生成手段の構成を示すブロック図である。 本発明の第１の実施形態に係る投射装置の位相分布生成手段の動作例を示すフローチャートである。 本発明の第２の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布の切り替えについて説明するための概念図である。 本発明の第２の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布を切り替える一例を示す概念図である。 本発明の第２の実施形態において位相分布を切り替える際の判定基準について説明するための概念図である。 本発明の第２の実施形態に係る投射装置の第１処理手段のブロック図である。 本発明の第２の実施形態に係る投射装置の第１処理手段による並進処理の一例について説明するための概念図である。 本発明の第２の実施形態に係る投射装置の第１処理手段による合成処理の一例について説明するための概念図である。 本発明の第２の実施形態に係る投射装置の第２処理手段のブロック図である。 本発明の第２の実施形態に係る投射装置の第２処理手段による反復フーリエ変換処理の一例を示す概念図である。 本発明の第２の実施形態に係る投射装置の第２処理手段による反復フーリエ変換処理のフローチャートである。 本発明の第２の実施形態に係る投射装置の第２処理手段による反復フーリエ変換処理における反復回数に伴う目標画像の遷移を示す概念図である。 本発明の第２の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布の切り替えについて説明するための概念図である。 本発明の第２の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布を切り替える一例を示す概念図である。 本発明の第３の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布の切り替えについて説明するための概念図である。 本発明の第３の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布を切り替える一例を示す概念図である。 本発明の第３の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布の切り替えについて説明するための概念図である。 本発明の第３の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布を切り替える一例を示す概念図である。 本発明の第４の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布の切り替えについて説明するための概念図である。 本発明の第４の実施形態に係る投射装置の空間変調素子の表示面を解像度に応じて複数の表示領域に分割する一例を示す概念図である。 本発明の第４の実施形態に係る投射装置の空間変調素子の表示面の各表示領域に表示させる位相分布を用いて表示される目標画像の解像度について説明するための概念図である。 本発明の第４の実施形態において位相分布を切り替える際の判定基準について説明するための概念図である。 本発明の第５の実施形態に係る投射装置の空間変調素子の表示面に解像度が異なる位相分布を同時に表示する例を示す概念図である。 本発明の第５の実施形態に係る投射装置の空間変調素子の表示面に表示させた位相分布を用いて表示される目標画像について説明するための概念図である。 本発明の第６の実施形態に係るインターフェース装置の構成を示す概念図である。 本発明の第６の実施形態に係るインターフェース装置の撮像装置の構成を示す概念図である。 本発明の第６の実施形態に係るインターフェース装置の制御装置の構成を示す概念図である。 本発明の第７の実施形態に係る投射装置が投射する表示情報を更新頻度に応じて分割する例を示す概念図である。 本発明の第７の実施形態に係る投射装置の空間変調素子の表示面に表示させる位相分布を更新頻度に応じて異なる処理で生成する例について説明するための概念図である。 本発明の各実施形態に係る投射装置を構成する変調素子制御手段のハードウェア構成の一例を示すブロック図である。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由が無い限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
（第１の実施形態）
〔構成〕
まず、本発明の第１の実施形態に係る投射装置１０の構成について、図面を参照しながら説明する。
図１は、本実施形態に係る投射装置１０の構成を示すブロック図である。図１のように、本実施形態に係る投射装置１０は、光源１１、変調素子制御手段１２、空間変調素子１３および投射手段１５を備える。
光源１１は、特定波長の光を発する。光源１１が出射した光は、コヒーレントな光１１０に変換され、空間変調素子１３の表示面に入射される。光源１１は、可視領域の光を発するように構成してもよいし、紫外領域や赤外領域などの不可視領域の光を発するように構成してもよい。
変調素子制御手段１２は、投射画像（以下、目標画像と呼ぶ）に関する情報（以下、目標画像情報）を取得し、取得した目標画像情報に基づいて空間変調素子１３を制御する。変調素子制御手段１２は、例えばサーバなどの上位システムから目標画像情報を入力する。なお、変調素子制御手段１２は、ユーザインターフェース（図示しない）から入力された操作内容に基づいて設定される目標画像情報を取得してもよい。
ここで、図２を用いて、変調素子制御手段１２の構成について説明する。変調素子制御手段１２は、位相分布生成手段２０および位相制御手段３０を備える。
位相分布生成手段２０は、入力された目標画像情報に基づいて、目標画像に相当する光強度分布を被投射面に表示するための位相分布（以下、目標画像の位相分布）を生成する。
位相制御手段３０は、空間変調素子１３の表示面に照射される光１１０の位相と、表示面で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間変調素子１３を制御する。変調素子制御手段１２は、例えば、空間変調素子１３に印加する電圧を制御することによって、空間変調素子１３の表示面の屈折率を変化させる。
位相制御手段３０は、空間変調素子１３の表示面に異なる位相分布を同時に表示させる場合、その表示面を複数の表示領域に分割し、それらの表示領域に異なる位相分布を分散させて表示させる。位相制御手段３０は、表示面を複数の表示領域に分割する場合、各表示領域に表示させる位相分布を記憶する記憶部を有していることが好ましい。
空間変調素子１３は、変調素子制御部１２の制御に応じて、所望の目標画像の位相分布を自身の表示面に表示する。例えば、空間変調素子１３は、位相がそろったコヒーレントな光１１０の入射を受け、入射された光１１０の位相を変調する位相変調型の空間変調素子によって実現できる。
空間変調素子１３は、変調された変調光１３０を投射手段１５に向けて出射する。なお、空間変調素子１３は、被投射面に所望の目標画像を投射できるのであれば、位相変調型とは異なる方式の素子であってもよい。
位相変調型の空間変調素子１３の表示面には、被投射面に投射される所望の目標画像の位相分布が表示される。空間変調素子１３の表示面で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、これらの回折格子で回折された光が集まることによって所望の目標画像が形成される。
空間変調素子１３は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間変調素子によって実現される。空間変調素子１３は、具体的には、ＬＣＯＳ（Liquid Crystal on Silicon）によって実現できる。また、空間変調素子１３は、例えば、ＭＥＭＳ（Micro Electro Mechanical System）によって実現してもよい。
投射手段１５は、空間変調素子１３の表示面の変調光１３０を信号光１５０に変換して被投射面に投射する。
図３は、本実施形態に係る投射装置１０の光学的な構成を示す概念図である。図３のように、投射装置１０は、図１の構成に加えて、コリメータ１１１、フーリエ変換レンズ１５１、アパーチャ１５２および投射レンズ１５３を有する。図３のフーリエ変換レンズ１５１、アパーチャ１５２および投射レンズ１５３は、投射手段１５を構成する要素である。
コリメータ１１１は、光源が出射した光をコヒーレントな光１１０に変換するレンズである。
フーリエ変換レンズ１５１は、空間変調素子１５の表示面で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点位置に形成させるための光学レンズである。フーリエ変換レンズ１５１は、単一のレンズで構成してもよいし、複数のレンズを組み合わせて構成してもよい。
アパーチャ１５２は、フーリエ変換レンズ１５１によって集束された光に含まれる高次光を消去し、画像領域を特定する機能を有する。アパーチャ１５２の開口部は、アパーチャ１５２の位置における表示情報の画像領域よりも小さく開口され、アパーチャ１５２の位置に形成される目標画像の周囲を遮るように設置される。例えば、アパーチャ１５２には、矩形状や円形状の開口部が形成されている。アパーチャ１５２は、フーリエ変換レンズ１５１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば、焦点位置からずれていても構わない。
投射レンズ１５３は、フーリエ変換レンズ１５１によって集束された光を拡大して投射する光学レンズである。投射レンズ１５３は、空間変調素子１５に入力された位相分布に対応する目標画像が被投射面に表示されるように信号光１５０を投射する。なお、投射レンズ１５３がなくても被投射面に目標画像を投射できるのであれば、投射レンズ１５３を省略してもよい。
投射手段１５から投射された信号光１５０は、被投射面の全面に均一に投射されるのではなく、目標画像を構成する文字や記号、枠などの画像部分に集中的に投射される。この場合、光１１０の照射量を実質的に減らすことができるため、投射装置１０の全体的な光出力を抑えることができる。そのため、本実施形態の投射装置１０は、小型かつ低電力の光源１１と、その光源１１を駆動する低出力の電源とによって光源部分を構成できる。
本実施形態においては、図３のように、空間変調素子１３の表示面に対して光１１０の入射角を非垂直にする。すなわち、本実施形態においては、光源１１から出射される光の出射軸を空間変調素子１３の表示面に対して斜めにする。空間変調素子１３の表示面に対して光１１０の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間変調素子１３に光１１０を入射できるため、効率を向上させることができる。
〔位相分布生成手段〕
ここで、位相分布生成手段２０の詳細について図面を用いて説明する。図４は、位相分布生成手段２０の詳細な構成である。
図４のように、位相分布生成手段２０は、目標画像受信手段２１、第１処理手段２２、第２処理手段２３および位相分布切替手段２４を有する。
目標画像受信手段２１は、上位システムから目標画像を取得する受信部である。目標画像受信手段２１は、取得した目標画像を第１処理手段２２および第２処理手段２３に出力する。なお、目標画像受信手段２１は、上位システムにデータを送信する送信機能を有していてもよい。
第１処理手段２２は、目標画像受信手段２１から取得した目標画像に対して第１処理を実行し、一次表示の位相分布（第１位相分布とも呼ぶ）を生成する。第１処理は、第２処理手段２３が実行する第２処理と比較すると計算コストが低い処理である。そのため、第１処理は、第２処理と比べると短時間で完了する。なお、一次表示は、位相分布生成手段２０に入力された目標画像に対して第１に行われる表示処理である。第１処理手段２２は、第１処理によって生成された一次表示の位相分布を位相分布切替手段２４に出力する。
第２処理手段２３は、目標画像受信手段２１から取得した目標画像に対して第２処理を実行し、二次表示の位相分布（第２位相分布とも呼ぶ）を生成する。第２処理は、第１処理手段２２が実行する第１処理と比較すると計算コストが高い処理である。そのため、第２処理は、第１処理と比べると時間がかかる処理である。なお、ニ次表示は、位相分布生成手段２０に入力された目標画像に対して行われた一次表示に続いて行われる表示処理である。二次表示は、一次表示に続いて一度だけ行われてもよいし、何回にも分けて漸次的に行われてもよい。第２処理手段２３は、第２処理によって生成された二次表示の位相分布を位相分布切替手段２４に出力する。
上述の通り、第１処理手段２２は、第２処理手段２３が実行する第２処理よりも計算コストが低い第１処理を実行する。
第１処理手段２２が予め記憶しておいた基本画像の選択や合成などの計算コストの低い第１処理を実行し、第２処理手段２３が反復フーリエ変換処理を１０００回反復する計算コストの高い第２処理を実行することを一例としてあげられる。また、第１処理手段２２が反復フーリエ変換を１０回反復する第１処理を実行し、第２処理手段２２が反復フーリエ変換処理を１０００回反復する第２処理を実行することを一例としてあげられる。
位相分布切替手段２４は、第１処理手段２２によって出力された一次表示の位相分布、第２処理手段２３によって出力された二次表示の位相分布を取得する。
位相分布切替手段２４は、一次表示の位相分布を取得した場合、その一次表示の位相分布を位相制御手段３０に出力する。位相分布切替手段２４は、二次表示の位相分布を取得した場合、後述する判定基準に基づいて、一次表示の位相分布に替えて二次表示の位相分布を位相制御手段３０に出力する。なお、二次表示の位相分布が漸次的に入力される場合、位相分布切替手段２４は、それらの二次表示の位相分布が入力されるたびに当該位相分布を出力していく。
以上が、本実施形態に係る投射装置１０の構成についての説明である。
〔動作〕
続いて、本実施形態に係る投射装置１０の動作について説明する。
まず、図５のフローチャートを用いて、位相分布生成手段２０が実行する動作について説明する。なお、図５においては、位相分布生成手段２０の各構成要素を動作主体として説明するが、一部の構成要素間の入出力処理については割愛する。
まず、目標画像受信手段２１は、上位システムから目標画像を取得する（ステップＳ１１）。例えば、上位システムは、投射装置１０にインターネットなどのネットワークを通じて接続されたサーバなどに構成すればよい。目標画像受信手段２１は、取得した目標画像を第１処理手段２２および第２処理手段２３に出力する。
図５において、ステップＳ１２およびステップＳ１３の第１処理と、ステップＳ１４〜ステップＳ１６の第２処理とは並行して実行する。第１処理と第２処理は、異なるプロセッサに振り分けて実行することが好ましい。また、第２処理が複数の処理で構成されている場合、それらの処理を単一のプロセッサで連続的に実行してもよいし、複数のプロセッサに分散させて並列して実行してもよい。
第１に、第１処理手段２２は、取得した位相分布に関して第１処理を実行する（ステップＳ１２）。
そして、第１処理手段２２は、第１処理で生成された位相分布を位相分布切替手段２４に出力する（ステップＳ１３）。
第２に、第２処理手段２３は、取得した位相分布に関して第２処理を実行する（ステップＳ１４）。
ここで、第２処理を継続する場合（ステップＳ１５でＹｅｓ）、ステップＳ１４に戻る。一方、第２処理を終了する場合（ステップＳ１５でＮｏ）、ステップＳ１６に進む。なお、ステップＳ１５における第２処理は、例えば後述する判定基準に基づいて継続するか否かを判定すればよい。
そして、第２処理手段２３は、第２処理で生成された位相分布を位相分布切替手段２４に出力する（ステップＳ１６）。なお、第２処理を逐次的に何度か行う場合は、ステップＳ１６の後に、ステップＳ１４に戻ればよい。
位相分布切替手段２４は、ステップＳ１３またはステップＳ１６で出力された位相分布を取得する。
取得した位相分布が第１処理で生成されたものであり、第２処理で生成されたものではない場合（ステップＳ１７でＮｏ）、位相分布切替手段２４は、その位相分布をそのまま位相制御手段３０に出力する（ステップＳ１８）。
一方、取得した位相分布が第２処理で生成されたものである場合（ステップＳ１７でＹｅｓ）、位相分布切替手段２４は、所定の判定基準に基づいて、新たに取得した位相分布を、既に出力されている位相分布と切り替える（ステップＳ１８）。
位相分布切替手段２４は、切り替えた位相分布を位相制御手段３０に出力する（ステップＳ１９）。
ここで、その目標画像に関する処理が継続中である場合（ステップＳ２０でＹｅｓ）、ステップＳ１７に戻って待機する。一方、その目標画像に関する全ての処理が終了している場合（ステップＳ２０でＮｏ）、図５に沿った処理は終了とする。
位相制御手段３０は、位相分布生成手段２０から取得した位相分布に基づいて、空間変調素子１３の表示面に表示させる位相分布を切り替えればよい。
以上が、本実施形態に係る投射装置１０の動作についての説明である。
以上のように、本実施形態においては、計算コストが低い第１処理で生成された一次表示を行った後に、所定の判定基準に基づいて、計算コストが高い第２処理で生成された二次表示に切り替える。
動画のように目標画像を高速で切り替える場合、それぞれの目標画像の表示時間は短いため、少々の雑音ならば認識されることはない。当然のことながら、静止画のように目標画像の表示時間が長い場合は、同じ目標画像が表示される時間が長くなり、それぞれの目標画像の雑音が認識されやすくなる。そのため、計算コストが低い第１処理で生成した位相分布を一次表示している間に計算コストが高い処理を行い、計算コストが高い処理で生成された二次表示を一次表示と切り替えることによって、最終的にはきれいな目標画像を表示できる。
本実施形態によれば、空間変調素子に表示する位相分布の計算を開始してから、その位相分布を用いて所望の目標画像を表示させるまでの時間を短縮し、最終的に雑音の少ない目標画像を投射することができる投射装置を提供ができる。
（第２の実施形態）
次に、本発明の第２の実施形態に係る投射装置について図面を参照しながら説明する。本実施形態に係る投射装置は、基本画像を選択して合成する処理を第１処理として実行し、反復フーリエ変換処理を第２処理として実行する。
本実施形態で用いられる目標画像情報は、目標画像を構成する基本画像に関する情報を含む。基本画像とは、例えば「○」などの円形、「△」や「□」などの多角形、「☆」や「※」などのマーク、「Ａ」や「Ｂ」などの文字、枠や線などといった基本的なパターン（以下、基本パターン）を少なくとも一つ含む画像である。なお、基本パターンには、ここで挙げたパターンに限らず、任意のパターンを用いることができる。
図６は、本実施形態に係る投射装置が実行する処理を説明するための概念図である。また、図７は、図６の処理によって生成した位相分布を空間変調素子１３の表示面に表示する例である。なお、実際には空間変調素子１３の表示面に位相分布が表示されるが、図７以下の例においては、説明をしやすくするために空間変調素子１３の表示面に表示される位相分布を用いて被投射面に表示される画像を表す。
本実施形態において、第１処理手段２２−２（後述）は、基本画像の位相分布を選択して合成する処理を第１処理として実行する。また、第２処理手段２３−２（後述）は、目標画像を用いた反復フーリエ変換処理を第２処理として実行する。
まず、本実施形態に係る投射装置は、第１処理手段２２−２が生成した位相分布を一次表示として空間変調素子１３の表示面に表示する。
図６のように、第１処理手段２２−２は、取得した目標画像から基本パターンを抽出し、その基本パターンを含む基本画像の位相分布を選択する。第１処理手段２２−２は、各基本パターンを含む基本画像の位相分布を予め記憶しておく。第１処理手段２２−２は、目標画像を構成する基本パターンを含む基本画像の位相分布を合成することによって、目標画像の位相分布を生成する。
図７の左側が一次表示の例である。図７の例では、空間変調素子１３の表示面を４行×６列からなる複数の表示領域に分割し、各表示領域に基本パターンＡおよびＢを含む基本画像を合成したものを表示する。位相制御手段３０は、第１処理手段２２−２によって選択・合成された位相分布を一次表示として各表示領域に表示させるように空間変調素子１３を制御する。
その後、本実施形態に係る投射装置は、第２処理手段２３−２が生成した位相分布を空間変調素子１３の表示面に表示する。
図６のように、第２処理手段２３−２は、取得した目標画像を用いて、その目標画像の位相分布を生成する。図６には、反復フーリエ変換処理を反復していくことによって、より鮮明な画像になっていく様子を図示している。第２処理手段２３−２は、反復フーリエ変換処理を所定回数反復することによって生成された位相分布を位相分布切替手段２４に出力する。なお、第２処理手段２３−２は、所定回数の反復フーリエ変換処理の途中段階で生成された位相分布を順次出力するようにしてもよい。
位相分布切替手段２４は、判定基準に基づいて、第２処理手段２−２３によって生成された位相分布を一次表示に用いられている位相分布と切り替える。
図７の右側が二次表示の例である。位相制御手段３０は、位相分布切替手段２４によって切り替えられた位相分布をニ次表示として各表示領域に表示させるように空間変調素子３０を制御する。
〔判定基準〕
続いて、位相分布切替手段２４が第１処理で生成された位相分布から第２処理で生成された位相分布へと切り替える判定基準について説明する。図８は、判定基準の一例について説明するためのグラフである。なお、図８の例では、第２処理において特定の処理を反復させるものとして説明する。
図８のグラフにおいて、横軸は第２処理における特定の処理を継続する時間、縦軸は第２処理によって生成される位相分布を用いて目標画像を表示させた際の雑音レベル（以下、第２処理の雑音レベル）を示す。また、図８のグラフには、第１処理によって生成された位相分布を用いて生成された目標画像の雑音レベル（以下、第１処理の雑音レベル）を破線で示している。なお、図８の例では、雑音レベルを縦軸に設定しているが、その他の指標を縦軸に設定してもよい。
図８において、時刻Ｔ２１は、第２処理の雑音レベルが第１処理の雑音レベルと同一になるポイントを示す。すなわち、時刻Ｔ２１は、一次表示から二次表示に切り替えてもよいという目安の時刻になる。
ところで、時刻Ｔ２１になった時点で一次表示から二次表示に切り替えても、目標画像の雑音レベルが改善されたことを認識しにくい。そのため、実際には、第２処理の雑音レベルが第１処理の雑音レベルを大きく下回る時刻Ｔ２２において、一次表示から二次表示に切り替えてもよい。なお、表示されている目標画像の雑音レベルを故意に認識しにくくするために、時刻Ｔ２１に近い時刻で一次表示から二次表示への切り替えを行うように設定してもよい。
時刻Ｔ２２は、例えば、第２の雑音レベルが第１の雑音レベルよりも所定の雑音レベルだけ小さくなる時間に設定されればよい。雑音レベルの判定基準は、雑音レベルの絶対値や割合などで設定すればよい。なお、二次表示の切り替えを複数回行う場合、時刻Ｔ２２は、二次表示の切り替え回数に応じて複数の時刻に分割して設定してもよい。
基本画像を組み合わせて合成させた位相分布を用いて投射された目標画像は、基本画像ごとのコントラストや解像度の違いによって違和感のある目標画像を生成させることがある。一方、反復フーリエ変換処理で生成された目標画像は、基本パターンごとにコントラストや解像度が異なることはないために鮮明である。しかしながら、反復フーリエ変換処理は計算コストの高い処理であるため、目標画像を表示させたいタイミングにおいて適時に情報を表示させることができない場合がある。
本実施形態においては、計算コストが低い第１処理で生成された目標画像を一次表示として表示し、その後、計算コストが高い第２処理で生成された目標画像を二次表示として切り替えて表示する。その結果、本実施形態によれば、所望の目標画像を表示するまでの時間を短縮しながら、さらに鮮明な目標画像を表示することができる。
〔第１処理手段〕
ここで、本実施形態に係る第１処理手段２２−２の構成について図面を参照しながら説明する。図９は、本実施形態に係る第１処理手段２２−２の構成を示すブロック図である。
図９のように、第１処理手段２２−２は、第１画像取得部２２１、基本パターン抽出部２２２、基本画像記憶部２２３、基本画像抽出部２２４、第１演算部２２５および第１出力部２２６を有する。
第１画像取得部２２１は、目標画像受信手段２１から目標画像情報を取得する。第１画像取得部２２１は、取得した目標画像情報を基本パターン抽出部２２２に出力する。
また、基本画像の位相分布を上位システムから取得する場合、第１画像取得部２２１は、取得した基本画像の位相分布を基本画像記憶部２２３に記録させる。
目標画像情報は、目標画像に含まれる基本画像を識別するための識別情報を含んでいてもよい。また、目標画像情報は、目標画像において、基本パターンがどのような状態にあるのかを示す情報を含んでいてもよい。なお、基本パターンの状態とは、目標画像における基本パターンの位置や大きさ、向きなどの状態を意味する。
基本パターン抽出部２２２は、目標画像情報を取得し、目標画像に含まれる基本パターンを抽出する。
例えば、基本パターン抽出部２２２は、テンプレートマッチングなどの処理によって基本パターンを抽出する。テンプレートマッチングとは、基本パターンをテンプレートとして目標画像上で走査させ、その目標画像上の任意の位置における類似度を順次計算し、類似度が高い位置を検出する処理である。類似度計算としては、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）などを用いることができる。また、ＮＣＣ（Normalized Cross-Correlation）やＺＮＣＣ（Zero-means Normalized Cross-Correlation）などを類似度計算に用いてもよい。
また、例えば、基本パターン抽出部２２２は、入力された目標画像から図形や記号などの基本パターンを抽出し、抽出した基本パターンが基本画像記憶部２２３に記憶されている基本画像に含まれるか否かを判定してもよい。ただし、目標画像中の基本パターンの検出方法はここで挙げた限りではなく、任意の方法を用いることができる。
基本画像記憶部２２３は、各基本画像に関して、反復フーリエ変換処理が施された位相分布を記憶する。基本画像記憶部２２３は、上位システムにおいて生成された基本画像の位相分布を事前に取得しておけばよい。なお、基本画像の位相分布を予め自装置で生成しておき、その位相分布を基本画像記憶部２２３に記憶するように構成してもよい。
基本画像記憶部２２３は、例えば各基本画像に付与された固有の識別記号に対応させて各基本画像の位相分布を記憶しておけばよい。なお、基本画像記憶部２２３は、基本パターンに付与された固有の識別記号に対応させて、その基本パターンを含む基本画像の位相分布を記憶しておいてもよい。
基本画像抽出部２２４は、基本パターン抽出部２２２によって抽出された基本パターンを含む基本画像を基本画像記憶部２２３から抽出する。基本画像抽出部２２４は、抽出した基本画像を第１演算部２２５に出力する。
第１演算部２２５は、基本画像抽出部２２４から取得した基本画像を合成する。目標画像において基本パターンの位置を変更する場合、第１演算部２２５は、基本画像上の基本パターンに対して並進処理など移動処理を行う。第１演算部２２５は、全ての基本画像において基本パターンを適切な位置に移動させると、それらの基本画像に含まれる基本パターンを合成する。なお、基本画像そのものが目標画像に対応する場合、第１演算部２２５は、その基本画像の位相分布に対して移動処理を行わなくてもよい。第１演算部２２５は、生成した目標画像の位相分布を第１出力部２２６に出力する。
第１出力部２２６は、第１演算部２２５によって変換処理された目標画像の位相分布を位相分布切替手段２４に出力する。
ここで、第１演算部２２５の行う変換処理について、図１０および図１１の例を用いて説明する。なお、第１演算部２２５は、実際には基本画像の位相分布に対して変換処理を実行すればよいが、図１０および図１１には変換する位相分布に対応する基本画像を図示している。
図１０は、第１演算部２２５が、基本パターンＡを基本画像において中央から右上隅の方へ並進移動する例である。第１演算部２２５は、例えば、基本パターンを含む基本画像の位相分布に対して位相シフト演算による演算（並進処理）を実行することによって、基本画像中の基本パターンを並進移動することができる。位相シフト演算においては、例えば、基本画像の位相に対して位相行列をｘ方向およびｙ方向のそれぞれの方向に掛け算してシフトさせればよい。
図１１は、基本パターンＡおよびＢから基本画像を生成させる第１処理の流れを示す概念図である。
基本画像抽出部２２４は、基本パターンＡを含む基本画像３０１の位相分布と、基本パターンＢを含む基本画像３０２の位相分布とを基本画像記憶部２２３から抽出する。
第１演算部２２５は、基本画像３０１上で基本パターンＡを移動させた基本画像３０３の位相分布を生成するとともに、基本画像３０２上で基本パターンＢを移動させた基本画像３０４の位相分布を生成する。そして、第１演算部２２５は、生成した基本画像３０３および３０４の位相分布を合成し、目標画像３０５を生成する。
〔第２処理手段〕
次に、本実施形態に係る第２処理手段２３−２の構成について図面を参照しながら説明する。図１２は、本実施形態に係る第２処理手段２３−２の構成を示すブロック図である。
図１２のように、第２処理手段２３−２は、第２画像取得部２３１、第２演算部２３２および第２出力部２３３を有する。
第２画像取得部２３１は、目標画像受信手段２１から目標画像情報を取得する。第２画像取得部２３１は、取得した目標画像情報を第２演算部２３２に出力する。
第２演算部２３２は、目標画像情報を取得し、取得した目標画像情報に含まれる目標画像を用いて反復フーリエ変換処理を実行し、その目標画像の位相分布を生成する。
第２出力部２３３は、第２演算部２３２によって生成された目標画像の位相分布を位相分布切替手段２４に出力する。
〔反復フーリエ変換処理〕
ここで、第２演算部２３２が実行する反復フーリエ変換処理について説明する。図１３は、反復フーリエ変換処理について説明するための概念図である。ただし、図１３に示す各位相分布はダミーパターンであり、それらのダミーパターンを空間変調素子１３の表示面に表示させ、その表示面に光を照射したとしたからといって何らかの目標画像が得られるとは限らない。また、図１３において、ＦＴはフーリエ変換（Fourier Transform）、ＩＦＴは逆フーリエ変換（Inverse Fourier Transform）を示す。
空間変調素子１３直後の光電場分布をフーリエ変換すると、被投射面上における光電場分布Ｅが得られる。この被投射面上の光電場分布Ｅの２乗が目標画像の光強度分布に相当する。逆に、被投射面上における光電場分布Ｅを逆フーリエ変換すると、空間変調素子直後の光電場分布が得られる。反復フーリエ変換においては、逆フーリエ変換とフーリエ変換とを繰り返しながら、目標画像の位相分布が得られるまで最適化を行う。
次に、図１４のフローチャートを用いて、反復フーリエ変換処理の流れについて説明する。なお、以下の図１４に即した説明においては、図１３中の振幅分布および位相分布の符号を参照しながら説明する。
まず、図１４において、第２演算部２３２は、目標画像の振幅分布３２１（Ｆ0）と、適切な位相分布３２２（ΔΦ0）を初期値として設定する（ステップＳ２１）。
位相分布３２２（ΔΦ0）は、所定の位相分布であり、任意のパターンで構わない。例えば、位相分布３２２（ΔΦ0）は、ランダムパターンや、２次のレンズ状のパターン、リニアなパターンなどの任意なパターンでよい。
次に、第２演算部２３２は、取得した振幅分布３２１（Ｆ0）および位相分布３２２（ΔΦ0）を用いて逆フーリエ変換演算（第１の逆フーリエ変換）を実行し、振幅分布３３１（ｆ1）および位相分布３３２（Δφ1）を生成する（ステップＳ２２）。
すなわち、第２演算部２３２は、第１の逆フーリエ変換において、目標画像の振幅分布と、所定の位相分布とを組み合わせた光電場分布を逆フーリエ変換し、空間変調素子１３直後の光電場分布を生成する。なお、初期値として設定する位相分布３２２（ΔΦ0）は、振幅分布３２１（Ｆ0）とは関係のないパターンであるため、ここで生成される振幅分布３３１（ｆ1）は意味のないパターンになる。
次に、第２演算部２３２は、振幅分布３３１（ｆ1）を適切なパターンに入れ替える。図１３の例では、均一なレーザ光が空間変調素子１３の表示面に入射されると仮定し、第２演算部２３２は、振幅分布３３１（ｆ1）を均一な振幅分布３４１（ｆ0）と置換する（ステップＳ２３）。
次に、第２演算部２３２は、均一な振幅分布３４１（ｆ0）および位相分布３３２（Δφ1）を用いてフーリエ変換演算（第１のフーリエ変換）を実行し、振幅分布３５１（Ｆ1）および位相分布３５２（ΔΦ1）を生成する（ステップＳ２４）。
すなわち、第２演算部２３２は、第１のフーリエ変換において、第１の逆フーリエ変換によって生成した位相分布と、均一な振幅分布とを組み合わせた光電場分布をフーリエ変換し、被投射面上における目標画像の光電場分布を生成させる。最初に生成される振幅分布３５１（Ｆ1）は、目標画像の振幅分布３２１（Ｆ0）のエッジが強調されたような画像になる。この段階では、まだ所望の目標画像の振幅分布は得られていない。
処理を継続させる場合（ステップＳ２５でＹｅｓ）、第２演算部２３２は、振幅分布３５１（Ｆ1）を目標画像の振幅分布３２１（Ｆ0）に置換する（ステップＳ２６）。ステップＳ２６の後はステップＳ２２に戻る。
一方、処理を終了させる場合（ステップＳ２５でＮｏ）、図１４のフローチャートに沿った処理を終了とする。この段階で得られた位相分布Δφが目標画像の位相分布である。例えば、被投射面上の光強度分布がどのような条件（以下、所定の条件）に達するまで反復フーリエ変換を継続するのかを事前に決めておき、その所定の条件が満たされた段階の位相分布Δφを用いて空間変調素子１３を制御するように設定すればよい。
処理を継続させる場合（ステップＳ２５でＹｅｓ）はステップＳ２２に戻り、第２演算部２３２は、振幅分布３２１（Ｆ0）および位相分布３５２（ΔΦ1）を用いて逆フーリエ変換演算（第２の逆フーリエ変換）を実行する（ステップＳ２２）。
すなわち、第２演算部２３２は、第２の逆フーリエ変換において、第１のフーリエ変換によって生成した位相分布と、目標画像の振幅分布とを組み合わせた光電場分布を逆フーリエ変換し、空間変調素子１３直後の光電場分布を生成する。この段階で得られた位相分布（ΔΦ2）を用いれば、位相分布３３２（Δφ1）を用いたときよりも目標画像に近い光強度分布が得られる。
さらに、第２演算部２３２は、振幅分布（ｆ2）を均一な振幅分布３４１（ｆ0）と置換する（ステップＳ２３）。第２演算部２３２は、均一な振幅分布３４１（ｆ0）および位相分布（Δφ2）を用いてフーリエ変換演算（第２のフーリエ変換）を実行し、振幅分布（Ｆ3）および位相分布（ΔΦ3）を生成する（ステップＳ２４）。
すなわち、第２演算部２３２は、第２のフーリエ変換において、第２の逆フーリエ変換によって生成した位相分布と、均一な振幅分布とを組み合わせた光電場分布をフーリエ変換し、被投射面上における光電場分布を生成させる。なお、第２演算部２３２は、第１および第２のフーリエ変換において同様のフーリエ変換処理を行っているが、説明しやすくするために各変換処理を異なる名称で呼んでいる。
ここで、反復フーリエ変換処理を継続させる場合（ステップＳ２５でＹｅｓ）、第２演算部２３２は、振幅分布（Ｆ4）を目標画像の振幅分布３２１（Ｆ0）に置換し（ステップＳ５６）、ステップＳ２２に戻る。
これ以降は、逆フーリエ変換演算（第２の逆フーリエ変換）とフーリエ変換演算（第２のフーリエ変換処理）とを繰り返し（ステップＳ２２〜Ｓ２６）、さらに目標画像に近い光強度分布を被投射面上に形成する位相分布Δφを計算する。
図１５は、反復フーリエ変換処理の反復回数に伴った目標画像の振幅分布の変化を示す概念図である。図１５において、振幅分布３５１−１は、反復フーリエ変換処理を１回行った際の振幅分布である。振幅分布３５１の後のハイフンに続く数字は、反復回数を示す。すなわち、振幅分布３５１−２、３５１−１０、３５１−２０および３５１−４０は、それぞれ反復フーリエ変換処理を２、１０、２０および４０回繰り返した後の振幅分布である。
図１５のように、反復フーリエ変換処理を繰り返すことによって、目標画像に近づいていくことがわかる。ただし、反復フーリエ変換処理は、ある程度繰り返すと飽和するため、完全に目標画像と一致する光強度分布は得られない。そのため、第２演算部２３２は、逆フーリエ変換と反復フーリエ変換とを繰り返しながら、目的とする位相分布が得られるまで最適化を行うことになる。例えば、フーリエ変換によって生成した振幅分布がどの状態になったら反復を終了するかという基準や、反復フーリエ変換の回数の基準を設定しておけばよい。また、例えば、各反復における集束の程度を評価するエラー関数としてフーリエエラーとオブジェクトエラーを設定しておき、そのエラー関数を用いた判定基準によって反復を終了させる判断をするようにしてもよい。
以上のように、反復フーリエ変換処理では、初期値を設定し、逆フーリエ変換とフーリエ変換とを繰り返し実行することによって、所望の目標画像が得られるまで位相分布を最適化する。なお、上述の反復フーリエ変換処理に関する説明は一例であって、実際に用いる処理アルゴリズムを上述の手法に限定するわけではなく、種々の処理を追加・削除してもよい。
以上のように、本実施形態においては、予め取得しておいた基本画像の位相分布を用いた第１処理を実行し、第１処理で得られた位相分布を用いて空間変調素子の表示面に一次表示を表示させる。第１処理では、目標画像に含まれる基本パターンを含む基本画像を抽出し、抽出した基本画像に対して合成処理を加えるなどして目標画像の位相分布を生成する。
そして、本実施形態においては、第１処理と並行させて、目標画像を用いた第２処理を実行し、第２処理で得られた位相分布を用いて空間変調素子の表示面に二次表示を表示させる。第２処理では、目標画像を用いて反復フーリエ変換処理を実行し、所望の目標画像の位相分布を生成させる。一次表示を二次表示に切り替えるタイミングは、第２処理で得られた目標画像が所定の判定基準を満たした後に設定すればよい。
すなわち、本実施形態において、計算コストが低い第１処理と、計算コストが高い第２処理とを並行し、まずは第１処理で得られた位相分布を一次表示として表示する。そして、第２処理によって高画質の目標画像の位相分布が得られると、その位相分布を用いた二次表示を一次表示と切り替えて表示する。
本実施形態によれば、所望の目標画像を素早く表示させ、その目標画像をより高画質な画像に切り替えることができる。
〔変形例〕
次に、図１６および図１７を用いて、本実施形態に係る投射装置の変形例を示す。
図１６は、本実施形態に係る投射装置が実行する処理の変形例を説明するための概念図である。また、図１７は、図１６の方法を用いて生成した位相分布を空間変調素子１３の表示面に表示する例である。なお、実際には空間変調素子１３の表示面には位相分布が表示されるが、図１７の例においては、説明をしやすくするために空間変調素子１３の表示面に表示される位相分布を用いて被投射面に表示される画像を各表示領域に示す。
図１６および図１７の例において、第１処理手段２２−２は、基本画像の位相分布を選択する処理を第１処理として実行する。また、第２処理手段２３−２は、目標画像を用いた反復フーリエ変換処理を第２処理として実行する。
図１６および図１７の例では、空間変調素子１３の表示面の表示領域を２つの表示領域群にまとめる。そして、一方の表示領域群には基本パターンＡを含む基本画像の位相分布を表示し、他方の表示領域群には基本パターンＢを含む基本画像の位相分布を表示する。すなわち、図１６および図１７の例は、基本画像の合成処理を行わずに、複数の表示領域群ごとに異なる基本パターンを含む基本画像を表示する点が図６および図７の例とは異なる。
図１６および図１７において、まず、本実施形態に係る投射装置は、第１処理手段２２−２が生成した位相分布を一次表示として空間変調素子１３の表示面に表示する。
図１６のように、第１処理手段２２−２は、取得した目標画像から基本パターンを含む基本画像の位相分布を選択する。第１処理手段２２−２は、各基本パターンを含む基本画像の位相分布を予め記憶しておく。
図１７の左側が一次表示の例である。図７とは異なり、各表示領域には、２つの基本パターンＡおよびＢのうちいずれかの基本パターンを含む基本画像の位相分布がそのまま表示される。位相制御手段３０は、第１処理手段２２−２によって選択された位相分布を一次表示として各表示領域に表示させるように制御する。
図１７の例において、位相制御手段３０は、複数の表示領域を二つの表示領域群にまとめる。位相制御手段３０は、一方の表示領域群には基本パターンＡを含む基本画像の位相分布を表示させ、他方の表示領域には基本パターンＢを含む基本画像の位相分布を表示させるように制御する。図１７の例では、基本パターンＡおよびＢを交互に表示させる例を示しているが、基本パターンは任意の表示領域に表示すればよい。
空間変調素子１３の表示面に図１７のような基本画像の位相分布を表示させると、その表示面の反射光は２つの基本パターンが合成された目標画像に変換されて被表示面に表示される。
その後、本実施形態に係る投射装置は、第２処理手段２３−２が生成した位相分布を空間変調素子１３の表示面に表示する。
図１６のように、第２処理手段２３−２は、取得した目標画像を用いて、その目標画像に対応する位相分布を生成する。図１６には、反復フーリエ変換処理を反復していくことによって、より鮮明な目標画像の位相分布が得られる様子を図示している。第２処理手段２３−２は、所定回数の反復フーリエ変換処理によって生成された位相分布を位相分布切替手段２４に出力する。なお、第２処理手段２３−２は、所定回数の反復フーリエ変換処理の途中段階で生成された位相分布を順次出力するようにしてもよい。
位相分布切替手段２４は、第２処理手段２３−２によって生成された位相分布を一次表示に用いられている位相分布と切り替える。
図１７の右側が二次表示の例である。位相制御手段３０は、位相分布切替手段２４によって切り替えられた位相分布をニ次表示として各表示領域に表示させるように制御する。
図１６および図１７の例では、各基本パターンに関して表示面で反射される光量が半分になるため、一次表示の段階において、目標画像の明るさは、全ての表示領域に同じ位相分布を表示した場合の半分程度になる。それに対し、二次表示では、全ての表示領域に同じ位相分布が表示されるため、目標画像の明るさは一次表示の２倍程度になる。そのまま一次表示から二次表示へと切り替えると、明るさが急激に変化することになってしまう。そのような点を改善するためには、一次表示から二次表示への切り替えの際に、光源１１の光量を半分程度にするか、二次表示に用いる位相分布を暗くする処理を行えばよい。
本変形例によれば、基本画像を合成する処理を省略できるため、図６および図７の例よりも速く一次表示を表示させることができる。
（第３の実施形態）
次に、本発明の第３の実施形態に本実施形態にについて図面を参照しながら説明する。本実施形態においては、第１処理で既に生成されていた目標画像に別の基本パターンを追加する点が第２の実施形態とは異なる。なお、本実施形態に係る投射装置の構成は、第２の実施形態に係る投射装置と同様の構成であるために図面は省略する。
図１８は、本実施形態に係る投射装置が実行する処理を説明するための概念図である。また、図１９は、図１８の処理によって生成した位相分布を空間変調素子１３の表示面に表示する例である。なお、実際には空間変調素子１３の表示面には位相分布が表示されるが、図１９の例においては、空間変調素子１３の表示面に表示される位相分布を用いた際に被投射面に表示される画像を各表示領域に示す。
本実施形態において、第１処理手段は、既に生成された目標画像の位相分布に、別の基本画像の位相分布を選択して合成する処理を第１処理として実行する。また、第２処理手段は、目標画像を用いた反復フーリエ変換処理を第２処理として実行する。
まず、本実施形態に係る投射装置は、第１処理手段が生成した位相分布を一次表示として空間変調素子１３の表示面に表示する。本実施形態においては、基本パターンＡおよびＢを含む目標画像が既に生成されており、その目標画像に別の基本パターンＣを追加する処理を第１処理として実行する。
図１８のように、第１処理手段は、取得した目標画像から基本パターンを抽出し、その基本パターンを含む基本画像の位相分布を選択する。第１処理手段は、各基本パターンを含む基本画像の位相分布を予め記憶しておく。図１８の例では、３つの基本パターンに関して、基本パターンＡおよびＢを含む目標画像の位相分布が既に生成されていたものとする。第１処理手段は、生成済みの目標画像の位相分布に新たな基本パターンＣを追加することによって、目標画像の位相分布を生成する。
図１９の左側が一次表示の例である。位相制御手段３０は、第１処理手段によって選択・合成された位相分布を一次表示として各表示領域に表示させるように制御する。
その後、本実施形態に係る投射装置は、第２処理手段が生成した位相分布を空間変調素子１３の表示面に表示する。
図１８のように、第２処理手段は、取得した目標画像を用いて、その目標画像の位相分布を生成する。図１８には、反復フーリエ変換処理を反復していくことによって、より鮮明な目標画像の位相分布が得られる様子を図示している。第２処理手段は、所定回数の反復フーリエ変換処理によって生成された位相分布を位相分布切替手段２４に出力する。なお、第２処理手段は、所定回数の反復フーリエ変換処理の途中段階で生成された位相分布を順次出力するようにしてもよい。
位相分布切替手段２４は、第２処理手段によって生成された位相分布を一次表示に用いられている位相分布と切り替える。
図１９の右側が二次表示の例である。位相制御手段３０は、位相分布切替手段２４によって切り替えられた位相分布をニ次表示として各表示領域に表示させるように制御する。
図１９のように、生成済みの目標画像の位相分布に別の基本パターンを含む基本画像を追加して生成した位相分布は、コントラストや解像度の違いによって違和感のある目標画像を生成させることがある。しかし、本実施形態によれば、３つの基本パターンを別々の基本画像を用いて合成するよりも鮮明な一次表示が得られる。
そのため、本実施形態によれば、複数の基本パターンを含む目標画像の一次表示を表示させる際に、別々の基本画像を用いて複数の基本パターンを合成するよりもきれいな画像を得ることができる。
〔変形例〕
ここで、図２０および図２１を用いて、図１８および図１９の変形例について説明する。
図２０は、本実施形態に係る投射装置が実行する処理の変形例を説明するための概念図である。また、図２１は、図２０の処理を実行して生成した位相分布を空間変調素子１３の表示面に表示する例である。なお、実際には空間変調素子１３の表示面には位相分布が表示されるが、図２１の例においては、空間変調素子１３の表示面に表示される位相分布を用いた際に被投射面に表示される画像を各表示領域に示す。
図２０および図２１の例において、第１処理手段は、基本画像の位相分布を選択する処理を第１処理として実行する。また、第２処理手段２３は、目標画像を用いた反復フーリエ変換処理を第２処理として実行する。
図２０および図２１の例では、空間変調素子１３の表示面の表示領域を２つの表示領域群にまとめ、一方の表示領域群には基本パターンＡおよびＢを含む基本画像を表示し、他方の表示領域群には基本パターンＣを含む基本画像を表示する。すなわち、図２０および図２１の例は、既に生成されていた目標画像と、追加する基本画像との合成処理を行わずに、複数の表示領域群ごとに異なる基本パターンを含む基本画像を表示する点が図１８および図１９の例とは異なる。
図２０および図２１において、まず、本実施形態に係る投射装置は、第１処理手段が生成した位相分布を一次表示として空間変調素子１３の表示面に表示する。
図２０のように、第１処理手段は、取得した目標画像から基本パターンを抽出し、その基本パターンを含む基本画像の位相分布を選択する。第１処理手段は、既に生成されていた基本パターンＡおよびＢを含む画像の位相分布と、基本パターンＣを含む基本画像の位相分布とを選択する。
図２１の左側が一次表示の例である。図１９とは異なり、各表示領域には、２つの基本パターンＡおよびＢを含む画像の位相分布と、基本パターンＣを含む基本画像の位相分布とが合成されずに表示される。位相制御手段３０は、第１処理手段によって選択された位相分布を一次表示として各表示領域に表示させるように制御する。
図２１の例において、位相制御手段３０は、複数の表示領域を二つの表示領域群にまとめる。位相制御手段３０は、一方の表示領域群には基本パターンＡおよびＢを含む画像の位相分布を表示させ、他方の表示領域には基本パターンＣを含む基本画像の位相分布表示させるように制御する。
空間変調素子１３の表示面に図２１のような基本画像を表示させると、その表示面の反射光は２つの画像が合成された目標画像が表示される。
その後、本実施形態に係る投射装置は、第２処理手段が生成した位相分布を空間変調素子１３の表示面に表示する。
図２０のように、第２処理手段は、取得した目標画像を用いて、その目標画像に対応する位相分布を生成する。図２０には、反復フーリエ変換処理を反復していくことによって、より鮮明な目標画像の位相分布が得られる様子を図示している。第２処理手段は、所定回数の反復フーリエ変換処理によって生成された位相分布を位相分布切替手段２４に出力する。なお、第２処理手段は、所定回数の反復フーリエ変換処理の途中段階で生成された位相分布を順次出力するようにしてもよい。
位相分布切替手段２４は、第２処理手段によって生成された位相分布を一次表示に用いられている位相分布と切り替える。
図２１の右側が二次表示の例である。位相制御手段３０は、位相分布切替手段２４によって切り替えられた位相分布をニ次表示として各表示領域に表示させるように制御する。
本変形例によれば、基本画像を合成する処理を省略できるため、図１８および図１９の例よりも速く一次表示を表示させることができる。また、本変形例では、表示済みの画像の位相分布と、追加する基本画像の位相分布とを重ねて表示させるため、基本パターンごとの雑音が相殺された画像を表示させることができる。
（第４の実施形態）
次に、本発明の第４の実施形態に係る投射装置について図面を参照しながら説明する。本実施形態においては、第１処理および第２処理の両方の処理で同じ処理を実行するが、第１処理では低解像度の目標画像の位相分布を生成し、第２処理では高解像度の目標画像の位相分布を生成する点が第２の実施形態とは異なる。なお、本実施形態に係る投射装置の構成は、第２の実施形態に係る投射装置と同様の構成であるために図面は省略する。ただし、本実施形態に係る投射装置の構成要素は、第２の実施形態に係る投射装置の構成要素とは一部異なる機能を有する。
図２２は、本実施形態に係る投射装置が実行する処理を説明するための概念図である。図２３は、解像度の異なる目標画像の位相分布を段階的に生成する様子を図示している。また、図２４は、各ステップで生成された位相分布を用いて投射された目標画像の表示例を示す。
本実施形態において、第１処理手段は、低解像度の目標画像の位相分布を反復フーリエ変換処理によって生成する処理を第１処理として実行する。また、第２処理手段は、第１高解像度の目標画像の位相分布を反復フーリエ変換処理によって生成する処理を第２処理として実行する。また、第２処理手段は、第１高解像度よりも解像度が高い第２高解像度の目標画像の位相分布を反復フーリエ変換処理によって生成する処理を第３処理として実行する。
図２２の例では、第２処理手段が、異なる解像度の目標画像の位相分布を生成する例を示す。この場合、第２処理手段は、複数のプロセッサで構成すればよい。ただし、第２処理手段とは異なる第３の処理手段（図示しない）によって第３処理を行うように構成してもよい。
図２３の第１処理において、第１処理手段は、１６行×３２列（低解解像度）の目標画像の位相分布を生成する。第２処理において、第２処理手段は、８行×１６列（第１高解像度）の目標画像の位相分布を生成する。第３処理において、第２処理手段は、４行×８列（第２高解像度）の目標画像の位相分布を生成する。なお、第１〜第３処理は、並列して実行される。
本実施形態に係る処理は、第１および第２処理手段のうちいずれかで低解像度および高解像度の目標画像の位相分布を逐次生成するように構成してもよい。また、本実施形態に係る処理は、３つの処理だけではなく、４つ以上の処理を並列して実行するようにしてもよい。
まず、第１処理において、第１処理手段は、空間変調素子１３の表示面を１６行×３２列に分割した際の各表示領域に対応する低解像度の目標画像の位相分布を生成する。
位相制御手段３０は、第１処理で生成された位相分布を用いて投射手段１５に目標画像を投射させる制御をする。このとき、位相制御手段３０は、空間変調素子１３の表示面を１６行×３２列の表示領域に分割させ、各表示領域に第１処理で生成された位相分布を表示させる。第１処理で生成された位相分布を用いて投射された画像は、例えば図２４の左側に示す画像（一次表示）のように表示される。
次に、第２処理において、第２処理手段は、空間変調素子の表示面を８行×１６列に分割した際の各表示領域に対応する高解像度（第１高解像度）の目標画像の位相分布を生成する。
位相切替手段２４は、第１処理で生成された低解像度の目標画像の位相分布から、第２処理で生成された第１高解像度の目標画像の位相分布へと切り替える。
位相制御手段３０は、第２処理で生成された位相分布を用いて投射手段１５に目標画像を投射させる制御をする。このとき、位相制御手段３０は、空間変調素子１３の表示面を８行×１６列の表示領域に分割させ、各表示領域に第２処理で生成された位相分布を表示させる。第２処理で生成された位相分布を用いて投射された画像は、例えば図２４の中央に示す画像（二次表示）のように表示される。第２処理で生成された位相分布を用いて投射された目標画像（第１高解像度）は、第１処理で生成された位相分布を用いて投射された目標画像（低解像度）よりも解像度が高い。
次に、第３処理において、第２処理手段は、空間変調素子の表示面を４行×８列に分割した際の各表示領域に対応する高解像度（第２高解像度）の目標画像の位相分布を生成する。
位相切替手段２４は、第２処理で生成された第１高解像度の目標画像の位相分布から、第３処理で生成された第２高解像度の目標画像の位相分布へと切り替える。
位相制御手段３０は、第３処理で生成された位相分布を用いて投射手段１５に目標画像を投射させる制御をする。このとき、位相制御手段３０は、空間変調素子１３の表示面を４行×８列の表示領域に分割させ、各表示領域に第３処理で生成された位相分布を表示させる。第３処理で生成された位相分布を用いて投射された画像は、例えば図２４の右側に示す画像（三次表示）のように表示される。第３処理で生成された位相分布を用いて投射された目標画像（第２高解像度）は、第２処理で生成された位相分布を用いて投射された目標画像（第１高解像度）よりも解像度が高い。
〔判定基準〕
続いて、本実施形態において位相分布を切り替える際の判定基準について説明する。図２５は、本実施形態における判定基準について説明するためのグラフである。
図２５のグラフにおいて、横軸は各処理を実行する時間、縦軸は各処理によって生成される位相分布を用いて目標画像を表示させた際の雑音レベルを示す。図２５のグラフには、第１処理の雑音レベルの継時変化を破線、第２処理の雑音レベルの継時変化を実線、第３処理の雑音レベルの継時変化を一点鎖線で示している。なお、図２５の例では、雑音レベルを縦軸に設定しているが、その他の指標を縦軸に設定してもよい。
図２５において、時刻Ｔ４１は、第２処理の雑音レベルが第１処理の雑音レベルと同一になる時刻を示す。すなわち、時刻Ｔ４１は、一次表示から二次表示に切り替えてもよいという目安の時刻になる。また、時刻Ｔ４２は、第３処理の雑音レベルが第２処理の雑音レベルと同一になる時刻を示す。すなわち、時刻Ｔ４２は、二次表示から三次表示に切り替えてもよいという目安の時刻になる。なお、位相分布を実際に切り替える際には、時刻Ｔ４１やＴ４２になった時点ではなく、それらの時刻に近い時刻でありさえすればよい。
以上のように、本実施形態に係る投射装置においては、解像度を段階的にあげた目標画像の位相分布を生成し、生成した位相分布を空間変調素子の表示面に順次切り替えて表示させる。本実施形態においては、空間変調素子に表示させる位相分布の解像度を段階的にあげていくことによって、表示面の分割数を逐次減らしていく。その結果、本実施形態によれば、所望の目標画像の解像度を順次大きくしていくことができる。
（第５の実施形態）
次に、本発明の第５の実施形態に係る投射装置について図面を参照しながら説明する。本実施形態は、空間変調素子の表示面を複数の表示領域に分割したうえで少なくとも二つの表示領域群（以下、領域群）にまとめ、それらの領域群に表示させる位相分布の演算を領域群ごとに異なるプロセッサに分担させる点が第４の実施形態とは異なる。なお、本実施形態に係る投射装置の構成は、第２の実施形態に係る投射装置と同様の構成であるために図面は省略する。ただし、本実施形態に係る投射装置の構成要素は、第２の実施形態に係る投射装置の構成要素とは一部異なる機能を有する。
図２６は、空間変調素子１３の表示面を複数の表示領域に分割し、それらの表示領域をいくつかの領域群にまとめる例である。図２６の枠内は、空間変調素子１３の表示面を領域群１〜４という４つ領域群にまとめる例である。各領域群は、それぞれ異なる大きさに分割された表示領域によって構成される。領域群１は、８行×８列の表示領域に分割される。領域群２は、４行×４列の表示領域に分割される。領域群３は、２行×２列の表示領域に分割される。領域群４は、単一の表示領域で構成される。領域群１に表示される位相分布を用いた目標画像（左上）が最も低解像度であり、領域群２（左下）、領域群３(右上)、領域群４（右下）の順で解像度が高くなる。本実施形態においては、各領域群における位相分布の演算を異なるプロセッサで並列して実行する。
図２７は、本実施形態において、異なる解像度の目標画像の位相分布を各領域群に同時に表示させる一例を示す。
図２７の上段は、各領域群によって形成される目標画像を個別に図示している。最も低い解像度の領域群１は、基本パターンのエッジの凹凸が目立つが、演算の収束が速いために、より短時間で均一な光強度分布になる。一方、最も高い解像度の領域群４による基本パターンのエッジは、滑らかではあるが、演算の収束が遅いために、均一な光強度分布になるのに時間がかかる。そのため、領域群４では、エッジに対する中央部分の暗さが目立つ時間が長い。なお、領域群２および３に関しては、領域群１および４の中間的な状態になっている。
本実施形態においては、各領域群に解像度の異なる位相分布を同時に表示させる。その結果、図２７の下段のように、エッジ部分が滑らかであるとともに、光強度分布が均一である基本パターンが演算初期の段階から表示される。基本画像のエッジ部分は、高解像度の位相分布によって滑らかになる。基本画像の中央部分は、低解像度の位相分布によって均一な光強度分布になる。
また、本実施形態においては、異なる領域群に関して異なる解像度で位相分布の演算を開始し、領域群ごとに逐次生成される位相分布を順次表示面に表示させ、その位相分布を用いて目標画像を投射する。そして、判定条件に従って、低解像度の目標画像の位相分布を高解像度の目標画像の位相分布に順次切り替えていき、最終的には解像度の高い目標画像を表示させることができる。
ここで、本実施形態において位相分布を切り替える一例について説明する。
まず、領域群１よりも領域群２の位相分布を用いた目標画像の方が低い雑音レベルになったら、領域群１を表示していた領域の分割数を領域群２と同じにし、その領域に領域群２の位相分布を表示させる。この段階では、空間変調素子１３の表示面のうち半分の領域で領域群２の位相分布が表示されている。続いて、領域群２よりも領域群３の位相分布を用いた目標画像の方が低い雑音レベルになったら、領域群２を表示していた領域の分割数を領域群３と同じにし、領域群２を表示していた領域に領域群３の位相分布を表示させる。この段階で、空間変調素子１３の表示面のうち４分の３の領域で領域群３の位相分布が表示されている。さらに、領域群３よりも領域群４の位相分布を用いた目標画像の方が低い雑音レベルになったら、領域群３を表示していた領域の分割数を領域群４と同じにし、領域群３を表示していた領域に領域群４の位相分布を表示させる。この段階で、空間変調素子１３の表示面には領域群４の位相分布のみが表示されている。
本実施形態によれば、各領域群に異なる解像度の位相分布を同時に表示させることによって、高解像度の位相分布による滑らかなエッジと、低解像度の位相分布による均一な光強度分布とを併せもつ目標画像を表示させることができる。さらに、本実施形態においては、解像度の高い位相分布の雑音レベルが判定基準を満たしていくにつれて、低解像度の位相分布を高解像度の位相分布に順次切り替えていくため、他の実施形態と同様の雑音レベルの目標画像をより速く表示させることができる。
（第６の実施形態）
次に、本発明の第６の実施形態に係るインターフェース装置について図面を参照しながら説明する。本実施形態に係るインターフェース装置は、第１〜第５の実施形態に係る投射装置を備える。
図２８は、本実施形態に係るインターフェース装置１００の構成を示す概念図である。インターフェース装置１００は、投射装置１０、撮像装置４０および制御装置５０を備える。インターフェース装置１００は、投射装置１０によって操作領域２００（所定の操作領域）にユーザインターフェース３００を投射しながら、撮像装置４０によって操作領域２００を撮像する。制御手段５０は、撮像装置４０によって撮像された画像データを解析することによって、操作領域２００に表示されたユーザインターフェース３００に対して行われた操作内容を認識する。なお、投射装置１０は、第１〜第５の実施形態において説明した装置である。
撮像装置４０は、ユーザインターフェース３００を表示する操作領域２００を撮像する。撮像装置４０は、例えば一般的なカメラの機能によって実現できる。
図２９は、撮像装置４０の構成を示すブロック図である。図２９のように、撮像装置４０は、撮像素子４１、画像処理プロセッサ４３、内部メモリ４５およびデータ出力部４７を有する。
撮像素子４１は、操作領域２００を撮像し、画像データを生成するための素子である。撮像素子４１は、半導体部品が集積回路化された光電変換素子である。撮像素子４１は、例えば、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。通常、撮像素子４１は、可視領域の光を撮像する素子によって構成するが、赤外線や紫外線、Ｘ線、ガンマ線、電波、マイクロ波などの電磁波を撮像・検波できる素子によって構成してもよい。
画像処理プロセッサ４３は、撮像素子４１によって撮像された画像情報に対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、画像圧縮などの画像処理を実行する集積回路である。なお、画像情報を加工せずに出力する場合は、画像処理プロセッサ４３を省略してもよい。
内部メモリ４５は、画像処理プロセッサ４３によって処理しきれない画像データや、処理済みの画像データを一時的に格納する記憶素子である。なお、撮像素子４１によって撮像された画像データを内部メモリ４５に一時的に記憶するように構成してもよい。内部メモリ４５は、一般的なメモリによって構成すればよい。
データ出力部４７は、画像処理プロセッサ４３によって処理された画像データを制御装置５０に出力する。
図３０は、本実施形態に係る制御装置５０の構成を示すブロック図である。制御装置５０は、撮像制御手段５１、操作認識手段５３、投射条件設定手段５５および投射制御手段５７を有する。
撮像制御手段５１は、撮像装置４０を制御して操作領域２００を撮像させ、撮像装置４０が生成した画像データを取得する。撮像制御手段５１は、取得した画像データを操作認識手段５３に出力する。
操作認識手段５３は、撮像制御手段５１から画像データを取得し、その画像データを解析することによって、ユーザの操作内容を認識する。操作認識手段５３は、認識した操作内容を投射条件設定手段５５に出力する。例えば、ユーザインターフェース３００上に特定の入力操作を受け付ける操作キーを設定しておく。操作認識手段５３は、画像データから操作位置を判定し、ユーザインターフェース３００上の操作キーと操作位置とを対応させて操作内容を認識すればよい。
投射条件設定手段５５は、操作認識手段５３が認識した操作内容を入力し、入力された操作内容に基づいて投射条件を設定する。なお、投射条件とは、投射装置１０によって所望の表示情報を操作領域２００に表示させるための条件である。投射条件設定手段５５は、操作内容ごとの目標画像情報を投射条件に含めて記憶しておく。例えば、投射条件設定手段５５は、ユーザインターフェース３００に対する操作内容ごとに、どの目標画像をどこに表示させるのかという投射条件を予め記憶しておけばよい。
投射条件設定手段５５は、設定した投射条件を投射条件出力部５７に送信する。
投射条件出力部５７は、投射条件設定手段５５によって設定された投射条件を投射装置１０に送信する。
投射装置１０は、制御手段５０から投射条件を取得し、投射条件に含まれる目標画像情報に基づいて、ユーザインターフェース３００を操作領域２００に投射する。投射装置１０が投射するユーザインターフェース３００は、第１〜第５の実施形態に係る投射装置と同様に表示される。
以上のように、本実施形態に係るインターフェース装置によれば、所望のユーザインターフェースを表示するまでの時間を短縮しながら、最終的に鮮明なユーザインターフェースを表示することが可能となる。また、本実施形態に係るインターフェース装置は、投射装置を小型化できるため、ウエアラブルな構成とすることができる。
（第７の実施形態）
次に、本発明の第７の実施形態に係る投射装置について図面を参照しながら説明する。本実施形態に係る投射装置は、第１〜第５の実施形態に係る投射装置を備える。本実施形態に係る投射装置は、投射する目標画像（以下、表示情報）の構成要素を更新頻度に応じて分割して処理する。本実施形態に係る投射装置は、第６の実施形態に係るインターフェース装置に好適である。なお、本実施形態に係る投射装置の構成は、第２の実施形態に係る投射装置と同様の構成であるために図面は省略する。
図３１は、本実施形態に係る投射装置が投射する表示情報を２つの副表示情報に分割する例である。図３１の例では、第６の実施形態のインターフェース装置に本実施形態に係る投射装置を用いることを想定する。本実施形態に係る投射装置は、ユーザインターフェースを含む表示情報を操作領域に投射する。ユーザインターフェースは、更新頻度が低い部分と、更新頻度が高い部分とを含む。
図３１の上段の表示情報は、枠や操作キーによって構成されたインターフェース画像（左下）を形成する構成要素と、線を組み合わせたマップ画像（右下）を形成する構成要素とを含む。すなわち、本実施形態に係る投射装置は、投射する表示情報の構成要素を更新頻度に応じて分割して処理する。
インターフェース装置が投射するユーザインターフェースにおいては、枠や操作キーのような構成要素の更新頻度は低い。そのため、投射装置は、枠や操作キーなどの構成要素を含む画像はそのまま表示し続ければよい。一方、マップ画像に関しては、拡大・縮小や位置の変更などを頻繁にする必要があるため、更新頻度が高い。そのため、投射装置は、第１〜第５の実施形態のようにマップ画像を逐次表示させればよい。
図３２は、空間変調素子１３の表示面を複数の表示領域に分割し、各表示領域にインターフェース画像またはマップ画像を分散して表示させる例である。図３２の例では、更新頻度の低いインターフェース画像を領域Ｉに表示させ、更新頻度の高いマップ画像を領域ｍに表示させる。
一次表示としては、インターフェース画像の位相分布を領域Ｉに表示させるとともに、マップ画像の目標画像を領域ｍに表示させる。この場合、図２１のように、既に生成しておいたインターフェース画像の位相分布と、低解像度のマップ画像の位相分布とを異なる表示領域に同時に表示させればよい。一次表示においては、インターフェース画像は鮮明であり、マップ画像は低解像度である。
一方、二次表示としては、第１〜第５の実施形態の手法を用いて段階的に解像度をあげて演算されたマップ画像を領域ｍに逐次表示させる。なお、領域Ｉに表示させるインターフェース画像は、一次表示をそのまま表示し続ければよい。二次表示においては、インターフェース画像は鮮明であり、マップ画像は次第に解像度が高くなっていく。ただし、マップ画像は、所定の解像度になった段階で一次表示と置換するようにしてもよい。
以上のように、位相分布生成手段は、目標画像の構成要素を更新頻度に応じて分割して処理する。位相分布生成手段は、更新頻度が高い構成要素については、その構成要素が更新されるごとに、第１処理によって生成された第１位相分布を位相制御手段に出力した後に、第２処理によって生成された第２位相分布を前記位相制御手段に出力する。位相分布生成手段は、更新頻度が低い構成要素については、その構成要素が更新されていない限り、出力済みの第２位相分布を位相制御手段に出力する。
そして、位相制御手段は、更新頻度が低い構成要素については、既に表示されている位相分布を表示し続けるように空間変調素子を制御する。一方、位相制御手段は、更新頻度が高い構成要素については、第１位相分布を表示した後に第２位相分布を表示するように空間変調素子を制御する。
以上のように、本実施形態に係る投射装置によれば、常に表示させておく画像と、更新が頻繁な画像とを空間変調素子の表示面の異なる表示領域に分散して表示させる。そのため、常に表示させておく画像の演算を省略できるため、目標画像を演算する際の計算コストを軽減することができる。
（ハードウェア構成）
次に、各実施形態に係る投射装置およびインターフェース装置を可能とするためのハードウェア構成について、図３３のコンピュータ９０を一例として挙げて説明する。なお、図３３のコンピュータ９０は、各実施形態に係る投射装置を可能とするための一構成例であって、本発明の範囲を限定するものではない。また、第６の実施形態に係るインターフェース装置１００をウエアラブルな構成とする場合、図３３のコンピュータ９０の機能をマイクロコンピュータによって実現することが好ましい。
図３３のように、コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ授受可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークと接続される。コンピュータ９０は、ネットワークを介して上位システムのサーバやコンピュータに接続され、基本画像の位相分布や目標画像情報を上位システムから取得する。なお、本発明の各実施形態に係る投射装置およびインターフェース装置を可能とするためのハードウェア構成において、プロセッサ９１は、複数の演算装置（第１演算装置９１−１、・・・、第ｎ演算装置９１−ｎ）を含む構成とする（ｎは２以上の自然数）。
プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る制御手段の演算処理や制御処理を実行する。プロセッサ９１は、複数の演算部９１−１〜ｎを含むマルチコアプロセッサとして実現される。各演算部９１−１〜ｎは、それぞれ独立して動作するコアとして構築すればよい。
主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。
補助記憶装置９３は、基本画像の位相分布のようなデータを記憶する手段である。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、基本画像の位相分布を主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。
入出力インターフェース９５は、コンピュータ９０と周辺機器とを接続規格に基づいて接続する装置である。通信インターフェース９６は、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。なお、図３３においては、インターフェースをＩ／Ｆ（Interface）と略して表記している。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。
コンピュータ９０には、必要に応じて、キーボードやマウス、タッチパネルなどといった入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ授受は、入力インターフェース９５に仲介させればよい。
通信インターフェース９６は、ネットワークを通じて、別のコンピュータやサーバなどの上位システムに接続される。上位システムは、通信インターフェース９６を介して、各実施形態で用いる基本画像の位相分布をコンピュータ９０に送信する。また、上位システムは、通信インターフェース９６を介して、各実施形態で用いる目標画像情報をコンピュータ９０に送信する。上位システムは、各実施形態で用いる基本画像の位相分布を自システムで生成してもよいし、別のシステムから取得してもよい。
また、コンピュータ９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入力インターフェース９５を介してコンピュータ９０に接続すればよい。
また、コンピュータ９０には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス９９に接続され、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばＳＤ（Secure Digital）カードやＵＳＢ（Universal Serial Bus）メモリなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体やその他の記録媒体によって実現してもよい。
以上が、本発明の実施形態に係る投射装置を可能とするためのハードウェア構成の一例である。なお、図３３のハードウェア構成は、本実施形態に係る投射装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本実施形態に係る投射装置による処理をコンピュータに実行させる処理プログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係る処理プログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１５年７月１７日に出願された日本出願特願２０１５−１４２７７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 投射装置
１１ 光源
１２ 変調素子制御手段
１３ 空間変調素子
１５ 投射手段
２０ 位相分布生成手段
２１ 目標画像受信手段
２２ 第１処理手段
２３ 第２処理手段
２４ 位相分布切替手段
３０ 位相制御手段
２２１ 第１画像取得部
２２２ 基本パターン抽出部
２２３ 基本画像記憶部
２２４ 基本画像抽出部
２２５ 第１演算部
２２６ 第１出力部
２３１ 第２画像取得部
２３２ 第２演算部
２３３ 第２出力部

Claims (20)

  1. 光源と、
    目標画像の位相分布を表示させる表示手段で前記光源からの光を反射する空間変調素子と、
    前記目標画像の位相分布を生成する第１処理と、前記第１処理よりも計算コストの高い処理によって前記目標画像の位相分布を生成する第２処理とを異なる演算手段によって並行して実行し、前記第１処理によって生成された位相分布を前記空間変調素子の表示面に表示させた後に、前記第２処理によって生成された位相分布を前記空間変調素子の表示面に表示させる変調素子制御手段と、
    前記空間変調素子の反射光を投射する投射手段とを備える投射装置。
  2. 前記変調素子制御手段は、
    前記第１処理と前記第２処理とを並行して実行し、前記第１処理によって生成された第１位相分布を出力した後に、前記第２処理によって生成された第２位相分布を前記第１位相分布から切り替えて出力する位相分布生成手段と、
    前記位相分布生成手段によって出力された前記第１位相分布を前記空間変調素子の表示面に一次表示させる制御をし、前記位相分布生成手段によって出力された前記第２位相分布を前記空間変調素子の表示面にニ次表示させる制御をする位相制御手段とを有する請求項１に記載の投射装置。
  3. 前記位相分布生成手段は、
    上位システムから前記目標画像を受信する目標画像受信手段と、
    前記目標画像を用いて前記第１処理によって前記第１位相分布を生成する第１処理手段と、
    前記目標画像を用いて前記第２処理によって前記第２位相分布を生成する第２処理手段と、
    前記第１位相分布が生成された段階で前記第１位相分布を出力し、前記第２位相分布が生成された段階で所定の判定基準に基づいて前記第１位相分布から前記第２位相分布へと切り替えて出力する位相分布切替手段とを有する請求項２に記載の投射装置。
  4. 前記位相分布切替手段は、
    前記所定の判定基準として目標画像の雑音レベルを用いる請求項３に記載の投射装置。
  5. 前記位相分布切替手段は、
    前記所定の判定基準として、前記第１位相分布を用いて投射された目標画像の雑音レベルよりも、前記第２位相分布を用いて投射された目標画像の雑音レベルの方が小さくなった時点以降において前記第１位相分布から前記第２位相分布へと切り替えるという基準を用いる請求項４に記載の投射装置。
  6. 前記第１処理手段は、
    基本パターンを含む基本画像の位相分布を記憶する記憶手段を有し、前記目標画像を取得した際に前記目標画像に含まれる前記基本パターンを抽出し、前記基本パターンを含む基本画像の位相分布を前記記憶手段から取得し、取得した前記基本画像の位相分布を前記第１位相分布として選択する請求項３乃至５のいずれか一項に記載の投射装置。
  7. 前記第１処理手段は、
    選択した前記基本画像の位相分布を合成し、合成した位相分布を前記第１位相分布として出力する請求項６に記載の投射装置。
  8. 前記第２処理手段は、
    反復フーリエ変換処理によって前記目標画像の位相分布を生成し、生成した位相分布を前記第２位相分布として出力する請求項６または７に記載の投射装置。
  9. 前記変調素子制御手段は、
    前記空間変調素子の表示面を複数の表示領域に分割し、前記複数の表示領域のそれぞれに前記第１位相分布および前記第２位相分布のうちいずれか一方を表示させる制御をする請求項６乃至８のいずれか一項に記載の投射装置。
  10. 前記変調素子制御手段は、
    複数の前記基本パターンを含む目標画像に関して、
    前記複数の表示領域に前記目標画像の位相分布を一次表示させる際に、前記複数の基本パターンを含む前記基本画像の位相分布のそれぞれを前記第１位相分布として前記複数の表示領域のいずれかに表示させるように前記空間変調素子を制御し、
    前記複数の表示領域に前記目標画像を二次表示させる際に、表示されている前記第１位相分布のうち少なくとも一つを前記第２位相分布に切り替えて前記複数の表示領域に表示させるように前記空間変調素子を制御する請求項９に記載の投射装置。
  11. 前記変調素子制御手段は、
    複数の前記基本パターンを含む目標画像に関して、
    前記複数の表示領域に前記目標画像を一次表示させる際に、前記基本パターンを含む前記基本画像の位相分布を合成したものを前記第１位相分布として前記複数の表示領域に表示させるように前記空間変調素子を制御し、
    前記複数の表示領域に前記第２位相分布を表示させる際に、表示されている前記第１位相分布のうち少なくとも一つを前記第２位相分布に切り替えて前記複数の表示領域に表示させるように前記空間変調素子を制御する請求項９に記載の投射装置。
  12. 前記第１処理手段は、
    表示中の前記目標画像に新たな基本パターンが追加された新たな目標画像から基本パターンを抽出し、抽出した前記基本パターンの基本画像の位相分布を前記記憶手段から取得し、取得した前記基本画像の位相分布を前記表示中の目標画像の位相分布とともに前記第１位相分布として出力する請求項３乃至１１のいずれか一項に記載の投射装置。
  13. 前記位相分布生成手段は、
    低解像度の目標画像の位相分布を反復フーリエ変換処理によって生成する処理を前記第１処理として実行し、高解像度の目標画像の位相分布を反復フーリエ変換処理によって生成する処理を前記第２処理として実行し、
    前記位相制御手段は、
    前記空間変調素子の表示面を解像度に応じて分割された複数の表示領域に、前記位相分布生成手段によって生成された前記目標画像の位相分布を解像度に応じて表示させる制御をする請求項２に記載の投射装置。
  14. 前記位相分布生成手段は、
    前記第２処理において、異なる複数の解像度で前記目標画像の位相分布を段階的に生成し、解像度が異なる前記目標画像の位相分布を順次切り替えて出力する請求項１３に記載の投射装置。
  15. 前記変調素子制御手段は、
    前記空間変調素子の表示面を異なる解像度に対応させた複数の表示領域に分割し、前記複数の表示領域を解像度ごとの領域群にまとめ、前記領域群を構成する前記表示領域ごとに異なる解像度の前記目標画像の位相分布を表示させるように前記空間変調素子を制御する請求項１３または１４に記載の投射装置。
  16. 前記変調素子制御手段は、
    前記空間変調素子の表示面に表示させる位相分布を前記所定の判定基準に基づいて順次切り替えるように前記空間変調素子を制御する請求項１５に記載の投射装置。
  17. 前記位相分布生成手段は、
    前記目標画像の構成要素を更新頻度に応じて処理し、
    前記目標画像の構成要素のうち更新頻度が高い構成要素については、前記更新頻度が高い構成要素が更新されるごとに、前記第１処理によって生成された前記更新頻度が高い構成要素の第１位相分布を前記位相制御手段に出力した後に、前記第２処理によって生成された前記更新頻度が高い構成要素の第２位相分布を前記位相制御手段に出力し、
    前記目標画像の構成要素のうち更新頻度が低い構成要素については、前記更新頻度が低い構成要素が更新されていない限り、出力済みの前記更新頻度が低い構成要素の位相分布を前記位相制御手段に出力し、
    前記位相制御手段は、
    前記更新頻度が低い構成要素については、既に表示されている前記位相分布を表示し続けるように前記空間変調素子を制御し、
    前記更新頻度が高い構成要素については、前記第１位相分布を表示した後に前記第２位相分布を表示するように前記空間変調素子を制御する請求項２乃至１６のいずれか一項に記載の投射装置。
  18. 請求項１乃至１７のいずれか一項に記載の投射装置と、
    所定の操作領域を撮像して画像データを生成する撮像手段と、
    特定の入力操作を受け付ける操作キーが配置されたユーザインターフェースを含む目標画像を前記所定の操作領域に投射するように前記投射装置を制御するとともに、前記所定の操作領域を撮像するように前記撮像手段を制御する制御手段とを備え、
    前記制御手段は、
    前記撮像手段によって生成された前記画像データ上における操作位置と、前記操作位置に配置された前記操作キーとを対応させて操作内容を認識し、前記操作内容に応じた目標画像の位相分布を前記空間変調素子の表示面に表示するように前記投射装置を制御するインターフェース装置。
  19. 空間変調素子の表示面に照射された光の反射光を投射する投射方法であって、
    目標画像の位相分布を生成する第１処理と、前記第１処理よりも計算コストの高い処理によって前記目標画像の位相分布を生成する第２処理とを異なる演算手段によって並行して実行し、
    前記第１処理によって生成された位相分布を空間変調素子の表示面に表示した後に、前記第２処理によって生成された位相分布を前記空間変調素子の表示面に表示する投射方法。
  20. 空間変調素子の表示面に照射された光の反射光を投射する投射プログラムを記憶させたプログラム記憶媒体であって、
    目標画像の位相分布を生成する第１処理と、前記第１処理よりも計算コストの高い処理によって前記目標画像の位相分布を生成する第２処理とを異なる演算手段によって並行して実行する処理と、
    前記第１処理によって生成された位相分布を空間変調素子の表示面に表示した後に、前記第２処理によって生成された位相分布を前記空間変調素子の表示面に表示する処理とをコンピュータに実行させる投射プログラムを記憶させたプログラム記憶媒体。
JP2017529449A 2015-07-17 2016-07-15 投射装置、投射方法および投射プログラム Active JP6743819B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015142770 2015-07-17
JP2015142770 2015-07-17
PCT/JP2016/003341 WO2017013862A1 (ja) 2015-07-17 2016-07-15 投射装置、投射方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2017013862A1 true JPWO2017013862A1 (ja) 2018-04-26
JP6743819B2 JP6743819B2 (ja) 2020-08-19

Family

ID=57834022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529449A Active JP6743819B2 (ja) 2015-07-17 2016-07-15 投射装置、投射方法および投射プログラム

Country Status (3)

Country Link
US (1) US10225529B2 (ja)
JP (1) JP6743819B2 (ja)
WO (1) WO2017013862A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887563B2 (en) * 2016-09-21 2021-01-05 Nec Corporation Projection system, projection method, and program recording medium
WO2018073937A1 (ja) * 2016-10-20 2018-04-26 日本電気株式会社 個体識別装置
CN106842880B (zh) * 2017-03-27 2018-09-28 深圳市美誉镜界光电科技有限公司 全息图像生成方法、处理器及全息图像显示装置、设备
US10859845B2 (en) * 2017-03-31 2020-12-08 Nec Corporation Projection device, projection image control method, and recording medium having projection image control program recorded thereon
WO2018179996A1 (ja) * 2017-03-31 2018-10-04 ソニー株式会社 照明装置、およびプロジェクタ
EP3622707A4 (en) * 2017-05-12 2021-05-12 MTT Innovation Incorporated SYSTEMS AND METHODS FOR PROJECTING HIGH BRIGHTNESS
US11392014B2 (en) 2017-12-15 2022-07-19 Nec Corporation Projection device, interface device, and projection method
JP7053422B2 (ja) * 2018-09-19 2022-04-12 富士フイルム株式会社 画像処理装置，画像処理方法および画像処理プログラム
US11067243B2 (en) 2019-12-17 2021-07-20 GM Global Technology Operations LLC Opaque outer lens with integrated light element
WO2021250993A1 (ja) * 2020-06-07 2021-12-16 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム、照明装置
CN114077135A (zh) * 2020-08-20 2022-02-22 深圳光峰科技股份有限公司 光回收组件及投影装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120362A (ja) * 2011-12-08 2013-06-17 Chiba Univ ホログラムデータ作成プログラム
JP2014206710A (ja) * 2013-04-16 2014-10-30 東芝アルパイン・オートモティブテクノロジー株式会社 計算機ホログラムのデータ作成装置
WO2015022897A1 (ja) * 2013-08-13 2015-02-19 日本電気株式会社 投射装置および投射方法
JP2017532583A (ja) * 2014-07-31 2017-11-02 エムティティ イノベーション インコーポレイテッドＭｔｔ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃｏｒｐｏｒａｔｅｄ フリーフォームレンジングのための数値的アプローチ、エリアパラメータ化フリーフォームレンジング

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4339639B2 (ja) 2003-07-14 2009-10-07 浜松ホトニクス株式会社 計算機ホログラム作成方法
US6850352B1 (en) * 2004-01-08 2005-02-01 Hewlett-Packard Development Company, L.P. Method and system for generating color using a low-resolution spatial color modulator and a high-resolution modulator
US7583875B2 (en) * 2005-07-22 2009-09-01 Seiko Epson Corporation Illumination device, image display device, and projector
JP5011919B2 (ja) * 2006-09-29 2012-08-29 セイコーエプソン株式会社 照明装置及びプロジェクタ
JP5167789B2 (ja) * 2006-12-01 2013-03-21 セイコーエプソン株式会社 光源装置、画像表示装置、プロジェクタ、照明装置、及びモニタ装置
US9778477B2 (en) * 2007-03-02 2017-10-03 Alcatel-Lucent Usa Inc. Holographic MEMS operated optical projectors
EP1975680A1 (en) * 2007-03-31 2008-10-01 Sony Deutschland Gmbh Illumination device and method for illuminating uniformly an image generating micro display
EP2174176A1 (en) * 2007-07-17 2010-04-14 Explay Ltd. Coherent imaging method of laser projection and apparatus thereof
GB2454246B (en) * 2007-11-02 2010-03-10 Light Blue Optics Ltd Holographic image display systems
GB2455523B (en) * 2007-12-11 2010-02-03 Light Blue Optics Ltd Holographic image display systems
GB2456170B (en) * 2008-01-07 2012-11-21 Light Blue Optics Ltd Holographic image display systems
ATE478357T1 (de) * 2008-04-15 2010-09-15 Jds Uniphase Corp Auf einem wellenlängenplättchen basierende vorrichtung und methode zur reduzierung von speckles in laserbeleuchtungssystemen
US9075184B2 (en) * 2012-04-17 2015-07-07 Milan Momcilo Popovich Compact edge illuminated diffractive display
KR102129238B1 (ko) * 2011-04-19 2020-07-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 고휘도 투사형 디스플레이들 및 관련 방법들
CN102959477B (zh) * 2011-04-27 2016-10-19 松下知识产权经营株式会社 显示装置
JP5978612B2 (ja) * 2011-07-13 2016-08-24 ソニー株式会社 照明装置および表示装置
WO2013094011A1 (ja) * 2011-12-20 2013-06-27 Ｎｅｃディスプレイソリューションズ株式会社 画像投射装置およびその制御方法
US9869924B2 (en) 2013-03-04 2018-01-16 Nec Corporation Interface device and control method
WO2015033598A1 (ja) * 2013-09-04 2015-03-12 日本電気株式会社 投射装置、投射装置の制御方法、投射装置の制御装置、およびそのコンピュータプログラム
WO2015049866A1 (ja) 2013-10-02 2015-04-09 日本電気株式会社 インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体
CA2890373C (en) * 2013-10-20 2022-04-12 Mtt Innovation Incorporated Light field projectors and methods
US20150124225A1 (en) * 2013-11-07 2015-05-07 Seiko Epson Corporation Light source device and projector
US10146180B2 (en) * 2014-07-04 2018-12-04 Seereal Technologies S.A. Projection display and method for displaying at least one of two-dimensional and three-dimensional scene or of content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120362A (ja) * 2011-12-08 2013-06-17 Chiba Univ ホログラムデータ作成プログラム
JP2014206710A (ja) * 2013-04-16 2014-10-30 東芝アルパイン・オートモティブテクノロジー株式会社 計算機ホログラムのデータ作成装置
WO2015022897A1 (ja) * 2013-08-13 2015-02-19 日本電気株式会社 投射装置および投射方法
JP2017532583A (ja) * 2014-07-31 2017-11-02 エムティティ イノベーション インコーポレイテッドＭｔｔ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃｏｒｐｏｒａｔｅｄ フリーフォームレンジングのための数値的アプローチ、エリアパラメータ化フリーフォームレンジング

Also Published As

Publication number Publication date
WO2017013862A1 (ja) 2017-01-26
JP6743819B2 (ja) 2020-08-19
US20180173083A1 (en) 2018-06-21
US10225529B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
JP6743819B2 (ja) 投射装置、投射方法および投射プログラム
JP6911759B2 (ja) 投射装置、投射システムおよびインターフェース装置
CN102893595B (zh) 图像处理装置和方法以及程序
JP6665949B2 (ja) 投射装置、投射方法およびプログラム
JP2014153890A5 (ja)
JP2013145980A (ja) 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
KR20160065742A (ko) 라이트필드 촬영 장치 및 방법
JP6881600B2 (ja) 投射装置、インターフェース装置および投射方法
JP6185819B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6068351B2 (ja) 画像処理装置、集積回路、プログラム、撮像装置、表示装置
JP2009237650A (ja) 画像処理装置及び撮像装置
KR20050046983A (ko) 홀로그래픽 시스템의 데이터 추출 장치
WO2016152109A1 (ja) 制御装置、制御方法およびプログラム記録媒体
WO2018056196A1 (ja) 表示システム
KR102502586B1 (ko) 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치
JP6210836B2 (ja) 撮像装置、撮像制御装置、その制御方法およびプログラム
JP6693518B2 (ja) 情報入力装置および照合システム
JPWO2012127639A1 (ja) 画像処理装置及び画像処理方法
JP2019208214A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
WO2022201938A1 (ja) 投射装置、制御方法、および記録媒体
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2014064214A5 (ja)
WO2022137777A1 (ja) 投射装置および投射方法
JP2006293010A (ja) 光波面制御パターン生成装置及び光波面制御パターン生成方法
JP6210717B2 (ja) 画像再生装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6743819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150