KR102612516B1 - 홀로그램 프로젝션 - Google Patents

홀로그램 프로젝션 Download PDF

Info

Publication number
KR102612516B1
KR102612516B1 KR1020210128293A KR20210128293A KR102612516B1 KR 102612516 B1 KR102612516 B1 KR 102612516B1 KR 1020210128293 A KR1020210128293 A KR 1020210128293A KR 20210128293 A KR20210128293 A KR 20210128293A KR 102612516 B1 KR102612516 B1 KR 102612516B1
Authority
KR
South Korea
Prior art keywords
image
luminance
hologram
holographic
light
Prior art date
Application number
KR1020210128293A
Other languages
English (en)
Other versions
KR20220044663A (ko
Inventor
루이스 발레트
미칼 웬기로우
Original Assignee
엔비직스 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔비직스 엘티디 filed Critical 엔비직스 엘티디
Publication of KR20220044663A publication Critical patent/KR20220044663A/ko
Application granted granted Critical
Publication of KR102612516B1 publication Critical patent/KR102612516B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336—Illuminating devices
    • G02F1/133626—Illuminating devices providing two modes of illumination, e.g. day-night
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0077—Adaptation of holography to specific applications for optical manipulation, e.g. holographic optical tweezers [HOT]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0212—Light sources or light beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816—Iterative algorithms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H2001/2244—Means for detecting or recording the holobject
    • G03H2001/2247—Means for detecting or recording the holobject for testing the hologram or holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/12—Single or narrow bandwidth source, e.g. laser, light emitting diode [LED]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/40—Particular irradiation beam not otherwise provided for
    • G03H2222/46—Reconstruction beam at reconstruction stage
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00—Hologram nature or properties
    • G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/51—Intensity, power or luminance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그램 프로젝션에 대해 개시한다.
홀로그램 프로젝션 방법으로서, (ⅰ) 프로젝션을 위한 이미지 수신 과정; (ⅱ) 상기 이미지에 대응하는 제1 이미지 영역 및 시스템 제어 파라미터를 나타내는 비이미지 컨텐츠에 대응하는 제2 이미지 영역을 포함하는 이미지 프레임을 형성하는 과정; (ⅲ) 상기 이미지 프레임의 상기 비이미지 컨텐츠의 그레이 레벨을 변경하기 위해 상기 비이미지 컨텐츠에 제1 이득 인자를 적용하는 과정; (ⅳ) 상기 이미지 프레임의 홀로그램을 계산하는 과정; (ⅴ) 상기 이미지 프레임의 홀로그램 재구성을 형성하기 위해 상기 홀로그램을 표시하고 광원으로부터의 빛으로 상기 홀로그램을 조사(illuminating)하는 과정; (ⅵ) 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 휘도를 나타내는 파라미터를 측정하는 과정; (ⅶ) 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도를 나타내는 파라미터 값을 획득하기 위해, 상기 제1 이득 인자의 역수에 따라 측정된 파라미터를 스케일링하는 과정; 및 (ⅷ) 상기 이미지 프레임의 이미지 컨텐츠의 홀로그램 재구성을 위해, 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도가 목표 휘도를 충족함을 나타낼 때까지 상기 홀로그램을 조사하는 빛의 광 파워를 제어하는 과정을 포함하는 홀로그램 프로젝션 방법을 제공한다.

Description

홀로그램 프로젝션 {Holographic Projection}
본 개시는 이미지 프로젝션에 관한 것이다. 보다 구체적으로, 본 개시는 홀로그램 프로젝션 방법 및 홀로그램 프로젝션 시스템에 관한 것이다. 일부 실시예는 홀로그램 프로젝션 시스템을 위한 휘도 제어 및 이미지 생성에 관한 것이다. 일부 실시예는 헤드업 디스플레이 및 헤드 마운트 디스플레이에 관한 것이다. 일부 실시예는 홀로그램 프로젝션 시스템에서 이미지 밝기를 제어하는 방법에 관한 것이다.
객체에서 산란된 광은 진폭 및 위상 정보를 포함한다. 이러한 진폭 및 위상 정보는 간섭 줄무늬를 포함하는 홀로그래픽 레코딩 또는 "홀로그램"을 형성하도록 잘 알려진 간섭 기술에 의해, 예컨대, 감광성 플레이트 상에 캡쳐될 수 있다. 홀로그램은 원래의 객체를 나타내는 2차원 또는 3차원 홀로그램 재구성 또는 재생 이미지를 형성하기에 적절한 광을 조사(illumination)함으로써 재구성될 수 있다.
컴퓨터 생성 홀로그래피는 간섭 프로세스를 수치적으로 시뮬레이션할 수 있다. 컴퓨터 생성 홀로그램은 프레넬(Fresnel) 또는 푸리에(Fourier) 변환과 같은 수학적 변환에 기반한 기술에 의해 계산될 수 있다. 이러한 유형의 홀로그램을 프레넬/푸리에 변환 홀로그램 또는 간단히 프레넬/푸리에 홀로그램이라고 할 수 있다. 푸리에 홀로그램은 객체의 푸리에 도메인/평면 표현 또는 물체의 주파수 도메인/평면 표현으로 간주될 수 있다. 컴퓨터 생성 홀로그램은 또한 가간섭성 광선 추적(coherent ray tracking) 또는 포인트 클라우드 기술(point cloud technique)에 의해 계산될 수 있다.
컴퓨터 생성 홀로그램은 입사광의 진폭 및/또는 위상을 변조하도록 구성된 공간 광 변조기에 인코딩될 수 있다. 광 변조는, 예컨대, 전기적으로 어드레스 가능한(electrically-addressable) 액정 또는 마이크로 미러(micro-mirrors)를 사용하여 달성될 수 있다.
공간 광 변조기는 일반적으로 셀(cells) 또는 요소(elements)로 지칭되는 복수의 개별적으로 어드레스 가능한 픽셀을 포함한다. 광 변조 방식은 이진(binary), 다중레벨(multilevel) 또는 연속(continuous)일 수 있다. 이와는 달리, 장치는 연속적일 수 있고(즉, 픽셀로 구성되지 않은), 이에 따라 광 변조는 장치 전체에 걸쳐 연속적일 수 있다. 공간 광 변조기는 변조 광이 반사되어 출력되는 반사형(reflective)일 수 있다. 공간 광 변조기는 변조 광이 투과로 출력된다는 의미에서 동등하게 투과형(transmissive)일 수 있다.
홀로그램 프로젝터는 여기에 설명된 시스템을 사용하여 제공될 수 있다. 이러한 프로젝터는 예컨대 근거리 장치를 포함하여 헤드업 디스플레이, "HUD" 및 헤드 장착 디스플레이, "HMD"에 적용 가능하다.
이동식 확산기는 홀로그램 프로젝터와 같은 간섭성 빛을 사용하는 장치에서 이미지 품질을 향상시키는 데 사용할 수 있다.
본 명세서에는 개선된 홀로그램 프로젝션 및 개선된 홀로그램 프로젝션 시스템이 개시되어 있다.
본 개시의 측면들은 첨부된 독립항에서 정의된다.
일반적으로, 홀로그램 프로젝션 시스템에 의해 생성되는 홀로그램으로 재구성된 이미지에 대한 하나 이상의 타겟 또는 목표를 충족시키거나 충족시키려고 시도하기 위해 홀로그램 프로젝션 시스템의 제어를 개선하기 위한 방법 및 시스템이 제공된다. 타겟 또는 목표는 홀로그램으로 재구성된 이미지의 일부 또는 전체의 휘도와 관련될 수 있다. 휘도는 제곱미터당 카델라(cdm-2) 단위로 측정할 수 있는 알려진 광도의 척도이며, 이미지의 '밝기'에 대한 주관적인 인체 인식에 영향을 미칠 수 있다.
이 방법 및 시스템은 이미지 (프레임)에 대한 홀로그램이 생성되기 전 및 홀로그램이 조사되어(illuminated) 이미지 (프레임)의 홀로그램 재구성을 형성하기 전에 이미지 또는 이미지 프레임에 소프트웨어 기반 수정을 적용하는 과정을 포함한다. 결과 홀로그램 재구성(또는 결과 홀로그램 재구성의 해당 부분)은 홀로그램으로 재구성된 이미지 (프레임)의 휘도와 관련될 수 있는 특정한 특성을 나타내도록 하기 위하여, 이 수정은 이미지 (프레임)의 적어도 일부의 파라미터를 변경하고 변경된 이미지 (프레임)를 나타내기 위해 홀로그램을 생성하는 것을 포함할 수 있다.
이미지 (프레임)의 수정은 결과 홀로그램 재구성의 파라미터가 특정 제한 내에 놓이도록 제한하기 위해 이루어질 수 있다. 예컨대, 이 수정은 이미지 (프레임)의 (일부) 그레이 레벨을 변경하는 것을 포함할 수 있으므로, 해당 (일부) 결과 홀로그램 재구성은 (일부) 홀로그램 재구성에서 빛을 검출하도록 구성된 광 검출기에 대해 미리 결정된 선호되는 작동범위 내에 놓여 있는 휘도 또는 휘도와 관련된 파라미터를 나타낼 것이다. 검출된 파라미터가 미리 결정된 바람직한 작동 범위 내에 있음을 보장함으로써, 홀로그램 재구성과 관련하여 광 검출기에 의해 출력되는 임의의 광 검출 신호의 정확도 및 신뢰성이 개선된다. 따라서, 그러한 광 검출 신호 중 하나 이상이 홀로그램 프로젝션 시스템의 제어기로 피드백되면, 후속 작업을 알리고 제어하기 위하여, 신호(들)에서 제공하는 정보가 더 정확하고 신뢰할 수 있으며, 결과적으로 시스템의 후속 작업이 더 안정적이고, 많은 경우에서 더 효율적으로 제어될 수 있다. 예컨대, 제어기가 개선된 광 감지 신호를 기반으로 홀로그램 재구성의 일부 또는 전체에 대한 타겟 휘도와 같은 시스템의 목표를 달성할 수 있기 전에 더 적은 반복 또는 피드백 루프를 순환할 수 있다. 더욱이, 본 방법 및 시스템은 통상적으로 광 검출기로부터의 광 검출 신호가 부정확하거나 불완전할 수 있는 시나리오를, 예컨대 높은 주변광 레벨에서의 광포화 및/또는 낮은 주변광 레벨에서의 배경 광전 노이즈의 영향으로 인함을, 피하는데 도움이 될 수 있다.
일 측면에 따르면, 홀로그램 프로젝션 방법이 제공되며, 이 방법은 프로젝션을 위한 이미지를 수신하고, 이미지에 대응하는 제1 이미지 영역 및 시스템 제어 파라미터를 나타내는 비이미지 컨텐츠에 대응하는 제2 이미지 영역을 포함하는 이미지 프레임을 형성하는 과정을 포함한다. 이 방법은 이미지 프레임의 비이미지 컨텐츠의 그레이 레벨을 변경하기 위해 비이미지 컨텐츠에 제1 이득 인자를 적용하는 과정을 더 포함한다. 이 방법은 이미지 프레임의 홀로그램을 계산하고, 홀로그램을 표시하고, 홀로그램을 광원으로부터의 광으로 조사하여 이미지 프레임의 홀로그램 재구성을 형성하는 과정을 더 포함한다. 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도를 나타내는 파라미터 값을 획득하기 위하여, 이 방법은 비이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터를 측정하는 과정 및 제1 이득 인자의 역수에 따라 측정된 파라미터를 스케일링하는 과정을 더 포함한다. 이미지 프레임의 이미지 컨텐츠의 홀로그램 재구성을 위하여, 이 방법은 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도의 측정이 목표 휘도가 충족됨을 나타낼 때까지 홀로그램을 조사하는 빛의 광 파워를 제어하는 과정을 더 포함한다.
홀로그램 프로젝션 시스템에 의해 수신된 이미지는 '입력 이미지(input image)' 또는 '타겟 이미지(target image)'로 지칭될 수 있다. 이 방법은 복수의 이미지를 차례로 수신하는 과정을 포함할 수 있다. 예컨대, 각 이미지는 동영상의 정지 프레임(still frame)을 포함할 수 있다.
이미지 프레임의 제2 이미지 영역은 그 컨텐츠가 시청자가 보기 위한 것이 아니라는 점에서 '비이미지 컨텐츠(non-image content)'에 해당할 수 있다. 대신에, 제2 이미지 영역의 목적은 검출 및/또는 모니터링 및/또는 측정될 수 있는 하나 이상의 파라미터를 갖는 신호 또는 출력을 제공하는 것일 수 있다.
제2 이미지 영역의 비이미지 컨텐츠가 나타내는 시스템 제어 파라미터는 제1 이미지 영역의 홀로그램 재구성에서 이미지 컨텐츠에 대한 하나 이상의 대응하는 시스템 제어 파라미터와 미리 결정된 관계를 가질 수 있다. 예컨대, 시스템 제어 파라미터는 광 파워 또는 휘도를 포함할 수 있다. 예컨대, 시스템 제어 파라미터는 전압 또는 전류를 포함할 수 있다.
이미지 프레임의 제2 이미지 영역은 점 또는 다른 작은 형상과 같은 단순한 형성을 포함할 수 있다. 이미지 프렘임의 홀로그램이 만들어지고 홀로그램으로 재구성될 때, 결과 홀로그램 재구성의 대응하는 2차 영역은 작을 수 있고 뷰어(viewer)에게 시각적으로 실질적으로 중요하지 않을 수 있다. 예컨대, 홀로그램 재구성의 1차 영역과 물리적으로 분리될 수 있으며, 이는 이미지 프레임의 1차 이미지 영역에 해당하고 뷰어가 보고 이해하도록 의도된다. 그럼에도 불구하고, 홀로그램 재구성의 2차 영역은 광 센서(또는 포토 다이오드)와 같은 하나 이상의 센서에 의해 감지될 수 있다. 홀로그램 재구성의 2차 영역의 파라미터는 이러한 검출기를 사용하여 측정 가능할 수 있다. 또한, 2차 영역의 측정된 파라미터는 1차 영역의 대응하는 파라미터와 관련될 수 있다. 예컨대, 두 영역의 휘도는 각 영역의 픽셀 수와 해당 홀로그램을 조사하기 위해 인가되는 광의 양에 따라 미리 정해진 관계를 가질 수 있다. 따라서, 2차 영역의 휘도를 나타내는 측정은 1차 영역의 휘도에 대한 결정을 내리는 데 사용될 수 있다.
그레이 레벨을 변경하기 위해 이미지 프레임의 비이미지 컨텐츠에 제1 이득 인자(first gain factor)를 적용하는 단계는 그레이 레벨을 스케일링하는 것을 포함할 수 있다 - 즉, 그레이 레벨(또는 '그레이 스케일 레벨')의 값에 인자를 곱하는 것이다. 인자는 정수 또는 소수일 수 있으며, 1보다 작거나 클 수 있다. 이 인자는 이미지 프레임의 비이미지 컨텐츠의 그레이 레벨에 변경이 적용되지 않아야 한다고 간주되는 경우, 사실상 1과 같을 수 있다.
이득 인자는 이미지 프레임의 비이미지 컨텐츠의 '참'(즉, 수정되지 않은) 그레이 레벨 및 결과 홀로그램 재구성의 대응하는 2차 영역에 대한 파라미터의 기댓값에 기초하여 계산될 수 있으며, 홀로그램이 생성되고 조사된 경우, 수정되지 않은 이미지 프레임을 나타낸다. 예컨대, 이는 홀로그램을 조사할 광원의 현재 또는 목표 광 파워와 같은 현재 또는 목표 작동 조건에 기초하여 해당 2차 영역의 측정 가능한 파라미터의 기댓값에 기초할 수 있다. 이것은 홀로그램 재구성의 2차 영역에서 광을 검출하도록 구성된 하나 이상의 검출기에 대한 하나 이상의 동작 한계, 범위 또는 임계값에 기초하여 추가로 계산될 수 있다. 현재 및/또는 예상되는 주변 조사 조건과 같은 다른 요인도 고려할 수 있다.
이미지 프레임의 계산된 홀로그램은 적절한 장치에 표시될 수 있다. 예컨대, 공간 광 변조기(SLM)와 같은 픽셀화된 표시 장치에 표시될 수 있다. 예컨대, 공간 광 변조기는 LCOS(Liquid Crystal on Silicon) 장치를 포함할 수 있다.
비이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터를 측정하는 단계는 홀로그램 재구성의 2차 영역의 휘도를 직접 측정하는 것을 포함할 수 있거나, 또는 홀로그램 재구성의 2차 영역에 대한 전압, 전류 또는 광 파워와 같은 다른 파라미터를 측정하는 것을 포함할 수 있다.
해당 홀로그램이 생성되고 조사되기 전에 해당 이미지의 2차 이미지 영역에 이득 인자가 적용되지 않는 경우, 이미지 프레임(즉, 홀로그램 재구성의 2차 영역의 실제 휘도)의 비이미지 컨텐츠의 홀로그램 재구성의 '진정한 휘도'는 2차 영역이 나타내었을 휘도(즉, 휘도량)의 값으로 간주될 수 있다.
비이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터는 예컨대, 피드백 제어 루프의 일부로서 제어기에 입력될 수 있다. 제어기는 홀로그램을 조사하는 빛의 광 파워를 제어하기 위해 해당 파라미터 또는 비이미지 컨텐츠의 실제 휘도의 계산된 값을 사용할 수 있다. 예컨대, 제어기는, 비이미지 컨텐츠의 실제 휘도의 측정된 또는 계산된 값과 관련하여, 홀로그램 재구성의 주요 영역에 대해 타겟 휘도가 충족될 광 파워에 도달했다고 결정할 때까지 빛의 광 파워를 변경하기 위하여, 홀로그램 재구성의 비이미지 및 이미지 부분(즉, 2차 및 1차 영역)의 휘도 사이의 관계 또는 비율을 사용할 수 있다.
이 방법은 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도를 나타내는 파라미터 값을 사용하여, 이미지 프레임의 이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터 값을 계산하는 과정을 더 포함할 수 있다. 그것은 비이미지 컨텐츠의 실제 휘도를 직접 사용할 수 있거나, 이득 인자(또는 이득 인자의 역)와 함께 2차 영역의 휘도의 측정된 파라미터를 사용하여 홀로그램 재구성의 1차 영역의 휘도를 결정할 수 있다.
각 이미지의 홀로그램 프로젝션의 휘도가 실질적으로 동일하도록 하기 위해, 이 방법은 프로젝션을 위한 추가 이미지를 한 번에 하나씩 수신하고, 수신된 각 이미지의 홀로그램 재구성의 2차 영역의 실제 휘도를 계산하고, 광원의 광 파워를 동적으로 제어하기 위해 위의 단계를 수행하는 과정을 포함할 수 있다. 일부 경우에, 홀로그램 재구성의 이미지 컨텐츠의 휘도에 대한 목표는, 예컨대, 주변 광 조건 또는 사용자 요구 등과 같은 외부 요인으로 인해 변경될 수 있다.
제1 이득 인자는 휘도를 나타내는 측정된 파라미터에 응답하여 변경될 수 있고, 파라미터는 그 변경 후에 다시 측정될 수 있다. 타겟, 목표 또는 요구사항이 추족될 때까지 이미지 프레임에 대한 피드백 루프의 일부로서 제1 이득 인자가 여러 번 변경될 수 있다. 이 변경은 매우 빠르게 수행될 수 있다.
휘도를 나타내는 측정된 파라미터가 제1 임계값 레벨보다 높으면 제1 이득 인자가 증가될 수 있고, 휘도를 나타내는 측정된 파라미터가 제2 임계값 레벨 미만인 경우 감소될 수 있으며, 여기서 제1 임계값 레벨은 휘도를 측정하는 광 검출기(즉, 광 센서)의 포화와 연관되고, 제2 임계값 레벨은 광 검출기의 노이즈 레벨(noise level)과 연관된다.
제1 이득 인자는 (초기에) 이미지 컨텐츠를 포함하는 홀로그램 재구성의 1차 영역에 대한 목표 휘도에 기초하여 결정될 수 있다. 예컨대, 피드백 루프의 입력을 기반으로 변경되거나 개선될 수 있다. 제1 이득 인자의 크기는 목표 휘도에 반비례할 수 있다.
이 방법은 이미지의 픽셀 사용을 결정하는 과정을 포함할 수 있고, 제1 이득 인자는 픽셀 사용에 적어도 부분적으로 기초하여 결정될 수 있다. 제1 이득 인자는 픽셀 사용에 비례할 수 있다. 즉, 이미지 또는 이미지 프레임에 더 많은 픽셀이 사용되면 광원의 주어진 광 파워에 대해 해당 홀로그램 재구성의 각 픽셀의 예상 휘도가 감소한다. 따라서, 더 많은 픽셀이 있는 이미지 (프레임)에 대해 이득 인자가 더 높아야 할 수 있다.
픽셀 사용은 이미지 (프레임)의 모든 그레이 레벨 값의 합을 영역의 총 픽셀 수로 나눈 값과 같을 수 있다.
휘도 측정은 광 검출기 및 증폭기 회로를 이용하여 수행될 수 있으며, 여기서 이 방법은 제2 이미지 영역의 수신된 광에 응답하여 포토다이오드에 의해 생성된 전기 신호에 제2 이득 인자를 적용하는 증폭기 회로를 더 포함하고, 휘도는 제1 이득 인자 및 제2 이득 인자에 따라 스케일링될 수 있다.
이 방법은 컴퓨터로 구현되는 방법일 수 있다.
일 측면에 따르면, 데이터 처리 장치에 의해 실행될 때, 데이터 처리 장치가 본 명세서의 측면들 중 임의의 것에 따른 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램이 제공된다. 일 측면에 따르면, 이러한 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 매체가 제공된다.
일 측면에 따르면, 홀로그램 프로젝션 시스템은, 홀로그램을 포함하는 회절 패턴을 표시하도록 구성된 공간 광 변조기(SLM), 구조화된 광 패턴의 홀로그램 재구성을 형성하기 위해 회절 패턴을 조사하도록 구성된 광원, 홀로그램 재구성으로부터 광을 검출하고 각각의 검출된 광 신호를 출력하도록 구성된 광 검출기 및 프로젝션을 위한 이미지를 수신하고 제1 이미지 영역 및 제2 이미지 영역을 포함하는 이미지 프레임을 형성하도록 구성된 이미지 프로세서를 포함하여 제공하는데, 여기서, 제1 이미지 영역은 이미지에 해당하고 제2 이미지 영역은 제어 파라미터를 나타내는 비이미지 컨텐츠에 해당한다. 이미지 프로세서는 이미지 프레임의 비이미지 컨텐츠의 그레이 레벨을 변경하고 이미지 프레임의 홀로그램을 계산하기 위해 비이미지 컨텐츠에 제1 이득 인자를 적용하도록 더 구성된다. 이 시스템은 광 검출기로부터 각각의 검출된 광 신호를 수신하고, 상기 검출된 광 신호로부터 비이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터의 측정치를 획득하도록 구성된 제어기를 더 포함한다. 이 제어기는 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도를 나타내는 파라미터 값을 획득하기 위하여 제1 이득 인자의 역수에 따라 측정된 파라미터를 스케일링하고, 이미지 프레임의 이미지 컨텐츠의 홀로그램 재구성을 위해 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도가 목표 휘도가 충족됨을 나타날 때까지 홀로그램을 조사하는 광원의 광 파워를 제어하도록 더 구성된다.
제어기는 비이미지 컨텐츠의 홀로그램 재구성의 실제 휘도를 나타내는 파라미터 값을 사용하여 이미지 컨텐츠의 홀로그램 재구성의 휘도를 나타내는 파라미터 값을 계산하도록 더 구성될 수 있다.
공간 광 변조기(SLM)는 제어기에 동기화 신호를 제공하도록 구성될 수 있다. 예컨대, SLM은, 제어기가 정확한(즉, 현재 표시되는) 홀로그램에 관련하여 결정을 하고, 그것의 결정이 주어진 시간에 홀로그램이 나타내는 대응하는 이미지 프레임의 비이미지 컨텐츠에 적용된 정확한 이득 인자에 기초하는 것을 보장하기 위해 동기화 신호를 제공하도록 구성될 수 있다.
이미지 프로세서 및/또는 제어기는 상술한 측면들 중 임의의 것의 방법을 수행하도록 구성될 수 있다.
용어 "홀로그램(hologram)"은 객체에 대한 진폭 정보 혹은 위상 정보 또는 이들의 일부 조합을 포함하는 레코딩(recoding)을 지칭하는 데 이용된다. 용어 "홀로그램 재구성 (holographic reconstruction)"은 홀로그램을 조사하여 형성된 객체의 광학적 재구성을 지칭하는 데 이용된다. 본 명세서에 개시된 시스템은, 홀로그램 재구성이 실제 이미지이고 홀로그램으로부터 공간적으로 분리되기 때문에, "홀로그래픽 프로젝터(holographic projector)"로서 설명된다. 용어 "재생 필드 (replay field)"는 홀로그램 재구성이 형성되고 완전히 포커스되는 2D 영역(2D area)을 지칭하는 데 이용된다. 홀로그램이 픽셀들을 포함하는 공간 광 변조기 상에 표시되면, 재생 필드는 복수의 회절 차수(diffracted order)의 형태로 반복될 것이며, 여기서 각각의 회절된 차수는 0차 재생 필드(zeroth-order replay field)의 복제물이다. 0차 재생 필드는 가장 밝은 재생 필드이기 때문에 선호 혹은 일차적인 재생 필드에 일반적으로 해당한다. 달리 명시되지 않는 한, "재생 필드"라는 용어는 0차 재생 필드를 가리키는 것으로 간주되어야 한다. 용어 "재생 평면(replay plane)" 는 모든 재생 필드들을 포함하는 공간의 평면을 지칭하는 데 이용된다. 용어 "이미지(image)", "재생 이미지(replay image)" 및 "이미지 영역(image region)"은 홀로그램 재구성의 광(light)에 의해 비춰지는 재생 필드의 영역들을 지칭한다. 일부 실시예에서, "이미지"는 "이미지 스팟들(image spots)" 또는 편의상 "이미지 픽셀들(image pixels)"로 지칭될 수 있는 개별적인 스팟들을 포함할 수 있다.
용어 "인코딩(encoding)", "쓰기(writing)" 또는 "어드레싱(addressing)"은 각각의 픽셀의 변조 레벨을 결정하는 각각의 복수의 제어 값들을 SLM의 복수의 픽셀들에게 제공하는 프로세스를 기술하는 데 이용된다. SLM의 픽셀은 복수의 제어 값을 수신하는 것에 응답하여 광 변조 분포를 "표시(display)"하도록 구성된다고 말할 수 있다. 따라서, SLM은 홀로그램을 "표시"한다고 말할 수 있고 홀로그램은 광 변조 값들 혹은 레벨들의 어레이로 간주될 수 있다.
수용 가능한 품질의 홀로그램 재구성은 원래의 객체의 푸리에 변환과 관련된 위상 정보만을 포함하는 "홀로그램"으로부터 형성될 수 있음이 밝혀졌다. 이러한 홀로그래픽 레코딩은 위상-한정 홀로그램(phase-only hologram)으로 지칭될 수 있다. 실시 예들은 위상-한정 홀로그램에 관한 것이지만, 본 개시는 진폭-한정 홀로그래피(amplitude-only holography)에도 동일하게 적용될 수 있다.
본 개시는 또한 원래의 객체의 푸리에 변환과 관련된 진폭 및 위상 정보를 이용하여 홀로그램 재구성을 형성하는 데에도 동일하게 적용될 수 있다. 일부 실시 예에서, 이것은 원래의 객체와 관련된 진폭 및 위상 정보를 모두 포함하는 소위 완전-복소 홀로그램(fully complex hologram)을 이용하는 복소 변조에 의해 달성된다. 이러한 홀로그램은 홀로그램의 각 픽셀에 할당된 값(그레이 레벨)이 진폭 및 위상 성분을 갖기 때문에 완전-복소 홀로그램이라고 지칭될 수 있다. 각 픽셀에 할당된 값(그레이 레벨)은 진폭 및 위상 성분을 모두 갖는 복소수로 표현될 수 있다. 일부 실시 예에서, 완전-복소 컴퓨터-생성 홀로그램(fully-complex computer-generated hologram)이 계산된다.
컴퓨터-생성 홀로그램 또는 공간 광 변조기의 픽셀들의 위상 값, 위상 성분, 위상 정보 또는, 단순히, 위상이 "위상-지연(phase-delay)"의 약어로 참조될 수 있다. 즉, 설명된 모든 위상 값은, 실제로는, 해당 픽셀이 제공하는 위상 지연(phase retardation)의 양을 나타내는 (예컨대, 0 내지 2π 범위의) 숫자이다. 예를 들어, 위상 값이 π/2 인 것으로 설명된 공간 광 변조기의 픽셀은 수신된 광의 위상을 π/2 라디안만큼 지연시킨다. 일부 실시예에서, 공간 광 변조기의 각 픽셀은 복수의 가능한 변조 값들(예를 들어, 위상 지연 값들) 중 하나로 작동 가능하다. 용어 "그레이 레벨(grey level)"은 복수의 이용 가능한 변조 레벨들을 지칭하기 위해 이용될 수 있다. 예를 들어, 용어 "그레이 레벨"은 상이한 위상 레벨들이 상이한 그레이 음영들을 제공하지 않더라도 위상-한정 변조기에서 복수의 이용 가능한 위상 레벨들을 지칭하기 위해 편의상 이용될 수 있다. 용어 "그레이 레벨"은 또한 복소 변조기에서 이용 가능한 복수의 복소 변조 레벨들을 지칭하기 위해 편의상 이용될 수 있다.
따라서 홀로그램은 그레이 레벨들의 어레이를 - 즉, 위상-지연 값들 또는 복소 변조 값들의 어레이와 같은 광 변조 값들의 어레이를 - 포함한다. 또한 홀로그램은, 공간 광 변조기에 디스플레이될 때 그리고 공간 광 변조기의 픽셀 피치(pixel picth)에 필적하는, - 일반적으로 그보다는 작은 - 파장을 갖는 광으로 조사될 때, 회절을 유발하는 패턴이기 때문에, 회절 패턴으로 간주된다. 홀로그램을 렌즈 또는 그레이팅(grating)으로 기능하는 회절 패턴들과 같은 다른 회절 패턴들과 결합하는 것이 본 명세서에 참조된다. 예를 들어, 그레이팅(grating)으로 기능하는 회절 패턴이 재생 평면 상에 재생 필드를 변환하도록 홀로그램과 결합되거나, 렌즈로 기능하는 회절 패턴이 근거리 필드(near field)의 재생 평면 상에 홀로그램 재구성을 포커스하도록 홀로그램과 결합될 수 있다.
다양한 실시 예들 및 실시 예들의 그룹이 후술되는 상세한 설명에서 개별적으로 개시될 수 있지만, 임의의 실시 예 또는 실시 예들의 그룹의 임의의 특징은 임의의 실시 예 또는 실시예들의 그룹의 임의의 다른 특징 또는 특징들의 조합(combination)과 결합될 수 있다. 즉, 본 개시에 개시된 특징의 모든 가능한 조합 및 순열(permutation)이 고려된다.
특정 실시예는 다음 도면을 참조하여 단지 예로서 설명된다:
도 1은 스크린 상에 홀로그램 재구성을 생성하는 반사 SLM을 도시하는 개략도이다.
도 2a는 예시적인 Gerchberg-Saxton 유형 알고리즘의 제1 반복을 도시한다.
도 2b는 예시적인 Gerchberg-Saxton 유형 알고리즘의 제2 반복 및 후속 반복을 도시한다.
도 2c는 예시적인 Gerchberg-Saxton 유형 알고리즘의 대안적인 제2 및 후속 반복을 도시한다.
도 3은 반사형 LCOS SLM의 개략도이다.
도 4a는 공지된 홀로그램 프로젝션 시스템을 도시한다.
도 4b는 알려진 홀로그램 프로젝션 시스템에서 이미지 처리 및 휘도 피드백을 도시한다.
도 5는 실시예에 따른 제1 및 제2 이미지 프레임을 도시한다.
도 6은 실시예에 따른 개선된 홀로그램 프로젝션 시스템에서 이미지 처리 및 휘도 피드백을 도시한다.
도면 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호가 이용된다.
본 발명은 다음에 설명되는 실시예들에 제한되지 않으며, 첨부된 청구 범위의 전체 범위로 연장한다. 즉, 본 발명은 다른 형태들로 실시될 수 있으며 설명의 목적으로 제시된 기재된 실시예들에 한정되는 것으로 해석되어서는 안 된다.
단수형의 용어는 달리 명시되지 않는 한 복수형을 포함할 수 있다.
다른 구조물의 상부/하부 또는 상/하에 형성된 구조물이라고 기술된 경우, 구조물들이 서로 접촉하는 경우 및 제3의 구조물이 그 사이에 배치되는 경우를 포함하는 것으로 해석되어야 한다.
시간 관계를 기술함에 있어서, 사건의 시간 순서가 예를 들어 "후", "후속", "다음", "전" 등으로 기술될 때, 본 개시는 별도로 규정하지 않는 한은 연속적 및 비연속적 사건을 포함하는 것으로 간주되어야 한다. 예를 들어, 그 기재가 "막(just)", "바로(immediate)" 또는 "직접(direct)"이라는 기재가 이용되지 않는 한, 비연속적 경우를 포함하는 것으로 간주되어야 한다.
본 명세서에서 다양한 요소들을 설명하기 위해 "제1", "제2" 등의 용어가 이용될 수 있지만, 이러한 요소들은 이들 용어에 의해 제한되지 않는다. 이 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 이용된다. 예를 들어, 제1요소는 제2요소로 지칭될 수 있고, 유사하게, 제2요소는 첨부된 청구범위를 벗어남 없이 제1요소로 지칭될 수 있다.
상이한 실시 예들의 특징들은 부분적으로 또는 전체적으로 서로 연결되거나 결합될 수 있으며, 다양한 형태로 서로 상호 작용할 수 있다. 일부 실시 예들은 서로 독립적으로 수행될 수도 있고, 서로 연계되어 함께 수행될 수도 있다.
광학 구성
도 1은 컴퓨터-생성 홀로그램이 단일 공간 광 변조기에서 인코딩되는 실시예를 도시한다. 컴퓨터-생성 홀로그램은 재구성을 위한 객체의 푸리에 변환이다. 따라서 홀로그램은 객체의 푸리에 도메인 또는 주파수 도메인 또는 스펙트럼 도메인 표현이라고 할 수 있다. 본 실시예에서, 공간 광 변조기는 반사형의 액정-온-실리콘 (liquid crystal on silicon: "LCOS") 장치이다. 홀로그램은 공간 광 변조기에서 인코딩 되고 홀로그래픽 재구성은 재생 필드, 예컨대 스크린 또는 디퓨저(diffuser)와 같은 수광면(light receiving surface)에 형성된다.
예컨대 레이저나 레이저 다이오드 같은 광원(110)은 콜리메이팅 렌즈(collimating lens, 111)를 통해 SLM(140)을 조사하도록 배치된다. 콜리메이팅 렌즈는 광이 SLM 상에 전체적으로 평면 파면으로 입사되도록 만든다. 도 1에서, 파면의 방향은 (예컨대, 투명층의 평면에 대해 완전 수직으로부터 2도 또는 3도 정도 떨어진) 오프-노멀(off-normal)하다. 그러나, 다른 실시예들에서, 전체적으로 평면인 파면은 법선 방향으로 입사되고, 입력 및 출력 광경로들을 분리하기 위한 빔 스플리터 배치(beam splitter arrangement)가 이용된다. 도 1에 도시된 실시예에서, 이러한 배치는, 광원으로부터 오는 광이 SLM의 미러형 후방 표면(mirrored rear surface)에 반사되며 출사 파면(exiting wavefront, 112)을 형성하기 위해 광 변조층과 상호작용하게 한다. 출사 파면(112)은 스크린(125)에 초점이 맞춰진 푸리에 변환 렌즈(120)를 포함하는 광학계에 적용된다.
특히, 이러한 유형의 홀로그래피에서 홀로그램의 각 픽셀은 전체 재구성에 관여한다. 재생 필드의 특정 지점들 (또는 이미지 픽셀들)과 특정 광-변조 요소들 (또는 홀로그램 픽셀들) 사이에는 일대일 상관 관계가 없다. 다시 말해, 광-변조 층을 나가는 변조된 광은 재생 필드에 분포된다.
이러한 실시예들에서, 공간에서 홀로그래픽 재구성의 위치는 푸리에 변환 렌즈의 굴절(포커싱) 파워(dioptric(focusing) power)에 의해 결정된다. 도 1에 도시된 실시예에서, 푸리에 변환 렌즈는 물리적 렌즈이다. 즉, 푸리에 변환 렌즈는 광학적 푸리에 변환 렌즈이며, 푸리에 변환은 광학적으로 수행된다. 어떤 렌즈라도 푸리에 변환 렌즈 역할을 할 수 있지만, 수행되는 푸리에 변환의 정확도는 렌즈의 성능에 좌우된다. 통상의 기술자라면 렌즈를 이용하여 광학적 푸리에 변환을 수행하는 방법을 이해할 수 있다.
홀로그램 계산
일부 실시예에서, 컴퓨터-생성 홀로그램은 푸리에 변환 홀로그램, 또는 단순히 푸리에 홀로그램 또는 푸리에-기반 홀로그램이며, 여기서 이미지는 포지티브 렌즈의 푸리에 변환 특성을 이용하여 원거리 장(far field)에서 재구성된다. 푸리에 홀로그램은 재생 평면에서 원하는 광 필드(light field)를 푸리에 변환하여 렌즈 평면에 오도록 계산된다. 컴퓨터-생성 푸리에 홀로그램은 푸리에 변환을 이용하여 계산될 수 있다.
푸리에 변환 홀로그램은 Gerchberg-Saxton 알고리즘과 같은 알고리즘을 이용하여 계산될 수 있다. 더욱이, Gerchberg-Saxton 알고리즘은 공간 도메인(예컨대, 사진)의 진폭-한정 정보로부터 푸리에 도메인의 홀로그램(즉, 푸리에 변환 홀로그램)을 계산하는 데 이용될 수 있다. 객체와 관련된 위상 정보는 공간 도메인에서 진폭-한정 정보로부터 효과적으로 "얻어질(retrieved)" 수 있다. 일부 실시예들에서, 컴퓨터-생성 홀로그램은 Gerchberg-Saxton 알고리즘 또는 그 변형 알고리즘을 이용해 진폭-한정 정보로부터 계산된다.
Gerchberg Saxton 알고리즘은 평면 A와 B에서 각각의 광선(light beam) 광선의 단면적 강도 IA(x, y) 및 IB(x, y) 가 알려져 있고 IA(x, y) 및 IB(x, y)가 단일 푸리에 변환과 연관되는 상황을 고려한다. 주어진 단면적 강도에 대해 평면 A 및 B에서의 각각의 위상 분포에 대한 근차치인 ΨA(x, y) 및 ΨB(x, y)가 구해진다. Gerchberg-Saxton 알고리즘은 반복 프로세스를 따름으로써 이 문제에 대한 솔루션을 찾는다. 더 구체적으로, Gerchberg-Saxton 알고리즘은 공간 도메인과 푸리에(스펙트럼 또는 주파수) 도메인 사이에서 IA(x, y) 및 IB(x, y)를 나타내는 데이터 세트(진폭 및 위상)를 반복적으로 전달하면서 공간 제한(constraint) 및 스펙트럼 제한을 반복적으로 적용한다. 스펙트럼 영역에서 상응하는 컴퓨터-생성 홀로그램은 알고리즘의 적어도 1 회 이상의 반복을 통해 얻어진다. 알고리즘은 입력 이미지를 나타내는 홀로그램을 생성하도록 설정되고 수렴된다. 홀로그램은 진폭 전용 홀로그램(amplitude-only hologram), 위상 전용 홀로그램(phase-only hologram) 또는 완전 복소 홀로그램(a fully complex hologram)일 수 있다.
일부 실시 예에서, 위상 전용 홀로그램은 영국 특허 제2,498,170호 또는 제2,501,112호에 기술된 것과 같은 Gerchberg-Saxton 알고리즘에 기초한 알고리즘을 이용하여 계산되며, 이 특허들은 는 그 전체로서 원용되어 본 명세서에 통합된다. 그러나, 본 명세서에 개시된 실시 예는 단지 예시로서 위상 전용 홀로그램을 계산하는 것을 설명한다. 이들 실시 예에서, Gerchberg-Saxton 알고리즘은 알려진 진폭 정보 T[x, y]를 발생시키는 데이터 세트의 푸리에 변환의 위상 정보 Ψ[u, v]를 검색하는데, 여기서 진폭 정보 T[x, y]는 대상 이미지(예컨대, 사진)를 나타낸다. 진폭과 위상은 푸리에 변환에서 본질적으로 결합되므로,변환된 진폭과 위상에는 계산된 데이터 세트의 정확도에 대한 유용한 정보가 포함된다. 따라서 알고리즘은 진폭 및 위상 정보 모두에 대한 피드백과 함께 반복적으로 이용될 수 있다. 그러나, 이들 실시 예에서, 위상 정보 Ψ[u, v]만이 이미지 평면에서 대상 이미지의 홀로그래픽 표현을 형성하기 위한 홀로그램으로 이용된다. 홀로그램은 위상 값의 데이터 세트(예를 들어, 2D 어레이)이다.
다른 실시 예에서, Gerchberg-Saxton 알고리즘에 기초한 알고리즘은 완전 복소 홀로그램을 계산하기 위해 이용된다. 완전 복소 홀로그램은 크기 성분과 위상 성분을 갖는 홀로그램이다. 홀로그램은 복소 데이터 값들의 에레이를 포함하는 데이터 세트(예를 들어, 2D 어레이)이고, 각각의 복소 데이터 값은 크기 성분 및 위상 성분을 포함한다.
일부 실시 예에서, 알고리즘은 복소 데이터를 처리하고, 푸리에 변환은 복소 푸리에 변환이다. 복소 데이터는 (i) 실수 성분 및 허수 성분 또는 (ii) 크기 성분 및 위상 성분을 포함하는 것으로 간주될 수 있다. 일부 실시 예에서, 복소 데이터의 2개의 성분은 알고리즘의 다양한 단계에서 상이하게 처리된다.
도 2a는 위상 전용 홀로그램을 계산하기 위한 일부 실시 예에 따른 알고리즘의 제1 반복을 도시한다. 알고리즘에 대한 입력은 픽셀 또는 데이터 값의 2D 어레이를 포함하는 입력 이미지(210)이며, 여기서 각 픽셀 또는 데이터 값은 크기 또는 진폭 값이다. 즉, 입력 이미지(210)의 각 픽셀 또는 데이터 값은 위상 성분을 갖지 않는다. 따라서, 입력 이미지(210)는 크기 전용 또는 진폭 전용 또는 강도 전용 분포로 간주될 수 있다. 이러한 입력 이미지(210)의 일례는 프레임의 시간적 시퀀스를 포함하는 사진 또는 비디오의 한 프레임이다. 알고리즘의 제1 반복은 랜덤 위상 분포(또는 랜덤 위상 시드)(230)를 이용하여, 초기 복소 데이터 세트(starting complex data set)의 각각의 데이터 요소가 크기 및 위상을 포함하도록, 입력 이미지의 각 픽셀에 랜덤 위상 값을 할당하는 단계를 포함하는 데이터 형성 단계(202A)에서 시작한다. 초기 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다.
제1 프로세싱 블록(250)은 초기 복소 데이터 세트를 수신하고 복소 푸리에 변환을 수행하여 푸리에 변환된 복소 데이터 세트를 형성한다. 제2 프로세싱 블록(253)은 푸리에 변환된 복소 데이터 세트를 수신하고 홀로그램(280A)을 출력한다. 일부 실시 예에서, 홀로그램(280A)은 위상 전용 홀로그램이다. 이들 실시 예에서, 제2 프로세싱 블록(253)은 각각의 위상 값을 양자화하고 홀로그램(280A)을 형성하기 위해 각 진폭 값을 1로 설정한다. 각 위상 값은 위상 전용 홀로그램을 "표시"하는데 이용되는 공간 광 변조기의 픽셀 상에 표현될 수 있는 위상 레벨에 따라 양자화된다. 예를 들어, 공간 광 변조기의 각 픽셀이 256개의 서로 다른 위상 레벨을 제공하면 홀로그램의 각 위상 값은 256개의 가능한 위상 레벨 중 하나의 위상 레벨로 양자화된다. 홀로그램(280A)은 입력 이미지를 나타내는 위상 전용 푸리에 홀로그램이다. 다른 실시 예에서, 홀로그램(280A)은 수신된 푸리에 변환된 복소 데이터 세트로부터 유도된 복소 데이터 값(각각 진폭 성분 및 위상 성분을 포함함)의 어레이를 포함하는 완전 복소 홀로그램이다. 일부 실시 예에서, 제2 프로세싱 블록(253)은 복수의 허용 가능한 복소 변조 레벨 중 하나로 각각의 복소 데이터 값을 제한하여 홀로그램(280A)을 형성한다. 제한하는 단계는 복소 평면에서 각 복소 데이터 값을 가장 가까운 허용 가능한 복소 변조 레벨로 설정하는 단계를 포함할 수 있다. 홀로그램(280A)은 스펙트럼 또는 푸리에 또는 주파수 영역에서 입력 이미지를 나타낸다고 말할 수 있다. 일부 실시 예에서, 알고리즘은 이 시점에서 정지한다.
그러나, 다른 실시 예에서, 알고리즘은 도 2A의 점선 화살표로 나타낸 바와 같이 계속된다. 즉, 도 2a에서 점선 화살표를 따르는 단계는 선택적이다(즉, 모든 실시 예에 필수적인 것은 아니다).
제3 프로세싱 블록(256)은 제2 프로세싱 블록(253)으로부터 수정된 복소 데이터 세트를 수신하고 역 푸리에 변환을 수행하여 역 푸리에 변환된 복소 데이터 세트를 형성한다. 역 푸리에 변환된 복소 데이터 세트는 공간 도메인에서 입력 이미지를 나타낸다고 말할 수 있다.
제4 프로세싱 블록(259)은 역 푸리에 변환된 복소수 데이터 세트를 수신하고 진폭 값(211A)의 분포 및 위상 값(213A)의 분포를 추출한다. 선택적으로, 제4 프로세싱 블록(259)은 진폭 값(211A)의 분포를 평가한다. 구체적으로, 제4 프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트의 진폭 값(211A)의 분포를 당연히 진폭 값의 분포인 입력 이미지(510)와 비교할 수 있다. 진폭 값(211A)의 분포와 입력 이미지(210)의 분포 사이의 차이가 충분히 작으면, 제4 프로세싱 블록(259)은 홀로그램(280A)이 허용 가능한 것으로 결정할 수 있다. 즉, 진폭 값(211A)의 분포와 입력 이미지(210)의 차이가 충분히 작으면, 제4 프로세싱 블록(259)은 홀로그램(280A)이 입력 이미지(210)를 충분히 정확하게 나타내는 것으로 결정할 수 있다. 일부 실시 예들에서, 비교 과정에서 역 푸리에 변환된 복소 데이터 세트의 위상 값(213A)의 분포는 무시된다. 진폭 값(211A)과 입력 이미지(210)의 분포를 비교하기 위한 임의의 수의 상이한 방법들이 이용될 수 있으며, 본 개시는 임의의 특정 방법에 제한되지 않음을 이해할 것이다. 일부 실시 예에서, 평균 제곱 차이가 계산되고, 평균 제곱 차이가 임계값 보다 작은 경우, 홀로그램(280A)은 수용 가능한 것으로 간주된다. 제4 프로세싱 블록(259)이 홀로그램(280A)이 수용 가능하지 않다고 결정하면, 알고리즘의 추가 반복이 수행될 수 있다. 그러나, 이러한 비교 단계는 필수적인 것은 아니며, 다른 실시 예에서 수행되는 알고리즘의 반복 횟수는 미리 결정되거나 미리 설정되거나 이용이자 정의된다.
도 2b는 알고리즘의 두 번째 반복 및 알고리즘의 임의의 추가 후속 반복을 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백된다. 진폭 값(211A)의 분포는 입력 이미지(210)의 크기 값의 분포를 위해 거부된다. 첫 번째 반복에서, 데이터 형성 단계(202A)는 입력 이미지(210)의 진폭 값의 분포를 랜덤 위상 분포(230)와 결합하여 제1 복소 데이터 세트를 형성한다. 그러나, 두 번째 및 후속 반복에서, 데이터 형성 단계(202B)는 (i) 알고리즘의 이전 반복으로부터의 위상 값(213A)의 분포와 (ii) 입력 이미지(210)의 진폭 값의 분포를 합하여 복소 데이터 세트를 형성하는 단계를 포함한다.
도 2b의 데이터 형성 단계(202B)에 의해 형성된 복소 데이터 세트는 도 2a를 참조하여 기술된 것과 동일한 방식으로 처리되어 제2 반복 홀로그램(280B)을 형성한다. 따라서 프로세스에 대한 설명은 여기에서 반복되지 않는다. 알고리즘은 제2 반복 홀로그램(280B)이 계산되면 중단될 수 있다. 그러나 알고리즘의 임의의 수의 추가 반복이 수행될 수 있다. 제3 프로세싱 블록(256)은 제4 프로세싱 블록(259)이 요구되거나 더 많은 박복이 요구되는 경우에만 요구된다는 것을 이해할 것이다. 출력 홀로그램(280B)은 일반적으로 반복할 때마다 개선된다. 그러나 실제로는 일반적으로 측정 가능한 개선이 관찰되지 않거나 처리 사간의 증가라는 부정적 효과가 추가 반복을 수행하는 긍정적인 이점 보다 커지는 시점이 도달한다. 따라서 알고리즘은 반복적이고 수렴적으로 기술된다.
도 2c는 두 번째 및 후속 반복의 대안적인 실시 예를 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백된다. 진폭 값(211A)의 분포는 대안적인 진폭 값의 분포를 위해 소거된다. 이 대안적인 실시 예에서, 대안적인 진폭 값의 분포는 이전 반복의 진폭 값(211)의 분포로부터 도출된다. 특히, 프로세싱 블록(258)은 선행 반복의 진폭 값(211)의 분포로부터 입력 이미지(210)의 진폭 값의 분포를 감산하고, 그 차이를 이득 인자 α만큼 스케일링하고, 입력 이미지(210)로부터 스케일링된 차분을 감한다. 이는 다음의 방정식에 의해 수학적으로 표현되며, 아래 첨자 텍스트와 숫자는 반복 횟수를 나타낸다.
여기서:
F'는 역 푸리에 변환이고;
F는 순방향 푸리에 변환이고;
R[x, y]는 제3 프로세싱 블록(256)에 의해 출력된 복소 데이터 세트이고;
T[x, y]는 입력 또는 타겟 이미지고;
∠는 위상 성분이고;
ψ는 위상 전용 홀로그램(280B)이고;
η은 진폭 값(211B)의 새로운 분포이며;
α는 이득 인자이다.
이득 인자 α는 고정되거나 가변적일 수 있다. 일부 실시예에서, 이득 인자 α는 입력 목표 이미지 데이터의 크기 및 속도(rate)에 기초하여 결정된다. 일부 실시예에서, 이득 인자 α는 반복 횟수에 의존한다. 일부 실시예에서, 이득 인자 α는 단지 반복 횟수의 함수이다.
도 2c의 실시 예는 다른 모든 점에서 도 2a 및 도 2b의 실시 예와 동일하다. 위상 전용 홀로그램 Ψ(u,v)는 주파수 또는 푸리에 영역에서 위상 분포를 포함한다고 말할 수 있다.
일부 실시예에서, 푸리에 변환은 공간 광 변조기를 사용하여 수행된다. 구체적으로, 홀로그램 데이터는 광 파워를 제공하는 제2 데이터와 결합된다. 즉, 공간 광 변조에 기록된 데이터는 물체를 나타내는 홀로그램 데이터와 렌즈를 나타내는 렌즈 데이터를 포함한다. 공간 광 변조기에 표시되고 빛으로 조사되면 렌즈 데이터는 물리적 렌즈를 모방(emulate)하는데, 즉, 해당 물리적 광학 장치와 동일한 방식으로 초점에 빛을 가져온다. 따라서, 렌즈 데이터는 광학 또는 포커싱(focusing)된 파워를 제공한다. 이러한 실시예에서, 도 1의 물리적 푸리에 변환 렌즈(120)는 생략될 수 있다. 렌즈를 나타내는 데이터를 계산하는 방법은 알려져 있다. 렌즈를 나타내는 데이터는 소프트웨어 렌즈라고 할 수 있다. 예컨대, 굴절률과 공간적으로 변하는 광로 길이로 인하여 렌즈의 각 지점에서 발생하는 위상 지연을 계산하여 위상 전용 렌즈를 구성할 수 있다. 예컨대, 볼록 렌즈의 중심에서의 광로 길이는 렌즈의 가장자리에서의 광로 길이보다 길다. 진폭 전용 렌즈는 프레넬 존 플레이트(Fresnel zone plate)에 의하여 형성될 수 있다. 또한, 컴퓨터 생성 홀로그래피 기술 분야에서는 물리적 푸리에 렌즈 없이 홀로그램의 푸리에 변환이 수행될 수 있도록 렌즈를 나타내는 데이터를 홀로그램과 결합하는 방법이 알려져 있다. 일부 실시예에서, 렌즈 데이터는 단순 벡터 가산과 같은 단순 가산에 의하여 홀로그램과 결합된다. 일부 실시예에서, 물리적 렌즈는 푸리에 변환을 수행하기 위하여 소프트웨어 렌즈와 함께 사용된다. 대안적으로, 다른 실시예에서, 푸리에 변환 렌즈는 원거리장(far-field)에서 홀로그램 재구성이 일어나도록 완전히 생략된다. 다른 실시예에서, 홀로그램은 그레이팅(grating) 데이터, 즉 이미지 스티어링(image steering)과 동일한 그레이팅의 기능을 수행하도록 형성된 데이터와 결합될 수 있다. 다시 말하지만, 이러한 데이터를 계산하는 방법은 해당 기술분야에서 알려져 있다. 예컨대, 위상 전용 그레이팅은 블레이즈드된(blazed) 그레이팅의 표면 상의 각 포인트에 의해 야기된 위상 지연을 모델링함으로써 형성될 수 있다. 진폭-전용 그레이팅은 진폭-전용 홀로그램과 단순히 중첩되어 홀로그램 재구성의 각도 스티어링(angular steering)을 제공할 수 있다. 렌즈 및/또는 스티어링을 제공하는 제2 데이터는 이미지 형성 기능 또는 이미지 형성 패턴으로 지칭될 수 있는 홀로그램 데이터와 구별하기 위해 광 처리 기능 또는 광 처리 패턴으로 지칭될 수 있다.
일부 실시예에서, 푸리에 변환은 물리적 푸리에 변환 렌즈 및 소프트웨어 렌즈에 의해 공동으로 수행된다. 즉, 푸리에 변환에 기여하는 일부 광 파워는 소프트웨어 렌즈에 의해 제공되고, 푸리에 변환에 기여하는 나머지 광 파워는 물리적 광학 장치 또는 광학 장치들에 의해 제공된다.
일부 실시예에서, 이미지 데이터를 수신하고 알고리즘을 이용하여 실시간으로 홀로그램을 계산하도록 구성된 실시간 엔진이 제공된다. 일부 실시예에서, 이미지 데이터는 일련의 이미지 프레임을 포함하는 비디오이다. 다른 실시예에서, 홀로그램은 사전 계산되고, 컴퓨터 메모리에 저장되며, SLM 상에 디스플레이하기 위해 필요에 따라 호출된다. 즉, 일부 실시예에서, 소정의 홀로그램의 저장소가 제공된다.
실시예는 단지 예로서 푸리에 홀로그래피 및 Gerchberg-Saxton 유형 알고리즘에 관한 것이다. 본 개시는 유사한 방법으로 계산될 수 있는 프레넬 홀로그래피 및 프레넬 홀로그램에 동일하게 적용 가능하다. 본 개시는 포인트 클라우드 방법에 기초한 것과 같은 다른 기술에 의해 계산된 홀로그램에도 적용 가능하다.
광 변조
공간 광 변조기는 컴퓨터-생성 홀로그램을 포함하는 회절 패턴을 표시하는데 이용될 수 있다. 홀로그램이 위상 전용 홀로그램인 경우, 위상을 변조하는 공간 광 변조기가 필요하다. 홀로그램이 완전 복소 홀로그램인 경우, 위상 및 진폭을 변조하는 공간 광 변조기가 이용될 수 있거나 위상을 변조하는 제1 공간 광 변조기 및 진폭을 변조하는 제2 공간 광 변조기가 이용될 수 있다.
일부 실시 예에서, 공간 광 변조기의 광 변조 요소(즉, 픽셀)는 액정을 포함하는 셀이다. 즉, 일부 실시 예에서, 공간 광 변조기는 광학 능동 소자가 액정인 액정 장치이다. 각각의 액정 셀은 복수의 광 변조 레벨을 선택적으로 제공하도록 구성된다. 즉, 각각의 액정 셀은 어느 한 시점에서 복수의 가능한 광 변조 레벨들로부터 선택된 하나의 광 변조 레벨에서 동작하도록 구성된다. 각각의 액정 셀은 복수의 광 변조 레벨 중에서 다른 광 변조 레벨로 동적으로 재구성 가능하다. 일부 실시 예에서, 공간 광 변조기는 실리콘 공간 광 변조기 상의 반사형 액정(LCOS)이지만, 본 개시는 이러한 유형의 공간 광 변조기로 제한되지 않는다.
LCOS 장치는 작은 개구(예를 들어, 폭이 수 센티미터) 내의 조밀한 광 변조 소자 또는 픽셀 어레이들을 제공한다. 픽셀은 통상 약 10미크론 이하이어서 수 도 수준의 회절각을 가지며, 이는 광학 시스템이 콤팩트할 수 있다는 것을 의미한다. LCOS SLM의 작은 개구를 적절하게 조광하는 것은 다른 액정 장치의 큰 개구를 조광하는 것보다 용이하다. LCOS 장치는 통상 반사형이므로 LCOS SLM의 픽셀을 구동하는 회로를 반사 표면 아래에 묻을 수 있다. 결과적으로 개구율이 높아진다. 즉, 픽셀은 밀집되어 있어 픽셀 간에 낭비되는 공간(dead space)이 거의 없음을 의미한다. 이는 재생 필드에서의 광학 노이즈를 감소시키므로 유리하다. LCOS SLM은 픽셀이 광학적으로 편평하다는 이점을 갖는 실리콘 후면을 이용한다. 이 점은 위상 변조 장치에서 특히 중요하다.
단지 예시로서, 적합한 LCOS SLM이 도 3을 참조하여 아래와 같이 기술된다. LCOS 장치는 단결정 실리콘 기판(302)을 이용하여 형성된다. 이는 간극(301a)에 의해 이격되며 기판의 상부 표면에 배치된 사각 평면형 알루미늄 전극(301)의 2차원 어레이를 가진다. 전극(301) 각각은 기판(302)에 매설된 회로(302a)를 통해 형성될 수 있다. 각각의 전극들은 각각의 평면 미러를 형성한다. 배향층(Alignment Layer, 303)이 전극 어레이 상에 배치되고, 액정층(304)은 배향층(303)에 배치된다. 제2배향층(305)은 액정층(304)에 배치되고, 예컨대, 유리로 된 평면 투명층(306)은 제2배향층(305)에 배치된다. 예컨대 ITO로 된 단일 투명 전극(307)은 투명층(306)과 제2 배향층(305) 사이에 배치된다.
정사각형 전극(301) 각각은, 투명전극(307) 영역 상부와 중간에 개재되는 액정물질과 함께, 종종 픽셀로 지칭되는 제어 가능한 위상 변조 소자(308)를 형성한다. 유효 픽셀 영역, 즉 충진율(fill factor)은 픽셀(301a) 사이의 공간까지 고려하여 광학적으로 활성인 총 픽셀의 비율이다. 각각의 전극(301)에 인가된 투명전극(307)에 대한 전압을 제어함으로써, 위상 변조 소자의 액정 물질의 특성은 변화될 수 있고, 따라서 그에 입사되는 입사광에 가변 지연을 제공한다. 이렇게 함으로써 파면(wavefront)에 위상 전용 변조가 가해지는 한편 어떤 진폭 효과도 발생하지 않는다.
설명된 LCOS SLM은 반사로 공간 변조된 빛을 출력한다. 반사형 LCOS SLM은 신호 라인, 게이트 라인 및 트랜지스터가 미러링된 표면 아래에 있어 높은 필 팩터(일반적으로 90% 이상)와 고해상도를 제공한다는 장점이 있다. 반사형 LCOS 공간 광 변조기를 이용하는 또 다른 이점은 액정층이 투과형 장치를 이용하는 경우 필요한 것보다 두께가 절반이 될 수 있다는 것이다. 이것은 액정의 스위칭 속도를 크게 향상시킨다(동영상 영상의 영사에 대한 주요 이점). 그러나, 본 개시의 교시는 투과형 LCOS SLM을 이용하여 동등하게 구현될 수 있다.
홀로그램 프로젝션 시스템
도 4a는 공지된 홀로그램 프로젝션 시스템(400)을 도시한다. 이것은 영국 특허 GB2554472에 기술되어 있으며, 그 전체가 여기에 참조로 포함된다. 본 개시는 도 4a에 도시된 바와 같은 홀로그램 프로젝션 시스템(400)으로 제한되지 않는다. 그러나, 도 4a는 여기에 개시된 개선된 방법이 적용될 수 있는 홀로그램 프로젝션 시스템의 가능한 구성의 예이다.
도 4a의 홀로그램 프로젝션 시스템(400)은 제1 입력(401), 전원 입력을 포함하는 제2 입력(402), 및 제3 입력(403)을 포함한다. 홀로그램 프로젝션 시스템(400)은 레이저 제어기(410), LCOS 드라이버(420), 전력 변압기(430), 주변 광 센서(440), 수광면(450), 예컨대 확산기 또는 스크린, 광 센서(460), 레이저(470) 및 SLM(480)을 포함한다.
제1 입력(401)은 레이저 제어기(410)의 제1 입력에 의해 수신되는 제어 신호, 예컨대 USB 제어 신호를 포함한다. 레이저 제어기(410)는 전력 변압기(430)로부터 제1 전력(431), LCOS 드라이버(420)로부터 동기화 신호(421), 주변 광 센서(440)로부터 주변 광 신호(441) 및 광 센서(460)로부터 광 검출 신호(461)를 수신하도록 더 구성된다. 레이저 드라이버 출력(411)은 레이저(470)에 연결된다.
홀로그램 프로젝션 시스템(400)에 대한 전력을 위한 제2 입력(402)은 전력 변압기(430)의 입력에 의해 수신된다. 전력 변압기(430)는, 레이저 제어기(410)에 제1 전력(431)을 제공하는 제1 출력; 디퓨저(450)에 제2 전력(432)을 제공하는 제2 출력; 및 LCOS 드라이버(420)에 제3 전력(433)을 제공하는 제3 출력을 포함한다. 일부 배열에서, 디퓨저는 전원이 공급되지 않고 제2 전력(432)이 생략될 수 있다.
HDMI 입력을 포함할 수 있는 홀로그램 프로젝션 시스템(400)에 대한 제3 입력(403)은 LCOS 드라이버(420)의 제1 입력에 의해 수신된다. LCOS 드라이버(420)는 전술한 바와 같이 전력 변압기(430)로부터 제3 전력(433)을 수신하도록 더 구성된다. LCOS 드라이버는 동기화 신호(421)를 레이저 제어기(410)로 출력하고 제어 신호(422)(광 변조 데이터를 포함함)를 SLM(480)으로 출력하도록 구성된다.
레이저(470)는 레이저 드라이버 출력(411)에 따라 SLM(480)을 조사하도록 구성된다. SLM의 각 픽셀은 입사광의 일부를 받는다. SLM(480)은 수신된 광을 공간적으로 변조하기 위해 제어 신호(422)에 따라 제어되도록 구성된다. 제어 신호(422)는 홀로그램을 나타내는 명령을 포함한다. 즉, 제어 신호(422)는 홀로그램 데이터를 포함한다. SLM의 각 픽셀은 입사광의 해당 부분을 독립적으로 변조하도록 개별적으로 지정된다. 픽셀은 집합적으로 홀로그램 패턴을 나타낸다. 따라서, 수신된 파면에 광 변조 패턴 또는 분포가 적용된다. 일부 배열에서는 위상 지연 분포가 파면에 적용된다. SLM은 홀로그램을 "디스플레이"한다고 말할 수 있다.
SLM(480)으로부터의 공간적으로 변조된 광은 수광면(450) 상에 이미지를 형성하여 재생 필드를 제공한다. 이 이미지는 홀로그램 재구성이다. 홀로그램 재구성은 홀로그램 재생 표면의 홀로그램 재생 영역 내에서 형성된다. 홀로그램 재구성에는 도 4a에 표시되지 않은 푸리에 변환 렌즈와 같은 광학 장치가 필요할 수 있다. 대안적으로, 제어 신호(422)는 재구성을 수행할 수 있도록 구성된 추가 홀로그램 데이터를 더 포함할 수 있거나, SLM은 물리적 광학 장치에 대한 필요 없이 홀로그램 재구성을 가능하게 하는 다른 홀로그램 구성요소를 포함할 수 있다.
홀로그램 프로젝션 시스템의 광 검출
홀로그램 프로젝션 시스템에서 수광면으로부터의 광을 검출하기 위해 광 센서를 사용하고, 홀로그램 프로젝션 시스템의 동작을 알리고 및/또는 제어하기 위하여, 예컨대 SLM을 조사하도록 구성된 광원을 제어하기 위하여, 그러한 광 센서에 의해 획득된 광 검출 정보를 사용하는 것이 알려져 있다. 예컨대, 도 4a에서 광 센서(460)는 내부의 수광면(450)으로부터 광을 감지하도록 구성되는데, 여기서 광 센서(460)로부터의 광 검출 신호(461)는 레이저 제어기(410)로 피드백되고, 레이저 제어기(410)에 의해 SLM(480)을 조사하기 위한 레이저(470)에 대한 하나 이상의 작동 파라미터를 알리거나 제어하기 위하여 사용될 수 있다. 광 검출 신호(461)는 예컨대 광 파워, 밝기 또는 광 수용 표면(450) 상의 홀로그램 재구성의 일부 또는 전부의 휘도와 같은 파라미터에 관한 정보를 포함할 수 있다. 그 정보는 현재 이미지 프레임 및/또는 후속 이미지 프레임에 대해 레이저(470)의 동작을 제어하기 위해 레이저 제어기(410)에 의해 사용될 수 있다. 이것은 예컨대, 복수의 연속적인 이미지 프레임에 걸쳐 일관된 수준의 이미지 밝기/휘도를 달성하거나, 특정 프레임 또는 프레임들에 대해 또는 특정 시간 또는 시간에 특정 수준의 이미지 밝기/휘도를 달성하는 것을 목표로 하는 폐쇄 루프 피드백 시스템의 일부로 구현될 수 있다. 이는 위에서 언급한 바와 같이 본 명세서에 참고로 포함되는 GB2554472에 더 자세히 설명되어 있다.
홀로그램 프로젝션 시스템의 경우, 홀로그램 재구성의 밝기(본 명세서에서 홀로그램 평면 상의 '이미지'로 지칭됨)는 얼마나 많은 이미지 컨텐츠가 표시되는지에 의존한다는 것이 또한 알려져 있다. 특히, 이미지에 더 많은 컨텐츠가 표시되면 휘도가 떨어지면서 이미지의 밝기가 감소한다. '휘도'라는 용어는 제곱미터당 칸델라(cdm-2) 단위로 측정할 수 있는 광도의 척도로서 당업자에게 알려져 있을 것이다. 홀로그램 재구성의 밝기와 그 안에 있는 이미지 컨텐츠의 양 사이의 이러한 관계는 회절 홀로그램 프로레스에서 기존 디스플레이 기술과 달리 입력 광이 이미지(재생 필드에서 빛을 받는 부분) 전체에 걸쳐서 분할되기 때문에 발생한다. 정보량과 광 파워 사이에는 반비례 관계가 있다고 볼 수 있다. 예컨대, 1단위 영역의 홀로그램 이미지는 10단위 영역으로 구성된 이미지보다 10배 더 밝다.
상기와 같은 경우, 홀로그램으로 재구성된 이미지 내에서 2차 이미지 영역을 사용하여 해당 이미지 내의 1차 이미지 영역의 광 파워, 밝기 또는 휘도에 관한 정보를 얻는 것으로 알려져 있다. 1차 이미지 영역의 밝기에 대한 정보는 홀로그램 재생 필드 내의 빛의 일부를 2차 이미지 영역으로 향하게 하고 2차 이미지 영역의 광 파워를 모니터링함으로써 제공될 수 있다. 2차 이미지 영역의 광 파워는 이미지(조사되는 재생 필드의 부분)의 복사선속(Js-1m2) 또는 휘도(cdm-2), 따라서 밝기를 직접적으로 나타낸다. 특히, 제2 이미지 영역은 2차 이미지 영역이 고정된 영역 및/또는 2차 이미지 영역의 영역을 고려하는 경우 1차 이미지 영역의 밝기에 대한 정보를 제공할 수 있다. 이는 1차 이미지 영역의 이미지 컨텐츠에 영향을 주지 않고 수행할 수 있다.
따라서, 일부 배열에서, 홀로그램으로 재구성된 이미지는 사용자에 대한 정보를 포함하는 1차 이미지 영역 및 1차 이미지 영역과 이격될 수 있는 1차 영역과 다른 2차 이미지 영역을 갖는다. 일부 배열에서는, 이미지의 나머지 영역이 노이즈 덤프(noise dump)로 사용될 수 있다. 1차 이미지 영역은 사용자에게 보여지도록 의도된 (그리고 실제로, 볼 수 있도록 의도된) 임의의 적절한 정보를 포함할 수 있다. 예컨대, 속도 또는 위치를 나타내는 정보와 같은 증강 현실 정보를 포함할 수 있다. 다른 한편으로, 2차 이미지 영역은 사용자를 위하여 의도된 컨텐츠를 포함하지 않을 수 있지만, 대신에 예컨대 폐쇄 루프 피드백 제어의 일부로서 홀로그램 프로젝션 시스템에 의해서만 사용되도록 의도된 컨텐츠를 포함할 수 있다. 이러한 컨텐츠는 영상의 사용자나 뷰어가 아닌 프로젝션 시스템에 사용하기 때문에 '제어 정보'라고 할 수 있다. 1차 이미지 영역의 하나 이상의 파라미터의 표시를 획득하기 위해 2차 이미지 영역의 하나 이상의 파라미터가 검출 및/또는 모니터링 및/또는 측정될 수 있다. 따라서, 2차 이미지 영역의 제어 정보는 하나 이상의 '시스템 제어 파라미터'를 포함하는 것으로 지칭될 수 있다. 도 5는 두 개의 이미지(500, 500')를 포함하고, 이들 각각은 2차 이미지 영역(502, 502')을 가지며, 이는 여기에 개시된 개선된 방법과 관련하여 아래에서 더 자세히 논의될 것이다.
이미지의 1차 이미지 영역 및 2차 이미지 영역에 대한 각각의 광 패턴은 모두 컴퓨터-생성 홀로그램(CGH)과 같은 공통 홀로그램에서 생성될 수 있다. 유리하게도, 빛은 1차 이미지 영역에 부정적인 영향을 미치거나 1차 이미지 영역에 표시된 정보에 대한 사용자의 시야를 가리지 않고 컴퓨터-생성 홀로그램(CGH)과 같은 홀로그램에 의해 2차 이미지 영역으로 쉽게 지향될 수 있다. 이러한 홀로그램을 표시하는 SLM이 조사되면 홀로그램 프로젝션 시스템 내에서 1차 이미지 영역으로 향하는 빛이 결합되어 사용자에게 유용한 정보 또는 데이터를 형성한다. 반면에 2차 이미지 영역으로 향하는 빛은 사용자를 위한 정보 또는 데이터를 형성하기 위해 결합되지 않을 수 있다. 2차 이미지 영역은 스폿 또는 다른 형태의 광을 포함할 수 있지만, 임의의 바람직한 광 패턴은 2차 이미지 영역으로 지향될 수 있다.
도 4a의 홀로그램 프로젝션 시스템을 다시 참조하면; 일부 배열에서, 광 센서(460)는 홀로그램 재생 평면 상의 홀로그램 재생 필드 내에 형성된 이미지에서 2차 이미지 영역의 광 파워를 측정하도록 구성된다. 도 4a에서, 홀로그램 재생 평면에 위치한 수광면(450)이 있어서, 홀로그램으로 재구성된 이미지가 수광면(450) 상에 형성된다. 그러나, 수광면(450)은 필수적인 것은 아니며 모든 배열에 존재하지 않을 수 있다. 즉, 광 센서(460)는 2차 이미지 영역에 대응하는 수광면(450)의 부분에 의해 난반사(또는 투과)된 광을 수신하도록 (또는 2차 이미지 영역에 대응하는 수광면(450)의 부분으로 이동하는 동안 차단된 광을 수신하도록) 구성된다. 광 센서(460)는 수광면(450)의 전면 또는 수광면(450)의 후면에 위치할 수 있다. 도시되지 않은 일부 배열에서, 광 센서(460)는 노이즈를 감소시키는 반점 제거 효과를 제공하기 위해 수광면(450) 뒤에 위치된다. 광 센서(460)는 SLM(480)으로부터 진행되는 광의 광 경로를 기준으로 수광면(450)의 전후에 위치할 수 있다. 일부 배열에서, 2차 이미지 영역은 주로 사용자를 위한 것이 아니고 사용자에게(즉, 인간 뷰어에게) 보이지 않을 수 있는 정보를 포함한다. 일부 배열에서, 광 센서(460)는 1차 이미지 영역으로부터 어떠한 광도 수신하지 않도록 구성된다. 일부 배열에서, 제어 정보(2차 이미지 영역)는 사용자를 위해 의도된 임의의 컨텐츠로부터 멀리 위치될 수 있다. 따라서, 제어 정보는 사용자의 시청을 방해하지 않도록 시청자를 위한 컨텐츠와 물리적으로 이격될 수 있다.
도 4b는 공지된 홀로그램 프로젝션 시스템('홀로그램 픽쳐 생성 유닛(PGU)'으로도 지칭될 수 있음)에 대한 휘도 제어 및 이미지 생성을 위한 종래의 배열을 도시한다. 도 4b의 배열은 홀로그램으로 재구성된 이미지의 2차 이미지 영역 내의 빛이 감지되어 해당 이미지의 1차 이미지 영역의 광 파워, 휘도 또는 밝기에 대한 정보를 얻는 홀로그램 프로젝션 시스템에 적용될 수 있다. 그러나, 본 개시는 이러한 배열에 제한되지 않고 다른 홀로그램 프로젝션 시스템 배열에도 적용될 수 있다.
도 4b에는 홀로그램 프로젝션 시스템 또는 홀로그램 PGU(4000)에 의해 생성된 홀로그램으로 재구성된 이미지의 휘도에 관한 피드백 루프가 제공된다. 그 휘도는 그러한 이미지의 구성 부품 또는 영역의 휘도 또는 하나 이상의 그러한 영역의 휘도 또는 전체 이미지의 휘도일 수 있다. 간결함을 위해, 이 설명에서는 이러한 모든 가능성을 포괄하기 위해 '이미지'의 휘도를 참조한다.
도 4b에는 이미지에 대한 '휘도 목표'(4020)가 있다. 그 휘도 목표는 일정기간 동안 일정할 수 있으며, 그 동안 다수의 이미지가 차례로 표시되거나 동적으로 변할 수 있다. 휘도 목표는 예컨대 이미지(전체 또는 일부)에 대한 목표 밝기 또는 목표 휘도를 포함할 수 있다. 어떤 경우에는, 휘도 목표가 최대 휘도 값이 될 수 있다. 휘도 목표(4020)는 PGU(4000) 내에서 휘도 피드백 루프 로직(4040)에 대한 입력으로서 제공된다. 당업자가 이해하는 바와 같이, 휘도 피드백 루프 로직은 하드웨어 및/또는 소프트웨어 구성요소의 임의의 적절한 조합을 포함할 수 있다.
휘도 피드백 루프 로직(4040)은 디지털-아날로그 변환기(DAC)(4060)에 입력을 제공하고, 이는 차례로 레이저 전류 제어기(4080)에 입력을 제공한다. DAC(4060) 및 레이저 전류 제어기(4080)는 각각 하드웨어 및/또는 소프트웨어 구성요소의 임의의 적절한 조합을 포함할 수 있다. 레이저 전류 제어기(4080)는 LCOS(4180)를 조사하는 레이저 광원의 전류를 변조함으로써 디스플레이 - 즉, Liquid Crystal on Silicon 공간 광 변조기 'LCOS(4180)'에 홀로그램을 조사한 결과 수광면에 형성된 홀로그램으로 재구성된 이미지 - 의 밝기를 변조하도록 구성된다.
휘도 피드백 루프 로직(4040)은 레이저 전류 제어기(4080)가 주어진 시간 또는 시간에 휘도 목표(4020)에 따라 레이저를 제어하는 것을 보장하도록(시도하도록) 구성된다. 예컨대, 목표는 연속적인 이미지 프레임 사이에서 이미지 내용이 변경됨에도 불구하고, 디스플레이된 이미지의 연속에 있는 모든 이미지가 동일한 목표 휘도를 갖도록 하는 것일 수 있다. 이를 위해, 휘도 피드백 루프 로직(4040)은 실시간으로 이미지의 휘도에 대한 정보를 필요로 한다. 따라서, 휘도 피드백 로직(4040)에 대한 입력이 있으며, 이는 도 4b에서 이미지의 휘도에 관한 정보를 제공하는 'ADC 측정(4100)'이라고 지칭된다. 이 예에서, ADC 측정(4100)은 하나 이상의 광 센서 또는 포토다이오드로부터의 입력을 갖는 아날로그-디지털(ADC) 변환기(미도시)의 출력을 포함하며, 이 변환기는 이미지에서 빛을 감지하고, 감지된 빛에 관한 하나 이상의 빛 감지 신호를 전송한다. 일부 배열에서, 광 센서(들)는 빨강, 녹색 및 파랑(RGB)의 세 가지 각각의 색상에 대해 별도로 이미지의 빛의 양을 감지하고 측정하도록 구성된다. 광 센서(들)는 이미지 프레임 내에 표시되는 패턴에 의해 조사되도록 구성된다. 그 패턴은, 예컨대, 전술한 바와 같이 홀로그램으로 재구성된 이미지 내의 2차 이미지 영역을 포함할 수 있다. 그러나, 본 개시 내용은 그러한 구성에 제한되지 않고, 광 센서(들)는 대신에 1차 이미지 영역으로부터 또는 홀로그램으로 재구성된 이미지의 다른 부분 또는 부분들 또는 전체로부터 광을 검출하도록 구성될 수 있다.
도 4b의 PGU(4000)는 또한 이미지 처리 유닛(4140)으로 입력되는 입력 이미지(4120)를 나타내는 홀로그램(4160)을 출력하도록 구성된 이미지 처리 유닛(4140)을 포함한다. 일부 배열에서, 이미지 처리 유닛(4140)은 예컨대, 위에서 설명된 방법 중 하나를 사용하여 컴퓨터-생성 홀로그램(CGH)을 생성하도록 구성된다. 이미지 처리 유닛(4140)은 복수의 홀로그램(4160)을 연속적으로 출력하도록 구성될 수 있다. 따라서, 복수의 연속적인 각각의 입력 이미지(4120)에 기초하여 홀로그램을 매우 빠르게 생성 및 출력하도록 구성될 수 있다. 홀로그램(4160)은 도 4b에서 LCOS(4180)인 공간 광 변조기에 표시되도록 구성된다.
PGU(4000)의 레이저 전류 제어기(4080)는 레이저(미도시)를 제어하도록 구성되고, 레이저는 차례로 홀로그램(4160)을 조사하고 홀로그램 재생 평면에서, 예컨대, 홀로그램 재생 평면에 위치한 수광면(미도시)에서, 홀로그램으로 재구성된 이미지를 형성하기 위해 LCOS(4180)를 조사하도록 구성된다. 홀로그램 재생 평면에 이미지가 형성되면 광 센서 또는 센서들이 그 안의 빛을 감지하고, 도 4b에서 ADC 측정(4100)을 통해 입력되는 하나 이상의 광 감지 신호를 휘도 피드백 루프 로직(4040)으로 전송한다. 이미지의 밝기를 제어하고, 이미지의 휘도를 휘도 목표(4020)에 더 가깝게 일치시키기 위하여 휘도 피드백 루프 로직(4040)은 주어진 시간에 이미지의 휘도를 결정하고, 레이저 제어에 필요한 조정을 하기 위해 광 검출 신호 내에 포함된 정보를 사용하도록 구성된다.
홀로그램 이득
본 발명자들은 광 센서(또는 '포토다이오드')가 광 감지 기능의 정확도 및 범위에 부정적인 영향을 미칠 수 있는 작동 제한이 있음을 인식했다. 본 발명자들은 이것이 생성하고 표시하는 홀로그램으로 재구성된 이미지의 밝기를 정확하고 동적으로 모니터링하고 제어하는 홀로그램 프로젝션 시스템의 능력에 노크온(knock-on) 효과를 가질 수 있음을 추가로 인식했다.
예컨대, 본 발명자들은 디스플레이된 이미지가 저조도 레벨(즉, 저휘도)에 있을 때, 포토다이오드에 의해 수신된 빛의 양이 포토다이오드의 감지 임계값 미만일 수 있음을 확인했다. 따라서, 이미지의 빛의 양이 너무 작아 감지할 수 없다. 또한, 실제 시스템에서, 전자 노이즈(electronic noise)는 이미지에서 나오는 빛에 의해 생성되는 광 전류보다 높을 수 있는 광 전류를 생성할 수 있다. 따라서, 이미지 내에서 광 검출이 흐려질 수 있다. 반대로, 디스플레이된 이미지가 고조도 레벨(즉, 고휘도)에 있을 때, 포토다이오드가 받는 빛의 양은 포토다이오드의 포화 한계보다 높을 수 있다. 따라서, 이미지의 빛의 양이 너무 많아 정확하게 측정할 수 없다. 결과적으로, 이 두 상황 모두에서 포토다이오드에 의해 생성된 광 감지 신호는 도 4b의 예시 배열에서 휘도 피드백 루프 로직으로 공급되며 부정확하거나 불완전하다. 따라서, 디스플레이의 휘도는 높거나 낮은 조명 수준에서 정확하게 제어할 수 없다.
예컨대, 본 발명자들은 홀로그램 프로젝션 시스템이 차량의 헤드업 디스플레이(HUD) 내에 포함될 때, 그것이 정확하게 작동해야 하는 매우 넓은 범위의 조명 조건이 있음을 확인했다. 예컨대, 밝은/직사 광선과 칠흑 같은 밤에서 작동해야 한다. 따라서 이러한 시스템에서 홀로그램 재구성의 목표 밝기 또는 휘도는, 특히 주변광의 함수일 가능성이 높다. 매우 밝은 조명 조건에서, 이 시스템은 햇빛에도 불구하고 사용자가 이미지를 볼 수 있도록 HUD의 밝기를 최대로 높여야 할 수 있다. 반대로, 야간 조건의 경우, 이 시스템은 운전자의 눈을 멀게 하지 않도록 디스플레이의 밝기를 줄여야 한다. 요구되는 범위는 디스플레이 기술의 표준에 따라 극단적이다. 그러나, 본 발명자들은 여기에 개시된 방법이 그러한 극단적 요구를 수용할 수 있고, 그것이 포토다이오드에 대한 최적의 작동 범위에서 항상 작동하는 것을 보장할 수 있다는 것을 인식하였다.
본 발명자들은 홀로그램으로 재구성된 이미지의 영역에서 빛의 하나 이상의 광학적 특성에 대한 제어를 제공하는 소프트웨어 솔루션을 적용함으로써 홀로그램 프로젝션 시스템의 제어가 개선될 수 있음을 인식하였다. 이것은 대응하는 홀로그램을 생성하기 전에 그리고 그 홀로그램이 조사되기 전에, 홀로그램 재구성을 형성하기 위해 이미지 또는 이미지 프레임을 수정함으로써 수행될 수 있다. 따라서, 여기에 설명된 개선된 방법은 사전 예방적이다. 홀로그램으로 재구성된 이미지의 제어된 영역의 광은 하나 이상의 광 센서에 의해 검출될 수 있고, 상기 하나 이상의 광 센서로부터의 광 검출 신호는 홀로그램 프로젝션 시스템을 위한 제어기에 입력될 수 있다. 그런 다음 제어기는 감지된 신호를 기반으로 적용된 소프트웨어 제어를 고려하여 이미지에 대한 결정을 내릴 수 있다. 예컨대, 광 감지 신호는 시스템에 대한 피드백 제어 루프의 일부로 제어기에 제공될 수 있다. 예컨대, 광학 속성은 광 파워, 휘도, 또는 (영역) 이미지에서 빛의 밝기 중 임의의 것을 포함할 수 있다.
본 발명자들은 입력 이미지는, 광의 광학 특성의 크기(또는 값, 또는 양)가 기 정의된 범위 내에 있거나, 또는 해당 광을 검출하도록 구성된, 대응하는 광 센서 또는 광 센서들에 대한 기 정의된 임계 크기(또는, 값, 또는 양)을 초과하거나 그 미만이 되도록, 수정되거나 제어될 수 있다는 것을 추가로 인식했다. 기 정의된 범위 및/또는 기 정의된 임계값 또는 임계값들은 광 센서 또는 광 센서의 작동이 적어도 허용 가능한 허용 범위 내에서 정확하다고 간주되는 조건을 나타낼 수 있다. 기 정의된 범위 및/또는 기 정의된 임계값 또는 임계값들은 광 센서(들)에 대한 최적의 작동 조건에 해당할 수 있다. 기 정의된 범위 및/또는 기 정의된 임계값 또는 임계값들은 광 센서(들)에 대한 차선의 작동 조건을 실질적으로 피할 수 있다.
광 센서는 일반적으로 빛을 감지할 수 있는 광도 수준(또는 휘도 수준)의 범위를 갖는다. 본 발명자들은 광 센서의 범위 내 최저점과 같거나 낮은 광도(또는 휘도 수준)를 가지고 감지되는 홀로그램으로 재구성된 이미지(또는 이미지의 일부)를 피하는 것이 바람직할 수 있다는 것을 인식했다. 광 센서의 동작이 그 동작 범위의 어느 한쪽 끝에 덜 민감할 수 있고, 이미지로부터의 광이 광 센서의 관점으로부터, 배경 잡음 성분에 의해 생성된 광전류에 의해 광 센서의 동작 범위의 어느 한쪽 끝에서 덜 민감할 수 있기 때문에, 광 레벨(또는 휘도 레벨)을 갖는 이미지를 피하는 것이 바람직할 수 있다. 유사하게, 본 발명자들은 광 센서의 범위의 최고점과 같거나 더 큰 광 레벨(또는 휘도 레벨)을 갖는 것으로 검출될 이미지(또는 이미지의 일부)를 피하는 것이 바람직할 수 있음을 인식했다. 또한, 광 센서의 동작이 그 동작 범위의 어느 한쪽 끝에 대해 덜 민감할 수 있고, 광 센서가 높은 광 레벨에서 포화될 수 있기 때문에, 광 센서의 범위의 최고점보다 더 큰 광 레벨(또는 휘도 레벨)을 갖는 이미지를 피하는 것이 바람직할 수 있다.
본 발명자들은 홀로그램으로 재구성된 이미지 또는 그러한 이미지의 일부의 휘도가 제어되어 홀로그램 프로젝션 시스템 내에서 광 센서에 의해 더 정확하게 검출될 수 있도록 하는 방법을 만들었다. 그 결과, 이미지 또는 이미지의 일부에 대한 보다 정확한 광 검출 신호가 시스템 내의 제어기에 입력될 수 있으며, 그 결과 이미지(또는 이미지의 일부)의 휘도가 더 잘 제어될 수 있다. 어떤 경우에는, 타겟 휘도 또는 '휘도 목표'에 특정 시점의 실제 휘도를 일치시키는 것이 포함될 수 있다. 휘도 목표는 홀로그램으로 재구성된 이미지의 제1 부분과 관련될 수 있고, 휘도를 제어하는 방법은 다음의 상세한 설명에서 더 잘 이해될 바와 같이, 홀로그램으로 재구성된 이미지의 다른 제2 부분과 관련될 수 있다.
따라서, 본 발명자들은 예컨대, 하나 이상의 광 센서의 요구 사항을 수용하기 위해 홀로그램으로 재구성된 이미지의 일부의 휘도 제어가 홀로그램으로 재구성된 이미지의 다른 부분의 휘도 제어에서, 예컨대 휘도 목표에 도달하기 위하여 분리될 수 있음을 인식했다. 예컨대, 휘도 목표가 홀로그램으로 재구성된 이미지의 제1 부분을 더 밝게 만들기 위해 제어기가 작동 파라미터를 변경해야 한다고 지시하는 경우(예: 광원에 대한 전류 증가), 해당하는 하나 이상의 광 센서에 의해 감지되어야 하는 홀로그램으로 재구성된 이미지의 제2 부분은 너무 높아서 센서(들)에 의한 결과 광 감지가 충분히 정확하거나 신뢰할 수 없을 수 있다. 그러한 경우에, 본 방법은 홀로그램으로 재구성된 이미지의 제2 부분의 휘도가 축소되어야 광 센서(들)에 대해 편안하고 더 정확한 작동 범위 내에 유지되어야 한다고 결정할 수 있다. 이것은 홀로그램으로 재구성된 이미지의 제1 부분의 밝기를 변경하지 않고, 따라서 이미지의 제1 부분에 대해 달성되어야 하는 휘도 목표를 손상시키지 않고 수행될 수 있다.
홀로그램으로 재구성된 이미지 또는 그러한 이미지의 일부의 휘도 제어는 홀로그램 재구성을 위하여 홀로그램 프로젝션 시스템에 입력되는 소위 '타겟 이미지'의 일부 또는 전체 또는 타겟 이미지를 포함하는 이미지 프레임에 수정을 적용하여 제공될 수 있다. 아래의 상세한 설명에서 더 잘 이해될 수 있듯이, 그 수정은 뷰어의 관점에서 타겟 이미지와 대적하여 홀로그램으로 재구성된 이미지의 이미지 컨텐츠를 변경하지 않고, 광 센서에 의해 검출될 홀로그램으로 재구성된 이미지의 '제어' 부분의 휘도를 수정하기 위하여 선택될 수 있다.
전술한 바와 같이, 그리고 당업자에게 잘 알려진 바와 같이, 홀로그램 프로젝션 시스템은 일반적으로 타겟 이미지를 수신하고, 그 타겟 이미지의 홀로그램을 획득하거나 생성하고, SLM과 같은 디스플레이 장치 상에 홀로그램을 디스플레이하고, SLM 상에 디스플레이 되는 홀로그램을 조사하여 홀로그램 재생 평면에서 타겟 이미지의 홀로그램 재구성을 형성하도록 구성된다. 본 방법은 타겟 이미지를 나타내는 홀로그램이 획득되거나 생성되기 전에 타겟 이미지의 일부(또는 타겟 이미지를 포함하는 이미지 프레임의 일부)에 수정 또는 변경을 적용하는 과정을 포함할 수 있다.
본 명세서에 기술된 방법은, 뷰어에 의해 시청되도록 의도된 이미지 컨텐츠를 포함하는 1차 이미지 영역을 갖는 이미지 프레임이 타겟 이미지에 적용될 수 있고(그러나 이에 제한되지 않는다), 뷰어에 의해 시청되도록 의도되지 않지만 광 센서에 의해 검출되도록 의도되는 컨텐츠를 포함하는 2차 1차 영역이 생성된다. 이러한 실시예에서, 홀로그램은 1차 및 2차 이미지 영역을 포함하는 이미지 프레임으로 생성된다. 이미지 프레임은 픽셀 어레이를 포함하고, 각 픽셀은 휘도 레벨을 나타내는 그레이 레벨을 갖는다. 이 방법은 2차 이미지 영역의 그레이 스케일 레벨(greyscale level)을 변경하기 위해 2차 이미지 영역의 컨텐츠에 스케일링 인자를 적용하는 과정을 포함할 수 있다. 스케일링 인자는 '곱셈 인자' 또는 '홀로그램 이득' 또는 '이득 인자'라고 지칭될 수 있다. 이것은 도 5와 관련하여 더 이해될 수 있다.
도 5는 제1 이미지 프레임(500) 및 제2 이미지 프레임(500')을 포함한다. 제2 이미지 프레임(500')은 제1 이미지 프레임(500)의 수정된 버전이며, 이하의 설명에서 더 이해될 것이다. 제1 이미지 프레임(500)은 각각의 1차 이미지 영역(501) 및 각각의 2차 이미지 영역(502)을 포함한다. 유사하게, 제2 이미지 프레임(500')은 각각의 1차 이미지 영역(501') 및 각각의 2차 이미지 영역(502')을 포함한다. 제1 이미지 프레임(500)의 1차 이미지 영역(501)은 제2 이미지 프레임(500')의 1차 이미지 영역(501')과 실질적으로 동일하다. 이것은 홀로그램 프로젝션 시스템에 입력되는 타겟 이미지에서 형성된다. 각 1차 이미지 영역(501, 501')의 이미지 컨텐츠는 타겟 이미지의 이미지 컨텐츠와 실질적으로 동일하거나 또는 적어도 홀로그램으로 재구성된 이미지가 생성되어 뷰어가 볼 타겟 이미지의 일부와 실질적으로 동일하다.
제1 이미지 프레임(500)의 2차 이미지 영역(502)은 그 내부의 1차 이미지 영역(501)과 물리적으로 분리되어 있다. 상기 및 영국 특허 GB2554472에서 보다 상세히 설명된 바와 같이, 2차 이미지 영역(502)은 '제어 영역'으로 지칭될 수 있다. 2차 이미지 영역(502)은, 뷰어가 볼 수 있는 컨텐츠를 포함하지 않을 수 있지만, 뷰어가 보도록 의도된 이미지 컨텐츠를 포함하는 홀로그램으로 재구성된 이미지의 1차 영역의 밝기 또는 휘도에 관한 정보를 얻기 위하여 빛을 감지하고 측정할 수 있는 홀로그램으로 재구성된 이미지의 2차 영역을 생성하기 위하여 제1 이미지 프레임(500)에 포함된다. 2차 이미지 영역(502)은 또한 '파워 박스' 또는 '파워 스퀘어'로 지칭될 수 있지만, 반드시 정사각형일 필요는 없다.
위에서 자세히 설명한 바와 같이, 일부 상황에서 홀로그램으로 재구성된 이미지의 2차 영역의 광 레벨(또는 휘도 레벨 또는 밝기 레벨)은 하나 이상의 광 센서에 의한 감지에 적합하지 않거나, 예컨대 낮은 레벨의 빛에서 배경 광전류 노이즈의 영향이나 높은 레벨의 빛에서 광 센서의 과포화로 인해 해당 광 검출 신호에 의해 부정확하게 감지되거나 부정확하게 나타난다. 여기에 제시된 방법은 제1 이미지 프레임(500)의 2차 이미지 영역(502)을 수정함으로써, 그리고 제2 이미지 프레임(500')의 2차 이미지 영역(502')을 형성함으로써 이러한 문제를 해결할 수 있다. 상기 수정은 2차 이미지 영역(502')을 형성하기 위하여 2차 이미지 영역(500)의 그레이스케일 레벨을 변경하는 것을 포함하는데, 여기서 제1 이미지 프레임(500)의 홀로그램을 생성하는 대신에, 제2 이미지 프레임(500')을 나타내는 홀로그램이 후속적으로 생성된다.
'그레이 스케일'의 개념은 당업자에게 잘 알려져 있으므로 여기에서 자세히 설명하지 않는다. 요컨대, 이미지 픽셀의 그레이 스케일 값은 픽셀에 존재하는 빛의 강도를 측정한 것이다. 이미지 프레임을 홀로그램으로 변환하는 경우, 이미지 프레임 내에서 픽셀의 그레이스케일 값은 이미지 프레임의 홀로그램 재구성이 해당 홀로그램에서 후속적으로 형성될 때 재구성된 이미지의 해당 픽셀 위치를 향해 홀로그램이 회절해야 하는 빛 에너지의 양에 해당한다. 따라서, 이미지 프레임에서 픽셀(또는 하나 이상의 픽셀을 포함하는 영역)의 그레이스케일을 변경하는 것은 대응하는 홀로그램으로 재구성된 이미지에서 대응하는 픽셀 위치(또는 위치들)에서 휘도의 변화로 나타날 것이다. 예컨대, 이미지는 256개의 그레이스케일 레벨을 포함할 수 있다: 그레이 레벨 0은 블랙일 수 있고, 그레이 레벨 255는 화이트일 수 있다. '그레이스케일' 또는 '그레이 레벨'에 대한 언급은 이미지의 특정 색상 또는 그 부재를 의미하는 것이 아니라, 예컨대 디지털화된 이미지의 픽셀과 같은 특정 이미지 영역에 대한 이산화된 밝기 레벨(휘도, 강도 등)을 의미하는 것으로 이해될 것이다.
본 예에서, 제1 이미지 프레임(500)의 제2 이미지 영역(502)은, 이것이 홀로그램으로 변환되기 전에 2차 이미지 영역(502) 내의 하나 이상의 이미지 픽셀들에 스케일링 인자(또는, '곱셈 인자' 또는 '홀로그램 이득' 또는 '이득 인자')를 적용함으로써 변경된다. 스케일링 인자는 2차 이미지 영역(502) 내에서 이미지 픽셀 또는 픽셀들의 그레이스케일 값을 곱한다. 스케일링 인자는 정수 또는 소수일 수 있고, '1'보다 크거나 작을 수 있는 임의의 적절한 숫자일 수 있다. 예컨대, 256개의 그레이스케일 레벨을 갖는 이미지의 경우, 레벨 '255'는 전광(즉, 백색)을 나타내고, 레벨 '0'은 빛을 나타내지 않으며(즉, 암흑 또는 흑도), 스케일링 인자 0.5는 2차 이미지 영역 내의 픽셀 또는 픽셀들에 적용될 수 있으며, 그 결과, 픽셀의 그레이스케일 값은 128(가장 가까운 정수 레벨로 반올림)이 될 것이다. 이렇게 하면 픽셀이 백색에서 중간 회색으로 변경되는 가시적인 효과가 나타난다.
도 5에서 제2 이미지 프레임(500')의 2차 이미지 영역(502')의 그레이스케일 값은 제1 이미지 프레임(500)의 2차 이미지 영역(502)의 그레이스케일 값과 제1 이미지 프레임(500)의 2차 이미지 영역(502)에 적용된 스케일링 인자에 대응하는 인자만큼 상이하여, 제2 이미지 프레임(500')의 2차 이미지 영역(502')을 형성한다.
일 실시예에 따르면, 제2 이미지 프레임(500')의 홀로그램을 조사하여 홀로그램 재구성을 형성하는 경우, 해당 광 센서 또는 광 센서들에 의해 안정적이고 정확하게 감지되는데 제1 이미지 프레임(500)의 홀로그램 재구성의 2차 영역보다 더 적합한 광 레벨(또는 휘도 레벨 또는 밝기 레벨)을 갖는 2차 영역을 갖는다. 따라서, 홀로그램 재구성의 2차 영역의 휘도 레벨이 높은(또는 높을 것으로 예상되는) 경우, 홀로그램 재구성의 결과적인 2차 영역을 덜 밝게 만들고 따라서 대응하는 광 센서에 의해 정확하게 검출되기에 더 적합하도록 하기 위하여 1보다 작은 스케일링 인자가 2차 이미지 영역에 적용될 수 있다. 반대로, 홀로그램 재구성의 2차 영역의 휘도 레벨이 낮은(또는 낮을 것으로 예상되는) 경우, 홀로그램 재구성의 결과적인 2차 영역을 더 밝게 만들고, 따라서 대응하는 광 센서에 의해 정확하게 검출되기에 더 적합하도록 1보다 큰 스케일링 인자가 2차 이미지 영역에 적용될 수 있다.
실시예들에 따르면, 본 방법은 홀로그램의 생성 전에 1차 이미지 영역(501)에 스케일링 인자를 적용하지 않는다. 다른 실시예에서, 1차 이미지 영역(501)에 대응하는 홀로그램으로 재구성된 이미지 부분의 휘도를 변경하기 위하여 홀로그램의 생성 전에 1차 이미지 영역(501)에 스케일링 인자가 적용될 수 있다. 이러한 스케일링 인자는 2차 이미지 영역(502)에 적용되는 것과 다를 수 있다. 따라서, 홀로그램을 생성하기 전에 1차 및 2차 이미지 영역에 적용된 각 스케일링 인자의 비율을 나타내는 '상대 스케일링 인자'가 있을 수 있다.
따라서, 홀로그램 프로젝션 시스템의 제어기는 홀로그램으로 재구성하는 각 이미지 프레임에 대하여 2차 이미지 영역이 수정되었는지 여부를 알아야 한다. 2차 이미지 영역이 픽셀의 그레이스케일 레벨에 스케일링 인자를 적용하여 수정된 경우, 제어기는 2차 이미지 영역이 스케일링된 스케일링 인자를 알아야 한다(홀로그램 생성 전에 1차 이미지 영역에 적용된 스케일링 인자에 비례하거나 절대적인 용어). 더욱이, 홀로그램이 생성되기 전에, 따라서 홀로그램 재구성이 일어나기 전에, 스케일링 인자가 2차 이미지 프레임(502)에 적용되어야 하기 때문에, 이 시스템의 제어기는 스케일링 인자가 없는 상태에서 홀로그램이 생성되고 홀로그램 재구성을 형성하기 위해 조사되어야 하는 경우, 홀로그램으로 재구성된 이미지의 해당 2차 영역의 예상 휘도 표시를 요구할 수 있다. 이 정보를 통해 제어기는 해당 홀로그램이 생성되기 전에 2차 이미지 영역 픽셀의 그레이스케일 레벨을 스케일링할지 여부 및 방법을 결정할 수 있다.
일부 경우에, 홀로그램 프로젝션 시스템의 제어기는 홀로그램으로 재구성된 이미지의 대응하는 제2 영역의 예상 또는 예측되는 휘도 레벨에 기초하여 해당 홀로그램이 생성되기 전에 2차 이미지 영역의 픽셀(들)의 그레이스케일 레벨을 스케일링할지 여부 및 어떤 요인에 의한 것인지 여부를 결정할 수 있다. 예컨대, 제어기는 이미지의 1차 영역에 대한 목표 휘도를 달성하기 위하여 레이저 전류를 제어한다고 결정할 수 있으며, 따라서 해당 레이저 전류 레벨에서 이미지의 2차 영역에 해당하는 휘도가 얼마인지 계산할 수 있다. 예컨대, 제어기는 하나 이상의 다가오는(즉, 미래의) 홀로그램 재구성의 2차 영역(들)의 예상 또는 예측되는 휘도 레벨을 결정하기 위하여 하나 이상의 선행 홀로그램으로 재구성된 이미지의 2차 영역의 검출된 휘도 레벨을 사용할 수 있다. 2차 이미지 영역에 대해 계산되거나 예상되는 휘도 레벨이 해당 광 센서(들)가 정확하고 신뢰할 수 있는 것으로 간주되는 미리 결정된 작동 범위(또는 미리 결정된 임계값 이상 또는 이하)를 벗어나는 경우, 제어기는 대응하는 홀로그램이 생성되고 조사되기 전에 다가오는 이미지 프레임(들)의 2차 이미지 영역의 그레이스케일 레벨을 스케일링하는 것이 적절하다고 결정할 수 있다. 따라서, 본 명세서에 기술된 개선된 방법은 반응성 검출 및 수정에만 의존하기보다는 능동적 휘도 제어를 제공할 수 있다.
예컨대, 광 센서가 최적 작동 범위의 양쪽 끝(또는 근처)에 있는 레벨의 광을 감지했음을 감지된 광 신호가 나타내는 것으로 제어기가 결정하면, 이것은 제어기가 대응하는 홀로그램(들)이 생성되고 조사되기 전에 하나 이상의 다가오는 이미지 프레임(들)의 2차 이미지 영역의 그레이스케일 레벨을 스케일링하는 것이 적절하다고 결정하도록 트리거(trigger)할 수 있다. 일부 경우에, 제어기는 하나 이상의 다가오는 이미지 프레임에 대한 휘도 예측을 제공하도록 구성될 수 있다. 이미지 프레임에서 2차 이미지 영역의 그레이스케일 레벨이 스케일링되어야 하는지 여부 및 어떤 요인에 의해 스케일링되어야 하는지에 대한 결정은 이러한 휘도 예측에 기초할 수 있다. 이에 대해서는 아래 설명의 '휘도 예측' 섹션에서 자세히 설명한다.
위에서 언급된 바와 같이, 일부 경우에서 하나 이상의 다가오는(즉, 미래의) 홀로그램 재구성의 2차 영역(들)의 예상 휘도 레벨은 홀로그램 프로젝션 시스템에 입력되는 휘도 타겟 또는 휘도 목표에 따라 제어기에 의해 결정될 수 있다. 즉; 제어기가 휘도 목표가 다가오는 홀로그램 재구성(1차 영역의)에 대해 무엇인지 알고 있으면 해당 휘도 목표가 달성된 경우 2차 영역의 해당 휘도가 무엇인지 알 수 있다. 제어기는 해당 홀로그램이 생성되고 조사되기 전에 그에 따라 2차 이미지 영역의 그레이스케일 레벨을 스케일링(즉, 곱하기)하는 것이 적절한지 여부를 결정하기 위하여 해당 지식을 사용할 수 있다. 이것은 도 6과 관련하여 더 이해할 수 있다.
도 6은 홀로그램 프로젝션 시스템('홀로그램 픽쳐 생성 장치(PGU)라고도 함)의 휘도 제어 및 이미지 생성을 위하여 개선된 배열을 보여준다. 도 6의 배열은 해당 이미지의 1차 이미지 영역의 광 파워 또는 휘도 또는 밝기에 대한 정보를 얻기 위해 홀로그램으로 재구성된 이미지의 2차 이미지 영역 내의 빛이 감지되는 홀로그램 프로젝션 시스템에 적용될 수 있다. 그러나, 본 개시는 이러한 배열에 제한되지 않고 다른 홀로그램 프로젝션 시스템 배열에도 적용될 수 있다.
도 6에서는, 도 6에서 홀로그램 PGU(600)인 것으로 도시된 홀로그램 프로젝션 시스템에 의해 생성될 홀로그램으로 재구성된 이미지의 휘도와 관련하여 개선된 피드백 루프가 제공된다. 그 휘도는 그러한 이미지의 구성 부품 또는 영역의 휘도 또는 하나 이상의 그러한 영역의 휘도 또는 전체 이미지의 휘도일 수 있다. 예컨대, 상술한 바와 같이 PGU(600)에 입력되는 이미지 (프레임) 상의 1차 이미지 영역에 해당하는 홀로그램으로 재구성된 이미지의 1차 영역의 휘도일 수 있다. 간결함을 위해, 이 설명에서는 이러한 모든 가능성을 포괄하기 위하여 '이미지'의 휘도를 참조한다.
도 6에는 이미지에 대한 '휘도 목표'(602)가 있다. 그 휘도 목표(또는, 휘도 타겟)는 일정 기간동안 일정할 수 있거나, 예컨대 주변 광 조건에 응답하여 동적으로 변할 수 있다. 예컨대, PGU(600)에 의해 홀로그램으로 재구성되는 둘 이상의 개별 연속 이미지 프레임 사이에서 변할 수 있다. 휘도 목표(602)는 예컨대, 이미지에 대한 타겟 밝기 또는 타겟 휘도를 포함할 수 있다. 휘도 목표(602)는 PGU(600) 내에 포함된 홀로그램 이득 계산기(604)에 대한 입력으로서 제공된다. 본 명세서의 도 6과 관련하여, 하나 이상의 광 센서들에 의해 검출될 홀로그램으로 재구성된 이미지의 대응하는 부분의 휘도를 변경하기 위하여 이미지 프레임 (예컨대, 그 내부의 2차 이미지 영역)의 일부에 적용되어야 하는 곱셈 인자 또는 스케일링 인자를 지칭하기 위하여 '홀로그램 이득' 용어가 사용된다. 홀로그램 이득 계산기는 그 곱셈 인자를 계산하도록 구성된다. 홀로그램 이득 계산기는 모든 입력 이미지(또는 모든 입력 이미지 프레임)에 대한 곱셈 인자를 계산하도록 구성될 수 있다.
홀로그램 이득 계산기는 계산을 위하여 하나 이상의 입력을 가질 수 있다. 예컨대, 도 6에서 '입력 이미지(652)'로 표시된 타겟 이미지(또는 타겟 이미지 프레임)를 입력으로 가질 수 있으므로, 예컨대 1차 이미지 영역의 픽셀 수 (홀로그램으로 재구성된 이미지의 해당 1차 영역에서 휘도 목표(602)가 적용되는)와 2차 이미지 영역의 픽셀 수(이는 홀로그램으로 재구성된 이미지에서 감지될 2차 '제어' 영역에 해당)간의 관계를 알 수 있다. 이 관계는 모든 이미지 프레임이 1차 이미지 영역과 2차 이미지 영역간에 동일한 픽셀 비율을 갖도록 고정될 수 있다.
타겟 이미지 (프레임)는 일부 실시예에서 타겟 이미지 평면 상의 뒤틀린 이미지를 포함할 수 있다. 타겟 이미지 (프레임)는 일부 실시예에서 입력 이미지의 근거리 또는 원거리에 대해 계산될 수 있다. 타겟 이미지 (프레임)는 해당 홀로그램 재구성에 있어 광 파워가 초과될 수 있는 주변 또는 경계 영역과 같은 영역에서 파워 박스 및/또는 파워 저장소(때로는, '파워 덤프'라고도 함)를 포함할 수 있다.
홀로그램 이득 계산기는 또한 PGU(600) 내에서 레이저 광원(미도시)에 공급되는 레이저 전류와 같은 PGU(600)의 현재 작동 파라밑터와 관련된 입력을 가질 수 있다. 또한, 하나 이상의 이전 이미지 프레임에 대해 광 센서 또는 센서들 - 도 6에서 '이득을 포함한 ADC 측정(612)'으로 표시된 - 로부터 하나 이상의 측정값을 입력으로 가질 수 있다. 라벨이 제안하는 바와 같이, '이득을 포함하는 ADC 측정(612)'은 해당 홀로그램으로부터 제2 제어 영역들의 생성을 위해 적용되었던 임의의 홀로그램 이득들 (즉, 임의의 스케일링 인자들 또는 곱셈 인자들)을 포함하는 하나 이상의 선행하는 홀로그램으로 재구성된 이미지들 내의 2차 '제어' 영역의 측정을 포함할 수 있는 검출 신호를 포함할 수 있다. 홀로그램 이득 계산기는 예컨대, 포화 문제를 해결하기 위하여 센서(들)의 선행 출력에 응답하도록 구성될 수 있다. 일반적으로, PGU(600)의 피드백 루프는 신속하게 동작하여, 바로 앞의 이미지 프레임에 대한 조건들과 관련된 변경 또는 결정을 내리고, 뷰어가 이미지 품질 또는 밝기에서 임의의 인지할 수 있는 차이 또는 열화를 인지하는 것 없이, 그것들을 현재의 이미지 프레임에 적용할 수 있다.
홀로그램 이득 계산기는 PGU(600) 내의 휘도 피드백 루프 로직(606)에 대한 출력으로서 계산된 홀로그램 이득(또는, 곱셈 인자)을 제공한다. 홀로그램 이득 계산기(604) 및 휘도 피드백 루프 로직(606)은 각각 하드웨어 및/또는 소프트웨어 구성요소의 임의의 적절한 조합을 포함할 수 있다. 더욱이, 이것들이 도 6에서 두 개의 별개의 구성요소인 것으로 기능적으로 도시되어 있지만, 그것들은 공통(즉, 동일한) 제어기 또는 프로세서 내에 포함될 수 있다(그리고 그들의 기능은 그에 의해 수행될 수 있음).
휘도 피드백 루프 로직(606)은 디지털-아날로그 변환기(DAC)(608)에 입력을 제공하고, 이는 차례로 레이저 전류 제어기(610)에 입력을 제공한다. DAC(608) 및 레이저 전류 제어기(610)는 각각 하드웨어 및/또는 소프트웨어 구성요소의 임의의 적절한 조합을 포함할 수 있다. 레이저 전류 제어기(610)는 LCOS(662)를 조사하는 레이저 광원(미도시)의 전류를 변조함으로써 디스플레이의 밝기 - 즉, Liquid Crystal on Silicon 공간 광 변조기 'LCOS(662)'에 홀로그램을 조사한 결과 수광면에 형성된 홀로그램으로 재구성된 이미지 - 를 변조하도록 구성된다.
휘도 피드백 루프 로직(606)은 레이저 전류 제어기가 주어진 시간 또는 시간에 휘도 목표(602)에 따라 레이저를 제어하는 것을 보장하도록(시도하도록) 구성된다. 이를 위해, 휘도 피드백 루프 로직은 실시간으로 영상의 휘도에 대한 정보를 필요로 한다. 따라서, 홀로그램으로 재구성된 이미지(제2 영역)의 검출된 휘도에 관한 정보를 제공하는 이득을 포함하는 ADC 측정(612)은 휘도 피드백 루프(606)에 대한 입력으로 제공된다. 전술한 바와 같이, 도 6의 ADC 측정은 하나 이상의 광 센서 또는 포토 다이오드로부터의 입력을 가지고 있는 아날로그-디지털(ADC) 변환기의 출력으로 구성되며, 이 변환기는 이미지에서 빛을 감지하고, 감지된 빛에 관한 하나 이상의 광 감지 신호를 전송하도록 구성되어 있다. 일부 배열에서 광 센서는 적색, 녹색 및 청색의 세 가지 각 색상에 대해 별도로 이미지의 빛의 양을 감지하고 측정하도록 구성된다. 광 센서(들)는 홀로그램으로 재구성된 이미지 내에 표시된 패턴에 의해 조사되도록 구성된다. 그 패턴은, 예컨대, 전술한 바와 같이 홀로그램으로 재구성된 이미지 내의 2차 이미지 영역을 포함할 수 있다. 그러나, 본 개시는 그러한 배열에 제한되지 않고 광 센서(들)는 대신에 1차 이미지 영역으로부터 또는 홀로그램으로 재구성된 이미지의 다른 부분 또는 부분들 또는 전체로부터의 광을 검출하도록 구성될 수 있다.
도 6의 PGU(600)는 또한 이미지 처리 유닛(654)에 입력되는 입력 이미지(652)를 나타내는 홀로그램(660)을 출력하도록 구성된 이미지 프로세서를 포함한다. 일부 실시예에서, 이미지 프로세서는, 예컨대 전술한 방법 중 하나를 사용하여 컴퓨터-생성 홀로그램(CGH)을 생성하도록 구성된다. 이미지 프로세서는 복수의 홀로그램(660)을 연속적으로 출력하도록 구성될 수 있다. 따라서, 복수의 연속적인 각각의 이미지(652)에 기초하여 홀로그램을 매우 빠르게 생성 및 출력하도록 구성될 수 있다. 홀로그램(660)은 도 6에서 LCOS(662)인 공간 광 변조기에 표시되도록 구성된다.
이미지 프로세서는 제1 이미지 처리 유닛(654), 이득 인자 적용기(656) 및 제2 이미지 처리 유닛(658)의 세 부분을 포함하는 것으로 도 6에 도시된다. 이 세 부분은 이미지 프로세서의 기능적 측면을 나타내며, 실제로는 세 개의 개별 물리적 단위가 아닐 수 있다. 대신에, 본 명세서에서 설명될 이미지 프로세서의 세 부분의 각각의 기능 중 둘 이상이 공통(즉, 동일한) 제어기 또는 프로세서에 의해 수행될 수 있다. 도 6으로 돌아가면; 제1 이미지 처리 유닛(654)는 입력 이미지(652)(또는 '타겟 이미지')를 수신하도록 구성된다. 그 입력 이미지(652)에 관한 정보를 PGU(600)의 하나 이상의 다른 부분, 예컨대 홀로그램 이득 계산기(604)로 전송하도록 구성될 수 있다.
제1 이미지 처리 유닛(654)은 이 예에서, 1차 이미지 영역 및 2차 이미지 영역을 포함하는 이미지 프레임을 형성하도록 구성된다. 위에서 이미 상세히 설명된 바와 같이, 1차 이미지 영역은 입력 이미지(652)의 이미지 컨텐츠와 실질적으로 동일한 이미지 컨텐츠를 포함할 수 있다. 2차 이미지 영역은 제어 영역을 포함할 수 있고, 제1 이미지 처리 유닛(654)이, 예컨대 1차 이미지 영역에 물리적으로 구별되는 위치에 1차 이미지 영역에 추가하도록 구성되는 비교적 작은 스팟(spot) 또는 정사각형을 생성된 이미지 프레임 내에서 포함할 수 있다. 제1 이미지 처리 유닛(654)은 생성된 이미지 프레임에 관한 정보를 홀로그램 이득 계산기(604)로 전송하도록 구성될 수 있다. 예컨대, 이는 2차 이미지 영역에 부가되는 곱셈 인자(또는 '홀로그램 이득')를 계산하는데 있어서, 홀로그램 이득 계산기(604)를 보조하기 위하여 1차 이미지 영역 내의 광 픽셀 수 및 2차 이미지 영역 내의 광 픽셀 수의 비율에 관한 정보를 전송할 수 있다.
곱셈 인자를 2차 이미지 영역에 적용하는 것이 모든 경우에 적절하지 않을 것이라는 것은 전술한 설명으로부터 이해될 것이다. 홀로그램 이득 계산기(604)는 주어진 이미지에 대한 홀로그램 이득을 계산하는 것이 적절한 때와 그 홀로그램 이득이 가져야 하는 크기를 결정하기 위하여 하나 이상의 미리 결정된 규칙을 따르도록 구성될 수 있다. 다시, 이미 여기에서 자세하게 설명했듯이, 하나 이상의 미리 결정된 규칙은 PGU(600)에 의하여 생성되는 홀로그램으로 재구성된 이미지에서 광을 검출하도록 구성된 하나 이상의 광 센서의 작동 특성 및/또는 능력과 관계될 수 있다. 예컨대, 홀로그램 이득 계산기(604)는 하나 이상의 광 센서에 의해 감지될 홀로그램으로 재구성된 이미지의 영역의 휘도가 미리 결정된 범위 내에 있거나 미리 결정된 임계값 이상 또는 이하에 있는 크기를 갖도록 구성될 수 있는데, 여기서 그 범위 또는 임계값은 광 센서 또는 센서들이 정확하고 신뢰할 수 있는 광 검출 신호를 제공할 수 있는 범위 또는 임계값에 해당한다.
홀로그램 이득 계산기(604)는 주어진 이미지에 대해 계산된 홀로그램 이득을 이득 인자 적용기(656)에 제공하도록 구성된다. 제1 이미지 처리 유닛(654)은 또한 이득 인자 적용기(656)에 이미지 프레임을 제공하도록 구성되며, 이는 결과적으로 임의의 계산된 홀로그램 이득을 그것이 계산된 이미지 프레임의 영역, 예컨대 위에서 언급한 2차 이미지 영역에 임의의 계산된 홀로그램 이득을 적용할 것이다. 이득 인자 적용기(656)는 홀로그램 이득 인자가 적용된 이미지 프레임을 제2 이미지 처리 유닛(658)으로 출력하도록 더 구성된다. 제2 이미지 처리 유닛(658)은 홀로그램 이득이 적용된 이미지 프레임으로부터 홀로그램을 생성하도록 구성된다. 홀로그램(660)은 제2 영상 처리부(658)에서 출력되어 LCOS(662)에 표시된다. 홀로그램 재생 평면, 예컨대 홀로그램 재생 평면에 위치한 수광면(미도시)에서 입력 이미지(652)의 홀로그램 재구성을 형성하기 위하여, 레이저 광원(미도시)은 레이저 전류 제어기(610)에 의해 제어되어 홀로그램이 표시된 LCOS(662)를 조사한다. 홀로그램 재구성의 하나 이상의 부분은 그 다음 하나 이상의 광 센서에 의하여 검출될 수 있다. 이들 광 센서로부터의 임의의 광 검출하는 검출 신호는 휘도 피드백 루프 로직(606)에 대한 이득을 포함하는 ADC 측정(612)의 일부로서 피드백될 수 있다.
이미지의 밝기를 제어하고 이미지의 휘도를 휘도 목표(602)에 더 가깝게 일치시키기 위하여 휘도 피드백 루프 로직(606)은 이득을 포함하는 ADC 측정(612)내에 포함된 정보를 사용하여 주어진 시간에 홀로그램으로 재구성된 이미지의 휘도를 결정하고 레이저 제어에 대한 임의의 필요한 조정을 하도록 구성된다. 이것의 일부로서, 휘도 피드백 루프 로직(606)은 대응하는 홀로그램이 생성되고 조사되기 전에 이미지 프레임에 도입된 임의의 홀로그램 이득 인자를 고려하도록 구성된다. 휘도 피드백 로직(606)은 검출이 적용되는 홀로그램 구성의 영역에 적용된 임의의 공지된 홀로그램 이득 인자에 따라 광 센서 또는 센서들로부터 획득된 임의의 측정치를 스케일링하도록 더 구성된다. 예컨대, 홀로그램 생성 및 조사 이전에 2차 이미지 영역에 이득 인자 '0.5'가 적용되었음을 안다면, 그런 다음 홀로그램 이득 인자가 적용되지 않은 경우 2차 이미지 영역의 휘도에 대한 실제 측정값을 얻기 위하여 감지된 광 신호에 역 스케일링 인자 '2'를 적용할 수 있다. 따라서, 1차 및 2차 이미지 영역 사이의 공간 관계(예: 상대 크기 및/또는 픽셀 수의 비율)에 관한 이미지 프로세서의 관련 정보에 추가하여 2차 이미지 영역에 대한 '실제' 휘도 정보를 기반으로 해당 1차 이미지 영역의 휘도를 결정할 수 있다.
이미지 프레임에 적용된 홀로그램 이득은 특정 이미지 프레임의 홀로그램 재구성이 표시되고 감지된 경우에만 휘도 피드백 루프 로직(606)에 의해 고려되어야 한다. 이는, 각 이미지 프레임에 적용되는 홀로그램 이득이 다를 수 있으며, 해당 프레임에 대해 이미지의 휘도를 제어하는 방법을 결정할 때 정확한 이득 인자를 고려해야 하기 때문이다. 따라서, 휘도 피드백 루프 로직(606)과 이미지 프로세서 사이의 동기화가 필요하다. 도 6에서, 동기화(664)는 LCOS(662)와 DAC(608) 사이에 있는 것으로 도시되어 있다. 그러나, 적용된 임의의 홀로그램 이득 인자를 포함하여 정확한 관련 광 검출 신호를 고려하여 휘도(및 기타 작동 파라미터)가 제어되는 것을 보장하기 위하여, 감지된 이미지에 대한 홀로그램 생성 전에 임의의 적절한 동기화가 제공될 수 있음을 이해해야 한다.
PGU(600)의 구성 요소 중 하나 이상에 다른 입력이 있을 수 있다. 더욱이, 위에서 자세히 설명된 광 센서 측정 및 휘도 인자를 고려하는 것 외에 또는 대신에 해당 홀로그램이 생성되기 전에 이미지(일부)에 추가할 홀로그램 이득을 계산할 때 고려되는 추가 요소가 있을 수 있다.
상술한 구체적인 예들은 주로 1차 이미지 영역 및 2차 이미지 영역을 갖는 이미지 프레임에 대해 논의했지만, 여기에 개시된 방법은 이러한 이미지 프레임에 제한되지 않는다. 개선된 방법 및 해당 시스템은 실제로 하나 이상의 다른 픽셀에 대한 홀로그램 재구성의 임의의 픽셀의 휘도를 제어하는 데 사용될 수 있다. 홀로그램 재구성 내의 복수의 픽셀, 영역 또는 이미지 부분의 각각의 휘도는 하나 이상의 기준 픽셀 또는 홀로그램 재구성 내의 기준 영역에 대해 변경되는 휘도와 함께 서로 별도로 제어될 수 있다.
여기에 설명된 방법은 독립적으로 사용될 수 있거나 홀로그램 프로젝션 시스템에서 휘도를 제어하기 위한 하나 이상의 다른 접근 방식과 조합하여 사용될 수 있다 .예컨대, 여기에 설명된 것과 같은 곱셈 인자 또는 '홀로그램 이득'의 적용은 다른 하드웨어 이득(다른 저항으로 달성됨)을 사용하여 포토다이오드(예: 광 센서) 및 동적 작동 범위의 출력을 증폭하고 제어하는 하나 이상의 알려진 방법과 함께 수행될 수 있다. 저조도에서, 높은 하드웨어 이득을 사용할 수 있다. 고조도에서, 작은 하드웨어 이득을 사용할 수 있다. 그럼에도 불구하고, 본 발명자들은 일반적으로 하드웨어 이득만을 포토다이오드의 동작에 적용함으로써 제공되는 동적 범위가 모든 애플리케이션에 대해 신뢰할 수 있고, 정확한 동작 범위를 제공하기에 충분하지 않을 수 있음을 인식하였다. 예컨대, 홀로그램 프로젝션 시스템이 자동차 환경에 포함될 때 하드웨어 이득만으로는 포토다이오드가 헤드업 디스플레이 HUD의 필요한 전체 동적 범위(일반적으로, 5000:1)를 커버할 수 있을 것 같지 않다. 반면에, 현재 설명된 방법은 해당 홀로그램이 생성되기 전에 이미지에 적절한 스케일링 인자를 적용할 수 있고, 따라서 작동 제약에 관계없이 모든 포토다이오드에서 정확하게 감지할 수 있도록 모든 크기의 '실제' 휘도를 조정할 수 있다.
본 방법은 동적으로 적용될 수 있다. 예컨대, 홀로그램 이득을 계산하는 방법, 및/또는 휘도 목표에 따라 및/또는 하나 이상의 광 센서의 작동 능력에 따라 휘도를 제어하는 방법은 홀로그램으로 재구성될 복수의 연속적인 이미지 프레임에 대해 반복될 수 있다. 예컨대, 2차 이미지 영역에 대한 기존 스케일링 인자로 인하여 홀로그램으로 재구성된 이미지의 해당 2차 영역 휘도가 해당 광 센서(들)에 대해 최적이 아닌 범위 내에 있는 것으로 결정되면, 스케일링 인자는 수정될 수 있고, 새로운 홀로그램이 생성되고 조사되어 홀로그램으로 재구성된 이미지의 2차 영역에 대해 보다 유리한 휘도 레벨을 생성할 수 있다. 따라서, 본 방법은 홀로그램 시스템에서 종종 요구되는 바와 같이 매우 신속하게 휘도 제어를 제공할 수 있고, 사전 예방 및 반응 휘도 제어의 조합을 제공할 수 있다.
본 방법은 홀로그램 프로젝션 시스템의 하드웨어에 영향을 주지 않으면서, 서로 다른 각각의 이미지 프레임에 대해 또는 단일 이미지 프레임의 서로 다른 개별 부분에 대해 서로 다른 곱셈 인자가 설정될 수 있게 한다. 그것들은 광 센서(들)로부터 수신된 피드백에 따라 조정될 홀로그램으로 재구성된 이미지의 적어도 일부의 휘도(또는 밝기 또는 광 파워)를 가능하게 한다. 실제로, 홀로그램 이득은 매우 빠르게 변화할 수 있으며, 디스플레이 홀로그램 재구성의 휘도는 각 이미지 프레임에 대해 매우 빠르게 조정될 수 있으므로, 본 방법은 정확한 이득과 정확한 레이저 전류를 매우 빠르게 설정하기 때문에 홀로그램 재구성을 볼 때 뷰어가 밝기 변화를 감지하지 못한다.
본 방법은 홀로그램 프로젝션 시스템에서 광 검출을 위하여 하나 이상의 포토다이오드(또는 광 센서)의 작동능력('동적 범위'라고 할 수 있음)을 효과적으로 증가시킨다. 저조도 및 고조도 레벨은 하드웨어 이득과 독립적으로 포토다이오드에 의하여 감지될 수 있으며, 실제로 본 방법을 사용할 때 하드웨어 이득을 적용할 필요가 없다. 본 방법은 홀로그램 프로젝션 시스템을 위한 하드웨어에 복잡성, 부피 또는 비용을 추가하지 않는다. 더욱이, 관련된 계산은 일반적으로 다른 알려진 방법을 제어하기 위하여 홀로그램 프로젝션 시스템 내에 포함되거나 이와 함께 사용되는 제어기 또는 프로세서에 대해 과도한 부담이 되지 않는다.
위의 설명은 휘도 감지와 관련되어 있지만, 실제로는 다른 광학 파라미터가 광 감지 신호의 일부로 감지, 측정 및 전송될 수 있다. 예컨대, 광 센서는 광 파워를 감지하도록 구성될 수 있다 .광 검출기의 복사/광 출력(Js-1) 또는 복사 강도(Js-1sr-1) 측정값을 휘도로 변환하는 방법은 알려져 있다. PGU(600) 내의 임의의 제어 구성요소 또는 임의의 다른 적절한 제어기는 여기에 설명된 방법의 목적을 위하여 변환(a=)을 수행하도록 구성될 수 있다.
홀로그램으로 재구성된 이미지의 주요 부분에 대한 목표 휘도를 달성하기 위하여, 홀로그램 프로젝션 시스템에서 광원의 전류(또는 파워)를 변경하기 위하여 GB2554472에서는 포토다이오드에서 감지된 광 신호에 소위 '이득 인자, G'가 적용될 수 있다고 알려져 있다. 이득 인자 G는 광원의 구동 입력에 적용되고, 1차 이미지 영역의 광 파워는 이득 인자를 변경하여 변경된다. 이 이득 인자는 다음 방정식에 의하여 결정될 수 있다:
(1)
여기서, T = 이미지의 원하는 최대 휘도 (cd/m2), P = 2차 이미지 영역의 제1 파장에서의 휘도 (cd/m2) (예컨대, 검출된 광 파워를 2차 이미지 영역의 영역으로 나누고, 잘 알려진 바와 같이 Js-1m-2에서 cdm-2로 변환하기 위하여 스케일링하여 획득), x = 이미지에 사용된 총 그레이 레벨 수 및 y = 2차 이미지 영역의 빛의 그레이 레벨이다.
여기서, T = 이미지의 원하는 최대 휘도 (cd/m2), P = 2차 이미지 영역의 제1 파장에서의 휘도 (cd/m2) (예컨대, 검출된 광 파워를 2차 이미지 영역의 영역으로 나누고, 잘 알려진 바와 같이 Js-1m-2에서 cdm-2로 변환하기 위하여 스케일링하여 획득), x = 이미지에 사용된 총 그레이 레벨 수 및 y = 2차 이미지 영역의 빛의 그레이 레벨이다.
이득 인자 G는 홀로그램 프로젝션 시스템에서 광원의 구동 입력에 적용될 수 있으며, 여기서 설명된 '홀로그램 이득'은 이미지 프레임에도 적용된다. 여기에 설명된 홀로그램 이득은 홀로그램 생성 전에 입력 이미지에, 예컨대 입력이미지를 포함하는 이미지 프레임 내의 2차 이미지 영역에 적용된다는 것이 이해될 것이다. 홀로그램으로 재구성된 이미지의 1차 영역에 대한 목표 휘도를 달성하기 위하여 동적 기준으로 레이저에 대한 파워/전류를 제어하는 방식으로 광원의 구동 입력에 적용될 수 있는 이득 계수 G와 혼동되어서는 안 된다.
휘도 예측
상술한 바와 같이, 본 발명자들은 홀로그램 재구성을 위한 휘도 예측 방법도 결정하였다. 이 방법은 이미지에 대한 홀로그램이 생성되기 전에 예측된 휘도에 기초하여 이미지에 대한 적절한 홀로그램 이득이 결정되는 것을 가능하게 할 수 있다.
홀로그램 디스플레이에서 주어진 레이저 광 파워에 대해 표시된 홀로그램 이미지의 휘도 (cdm-2) (빨간색, 녹색 및 파란색(RGB)는 별도로 고려됨)는 다음에 따라 달라진다:
- 이미지의 조사된 픽셀 수(RGB는 별도로 고려됨) 및
- 이미지의 픽셀(RGB는 별도로 고려됨)의 그레이(즉, 회색조) 값.
이러한 종속성은 홀로그램 이미지 전체와 이미지의 일부에도 존재한다 - 예컨대, 이미지 컨텐츠를 포함하는 1차 영역은 위에서 설명한 예에서 비이미지 컨텐츠를 포함하는 2차 '제어' 영역과 분리된다.
이미지가 홀로그램으로 변환되기 전에, 홀로그램으로 재구성된 이미지에 포함될 조사된 픽셀(RGB는 별도로 고려됨)의 수와 픽셀의 그레이스케일(다시, RGB는 별도로 고려됨)은 이미지 처리 단계의 일부로 결정될 수 있다.
휘도 종속성은 단일 물리적 값을 사용하여 캡처될 수 있다: 픽셀 사용 (RGB)은 픽셀(RGB)의 모든 그레이 값의 합을 이미지의 최대 픽셀 수로 나눈 값이다. 본 발명자는 이 픽셀 사용이 다음과 같이 각 색상 성분에 대해 별도로 정의될 수 있다고 결정했다:
(2)
따라서, 각각의 홀로그램으로 재구성된 이미지(또는 홀로그램으로 재구성된 이미지 부분)는 특정 픽셀 사용을 갖는다. 주어진 레이저 광 출력에 대해, 이는 각 이미지가 다른 휘도를 갖는다는 것을 의미한다. 그러나, 일반적으로 홀로그램 프로젝션 시스템은 여러 연속 이미지 프레임에 대해 휘도 목표(즉, 타겟 휘도)를 갖도록 구성된다. 위에서 이미 설명된 바와 같이, 홀로그램 프로젝션 시스템의 레이저 광 출력은 따라서 이러한 휘도 목표를 달성하기 위하여 프레임 별로 조정되어야 할 수 있다.
본 명세서의 도 4b에 도시된 것과 같은 기존의 홀로그램 디스플레이에는, 이미지들의 연속 내에서의 순간적인 휘도 변화를 뷰어가 인지함 없이 컨텐츠 변경(이미지 프레임 변경)으로 인한 연속 이미지의 휘도 변화를 감지하고 이를 보정하도록 구성된 빠른 휘도 피드백 루프가 있어야 한다. 이 보정은 일반적으로 60Hz보다 빠를 수 있는 이미지 새로 고침 빈도가 빠르게 이루어져야 한다. 이러한 빠르고 지속적인 휘도 제어는 홀로그램 프로젝션 시스템에 필요한 하드웨어의 복잡성을 증가시킬 수 있다.
그러나, 본 발명자들은 컨텐츠 변화(이미지 변화)로 인한 휘도 변화가 예측될 수 있고, 새로운 이미지가 디스플레이되는 것과 실질적으로 동시에 보상될 수 있다는 것을 인식했다. 따라서, 매우 빠른 휘도 피드백 루프 로직에 대한 필요성이 제거되거나 최소한 완화된다.
본 발명자들은, 이미지가 홀로그램으로 변환되고 홀로그램 재구성되기 전에, 입력 이미지에 대한 픽셀 사용이 이미지 처리의 일부로 여기에서 도 6에 도시된 PGU(600)와 같은 홀로그램 프로젝션 시스템에서 실시간으로 계산될 수 있다는 것을 확인했다.
임의의 적절한 제어기 또는 프로세서에 의해 위의 방정식 (2)를 사용하여 주어진 입력 이미지 (곧 홀로그램으로 재구성된 이미지를 형성하기 위하여 처리될)에 대한 픽셀 사용이 계산될 수 있다. 계산된 픽셀 사용은 이미지 프로세서가 입력 이미지에 대응하는 홀로그램을 생성하기 전에 입력 이미지 자체와 함께 이미지 프로세서에 대한 입력으로 제공될 수 있다. 각 이미지 프레임의 계산된 픽셀 사용은 홀로그램 프로젝션 시스템의 휘도 제어 측면으로 보내질 수도 있다. 따라서, 계산된 픽셀 사용은, 현재 레이저 작동 전류에서 다가오는 홀로그램으로 재구성된 이미지의 휘도가 무엇인지 및 예측된 픽셀이 다가오는 홀로그램으로 재구성된 이미지에 대한 목표 휘도를 발생시키기 위하여 실제로 레이저 작동 전류를 변경해야 하는 값을 결정하는 데 사용될 수 있다.
예컨대, 다가오는 홀로그램으로 재구성된 이미지가 표시될 때 발생할 이미지 컨텐츠 변경을 보상하는 데 필요한 레이저 전류의 요구되는 변화는 이전 이미지 프레임의 픽셀 사용 (및 대응하는 레이저 전류) 및 다가오는 이미지 프레임의 예측된 픽셀 사용의 비교에 기초하여 계산될 수 있다. 도 6의 PGU(600)와 마찬가지로 이 방법에 대한 레이저 전류의 변경은 적어도 일부 구성에서는, 다가오는 이미지 프레임이 LCOS에 실제로 표시될 때만 적용되어야 한다. 따라서, LCOS 장치 및 휘도 피드백 로직 사이에 동기화 신호가 제공될 수 있다.
이미지의 2차 영역에 적용되어야 하는 홀로그램 이득은 상술한 바와 같이 예측된 휘도에 기초하여 계산될 수 있다. 즉; 다가오는 이미지 프레임에 대해 예측된 픽셀 사용이 계산되고 레이저 전류의 해당 변화가 결정되면, 타겟 휘도와 같은 요구 사항을 충족시키기 위하여, 이 시스템은 해당 레이저 전류가 적용된 상태에서 2차 영역의 휘도가 무엇인지, 해당 광 센서(들)에 대해 허용 가능한 범위 내에 있는 2차 영역의 휘도(또는 밝기 또는 광 파워)를 제공하기 위하여 홀로그램 이득을 적용하는 것이(즉, 스케일링 팩터를 적용) 적절한지 여부를 검토할 수 있다.
본 명세서에서 설명된 휘도 예측은, 휘도 피드백 루프가 이미지 컨텐츠 변경으로 인한 휘도의 변화를 실제로 측정하고, 이미지가 디스플레이 되는 동안 후속적으로 보정을 적용할 필요성을 제거할 수 있다. 대신에, 보정이 계산된 새 이미지가 표시됨과 동시에 보정을 예상하고 수행할 수 있다. 대안적으로, 본 명세서에 설명된 휘도 예측은 피드백 루프의 일부로서 하나 이상의 측정을 수행하는 것과 관련하여 사용될 수 있다. 예컨대, 초기 파라미터 - 예컨대, 초기 이득 인자를 결정하기 위해 다가오는 홀로그램의 일부에 적용될 - 를 설정하기 위하여 휘도 예측이 적용될 수 있고, 하나 이상의 센서에 의해 획득되고 피드백 제어 루프에 입력되는 하나 이상의 측정값은 필요한 경우, 이러한 파라미터를 미세 조정하는 데 사용될 수 있다.
휘도 예측은 또한 각각의 새로운 이미지 프레임에 대해 홀로그램 프로젝션 시스템이 휘도 타겟에 도달하는 데 필요한 휘도 피드백 루프의 반복 횟수(및 포토다이오드 측정 횟수)를 줄인다. 따라서, 각 이미지는 눈에 띄는 지연 없이 뷰어가 원하는 휘도에 더 빨리 도달한다. 또한, 휘도 피드백에 필요한 포토다이오드 측정이 더 적기 때문에 나머지 사용 가능한 포토다이오드 측정은 다른 용도로 사용될 수 있다. 예컨대, 그것들은 홀로그램으로 재구성된 이미지의 이미지 정렬 및/또는 이미지 위치를 제어 및/또는 수정하는 데 사용될 수 있다.
따라서, 홀로그램 프로젝션 방법이 제공되며, 이 방법은:
(ⅰ) 프로젝션을 위한 이미지를 수신하는 과정;
(ⅱ) 이미지의 픽셀 수를 결정하는 과정;
(ⅲ) 이미지의 각 픽셀에 대한 그레이 레벨을 결정하는 과정;
(ⅳ) 결정된 픽셀 수 및 각각의 그레이 레벨을 사용하여 수신된 이미지를 나타내기 위하여 생성될 홀로그램의 홀로그램 재구성을 위한 예측 픽셀 사용을 계산하는 과정;
(ⅴ) 홀로그램 재구성을 위하여, 생성될 홀로그램을 조사하도록 구성된 광원의 광 파워를 나타내는 파라미터의 값(여기서 그 값은 목표 휘도를 충족하기 위해 요구되는)을 결정하기 위해 예측된 픽셀 사용을 사용하는 과정을 포함한다.
이 방법은 이미지의 홀로그램을 계산하는 과정을 더 포함할 수 있다.
이 방법은 제1 이미지 영역 및 제2 이미지 영역을 포함하는 이미지 프레임을 형성하는 과정을 더 포함할 수 있으며, 여기서 제1 이미지 영역은 이미지에 대응하고 제2 이미지 영역은 시스템 제어 파라미터를 나타내는 비이미지 컨텐츠에 대응한다. 이 방법은 이미지 프레임의 홀로그램을 계산하는 과정을 더 포함할 수 있다.
타겟 휘도는 홀로그램 재구성의 일부에만 적용될 수 있다. 예컨대, 목표 휘도는 이미지 프레임의 제1 이미지 영역에 대응하는 1차 영역에만 적용될 수 있고, 여기서 제1 이미지 영역의 이미지 컨텐츠는 수신된 이미지의 이미지 컨텐츠에 대응한다. 이미지 프레임의 2차 이미지 영역에 대응하는 홀로그램 재구성의 2차 영역은 목표 휘도를 갖지 않거나 1차 영역과 다른 목표 휘도를 가질 수 있다.
이 방법은 이미지 또는 이미지 프레임의 홀로그램이 결정된 광 파워에서 작동되는 광원에 의해 조사된 경우 발생할 홀로그램 재구성의 일부의 휘도를 예측하기 위하여 광원의 광 파워를 나타내는 파라미터의 결정된 값을 사용하는 과정을 포함할 수 있다. 예컨대, 예측된 휘도는 타겟 휘도가 적용되지 않는 홀로그램 재구성의 2차 영역일 수 있다.
이 방법은, 홀로그램 재구성의 해당 부분에 대해 예측된 휘도를 사용하여, 이미지 (프레임)의 해당 부분의 하나 이상의 그레이 레벨(들)을 변경하기 위하여 이미지 또는 이미지 프레임의 일부에 적용할 이득 인자를 결정하는 과정을 포함할 수 있다. 예컨대, 타겟 휘도가 적용되지 않는 홀로그램 재구성 부분에 대한 이득 인자가 결정될 수 있다. 이득 인자는 이미지 또는 이미지 프레임의 홀로그램이 계산되기 전에 결정될 수 있다. 일부 경우에, 제1 홀로그램은 수정되지 않은 이미지 프레임으로 생성될 수 있고, 제2 홀로그램은 제어 피드백 루프의 일부로서 이득 인자가 적용된 수정된 버전의 이미지 프레임으로 만들어질 수 있다.
이 방법은, 홀로그램을 조사하도록 구성된 광원의 광 파워를 나타내는 파라미터의 현재 값을 결정하는 과정 및 이미지의 홀로그램 재구성을 위한 타겟 휘도를 충족시키기 위하여 파라미터의 값에 대해 이루어져야 하는 수정을 추가로 결정하는 과정을 포함할 수 있다. 이 과정은 홀로그램 프로젝션 시스템에 대한 제어 피드백 루프의 일부로 수행될 수 있다.
추가 특징들
실시예는 단지 예로서 전기적으로 활성화된 LCOS 공간 광 변조기를 언급한다. 본 개시 내용의 교시는 예컨대, SLM, 디지털 마이크로미러 장치(digital micromirror device) 또는 마이크로 전자기계 시스템 장치와 같은 컴퓨터-생성 홀로그램을 표시할 수 있는 임의의 공간 광 변조기에 동일하게 구현될 수 있다.
일부 실시예에서, 광원은 레이저 다이오드와 같은 레이저이다. 일부 실시예에서, 광 센서 또는 검출기는 포토다이오드와 같은 광 검출기이다. 일부 실시예에서, 수광면은 확산기 표면 또는 확산기와 같은 스크린이다. 본 개시 내용의 홀로그램 프로젝션 시스템은 개선된 헤드-업 디스플레이(HUD) 또는 헤드-마운트 디스플레이를 제공하기 위하여 사용될 수 있다. 일부 실시예에서, HUD를 제공하기 위하여 차량에 설치된 홀로그램 프로젝션 시스템을 포함하는 차량이 제공된다. 이 차량은 자동차, 트럭, 밴, 오토바이, 기차, 비행기, 보트 또는 선박과 같은 자동차일 수 있다.
홀로그램 재구성의 품질은 픽셀화된 공간 광 변조기를 사용하는 회절 특성의 결과인 소위 0차 문제에 의해 영향을 받을 수 있다. 이러한 0차 광은 "노이즈"로 간주될 수 있으며, 예컨대 정반사된 광 및 SLM으로부터의 기타 원치 않는 광을 포함한다.
푸리에 홀로그래피의 예에서, 이 "노이즈"는 푸리에 렌즈의 초점에 집중되어 홀로그램 재구성의 중심에 밝은 스팟으로 이어진다. 0차 빛은 단순히 차단될 수 있지만 이는 밝은 부분을 어두운 부분으로 대체하는 것을 의미한다. 일부 실시예는 0차의 시준된 광선만을 제거하기 위한 각도 선택적 필터를 포함한다. 실시예는 또한 유럽 특허 2,030,072에 기술된 0차를 관리하는 방법을 포함하면, 그 전체가 참조로 여기에 포함된다.
일부 실시예에서, 홀로그램의 크기(각 방향의 픽셀 수)는 홀로그램이 공간 광 변조기를 채우도록 공간 광 변조기의 크기와 동일하다. 즉, 홀로그램은 공간 광 변조기의 모든 픽셀을 사용한다. 다른 실시예에서, 홀로그램은 공간 광 변조기보다 작다. 보다 구체적으로, 홀로그램 픽셀 수는 공간 광 변조기에서 사용 가능한 광 변조 픽셀 수보다 적다. 이들 다른 실시예의 일부에서, 홀로그램의 일부(즉, 홀로그램의 픽셀의 연속 서브세트)는 사용되지 않은 픽셀에서 반복된다. 이 기술은 공간 광 변조기의 표면적이 다수의 "타일"로 분할되는 "타일링"으로 지칭될 수 있으며, 이들 각각은 적어도 홀로그램의 서브세트를 나타낸다. 따라서 각 타일은 공간 광 변조기보다 작은 크기이다.
일부 실시예에서, "타일링"의 기술은 이미지 품질을 증가시키기 위해 구현된다. 특히, 일부 실시예는 홀로그램 재구성으로 들어가는 신호 컨텐츠의 양을 최대화하면서 이미지 픽셀의 크기를 최소화하기 위하여 타일링 기술을 구현한다. 일부 실시예에서, 공간 광 변조기에 기록된 홀로그램 패턴은 적어도 하나의 전체 타일(즉, 완전한 홀로그램) 및 타일의 적어도 하나의 부분(즉, 홀로그램의 픽셀의 연속 서브세트)을 포함한다.
실시예에서, 1차 재생 필드만이 이용되고, 시스템은 시스템을 통한 고차 재생 필드의 전파를 제한하도록 구성된 배플(baffles)과 같은 물리적 블록을 포함한다.
실시예들에서, 홀로그램 재구성은 컬러(colour)이다. 일부 실시예에서, 공간적으로 분리된 색상인 "SSC"라고 알려진 접근 방식은 컬러 홀로그램 재구성을 제공하는 데 사용된다. 다른 실시예에서, 프레임 순차 컬러 "FSC"라고 알려진 접근 방식이 사용된다.
SSC의 방법은 세 개의 단색 홀로그램에 대해 공간적으로 분리된 세 개의 광 변조 픽셀 어레이를 사용한다. SSC 방법의 장점은 세 가지 홀로그램 재구성이 동시에 형성될 수 있기 때문에 이미지가 매우 밝을 수 있다는 것이다. 그러나, 공간 제한으로 인하여 공간적으로 분리된 세 개의 광 변조 픽셀 어레이가 공통 SLM에 제공되는 경우, 사용 가능한 광 변조 픽셀의 서브세트만 각 색상에 사용되기 때문에 각 단색 이미지의 품질은 차선책이다. 이에 따라, 비교적 저해상도의 컬러 영상이 제공된다.
FSC 방식은 공통 공간 광 변조기의 모든 픽셀을 사용하여 세 개의 단색 홀로그램을 순서대로 표시할 수 있다. 단색 재구성은 인간 뷰어가 세 가지 단색 이미지의 통합으로부터 다색 이미지를 인식할 수 있을만큼 충분히 빠르게 순환된다(예: 적색, 녹색, 청색, 적색, 녹색, 청색 등). FSC의 장점은 전체 SLM이 각 색상에 적용된다는 것이다. 이는 SLM의 모든 픽셀이 각 컬러 이미지에 사용되기 때문에 생성된 세 가지 컬러 이미지의 품질이 최적임을 의미한다. 그러나, FSC 방법의 단점은 각 단일 색상 조사 이벤트가 프레임 시간의 1/3동안만 발생할 수 있기 때문에 합성 컬러 이미지의 밝기가 SSC 방법보다 약 3배 더 낮다는 것이다. 이 단점은 레이저를 과도하게 구동하거나 더 강력한 레이저를 사용하여 잠재적으로 해결할 수 있지만, 더 많은 전력이 필요하므로 비용이 증가하고 시스템의 크기가 증가한다.
예들은 가시광으로 SLM을 조사하는 것을 설명하지만, 당업자는 광원 및 SLM이 예컨대, 본 명세서에 개시된 바와 같이 적외선 또는 자외선을 지향시키기 위하여 동등하게 사용될 수 있음을 이해할 것이다. 예컨대, 당업자는 정보를 사용자에게 제공할 목적으로 적외선 및 자외선을 가시광으로 변환하는 기술을 알고 있을 것이다. 예컨대, 본 개시는 이러한 목적을 위하여 형광체 및/또는 양자점 기술을 사용하는 것으로 확장된다.
일부 실시예는 단지 예로서 2차원 홀로그램 재구성을 설명한다. 다른 실시예에서, 홀로그램 재구성은 3차원 홀로그램 재구성이다. 즉, 일부 실시예에서, 각각의 컴퓨터-생성 홀로그램은 3차원 홀로그램 재구성을 형성한다.
본 명세서에 설명된 방법 및 프로세스는 컴퓨터 판독가능 매체 상에 구현될 수 있다. 용어 "컴퓨터 판독가능 매체"는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리와 같이 데이터를 일시적으로 또는 영구적으로 저장하도록 구성된 매체를 포함한다. 또한, "컴퓨터 판독가능 매체"라는 용어는 하나 이상의 프로세서에 의해 실행될 때, 기계가 여기에 기재된 방법론 중 하나 이상을 전체적으로 또는 부분적으로 수행하게 하는 명령들을 기계의 수행 지령으로서 저장할 수 있는 어떤 매체 혹은 다중의 매체의 조합을 포함하는 것으로 간주되어야 한다.
"컴퓨터 판독가능 매체"라는 용어는 또한 클라우드 기반 스토리지 시스템을 포함한다. "컴퓨터 판독가능 매체"라는 용어는 솔리드-스테이트 메모리 칩(solid-state memory chip), 광학 디스크, 자기(magnetic) 메모리의 예시적인 형태의 하나 이상의 유형 및 비 일시적 데이터 저장소(예를 들어, 데이터 볼륨)를 포함하지만, 이에 국한되지 않으며, 디스크 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 일부 예시적인 실시 예에서, 실행을 위한 명령어는 캐리어 매체에 의해 전달될 수 있다. 이러한 캐리어 매체의 예는 일시적인 매체(예를 들어, 명령을 전달하는 전파 신호)를 포함한다.
첨부된 청구범위의 범주를 벗어나지 않으면서 다양한 수정 및 변형이 이루어질 수 있음은 통상의 기술자에게 명백할 것이다. 본 개시는 첨부된 청구범위 및 그 등가물의 범위 내의 모든 변경 및 변형을 포함한다.
600: PGU 602: 휘도 목표
604: 홀로그램 이득 계산기 606: 휘도 피드백 루프 로직
608: DAC 610: 레이저 전류 제어기
612: 이득을 포함하는 ADC 측정 652: 입력 이미지
654: 제1 이미지 처리 유닛 656: 이득 인자 적용기
658: 제2 이미지 처리 유닛 660: 홀로그램
662: LCOS 664: 동기화

Claims (14)

  1. 홀로그램 프로젝션 방법으로서,
    (ⅰ) 프로젝션을 위한 이미지 수신 과정;
    (ⅱ) 상기 이미지에 대응하는 제1 이미지 영역 및 시스템 제어 파라미터를 나타내는 비이미지 컨텐츠에 대응하는 제2 이미지 영역을 포함하는 이미지 프레임을 형성하는 과정;
    (ⅲ) 상기 이미지 프레임의 상기 비이미지 컨텐츠의 그레이 레벨을 변경하기 위해 상기 비이미지 컨텐츠의 상기 그레이 레벨에 제1 이득 인자를 곱하는 과정, 상기 제1 이득 인자는 목표 휘도에 기초하여 결정됨;
    (ⅳ) 상기 이미지 프레임의 홀로그램을 계산하는 과정;
    (ⅴ) 상기 이미지 프레임의 홀로그램 재구성을 형성하기 위해 상기 홀로그램을 표시하고 광원으로부터의 빛으로 상기 홀로그램을 조사(illuminating)하는 과정;
    (ⅵ) 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 휘도를 나타내는 파라미터를 측정하는 과정;
    (ⅶ) 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도(true luminance)를 나타내는 파라미터 값을 획득하기 위해, 상기 (vi) 과정에서 측정된 파라미터를 상기 제1 이득 인자의 역수에 따라 스케일링하는 과정; 및
    (ⅷ) 상기 이미지 프레임의 이미지 컨텐츠의 홀로그램 재구성을 위해, 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도가 상기 목표 휘도를 충족함을 나타낼 때까지 상기 홀로그램을 조사하는 빛의 광 파워를 제어하는 과정
    을 포함하는 홀로그램 프로젝션 방법.
  2. 제 1항에 있어서,
    상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 상기 실제 휘도를 나타내는 파라미터 값을 사용하여, 상기 이미지 프레임의 상기 이미지 컨텐츠에 대한 상기 홀로그램 재구성의 휘도를 나타내는 파라미터 값을 계산하는 과정을 더 포함하는 홀로그램 프로젝션 방법.
  3. 제 1항에 있어서,
    한 번에 하나씩 프로젝션을 위한 추가 이미지를 수신하는 과정; 및
    각각의 이미지의 홀로그램 프로젝션의 휘도가 실질적으로 동일하도록 하기 위해 각각의 수신된 이미지에 대해 상기 과정 (ⅰ) 내지 (ⅷ)를 수행하는 과정을 더 포함하는 홀로그램 프로젝션 방법.
  4. 제 1항에 있어서,
    상기 과정 (ⅵ)는 휘도를 나타내는 측정된 파라미터에 응답하여 상기 제1 이득 인자를 변경하는 과정; 및
    상기 과정 (ⅶ)로 진행하기 전에 상기 과정 (ⅲ) 내지 (ⅵ)를 반복하는 과정을 더 포함하는 홀로그램 프로젝션 방법.
  5. 제 4항에 있어서,
    상기 제1 이득 인자는, 휘도를 나타내는 상기 측정된 파라미터가 제1 임계 레벨보다 높으면 증가되고, 또는 휘도를 나타내는 상기 측정된 파라미터가 제2 임계 레벨보다 낮으면 감소하되, 상기 제1 임계 레벨은 상기 휘도를 측정하는 광 검출기의 채도와 연관되고 상기 제2 임계 레벨은 상기 광 검출기의 노이즈 레벨과 연관되는 홀로그램 프로젝션 방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 제1 이득 인자는 상기 목표 휘도에 반비례하는 홀로그램 프로젝션 방법.
  8. 제 1항에 있어서,
    상기 과정 (ⅰ)은 상기 이미지의 픽셀 사용을 결정하는 과정을 더 포함하고, 상기 과정 (ⅲ)은 상기 픽셀 사용에 기초하여 상기 제1 이득 인자를 결정하는 과정을 더 포함하는 홀로그램 프로젝션 방법.
  9. 제 8항에 있어서,
    상기 제1 이득 인자는 상기 픽셀 사용에 비례하는 홀로그램 프로젝션 방법.
  10. 제 9항에 있어서,
    상기 픽셀 사용은 상기 이미지의 상기 그레이 레벨 값의 총 합을 상기 영역의 픽셀의 총 수로 나눈 것과 동일한 홀로그램 프로젝션 방법.
  11. 제 1항에 있어서,
    상기 휘도의 측정은 광 검출기 및 증폭기 회로를 사용하여 수행되고, 상기 방법은 상기 증폭기 회로가 상기 제2 이미지 영역의 수신된 광에 응답하여 광다이오드에 의해 생성된 전기 신호에 제2 이득 인자를 적용하는 과정을 더 포함하며, 상기 과정 (ⅶ)는 상기 제1 및 제2 이득 인자에 따라 상기 휘도를 스케일링하는 과정을 포함하는 홀로그램 프로젝션 방법.
  12. 홀로그램 프로젝션 시스템으로서,
    홀로그램을 포함하는 회절 패턴을 표시하도록 구성(arranged)된 공간 광 변조기(SLM);
    구조화된 광 패턴의 홀로그램 재구성을 형성하기 위해 상기 회절 패턴을 조사하도록 구성된 광원;
    상기 홀로그램 재구성으로부터 광을 검출하고 각각의 검출된 광 신호를 출력하도록 구성된 광 검출기; 및
    프로젝션을 위한 이미지를 수신하고, 상기 이미지에 대응하는 제1 이미지 영역 및 시스템 제어 파라미터를 나타내는 비이미지 컨텐츠에 대응하는 제2 이미지 영역을 포함하는 이미지 프레임을 형성하도록 구성된 이미지 프로세서를 포함하되,
    상기 이미지 프로세서는 상기 이미지 프레임의 상기 비이미지 컨텐츠의 그레이 레벨을 변경하기 위해 비이미지 컨텐츠의 상기 그레이 레벨에 제1 이득 인자를 곱하고, 상기 이미지 프레임의 홀로그램을 계산하도록 추가로 구성되며 상기 제1 이득 인자는 목표 휘도에 기초하여 결정되며,
    상기 시스템은:
    상기 광 검출기로부터 각각의 검출된 광 신호를 수신하고, 상기 검출된 광 신호로부터 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 휘도를 나타내는 파라미터의 측정치를 획득하도록 구성된 제어기를 더 포함하고,
    상기 제어기는,
    상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도(true luminance)를 나타내는 파라미터 값을 얻기 위해, 측정된 파라미터를 상기 제1 이득 인자의 역수에 따라 스케일링하고,
    상기 이미지 프레임의 이미지 컨텐츠의 상기 홀로그램 재구성을 위해, 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 실제 휘도가 상기 목표 휘도를 충족함을 나타낼 때까지 상기 홀로그램을 조사하는, 상기 광원의 광 파워를 제어하도록 구성되는
    홀로그램 프로젝션 시스템.
  13. 제 12항에 있어서,
    상기 제어기는 상기 비이미지 컨텐츠의 상기 홀로그램 재구성의 상기 실제 휘도를 나타내는 파라미터 값을 사용하여, 상기 이미지 컨텐츠의 상기 홀로그램 재구성의 이미지 휘도를 나타내는 파라미터 값을 계산하도록 추가로 구성되는 홀로그램 프로젝션 시스템.
  14. 제 12항에 있어서,
    상기 공간 광 변조기(SLM)는 상기 제어기에 동기화 신호를 제공하여 상기 이미지 프로세서와 상기 제어기 사이에 동기화가 되도록 구성되는 홀로그램 프로젝션 시스템.
KR1020210128293A 2020-10-02 2021-09-28 홀로그램 프로젝션 KR102612516B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2015652.7A GB2599436B (en) 2020-10-02 2020-10-02 Holographic projection
GB2015652.7 2020-10-02

Publications (2)

Publication Number Publication Date
KR20220044663A KR20220044663A (ko) 2022-04-11
KR102612516B1 true KR102612516B1 (ko) 2023-12-08

Family

ID=73223723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210128293A KR102612516B1 (ko) 2020-10-02 2021-09-28 홀로그램 프로젝션

Country Status (4)

Country Link
US (1) US20220107606A1 (ko)
EP (1) EP3979006B1 (ko)
KR (1) KR102612516B1 (ko)
GB (1) GB2599436B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634126B (zh) * 2023-05-10 2024-08-30 深圳市石代科技集团有限公司 基于宴会厅的5d全息投影控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198141A1 (en) 2011-10-20 2014-07-17 Panasonic Corporation Image display apparatus
JP2015064538A (ja) 2013-09-26 2015-04-09 アルプス電気株式会社 映像表示装置
WO2018100397A1 (en) 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
GB2498170B (en) 2011-10-26 2014-01-08 Two Trees Photonics Ltd Frame inheritance
GB2501112B (en) 2012-04-12 2014-04-16 Two Trees Photonics Ltd Phase retrieval
US20170006279A1 (en) * 2015-07-02 2017-01-05 Dimension Technologies Inc. Single Person and Multiple Person Full Resolution 2D/3D Head Tracking Display
GB2552850B (en) * 2016-12-02 2019-05-01 Dualitas Ltd Holographic projector
GB2559112B (en) * 2016-12-02 2019-05-01 Dualitas Ltd Holographic projector
GB2554472B (en) * 2016-12-02 2019-04-17 Dualitas Ltd Holographic projector
GB2552851B (en) * 2016-12-02 2019-02-20 Dualitas Ltd Holographic projector

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198141A1 (en) 2011-10-20 2014-07-17 Panasonic Corporation Image display apparatus
JP2015064538A (ja) 2013-09-26 2015-04-09 アルプス電気株式会社 映像表示装置
WO2018100397A1 (en) 2016-12-02 2018-06-07 Dualitas Ltd. Holographic projector

Also Published As

Publication number Publication date
EP3979006A1 (en) 2022-04-06
GB2599436B (en) 2022-10-26
EP3979006B1 (en) 2024-02-14
US20220107606A1 (en) 2022-04-07
KR20220044663A (ko) 2022-04-11
GB2599436A (en) 2022-04-06
GB202015652D0 (en) 2020-11-18
CN114384781A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
EP3408709B1 (en) Holographic projector
KR102470414B1 (ko) 동공 확장기
GB2552851A (en) Holographic projector
CN111486975B (zh) 用于全息投影仪的方法
KR102481541B1 (ko) 홀로그램 프로젝터
CN111694254B (zh) 激光调制
GB2554472A (en) Holographic projector
GB2559112A (en) Holographic projector
KR102575669B1 (ko) 프로젝션
KR102612516B1 (ko) 홀로그램 프로젝션
KR20230131110A (ko) 홀로그램 계산 방법
CN114384781B (zh) 全息投影
GB2552850A (en) Holographic projector
JP7477571B2 (ja) 直視のための色の最適化
GB2576031A (en) Illumination system and method
KR20230110617A (ko) 디스플레이 디바이스 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant