KR20150140694A - 안경형 장치 - Google Patents

안경형 장치 Download PDF

Info

Publication number
KR20150140694A
KR20150140694A KR1020157030142A KR20157030142A KR20150140694A KR 20150140694 A KR20150140694 A KR 20150140694A KR 1020157030142 A KR1020157030142 A KR 1020157030142A KR 20157030142 A KR20157030142 A KR 20157030142A KR 20150140694 A KR20150140694 A KR 20150140694A
Authority
KR
South Korea
Prior art keywords
hologram
light
phase
image
spatial
Prior art date
Application number
KR1020157030142A
Other languages
English (en)
Other versions
KR101763150B1 (ko
Inventor
제이미슨 크리스마스
댁슨 마시야노
Original Assignee
투 트리스 포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 투 트리스 포토닉스 리미티드 filed Critical 투 트리스 포토닉스 리미티드
Publication of KR20150140694A publication Critical patent/KR20150140694A/ko
Application granted granted Critical
Publication of KR101763150B1 publication Critical patent/KR101763150B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/06—Processes or apparatus for producing holograms using incoherent light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202—Reconstruction geometries or arrangements
    • G03H1/2205—Reconstruction geometries or arrangements using downstream optical component
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816—Iterative algorithms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/30—Modulation
    • G03H2225/32—Phase only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00—Substrate bearing the hologram
    • G03H2270/55—Substrate bearing the hologram being an optical element, e.g. spectacles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Holo Graphy (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

실제 광경을 증강하는 안경형 장치를 제공한다. 안경형 장치는 입사광에 위상지연 분포를 인가하도록 배열된 위상 변조 소자의 어레이를 포함하는 공간 광 변조기를 포함한다. 또한 이 장치는 공간 광 변조기로부터 공간적으로 변조된 광을 수신하도록 된 제1광 입력과 실제 시야를 갖는 제2광 입력을 포함하는 빔 합성기를 포함한다.

Description

안경형 장치{NEAR-EYE DEVICE}
본 개시는 고글이나 안경 등 눈에 가까이 쓰는 안경형 장치(near-eye device) 분야에 관한 것이다. 여기에 개시된 실시예는 일반적으로 실제 장면의 증강 또는 증강 현실을 위한 안경형 장치에 관한 것이다. 보다 구체적으로, 본 명세서에 개시된 실시예는 일반적으로 증강 현실용 위상 한정 홀로그램 프로젝션 기술을 포함하는 증강 현실용 홀로그램 프로젝션에 관한 것이다.
증강 현실과 같은 목적으로 안경형 장치들이 개발되고 있다.
공지의 안경형 장치를 도 1에 도시하였다. 도 1은 광원(101)과 집광렌즈(collimating lens: 103)의 배열에 의해 빔 스플리터(105)를 통하여 공간 광 변조기(107)를 조명하는 것을 보여준다. 공간 광 변조기(107)는 영상을 형성하도록 배열된 진폭 변조 소자의 어레이를 포함한다. 더욱 구체적으로, 공간 광 변조기(107)에 입사하는 광의 진폭은 공간적으로 변조되어 영상을 형성한다. 그 영상은 빔 스플리터(105)를 통해 볼 수 있다. 더욱 구체적으로는, 공간 광 변조기(107) 상의 영상은 빔 합성기(combiner: 109)의 제 1 광 입력(121)을 형성한다. 빔 합성기(109)는 일정 시야 범위의 실제 장면을 제공하는 제 2 광 입력(123)도 포함한다.
빔 합성기(109)에는 구면(spherical surface: 111)이 있어서 공간 광 변조기(107)의 영상이 발산되도록 한다. 또한 빔 합성기(109)는 발산 영상을 적어도 부분적으로 빔 결합기의 광 출력(125)으로 반사하도록 구성된다.
제 2 광 입력(123)에 수신된 광 역시 빔 합성기(109)의 광 출력(125) 쪽으로 나아가게 된다. 이 관점에서, 빔 합성기는 공간 광 변조기(107)에서 발산하는 영상과 실제 영상을 합성한다는 것을 이해할 수 있다. 따라서 실제 영상은 공간 광 변조기에서의 영상에 의해 증강되는 것을 알 수 있다. 주목할 만한 사실은, 도 1을 참조하여 설명한 장치는 구면(111)을 제공하여 공간 광 변조기 상의 영상이 빔 결합기의 뒤쪽 공간의 어떤 고정 점에서 나온 것처럼 보이도록 한다는 점이다. 따라서 공간 광 변조기(107)로부터의 영상은 구면(111)의 곡률 반경에 의해 정의된 공간의 어떤 고정 점에서 나온 것처럼 보인다.
본 개시는 향상된 안경형 장치를 제공하는 것을 목적으로 한다.
발명의 양상들은 첨부된 독립 청구항에 의해 정의된다.
공간 광 변조기로부터 공간적으로 변조된 광을 수신하고 실제 시야를 제공하도록 배치된 빔 결합기를 이용하여 안경형 장치 및 대응 방법을 제공한다. 이렇게 하여, 영상의 형태로 된 추가 정보에 의해 실제 장면이 보충 또는 증강 될 수 있다. 알려진 안경형 장치들은 아이 릴리프(eye relief: 눈동자 거리)를 추가하기 위해 물리 광학 부품을 사용하여 장면에 실제 영상을 투영한다.
본 실시예의 일 측면에 의하면,　입사광에 위상지연 분포를 인가하도록 배열된 위상 변조 소자의 어레이를 포함하는 공간 광 변조기; 및 공간 광 변조기로부터 공간적으로 변조된 광, 즉 공간 변조 광을 수신하도록 된 제1광 입력과 실제 시야를 갖는 제2광 입력을 포함하는 빔 합성기를 포함하는 안경형 장치를 제공한다.
또한, 안경형 장치를 이용하여 증강 현실을 제공하는 방법으로서, 영상을 나타내는 위상 한정 홀로그램 영역 데이터를 포함하는 홀로그램 데이터를 제공하는 단계; 공간적으로 변조된 광, 즉 공간 변조 광을 형성하기 위해 상기 홀로그램 데이터로 광을 공간적으로 변조하는 단계; 및 빔 합성기를 이용하여 실제 시야와 공간 변조 광을 합성하는 단계를 포함하는 증강 현실 제공 방법을 제공한다.
본 발명은 컴퓨터를 사용한 홀로그램 기술에 의하여 영상을 제공할 수 있는 효과가 있다.
이 기술은 더욱 에너지 효율적이고, 영상 형성 데이터에 추가 광학 소자들을 부호화 또는 내장(embed)할 수 있게 해준다.
다른 효과로서, 복잡한 추가 부품이 필요하지 않다.
또 다른 효과로서, 증강 작용 영상의 거리를 실시간으로 제어할 수 있다.
실시예들은 첨부도면에 따라 설명될 것이다.
도 1은 공지의 안경형 장치의 개략도이다.
도 2는 재생필드(replay field) 위치에 홀로그램 재구성(reconstruction)을 생성하도록 구성된 실리콘상 액정(LCOS: liquid crystal on silicon) 같은 반사형 공간 광변조기(reflective SLM: spatial light modulator)의 개략도를 도시한 것이다.
도 3은 위상 한정(phase-only) 홀로그램을 컴퓨터로 생성하기 위한 예시적인 알고리즘을 나타내는 도면이다.
도 4는 도 3의 예시 알고리즘을 위한 예시적인 랜덤 위상 시드(seed)를 나타내는 도면이다.
도 5는 본 개시에 따른 실시예를 나타내는 도면이다.
도 6은 실시예에 따른 프레넬(Fresnel) 홀로그램을 계산하기 위한 알고리즘이다.
도 7은 LCOS SLM의 개략도이다.
도면에서, 동일한 참조부호는 동일한 부분을 지칭한다.
본 발명은 공간 광 변조기 상의 영상을 이용하고 소위 아이 릴리프를 추가하는 성형면을 갖는 빔 합성기를 이용하는 종래 장치의 단점 중 일부를 해결함으로써 개선된 안경형 장치를 제공하는 것을 목적으로 한다. 특히, 본 발명은 개선된 안경형 장치를 다목적 컴퓨터 이용 홀로그램 기술을 이용하여 제공할 수 있음을 인식하고 있다.
물체에서 산란되는 광에는 진폭과 위상의 정보가 모두 포함되어 있다. 진폭 및 위상 정보는, 예를 들어, 공지의 간섭법에 의해 감광성 플레이트에 포착되어 간섭 무늬를 포함하는 홀로그램 기록 또는 '홀로그램'을 형성할 수 있다. "홀로그램"은 적절한 광으로 조사(illuminating)를 받고 복원(reconstruct)되어 원래의 객체를 나타내는 홀로그램 재구성 또는 재생 영상을 형성할 수 있다.
허용 가능한 품질의 홀로그램 재구성은 원래의 객체와 관련된 위상 정보만을 포함하는 "홀로그램"에서 이루어질 수 있음이 발견되었다. 이러한 홀로그램 기록은 위상 한정 홀로그램이라고 부를 수 있다. 컴퓨터 생성 홀로그래피는 예를 들면, 푸리에 기술을 이용하여 간섭 프로세스를 수치적으로 시뮬레이션하여 컴퓨터 생성 위상 한정 홀로그램을 생성할 수 있다. 컴퓨터 생성 위상 한정 홀로그램은 객체를 나타내는 홀로그램 재구성을 생성하는 데 이용할 수 있다.
따라서 용어 "홀로그램"은, 객체에 대한 정보를 포함하고 객체를 나타내는 재구성을 형성하는 데 이용될 수 있는 기록에 관한 것이다. 홀로그램은 주파수영역(frequency domain) 또는 푸리에 영역에서의 객체에 대한 정보를 포함할 수 있다.
2 차원 영상 프로젝션 시스템에서 홀로그램 기술을 이용하는 것이 제안되어 있다. 위상 한정 홀로그램을 이용한 영상 투영의 장점은 컴퓨터 이용 방법을 통해 많은 영상 속성, 예를 들어, 프로젝션 영상의 화면 비율, 해상도, 콘트라스트 및 다이나믹 레인지를 제어하는 능력이다. 위상 한정 홀로그램의 추가적인 장점은 진폭 변조를 통해 빛 에너지의 손실이 없게 되는 것이다.
컴퓨터로 형성한 위상한정 홀로그램은 "픽셀화(pixellated)"될 수 있다. 즉, 위상한정 홀로그램은 불연속(discrete) 위상 소자의 어레이 상에 표시될 수 있다. 각각의 불연속 소자는 "픽셀(pixel)"로 표시될 수 있다. 각각의 픽셀은 위상 변조 소자처럼 광 변조 소자로 동작할 수 있다. 따라서, 컴퓨터로 형성한 위상한정 홀로그램은 액정 공간 광 변조기(SLM)와 같은 위상 변조 소자의 어레이 상에 표시될 수 있다. SLM은 변조된 광이 반사에 의해 SLM으로부터 출력된다는 의미에서 반사적(reflective)이라 할 수 있다.
각 위상 변조 소자, 즉 픽셀은 위상 변조 소자에 입사되는 광을 제어 가능한 위상지연을 제공하기 위하여 상태가 변할 수 있다. 따라서, 실리콘상 액정(LCOS) SLM 과 같은 위상 변조 소자의 어레이는 계산으로 결정된 위상지연 분포로 표시(또는 "디스플레이")될 수 있다. 위상 변조 소자의 어레이 상에 입사되는 광이 코히런트(coherent)하면, 광은 홀로그램 정보, 또는 홀로그램으로 변조될 것이다. 홀로그램 정보는 주파수, 즉 푸리에 도메인에 있을 수 있다.
또는, 위상지연 분포는 키노폼(kinoform) 상에 기록될 수 있다. "키노폼"이라는 용어는 위상한정 홀로그램 기록 또는 홀로그램을 가리키는 데 총칭으로 사용될 수 있다.
위상지연은 양자화될 수 있다. 즉, 각 픽셀은 위상레벨의 이산적인 숫자 중 하나로 설정될 수 있다.
위상지연 분포는 입사광 파에(예를 들어, LCOS SLM를 조사함으로써) 적용될 수 있고, 또한 복원될 수 있다. 그 결과 재구성의 공간 내 위치는, 공간영역(spatial domain)에 홀로그램 재구성, 즉 "영상"을 형성하기 위해, 렌즈를 이용하여 광 푸리에 변환 렌즈를 수행함으로써 제어될 수 있다. 또는, 그 재구성이 파필드(far-field)에서 발생한다면 렌즈는 필요 없을 것이다.
컴퓨터로 형성한 홀로그램은 거치버그-색스턴(Gerchberg-Saxton)과 같은 알고리즘을 사용하는 것을 포함하여 다양한 방법으로 계산될 수 있다. 거치버그-색스턴 알고리즘은 공간영역(예컨대, 2차원 영상)의 진폭정보로부터 주파수영역의 위상정보를 도출하는 데 사용될 수 있다. 즉, 객체에 관한 위상정보는 공간영역에서의 유일한 정보인 강도(intensity) 내지는 진폭으로부터 "검색될(retrieved)" 수 있다. 따라서, 주파수영역에서 객체를 나타내는 위상한정 홀로그램은 계산될 수 있다.
홀로그램 재구성의 형성은 예컨대, 화면과 같은 재생필드에서의 영상(홀로그램 재구성)을 형성하기 위해 푸리에 변환 렌즈를 사용하여 홀로그램을 조사하거나 필요에 따라 광학적 푸리에 변환을 수행함으로써 가능하다. 프레넬 홀로그램의 경우 홀로그램 재구성은 소정의 위치에 형성된다.
도 2는 본 개시에 따라, 재생필드 위치에서 푸리에 홀로그램 재구성을 생성하기 위해 LCOS-SLM 과 같은 반사형 SLM을 사용하는 예를 도시한다.
예컨대 레이저나 레이저 다이오드 같은 광원(210)은 콜리메이팅 렌즈(collimating lens)(211)를 통해 SLM(240)을 조사하도록 배치된다. 콜리메이팅 렌즈는 거의 평면의 광 파면이 SLM 상에 입사되도록 한다. 파면의 방향은 약간 오프노멀(off-normal)으로서, 예컨대, SLM 투명층의 평면 대비 완전 직각으로부터 2˚ 또는 3˚정도 떨어진 각을 이룬다. 이런 배치에 의하여 광원으로부터의 광은 SLM의 후방면의 미러에 반사되고, 위상 변조층과 상호작용하여 출사파면(exiting wavefront: 212)을 형성한다. 출사파면(212)은 스크린(225)에 초점이 맞춰진 푸리에 변환 렌즈(220)를 포함하는 광학계에 인가된다.
푸리에 변환 렌즈(220)는 SLM으로부터 출사되는 위상 변조된 광의 빔을 수신하고, 공간영역의 스크린(225)에 홀로그램 재구성을 생성하기 위해 주파수-공간 변환을 수행한다.
이 과정에서, 광원으로부터의 광 -영상 프로젝션 시스템의 경우에는 가시광-이 SLM(240)과 위상 변조 층(즉, 위상 변조 소자의 어레이)에 걸쳐 분포된다. 위상 변조 층에서 출사된 광은 재생필드에 걸쳐 분포될 수 있다. 홀로그램의 각 픽셀은 전반적으로 재생 영상에 기여한다. 즉, 재생 영상의 특정 지점과 특정 위상 변조 소자 사이에 일대일 상관관계는 없다.
위상 복원 문제를 고려할 때 거치버그-색스턴 알고리즘에서는 각각의 면 A와 B 상의 광 빔의 강도 단면적(intensity cross-section)인 IA(x,y)와 IB(x,y)는 기지의 값이고 단일 푸리에 변환에 의해 상관되는 것으로 한다. 강도 단면적이 주어졌으므로, 평면 A와 B에서의 각각의 위상분포인, φA(x,y)와 φB(x,y)의 근사치가 구해진다. 거치버그-색스턴 알고리즘은 반복 과정(iterative process)을 수행함으로써 이 문제의 해답을 구한다.
거치버그-색스턴 알고리즘은 공간영역과 푸리에(스펙트럼) 영역 사이에서 IA(x,y)와 IB(x,y)로 나타나는 데이터 세트(진폭과 위상)를 반복적으로 전송하는 동안, 반복적으로(iteratively) 공간과 스펙트럼 제약(constraint)을 적용한다. 공간과 스펙트럼 제약은 각각 IA(x,y)와 IB(x,y) 이다. 공간 또는 스펙트럼 영역에서의 제약은 데이터 세트의 진폭에 부과된다. 이에 해당하는 위상 정보는 일련의 반복을 통해 검색(retrieve)된다.
거치버그-색스턴에 기초한 수정 알고리즘이 개발되어 있고, 예를 들면 동시 계류중이며 본 명세서의 참조 원용 문헌인 PCT 출원공개 WO 2007/131650호가 있다.
도 3은 기지의 진폭정보 T[x,y] (362)를 생성하는 데이터세트의 푸리에 변환의 위상정보 Ψ[u,v]를 검색하는 수정된 알고리즘을 도시한다. 진폭정보 T[x,y] (362)는 대상 영상(예: 사진)을 나타낸다. 위상정보 Ψ[u,v]를 이용하여 영상 평면에서 대상 영상을 나타내는 홀로그램을 생성한다.
크기와 위상은 푸리에 변환에서 본질적으로 결합하므로, 변환된 크기(및 위상)는 계산된 데이터 세트의 정확성에 관해 유용한 정보를 포함한다. 따라서, 이 알고리즘은 진폭과 위상 정보 모두에 대한 피드백을 제공할 수 있다.
도 3에 도시된 알고리즘은 복합파 입력(complex wave input: 진폭정보(301) 및 위상정보(303) 포함)과 복합파 출력(또한 진폭정보(311) 및 위상정보(313) 포함)을 갖는 것으로 간주할 수 있다. 설명의 편의상, 진폭과 위상정보는 비록 데이터 세트를 형성하기 위해 본질적으로 결합하지만, 개별적으로 고려된다. 진폭 및 위상 정보 모두 그 자체가 파필드(farfield) 영상에 대해서는 공간 좌표(x, y)의 함수, 홀로그램에 대해서는 (u, v)의 함수이고, 둘 다 진폭 및 위상 분포인 것을 기억해야 한다.
도 3에 따르면, 프로세싱 블록(350)은 크기정보(301)와 위상정보(303)를 갖는 제 1 데이터 세트로부터 푸리에 변환을 생성한다. 그 결과는 크기정보와 위상정보 Ψn[u,v] (305)를 갖는 제 2 데이터 세트이다. 프로세싱 블록(350)의 진폭정보는 광원(light source)을 나타내는 분포로 설정되나, 위상정보 Ψn[u,v] (305)는 유지된다. 위상정보(305)는 프로세싱 블록(354)에 의해 양자화되고, 위상정보 Ψn[u,v] (309)로서 출력된다. 위상정보(309)는 프로세싱 블록(356)에 전달되고, 프로세싱 블록(352)에 의한 새로운 크기와 결합된다. 제 3 데이터 세트(307, 309)는 역 푸리에 변환을 수행하는 프로세싱 블록(356)에 입력된다. 이렇게 하므로 공간영역에서 진폭정보(311)와 위상정보(313)를 갖는 제 4 데이터 세트 Rn[x,y]가 생성된다.
제 4 데이터 세트를 시작으로, 제 4 데이터 세트의 위상정보(313)는 다음 반복과정(iteration, 303')의 제 1 데이터 세트로 입력되는 제 5 데이터 세트의 위상정보를 형성한다. 이의 진폭정보 Rn[x,y] (311)를 대상 영상의 진폭정보 T[x,y] (362)에서 차감하는 만큼 수정하여 진폭정보(315) 세트를 생성한다. 크기가 조정된(scaled) 진폭정보(315)(α만큼 조정)를 타겟 진폭정보 T[x,y](362)에서 차감하여 제 5 데이터 세트의 입력 진폭정보 η[x,y](301)를 생성하고 이를 제 1 데이터 세트로서 다음 반복과정에 인가한다. 이는 다음의 식으로 수학적으로 표현된다:
Figure pct00001
여기서:
F'는 역 푸리에 변환
F는 정방향 푸리에 변환
R은 재생필드
T는 대상 영상
∠ 는 각도 정보
Ψ는 각도 정보의 양자화된 버전
ε 는 새로운 타겟 크기이고, ε≥0이다.
α는 이득요소로서 ~1이다.
이득요소 α는 수신된 대상 영상 데이터의 크기와 속도에 따라 미리 결정될 수 있다.
선행하는 반복과정으로부터 위상정보가 없는 경우, 알고리즘의 첫 번째 반복과정은 출발점으로서 랜덤 위상 정보를 제공하기 위해 랜덤 위상 생성기를 사용한다. 도 4는 랜덤 위상 시드(seed)의 예를 도시한 것이다.
발명의 변형 예에서, 프로세싱 블록(350)으로부터 수신된 결과적인 진폭정보는 삭제되지 않는다. 타겟 진폭정보(362)는 진폭정보로부터 감산 되어 새로운 진폭정보를 생성한다. 진폭정보의 배수가 진폭정보(362)로부터 감산 되어 프로세싱 블록(356)을 위한 입력 진폭정보를 생성한다. 다른 대안으로서, 위상은 전체가 피드백 되지 않고, 마지막 두 반복과정을 통해 변경된 만큼에 비례하는 일부가 피드백 된다.
이렇게 하여, 관심 영상을 나타내는 푸리에 영역 데이터를 형성할 수 있다.
위상 홀로그램과 관련된 실시예들은 단지 예로서, 본 개시는 진폭 홀로그램에도 동등하게 적용할 수 있을 것이다.
본 발명자들은 도 1에 나타낸 안경형 장치의 한계를 인식하게 되었다:
- 광은 그의 대부분을 감쇠시키는 과정을 포함하면서 진폭 변조되기 때문에, 도 1의 장치는 에너지 비효율적이다.
- 실제 장면을 증강하는 영상은 공간의 고정(즉, 비 가변) 위치에서 인식된다.
- 광학 부품의 광학 수차 등의 보상에 추가 광학계가 필요할 수 있다.
- 또한 구면을 합성기의 일부로 생산하기에 비싸다.
본 발명자들은 실제 장면을 증강하는 영상을 형성하기 위해 다목적 홀로그래피 기술을 이용하여 이러한 문제를 해결하고 있다. 이 영상은 "증강 작용 영상(augmenting image)"이라고 부를 수 있다.
도 5는 본 발명의 실시예를 보여준다.
광원(501)과 집광렌즈(503)는 빔 스플리터(505)를 통하여 공간 광 변조기(507)를 조명하도록 배치된다. 공간 광 변조기(507)는 영상의 홀로그램 영역 표현을 표시(또는 "디스플레이")하도록 배열된 위상 변조 소자(또는 "픽셀")의 어레이를 포함한다. 더욱 구체적으로, 공간 광 변조기(507)에 입사하는 광의 위상은 공간적으로 변조되어 공간 변조 광을 형성한다. 이 공간 변조 광은 빔 합성기(509)의 제 1 광 입력을 형성한다.
빔 합성기(509)는 일정 시야 범위의 실제 장면을 제공하는 제 2 광 입력(523)을 포함한다. 또한 빔 스플리터(505)는 공간 변조 광을 빔 합성기(509)의 광 출력(525) 쪽으로 나아가게 하는 구성으로 된다. 이 관점에서, 빔 합성기는 실제 영상을 공간 변조 광과 합성한다는 것을 이해할 수 있다. 따라서 실제 영상은 공간 광 변조기에서 출사하는 광에 의해 증강되는 것을 알 수 있다.
빔 스플리터(505)는 옵션이며 공간 광 변조기(507)는 동일한 결과를 위해 백라이트를 받거나 빔 스플리터를 필요로 하지 않는 다른 기하학적 구조(geometry)들로 조명을 받을 수도 있음을 쉽게 이해할 수 있다. 또한, 당업자는 광을 콜리메이팅 하기 위한 다른 기술들도 이용할 수 있는 것을 이해할 것이다.
도 1을 참조하여 설명한 장치와는 대조적으로, 본 개시에 의한 공간 광 변조기(507)는 입사광의 진폭이 아니라 위상을 공간적으로 변조한다. 이렇게 하면 광이 감쇠하지 않기 때문에 장치는 더욱 에너지 효율적이 된다.
따라서 제공되는 안경형 장치는 입사광에 위상지연 분포를 인가하도록 배열된 위상 변조 소자의 어레이를 포함하는 공간 광 변조기; 및 공간 광 변조기로부터 공간적으로 변조된 광, 즉 공간 변조 광을 수신하도록 된 제1광 입력과 실제 시야를 갖는 제2광 입력을 포함하는 빔 합성기를 포함한다.
도 1의 장치와 더욱 대조적으로, 공간 광 변조기(507)는 실제 영상이 아닌 영상에 대응하는 홀로그램을 디스플레이한다. 즉, 공간 변조 광은 영상을 나타내는 위상 한정 홀로그램 영역 데이터를 포함한다. 따라서, 이 장치는 홀로그램의 모든 부분이 그 재구성의 모든 부분에 기여하도록 하기 때문에 에너지 효율적이다.
실시예에서, 홀로그램은 푸리에 홀로그램이다. 즉, 홀로그램 영역 데이터는 푸리에 홀로그램이다. 푸리에 홀로그램은 그 재구성이 무한대(infinity)에 또는 푸리에 변환을 수행하는 렌즈의 초점에 형성되는 홀로그램이다. 유리하게, 푸리에 홀로그램을 이용함으로써, 관찰자의 눈은 망막에 홀로그램 재구성을 형성하기 위해 푸리에 변환을 수행 할 수 있다. 따라서, 관찰자와 빔 합성기 사이의 거리는 중요하지 않다. 즉, 관찰자는 빔 합성기에 대해 가까이 또는 멀리 이동하여도 그대로 홀로그램 재구성을 볼 수 있다. 이와 같이 본 장치는 관찰자의 움직임에도 안정성이 더 높고 설계 유연성도 높여준다. 즉, 실시예에서 공간 변조 광은, 사용자의 눈이 공간 변조 광의 푸리에 변환을 하면서 영상의 홀로그램 재구성을 볼 수 있게 하도록 된다.
푸리에 홀로그램과 관련하여 본 명세서에 기재된 실시예는 단순한 예시에 불과하다. 본 개시는 홀로그램 계산시에 프레넬 렌즈 함수에 적용되는 프레넬 홀로그램에도 동일하게 적용될 수 있다. 도 6은 프로젝션을 위한 대상 영상을 나타내는 푸리에 영역 데이터를 계산하기 위한 프레넬 홀로그램 알고리즘의 예를 도시한다.
위상복원 알고리즘을 위한 개시조건(601)은 각 픽셀이 단일 진폭(unity amplitude)을 갖는 반면 랜덤 위상 시드 함수에 의해 제공된 랜덤 위상을 갖는 것이다. 프레넬 위상 함수(603)를 위상 데이터에 가산한다. 얻어진 진폭 및 위상 함수는 푸리에 변환(605)된다. 타겟 이미지 또는 대상 영상(진폭 한정)(609)을 진폭 성분 및 인가된 제어 가능 이득(611)으로부터 감산한다. 대상 영상(609)을 진폭 성분에 가산하고, 역 푸리에 변환(615)을 수행한다. 프레넬 렌즈 함수(717)를 감산하고, 위상을 양자화(619)한다. 얻어진 위상정보는 홀로그램(623)을 형성한다. 이 루프의 추가적인 반복과정을 수행하도록 프레넬 렌즈 함수(621)를 다시 가산하고 푸리에 변환(615)과 뒤이은 단계를, "양호(acceptable)" 품질의 홀로그램을 얻을 때까지 반복한다.
실시예에서, 홀로그램은 프레넬 홀로그램이다. 즉, 홀로그램 영역 데이터는 프레넬 홀로그램이다. 프레넬 홀로그램에서는 홀로그램 재구성이 푸리에 경로를 따라 어떤 소정 지점에 형성된다. 즉, 실시예에서, 공간 변조 광은 근시야(near-field)에서 재생면에 영상의 홀로그램 재구성을 형성하도록 된다. 유리하게, 프레넬 홀로그램으로는 단일 홀로그램으로부터 공간의 다수 평면에 재구성을 생성할 수 있다. 따라서 다수 개 영상이 동시에 실제 장면을 증강할 수 있다.
실시예에서, 홀로그램은 렌즈 효과 데이터(lensing data)를 더 포함한다. 구체적으로는, 영상을 나타내는 홀로그램 영역 데이터에 렌즈 효과(lensing effect)를 갖는 홀로그램 영역 데이터가 합성- 예를 들어, 가산-된다. 이 부가 홀로그램 데이터는 실제 렌즈를 모방하고, 따라서 광 파워를 추가한다. 그로 인하여 렌즈 효과 데이터는 영상이 공간 중 사용자에게 출현할 어떤 위치를 제어한다. 필요한 렌즈 효과를 가진 홀로그램 영역 데이터를 계산하는 방법과 그러한 데이터를 다른 홀로그램 영역 데이터에 가산하는 방법은 당업자에게 알려져 있다.
따라서, 일 실시예에서 공간 변조 광은 또한 렌즈 효과를 갖는 위상 한정 홀로그램 영역 데이터를 더 포함한다.
실시예에서, 홀로그램은 위상 한정 홀로그램이고, 렌즈 효과는 위상 한정 렌즈에 의해 제공된다. 위상 한정 홀로그램은 실시간으로 계산되거나 데이터베이스와 같은 저장소로부터 불러올 수 있다. 홀로그램은 거치버그-색스턴 알고리즘 또는 적절한 홀로그램 영역 데이터를 생성하기 위한 임의의 다른 알고리즘을 사용하여 계산될 수 있다. 통상의 기술자라면, 홀로그램은 진폭 홀로그램일 수도 있고 진폭 및 위상 홀로그램일 수도 있으므로, 렌즈 효과는 진폭 홀로그램 또는 진폭과 위상 홀로그램에 의해 제공된다는 것을 이해할 것이다.
실시예에서, 영상을 나타내는 홀로그램 영역 데이터가 렌즈 효과를 갖는 홀로그램 영역 데이터와 합성되어, 시스템에 아이 릴리프를 추가하려 할 때 예를 들어 빔 합성기의 구면 같은 추가 요소가 필요 없다. 이에 따라 시스템의 제조 비용은 감소한다. 특히 구면을 필요한 허용 범위 내에서 제조하는 비용은 높다.
일 실시예에서 2 개의 홀로그램 데이터 세트는 간단한 벡터 가산에 의해 합성된다. 이 점에서 공간 광 변조기에 표시되는 홀로그램은 증강할 실제 영상을 나타내는 제1데이터와 렌즈 효과 함수(lensing function)를 포함하는 제2데이터를 포함한다. 특히, 렌즈 효과 함수는 영상을 나타내는 홀로그램 데이터에 다른 렌즈 효과 함수를 가산하는 것만으로도 간단히 변경할 수 있다. 따라서 이 방법은 예를 들어, 시스템을 사용시에 재정렬하거나 사용자가 다양한 거리에 데이터를 표시하고자 하는 경우 영상의 지각 위치(perceived position)의 실시간 조정을 가능하게 한다.
일 실시예에서 렌즈 효과는 음의 렌즈 효과이다. 따라서 실제 장면을 증강하는 영상은 사용자로부터 멀리 이동되는 효과를 보인다. 즉, 영상은 실제 원점보다 더 먼 원점에서 나타난 것처럼 보인다. 구체적으로는 영상이 공간 광 변조기에서보다 더 먼 공간의 점에서 오는 것 같이 보인다. 이 관점에서, 렌즈 효과는 아이 릴리프를 추가한다고 말할 수 있다. 바람직하게는, 음의 렌즈 효과를 사용함으로써 영상은 그만큼 실제 장면의 범위 내인 것으로 사용자에게 나타날 수 있다. 환언하면, 일 실시예에서 공간 변조 광은 발산된다.
다른 실시예에서 추가 광 파워를 홀로그램에 가산하여 다른 광학 부품을 보상할 수 있다. 일 실시예에서 공간 변조 광은 안경형 장치의 다른 광학 부품들에서 수차(aberrations)를 보정하도록 된 위상 한정 홀로그램 영역 데이터를 더 포함한다. 역시, 수차를 보상하도록 된 위상 한정 홀로그램 영역 데이터는 수치적으로 제어되어 쉽게 변경될 수 있는 것을 이해할 수 있다.
위의 설명으로부터 실시예에서는 영상(홀로그램 재구성)이 실제 장면을 증강하는 것을 이해할 수 있다. 실시예에서 이러한 증강은 광학적으로 달성된다. 일 실시예에서 제1광 입력 및 제2광 입력은 등방향(co-linear)이다. 일 실시예에서, 빔 합성기는, 제1광 입력에 수신된 광을 제2광 입력에 광과 합성하도록 된 광 출력을 더 포함한다. 따라서, 실제 장면을 영상으로써 증강하는 쉽고 편리한 방법이 제공된다. 구체적으로, 일 실시예에서 광 출력은, 제1광 입력에 수신된 광을 제2광 입력에 수신된 광과 적어도 부분적으로 중첩하도록 된다.
일 실시예에서 안경형 장치는 그 사용자가 빔 합성기로부터 광 출력을 수신할 수 있게 하도록 구성된다. 홀로그램 재구성은 사용자에게 추가 정보를 제공하는 데 이용될 수 있다. 홀로그램 구성은 인공적인 장면을 제공하는 데에도 이용될 수 있다. 일 실시예에서 영상의 홀로그램 재구성은 실제 시야를 증강한다.
장치는 광원을 필요로 하지만, 그 광원은 안경형 장치의 외부에 있어도 좋고, 대신에 안경형 장치와 일체여도 좋다는 것을 이해할 수 있다. 일 실시예에서, 안경형 장치는 공간 광 변조기를 조명하도록 된 광원을 더 포함한다.
간단하게 입사광은 평면파일 수 있다. 그러나 홀로그램을 입사광에 맞게 조정하여, 소망 영상을 형성하는 데 필요한 광을 생성하여 공간 변조 후 재구성되면서 소망 영상을 형성하도록 할 수 있음을 알 수 있다. 즉, 입사광은 평면파가 아니어도 좋다. 그러나, 일 실시예에서 그 광원은 공간 광 변조기를 광의 평면파로 조명하도록 구성된다.
일 실시예에서 안경형 장치는 고글이나 안경이다. 당업자는 안경형 장치가 다른 알려진 형태를 취할 수 있다는 것을 이해할 것이다. 영상은 비디오 영상일 수 있고, 시변적(time-variant)일 수도 있다. 영상은 시간에 따라 이동할 수 있다. 또한 영상은 스틸 영상일 수 있다.
안경형 장치를 사용하여 증강 현실을 제공하는 방법이 제공되고, 이 방법은 영상을 나타내는 위상 한정 홀로그램 영역 데이터를 포함하는 홀로그램 데이터를 제공하는 단계; 공간적으로 변조된 광, 즉 공간 변조 광을 형성하기 위해 홀로그램 데이터로 광을 공간적으로 변조하는 단계; 및 빔 합성기를 이용하여 실제 시야와 공간 변조 광을 합성하는 단계를 포함한다. 일 실시예에서 홀로그램 데이터는, 렌즈 효과를 갖는 위상 한정 홀로그램 영역 데이터를 더 포함한다. 일 실시예에서 홀로그램 영역 데이터는 푸리에 홀로그램과 프레넬 홀로그램 중 적어도 하나이다.
광은 실리콘 상 액정 SLM과 같은 공간 광 변조기를 이용하여 공간적으로 변조될 수 있다. 홀로그램 데이터는 SLM에 기록되어 광의 입사 평면파가 홀로그램 데이터에 의해 공간적으로 변조되는 것을 알 수 있다. 이러한 점에서, SLM의 픽셀들이 홀로그램 데이터를 "디스플레이" 내지는 "표시"한다고 볼 수 있다.
이 장치는 다양한 정보를 디스플레이 할 수 있는 것을 알 수 있다. 따라서 다수의 디스플레이 가능한 영상에 대응한 홀로그램은 미리 계산되어 저장소에 저장되거나 실시간으로 계산될 수 있다. 일 실시예에서 다수의 영상을 각각 나타내는 홀로그램 영역 데이터의 저장소가 제공된다. 마찬가지로, 실시예에서, 다양한 렌즈 효과를 갖는 홀로그램 영역 데이터의 저장소가 제공된다. 또 다른 실시예에서는, 다양한 렌즈 효과 데이터(lensing data) 세트의 광파워의 룩-업 테이블이 제공된다.
푸리에 홀로그램에서 재구성된 영상의 품질은 재구성의 회절 특성의 결과인 소위 0차 문제의 영향을 받을 수 있다. 이러한 0차 광은 "노이즈"로 간주될 수 있고, 예를 들면, 정반사된 빛과 SLM으로부터의 기타 원치 않는 빛을 포함할 수 있다.
이러한 "노이즈"는 일반적으로 푸리에 렌즈의 초점(focal point)에 맞추어져 결국 재구성 영상의 중심에 명점(bright spot)을 일으킨다. 통상적으로 0차 광은 간단히 차단되나, 이는 명점을 암점(dark spot)으로 대체하는 것을 의미한다.
그러나 홀로그램은 3차원 정보를 포함하기 때문에, 재구성을 공간의 다른 평면으로 위치 변경하는 것이 가능하다. 예를 들면, 본원 발명에 참조로 포함되는 PCT출원 공개 WO 2007/131649를 참조한다.
대안으로서 각도 선택형 필터는 0차의 평행한 광선만을 제거하기 위해 사용될 수 있다. 0차를 관리하는 다른 방법도 이용될 수 있다.
본 명세서에 기재된 실시예들은 프레임당 하나의 영상을 표시하지만, 본 개시는 이런 면으로 제한되지 않고, 하나 이상의 홀로그램이 어느 때라도 한 번에 SLM상에 표시될 수 있다.
예를 들어, 실시예는 "타일링(tiling)" 기술을 구현하여 SLM의 표면 영역을 다수의 타일로 더 분할하고, 각각의 타일을 원래 타일과 유사하거나 동일하게 위상분포 안에 설정한다. 따라서, 각 타일의 표면영역 크기는 SLM의 전체 할당된 영역이 하나의 큰 위상 패턴으로서 이용되었을 경우 보다 작다. 타일 내의 주파수 성분의 수가 더 적어질수록 영상이 생성될 때 재구성 픽셀들이 이격되는 거리가 증가한다. 영상은 0차 회절 차수 내에서 생성되므로, 제 1 및 후속 차수들은 영상과 중첩하지 않도록 충분히 멀리 위치 변경하는 것이 바람직하고, 그들 사이를 공간 필터로 차단하는 것도 가능하다.
전술한 바와 같이, 이러한 방법(타일링 이용 여부와 무관하게)으로 생성된 영상은 영상 픽셀을 형성하는 지점(spot)을 포함한다. 사용되는 타일의 수가 많을수록 이러한 지점은 작아진다. 무한 사인파의 푸리에 변환을 예로 들자면, 단일 주파수가 생성된다. 이는 최적의 출력이다. 실제로는, 단 하나만의 타일이 사용되는 경우, 이는 단일 사이클의 사인파의 입력에 해당하는 것으로서, 제로 값들이 사인파의 엔드 노드들로부터 양과 음의 방향으로 무한대로 이어지는 상태와 같다. 그의 푸리에 변환으로부터 단일 주파수를 생성하는 대신에, 주요 주파수 성분과 그 양측에 있는 일련의 인접 주파수 성분들이 생성된다. 타일링의 이용은 이러한 인접 주파수 성분의 크기를 감소시켜, 이것의 직접적인 결과로서, 인접한 영상 픽셀간에 간섭(보강 또는 상쇄)을 감소시킴으로써 화질을 향상시킬 수 있다.
타일의 일부분을 사용하는 것이 가능하지만, 바람직하게는 각각의 타일은 온전한 타일이다.
실시예들은 거치버그-색스턴 알고리즘의 변형과 관련이 있지만, 통상의 기술자라면 다른 위상복원 알고리즘이라도 본 명세서에 개시된 개선된 방법을 구현할 수 있음을 이해할 것이다.
통상의 기술자라면 본 명세서에 개시된 개선된 방법이 객체의 3차원 재구성을 형성하는 데 이용하는 홀로그램의 계산에 동일하게 응용될 수 있음을 이해할 것이다.
마찬가지로, 본 발명은 단색 영상의 프로젝션에 한정되지 않는다.
2차원 컬러 홀로그램 재구성도 생성될 수 있는데, 이를 달성하기 위한 2가지 주요 방법이 있다. 이 중 하나는 "프레임 순차 컬러(FSC: frame-sequential colour)"로 알려져 있다. FSC시스템은, 3개의 레이저(적, 녹, 청)를 사용하고, 각각의 레이저는 비디오의 각 프레임을 생성하기 위해 SLM에서 연속적으로 발사된다. 컬러는 충분히 빠른 속도로 순환(적, 녹, 청, 적, 녹, 청 등)되어, 보는 사람이 3개 레이저의 조합으로부터 다색 영상을 보도록 해준다. 따라서, 각각의 홀로그램은 특정 색에 대응한다. 예를 들어, 초당 25 프레임의 비디오에서, 제 1 프레임의 생성은 1/75초 동안 적색 레이저의 발사 후 1/75초 동안 녹색 레이저 발사, 및 마지막 1/75초 동안 청색 레이저의 발사에 의해 생성될 수 있다. 이후, 다음 프레임은 적색 레이저로 시작하는 등으로 이어지면서 생성된다.
다른 방법으로서, 이하에서 설명할 "공간 분리 컬러(SSC: spatially separated colours)"는 모든 3개의 레이저 모두를 동시에 발사하되, 상이한 광로를 취하도록, 예컨대, 각 레이저가 다른 SLM을 이용 또는 단일 SLM의 다른 영역을 이용하도록 하고, 그 후 결합하여 컬러 영상을 형성한다.
프레임-순차 컬러(FSC) 방식의 장점은 각 컬러에 대해 온전한 SLM이 이용된다는 것이다. 이는 SLM의 모든 픽셀이 각각의 컬러 영상에 사용되기 때문에 생성된 3개 컬러 영상의 화질이 손상되지 않을 것을 의미한다. 반면, SSC방법에 비해 FSC방식의 단점은, 각 레이저가 단지 1/3시간을 사용하기 때문에 생성된 전반적인 영상이 SSC방법에 의해 생성된 해당 영상 보다 3배 정도로 어둡다는 것이다. 이러한 단점은 레이저를 오버드라이브(overdriving)하거나 보다 강한 레이저를 사용함으로써 잠재적으로 해결될 수 있으나, 이는 더 많은 전력을 요구하므로, 고비용을 수반하고 콤팩트한 시스템을 만들기 어렵게 한다.
공간 분리 컬러(SSC) 방식의 장점은 3개의 레이저가 동시에 발사되기 때문에 영상이 더 밝다는 점이다. 그러나, 공간의 제약 때문에 SLM을 하나만 사용해야 한다면, 3개의 개별 SLM의 효과를 얻기 위해, SLM의 표면적을 동일하게 3등분으로 분할하게 된다. 그러나, 이것의 단점은 각 단색 영상에 사용할 수 있는 SLM 표면적의 감소 때문에 각각의 단일 컬러 영상의 화질이 감소한다는 것이다. 이에 따라, 다색 영상의 화질은 떨어진다. 가용 SLM 표면적이 감소되면 SLM 상의 더 적은 픽셀만을 사용할 수 있기 때문에, 화질은 감소된다. 해상도가 감소되므로, 화질도 감소된다.
실시예에서, SLM은 실리콘 상 액정(LCOS: Liquid Crystal over Silicon) 소자이다. LCOS SLM의 장점은 신호선, 게이트 선 및 트랜지스터들이 미러 표면 아래에 있다는 것인데, 이는 높은 충전율(fill factors, 전형적으로 90 % 이상)과 높은 해상도를 가져다 준다.
LCOS 소자는 현재 4.5㎛ 에서 12㎛ 사이의 픽셀로 구할 수 있다.
LCOS 소자의 구조는 도 7에 도시된다.
LCOS소자는 단결정 실리콘 기판(802)을 사용하여 형성된다. LCOS소자는 그 기판의 상부 표면에 간극(801a) 만큼 이격되어 배치된 사각 평면 알루미늄 전극(801)들의 2차원 어레이를 가진다. 전극(801) 각각은 기판(802)에 매설된 회로(802a)를 통해 어드레싱(addressing)될 수 있다. 각각의 전극들은 각각의 평면 미러를 형성한다. 배향층(alignment layer, 803)은 전극 어레이 상에 배치되고, 배향층(803)에 액정층(804)이 배치된다. 액정층(804)에 제 2 배향층(805)이 배치되고, 제 2 배향층(805)에는 예컨대, 유리로 된 평면 투명층(806)이 배치된다. 예컨대 ITO로 된 단일 투명 전극(807)은 투명층(806)과 제 2 배향층(805) 사이에 배치된다.
사각전극(801) 각각은, 위에 놓인 투명전극(807) 및 중간에 개재되는 액정재료 영역과 함께, 종종 픽셀로 지칭되는 제어 가능한 위상 변조소자(808)를 규정한다. 유효 픽셀 영역, 즉 충전율은 픽셀 간 간극(801a)을 고려했을 때, 광학적으로 활성인 총 픽셀의 비율이다. 각각의 전극(801)에 인가된 전압을 투명전극(807)에 대하여 제어함으로써, 각 위상 변조 작용 요소의 액정의 물성은 변화될 수 있고, 따라서 그에 입사되는 입사광에 가변 지연을 제공한다. 이렇게 함으로써 파면에 위상한정 변조가 가해지는 한편 어떤 진폭효과도 발생하지 않는다.
반사형 LCOS 공간 광 변조기를 사용하는 주요 장점은 투광장치(transmissive device)가 사용될 때 필요한 것보다 액정층의 두께가 반감될 수 있다는 것이다. 이는 액정의 스위칭 속도(비디오 동영상의 프로젝션을 위한 핵심)를 크게 향상시킨다. LCOS 소자는 또한 독보적으로 커다란 위상 한정 요소 어레이들을 작은 개구(aperture) 내에 디스플레이 할 수 있다. 작은 요소(일반적으로 약 10 미크론 이하)들은 실용적인 회절각도(몇도 정도)를 제공하므로, 광학 시스템이 매우 긴 광 경로를 필요로 하지 않는다.
큰 액정 장치의 개구보다 LCOS SLM의 소형 개구(수 cm2)를 적절하게 조사하기 하기가 더 쉽다. LCOS SLM는 큰 개구율을 가지면서도 , 픽셀 간 사멸 공간(dead space)이 거의 없다 (그 구동회로가 미러 아래에 매설되어 있으므로). 이것은 재생 영역에서의 광학 노이즈 줄이기와 관련하여 중요한 이슈이다.
이러한 장치는 통상적으로 10℃에서 약 50℃의 온도범위에서 동작하고, 최적의 장치 동작온도는 약 40℃에서 50℃ 범위가 되지만, 사용되는 LC 구성에 따라 달라진다.
실리콘 백플레인(backplane)을 사용하면 픽셀들이 광학적으로 편평하다는 장점을 갖는데, 이는 위상변조장치에 중요하다.
실시예들은 반사형(reflective) LCOS SLM에 관한 것이고, 통상의 기술자라면 투과형(transmissive) SLM을 포함하여 어떤 SLM라도 사용될 수 있는 것으로 이해할 것이다.
본 발명은 기재된 실시예들에 한정되지 않고, 첨부된 청구항의 전체범위로 확장된다.
501: 광원
503: 집광 렌즈
505: 빔 스플리터
507: 공간 광 변조기
509: 빔 합성기
521: 제1광 입력
523: 제2광 입력

Claims (21)

  1. 입사광에 위상지연 분포를 인가하도록 배열된 위상 변조 소자의 어레이를 포함하는 공간 광 변조기(spatial light modulator); 및
    상기 공간 광 변조기로부터 공간적으로 변조된 광, 즉 공간 변조 광을 수신하도록 된 제1광 입력과 실제 시야를 갖는 제2광 입력을 포함하는 빔 합성기(beam combiner)
    를 포함하는 것을 특징으로 하는 안경형 장치(near-eye device).
  2. 제 1 항에 있어서,
    상기 공간 변조 광은 영상을 나타내는 위상 한정 홀로그램 영역 데이터(phase-only holographic domain data)를 포함하는 것을 특징으로 하는 안경형 장치.
  3. 제 2 항에 있어서,
    상기 홀로그램 영역 데이터는 푸리에 홀로그램 인 것을 특징으로 하는 안경형 장치.
  4. 제 3 항에 있어서,
    상기 공간 변조 광은, 사용자의 눈이 상기 공간 변조 광의 푸리에 변환을 하면서 상기 영상의 홀로그램 재구성(holographic reconstruction)을 볼 수 있게 하도록 된 것을 특징으로 하는 안경형 장치.
  5. 제 2 항에 있어서,
    상기 홀로그램 영역 데이터는 프레넬(Fresnel) 홀로그램인 것을 특징으로 하는 안경형 장치.
  6. 제 5 항에 있어서,
    상기 공간 변조 광은, 근시야(near-field)에서 재생면(replay plane)에 상기 영상의 홀로그램 재구성을 형성하도록 된 것을 특징으로 하는 안경형 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 공간 변조 광은 렌즈 효과(lensing effect)를 갖는 위상 한정 홀로그램 영역 데이터를 더 포함하는 것을 특징으로 하는 안경형 장치.
  8. 제 7 항에 있어서,
    상기 렌즈 효과는 음의(negative) 렌즈 효과인 것을 특징으로 하는 안경형 장치.
  9. 제 1 항 내지 제 8항 중 어느 한 항에 있어서,
    상기 공간 변조 광은 발산하는(diverging) 것을 특징으로 하는 안경형 장치.
  10. 제 1 항 내지 제 9항 중 어느 한 항에 있어서,
    상기 공간 변조 광은, 상기 안경형 장치의 다른 광학 부품들에서 수차(aberrations)를 보정하도록 된 위상 한정 홀로그램 영역 데이터를 더 포함하는 것을 특징으로 하는 안경형 장치.
  11. 제 1 항 내지 제 10항 중 어느 한 항에 있어서,
    상기 빔 합성기는, 상기 제1광 입력에 수신된 상기 광을 상기 제2광 입력에 수신된 광과 합성(combine)하도록 된 광 출력을 더 포함하는 것을 특징으로 하는 안경형 장치.
  12. 제 1 항 내지 제 11항 중 어느 한 항에 있어서,
    상기 광 출력은, 상기 제1광 입력에 수신된 상기 광을 상기 제2광 입력에 수신된 상기 광과 적어도 부분적으로 중첩(overlay)하도록 된 것을 특징으로 하는 안경형 장치.
  13. 제 1 항 내지 제 12항 중 어느 한 항에 있어서,
    상기 안경형 장치의 사용자가 상기 빔 합성기로부터 상기 광 출력을 수신할 수 있게 하도록 구성되는 것을 특징으로 하는 안경형 장치.
  14. 제 1 항 내지 제 13항 중 어느 한 항에 있어서,
    상기 영상의 상기 홀로그램 재구성은 상기 실제 시야를 증강(augment)하는 것을 특징으로 하는 안경형 장치.
  15. 제 1 항 내지 제 14항 중 어느 한 항에 있어서,
    상기 공간 광 변조기를 조명하도록 된 광원을 더 포함하는 것을 특징으로 하는 안경형 장치.
  16. 제 1 항 내지 제 15항 중 어느 한 항에 있어서,
    상기 광원은 광의 평면파(plane wave)로써 상기 공간 광 변조기를 조명하도록 배치되는 것을 특징으로 하는 안경형 장치.
  17. 제 1 항 내지 제 16항 중 어느 한 항에 있어서,
    안경형 장치는 고글 또는 안경인 것을 특징으로 하는 안경형 장치.
  18. 안경형 장치를 이용하여 증강 현실을 제공하는 방법으로서,
    영상을 나타내는 위상 한정 홀로그램 영역 데이터를 포함하는 홀로그램 데이터를 제공하는 단계;
    공간적으로 변조된 광, 즉 공간 변조 광을 형성하기 위해 상기 홀로그램 데이터로 광을 공간적으로 변조하는 단계; 및
    빔 합성기를 이용하여 실제 시야와 상기 공간 변조 광을 합성하는 단계
    를 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
  19. 제 18 항에 있어서,
    상기 홀로그램 데이터는, 렌즈 효과(lensing effect)를 갖는 위상 한정 홀로그램 영역 데이터를 더 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
  20. 제 18 항 또는 제 19 항에 있어서,
    상기 홀로그램 영역 데이터는 푸리에 홀로그램 또는 프레넬 홀로그램인 것을 특징으로 하는 증강 현실 제공 방법.
  21. 첨부 도면을 참조하여 설명된 것과 실질적으로 같은 안경형 장치 또는 증강 현실 제공 방법.
KR1020157030142A 2013-04-12 2014-03-31 안경형 장치 KR101763150B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1306763.2 2013-04-12
GB1306763.2A GB2515460B (en) 2013-04-12 2013-04-12 Near-eye device
PCT/GB2014/051008 WO2014167290A1 (en) 2013-04-12 2014-03-31 Near-eye device

Publications (2)

Publication Number Publication Date
KR20150140694A true KR20150140694A (ko) 2015-12-16
KR101763150B1 KR101763150B1 (ko) 2017-07-31

Family

ID=48537228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030142A KR101763150B1 (ko) 2013-04-12 2014-03-31 안경형 장치

Country Status (8)

Country Link
US (3) US9891586B2 (ko)
EP (2) EP2984515B1 (ko)
JP (2) JP6426149B2 (ko)
KR (1) KR101763150B1 (ko)
CN (2) CN108957746B (ko)
GB (1) GB2515460B (ko)
HK (1) HK1258061A1 (ko)
WO (1) WO2014167290A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134739A (ko) * 2017-04-07 2019-12-04 듀얼리타스 리미티드 홀로그램 프로젝터

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2515460B (en) 2013-04-12 2016-01-06 Two Trees Photonics Ltd Near-eye device
MY177315A (en) * 2013-07-30 2020-09-11 Dolby Laboratories Licensing Corp Projector display systems having non-mechanical mirror beam steering
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
US20160209809A1 (en) * 2015-01-15 2016-07-21 Electronics And Telecommunications Research Institute Holographic display device
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US9964925B2 (en) 2015-12-29 2018-05-08 Oculus Vr, Llc Holographic display architecture
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
DE112018002581A5 (de) * 2017-05-19 2020-03-19 Seereal Technologies S.A. Anzeigevorrichtung mit einem lichtleiter
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
FR3068489B1 (fr) 2017-06-29 2019-08-02 B<>Com Procede de generation numerique d'un hologramme, dispositif, equipement terminal, systeme et programme d'ordinateur associes
EP3502763B1 (en) * 2017-12-22 2023-02-01 Essilor International Head mounted device comprising a fourier hologram
CN108803031A (zh) * 2018-05-29 2018-11-13 成都理想境界科技有限公司 一种近眼显示装置及设备、变焦模组及变焦方法
GB2580298B (en) * 2018-11-12 2021-08-11 Dualitas Ltd A spatial light modulator for holographic projection
GB2579234B (en) * 2018-11-27 2023-07-19 Dualitas Ltd Hologram calculation
WO2020172588A1 (en) * 2019-02-22 2020-08-27 President And Fellows Of Harvard College Large-scale uniform optical focus array generation with a phase spatial light modulator
GB2587400B (en) * 2019-09-27 2022-02-16 Dualitas Ltd Hologram display using a liquid crystal display device
GB2588912B (en) * 2019-11-13 2021-12-08 Dualitas Ltd A display device and system
GB202001289D0 (en) * 2020-01-30 2020-03-18 Vividq Ltd Optical assembly and method for reducing zero-order light in a Holographic display
CN113608353A (zh) * 2021-07-14 2021-11-05 上海大学 一种基于阵列光源的全息近眼显示系统及眼瞳箱扩展方法
KR20230118439A (ko) * 2022-02-04 2023-08-11 삼성전자주식회사 복소 광 변조기, 홀로그래픽 디스플레이 장치, 및 투시형 디스플레이 장치
US12011999B2 (en) * 2022-07-25 2024-06-18 GM Global Technology Operations LLC Holographic display calibration by holographic phase modulation

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
CN1125998C (zh) * 1998-01-28 2003-10-29 皇家菲利浦电子有限公司 头戴显示器
US20060135910A1 (en) * 2004-12-17 2006-06-22 Luther Ronald B Percutaneous safety needle inserter
JP2006301020A (ja) * 2005-04-15 2006-11-02 Ricoh Co Ltd 立体映像表示装置とそれを備えた通話装置ならびに輸送用移動体
CN101175815B (zh) * 2005-05-19 2010-12-29 三井化学株式会社 成型材料及其用途、以及成型材料的制造方法
GB2438026A (en) 2006-05-11 2007-11-14 Univ Cambridge Tech Phase retrevial in hologram generation using amplitude and phase feedback
GB2438458A (en) 2006-05-11 2007-11-28 Univ Cambridge Tech Blocking zero-order light in phase shift hologram generation
JP5222300B2 (ja) * 2006-10-26 2013-06-26 シーリアル テクノロジーズ ソシエテ アノニム 小型ホログラフィック・ディスプレイ装置
JP2010507823A (ja) * 2006-10-26 2010-03-11 シーリアル テクノロジーズ ソシエテ アノニム 小型のホログラフィック・ディスプレイ装置
GB2448132B (en) * 2007-03-30 2012-10-10 Light Blue Optics Ltd Optical Systems
GB2461294B (en) * 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
KR101908033B1 (ko) * 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9129295B2 (en) * 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8264393B2 (en) * 2010-07-09 2012-09-11 Freescale Semiconductor, Inc. Current reduction in a single stage cyclic analog to digital converter with variable resolution
GB201011829D0 (en) * 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
JP5953311B2 (ja) * 2010-11-08 2016-07-20 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
JP5118266B2 (ja) * 2011-03-25 2013-01-16 パナソニック株式会社 表示装置
JP2012252091A (ja) * 2011-06-01 2012-12-20 Sony Corp 表示装置
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
JP5994715B2 (ja) * 2012-04-10 2016-09-21 パナソニックＩｐマネジメント株式会社 計算機ホログラム型表示装置
EP2762956B1 (en) * 2013-01-30 2018-03-14 Samsung Electronics Co., Ltd Complex spatial light modulator and 3d image display including the same
GB2515460B (en) 2013-04-12 2016-01-06 Two Trees Photonics Ltd Near-eye device
KR102148418B1 (ko) * 2013-12-06 2020-08-26 삼성전자주식회사 복합 공간 광 변조기 및 이를 포함한 3차원 영상 표시 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134739A (ko) * 2017-04-07 2019-12-04 듀얼리타스 리미티드 홀로그램 프로젝터

Also Published As

Publication number Publication date
CN105283796B (zh) 2018-07-20
US11803156B2 (en) 2023-10-31
GB201306763D0 (en) 2013-05-29
JP6704018B2 (ja) 2020-06-03
US20160077339A1 (en) 2016-03-17
WO2014167290A1 (en) 2014-10-16
KR101763150B1 (ko) 2017-07-31
JP6426149B2 (ja) 2018-11-21
JP2016519790A (ja) 2016-07-07
CN105283796A (zh) 2016-01-27
EP3339937A1 (en) 2018-06-27
HK1258061A1 (zh) 2019-11-01
GB2515460B (en) 2016-01-06
EP2984515A1 (en) 2016-02-17
EP2984515B1 (en) 2018-05-16
CN108957746B (zh) 2021-09-17
JP2018205754A (ja) 2018-12-27
US20200050147A1 (en) 2020-02-13
GB2515460A (en) 2014-12-31
US10481554B2 (en) 2019-11-19
US20180203414A1 (en) 2018-07-19
CN108957746A (zh) 2018-12-07
US9891586B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
KR101763150B1 (ko) 안경형 장치
US12013533B2 (en) Holographic image projection with holographic correction
JP6711769B2 (ja) ２次元／３次元ホログラフィ表示システム
KR101862553B1 (ko) 디퓨져를 구비한 헤드업 디스플레이
JP5824166B2 (ja) 位相回復

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant