KR20240041713A - 홀로그램 최적화 방법 및 그 장치 - Google Patents

홀로그램 최적화 방법 및 그 장치 Download PDF

Info

Publication number
KR20240041713A
KR20240041713A KR1020220121114A KR20220121114A KR20240041713A KR 20240041713 A KR20240041713 A KR 20240041713A KR 1020220121114 A KR1020220121114 A KR 1020220121114A KR 20220121114 A KR20220121114 A KR 20220121114A KR 20240041713 A KR20240041713 A KR 20240041713A
Authority
KR
South Korea
Prior art keywords
image
hologram
error
target
contrast ratio
Prior art date
Application number
KR1020220121114A
Other languages
English (en)
Inventor
김동연
남승우
이병효
서종모
이병호
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020220121114A priority Critical patent/KR20240041713A/ko
Priority to PCT/KR2023/009223 priority patent/WO2024063272A1/ko
Publication of KR20240041713A publication Critical patent/KR20240041713A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0816—Iterative algorithms

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)

Abstract

홀로그램 최적화 방법 및 그 장치가 개시된다. 홀로그램 최적화 장치는 이미지면에 존재하는 타겟이미지의 타겟대비비를 구하고, 이미지면에서 랜덤위상분포를 갖는 초기이미지를 공간광변조기로 역전파하여 홀로그램을 생성하고, 공간광변조기에서 홀로그램을 전파하여 이미지면에 존재하는 재구성이미지를 생성하고, 재구성이미지의 진폭과 타겟이미지의 진폭 사이의 제1 오차와, 재구성이미지의 대비비와 타겟대비비 사이의 제2 오차를 구하고, 학습알고리즘을 이용하여 제1 오차 및 제2 오차의 합이 기 정의된 값 이하가 될 때까지 역전파와 전파를 반복 수행한다.

Description

홀로그램 최적화 방법 및 그 장치{Hologram optimization method and apparatus}
본 발명의 실시 예는 홀로그래픽 디스플레이에서 재생되는 홀로그램의 최적화 방법 및 그 장치에 관한 것이다.
일반적인 홀로그래픽 디스플레이는 가간섭성 광원과 공간광변조기(SLM, Spatial Light Modulator)를 이용하여 광파를 복소변조하고 원하는 복소파면을 재구성한다. 이러한 디스플레이 고유의 특징으로 인해 고해상도 이미지 제공 및 광학 수차 보정, 3차원 이미지 제공 등의 부가적인 기능이 존재한다. 따라서 홀로그래픽 디스플레이는 차세대 디스플레이의 하나로 손꼽히는 기술로 최근에는 가상현실, 증강현실 분야에서 주목받고 있다.
홀로그램의 연산은 광파의 전파 연산, 홀로그램 인코딩 등 크게 두 가지가 중요하다. 광파의 전파 연산은 기본적으로 Rayleigh-Sommerfield의 회절 적분식과 그로부터 유도되는 광파 진행식에 기반한다. 그리고 홀로그램 인코딩은 공간광변조기의 구동 방식에 따라 다르게 진행되고 상용화된 공간광변조기의 경우 진폭 변조 혹은 위상 변조의 방식만을 택하기에 이에 맞게 복소 정보를 달리 인코딩해 주어야 한다. 이와 같이 광파의 전파 연산, 홀로그램 인코딩 등을 고려한 홀로그램 생성에는 직접적(direct) 방식과 반복적(iterative) 방식이 존재한다. 직접적 방식은 원하는 광파를 전파하고, 공간광변조기의 변조 방식에 맞춰 인코딩해주는 방식이다. 이는 전체적인 연산 과정이 한 번이기에 홀로그램 획득 속도 면에서는 우수하나, 재생된 홀로그램의 품질 측면에서 떨어진다. 반대로 반복적 방식으로는 반복적 푸리에 변환 알고리즘(Iterative fourier Transform Algorithm), Gerchberg-Saxton 알고리즘, 확률경사강하(Stochastic Gradient Descent) 기반 최적화 방식 등이 있다. 이러한 재생과 재구성의 반복을 통한 최적화로 획득된 홀로그램은 재생된 홀로그래픽 이미지 화질 측면에서 우수하다. 이는 반복적 방식을 통해서 광파의 전파 연산, 홀로그램 인코딩에 기인한 오차를 모두 고려할 수 있기 때문이다.
홀로그래픽 디스플레이는 기존의 디스플레이와 달리 레이저와 같은 가간섭성 광원을 사용하므로, 스페클이라는 현상이 나타난다. 스페클은 가간섭성 광원에서 나온 광파의 인접한 부분간의 간섭에 기인하는 물리적인 현상으로, 부분적으로 밝고 어두우며 이는 좁쌀 형태로 관측된다. 홀로그래픽 디스플레이에서 서로 다른 광원부에서 출발한 광파가 하나의 점을 형성하는 경우가 일반적이다. 따라서 홀로그래픽 디스플레이를 통해 관측되는 이미지에는 스페클 노이즈가 관측되며, 이는 홀로그래픽 디스플레이의 화질(예를 들어, peak signal-to-noise ratio(PSNR))을 낮추는 주요한 요소 중의 하나이다. 최근에는 가간섭성 광원을 사용하더라도, 스페클 노이즈가 관측되지 않게끔 홀로그램을 최적화하는 방식이 소개되고 있다. 하지만 이는 홀로그램 시그널의 대역폭을 좁히는 방향으로 최적화되고, 우수한 화질의 3차원 홀로그래픽 이미지를 제공하지만 3차원 표현력에 제한이 있다.
인간 시각 시스템은 시각을 담당하는 기관인 눈과 중추신경계의 일부(광수용체로 이루어진 망막, 시신경, 시각로, 시각피질)로 이루어져 있다. 인간 시각 시스템은 제공된 이미지의 다양한 요인들을 통해 깊이 및 영상을 인지한다. 먼저 깊이 인지는 사람 눈의 움직임과 다양한 시각 요인의 복합적인 요소들로 일어난다. 눈의 움직임에는 대표적으로 수렴 반응과 초점 조절 반응이 존재한다. 수렴 반응은 양안에 또렷한 이미지를 제공하기 위한 눈의 회전 움직임으로, 가까운 물체를 볼 경우, 눈 수정체가 두꺼워지고, 반대로 먼 물체를 볼 때는 눈 수정체가 얇아진다. 수렴 반응은 양안 시차로부터 비롯되며 초점 조절 반응은 망막면에서 관측되는 이미지의 블러로 인해 발생한다. 그 외 심리적인 요인으로 물체의 겹침, 그림자, 움직일 때 관측되는 시차 등이 존재한다.
마찬가지로 영상 인지 관점에서 사람 눈은 제공되는 이미지를 그대로 관측하지 못한다. 공간 도메인에서는 시각 시스템이 하나의 광학계로 가정되어 동공 크기, 눈 수차, 망막 편심률에 의해 달라지는 광학 전달 함수로 나타낼 수 있다. 또한 망막과 뇌 사이의 신경망에서 변조되는 요인을 신경 전달 함수라고 칭한다. 공간 대비 민감도 함수는 이 두가지를 포괄하는 개념으로, 사람이 인지할 수 있는 최고 공간 주파수를 규정한다. 사람 눈의 공간 대비 민감도 함수는 공간 주파수에 따라 크게 달라지면, 5 cycle per degree(CPD)에서 가장 높은 값을 가진다. 또한 깊이 인지 측면에서 공간 주파수의 중간 영역대인 4cpd에서 9cpd의 자극이 가중 주요하게 영향을 끼친다고 알려져 있다.
종래의 홀로그래픽 디스플레이에서는 2차원 화질 평가 요소에 기반하여 홀로그램 최적화를 진행하여, 높은 2차원 화질을 갖지만, 유효 출사동공의 크기를 좁히는 형태로 제공되므로 3차원 표현력이 떨어진다. 반대로 유효 출사동공의 크기를 좁히지 않는 방향으로 진행되는 최적화의 경우, 재생된 홀로그래픽 이미지의 스페클 노이즈가 심해 이미지 화질의 열화가 상당한다. 초절 조절 반응을 유발하기 위해서는 초점면에 따른 대비가 초점면에서 최대이고, 깊이에 따라 매끄럽게 감소해야 한다. 우수한 3차원 화질을 갖는 홀로그래픽 디스플레이의 경우, 유효 출사동공의 크기가 매우 좁아 올인포커스(all-in-focus) 이미지와 유사하게 초점 상태가 변하더라도 거의 비슷한 이미지가 관측된다. 반대로 스페클 노이즈가 심한 홀로그래픽 디스플레이의 경우, 스페클 노이즈가 기존의 이미지적인 노이즈와 달리 초점 상태에 따른 초점 변화가 명확하지 않으므로, 초점 상태에 따른 대비의 감소가 실제 타 디스플레이의 시청 경험시와 유사하지 않다. 종래의 홀로그래픽 디스플레이는 이러한 두 가지 요인을 가지며, 이는 홀로그래픽 디스플레이의 가장 큰 장점 중의 하나의 초점 조절 요인 제공에 있어서 한계점을 지닌다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는, 광파를 재구성하여 이미지를 제공하는 홀로그래픽 디스플레이에서 재생되는 홀로그램을 최적화하는 방법 및 그 장치를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 일 예는, 이미지면에 존재하는 타겟이미지의 타겟대비비를 구하는 단계; 상기 이미지면에서 랜덤위상분포를 갖는 초기이미지를 공간광변조기로 역전파하여 홀로그램을 생성하는 단계; 상기 공간광변조기에서 상기 홀로그램을 전파하여 상기 이미지면에 존재하는 재구성이미지를 생성하는 단계; 상기 재구성이미지의 진폭과 상기 타겟이미지의 진폭 사이의 제1 오차를 구하는 단계; 상기 재구성이미지의 대비비와 상기 타겟대비비 사이의 제2 오차를 구하는 단계; 및 학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기 정의된 값 이하가 될 때까지 상기 역전파와 상기 전파를 반복 수행하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 홀로그램 최적화 장치의 일 예는, 공간광변조기로부터 일정 거리 이격된 이미지면에서 랜덤위상분포를 갖는 초기이미지를 상기 공간광변조기로 역전파하여 홀로그램을 생성하는 역전파부; 상기 공간광변조기에서 상기 홀로그램을 전파하여 상기 이미지면에 존재하는 재구성이미지를 생성하는 전파부; 상기 재구성이미지의 진폭과 상기 타겟이미지의 진폭 사이의 제1 오차를 구하고, 상기 재구성이미지의 대비비와 상기 타겟대비비 사이의 제2 오차를 구하는 오차파악부; 및 학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기 정의된 값 이하가 될 때까지 상기 역전파와 상기 전파를 반복 수행하는 학습부;를 포함한다.
본 발명의 실시 예에 따르면, 최근 많이 사용되는 최적화 기법인 확률경사강하 알고리즘을 접목하고, 시각인지요소를 고려하여 홀로그램 최적화를 진행할 수 있다.
도 1 내지 도 3은 홀로그래픽 디스플레이의 다양한 문제점의 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 구조를 도식화한 도면,
도 5는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 일 예를 도시한 흐름도,
도 6는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 적용 예를 도시한 도면,
도 7는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 평가 결과를 도시한 그래프, 그리고,
도 8은 본 발명의 실시 예에 따른 홀로그램 최적화 장치의 일 예의 구성을 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 홀로그램 최적화 방법 및 그 장치에 대해 상세히 살펴본다.
도 1 내지 도 3은 홀로그래픽 디스플레이의 다양한 문제점의 예를 도시한 도면이다.
도 1을 참조하면, 홀로그래픽 디스플레이를 이용하여 이미지를 출력할 때 사용자 눈의 망막면에 형성되는 초점면과 디포스면의 각 이미지가 도시되어 있다. MSE(Mean Squared Error) 오차 기반 경사확률하강 최적화 방법을 적용한 경우와 MSE 오차 기반 Gerchberg-Saxton 최적화 방법을 적용한 경우에, 실제 비간섭성 디스플레이와 달리 홀로그래픽 디스플레이는 상대적 대비가 디포커스 디옵터에 따라서 감소하지 않아 초점 요인이 부족한다.
도 2를 참조하면, MSE 손실함수 경사확률하강 최적화 방법으로 얻어진 홀로그램은 유효 출사동공이 작고, 도 3을 참조하면, Gerchberg-Saxton 최적화 방법으로 얻어진 홀로그램은 스페클 노이즈가 디포커스면에서 감소하지 않는다.
도 4는 본 발명의 실시 예에 따른 홀로그래픽 디스플레이의 구조를 도식화한 도면이다.
도 4를 참조하면, 홀로그래픽 디스플레이(400)는 광원부(410), 렌즈(420), 공간광변조기(430) 및 접안렌즈(450)를 포함한다. 광원부(410)는 콜리메이팅된 레이저를 출력한다. 예를 들어, 광원부(410)는 풀컬러 레이저를 출력할 수 있다. 렌즈(420)는 광원부(410)로부터 입력받은 콜리메이팅된 레이저를 공간광변조기(430)에 입사한다. 공간광변조기(430)는 기 정의된 위치의 이미지면(440)에 재구성된 이미지를 출력한다. 이미지면(440)의 재구성이미지는 접안렌즈(450)를 통해 사용자의 눈(460)으로 모아지고, 망막면에 상을 맺는다.
사용자 눈의 유효심도(470)(초점면에 따른 대비에 대한 물리량)를 일반 디스플레이와 유사하도록 좁혀주는 최적화 방법이 필요하다. 초점 요인 개선을 위하여 홀로그램을 최적화하는 방법에 대하여 도 5 이하에서 살펴본다.
도 5는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 일 예를 도시한 흐름도이다.
도 4 및 도 5를 함께 참조하면, 홀로그램최적화장치(이하, '장치'라 함)는 이미지면(440)에 존재하는 타겟이미지의 타겟대비비를 구한다(S500). 타겟이미지는 홀로그래픽 디스플레이(400)를 통해 표시하고자 하는 이미지로서 미리 정의되어 있다. 타겟대비비는 타겟이미지의 대비비(contrast ratio, CR)를 의미한다.
장치는 기존의 다양한 방법을 이용하여 비간섭성(incoherent) 이미징 시스템에서의 대비비를 구할 수 있다. 일 실시 예로, 초점 거리 fEL을 가진 접안렌즈(450)가 이미지면(440)으로부터 fEL 거리에 위치하고, 이미지면(440)이 위치한 방향에서 반대 방향으로 fEL 거리에 디포커스 디옵터(ΔD)를 갖는 동공(460)이 위치하는 상황을 가정하면, 진폭전달함수(ATF, Amplitude Transfer Function)는 다음과 같이 표기할 수 있다.
여기서, x,y는 이미지면(440)의 공간 좌표이고, vx,vy는 공간 주파수를 의미한다. A()는 필터의 투과율을 나타내는 아포디제이션(apodization) 함수이고, wAD()는 수차 함수이다.
수학식1의 아포디제이션(apodization) 함수에서, 동공(460)을 반지름이 rep인 회절한계필터라고 가정하면, 로 나타낼 수 있다. 또한 는 디포커스 디옵터(ΔD)에 비례하고 동공면의 좌표의 이차형태로 나타난다고 가정한다. λ는 파장을 나타낸다.
비간섭성 이미징 시스템에서는 사용자에 의해 관측되는 세기 프로파일을 세기와 광학전달함수(OTF, Optical Transfer Function)의 역푸리에변환의 컨볼루션 형태로 연산할 수 있다. 이때 광학전달함수는 로 나타나고, 비간섭성 이미징 시스템에서의 관측세기는 이다. 이때 는 자기상관 적분(autocorrelation integral)을 나타내는 기호이고, F는 2차원 푸리에변환, F-1는 2차원 역푸리에변환을 나타낸다.
초점 변환에 따른 대비비(CR)를 특정 공간 주파수 영역 에 대해서 구한다면 다음과 같다.
여기서, CSF는 인간시각계의 대비민감함수(contrast sensitivity function)이다. CSF는 이미 널리 알려진 함수이므로 이에 대한 설명은 생략한다. 대비민감함수는 물리적인 각해상도에 대한 함수이므로, 먼저 관측된 이미지의 해상도를 광학 시스템의 시야각에 맞게 조정해준다. 장치는 수학식 2를 이용하여 이미지면(440)의 타겟이미지에 대한 타겟대비비를 구할 수 있다. 이하에서, 타겟이미지의 타겟대비비를 로 칭한다.
장치는 이미지면(440)에서 랜덤위상분포를 갖는 초기이미지를 공간광변조기로 역전파하여 홀로그램을 생성하고(S510), 공간광변조기에서 다시 그 홀로그램을 전파하여 이미지면에 존재하는 재구성이미지를 생성한다(S520). 일 예로, 장치는 도 4의 홀로그래픽 디스플레이를 직접 이용하여 홀로그램을 생성하거나, 도 4의 구조의 홀로그래픽 디스플레이를 모사한 시뮬레이션 환경을 통해 홀로그램을 생성할 수 있다. 이하에서는 설명의 편의를 위하여 장치는 도 4의 구조를 가진 시뮬레이션 환경을 통해 역전파 및 전파의 결과를 도출하는 것으로 가정한다.
일 실시 예로, 장치는 역전파를 통한 홀로그램 계산을 위하여 먼저 공간광변조기(430)로부터 특정 거리 -d 만큼 떨어진 지점(예를 들어, 이미지면(440))에서 해상도 M*N의 이미지의 각 픽셀의 세기의 제곱근을 진폭으로 갖고, 랜덤 위상 분포를 갖는 복소 진폭이 ASM(angular spectrum method)를 기반으로 공간광변조기(430)의 면(이하, SLM 면)까지 역전파를 했다고 가정한다. 이때 SLM 면에서의 복소 진폭을 z=aeiφ로 정의한다. 거리 d에 대한 광파 전파에 대응되는 ASM은 다음과 같다.
Pd는 거리 d에서의 전파인자(propagator)이고, g(z)는 공간광변조기의 인코딩 방식에 대한 함수이다. 예를 들어, 공간광변조기의 인코딩 방식이 진폭변조 SLM이면, 를 사용할 수 있다. 이후 살펴보겠지만, 이진확률경사하강법을 이용한 학습 과정에서 공간광변조기(430)의 진폭변조 SLM 함수(g(z))는 미분 불가능하므로 이를 Htanh(x) 함수로 치환하여 사용할 수 있다.
장치는 수학식 3을 이용하여 이미지면(440)의 초기 이미지를 SLM 면으로 역전파하여 초기 홀로그램을 생성하고, 초기 홀로그램을 다시 이미지면(440)으로 전파하여 재구성이미지를 생성할 수 있다. 그리고 재구성이미지를 다시 SLM 면으로 역전파하여 홀로그램을 생성하고, 그 홀로그램을 다시 이미지면(440)으로 전파하여 재구성이미지를 생성할 수 있다.
장치는 이미지면(440)과 SLM 면 사이의 홀로그램 생성과 재구성이미지 생성의 과정을 반복 수행하여 최적의 홀로그램을 생성할 수 있다. 즉, 장치는 타겟이미지와 재구성이미지 사이의 오차를 나타내는 손실함수를 이용한 학습과정을 통해 최적의 홀로그램을 생성할 수 있다. 예를 들어, 장치는 재구성이미지의 진폭과 타겟이미지의 진폭 사이의 제1 오차를 구하고(S530), 재구성이미지의 대비비와 타겟대비비 사이의 제2 오차를 구할 수 있다(S540).
일 실시 예로, 장치는 제1 오차로만 구성된 손실함수를 이용하여 홀로그램의 최적화 과정을 수행할 수 있다. 예를 들어, 다음 수학식과 같이 손실함수(L)가 기 정의된 값 이하가 될 때까지 홀로그램과 재구성이미지을 생성하는 역전파 및 전파의 과정을 반복 수행할 수 있다.
여기서, s는 최적화 과정에서 에너지를 맞춰주는 scale factor이며, 실시 예에 따라 미리 정의될 수 있다. 타겟이미지와 재구성이미지의 진폭 사이의 제1 오차를 나타내는 손실함수는 평균제곱오차(MSE)로 구할 수 있다. 이 외에도 타겟이미지와 재구성이미지 사이의 진폭 사이의 오차를 구하는 다양한 방법이 본 실시 예에 적용될 수 있다.
다른 실시 예로, 장치는 다음 수학식과 같이 제1 오차와 제2 오차의 합으로 구성된 손실함수를 정의할 수 있다.
여기서, La는 제1 오차로 구성되는 진폭에 대한 손실함수(예를 들어, L1-norm)를 나타내고, LCR은 제2 오차로 구성되는 대비비에 대한 손실함수(예를 들어, L2-norm)를 나타낸다. γ는 정규화(regularization) 계수이고, Γ는 sRGB 세기 보정 오퍼레이터(·)1/2.2를 나타내고, Ic는 간섭성 이미징 시스템에서 정의된 세기로 다음과 같다.
간섭성 이미징 시스템에서 정의된 대비비는 비간섭성에서 정의한 수학식 2를 이용하여 구할 수 있다.
장치는 학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기정된 값 이하가 될 때까지 역전파와 전파를 반복 수행한다(S550). 다시 말해, 장치는 학습알고리즘을 이용하여 수학식 5의 손실함수가 최소가 되도록 역전파 및 전파의 과정을 반복 수행하여 홀로그램을 생성한다. 예를 들어, 장치는 학습알고리즘으로 이진-확률경사하강(SGD, stochastic gradient descent)를 이용할 수 있다. 이 경우에 진폭변조 SLM의 함수는 미분 불가능한 함수이므로, Htanh(x) 함수로 치환하여 미분값을 계산할 수 있다.
장치는 손실함수가 기 정의된 값 이하가 될 때까지 역전파 및 전파의 과정을 반복 수행할 수 있으며, 손실함수가 기 정의된 값 이하가 되면 그 때 생성된 홀로그램을 최적화 홀로그램으로 출력할 수 있다.
도 6는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 적용 예를 도시한 도면이다.
도 6을 참조하면, 기존의 이진확률경사하강법을 통해 얻어진 이미지의 초점면 및 디포커스면과, 본 발명의 실시 예에 따른 최적화 방법을 통해 얻어진 이미지의 초점면 및 디포커스면이 도시되어 있다. 각 홀로그램의 낮은 공간 주파수영역(1cpd-4cpd, black), 중간 공간 주파수영역(4cpd-9cpd, red), 전체 공간 주파수 영역(1cpd-30cpd)에 대응되는 상대 대비가 그래프에 표시되어 있다. 그래프를 살펴보면, 본 발명의 실시 예에 따른 홀로그램 최적화를 수행한 경우에, 재구성된 이미지의 엣지가 강조되는 것을 확인할 수 있고, 상대적 대비 또한 기존 방식에 비해 더 많이 감소하는 것을 확인할 수 있다.
도 7는 본 발명의 실시 예에 따른 홀로그램 최적화 방법의 평가 결과를 도시한 그래프이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 홀로그램 최적화 방법과 기존의 최적화 방법을 통해 획득한 홀로그램을 사용자가 시청할 때 측정한 초점 이득을 나타내고 있다. 본 발명의 실시 예의 방법을 통해 얻어진 홀로그램(DOD-opt B-SGD)는 단일 프레임 기준 타 방식을 통해 얻어진 홀로그램보다 통계적으로 개선된 초점 조절 반응을 유발함을 확인할 수 있다.
도 8은 본 발명의 실시 예에 따른 홀로그램 최적화 장치의 일 예의 구성을 도시한 도면이다.
도 8을 참조하면, 홀로그램 최적화 장치(800)는 역전파부(810), 전파부(820), 오차파악부(830) 및 학습부(840)를 포함한다. 본 실시 예의 홀로그램 최적화 장치는 메모리, 프로세서 및 입출력장치를 포함하는 컴퓨팅 장치로 구현될 수 있다. 이 경우 각 구성은 소프트웨어로 구현되어 메모리에 탑재된 후 프로세서에 의해 수행될 수 있다.
역전파부(810)는 이미지면의 이미지를 공간광변조기로 역전파하여 홀로그램을 생성한다. 예를 들어, 역전파부(810)는 초기에 이미지면에서 랜덤위상분포를 갖는 초기이미지를 공간광변조기로 역전파할 수 있다.
전파부(820)는 역전파부(810)에 의해 생성된 홀로그램을 공간광변조기에서 전파하여 이미지면에 존재하는 재구성이미지를 생성한다.
오차파악부(830)는 재구성이미지의 진폭과 타겟이미지의 진폭 사이의 제1 오차를 구하고, 재구성이미지의 대비비와 타겟대비비 사이의 제2 오차를 구한다. 이미지면에 존재하는 타겟이미지의 타겟대비비를 구하는 방법은 수학식 2를 이용하여 구할 수 있다.
학습부(840)는 학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기정된 값 이하가 될 때까지 역전파와 전파를 반복 수행한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, SSD, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (4)

  1. 이미지면에 존재하는 타겟이미지의 타겟대비비를 구하는 단계;
    상기 이미지면에서 랜덤위상분포를 갖는 초기이미지를 공간광변조기로 역전파하여 홀로그램을 생성하는 단계;
    상기 공간광변조기에서 상기 홀로그램을 전파하여 상기 이미지면에 존재하는 재구성이미지를 생성하는 단계;
    상기 재구성이미지의 진폭과 상기 타겟이미지의 진폭 사이의 제1 오차를 구하는 단계;
    상기 재구성이미지의 대비비와 상기 타겟대비비 사이의 제2 오차를 구하는 단계; 및
    학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기 정의된 값 이하가 될 때까지 상기 역전파와 상기 전파를 반복 수행하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 최적화 방법.
  2. 제 1항에 있어서,
    상기 학습알고리즘은 이진확률경사하강법을 포함하는 것을 특징으로 하는 홀로그램 최적화 방법.
  3. 공간광변조기로부터 일정 거리 이격된 이미지면에서 랜덤위상분포를 갖는 초기이미지를 상기 공간광변조기로 역전파하여 홀로그램을 생성하는 역전파부;
    상기 공간광변조기에서 상기 홀로그램을 전파하여 상기 이미지면에 존재하는 재구성이미지를 생성하는 전파부;
    상기 재구성이미지의 진폭과 상기 타겟이미지의 진폭 사이의 제1 오차를 구하고, 상기 재구성이미지의 대비비와 상기 타겟대비비 사이의 제2 오차를 구하는 오차파악부; 및
    학습알고리즘을 이용하여 상기 제1 오차 및 상기 제2 오차의 합이 기 정의된 값 이하가 될 때까지 상기 역전파와 상기 전파를 반복 수행하는 학습부;를 포함하는 것을 특징으로 하는 홀로그램 최적화 장치.
  4. 제 3항에 있어서,
    상기 학습알고리즘은 이진확률경사하강법을 포함하는 것을 특징으로 하는 홀로그램 최적화 장치.
KR1020220121114A 2022-09-23 2022-09-23 홀로그램 최적화 방법 및 그 장치 KR20240041713A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220121114A KR20240041713A (ko) 2022-09-23 2022-09-23 홀로그램 최적화 방법 및 그 장치
PCT/KR2023/009223 WO2024063272A1 (ko) 2022-09-23 2023-06-30 홀로그램 최적화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220121114A KR20240041713A (ko) 2022-09-23 2022-09-23 홀로그램 최적화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20240041713A true KR20240041713A (ko) 2024-04-01

Family

ID=90454461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220121114A KR20240041713A (ko) 2022-09-23 2022-09-23 홀로그램 최적화 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR20240041713A (ko)
WO (1) WO2024063272A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056408A1 (en) * 2018-09-14 2020-03-19 Northwestern University Holographic display system
US20210326690A1 (en) * 2020-04-20 2021-10-21 The University Of North Carolina At Chapel Hill High-speed computer generated holography using convolutional neural networks
KR102501302B1 (ko) * 2020-12-16 2023-02-17 서울대학교산학협력단 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
WO2024063272A1 (ko) 2024-03-28

Similar Documents

Publication Publication Date Title
Shi et al. End-to-end learning of 3d phase-only holograms for holographic display
Peng et al. Neural holography with camera-in-the-loop training
Chakravarthula et al. Learned hardware-in-the-loop phase retrieval for holographic near-eye displays
Maimone et al. Holographic near-eye displays for virtual and augmented reality
Lee et al. Foveated retinal optimization for see-through near-eye multi-layer displays
US7768684B2 (en) 3D display
Chakravarthula et al. Gaze-contingent retinal speckle suppression for perceptually-matched foveated holographic displays
Deering A photon accurate model of the human eye
CN106094488A (zh) 用于提供增强图像质量的全息显示装置和全息显示方法
WO2021216747A1 (en) Real-Time Photorealistic 3D Holography with Deep Neural Networks
US20230205133A1 (en) Real-time Photorealistic 3D Holography With Deep Neural Networks
Chakravarthula et al. Pupil-aware holography
Kim et al. Vision-correcting holographic display: evaluation of aberration correcting hologram
Walton et al. Metameric varifocal holograms
JP2022120780A (ja) 画像投影
US20230171385A1 (en) Methods, systems, and computer readable media for hardware-in-the-loop phase retrieval for holographic near eye displays
JP2024502401A (ja) 画像投影
JP2004516498A (ja) 改良型３ｄディスプレイ
Shen et al. Novel approach based on stochastic gradient descent for controlling the reconstructed phase randomness of computer-generated holograms
KR20240041713A (ko) 홀로그램 최적화 방법 및 그 장치
CN111830811A (zh) 基于衍射场叠加的高清三维全息显示方法及其实现装置
Schiffers et al. Stochastic light field holography
EP3502783B1 (en) Holographic display method and device
Kim et al. Holographic Parallax Improves 3D Perceptual Realism
KR102235646B1 (ko) 시력보정 홀로그래픽 디스플레이 시스템