KR102502586B1 - 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치 - Google Patents

라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치 Download PDF

Info

Publication number
KR102502586B1
KR102502586B1 KR1020200175847A KR20200175847A KR102502586B1 KR 102502586 B1 KR102502586 B1 KR 102502586B1 KR 1020200175847 A KR1020200175847 A KR 1020200175847A KR 20200175847 A KR20200175847 A KR 20200175847A KR 102502586 B1 KR102502586 B1 KR 102502586B1
Authority
KR
South Korea
Prior art keywords
hologram
light field
field data
orthogonal view
orthogonal
Prior art date
Application number
KR1020200175847A
Other languages
English (en)
Other versions
KR20220085627A (ko
Inventor
박재형
박대열
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020200175847A priority Critical patent/KR102502586B1/ko
Publication of KR20220085627A publication Critical patent/KR20220085627A/ko
Application granted granted Critical
Publication of KR102502586B1 publication Critical patent/KR102502586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/28—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique superimposed holograms only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Holo Graphy (AREA)

Abstract

라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치가 제시된다. 본 발명에서 제안하는 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법은 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계, 추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 단계, 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계 및 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계를 포함한다.

Description

라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치{Method and Apparatus for Generation of distortion-free scaled hologram using light field data conversion}
본 발명은 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치에 관한 것이다.
홀로그래피는 3차원(Three-Dimensional; 3D) 물체나 3D 장면의 깊이 정보를 제공할 수 있는 효과적인 기술이다. 홀로그램을 이용한 3D 장면(scene)의 광학적 재구성 외에도 최근에는 홀로그램 데이터의 편집과 저작을 위한 연구도 함께 연구되고 있다. 다양한 홀로그램 애플리케이션 분야에서 유용한 서비스를 제공하기 위해서는 홀로그램 콘텐츠를 쉽게 채택하고 변환해야 한다. 이를 위한 기본 기술은 홀로그램을 조작해 3D 장면을 편집하는 것이다. 3D 장면의 이동, 회전, 스케일링은 홀로그램 데이터 조작에 필수적인 요소다. 3D 장면의 이동과 회전 시 홀로그램 데이터는 수치 조리개 범위 내에서 직접 조작할 수 있다. 그러나 3D 장면의 스케일링은 간단하지 않다.
홀로그램의 3D 장면에 대한 스케일링을 위해 이동 Fresnel 회절[1-4], 수치 이미징[5], 서브샘플링 기법 등 홀로그램 스케일링에 관한 여러 작업이 보고되었다. Fresnel 회절의 통상적인 수치 구현에서 관측 평면의 샘플링 파라미터는 소스 평면의 샘플링 파라미터와 전파 거리에 의해 결정된다[6]. 이동 Fresnel 회절 기술은 관측면에서 임의 샘플링 파라미터를 허용하여 홀로그램과 재구성을 효과적으로 확대한다. 수치 이미징 기술은 가상렌즈를 설계해 렌즈 공식에 따라 입력면과 가상렌즈, 영상면 사이의 거리를 조정해 원하는 스케일링 비로 광학 필드를 확대한다. 마지막으로 서브샘플링 기법은 홀로그램 평면의 샘플링 피치를 변경하여 홀로그램 데이터 자체를 직접 스케일링한다.
이전의 기법은 2차원(2D) 영상 재구성과 함께 잘 작동한다. 그러나 3D 영상 재구성의 경우 왜곡이 발생한다. 서로 다른 접근방식을 사용하지만, 이전의 모든 기법은 광학 필드 자체를 효과적으로 확대하여 m 측방향 확대에 대한 재구성의 m2 축 확대를 초래한다. 따라서 이전 기법들은 3D 물체의 일반적인 단순한 렌즈 영상처럼 3D 장면의 두께를 길게 하거나 줄였다. 횡방향과 축방향 모두 일정한 확대를 갖는 직접적 접근방식은 홀로그램에서 정확한 3D 모델이나 깊이도를 추출해 3D 모델에 스케일링을 적용한 다음 스케일링된 3D 모델에서 홀로그램을 다시 재합성시키는 것이다. 그러나 홀로그램에서 정확하고 신뢰할 수 있는 3D 모델 추출은 아직 보고되지 않았다.
본 발명이 이루고자 하는 기술적 과제는 홀로그램에서 3D 영상을 스케일링하는 방법 및 장치를 제공하는데 있다. 제안하는 방법에서는 홀로그램에서 3D 모델을 추출하는 대신 3D 이미지 스케일링을 위해 라이트 필드 데이터를 추출하고, 각 스펙트럼 영역의 밴드패스 필터링을 사용하여 홀로그램에서 라이트 필드 또는 직교 뷰 영상을 추출한다. 추출된 직교 뷰 영상의 반점 노이즈를 디노이즈 콘볼루션 신경 네트워크(Denoise Convolutional Neural Network; DnCNN)를 사용하여 억제한 후, 3D 영상 스케일링의 경우, 스폿이 억제된 각 직교 뷰 영상을 동일한 확대 비율로 스케일링한다. 마지막으로, 비호겔 기반 CGH 기법을 사용하여 스케일링된 직교 뷰 영상에서 랜덤 위상 반송파를 이용한 새로운 홀로그램을 합성한다. 직교 뷰 영상과 3D 영상 사이의 선형 관계로 인해 합성 홀로그램은 가로 및 축 배율이 동일한 왜곡 없는 3D 영상을 가질 수 있다.
일 측면에 있어서, 본 발명에서 제안하는 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법은 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계, 추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 단계, 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계 및 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계를 포함한다.
홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계는 라이트 필드 데이터(다시 말해, 직교 뷰) 추출 시 3D 장면의 투영각도 또는 관찰 방향이 밴드패스 필터의 중심 공간 주파수에 의해 결정되고, 밴드패스 필터의 대역폭에 의해 해상도와 각 선택도가 결정된다.
홀로그램은 푸리에 변환되어, 홀로그램의 각 스펙트럼은 사각형조리개 또는 밴드패스 필터에 의해 필터링되고, 필터링된 각 스펙트럼은 역방향 푸리에 변환되며, 역방향 푸리에 변환된 진폭 부분은 진폭 직교 뷰로서 사용된다.
서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 푸리에 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계는 3D 장면의 스케일링이 라이트 필드 영역에서 수행되므로, 직교 뷰에 대한 크기 변환을 통해 스케일링된 직교 뷰를 생성한다.
비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계는 비호겔 기반 CGH 기법을 통해 변환 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지하고, 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH를 기법에 기초하여 홀로그램과 라이트필드 영역 간 상호 변환이 가능하다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 장치는 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 라이트 필드 데이터 추출부, 추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 DnCNN 적용부, 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 변환부 및 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 합성부를 포함한다.
본 발명의 실시예들에 따른 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치를 통해 홀로그램에서 3D 모델을 추출하는 대신 3D 이미지 스케일링을 위해 라이트 필드 데이터를 추출하고, 각 스펙트럼 영역의 밴드패스 필터링을 사용하여 홀로그램에서 라이트 필드 또는 직교 뷰 영상을 추출한다. 추출된 직교 뷰 영상의 반점 노이즈를 디노이즈 콘볼루션 신경 네트워크(Denoise Convolutional Neural Network; DnCNN)를 사용하여 억제한 후, 3D 영상 스케일링의 경우, 스폿이 억제된 각 직교 뷰 영상을 동일한 확대 비율로 스케일링한다. 마지막으로, 랜덤 위상 반송파로 비호겔 기반 CGH 기법을 사용하여 스케일링된 직교 뷰 영상에서 새로운 홀로그램을 합성한다. 직교 뷰 영상과 3D 영상 사이의 선형 관계로 인해 합성 홀로그램은 가로 및 축 배율이 동일한 왜곡 없는 3D 영상을 가질 수 있다.
도 1은 본 발명의 일 실시예에 따른 서브 샘플링 방법 및 3D 이미지 왜곡을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 수치 이미지 방법 및 3D 이미지 왜곡을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 3D 객체의 표면과 직교 뷰의 기하학을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 스케일링된 3D 객체의 표면과 직교 뷰의 기하학을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 장치의 구성을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 원래의 홀로그램의 홀로그램의 진폭과 위상을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 홀로그램에서 추출한 직교 뷰의 몇 가지 예시를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 DnCNN의 적용 결과를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 스케일 팩터가 m=0.5로 설정된 축소 직교 뷰를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 재합성된 홀로그램의 진폭과 위상을 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 각 스펙트럼 방법을 사용하여 -8mm ~ +8mm의 서로 다른 거리에서 이산 깊이 홀로그램을 수치적으로 전파한 결과를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 수치적 전파의 가로 크기를 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른 원래의 홀로그램에서 연속 깊이가 2~7mm인 기울어진 객체의 홀로그램의 수치 재구성의 결과를 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따른 중심 물체 주변의 초점영역을 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 광학 실험에 대한 스케일링된 홀로그램과 원래 홀로그램의 진폭 및 위상을 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따른 제한된 각 스펙트럼 범위를 가진 원래의 1/2의 축소 홀로그램의 수치적 전파의 결과를 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따른 확대 홀로그램의 광학적 전파의 결과를 나타내는 도면이다.
차원 영상 재구성을 위해 홀로그램을 변환하는 새로운 방법이 제안된다. 홀로그램 자체를 직접 스케일링하거나 광학 영상을 시뮬레이션을 하는 기존 방식은 재구성의 축방향 확대가 가로 확대와 달라 왜곡을 일으킨다는 한계가 있다. 일정한 횡방향 및 축방향 확대를 달성하기 위해 제안된 방법은 라이트 필드 데이터 영역에서 확대를 수행한다. 제안된 방법은 먼저 홀로그램에서 라이트 필드를 추출하고 라이트 필드 데이터에 대한 스케일링을 수행한다. 수정된 라이트 필드는 새로운 홀로그램을 합성하는 데 사용된다. 홀로그램 영역과 라이트 필드 영역의 변환, 각 스펙트럼 밴드패스 필터링, 딥러닝 기반 반점 억제, 비호겔(non-hogel) 기반 컴퓨터 생성 홀로그램 기법이 활용된다. 라이트 필드 데이터와 3D 객체 간의 선형 특성은 재구성 된 홀로그램의 재생에 있어 동일한 가로 및 축 확대로 왜곡 없는 스케일링을 보장한다. 제안된 방법은 광학 실험에 의해 검증된다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 서브 샘플링 방법 및 3D 이미지 왜곡을 설명하기 위한 도면이다.
홀로그램에서 3D 장면을 확대시키는 기존 방식으로는 홀로그램의 서브샘플링과 수치 이미징 등이 있다. 서브샘플링 방식에서는 원래의 홀로그램 H(x,y)를 새로운 홀로그램 H′(x,y)=H(x/m,y/m)로 스케일링한다. 원본 홀로그램이 3D 객체 포인트 P(xp,yp,zp)에서 방출되는 객체 파형을 다음과 같이 포함하고 있다고 가정한다.
Figure 112020136384001-pat00001
(1)
여기서 k는 k=2π/
Figure 112020136384001-pat00002
에 의해 주어지는 파장 수이다. 스케일된 홀로그램은 다음에 의해 주어진다.
Figure 112020136384001-pat00003
(2)
식(2)는 스케일링된 홀로그램이 P′(mxp,myp,m2zp)에 위치한 포인트 소스에 해당함을 나타낸다. 점의 축방향 위치는 m2로 스케일링하고 가로 위치는 m으로 스케일링하여 도 1과 같이 3D 장면 왜곡이 발생한다.
도 2는 본 발명의 일 실시예에 따른 수치 이미지 방법 및 3D 이미지 왜곡을 나타내는 도면이다.
홀로그램 광학 필드는 수치적으로 렌즈에 전파되고 렌즈 투과함수와 곱한 후 장면의 영상 평면으로 다시 전파된다. 원래 장면의 평면과 렌즈 사이의 거리 d1과 렌즈와 영상 평면 사이의 거리 d2는 렌즈 공식 1/d1+1/d2=1/f에 따라 원하는 배율로 조정된다. 여기서 f는 렌즈의 초점 길이이다. 일반적인 렌즈 이미징과 마찬가지로 수치 이미징은 횡방향과 축방향에 따라 다른 배율을 제공한다.
Figure 112020136384001-pat00004
(3)
따라서, 기존의 서브샘플링 방식과 수치 이미징 방식 모두 가로 방향은 장면을 m으로, 축 방향은 m2로 스케일링하여 3D 장면을 왜곡한다.
도 3은 본 발명의 일 실시예에 따른 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법을 설명하기 위한 흐름도이다.
제안된 방법은 홀로그램과 라이트 필드 영역 간의 상호 변환을 이용하여 홀로그램의 3D 장면을 스케일링한다.
제안하는 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법은 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계(310), 추출된 라이트 필드(다시 말해, 직교 뷰)의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 단계(320), 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계(330) 및 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계(340)를 포함한다.
단계(310)에서, 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출한다.
제안된 스케일링 기법은 홀로그램과 라이트 필드 사이의 변환 프레임워크를 기반으로 한다. 이 변환 프레임워크는 종래기술[10]에 개시되어있다. 프레임워크의 첫 번째 단계는 홀로그램에서 라이트 필드 데이터를 추출하는 것이다. 라이트 필드 또는 광선의 공간-각 분포는 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰 모음으로 나타낼 수 있다. 본 발명에서 사용하는 프레임워크에서는 홀로그램에 밴드패스 필터링을 적용하여 각 직교 뷰를 추출한다.
홀로그램은 푸리에 변환되어, 홀로그램의 각 스펙트럼내에서 사각형 조리개 또는 밴드패스 필터에 의해 필터링되고, 필터링 된 각 스펙트럼은 역방향 푸리에 변환되어, 역방향 푸리에 변환된 진폭 부분이 진폭 직교 뷰로서 사용된다. 필터링된 각 스펙트럼은 역방향 푸리에 변환되며, 역방향 푸리에 변환된 진폭 부분은 진폭 직교 뷰로서 사용된다.
라이트 필드 데이터(다시 말해, 직교 뷰) 추출 시 3D 장면의 투영각도 또는 관찰 방향이 밴드패스 필터의 중심 공간 주파수에 의해 결정되고, 밴드패스 필터의 대역폭에 의해 해상도와 각 선택도가 결정된다.
단계(320)에서, 추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용한다.
단계(330)에서, 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성한다.
3D 장면의 스케일링이 라이트 필드 영역에서 수행된다.
단계(340)에서, 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성한다.
비호겔 기반 CGH 기법을 통해 변환 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지할 수 있다. 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH를 기법에 기초하여 홀로그램과 라이트필드 영역 간 상호 변환이 가능하다.
제안된 방법의 최종 단계에서 사용되는 비호겔 기반 CGH 기법으로 인해 결과 직교 뷰의 진폭이 세기 대신에 제안된 기법에 사용된다는 점에 유의한다. 3D 장면의 투영 각도 또는 관찰 방향은 밴드패스 필터의 중심 공간 주파수에 의해 결정된다. 밴드패스 필터의 대역폭은 효과적인 해상도와 각(angle) 선택도를 결정하는데, 이 값은 트레이드오프 관계를 갖는다. 본 발명의 실시예에 따른 모든 시뮬레이션과 실험에서 대역폭은 경험적으로 원래의 홀로그램의 1/4로 설정된다.
변환 프레임워크의 마지막 단계는 직교 뷰에서 새로운 홀로그램을 합성하는 것이다. 라이트 필드 홀로그램을 합성하는 많은 CGH 기법이 존재하지만, 제안된 기법에는 비호겔 기반 CGH 기법이 사용된다[8, 9]. 많은 호겔 기반 CGH 기법과는 달리 비호겔 기반 CGH 기법은 변환 공정 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지한다. 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH를 기반으로 한 이 프레임워크를 활용하면 홀로그램과 라이트필드 영역 간 상호 변환이 가능하다. 3D 장면의 제안된 스케일링은 다음 하위 섹션에서 설명한 바와 같이 이 변환 중에 라이트 필드 영역에서 수행된다.
도 4는 본 발명의 일 실시예에 따른 3D 객체의 표면과 직교 뷰의 기하학을 나타내는 도면이다.
홀로그램에서 추출한 라이트 필드 데이터는 직교 투영 기하학에서 뷰의 진폭 분포이다. 직교 투영 각도(θx, θy)의 경우, 3D 물체 표면의 임의 점 P(xp, yp, zp)가 z=0 평면에 위치한 직교 뷰 영상의 위치(xp-zpθx, yp-zpθy)에 투영된다. 가로 위치(x,y)에서 3D 물체 표면의 진폭이 f(x,y)로 나타낸다고 가정한다. 직교 진폭 뷰
Figure 112020136384001-pat00005
는 다음 기준의 f(x,y)와 관련이 있다.
Figure 112020136384001-pat00006
(4)
여기서 h(x,y)는 가로 위치(x, y), 예를 들어 z=h(x,y)에서 3D 물체 표면의 깊이를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 스케일링된 3D 객체의 표면과 직교 뷰의 기하학을 나타내는 도면이다.
이제 3D 객체가 도 5와 같이 원점에 대해 m배만큼 크기가 조정된다고 가정해 보자. 스케일링된 3D 객체의 진폭 f(x,y)와 깊이 h'(x,y)는 다음과 같이 주어진다.
Figure 112020136384001-pat00007
(5)
식 (4)와 (5)에서 스케일링된 3D 객체에 대한 새로운 진폭 직교 뷰
Figure 112020136384001-pat00008
과 원래 직교 뷰
Figure 112020136384001-pat00009
사이의 관계를 확인할 수 있다.
Figure 112020136384001-pat00010
Figure 112020136384001-pat00011
(6)
줄이면,
Figure 112020136384001-pat00012
(7)
따라서 스케일링된 3D 객체에 대한 직교 뷰 영상은 스케일링 팩터 m을 사용하여 원래 3D 객체의 해당 직교 뷰를 스케일링함으로써 간단히 제공된다. 3D 객체와 진폭 직교 뷰 사이의 선형 관계는 식 (5)-(7)에서와 같이 가로 방향과 축 방향 모두에서 동일한 스케일링 비율 m을 가진 3D 객체를 스케일링할 수 있다는 점에 유의한다. 제안된 방법에서는 스케일링된 직교 뷰 영상을 최종적으로 사용하여 이전 섹션에서 설명한 비호겔 기반 CGH 기법을 사용하여 스케일링된 3D 물체가 포함된 새로운 홀로그램을 합성한다.
도 6은 본 발명의 일 실시예에 따른 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 장치의 구성을 나타내는 도면이다.
제안하는 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 장치는 라이트 필드 데이터 추출부(510), DnCNN 적용부(620), 변환부(630) 및 합성부(640)를 포함한다.
라이트 필드 데이터 추출부(510)는 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출한다.
제안된 스케일링 기법은 홀로그램과 라이트 필드 사이의 변환 프레임워크를 기반으로 한다. 이 변환 프레임워크는 종래기술[10]에 개시되어있다. 프레임워크의 첫 번째 단계는 홀로그램에서 라이트 필드 데이터를 추출하는 것이다. 라이트 필드 또는 광선의 공간-각 분포는 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰 모음으로 나타낼 수 있다. 본 발명에서 사용하는 프레임워크에서는 홀로그램에 밴드패스 필터링을 적용하여 각 직교 뷰를 추출한다.
홀로그램은 푸리에 변환되어, 홀로그램의 각 스펙트럼내에서 사각형 조리개 또는 밴드패스 필터에 의해 필터링되고, 필터링 된 각 스펙트럼은 역방향 푸리에 변환되어, 역방향 푸리에 변환된 진폭 부분은 진폭 직교 뷰로서 사용된다. 필터링된 각 스펙트럼은 역방향 푸리에 변환되며, 역방향 푸리에 변환된 진폭 부분은 진폭 직교 뷰로서 사용된다.
라이트 필드 데이터(다시 말해, 직교 뷰) 추출 시 3D 장면의 투영각도 또는 관찰 방향이 밴드패스 필터의 중심 공간 주파수에 의해 결정되고, 밴드패스 필터의 대역폭에 의해 해상도와 각 선택도가 결정된다.
DnCNN 적용부(620)는 추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용한다.
변환부(630)는 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성한다.
3D 장면의 스케일링이 라이트 필드 영역에서 수행된다.
합성부(640)는 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성한다.
비호겔 기반 CGH 기법을 통해 변환 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지할 수 있다. 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH를 기법에 기초하여 홀로그램과 라이트필드 영역 간 상호 변환이 가능하다.
제안된 방법의 최종 단계에서 사용되는 비호겔 기반 CGH 기법으로 인해 결과 직교 뷰의 진폭이 세기 대신에 제안된 기법에 사용된다는 점에 유의한다. 3D 장면의 투영 각도 또는 관찰 방향은 밴드패스 필터의 중심 공간 주파수에 의해 결정된다. 밴드패스 필터의 대역폭은 효과적인 해상도와 각(angle) 선택도를 결정하는데, 이 값은 트레이드오프 관계를 갖는다. 본 발명의 실시예에 따른 모든 시뮬레이션과 실험에서 대역폭은 경험적으로 원래의 홀로그램의 1/4로 설정된다.
변환 프레임워크의 마지막 단계는 직교 뷰에서 새로운 홀로그램을 합성하는 것이다. 라이트 필드 홀로그램을 합성하는 많은 CGH 기법이 존재하지만, 제안된 기법에는 비호겔 기반 CGH 기법이 사용된다[8, 9]. 많은 호겔 기반 CGH 기법과는 달리 비호겔 기반 CGH 기법은 변환 공정 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지한다. 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH를 기반으로 한 이 프레임워크를 활용하면 홀로그램과 라이트필드 영역 간 상호 변환이 가능하다. 3D 장면의 제안된 스케일링은 다음 하위 섹션에서 설명한 바와 같이 이 변환 중에 라이트 필드 영역에서 수행된다.
도 7은 본 발명의 일 실시예에 따른 원래의 홀로그램의 홀로그램의 진폭과 위상을 나타내는 도면이다.
제안된 방법의 검증을 위해 두 가지 종류의 홀로그램, 즉 이산 깊이의 복수의 객체를 가진 홀로그램과 연속 깊이의 복수 객체를 갖는 홀로그램이 합성되어 스케일링 전에 원래의 홀로그램으로 사용된다. 이산 깊이 객체의 홀로그램은 홀로그램 평면으로부터 각각 4mm와 -4mm 거리에 2개의 평면 객체를 포함하고 있다. 각 평면 객체는 같은 깊이의 두 개의 동심원으로 구성된다. 연속 깊이 객체의 홀로그램의 경우, 동심원은 2~7mm 깊이 범위를 커버하는 방향으로 기울어져 있다. 두 경우 모두 홀로그램 해상도는 1200×1200이고 픽셀 피치는 6.0μm이다. 도 7(a)는 이산 깊이의 복수의 객체를 가진 홀로그램의 진폭과 위상, 도 7(b)는 연속 깊이의 복수의 객체를 가진 홀로그램의 진폭과 위상을 보여준다.
제안된 방법의 첫 번째 단계는 라이트 필드 또는 직교 뷰의 배열을 추출하는 것이다. 본 발명의 실시예에 따른 홀로그램의 푸리에 평면에 있는 패스밴드 폭은 원래의 홀로그램의 4분의 1로 설정되어 있고, 패스밴드를 순차적으로 움직여 다른 투영각의 직교 뷰를 추출한다. 본 발명의 실시예에서는 30×30 직교 뷰를 수평방향과 수직방향으로 추출한다.
도 8은 본 발명의 일 실시예에 따른 홀로그램에서 추출한 직교 뷰의 몇 가지 예시를 나타내는 도면이다.
도 8(a)는 이산 깊이의 복수의 객체를 가진 홀로그램에서 추출한 직교 뷰의 몇 가지 예시를 나타내는 도면이고, 도 8(b)는 연속 깊이의 복수의 객체를 가진 홀로그램에서 추출한 직교 뷰의 몇 가지 예시를 나타내는 도면이다.
이후, 수정된 DnCNN을 적용하여 추출된 직교 뷰의 스페클을 줄인다.
도 9는 본 발명의 일 실시예에 따른 DnCNN의 적용 결과를 나타내는 도면이다.
도 9(a)는 이산 깊이의 복수의 객체를 가진 홀로그램에 대해 DnCNN에 의해 노이즈가 제거된 직교 뷰를 나타내는 도면이고, 도 9(b)는 연속 깊이의 복수의 객체를 가진 홀로그램에 대해 DnCNN에 의해 노이즈가 제거된 직교 뷰를 나타내는 도면이다.
DnCNN을 훈련하는 데 사용되는 노이즈 모델은 단일 픽셀 스페클 입자를 가정한다. 직교 뷰 추출 단계에서 패스밴드 필터의 크기가 원래 홀로그램 대역폭의 4분의 1로 설정되어 있기 때문에, 스페클 입자 크기가 4배 증가한다. 스페클 입자 크기에 맞추기 위해 DnCNN을 적용하기 전에 추출된 직교 뷰의 크기를 원래 홀로그램의 1/4 크기, 즉 300×300으로 조정한다. 참고로 패스밴드 폭이 원래 홀로그램 대역폭의 1/4이기 때문에 추출된 직교 뷰의 크기 조정은 추가적인 해상도 손실을 가져오지 않는다. DnCNN을 적용한 후, 직교 뷰는 다시 원래 크기, 즉 1200×1200으로 크기가 조정된다. 도 9는 DnCNN의 적용 결과를 보여 주며, 스페클 억제 효과를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 스케일 팩터가 m=0.5로 설정된 축소 직교 뷰를 나타내는 도면이다.
도 10(a)는 이산 깊이의 복수의 객체를 가진 홀로그램에 대하여 스케일 팩터가 m=0.5로 설정된 축소 직교 뷰를 나타내는 도면이고, 도 10(b)는 연속 깊이의 복수의 객체를 가진 홀로그램에 대하여 스케일 팩터가 m=0.5로 설정된 축소 직교 뷰를 나타내는 도면이다.
상술된 바와 같이 홀로그램 스케일링의 경우, 정사영 진폭 뷰와 홀로그램의 3D 객체 사이의 선형 관계를 이용하여 직교 뷰를 스케일링한다. 각 직교 뷰는 바이큐빅(bicubic) 보간법을 사용하여 확대 또는 축소된다. 확대의 경우 스케일 팩터가 m=2로 설정되어 2400×2400 픽셀 해상도 직교 뷰가 생성된다. 감소의 경우 제로패딩(zero padding)이 적용되어 이전 단계와 같이 직교 뷰의 픽셀 해상도를 1200×1200으로 유지한다. 도 10은 스케일 팩터가 m=0.5로 설정된 축소 예시를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 재합성된 홀로그램의 진폭과 위상을 나타내는 도면이다.
제안 방법의 마지막 단계는 비호겔 기반 CGH 방법을 사용하여 스케일링된 직교 뷰에서 홀로그램을 다시 합성하는 것이다. 랜덤 위상 반송파는 홀로그램 합성에 있어 필드의 얕은 깊이도를 위해 사용되어 초점 거리 식별이 보다 명확해진다. 확대(up-scaling) 예시의 경우, 구현 시 메모리 한계로 인해 각 2400×2400 해상도 직교 뷰의 중앙 1200×1200 부분이 홀로그램 합성에 사용된다. 도 11은 재합성된 홀로그램의 진폭과 위상을 보여준다. 도 11(a)는 이산 깊이의 복수의 객체를 가진 스케일 팩터가 m=0.5인 축소된 홀로그램의 진폭과 위상을 나타내는 도면이고, 도 11(b)는 이산 깊이의 복수의 객체를 가진 스케일 팩터가 m=2인 확대된 홀로그램의 진폭과 위상을 나타내는 도면이고, 도 11(c)는 연속 깊이의 복수의 객체를 가진 스케일 팩터가 m=0.5인 축소된 홀로그램의 진폭과 위상을 나타내는 도면이고, 도 11(d)는 연속 깊이의 복수의 객체를 가진 스케일 팩터가 m=2인 확대된 홀로그램의 진폭과 위상을 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 각 스펙트럼 방법을 사용하여 -8mm ~ +8mm의 서로 다른 거리에서 이산 깊이 홀로그램을 수치적으로 전파한 결과를 나타내는 도면이다.
수치적 재구성은 3D 객체의 왜곡 없는 스케일링을 검증하기 위해 수행된다. 도 12는 각 스펙트럼 방법을 사용하여 -8mm ~ +8mm의 서로 다른 거리에서 이산 깊이 홀로그램을 수치적으로 전파한 결과다. 원래의 홀로그램에 있는 물체는 상단 원은 4mm, 하단 원은 -4mm의 깊이를 가지고 있다. 도 12(a)는 각 원이 해당하는 거리 4mm와 -4mm에 집중되어 있음을 보여준다. 도 12(b)에 나타낸 축소(down-scaled) 홀로그램의 수치 재구성에 있어서, 각 원은 원래의 홀로그램 물체의 포커스의 절반인 -2mm와 2mm에 집중되어 있다. 도 12(c)에 나타낸 확대 홀로그램 예시에서는 각 원이 각각 -8mm와 8mm에 집중되어 있음을 확인할 수 있다.
도 13은 본 발명의 일 실시예에 따른 수치적 전파의 가로 크기를 나타내는 도면이다.
원래 홀로그램 재구성의 이중 원 지름은 도 13(a)와 같이 가로 361픽셀, 세로 358픽셀이다. 2mm에서 1/2배의 축소 홀로그램 재구성의 이중원 지름은 도 13(b)와 같이 수평 184픽셀, 수직 183픽셀로 측정하는데, 이는 원래 지름의 약 1/2이다. 도 13(c)에 나타낸 2배의 확대 예시에서 초점 8mm 거리의 수평 직경은 730 픽셀로 측정되며, 이는 다시 이론적 값 722=361×2 픽셀과 잘 일치한다. 도 12와 도 13에 나타난 결과에서 가로 방향과 축 방향은 왜곡 없이 배율이 동일한 것을 확인하였다.
도 14는 본 발명의 일 실시예에 따른 원래의 홀로그램에서 연속 깊이가 2~7mm인 기울어진 객체의 홀로그램의 수치 재구성의 결과를 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따른 중심 물체 주변의 초점영역을 나타내는 도면이다.
도 14는 명확한 검증을 위해 내부 원을 비교 대상으로 선정하고, 도 15는 중심 물체 주변의 초점영역의 수치적 재생 결과를 나타낸다. 도 14(a)와 도 15(a)를 참조하면, 안쪽 원의 윗부분은 4mm, 아랫부분은 노란색 점선 박스로 표현된 원래의 홀로그램에서 6mm에 집중되어 있음을 알 수 있다. 해당 부품은 도 14(b) 및 도 15(b)와 같이 1/2배 크기의 홀로그램의 경우 2mm와 3mm에 초점을 맞추고, 도 14(c) 및 도 15(c)와 같이 제안된 방법에 따라 2배 크기의 홀로그램의 경우 8mm와 12mm에 초점을 맞춘다. 이러한 결과는 제안된 방법이 개별적인 깊이뿐만 아니라 연속적인 깊이로 홀로그램에 잘 적용되고 있음을 확인시켜 준다.
도 16은 본 발명의 일 실시예에 따른 광학 실험에 대한 스케일링된 홀로그램과 원래 홀로그램의 진폭 및 위상을 나타내는 도면이다.
제안된 방법을 검증하기 위한 광학 실험도 실시되었다. 검증을 위한 홀로그램 데이터는 2개의 동심원으로 구성되며, 각 물체는 수치 시뮬레이션에서와 같이 홀로그램 평면에서 각각 -4mm와 4mm에 위치한다. 실험에 사용된 원래의 홀로그램의 해상도는 2400×1400이다. 이 원래의 홀로그램으로부터, 제안된 방법을 이용하여 확대 홀로그램과 축소 홀로그램이 합성되었고, 스케일 팩터는 각각 m=0.5와 m=2로 설정되었다. 각 홀로그램의 진폭과 위상은 도 16과 같다. 도 16(a)는 원본, 도 16(b)는 m=0.5, 도 16(c) m=2에 대한 각 홀로그램의 진폭과 위상을 나타낸다.
도 17은 본 발명의 일 실시예에 따른 제한된 각 스펙트럼 범위를 가진 원래의 1/2의 축소 홀로그램의 수치적 전파의 결과를 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따른 2의 확대 홀로그램의 광학적 전파의 결과를 나타내는 도면이다.
Figure 112020136384001-pat00013
=520nm 파장의 레이저가 빔 스플리터를 통해 공간 조명 변조기(SLM)를 비춘다. SLM의 픽셀 피치는 3.6μm이고 해상도는 3840×2160으로 실험에서 중앙 2400×1400 부분만 사용하였다. 원치 않는 노이즈를 피하기 위해 4-f 시스템의 푸리에 평면에 조리개를 설정하여 수직 단측 밴드 영역의 약 0.5(H)×1(V) 부분만이 조리개를 통과하여 재구성에 기여하도록 하였다. 각 홀로그램도 푸리에 평면의 각 스펙트럼 범위를 4-f 시스템의 물리적 조리개와 동일한 크기로 제한해 필터링했다. 4-f 시스템의 경우 초점 길이가 같은 15cm의 렌즈 2개를 사용해 광학 이미징 확대를 방지했다. 중성밀도(ND) 필터는 레이저의 강도를 조절하는 데 사용된다. 광학 재구성은 카메라 영상렌즈 없이 카메라 영상센서가 직접 포착했다. 카메라는 SLM의 영상면에서 -8mm, -4mm, -2mm, 2mm, 4mm, 8mm 등 다양한 거리에서 재구성을 포착하기 위해 직선 스테이지에 탑재되었다.
도 17 및 도 18은 제한된 각 스펙트럼 범위를 가진 원래의 1/2의 축소 및 2배의 확대 홀로그램의 수치 재구성과 광학적 재구성의 결과를 보여준다. 각 스펙트럼 범위가 제한적이기 때문에 포커스 깊이가 커지고 실험에서 포커스 효과가 줄어든다.
그럼에도 불구하고 수치 재구성과 광학 재구성에서 모두 스케일 팩터 1/2의 축소 홀로그램이 -2mm, 2mm에, 스케일 팩터 2의 확대 홀로그램은 -8mm, 8mm에 집중되어 있는 것을 확인할 수 있으며, 재구성의 예상 1/2배, 2배의 축 확대를 보여준다. 재구성의 가로 크기도 도 18과 같이 각각 1/2배, 2배로 측정한다. 따라서 광학 실험은 제안된 방법에 의해 크기가 조정된 홀로그램에서 가로 방향과 축 방향의 배율이 동일한 배율이라는 것을 성공적으로 증명한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
<참고 문헌>
1. R. P. Muffoletto, J. M. Tyler, and J. E. Tohline, "Shifted Fresnel diffraction for computational holography," Opt.Express 15(9), 5631-5640 (2007).
2. H. Zhang, L. Cao, and G. Jin, "Scaling of Three-Dimensional Computer-Generated Holograms with LayerBased Shifted Fresnel Diffraction," Appl. Sci. 9(10), 2118 (2019).
3. T. Shimobaba, T. Kakue, N. Okada, M. Oikawa, Y. Yamaguchi, and T. Ito, "Aliasing-reduced Fresnel diffraction with scale and shift operations," J. Opt. 15, 075405 (2013).
4. T. Shimobaba, M. Makowski, T. Kakue, M. Oikawa, N. Okada, Y. Endo, R. Hirayama, and T. Ito, "Lensless zoomable holographic projection using scaled Fresnel diffraction," Opt. Express 21(21), 25285-25290 (2013).
5. S. Trejos, J. F. Barrera1, A. Velez, M. Tebaldi and R. Torroba, "Optical approach for the efficient data volume handling in experimentally encrypted data," J.Opt. 18, 065702 (2016).
6. J. W. Goodman, Introduction to Fourier Optics (Roberts & Company, 2005).
7. K. Zhang, W. Zuo, Y. Chen, D. Meng and L. Zhang, "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," IEEE Trans. Image Process. 26(7), 3142-3155 (2017).
8. J.-H. Park and M. Askari, "Non-hogel-based computer generated hologram from light field using complex field recovery technique from Wigner distribution function," Opt. Express 27(3), 2562-2574 (2019).
9. J.-H. Park, "Efficient calculation scheme for high pixel resolution non-hogel-based computer generated hologram from light field," Opt. Express 28(5), 6663-6683 (2020).
10. D.-Y. Park and J.-H. Park, "Hologram conversion for speckle free reconstruction using light field extraction and deep learning," Opt. Express 28(4), 5393-5409 (2020).

Claims (8)

  1. 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계;
    추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 단계;
    서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계; 및
    비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계
    를 포함하고,
    상기 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 단계는,
    상기 3D 장면의 직교 뷰에 대해 가로 방향과 축 방향 모두에서 동일한 스케일링 비율을 가진 3D 객체를 스케일링하고,
    상기 비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 단계는,
    비호겔 기반 CGH 기법을 통해 변환 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지하고, 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH 기법에 기초하여 홀로그램과 라이트필드 영역 간 상호 변환이 가능한
    라이트필드 데이터 변환을 이용한 홀로그램 생성 방법.
  2. 제1항에 있어서,
    홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계는,
    홀로그램은 푸리에 변환되어, 홀로그램의 각 스펙트럼내에서 사각형 조리개 또는 밴드패스 필터에 의해 필터링되고, 필터링 된 각 스펙트럼은 역방향 푸리에 변환되어, 역방향 푸리에 변환된 진폭 부분이 진폭 직교 뷰로서 사용되는
    라이트필드 데이터 변환을 이용한 홀로그램 생성 방법.
  3. 제1항에 있어서,
    홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 단계는,
    라이트 필드 데이터 추출 시 3D 장면의 투영각도 또는 관찰 방향이 밴드패스 필터의 중심 공간 주파수에 의해 결정되고, 밴드패스 필터의 대역폭에 의해 해상도와 각 선택도가 결정되는
    라이트필드 데이터 변환을 이용한 홀로그램 생성 방법.
  4. 삭제
  5. 홀로그램에 밴드패스 필터링을 적용하여 홀로그램으로부터 라이트 필드 데이터를 추출하는 라이트 필드 데이터 추출부;
    추출된 라이트 필드를 서로 다른 방향에서 관찰된 3D 장면의 직교 뷰로 나타내고, 직교 뷰의 스펙클 노이즈를 감소시키기 위해 DnCNN(Denoise Convolutional Neural Network)을 적용하는 DnCNN 적용부;
    서로 다른 방향에서 관찰된 3D 장면의 직교 뷰에 대해 크기 변환을 수행하여 스케일링된 직교 뷰를 생성하는 변환부; 및
    비호겔(Non-hogel) 기반 CGH 기법을 통해 스케일링된 직교 뷰로부터 새로운 홀로그램을 합성하는 합성부
    를 포함하고,
    상기 변환부는,
    상기 3D 장면의 직교 뷰에 대해 가로 방향과 축 방향 모두에서 동일한 스케일링 비율을 가진 3D 객체를 스케일링하고,
    상기 합성부는,
    비호겔 기반 CGH 기법을 통해 변환 전 원래의 홀로그램과 동일한 픽셀 카운트에서의 직교 뷰와 동일한 공간 해상도를 유지하고, 밴드패스 필터링, 스페클 억제, 비호겔 기반 CGH 기법에 기초하여 홀로그램과 라이트필드 영역 간 상호 변환이 가능한
    라이트필드 데이터 변환을 이용한 홀로그램 생성 장치.
  6. 제5항에 있어서,
    라이트 필드 데이터 추출부는,
    홀로그램은 푸리에 변환되어, 홀로그램의 각 스펙트럼내에서 사각형 조리개 또는 밴드패스 필터에 의해 필터링되고, 필터링 된 각 스펙트럼은 역방향 푸리에 변환되어, 역방향 푸리에 변환된 진폭 부분이 진폭 직교 뷰로서 사용되는
    라이트필드 데이터 변환을 이용한 홀로그램 생성 장치.
  7. 제5항에 있어서,
    라이트 필드 데이터 추출부는,
    라이트 필드 데이터 추출 시 3D 장면의 투영각도 또는 관찰 방향이 밴드패스 필터의 중심 공간 주파수에 의해 결정되고, 밴드패스 필터의 대역폭에 의해 해상도와 각 선택도가 결정되는
    라이트필드 데이터 변환을 이용한 홀로그램 생성 장치.
  8. 삭제
KR1020200175847A 2020-12-15 2020-12-15 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치 KR102502586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200175847A KR102502586B1 (ko) 2020-12-15 2020-12-15 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200175847A KR102502586B1 (ko) 2020-12-15 2020-12-15 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220085627A KR20220085627A (ko) 2022-06-22
KR102502586B1 true KR102502586B1 (ko) 2023-02-23

Family

ID=82216441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200175847A KR102502586B1 (ko) 2020-12-15 2020-12-15 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102502586B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102691849B1 (ko) * 2022-10-06 2024-08-06 인하대학교 산학협력단 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
KR20240087400A (ko) * 2022-12-12 2024-06-19 서울대학교산학협력단 홀로그램 스케일링 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102190773B1 (ko) * 2019-12-11 2020-12-14 인하대학교 산학협력단 라이트필드 변환 기술과 딥러닝을 적용한 홀로그램 스페클 제거 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102190773B1 (ko) * 2019-12-11 2020-12-14 인하대학교 산학협력단 라이트필드 변환 기술과 딥러닝을 적용한 홀로그램 스페클 제거 방법 및 장치

Also Published As

Publication number Publication date
KR20220085627A (ko) 2022-06-22

Similar Documents

Publication Publication Date Title
KR102502586B1 (ko) 라이트필드 데이터 변환을 이용한 왜곡 없는 홀로그램 생성 방법 및 장치
TWI409716B (zh) A computer device for generating a video image and for expanding Real - time generation of image - like image of 3D rendering drawing pipeline
JP3471556B2 (ja) 位相シフトディジタルホログラフィ装置
JP5258049B2 (ja) 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム
KR20090132542A (ko) 재생 장치 및 재생 방법
WO2018198613A1 (ja) ホログラフィー再生方法及びプログラム
US20140313555A1 (en) Digital hologram synthesis method and apparatus
KR100910642B1 (ko) 홀로그래피 기법에 의해 획득된 영상의 3차원 집적 영상복원 방법 및 장치
CN107065488A (zh) 一种采用频域滤波的激光全息直接打印装置和方法
Min et al. Wigner inverse transform based computer generated hologram for large object at far field from its perspective light field
KR101090787B1 (ko) 깊이맵 변환을 이용한 홀로그램 처리 장치 및 방법
WO2023015621A1 (zh) 一种基于衍射模糊成像原理的无串扰全息3d显示方法
Kim et al. Hologram generation of 3D objects using multiple orthographic view images
Liu et al. Radiance-field holography for high-quality 3D reconstruction
CN110647023B (zh) 一种基于部分角谱法的快速全息图生成和高质量再现方法
JP6040469B2 (ja) デジタルホログラフィ装置
US4279462A (en) Method of holographic processing of waves
KR20210001974A (ko) 디지털 홀로그램 표시 장치 및 디지털 홀로그램 영상 재생 방법
KR102691849B1 (ko) 비호겔 기반 컴퓨터 생성 홀로그램의 전경 라이트필드와 배경 홀로그램 간 폐색 처리 방법 및 시스템
Park et al. Three-dimensional scene scaling in hologram using light field data conversion
Tsang et al. Region specific magnification on digital holograms at 100 frames per second
JP7393093B2 (ja) 計算機合成ホログラム生成装置、方法及びプログラム
KR20240124587A (ko) 대형 원거리 3차원 객체의 원근 투사 라이트 필드를 사용한 위그너 역변환 기반 컴퓨터 생성 홀로그램 알고리즘
Yang et al. Dual-mode incoherent 3D imaging system with improved lateral resolution
KR20240036318A (ko) 허상 홀로그램 영상의 품질 평가 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right