KR20140041316A - 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템 - Google Patents

데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템 Download PDF

Info

Publication number
KR20140041316A
KR20140041316A KR1020130039260A KR20130039260A KR20140041316A KR 20140041316 A KR20140041316 A KR 20140041316A KR 1020130039260 A KR1020130039260 A KR 1020130039260A KR 20130039260 A KR20130039260 A KR 20130039260A KR 20140041316 A KR20140041316 A KR 20140041316A
Authority
KR
South Korea
Prior art keywords
hologram
data
fringe
information
adaptive
Prior art date
Application number
KR1020130039260A
Other languages
English (en)
Inventor
이범렬
손욱호
오승택
서호용
황치영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/036,642 priority Critical patent/US20140085692A1/en
Publication of KR20140041316A publication Critical patent/KR20140041316A/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G03H2001/0883Reconstruction aspect, e.g. numerical focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object

Abstract

데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 단계; 상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 단계; 상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계; 상기 홀로그램 프린지 데이터에 상기 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원하는 단계; 및 상기 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 상기 광학적 홀로그램을 조정하는 단계를 포함한다.

Description

데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템{HOLOGRAM DATA PROCESSING METHOD AND SYSTEM USING HOLOGRAM FRINGE DATA FORMAT ADAPTIVE TO DATA ENCODING TYPE}
본 발명은 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템 및 그 방법에 관한 것으로, 보다 구체적으로 진폭 인코딩 방식 및 위상 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 기술에 관한 것이다.
홀로그램 데이터 처리 기술은 홀로그램을 생성하기 위한 소스 데이터로부터 광학적 홀로그램을 복원하는 기술로써, 광학적 홀로그램의 복원은 공간광변조기 장치에서 데이터 인코딩이 적용됨으로써 수행될 수 있다. 여기서, 데이터 인코딩 방식으로는 진폭 인코딩 방식 또는 위상 인코딩 방식을 포함할 수 있다.
본 발명의 실시예들은 홀로그램 프린지 데이터를 저장하기 위한 데이터 포맷을 정의하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예들은 홀로그램 데이터를 처리하는 과정에서 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 데이터 포맷을 정의함으로써, 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 방법, 장치 및 시스템을 제공한다.
또한, 본 발명의 실시예들은 홀로그램 데이터를 처리하는 과정에서 복원된 광학적 홀로그램을 수치적 홀로그램과 비교하여 광학적 홀로그램을 조정할 수 있는 데이터 포맷을 정의하는 방법, 장치 및 시스템을 제공한다.
본 발명의 일실시예에 따른 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 단계; 상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 단계; 상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계; 상기 홀로그램 프린지 데이터에 상기 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원하는 단계; 및 상기 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 상기 광학적 홀로그램을 조정하는 단계를 포함한다.
상기 홀로그램 프린지 데이터 포맷을 설정하는 단계는 상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계를 포함할 수 있다.
상기 홀로그램의 진폭 데이터에 대한 정보는 상기 홀로그램의 진폭 데이터에 대한 스타트 비트 스트링 정보, 상기 홀로그램의 진폭 데이터 타입 정보, 상기 홀로그램의 진폭 데이터 스트림의 비트 크기 정보 및 상기 홀로그램의 진폭 데이터 스트림 정보를 포함할 수 있다.
상기 홀로그램의 위상 데이터에 대한 정보는 상기 홀로그램의 위상 데이터에 대한 스타트 비트 스트링 정보, 상기 홀로그램의 위상 데이터 타입 정보, 상기 홀로그램의 위상 데이터 스트림의 비트 크기 정보 및 상기 홀로그램의 위상 데이터 스트림 정보를 포함할 수 있다.
상기 홀로그램 프린지 데이터 포맷은 상기 홀로그램 프린지 데이터의 스타트 비트 정보 및 홀로그램 생성 파라미터를 포함하는 헤더 정보를 더 포함할 수 있다.
상기 홀로그램 생성 파라미터를 포함하는 헤더 정보는 3차원 모델 데이터 구성 방식 정보, 참조파의 정보, 상기 홀로그램 프린지 패턴 데이터 생성 파라미터 정보, 상기 홀로그램 재생 방식 정보 및 광학변수 정보를 포함할 수 있다.
상기 광학적 홀로그램을 조정하는 단계는 상기 광학적 홀로그램의 복원 영상 및 상기 수치적 홀로그램의 복원 영상이 서로 일치하는 방향으로 상기 광학적 홀로그램을 조정하는 단계를 포함할 수 있다.
상기 광학적 홀로그램을 조정하는 단계는 홀로그램 생성 파라미터를 조절함으로써, 상기 홀로그램 프린지 데이터를 재계산하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 방법은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 단계; 상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 단계; 및 상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계를 포함한다.
상기 홀로그램 프린지 데이터 포맷을 설정하는 단계는 상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 구성부; 상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 계산부; 상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 설정부; 상기 홀로그램 프린지 데이터에 상기 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원하는 복원부; 및 상기 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 상기 광학적 홀로그램을 조정하는 조정부를 포함한다.
상기 설정부는 상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정할 수 있다.
본 발명의 일실시예에 따른 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 시스템은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 구성부; 상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 계산부; 및 상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 설정부를 포함한다.
본 발명의 실시예들은 홀로그램 프린지 데이터를 저장하기 위한 데이터 포맷을 정의하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 홀로그램 데이터를 처리하는 과정에서 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 데이터 포맷을 정의함으로써, 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 방법, 장치 및 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 홀로그램 데이터를 처리하는 과정에서 복원된 광학적 홀로그램을 수치적 홀로그램과 비교하여 광학적 홀로그램을 조정할 수 있는 데이터 포맷을 정의하는 방법, 장치 및 시스템을 제공할 수 있다.
도 1은 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 나타낸 도면이다.
도 2는 3차원 객체 평면과 홀로그램 평면 사이의 관계를 나타낸 도면이다.
도 3은 진폭 인코딩 방식을 나타낸 도면이다.
도 4는 위상 인코딩 방식을 나타낸 도면이다.
도 5는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법을 나타낸 플로우 차트이다.
도 6은 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 나타낸 도면이다.
도 1을 참조하면, 홀로그램 데이터 처리 과정에 있어서, 홀로그램 프린지 데이터 포맷(110)은 홀로그램의 진폭 데이터에 대한 정보 및 홀로그램의 위상 데이터에 대한 정보 모두를 포함한다.
이 때, 진폭 데이터에 대한 정보는 SA(112), AType(113), ABitLength(114) 및 ADataStream(115)의 포맷에 저장될 수 있다. 여기서, SA(112)는 홀로그램의 진폭 데이터 또는 리얼 파트 데이터 중에 적어도 어느 하나에 대한 스타트 비트 스트링 정보를 포함할 수 있고, AType(113)은 홀로그램의 진폭 데이터 타입 정보를 포함할 수 있다. 또한, ABitLength(114)는 홀로그램의 진폭 데이터 스트림의 비트 크기 정보를 포함할 수 있고, ADataStream(115)은 홀로그램의 진폭 데이터 스트림 정보를 포함할 수 있다.
위상 데이터에 대한 정보는 SP(116), PType(117), PBitLength(118) 및 PDataStream(119)의 포맷에 저장될 수 있다. 여기서, SP(116)는 홀로그램의 위상 데이터 또는 이미지너리 파트 데이터 중에 적어도 어느 하나에 대한 스타트 비트 스트링 정보를 포함할 수 있고, PType(117)은 홀로그램의 위상 데이터 타입 정보를 포함할 수 있다. 또한, PBitLength(118)는 홀로그램의 위상 데이터 스트림의 비트 크기 정보를 포함할 수 있고, PDataStream(119)은 홀로그램의 위상 데이터 스트림의 정보를 포함할 수 있다.
또한, 홀로그램 프린지 데이터 포맷(110)은 홀로그램 프린지 데이터의 스타트 비트 정보가 저장되는 포맷인 HSB(111) 및 홀로그램 생성 파라미터를 포함하는 헤더 정보가 저장되는 포맷인 Header(120)를 포함할 수 있다.
이 때, 홀로그램 생성 파라미터를 포함하는 헤더 정보는 아래의 표 1을 참조하여 설명하기로 한다.
관련 홀로그램 생성 파라미터 비트 수 설명
3차원 모델 데이터 구성 방식 point cloud 1 포인트 클라우드 모델
angular spectrum 폴리곤 메시 모델
참조파 intensity 8 참조파의 강도
Incident angle, Φ 16 참조파의 입사각(O)
wave length(color), λ 16 참조파의 파장(nm)
홀로그램 프린지 패턴 데이터 생성 파라미터 pixel pitch, p 16 픽셀간격(um)
propagation distance, d 16 객체와 홀로그램 간 거리
resolution, M x N 32 홀로그램 해상도
SLM Type 2 공간광변조기 타입: LCD/LCoS, DMD, AOM)
Fringe Type 2 프린지 데이터 타입: amplitude-only, phase-only, interference
Object Size 16 3차원 객체의 크기
View angle 16 복원영상의 시야각
Spatial frequency 16 공간주파수
Hologram file depth 16 홀로그램 파일 뎁스
홀로그램 재생 방식 Hologram rtype 1 1 홀로그램 재생 방식 1: Transmission/Reflection
Hologram rtype 2 1 홀로그램 재생 방식 1: On-axiis/off-axis
광학 변수 Lenz para. 32 렌즈파라미터: focal length, diameter
Prism x-y 32 프리즘 위치 정보
gamma 16 감마 함수값
x-y shift 32 x-y 축 이동
총 비트 수 287
표 1을 참조하면, 홀로그램 생성 파라미터를 포함하는 헤더 정보는 3차원 모델 데이터 구성 방식 정보, 참조파의 정보, 홀로그램 프린지 패턴 데이터 생성 파라미터 정보, 홀로그램 재생 방식 정보 및 광학변수 정보를 포함할 수 있다. 여기서, 3차원 모델 데이터 구성 방식 정보는 Modeling(121)의 포맷에 저장될 수 있고, 포인트 클라우드 모델 방식 정보 또는 폴리곤 메시 모델 방식 정보를 포함할 수 있다. 참조파의 정보는 ReferenceBeam(122)의 포맷에 저장될 수 있고, 홀로그램 프린지 패턴 데이터 생성 파라미터 정보는 TransferFunction(123)의 포맷에 저장될 수 있다. 또한, 홀로그램 재생 방식 정보는 HoloType(124)의 포맷에 저장될 수 있고, 렌즈 파라미터의 정보를 포함할 수 있는 광학변수 정보는 OpticPara(125)의 포맷에 저장될 수 있다.
본 발명의 실시예에 따른 홀로그램 데이터 처리 방법은 홀로그램 프린지 데이터에 홀로그램의 진폭 데이터에 대한 정보 및 홀로그램의 위상 데이터에 대한 정보 모두를 포함하는 홀로그램 프린지 데이터 포맷을 설정함으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적일 수 있다. 이 때, 홀로그램 프린지 데이터 포맷이 설정되는 홀로그램 프린지 데이터의 계산은 도 2를 참조하여 설명하기로 한다.
도 2는 3차원 객체 평면과 홀로그램 평면 사이의 관계를 나타낸 도면이다.
도 2를 참조하면, 3차원 객체 평면(210) 및 홀로그램 평면(220)을 포함한다. 이 때, 홀로그램 평면(220)을 나타내는 함수
Figure pat00001
(221)와 3차원 객체 평면(210)을 나타내는 함수
Figure pat00002
(211) 사이의 관계는 수학식 1으로 표현될 수 있다.
[수학식 1]
Figure pat00003
이 때, 3차원 객체 평면(210)과 홀로그램 평면(220) 사이의 관계는 3차원 객체의 모델 데이터로부터 홀로그램 평면으로 전달되는 광파에 대한 회절 성분으로 표현될 수 있고, 3차원 객체의 모델 데이터로부터 홀로그램 평면으로 전달되는 광파에 대한 회절 성분은 표 2와 같이 적분 모델로 표현될 수 있다. 여기서, 차원 객체의 모델 데이터로부터 홀로그램 평면으로 전달되는 광파에 대한 회절 성분은 3차원 객체 평면(210)의 모든 점이 홀로그램 평면(220)의 하나의 점에 영향을 주는 광파 전달에 대한 회절 성분일 수 있다.
광파 전달 모델링 적분식
Kirchhoff-Rayleigh-Sommerfeld 적분 변환
Figure pat00004
프레넬(Fresnel) 적분 변환
Figure pat00005
각 스펙트럼(Angula Spectrum) 전달 변환
Figure pat00006
푸리에(Fourier) 적분 변환
Figure pat00007
홀로그램 데이터를 처리하는 과정에서, 홀로그램 프린지 데이터는 3차원 객체의 모델 데이터에 Kirchhoff-Rayleigh-Sommerfeld 적분 변환, 프레넬(Fresnel) 적분 변환, 각 스펙트럼(Angula Spectrum) 전달 변환 및 푸리에(Fourier) 적분 변환 등의 회절 변환 알고리즘이 적용되어 계산될 수 있다.
또한, 계산된 홀로그램 프린지 데이터에는 데이터 인코딩 방식에 적응적인 홀로그램 데이터 포맷이 설정될 수 있다. 이 때, 홀로그램 프린지 데이터에 적용되는 데이터 인코딩은 공간광변조기에서 수행될 수 있으며, 공간광변조기의 특성에 따라 진폭 인코딩 방식 또는 위상 인코딩 방식으로 수행될 수 있다. 이에 대한 상세한 설명은 도 3 및 도 4를 참조하여 기재하기로 한다.
도 3은 진폭 인코딩 방식을 나타낸 도면이다.
도 3을 참조하면, 진폭 인코딩 방식은 수학식 2와 같이
Figure pat00008
간격의 3개의 위상 벡터들(310, 320, 330)의 합으로 홀로그램의 진폭 트랜스미턴스 H를 획득함으로써 제공될 수 있다.
[수학식 2]
Figure pat00009
예를 들어, 진폭 트랜스미턴스 H는 제3 위상 벡터(330)에서
Figure pat00010
인 경우, 위상각의 위치에 따라 인접한 제1 위상 벡터(310) 및 제2 위상 벡터(320)의 합(340)만으로 표현될 수 있다.
도 4는 위상 인코딩 방식을 나타낸 도면이다.
도 4를 참조하면, 위상 인코딩 방식은 수학식 3과 같이 진폭을 일정한 크기로 정규화한 후에
Figure pat00011
으로 나누어 홀로그램의 진폭 트랜스미턴스 H를 획득함으로써 제공될 수 있다.
[수학식 3]
Figure pat00012
여기서, 진폭 A는 두 개의 위상
Figure pat00013
Figure pat00014
의 값 차이에 따라 생산적 중첩(410), 파괴적 중첩(420) 및 그 외의 중간 상태(430)로 구분될 수 있다. 이 때, 생산적 중첩(410)의 경우는 두 개의 위상
Figure pat00015
(411) 및
Figure pat00016
(412)이 같은 방향으로 중첩됨에 따라, 최대 진폭 A를 가질 수 있고, 파괴적 중첩(420)의 경우, 두 개의 위상
Figure pat00017
(421) 및
Figure pat00018
(422)이 서로
Figure pat00019
만큼 다른 방향으로 중첩됨에 따라, 0의 진폭 A를 가질 수 있다. 또한, 그 외의 중간 상태(430)의 경우, 두 개의 위상
Figure pat00020
(431) 및
Figure pat00021
(432)에 따라 0과 1 사이의 진폭 A를 가질 수 있다.
이 때, 진폭 트랜스미턴스 H에 대한 분할된 두 개의 위상 값은 수학식 4 및 수학식 5와 같이 표현될 수 있다.
[수학식 4]
Figure pat00022

[수학식 5]
Figure pat00023

도 5는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 본 발명의 실시예에 따른 방법은 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성한다(510). 이 때, 3차원 객체의 모델 데이터를 구성하는 방식은 포인트 클라우드 모델 방식 정보 또는 폴리곤 메시 모델 방식 정보를 포함할 수 있다.
또한, 3차원 객체의 모델 데이터를 기초로 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산한다(520).
본 발명의 실시예에 따른 방법은 계산된 홀로그램 프린지 데이터에 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정한다(530). 이 때, 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 과정은 홀로그램 프린지 데이터 포맷에 홀로그램의 진폭 데이터에 대한 정보 및 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 과정일 수 있다. 여기서, 홀로그램 프린지 데이터 포맷은 홀로그램 프린지 데이터의 스타트 비트 정보 및 홀로그램 생성 파라미터를 포함하는 헤더 정보를 더 포함할 수 있다. 또한, 홀로그램의 진폭 데이터에 대한 정보는 홀로그램의 진폭 데이터에 대한 스타트 비트 스트링 정보, 홀로그램의 진폭 데이터 타입 정보, 홀로그램의 진폭 데이터 스트림의 비트 크기 정보 및 홀로그램의 진폭 데이터 스트림 정보를 포함할 수 있고, 홀로그램의 위상 데이터에 대한 정보는 홀로그램의 위상 데이터에 대한 스타트 비트 스트링 정보, 홀로그램의 위상 데이터 타입 정보, 홀로그램의 위상 데이터 스트림의 비트 크기 정보 및 홀로그램의 위상 데이터 스트림 정보를 포함할 수 있으며, 홀로그램 생성 파라미터를 포함하는 헤더 정보는 3차원 모델 데이터 구성 방식 정보, 참조파의 정보, 홀로그램 프린지 패턴 데이터 생성 파라미터 정보, 홀로그램 재생 방식 정보 및 광학변수 정보를 포함할 수 있다.
또한, 홀로그램 프린지 데이터에 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원한다(540). 이 때, 진폭 인코딩 방식 또는 위상 인코딩 방식 중에 적어도 어느 하나의 방식을 지원하는 공간광변조기에 홀로그램 프린지 데이터를 로드하고, 공간광변조기에 참조파를 인가함으로써, 광학적 홀로그램을 복원할 수 있다.
본 발명의 실시예에 따른 방법은 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 광학적 홀로그램을 조정한다(550). 이 때, 광학적 홀로그램을 조정하는 과정은 광학적 홀로그램의 복원 영상 및 수치적 홀로그램의 복원 영상이 서로 일치하는 방향으로 광학적 홀로그램을 조정할 수 있다. 또한, 광학적 홀로그램을 조정하는 과정은 홀로그램 생성 파라미터를 조절함으로써, 홀로그램 프린지 데이터를 재계산할 수 있다. 여기서, 재계산된 홀로그램 프린지 데이터에 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 다시 복원할 수 있다. 또한, 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하는 과정에서, 객관적 또는 주관적 화질 평가가 이루어질 수 있고, 휴먼 팩터 요소를 규명할 수 있다.
도 6은 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템을 나타낸 블록도이다.
도 6을 참조하면, 본 발명에 따른 시스템은 구성부(610), 계산부(620), 설정부(630), 복원부(640) 및 조정부(650)을 포함한다.
구성부(610)는 홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성한다.
계산부(620)는 3차원 객체의 모델 데이터를 기초로 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산한다.
설정부(630)는 계산된 홀로그램 프린지 데이터에 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정한다.
또한, 설정부(630)는 홀로그램 프린지 데이터 포맷에 홀로그램의 진폭 데이터에 대한 정보 및 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 홀로그램 프린지 데이터 포맷을 설정할 수 있다.
복원부(640)는 홀로그램 프린지 데이터에 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원한다.
조정부(650)는 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 광학적 홀로그램을 조정한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법에 있어서,
    홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 단계;
    상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 단계;
    상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계;
    상기 홀로그램 프린지 데이터에 상기 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원하는 단계; 및
    상기 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 상기 광학적 홀로그램을 조정하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 홀로그램 프린지 데이터 포맷을 설정하는 단계는
    상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  3. 제2항에 있어서,
    상기 홀로그램의 진폭 데이터에 대한 정보는
    상기 홀로그램의 진폭 데이터에 대한 스타트 비트 스트링 정보, 상기 홀로그램의 진폭 데이터 타입 정보, 상기 홀로그램의 진폭 데이터 스트림의 비트 크기 정보 및 상기 홀로그램의 진폭 데이터 스트림 정보를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  4. 제2항에 있어서,
    상기 홀로그램의 위상 데이터에 대한 정보는
    상기 홀로그램의 위상 데이터에 대한 스타트 비트 스트링 정보, 상기 홀로그램의 위상 데이터 타입 정보, 상기 홀로그램의 위상 데이터 스트림의 비트 크기 정보 및 상기 홀로그램의 위상 데이터 스트림 정보를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  5. 제2항에 있어서,
    상기 홀로그램 프린지 데이터 포맷은
    상기 홀로그램 프린지 데이터의 스타트 비트 정보 및 홀로그램 생성 파라미터를 포함하는 헤더 정보를 더 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  6. 제5항에 있어서,
    상기 홀로그램 생성 파라미터를 포함하는 헤더 정보는
    3차원 모델 데이터 구성 방식 정보, 참조파의 정보, 상기 홀로그램 프린지 패턴 데이터 생성 파라미터 정보, 상기 홀로그램 재생 방식 정보 및 광학변수 정보를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  7. 제1항에 있어서,
    상기 광학적 홀로그램을 조정하는 단계는
    상기 광학적 홀로그램의 복원 영상 및 상기 수치적 홀로그램의 복원 영상이 서로 일치하는 방향으로 상기 광학적 홀로그램을 조정하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  8. 제7항에 있어서,
    상기 광학적 홀로그램을 조정하는 단계는
    홀로그램 생성 파라미터를 조절함으로써, 상기 홀로그램 프린지 데이터를 재계산하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  9. 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 방법에 있어서,
    홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 단계;
    상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 단계; 및
    상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 방법.
  10. 제9항에 있어서,
    상기 홀로그램 프린지 데이터 포맷을 설정하는 단계는
    상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 단계
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  12. 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템에 있어서,
    홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 구성부;
    상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 계산부;
    상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 설정부;
    상기 홀로그램 프린지 데이터에 상기 데이터 인코딩 방식을 적용하여 광학적 홀로그램을 복원하는 복원부; 및
    상기 광학적 홀로그램의 복원 영상을 수치적 홀로그램의 복원 영상과 비교하여 상기 광학적 홀로그램을 조정하는 조정부
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템.
  13. 제12항에 있어서,
    상기 설정부는
    상기 홀로그램 프린지 데이터 포맷에 상기 홀로그램의 진폭 데이터에 대한 정보 및 상기 홀로그램의 위상 데이터에 대한 정보 모두를 포함시킴으로써, 진폭 인코딩 방식 및 위상 인코딩 방식 모두에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 시스템.
  14. 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 시스템에 있어서,
    홀로그램을 생성하기 위한 소스 데이터에 대응하는 3차원 객체의 모델 데이터를 구성하는 구성부;
    상기 3차원 객체의 모델 데이터를 기초로 상기 홀로그램 평면으로 전달되는 광파에 대한 회절 변환을 적용하여 홀로그램 프린지 데이터를 계산하는 계산부; 및
    상기 계산된 홀로그램 프린지 데이터에 상기 홀로그램 복원을 위한 데이터 인코딩 방식에 적응적인 상기 홀로그램 프린지 데이터 포맷을 설정하는 설정부
    를 포함하는 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 설정하는 시스템.
KR1020130039260A 2012-09-27 2013-04-10 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템 KR20140041316A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/036,642 US20140085692A1 (en) 2012-09-27 2013-09-25 Method and system for processing hologram data using hologram fringe data format adaptive to data encoding scheme

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120108066 2012-09-27
KR1020120108066 2012-09-27

Publications (1)

Publication Number Publication Date
KR20140041316A true KR20140041316A (ko) 2014-04-04

Family

ID=50651173

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130039260A KR20140041316A (ko) 2012-09-27 2013-04-10 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20140041316A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160142626A (ko) * 2015-06-03 2016-12-13 한국전자통신연구원 공통 홀로그래픽 데이터 포맷 및 부복호화 장치 및 방법
KR20200035784A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160142626A (ko) * 2015-06-03 2016-12-13 한국전자통신연구원 공통 홀로그래픽 데이터 포맷 및 부복호화 장치 및 방법
KR20200035784A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 홀로그램 영상 데이터를 처리하는 방법 및 장치

Similar Documents

Publication Publication Date Title
Chakravarthula et al. Wirtinger holography for near-eye displays
KR101800929B1 (ko) 홀로그래픽 디스플레이 왜곡 보정 방법 및 장치
KR101442851B1 (ko) 컴퓨터 형성 홀로그램을 부호화하는 방법
US10895842B2 (en) Hologram generation apparatus and method thereof
KR102125795B1 (ko) 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치
WO2017054342A1 (zh) 一种全息投影方法、装置及计算机存储介质
US20140085692A1 (en) Method and system for processing hologram data using hologram fringe data format adaptive to data encoding scheme
KR20170038520A (ko) 푸리에 변환을 수행하는 방법 및 장치
KR20140041316A (ko) 데이터 인코딩 방식에 적응적인 홀로그램 프린지 데이터 포맷을 사용하는 홀로그램 데이터 처리 방법 및 시스템
KR101653098B1 (ko) 패치기반 최소 랭크 블락 한켈 행렬을 이용한 영상 채우기
KR102144338B1 (ko) 홀로그램 생성 장치 및 방법
US20170123375A1 (en) Apparatus and method for generating hologram
KR102251744B1 (ko) 병렬 컴퓨팅 기반 이진 홀로그램 생성 장치 및 방법
CN110352387A (zh) 用于通过多深度稀疏相位恢复重建全息无透镜图像的系统和方法
US20230089872A1 (en) Information processing device, information processing method, and information processing program
KR101890401B1 (ko) 깊은 심도 표현이 가능한 이진 홀로그램 생성 장치, 방법 및 컴퓨터 프로그램
TW202236210A (zh) 透過使用特殊遮罩的迭代相位恢復進行同調繞射/數位資訊重建
US10996627B2 (en) Image data processing method and apparatus
KR102529935B1 (ko) 풀-컬러 광 시야각 컴퓨터 생성 홀로그램 합성 방법 및 장치
US11880961B2 (en) Spectral hint-based inpainting of images
KR102603032B1 (ko) 축 분할 기반의 홀로그램 생성 방법 및 장치
JP5106472B2 (ja) 原画像復元データ生成方法および装置
JP6607489B2 (ja) ホログラムデータ生成装置およびそのプログラム
Dong et al. Divide-Conquer-and-Merge: Memory-and Time-Efficient Holographic Displays
KR20200111598A (ko) 3차원 홀로그래픽 이미지를 처리하는 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid