KR102526651B1 - 영상 데이터 처리 방법 및 장치 - Google Patents

영상 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
KR102526651B1
KR102526651B1 KR1020170164332A KR20170164332A KR102526651B1 KR 102526651 B1 KR102526651 B1 KR 102526651B1 KR 1020170164332 A KR1020170164332 A KR 1020170164332A KR 20170164332 A KR20170164332 A KR 20170164332A KR 102526651 B1 KR102526651 B1 KR 102526651B1
Authority
KR
South Korea
Prior art keywords
image data
fourier transform
fast fourier
image
transformed
Prior art date
Application number
KR1020170164332A
Other languages
English (en)
Other versions
KR20190064961A (ko
Inventor
김용규
김기철
김호정
이홍석
Original Assignee
삼성전자주식회사
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울시립대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020170164332A priority Critical patent/KR102526651B1/ko
Priority to CN201810651872.2A priority patent/CN109873999B/zh
Priority to US16/018,323 priority patent/US10748249B2/en
Priority to EP18196437.0A priority patent/EP3499381B1/en
Publication of KR20190064961A publication Critical patent/KR20190064961A/ko
Application granted granted Critical
Publication of KR102526651B1 publication Critical patent/KR102526651B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/16—Processes or apparatus for producing holograms using Fourier transform
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/045—Fourier or lensless Fourier arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44—Digital representation
    • G03H2210/441—Numerical processing applied to the object data other than numerical propagation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Holo Graphy (AREA)
  • Image Processing (AREA)

Abstract

영상 데이터를 처리와 관련하여, 제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 3차원 영상의 디스플레이에 이용될 수 있도록 변환하고, 변환된 제 1 영상 데이터 및 변환된 제 2 영상 데이터에 대한 패스트 푸리에 변환을 수행하는 방법 및 장치가 개시된다.

Description

영상 데이터 처리 방법 및 장치{Apparatus and Method of processing image data}
본 개시는 영상 데이터 처리 방법 및 장치에 관한 것이다.
최근 들어 3차원 영상에 관련된 기술이 많이 연구되고 있다. 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(Complex Spatial Light Modulator, SLM)를 이용하여 실시간으로 고화질 홀로그램을 구현하는 장치에 대한 연구가 활발히 진행되고 있다.
최근에는 홀로그램 동영상을 재생하기 위해서 컴퓨터 생성 홀로그램(computer generated hologram, CGH)이 사용되고 있으며, 영상 데이터 처리 장치는 홀로그램 평면의 각 위치에 대한 홀로그램 값을 연산하는데, 연산량이 매우 방대하다. 일부 기술에 따른 영상 데이터 처리 장치는 공간상의 한 점을 표현하기 위해서 푸리에 변환(Fourier Transform) 등과 같은 복잡한 연산을 수행해야 한다.
TV, 모바일 디바이스 등의 영상 데이터 처리 장치는 홀로그램 영상을 재생하기 위해 영상 데이터를 처리할 수 있다. 이 경우, 영상 데이터 처리 장치는 영상 데이터에 대해 푸리에 변환을 수행하고, 변환된 데이터를 이용하여 영상을 재생할 수 있다.
영상 데이터 처리가 수행될 때, 많은 연산량에 따라 많은 시간이 소요된다. 특히, 모바일 디바이스와 같은 휴대용 디바이스들은 크기에 제한이 있고, 사용 가능한 전력(POWER)에도 제한이 있다. 따라서, 영상 데이터 처리가 수행될 때, 연산량 및 시간을 줄이기 위한 방법들이 요구된다.
보다 효율적으로 영상 데이터를 처리하는 방법 및 장치를 제공하는데 있다.
제 1 측면에 따른 영상 데이터 처리 장치는 제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신하는 수신기(receiver); 및 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터를 변환하고, 상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 프로세서를 포함할 수 있다.
또한, 상기 프로세서는 상기 실수부 연산 방식을 이용하여 상기 변환된 제 1 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행하고, 상기 허수부 연산 방식을 이용하여 상기 변환된 제 2 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행할 수 있다.
또한, 상기 프로세서는 상기 영상 데이터에 대한 첫번째 푸리에 변환을 수행하는 제 1 푸리에 변환 모듈을 포함하고, 상기 변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환은 상기 제 1 푸리에 변환 모듈에서 수행될 수 있다.
또한, 상기 프로세서는 상기 변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환을 슈퍼포지션(superposition) 방식으로 수행할 수 있다.
또한, 상기 프로세서는 상기 3차원 영상의 디스플레이에 이용될 수 있도록 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터의 형식을 변환하는 리프리젠테이션을 수행할 수 있다.
또한, 상기 프로세서는 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터에 대한 노멀라이제이션을 수행할 수 있다.
또한, 상기 프로세서는 상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대한 패스트 푸리에 변환을 푸리에 연산에 따른 대칭성을 이용하여 수행할 수 있다.
또한,ㄴ, 상기 패스트 푸리에 변환을 수행한 결과를 이용하여 상기 3차원 영상을 디스플레이하는 디스플레이를 더 포함할 수 있다.
또한, 상기 3차원 영상은 홀로그램 영상을 포함할 수 있다.
또한, 상기 패스트 푸리에 변환은 인버스 패스트 푸리에 변환을 포함할 수 있다.
또한, 제 2 측면에 따른 영상 데이터 처리 방법은 제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신하는 단계; 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터를 변환하는 단계; 및 상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 단계를 포함할 수 있다.
또한, 제 2 측면에 따른, 영상 데이터 처리 방법을 컴퓨터에서 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체가 제공될 수 있다.
보다 적은 시간에 효율적으로 3D 영상의 디스플레이를 위한 영상 처리를 수행할 수 있다.
도 1은 일 실시 예에 따른 영상 데이터 처리 장치의 구성을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 영상 데이터 처리 장치가 영상 데이터를 처리하는 과정을 나타내는 흐름도이다.
도 3은 일 실시 예에 따른 영상 데이터 처리 장치가 영상 데이터에 대한 연산을 수행하는 방법을 설명하는 도면이다.
도 4는 일 실시 예에 따른 영상 데이터 처리 장치가 복수회의 푸리에 변환 또는 복수회의 역푸리에 변환을 수행하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
도 5는 일 실시 예에 따른 영상 데이터 처리 장치가 푸리에 변환을 이용하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
도 6은 일 실시 예에 따른 영상 데이터 처리 장치가 프로세서에 포함된 하나 이상의 푸리에 변환 모듈을 이용하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
도 7은 일 실시 예에 따른 영상 데이터 처리 장치가 첫번째 패스트 푸리에 변환을 수행하는 제 1 푸리에 변환 모듈을 이용하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
도 8은 일 실시 예에 따른 영상 데이터 처리 장치가 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 방법을 설명하는 흐름도이다.
도 9는 일 실시 예에 따른 영상 데이터 처리 장치가 제 1 푸리에 변환 모듈에서 슈퍼포지선 방식으로 패스트 푸리에 변환을 수행하여 3차원 영상을 디스플레이하는 방법을 설명하는 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시 예를 상세히 설명하기로 한다. 하기 실시 예는 기술적 내용을 구체화하기 위한 것일 뿐 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시 예로부터 해당 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 서수를 포함하는 용어는 다른 설명이 없는 한 상호 다른 도면에서는 다른 구성요소로 해석될 수 있으나, 이에 제한되지 않는다.
본 실시 예들은 렌더링 방법 및 장치에 관한 것으로서 이하의 실시 예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
이하에서는 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 영상 데이터 처리 장치(100)의 구성을 나타내는 블록도이다. 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
도 1을 참조하면, 영상 데이터 처리 장치(100)는 수신기(110), 프로세서(120) 등을 포함할 수 있다. 또는 영상 데이터 처리 장치(100)는 메모리(130) 또는 디스플레이(140)를 더 포함할 수 있다.
일 실시 예에 따른 수신기(110)는 영상 데이터 처리 장치(100)의 외부로부터 영상 데이터를 획득할 수 있다. 예를 들면, 수신기(110)는 깊이 정보(depth information)를 포함하는 영상 데이터를 수신할 수 있다. 일 예로, 수신기(110)는 제 1 깊이에 대응되는 제 1 영상 데이터, 제 2 깊이에 대응되는 제 2 영상 데이터, 제 3 깊이에 대응되는 제 3 영상 데이터 등을 수신할 수 있다.
일 실시 예에 따른 디스플레이(140)는 프로세서(120)의 제어에 따라 영상을 디스플레이할 수 있다. 디스플레이(140)는 프로세서(120)로부터 데이터를 수신하여 영상을 디스플레이 할 수 있다. 또는 디스플레이(140)는 프로세서(120)의 제어에 따라 메모리(130)로부터 직접 수신한 데이터를 이용하여 영상을 디스플레이 할 수 있다.
일 실시 예에 따른 프로세서(120)는 레이어 기초 알고리즘(layer based algorithm)을 수행할 수 있다. 프로세서(120)는 홀로그램의 재생 영역을 깊이(depth) 기준으로 분할하여 계산할 수 있다. 프로세서(120)는 분할된 각 레이어에 푸리에 변환, 패스트 푸리에 변환(Fast Fourier Transform, FFT), 역푸리에 변환 또는 역패스트 푸리에 변환(Inverse Fast Fourier Transform, IFFT)을 수행할 수 있다. 예를 들면, 프로세서(120)는 홀로그램 영상의 한 픽셀에 대한 데이터를 2번 이상의 패스트 푸리에 변환을 수행하여 획득할 수 있다. 이하에서 개시된 패스트 푸리에 변환은 푸리에 변환을 포함할 수 있다.
일 실시 예에 따른 좌표 값은 기준에 따라 달라질 수 있다. 따라서 동일한 픽셀에 대응되는 좌표 값이라도 기준에 따라 상이한 값을 가질 수 있다. 예를 들면, 디스플레이(140)의 위치에 대응되는 홀로그램 영상의 좌표 값이 제1 좌표 값(x1, y1)이고, 동공의 위치에 대응되는 홀로그램 영상의 좌표 값이 제2 좌표 값(u, v)이고, 망막의 위치에 대응되는 홀로그램 영상의 좌표 값이 제3 좌표 값(x2, y2)인 경우, 동일한 픽셀에 대응되는 제1 좌표 값(x1, y1), 제2 좌표 값(u, v) 및 제3 좌표 값(x2, y2)은 서로 상이할 수 있다.
일 실시 예에 따른 프로세서(120)가 영상 데이터를 처리할 때 포커스 텀을 이용할 수 있다. 일 실시 예에 따른 포커스 텀은 홀로그램 영상과 관련하여 포커싱에 이용될 수 있다. 프로세서(120)는 디스플레이(140)로부터 동공까지의 구간에 대한 패스트 푸리에 변환인 제 1 푸리에 변환을 수행할 수 있다. 또한, 프로세서(120)는 동공으로부터 망막까지의 구간에 대한 패스트 푸리에 변환인 제 2 푸리에 변환을 수행할 수 있다. 프로세서(120)는 제 1 푸리에 변환을 수행한 결과에 포커스 텀을 곱한 값을 제 2 푸리에 변환의 입력으로 이용할 수 있다. 일 실시 예에 따른 포커스 텀은 룩업테이블로부터 획득될 수 있다. 예를 들면, 프로세서(120)는 제 2 좌표 값(u, v)에 대응하는 포커스 텀을 메모리(130)에 저장된 룩업테이블로부터 로드할 수 있으나, 이에 제한되지 않는다.
일 실시 예에 따른 수신기(110)는 영상 데이터를 수신할 수 있다. 수신기(110)가 수신하는 영상 데이터는 대상체의 깊이 정보와 색 정보를 포함할 수 있다. 예를 들면, 영상 데이터는 디스플레이하고자 하는 대상체의 각 픽셀에 대한 깊이 정보와 색 정보를 포함할 수 있다. 일 예로 수신기(110)는 제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신할 수 있다.
영상 데이터는 3차원 영상을 나타낼 수 있다. 3차원 영상을 나타내는 영상 데이터는 깊이 데이터를 포함할 수 있다. 예를 들면 영상 데이터는 각 깊이에 대응되는 픽셀 데이터를 포함할 수 있다. 이 경우, 일 실시 예에 따른 영상 데이터는 제 1 깊이의 영상을 나타내기 위한 제 1 영상 데이터, 제 2 깊이의 영상을 나타내기 위한 제 2 영상 데이터, 제 3 깊이의 영상을 나타내기 위한 제 3 영상 데이터, 제 n 깊이의 영상을 나타내기 위한 제 n 영상 데이터 등을 포함할 수 있다.
일 실시 예에 따른 3차원 영상은 홀로그램 영상을 포함할 수 있다. 예를 들면, 3차원 영상은 레이저에서 나온 빛이 피사체를 직접 비추어 반사된 물체파(object wave)와 반사경에 반사된 기준파(reference wave)의 간섭 현상을 이용하여 간섭무늬 형태로 기록 매체에 기록될 수 있다.
이하에서는 패스트 푸리에 변환이 수행되는 경우의 실시 예에 대해서 주로 개시한다. 역패스트 푸리에 변환이 수행되는 경우의 실시 예는 실질적으로 패스트 푸리에 변환이 수행되는 경우의 역에 불과하므로, 명세서 전체의 설명을 간단히 하기 위해 생략될 수 있다. 따라서, 역패스트 푸리에 변환이 수행되는 경우의 실시 예도 본원 발명의 권리 범위에 속하는 것으로 해석된다.
일 실시 예에 따른 프로세서(120)는 수신기(110)가 수신한 영상 데이터에 대해서 제 1 거리에 기초하여 한 번 이상의 1D 패스트 푸리에 변환을 수행할 수 있다.
제 1 거리는 기설정된 거리일 수 있다. 예를 들면, 제 1 거리는 동공과 막막 사이의 거리에 대응될 수 있다.
일 실시 예에 따른 프로세서(120)는 수신기(110)가 수신한 영상 데이터에 대해서, 제 1 거리에 기초하여 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 예를 들면, 프로세서(120)는 가로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 세로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다. 다른 예로, 프로세서(120)는 세로 방향에 대한 1D 패스트 푸리에 변환을 수행하고, 가로 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
또한, 프로세서(120)는 제 1 방향에 대한 1D 패스트 푸리에 변환을 수행하여 획득한 데이터에 스케일링을 수행하고, 스케일링을 수행하여 획득한 데이터에 제 2 방향에 대한 1D 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 프로세서(120)는 제 1 영상 데이터 및 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 제 1 영상 데이터 및 제 2 영상 데이터를 변환할 수 있다.
일 실시 예에 따른 프로세서(120)는 수신한 영상 데이터가 3차원 영상의 디스플레이에 이용될 수 있도록 수신한 영상 데이터의 형식을 변환하는 리프리젠테이션(representation)을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 수신한 영상 데이터에 대해서 노멀라이제이션(normalization)을 수행할 수 있다.
구체적으로, 일 실시 예에 따른 프로세서(120)는 제 1 영상 데이터 및 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 제 1 영상 데이터 및 제 2 영상 데이터를 변환(예: 노멀라이제이션)하는 리프리젠테이션을 수행할 수 있다.
일 실시 예에 따른 프로세서(120)는 변환된 제 1 영상 데이터(예: 리프리젠테이션이 수행된 제 1 영상 데이터) 및 변환된 제 2 영상 데이터(예: 리프리젠테이션이 수행된 제 2 영상 데이터)에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행할 수 있다.
영상 데이터가 디스플레이되기 위해서는 한번 이상의 푸리에 변환이 수행될 수 있다. 일 실시 예에 따른 프로세서(120)는 영상 데이터에 대해서 패스트 푸리에 변환을 수행함으로써, 영상 데이터가 나타내는 3차원 영상을 디스플레이할 수 있다.
일 실시 예에 따른 프로세서(120)는 변환된 제 1 영상 데이터에 대해서 제 1 연산 방식을 이용하여 패스트 푸리에 변환을 수행하고, 변환된 제 2 영상 데이터에 대해서 제 2 연산 방식을 이용하여 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 프로세서(120)는 변환된 제 1 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행할 때 실수부 연산 방식을 이용할 수 있다. 또한, 일 실시 예에 따른 프로세서(120)는 변환된 제 2 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행할 때 허수부 연산 방식을 이용할 수 있다.
변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환과 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
일 실시 예에 따른 프로세서(120)는 푸리에 변환을 수행하기 위한 복수개의 푸리에 변환 모듈을 포함할 수 있다. 예를 들면, 프로세서(120)는 제 1 푸리에 변환 모듈, 제 2 푸리에 변환 모듈, 제 n 푸리에 변환 모듈 등을 포함할 수 있다.
제 1 푸리에 변환 모듈은 영상 데이터에 대한 첫번째 푸리에 변환을 수행할 수 있다. 영상 데이터에 대한 리프리젠테이션이 수행된 이후 처음으로 푸리에 변환이 수행될 때, 제 1 푸리에 변환 모듈이 푸리에 변환을 수행할 수 있다.
제 1 푸리에 변환 모듈은 두 개의 입력을 수신할 수 있다. 예를 들면, 제 1 푸리에 변환 모듈은 제 1 입력과 제 2 입력을 수신할 수 있다. 다른 예로, 제 1 푸리에 변환 모듈은 실수부 입력과 허수부 입력을 수신할 수 있다. 실수부 입력과 허수부 입력이라는 용어는 푸리에 변환이라는 연산의 특성과 결부되어 결정된 용어로서, 실질적으로는 기설정된 연산을 수행하는 제 1 푸리에 변환 모듈로 인가되는 2개의 입력으로 해석될 수 있다.
제 1 푸리에 변환 모듈에서 영상 데이터에 대한 첫번째 패스트 푸리에 변환이 수행될 때, 변환된 제 1 영상 데이터(예: 리프리젠테이션이 수행된 제 1 영상 데이터)에 대한 첫번째 패스트 푸리에 변환과 변환된 제 2 영상 데이터(예: 리프리젠테이션이 수행된 제 2 영상 데이터)에 대한 첫번째 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
이하에서는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 인버스 패스트 푸리에 변환을 수행하는 이론적인 일 예에 대해서 개시한다. 전체적인 설명을 간단히 하기 위해 인버스 패스트 푸리에 변환을 수행하는 방법에 대해서만 개시하였으나, 패스트 푸리에 변환도 인버스 패스트 푸리에 변환의 반대 방식으로 영상 데이터 처리 장치(100)에서 수행될 수 있음은 통상의 기술자가 쉽게 이해할 수 있다.
각 레이어에 인버스 패스트 푸리에 변환을 계산시 1차 행 방향 1-D 인버스 패스트 푸리에 변환 연산 과정에서 슈퍼포지션 인버스 패스트 푸리에 변환 알고리즘이 이용될 수 있다. 일 실시 예에 따른 슈퍼포지션 인버스 패스트 푸리에 변환 알고리즘은 독립적인 2개의 깊이에 대한 8 비트 데이터를 각각 인버스 패스트 푸리에 변환 연산 과정에서 실수부 데이터, 허수부 데이터로 사용함으로써 하나의 인버스 패스트 푸리에 변환 연산에서 2개 깊이에 대해 중첩된 인버스 패스트 푸리에 변환 연산 결과를 도출할 수 있다.
N-point 슈퍼포지션 인버스 패스트 푸리에 변환 알고리즘의 일 예는 다음과 같다.
Figure 112017120367944-pat00001
인 변수
Figure 112017120367944-pat00002
에 대해서 [수학식 1]의 관계가 성립한다.
Figure 112017120367944-pat00003
이 때, 대칭성(even/odd symmetry)에 의해 [수학식 2]의 관계가 성립한다.
Figure 112017120367944-pat00004
또한,
Figure 112017120367944-pat00005
,
Figure 112017120367944-pat00006
인
Figure 112017120367944-pat00007
,
Figure 112017120367944-pat00008
에 대해 [수학식 3] 및 [수학식 4]가 성립한다.
Figure 112017120367944-pat00009
Figure 112017120367944-pat00010
[수학식 3]을 [수학식 4]에 대입하면 선형성(linearity)에 의해 [수학식 5]를 획득할 수 있다.
Figure 112017120367944-pat00011
[수학식 4]와 [수학식 5]에 의해서 [수학식 6]이 성립할 수 있다.
Figure 112017120367944-pat00012
따라서 [수학식 6]에서 슈퍼포지션 인버스 패스트 푸리에 변환 알고리즘을 이용하여 2개 깊이에 대한 각각의 N-point 실수 데이터로부터 2개 깊이에 대해 중첩된 인버스 패스트 푸리에 변환 연산 결과가 도출될 수 있다. 2개 깊이에 대해 중첩된 인버스 패스트 푸리에 변환 연산 결과로부터 각각의 깊이에 대한 독립된 인버스 패스트 푸리에 변환 연산 결과를 도출하기 위해서, Wk에 대해 xk, yk의 대칭성(even/odd symmetry)이 이용될 수 있다. 대칭성(even/odd symmetry)에 의해 [수학식 7]이 성립할 수 있다.
Figure 112017120367944-pat00013
따라서 [수학식 6]과 [수학식 7]의 Wk 및 WN -k를 통해 [수학식 8]이 도출될 수 있다.
Figure 112017120367944-pat00014
일 실시 예에 따른 영상 데이터 처리 장치(100)는 Xk와 Yk에 대한 4개의 식에 대한 연산을 통해 각각의 2개의 깊이에 대해 독립된 N-point의 인버스 패스트 푸리에 변환 연산 결과를 동시에 획득할 수 있다.
일 실시 예에 따른 디스플레이(140)는 프로세서(120)의 제어에 따라 대상체를 디스플레이할 수 있다. 일 실시 예에 따른 디스플레이(140)가 디스플레이하는 영상은 3차원 영상일 수 있다. 예를 들면, 디스플레이(140)는 대상체에 대한 3차원 영상인 홀로그램 영상을 디스플레이할 수 있다.
이하에서는 영상 데이터 처리 장치(100)가 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행함으로써, 영상 데이터를 처리하는 방법을 개시한다. 특히, 첫번째 푸리에 변환을 수행할 때, 슈퍼포지션 방식으로 복수개의 푸리에 변환을 수행함으로써, 효율적으로 영상 데이터를 처리하는 방법이 개시된다.
도 2는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 영상 데이터를 처리하는 과정을 나타내는 흐름도이다. 도 2를 참조하면, 영상 데이터 처리 장치(100)는 영상 데이터를 수신하고, 수신한 영상 데이터에 대응되는 영상을 출력할 수 있다.
도 2는 레이어 기초 알고리즘에 따라 영상 데이터가 처리되는 일 실시 예일 수 있으며, 이에 제한되지 않는다.
영상 데이터 처리 장치(100)는 홀로그램 영상을 생성할 수 있다. 일 실시 예에 따른 홀로그램 생성에 사용되는 홀로그래피 기술에 따라, 레이저에서 나온 빛이 피사체를 직접 비추어 반사된 물체파(Object Wave)와 반사경에 반사된 기준파(Reference Wave)의 간섭현상에 따른 간섭무늬 형태로 기록 매체에 영상 데이터가 기록될 수 있다. 홀로그래피 기술을 통해 만들어진 결과물을 홀로그램이라 할 수 있다. 홀로그램에 저장된 영상을 복원할 때 기록시와 동일한 파장과 위상을 가진 기준광이 다시 기록 매체에 조사될 수 있다. 홀로그램을 인위적으로 생성하는 것이 가능하다. 예를 들면, CGH(computer-Generated Holography)는 기존의 광학계 장치와 광학 변수들을 수학적으로 모델링하여 일반적인 컴퓨터로도 손쉽게 홀로그램을 만들어 낼 수 있는 기법이며, CGH는 실제 동일한 3D 영상 데이터를 담은 디지털 홀로그램을 실시간으로 생성하기 위해 이용될 수 있다. CGH 를 이용하여 홀로그램을 생성하려면 상당한 양의 데이터들을 실시간으로 연산해야 하므로 데이터의 고속 처리가 중요할 수 있다.
영상 데이터 처리 장치(100)는 디지털홀로그램을 실시간으로 계산하여 이를 빠른 속도로 생성하기 위한 다양한 종류의 알고리즘을 수행할 수 있다. 예를 들면, CGH를 계산하는 수학적 모델로는 포인트 클라우드(Point cloud) 알고리즘과, 폴리곤(Polygon) 알고리즘 그리고 레이어 기초 알고리즘 등이 있다. 포인트 클라우드 알고리즘은 3D 이미지를 점들의 공간적 집합으로 표현하는 방법으로 점들로 구성되기 때문에 다양한 표면을 갖는 물체를 표현할 수 있다. 폴리곤 알고리즘은 3D 이미지의 표면을 폴리곤들로 표현한 것이다. 폴리곤 알고리즘은 패스트 푸리에 변환을 사용하기 때문에 포인트 클라우드 알고리즘에 비해 상대적으로 계산량이 적다. 레이어 기초 알고리즘은 홀로그램의 재생영역을 깊이(depth) 기준으로 분할하여 계산하는 방법이며, 분할된 각 레이어에 패스트 푸리에 변환 또는 I패스트 푸리에 변환을 수행하여 홀로그램을 생성할 수 있다.
레이어 기초 방식의 홀로그래픽 디스플레이를 영상으로 보기 위해서는 도 2와 같이, 깊이 정보와 색 정보를 가진 입력된 영상 데이터를 레이어 기초 홀로그램(Layer based Hologram)에 맞게 영상 데이터가 변환 보정되고, 각 깊이 별로 2번의 패스트 푸리에 변환 연산을 하는 프로퍼게이션(Propagation) 동작이 수행될 수 있다. 그 후 영상을 디스플레이하기 위하여 인코딩(Encoding) 을 통하여, 콤플렉스 데이터(Complex data)를 인티저(Integer) 값으로 변환하여 영상이 출력될 수 있다.
도 2의 전체 알고리즘 중에서 단계 S230이 모든 연산의 80% 이상을 차지하고, 전력 소모 역시 가장 클 수 있다. 또한 단계 S230에서 화면과 동공 사이의 패스트 푸리에 변환 연산, 영상을 동공에 표현하기 위한 포커스 텀 연산 및, 동공과 망막 사이의 패스트 푸리에 변환 연산이 수행될 수 있다.
이하에서는 구체적으로 각 단계에 대해서 알아본다.
단계 S210에서, 영상 데이터 처리 장치(100)는 영상 데이터를 수신한다. 예를 들어, CGH(Computer-Generated Holography)연산에 있어서 레이어 기초 알고리즘을 영상 데이터에 적용하는 경우, 영상 데이터는 컬러 데이터(또는 컬러 영상), 깊이 데이터(또는 깊이 영상) 등일 수 있다. 컬러 데이터는 레이어마다 복수의 컬러들을 나타내는 데이터일 수 있다. 예를 들어, 컬러 데이터는 레드 데이터, 블루 데이터 및 그린 데이터 중 적어도 하나일 수 있다. 레이어 기초 알고리즘은 홀로그램의 재생 영역을 깊이를 기준으로 분할하여 분할된 각 평면의 데이터를 처리하는 방법이다. 영상 데이터 처리 장치(100)는 홀로그램 영상을 생성 또는 디스플레이하는 과정에서 분할된 각 평면의 데이터를 푸리에 변환 또는 역푸리에 변환할 수 있다.
단계 S220에서, 영상 데이터 처리 장치(100)는 단계 S230에서 프로퍼게이션(propagation)을 수행하기 위해 단계 S210에서 수신한 영상 데이터의 형태를 변형할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 단계 S210에서 수신한 데이터에 대해서 노멀라이제이션(normalization)을 수행할 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 0~255 중 하나의 값을 갖고 단계 S210에서 수신된 그린 데이터를 0~1 중 하나의 값에 대응시킬 수 있다.
또는 영상 데이터 처리 장치(100)는 단계 S220에서 화질 보정 및 필드 연산을 수행할 수 있다. 영상 데이터 처리 장치(100)는 영상 데이터의 화질을 향상시키기 위해 영상 데이터를 보정할 수 있다.
단계 S230에서, 영상 데이터 처리 장치(100)는 푸리에 변환(Fourier Transform), 패스트 푸리에 변환(Fast Fourier Transform, FFT), 역푸리에 변환(Inverse Fourier Transform, FFT) 또는 역패스트 푸리에 변환(Inverse Fast Fourier Transform, FFT)을 수행할 수 있다.
예를 들어, 영상 데이터 처리 장치(100)는 2D 매트릭스 형태의 영상 데이터를 푸리에 변환할 수 있다. 영상 데이터 처리 장치(100)는 2D 푸리에 변환을 위해 1D 푸리에 변환을 2회 수행할 수 있다. 영상 데이터 처리 장치(100)는 영상 데이터를 가로 방향(열 방향)으로 1D 푸리에 변환하고, 변환된 영상 데이터를 세로 방향(열 방향)으로 1D 푸리에 변환할 수 있다. 영상 데이터 처리 장치(100)는 푸리에 변환을 통해 홀로그래픽 영상을 생성할 수 있다.
다른 예로, 영상 데이터 처리 장치(100)는 복수번의 푸리에 또는 역푸리에 변환을 수행하는 과정에서 포커스 텀을 이용할 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 제 1 패스트 푸리에 변환을 수행하고, 제 1 패스트 푸리에 변환 결과에 포커스 텀이 곱해진 결과를 제 2 패스트 푸리에 변환의 입력으로 이용할 수 있다. 다른 예로, 영상 데이터 처리 장치(100)는 제 1 역패스트 푸리에 변환을 수행하고, 제 1 역패스트 푸리에 변환 결과에 포커스 텀이 곱해진 결과를 제 2 역패스트 푸리에 변환의 입력으로 이용할 수 있다.
단계 S240에서, 영상 데이터 처리 장치(100)는 인코딩을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 픽셀 인코딩을 통하여 화면에 입력될 데이터를 생성할 수 있다.
단계 S250에서, 영상 데이터 처리 장치(100)는 디스플레이로 영상을 출력한다. 디스플레이는 영상을 표시하는 장치를 폭넓게 지칭할 수 있다.
도 3은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 영상 데이터에 대한 연산을 수행하는 방법을 설명하는 도면이다. 구체적으로 디스플레이(310)에서 디스플레이되는 영상이 동공(320)을 통해 망막(330)에서 인식되는 과정에 대응되는 영상 데이터의 연산에 대해 설명한다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 홀로그램 영상을 처리하는 과정에서 복수 회의 푸리에 변환 또는 역푸리에 변환을 수행할 수 있다.
예를 들면, 영상 데이터 처리 장치(100)는 동공(320)에서부터 망막(330)까지의 구간인 제 1 거리(350)에 대한 푸리에 변환인 제 1 푸리에 변환을 수행할 수 있다. 또는 영상 데이터 처리 장치(100)는 제 1 거리(350)에 대한 역푸리에 변환인 제1 역푸리에 변환을 수행할 수 있다.
다른 예로, 영상 데이터 처리 장치(100)는 디스플레이(310)에서부터 동공(320)까지의 구간인 제 2 거리(340)에 대한 푸리에 변환인 제 2 푸리에 변환을 수행할 수 있다. 또는 영상 데이터 처리 장치(100)는 제 2 거리(340)에 대한 역푸리에 변환인 제 2 역푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 복수회의 푸리에 변환 또는 역푸리에 변환을 수행하는 과정에서 포커스 텀을 이용할 수 있다.
예를 들면, 제1 푸리에 변환으로 획득한 값과 포커스 텀의 연산 결과가 제 2 푸리에 변환의 입력으로 이용될 수 있다. 일 예로, 영상 데이터 처리 장치(100)는 제1 푸리에 변환으로 획득한 값과 포커스 텀을 곱하여 획득한 값을 제 2 푸리에 변환의 입력으로 인가하여 제 2 푸리에 변환을 수행할 수 있다. 또한, 제 2 푸리에 변환을 통해 획득한 데이터를 이용하여 홀로그램 영상에 이용되는 픽셀 값을 결정할 수 있다.
일 실시 예에 따른 좌표 값은 기준에 따라 달라질 수 있다. 따라서 동일한 픽셀에 대응되는 좌표 값이라도 기준에 따라 상이한 값을 가질 수 있다. 예를 들면, 디스플레이(140)의 위치에 대응되는 홀로그램 영상의 좌표 값이 제1 좌표 값(x1, y1)이고, 동공의 위치에 대응되는 홀로그램 영상의 좌표 값이 제2 좌표 값(u, v)이고, 망막의 위치에 대응되는 홀로그램 영상의 좌표 값이 제3 좌표 값(x2, y2)인 경우, 동일한 픽셀에 대응되는 제1 좌표 값(x1, y1), 제2 좌표 값(u, v) 및 제3 좌표 값(x2, y2)은 서로 상이할 수 있다.
도 4는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 복수회의 푸리에 변환 또는 복수회의 역푸리에 변환을 수행하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
푸리에 변환 또는 역푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 도 4를 참조하면, 영상 데이터 처리 장치(100)는 영상 데이터 처리 과정에서, 영상 데이터에 대해 2번 1D 패스트 푸리에 변환 또는 1D 역패스트 푸리에 변환을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 영상 데이터를 가로 방향 및 세로 방향으로 각각 1번 1D 패스트 푸리에 변환(410)하여 제 1 데이터를 생성할 수 있다. 그리고 영상 데이터 처리 장치(100)는 제 1 데이터에 포커스 텀(420)을 곱한 값을 가로 방향 및 세로 방향으로 각각 1번 1D 패스트 푸리에 변환(430)하여 제2 데이터를 생성할 수 있다.
다른 예로, 영상 데이터 처리 장치(100)는 영상 데이터를 세로 방향 및 가로 방향으로 각각 1번 1D 패스트 푸리에 변환(410)하여 제 3 데이터를 생성할 수 있다. 그리고 영상 데이터 처리 장치(100)는 제 3 데이터에 포커스 텀(420)을 곱한 값을 세로 방향 및 가로 방향으로 각각 1번 1D 패스트 푸리에 변환(430)하여 제4 데이터를 생성할 수 있다.
도 5는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 푸리에 변환을 이용하여 영상 데이터를 처리하는 방법을 설명하는 흐름도이다.
단계 S510에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 다만 후술하는 바와 같이 단계 S530에서는 단계 S510에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다.
또한, 단계 S510에서 1D 패스트 푸리에 변환이 수행된 결과 제 1 데이터(510)가 획득될 수 있다.
단계 S520에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 1 데이터(510)에 대해서 제 1 스케일링(C1)을 수행할 수 있다. 제 1 스케일링(C1)은 C1값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 1 데이터(510)에 C1을 곱한 값을 획득할 수 있다.
또한 단계 S520에서 제 1 스케일링(C1)이 수행된 결과 제 2 데이터(520)가 획득될 수 있다.
단계 S530에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 단계 S530에서는 단계 S510에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다. 예를 들면, 단계 S510에서 1D 패스트 푸리에 변환이 가로로 수행된 경우, 단계 S530에서는 1D 패스트 푸리에 변환이 세로로 수행될 수 있다.
또한, 단계 S530에서 1D 패스트 푸리에 변환이 수행된 결과 제 3 데이터(530)가 획득될 수 있다.
단계 S540에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 3 데이터(530)에 대해서 제 2 스케일링(C2)을 수행할 수 있다. 제 2 스케일링(C2)은 C2값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 3 데이터(530)에 C2을 곱한 값을 획득할 수 있다.
또한 단계 S540에서 제 2 스케일링(C2)이 수행된 결과 제 4 데이터(540)가 획득될 수 있다.
단계 S550에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 4 데이터(540)에 대해서 포커스 텀에 따른 연산을 수행할 수 있다. 포커스 텀은 기설정된 값일 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 4 데이터(540)에 포커스 텀을 곱한 값을 획득할 수 있다.
또한 단계 S550에서 포커스 텀에 따른 연산이 수행된 결과 제 5 데이터(550)가 획득될 수 있다.
단계 S560에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 5 데이터(550)에 대해서 제 3 스케일링(C3)을 수행할 수 있다. 제 3 스케일링(C3)은 C3값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 5 데이터(550)에 C3을 곱한 값을 획득할 수 있다.
또한 단계 S560에서 제 3 스케일링(C3)이 수행된 결과 제 6 데이터(560)가 획득될 수 있다.
단계 S570에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 깊이 에디션을 수행할 수 있다. 영상 데이터 처리 장치(100)는 제 6 데이터(560)에 깊이 에디션을 수행함으로써, 제 7 데이터(565)를 획득할 수 있다.
단계 S575에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 다만 후술하는 바와 같이 단계 S585에서는 단계 S575에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다.
또한, 단계 S575에서 1D 패스트 푸리에 변환이 수행된 결과 제 8 데이터(570)가 획득될 수 있다.
단계 S580에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 8 데이터(570)에 대해서 제 4 스케일링(C4)을 수행할 수 있다. 제 4 스케일링(C4)은 C4값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 8 데이터(580)에 C4을 곱한 값을 획득할 수 있다.
또한 단계 S520에서 제 4 스케일링(C4)이 수행된 결과 제 9 데이터(580)가 획득될 수 있다.
단계 S585에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 1D 패스트 푸리에 변환을 수행한다. 1D 패스트 푸리에 변환은 기설정된 방향으로 수행될 수 있다. 예를 들면, 1D 패스트 푸리에 변환은 가로 방향 또는 세로 방향으로 수행될 수 있다. 단계 S585에서는 단계 S575에서 1D 패스트 푸리에 변환이 수행된 방향과 상이한 방향으로 1D 패스트 푸리에 변환이 수행될 수 있다. 예를 들면, 단계 S575에서 1D 패스트 푸리에 변환이 가로로 수행된 경우, 단계 S585에서는 1D 패스트 푸리에 변환이 세로로 수행될 수 있다.
또한, 단계 S585에서 1D 패스트 푸리에 변환이 수행된 결과 제 10 데이터(590)가 획득될 수 있다.
단계 S590에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 10 데이터(590)에 대해서 제 5 스케일링(C5)을 수행할 수 있다. 제 5 스케일링(C5)은 C5값에 따라 수행될 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 10 데이터(590)에 C5를 곱한 값을 획득할 수 있다.
또한 단계 S590에서 제 5 스케일링(C5)이 수행된 결과 제 11 데이터(595)가 획득될 수 있다.
C1, C2, C3, C4 및 C5는 상호간의 값에 따라서 결정될 수 있다. 예를 들면, C1, C2 및 C3의 곱은 기설정된 값으로 유지될 수 있다. 다른 예로, C1, C2, C3, C4 및 C5의 곱은 기설정된 값으로 유지될 수 있다.
또한, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 각각의 연산 결과 얻게 되는 데이터의 크기가 메모리 크기를 초과하지 않도록 C1 내지 C5의 값을 결정할 수 있다. 또는 영상 데이터 처리 장치(100)는 기설정된 메모리 크기를 고려할 때, 손실되는 데이터의 양이 적어지도록 C1 내지 C5의 값을 결정할 수 있다. 또는 영상 데이터 처리 장치(100)는 기설정된 메모리 크기를 고려할 때, 최종 출력되는 데이터에서 발생하는 데이터 손실량이 적어지도록 C1 내지 C5의 값을 결정할 수 있다. 예를 들면, 메모리 크기에 기초하여 제 1 데이터(510) 내지 제 11 데이터(595)의 크기가 메모리 크기를 초과하지 않도록 C1 내지 C5를 결정함으로서, 오버플로우가 방지될 수 있다.
도 5를 참조하면, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S510에서 첫번째 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 리프리젠테이션이 수행된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환과 리프리젠테이션이 수행된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환을 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행할 수 있다.
예를 들면, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 리프리젠테이션이 수행된 제 1 영상 데이터 및 리프리젠테이션이 수행된 제 2 영상 데이터에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행할 수 있다.
영상 데이터가 디스플레이되기 위해서는 한번 이상의 푸리에 변환이 수행될 수 있다. 일 실시 예에 따른 영상 데이터 처리 장치(100)는 영상 데이터에 대해서 패스트 푸리에 변환을 수행함으로써, 영상 데이터가 나타내는 3차원 영상을 디스플레이할 수 있다.
도 6은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 프로세서에 포함된 하나 이상의 푸리에 변환 모듈을 이용하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
일 실시 예에 따른 프로세서(120)는 푸리에 변환을 수행하기 위한 복수개의 푸리에 변환 모듈을 포함할 수 있다. 예를 들면, 프로세서(120)는 제 1 푸리에 변환 모듈(610), 제 2 푸리에 변환 모듈(620), 제 n 푸리에 변환 모듈 등을 포함할 수 있다.
제 1 푸리에 변환 모듈(610)은 영상 데이터에 대한 첫번째 푸리에 변환을 수행할 수 있다. 영상 데이터에 대한 리프리젠테이션이 수행된 이후 처음으로 푸리에 변환이 수행될 때, 제 1 푸리에 변환 모듈(610)이 푸리에 변환을 수행할 수 있다.
제 1 푸리에 변환 모듈(610)은 두 개 이상의 입력을 수신할 수 있다. 예를 들면, 제 1 푸리에 변환 모듈(610)은 제 1 입력과 제 2 입력을 수신할 수 있다. 다른 예로, 제 1 푸리에 변환 모듈(610)은 실수부 입력과 허수부 입력을 수신할 수 있다. 실수부 입력과 허수부 입력이라는 용어는 푸리에 변환이라는 연산의 특성과 결부되어 결정된 용어로서, 실질적으로는 기설정된 연산을 수행하는 제 1 푸리에 변환 모듈(610)로 인가되는 2개의 입력으로 해석될 수 있다.
제 1 푸리에 변환 모듈(610)에서 영상 데이터에 대한 첫번째 패스트 푸리에 변환이 수행될 때, 변환된 제 1 영상 데이터(예: 리프리젠테이션이 수행된 제 1 영상 데이터)에 대한 첫번째 패스트 푸리에 변환과 변환된 제 2 영상 데이터(예: 리프리젠테이션이 수행된 제 2 영상 데이터)에 대한 첫번째 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
도 7은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 첫번째 패스트 푸리에 변환을 수행하는 제 1 푸리에 변환 모듈(720)을 이용하여 영상 데이터를 처리하는 방법을 설명하는 도면이다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 입력을 인가하는 입력부(710), 제 1 푸리에 변환 모듈(720), 제 2 푸리에 변환 모듈(730), 포커스텀 연산 모듈(740), 메모리(750) 등을 포함할 수 있다.
도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또는 다른 실시 예에 따를 경우, 도 7에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 입력부(710)는 푸리에 변환의 대상이 되는 데이터를 인가할 수 있다. 예를 들면, 입력부(710)는 깊이 정보를 포함하는 영상 데이터를 인가할 수 있다. 다른 예로, 입력부(710)는 리프리젠테이션이 수행된 영상 데이터를 인가할 수 있다.
일 실시 예에 따른 제 1 푸리에 변환 모듈(720)은 첫번째 가로 방향의 패스트 푸리에 변환을 수행할 수 있다.
제 1 푸리에 변환 모듈(720)에서 영상 데이터에 대한 패스트 푸리에 변환이 수행될 때, 제 1 깊이에 대응되는 제 1 영상 데이터에 대한 패스트 푸리에 변환과 제 2 깊이에 대응되는 제 2 영상 데이터에 대한 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 푸리에 변환을 수행하기 위한 복수개의 푸리에 변환 모듈을 포함할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 1 푸리에 변환 모듈(720), 제 2 푸리에 변환 모듈(730), 제 n 푸리에 변환 모듈 등을 포함할 수 있다.
제 1 푸리에 변환 모듈(720)은 영상 데이터에 대한 첫번째 푸리에 변환을 수행할 수 있다. 영상 데이터에 대한 리프리젠테이션이 수행된 이후 처음으로 푸리에 변환이 수행될 때, 제 1 푸리에 변환 모듈(720)이 푸리에 변환을 수행할 수 있다.
제 1 푸리에 변환 모듈(720)은 두 개의 입력을 수신할 수 있다. 예를 들면, 제 1 푸리에 변환 모듈(720)은 제 1 입력과 제 2 입력을 수신할 수 있다. 다른 예로, 제 1 푸리에 변환 모듈(720)은 실수부 입력과 허수부 입력을 수신할 수 있다. 실수부 입력과 허수부 입력이라는 용어는 푸리에 변환이라는 연산의 특성과 결부되어 결정된 용어로서, 실질적으로는 기설정된 연산을 수행하는 제 1 푸리에 변환 모듈로 인가되는 2개의 입력으로 해석될 수 있다.
일 실시 예에 따른 제 2 푸리에 변환 모듈(730)은 첫번째 세로 방향의 패스트 푸리에 변환을 수행할 수 있다. 제 2 푸리에 변환 모듈(730)은 제 1 푸리에 변환 모듈(720)에서 패스트 푸리에 변환이 수행된 결과 데이터를 이용하여 첫번째 세로 방향의 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 포커스텀 연산 모듈(740)은 포커스텀 연산을 수행할 수 있다. 포커스텀 연산에 대해서는 도 1 및 도 3 등에서 상술된 내용이 참조될 수 있다.
일 실시 예에 따른 메모리(750)는 연산 과정에서 이용되는 각종 데이터가 저장될 수 있다. 메모리(750)는 도면에 도시된 바와 같이 하나 이상의 SRAM(static random access memory)으로 구성될 수 있으나, 이에 제한되지 않는다.
도 8은 일 실시 예에 따른 영상 데이터 처리 장치(100)가 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 방법을 설명하는 흐름도이다.
단계 S810에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신한다.
영상 데이터 처리 장치(100)는 영상 데이터를 수신할 수 있다. 영상 데이터는 3차원 영상을 나타낼 수 있다. 3차원 영상을 나타내는 영상 데이터는 깊이 데이터를 포함할 수 있다. 예를 들면 영상 데이터는 각 깊이에 대응되는 픽셀 데이터를 포함할 수 있다. 이 경우, 일 실시 예에 따른 영상 데이터는 제 1 깊이의 영상을 나타내기 위한 제 1 영상 데이터, 제 2 깊이의 영상을 나타내기 위한 제 2 영상 데이터, 제 3 깊이의 영상을 나타내기 위한 제 3 영상 데이터, 제 n 깊이의 영상을 나타내기 위한 제 n 영상 데이터 등을 포함할 수 있다.
일 실시 예에 따른 3차원 영상은 홀로그램 영상을 포함할 수 있다. 예를 들면, 3차원 영상은 레이저에서 나온 빛이 피사체를 직접 비추어 반사된 물체파(object wave)와 반사경에 반사된 기준파(reference wave)의 간섭 현상을 이용하여 간섭무늬 형태로 기록 매체에 기록될 수 있다.
단계 S820에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 1 영상 데이터 및 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 제 1 영상 데이터 및 제 2 영상 데이터를 변환할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 수신한 영상 데이터가 3차원 영상의 디스플레이에 이용될 수 있도록 수신한 영상 데이터의 형식을 변환하는 리프리젠테이션(representation)을 수행할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 수신한 영상 데이터에 대해서 노멀라이제이션(normalization)을 수행할 수 있다.
구체적으로, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 제 1 영상 데이터 및 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 제 1 영상 데이터 및 제 2 영상 데이터를 변환(예: 노멀라이제이션)하는 리프리젠테이션을 수행할 수 있다.
단계 S830에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S820에서 변환된 제 1 영상 데이터(예: 리프리젠테이션이 수행된 제 1 영상 데이터) 및 단계 S820에서 변환된 제 2 영상 데이터(예: 리프리젠테이션이 수행된 제 2 영상 데이터)에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행할 수 있다.
영상 데이터가 디스플레이되기 위해서는 한번 이상의 푸리에 변환이 수행될 수 있다. 일 실시 예에 따른 영상 데이터 처리 장치(100)는 영상 데이터에 대해서 패스트 푸리에 변환을 수행함으로써, 영상 데이터가 나타내는 3차원 영상을 디스플레이할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S820에서 변환된 제 1 영상 데이터에 대해서 제 1 연산 방식을 이용하여 패스트 푸리에 변환을 수행하고, 단계 S820에서 변환된 제 2 영상 데이터에 대해서 제 2 연산 방식을 이용하여 패스트 푸리에 변환을 수행할 수 있다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S820에서 변환된 제 1 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행할 때 실수부 연산 방식을 이용할 수 있다. 또한, 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S820에서 변환된 제 2 영상 데이터에 대해서 첫번째 패스트 푸리에 변환을 수행할 때 허수부 연산 방식을 이용할 수 있다.
S820에서 변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환과 S820에서 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
도 9는 일 실시 예에 따른 영상 데이터 처리 장치(100)가 제 1 푸리에 변환 모듈에서 슈퍼포지선 방식으로 패스트 푸리에 변환을 수행하여 3차원 영상을 디스플레이하는 방법을 설명하는 흐름도이다.
도 9와 관련하여 도 8에 개시된 내용이 참조될 수 있다. 도 9의 단계 S910 및 S920은 각각 도 8의 단계 S810 및 S820 에 대응되므로, 전체적인 설명을 간단히 하기 위해 상세한 설명은 생략한다.
단계 S930에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S920에서 변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환과 단계 S930에서 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환을 제 1 푸리에 변환 모듈에서 슈퍼포지션 방식으로 수행한다.
일 실시 예에 따른 영상 데이터 처리 장치(100)는 푸리에 변환을 수행하기 위한 복수개의 푸리에 변환 모듈을 포함할 수 있다. 예를 들면, 영상 데이터 처리 장치(100)는 제 1 푸리에 변환 모듈, 제 2 푸리에 변환 모듈, 제 n 푸리에 변환 모듈 등을 포함할 수 있다.
제 1 푸리에 변환 모듈은 영상 데이터에 대한 첫번째 푸리에 변환을 수행할 수 있다. 영상 데이터에 대한 리프리젠테이션이 수행된 이후 처음으로 푸리에 변환이 수행될 때, 제 1 푸리에 변환 모듈이 푸리에 변환을 수행할 수 있다.
제 1 푸리에 변환 모듈은 두 개의 입력을 수신할 수 있다. 예를 들면, 제 1 푸리에 변환 모듈은 제 1 입력과 제 2 입력을 수신할 수 있다. 다른 예로, 제 1 푸리에 변환 모듈은 실수부 입력과 허수부 입력을 수신할 수 있다. 실수부 입력과 허수부 입력이라는 용어는 푸리에 변환이라는 연산의 특성과 결부되어 결정된 용어로서, 실질적으로는 기설정된 연산을 수행하는 제 1 푸리에 변환 모듈로 인가되는 2개의 입력으로 해석될 수 있다.
제 1 푸리에 변환 모듈에서 영상 데이터에 대한 첫번째 패스트 푸리에 변환이 수행될 때, S820에서 변환된 제 1 영상 데이터에 대한 첫번째 패스트 푸리에 변환과 S820에서 변환된 제 2 영상 데이터에 대한 첫번째 패스트 푸리에 변환은 슈퍼포지션 방식으로, 독립적으로 또는 동시에 수행될 수 있다.
단계 S940에서 일 실시 예에 따른 영상 데이터 처리 장치(100)는 단계 S930에서 수행된 영상 데이터 처리 결과를 이용하여 3차원 영상을 디스플레이한다. 3차원 영상은 홀로그램 영상을 포함할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.

Claims (20)

  1. 영상 데이터 처리 장치에 있어서,
    제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신하는 수신기(receiver);
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터의 형식을 변환하는 리프리젠테이션을 수행하고, 상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 프로세서; 및
    상기 패스트 푸리에 변환을 수행한 결과를 이용하여 상기 3차원 영상을 디스플레이하는 디스플레이를 포함하고,
    상기 프로세서는,
    동공과 망막 사이의 거리에 대응되는 제1 거리에 대한 제1 패스트 푸리에 변환을 수행하고, 상기 디스플레이와 상기 동공 사이의 거리에 대응되는 제2 거리에 대한 제2 패스트 푸리에 변환을 수행하는 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는
    상기 실수부 연산 방식을 이용하여 상기 변환된 제 1 영상 데이터에 대해서 상기 패스트 푸리에 변환을 수행하고, 상기 허수부 연산 방식을 이용하여 상기 변환된 제 2 영상 데이터에 대해서 상기 패스트 푸리에 변환을 수행하는 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는 상기 영상 데이터에 대한 상기 패스트 푸리에 변환을 수행하는 제 1 푸리에 변환 모듈을 포함하고,
    상기 변환된 제 1 영상 데이터에 대한 상기 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환은 상기 제 1 푸리에 변환 모듈에서 수행되는 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는
    상기 변환된 제 1 영상 데이터에 대한 상기 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환을 슈퍼포지션(superposition) 방식으로 수행하는 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 프로세서는
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터에 대한 노멀라이제이션을 수행하는 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는
    상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환을 푸리에 연산에 따른 대칭성을 이용하여 수행하는 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 3차원 영상은 홀로그램 영상을 포함하는 장치.
  10. 제 1 항에 있어서,
    상기 패스트 푸리에 변환은 인버스 패스트 푸리에 변환을 포함하는 장치.
  11. 영상 데이터 처리 방법에 있어서,
    제 1 깊이에 대응되는 제 1 영상 데이터 및 제 2 깊이에 대응되는 제 2 영상 데이터를 수신하는 단계;
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터가 나타내는 3차원 영상의 디스플레이에 이용될 수 있도록 상기 제 1 영상 데이터 및 상기 제 2 영상 데이터의 형식을 변환하는 리프리젠테이션을 수행하는 단계;
    상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대해서 각각 실수부 연산 방식 및 허수부 연산 방식을 이용하여 패스트 푸리에 변환을 수행하는 단계; 및
    디스플레이에 의해, 상기 패스트 푸리에 변환을 수행한 결과를 이용하여 상기 3차원 영상을 디스플레이하는 단계를 포함하고,
    상기 방법은,
    동공과 망막 사이의 거리에 대응되는 제1 거리에 대한 제1 패스트 푸리에 변환을 수행하고, 상기 디스플레이와 상기 동공 사이의 거리에 대응되는 제2 거리에 대한 제2 패스트 푸리에 변환을 수행하는 단계를 더 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 패스트 푸리에 변환을 수행하는 단계는
    상기 실수부 연산 방식을 이용하여 상기 변환된 제 1 영상 데이터에 대해서 상기 패스트 푸리에 변환을 수행하고, 상기 허수부 연산 방식을 이용하여 상기 변환된 제 2 영상 데이터에 대해서 상기 패스트 푸리에 변환을 수행하는 방법.
  13. 제 12 항에 있어서,
    상기 변환된 제 1 영상 데이터에 대한 상기 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환은 제 1 푸리에 변환 모듈에서 수행되는 방법.
  14. 제 13 항에 있어서,
    상기 패스트 푸리에 변환을 수행하는 단계는
    상기 변환된 제 1 영상 데이터에 대한 상기 패스트 푸리에 변환 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환을 슈퍼포지션(superposition) 방식으로 수행하는 방법.
  15. 삭제
  16. 제 11 항에 있어서,
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터의 형식을 변환하는 리프리젠테이션을 수행하는 단계는
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터에 대한 노멀라이제이션을 수행하는 방법.
  17. 제 11 항에 있어서,
    상기 패스트 푸리에 변환을 수행하는 단계는
    상기 변환된 제 1 영상 데이터 및 상기 변환된 제 2 영상 데이터에 대한 상기 패스트 푸리에 변환을 푸리에 연산에 따른 대칭성을 이용하여 수행하는 방법.
  18. 삭제
  19. 제 11 항에 있어서,
    상기 3차원 영상은 홀로그램 영상을 포함하는 방법.
  20. 제 11 항 내지 제 14 항, 제 16 항, 제 17 항 및 제 19 항 중 어느 한 항의 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램.
KR1020170164332A 2017-12-01 2017-12-01 영상 데이터 처리 방법 및 장치 KR102526651B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170164332A KR102526651B1 (ko) 2017-12-01 2017-12-01 영상 데이터 처리 방법 및 장치
CN201810651872.2A CN109873999B (zh) 2017-12-01 2018-06-22 图像数据处理方法和装置
US16/018,323 US10748249B2 (en) 2017-12-01 2018-06-26 Image data processing method and apparatus
EP18196437.0A EP3499381B1 (en) 2017-12-01 2018-09-25 Image data processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170164332A KR102526651B1 (ko) 2017-12-01 2017-12-01 영상 데이터 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190064961A KR20190064961A (ko) 2019-06-11
KR102526651B1 true KR102526651B1 (ko) 2023-04-27

Family

ID=63798790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170164332A KR102526651B1 (ko) 2017-12-01 2017-12-01 영상 데이터 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US10748249B2 (ko)
EP (1) EP3499381B1 (ko)
KR (1) KR102526651B1 (ko)
CN (1) CN109873999B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102501302B1 (ko) * 2020-12-16 2023-02-17 서울대학교산학협력단 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008544306A (ja) * 2005-06-14 2008-12-04 ライト、ブルー、オプティクス、リミテッド ホログラムを合成するための信号処理システム
JP2011508911A (ja) * 2008-01-07 2011-03-17 ライト、ブルー、オプティクス、リミテッド ホログラフィック画像表示システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353689B1 (en) * 1997-11-11 2002-03-05 Sony Corporation Apparatus for and method of processing image and information recording medium
US7158141B2 (en) * 2002-01-17 2007-01-02 University Of Washington Programmable 3D graphics pipeline for multimedia applications
GB0512179D0 (en) * 2005-06-15 2005-07-20 Light Blue Optics Ltd Holographic dispaly devices
JP2010511899A (ja) 2006-12-01 2010-04-15 エフ ポスザット エイチユー、 エルエルシー コンピュータ合成ホログラム
JP5448353B2 (ja) 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
KR100936242B1 (ko) 2007-10-29 2010-01-12 전자부품연구원 Ｏｆｄｍ를 위한 ｆｆｔ/ｉｆｆｔ 듀얼모드 장치 및 그제어방법
JP5638890B2 (ja) * 2010-09-15 2014-12-10 オリンパス株式会社 撮像装置、撮像方法及びプログラム
US9503660B2 (en) * 2013-11-26 2016-11-22 Raytheon Company Coordinated simultaneous real and Fourier plane imaging system and methods
KR102224718B1 (ko) * 2014-08-06 2021-03-08 삼성전자주식회사 홀로그램 생성 방법 및 장치
CN104504725A (zh) * 2015-01-16 2015-04-08 河南师范大学 一种快速自动语义图像分割模型方法
US10337851B2 (en) * 2015-04-02 2019-07-02 Ramot At Tel-Aviv University Ltd. Fast phase processing of off-axis interferograms
KR101712890B1 (ko) 2015-10-13 2017-03-08 한국표준과학연구원 연속파 THz 빔 스캔을 이용한 고속 3차원 영상 탐지 장치
KR102526750B1 (ko) * 2015-12-17 2023-04-27 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
WO2017198713A2 (de) * 2016-05-18 2017-11-23 Seereal Technologies S.A. Verfahren zur erzeugung von hologrammen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008544306A (ja) * 2005-06-14 2008-12-04 ライト、ブルー、オプティクス、リミテッド ホログラムを合成するための信号処理システム
JP2011508911A (ja) * 2008-01-07 2011-03-17 ライト、ブルー、オプティクス、リミテッド ホログラフィック画像表示システム

Also Published As

Publication number Publication date
KR20190064961A (ko) 2019-06-11
CN109873999B (zh) 2022-05-10
EP3499381B1 (en) 2023-07-05
US10748249B2 (en) 2020-08-18
US20190172179A1 (en) 2019-06-06
CN109873999A (zh) 2019-06-11
EP3499381A1 (en) 2019-06-19

Similar Documents

Publication Publication Date Title
US10088802B2 (en) Method and apparatus for processing holographic image
US9965836B2 (en) Method and apparatus for performing fourier transformation
EP3270233B1 (en) Method and apparatus for processing three-dimensional image
CN107301458B (zh) 基于强度传输方程的相位优化方法
KR20140096532A (ko) 디지털 홀로그램 생성 장치 및 그 방법
US11727659B2 (en) Method and apparatus for processing three-dimensional (3D) image
US10775742B2 (en) Method and apparatus for processing holographic image
US20180060997A1 (en) Image processing method and apparatus
KR102526651B1 (ko) 영상 데이터 처리 방법 및 장치
US20230089872A1 (en) Information processing device, information processing method, and information processing program
KR102581470B1 (ko) 영상 데이터를 처리하는 방법 및 장치
KR102496376B1 (ko) 영상 데이터 처리 방법 및 장치
US10901367B2 (en) Image data processing method and apparatus
KR102477098B1 (ko) 영상 데이터 처리 방법 및 장치
CN115373782A (zh) 基于多边形的三维全息显示方法及装置
US20200192286A1 (en) Hologram image representation method and hologram image representation device
KR102612045B1 (ko) 디지털 홀로그램 구현 장치의 동작 방법
CN115061348B (zh) 基于物点的三维动态全息显示方法及装置
CN117270673A (zh) 球面波初相位系数的确定方法、全息图生成方法及设备
JP2024010527A (ja) 特徴マップ生成装置、特徴マップ生成方法、及びプログラム
KR20230101592A (ko) 홀로그래픽 디스플레이의 최적화 방법 및 그 장치
CN111800621A (zh) 用于处理全息图图像数据的方法和设备
KR20150100280A (ko) 3차원 공간 데이터 투영 기반의 운동 시차 지원 홀로그램 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant