KR101489823B1

KR101489823B1 - 컴퓨터 생성 홀로그램의 고속 생성 장치

Info

Publication number: KR101489823B1
Application number: KR20130042619A
Authority: KR
Inventors: 서영호; 김동욱; 이윤혁
Original assignee: 광운대학교 산학협력단
Priority date: 2013-04-18
Filing date: 2013-04-18
Publication date: 2015-02-06
Also published as: KR20140125038A

Abstract

홀로그램 영상의 강도를 모든 광원 각각에 대한 연산(이하 단위 연산)을 누적하여 계산하는 홀로그램 생성 수식을 처리하는 컴퓨터 생성 홀로그램의 고속 생성 장치에 관한 것으로서, 광원 데이터, 홀로그램 위치 데이터, 및, 광원 세기에 의존하는 초기 데이터를 포함하는 입력 데이터를 받는 입력 인터페이스; 상기 입력 데이터를 이용하여, 상기 홀로그램 생성 수식에서 홀로그램 영상의 상대적 좌표를 나타내는 항(이하 좌표항)을 연산하는 좌표항 연산기; 상기 좌표항 연산기에서 연산된 좌표항을 이용하여, 상기 홀로그램 생성 수식의 단위 연산의 항(이하 화소항)을 계산하는 화소항 연산기; 및, 상기 화소항을 출력하는 출력 인터페이스를 포함하는 구성을 마련한다.
상기와 같은 고속 생성 장치에 의하여, 홀로그램 생성을 2차원 병렬로 처리하고 CGH 하드웨어에서 메모리에 접근하는 횟수를 줄임으로써, 종래 장치에 비하여 홀로그램 생성의 연산 속도를 향상시킬 수 있다.

Description

컴퓨터 생성 홀로그램의 고속 생성 장치 { A Hardware Device for High-Speed Generation of Computer Generated Hologram }

본 발명은 종래의 하드웨어에서 여러 장의 홀로그램 구현을 위하여 메모리 스케쥴링과 자원을 줄이기 위한 알고리즘을 재구성한 후 파이프라인 기법을 적용하여 고성능의 CGH 프로세서로 기능하는 컴퓨터 생성 홀로그램의 고속 생성 장치에 관한 것이다.

홀로그래피는 1948년 Gabor에 의해 최초로 제안된 이래 3차원 정보를 기록할 수 있다는 특징 때문에 많은 연구자들의 관심을 끌어왔다. 기존의 홀로그래피는 홀로그램 필름에 3차원 정보를 기록하고, 현상된 필름을 사용하여 3차원 물체를 복원하는 방식을 사용함으로써 그 응용이 크게 제한되었다. 이러한 단점을 극복하기 위한 새로운 접근방법으로 1966년 이후 많은 연구자들이 컴퓨터에 의한 홀로그램(computer-generated hologram, CGH)의 제작을 연구해 오고 있다[비특허문헌 1-3].

CGH를 이용하여 한 프레임에 해당하는 홀로그램을 생성하기 위해서는 많은 연산량과 시간이 소요되기 때문에 고속의 연산방법이 필요하다. 이런 고속 CGH를 위한 여러 알고리즘들이 개발되어 왔다[비특허문헌 4-6]. CGH 연산량이 너무나 방대하기 때문에 실제로 소프트웨어로 CGH를 실시간으로 처리하는 것은 불가능하고 하드웨어로 구현되어야 하며, 지금까지 CGH를 위해 하드웨어를 활용한 많은 연구가 진행되어 왔다.

이러한 연구들은 GPU 기반의 소프트웨어 방식과 FPGA 기반의 하드웨어 칩 구현 방식[비특허문헌 6-9]으로 나누어진다. GPU를 이용한 방식은 FPGA 기반의 방식에 비해서 구현이 비교적 쉽고 개발기간이 짧다는 장점이 있다. 또한 최근에는 다양한 분야에서 사용되고 있다[비특허문헌 10][비특허문헌 11].

FPGA를 이용하면 구현과정이 매우 복잡하고 개발기간이 오래 걸린다는 단점이 있다. 또한 한번 구현하면 구조를 변경하거나 성능을 개선하기 어렵다 그러나 GPU 방식에 비해서 성능은 수십에서 수백배 가랑 높은 성능을 갖는다.

[비특허문헌 7]에서는 4개의 Xilinx FPGA (XC2VP70)를 사용하는 전용 PCB 보드를 제작하여 Fresnel Transform CGH를 구현하였다. 홀로그램의 x축 해상도만큼의 단위 연산기를 병렬로 배열(1,408개)하는 구조를 가지고 166MHz의 클록 주파수에서 한 프레임의 홀로그램을 0.0679초에 생성할 수 있다.

최근에는 CGH를 연산하기 위한 전용 연산 시스템인 HORN-6 특수 컴퓨터가 제안되기도 하였다[비특허문헌 8]. 또한 100% 파이프라인(pipeline) 구조를 기반으로 하는 CGH 프로세서가 제안되었다[비특허문헌 9]. Fresnel 변환을 수행하기 위한 CGH Cell의 하드웨어 구조를 제안한 후에 이를 확장하여 CGH Kernel을 구성하였고, 이를 다시 확장하여 CGH 프로세서를 구현하였다.

[비특허문헌 12]의 하드웨어는 [비특허문헌 7]보다 최대 87.32%의 높은 성능을 갖고, 1920×1080 크기의 HD급의 홀로그램을 생성할 수 있다. [비특허문헌 12]의 논문에서 구현한 하드웨어는 순수한 홀로그램을 계산하는 셀 기반이기 때문에 계산 후 출력을 고려했을 때 메모리 병목 현상으로 인한 여러 장의 홀로그램 구현 시 지연시간이 생긴다. 또한 한 홀로그램을 계산 할 경우 모든 객체의 광원에 대하여 반복 덧셈을 해야 하기 때문에 HD급에 맞는 메모리 공간이 필요하다. [비특허문헌 13]의 논문에서는 [비특허문헌 9][비특허문헌 12]의 논문에 비해서 메모리 접근의 수를 1/20,000 가량 감소하여 구현을 용이하게 하였다.

따라서 이전 연구에서 제안된 것 보다 동영상 홀로그램 생성에 더욱 우수한 성능을 가질 수 있게 하기 위하여, 메모리 사용에 있어서 최적화할 수 있는 하드웨어 구조가 필요하다.

[비특허문헌 1] T. Motoki, H. Isono, and I. Yuyama, "Present Status of Three-Dimensional Television Research," Proc. IEEE 83(7): 1009-1021(July 1995). [비특허문헌 2] J. K. Chung and M. H. Tsai, Three-Dimensional Holographic Imaging, John Wiley & Sons, Inc., 2002. [비특허문헌 3] P. Hariharan, Basics of Holography, Cambridge University Press, May 2002. [비특허문헌 4] Mark Lucente, "Interfactive Computation of Holograms Using a Look-up Table", Journal of Electronic Imaging, vol. 2, #1, pp. 28-34, Jan. 1993. [비특허문헌 5] H. Yoshikawa, S. Iwase, and T. Oneda, "Fast Computation of Fresnel Holograms employing Differences", Proceeding of SPIE, vol. 3956, 2000. [비특허문헌 6] T. Shimobaba, T. Ito, "An efficient computational method suitable for hardware of computer-generated hologram with phase computation by addition", Computer Physics Communications, vol. 138, pp. 44-52, 2001. [비특허문헌 7] T. Ito, N. Masuda, K. Yoshimura, A. Shiraki, T. Shimobaba, and T. Sugie, "Special-Purpose computer HORN-5 for a real-time electroholography," Optics Express, Vol. 13, No. 6, March 2005. [비특허문헌 8] Y. Ichihashi, H. Nakayama, T. Ito, N, Masuda, T. Shimobaba, A, Shiraki, and T. Sugie, "HORN-6 special-purpose clustered computing system for electroholography", Optics Express, vol. 17, no. 16, pp. 13895-13903, Aug, 2009 [비특허문헌 9] Y.-H. Seo, H.-J. Choi, J.-S. Yoo, and D.-W. Kim, "An architecture of a high-speed digital hologram generator based on FPGA", Journal of Systems Architecture, Vol. 56. pp. 27-37, Dec. 2009. [비특허문헌 10] 이승학, 김경혼, 안치영, 최승원, "GPU를 이용한 SDR 시스템 용 LTE MIMO 기지국 기능 구현", 디지털산업정보학회 논문지, 제8권 제4호, pp. -, 2012. 12. [비특허문헌 11] 김태현, 이현석, 최승원, "SDR 시스템에서 GPU를 사용한 Lattice Reduction-aided 검출기 구현", 디지털산업정보학회 논문지, 제7권 제3호, pp. -, 2011. 9. [비특허문헌 12] Y.-H. Seo, H.-J. Choi, J.-S. Yoo, and D.-W. Kim, "A New Parallelizing Algorithm and Cell-based Hardware Architecture for High-speed Generation of Digital Hologram", Journal of Systems Architecture, Vol. 16. pp. 54-63, Jan. 2011. [비특허문헌 13] Y.-H. Seo, Y.-H. Lee, J.-S. Yoo, and D.-W. Kim, "Hardware architecture of high-performance digital hologram generator on the basis of a pixel-by-pixel calculation scheme", Applied optics, Vol 51. No. 18, pp. 4003-4012, Jun. 2012

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 홀로그램 생성 수식을 이용하여 광원에서 홀로그램 영상을 생성하되, 홀로그램의 상대적 좌표를 나타내는 x,y측 좌표항을 연산하고, 연산된 좌표항을 2차원 병렬로 연결하여 각 화소항을 한번에 계산하는 컴퓨터 생성 홀로그램의 고속 생성 장치를 제공하는 것이다.

특히, 본 발명의 목적은 디지털 홀로그램을 고속으로 생성하기 위한 하드웨어의 구조로서, 입력 데이터를 받고 좌표항과 화소항 연산기의 지연시간을 조절할 수 있는 입력 인터페이스와, 좌표항에 대하여 연산할 수 있는 좌표항 연산기, 화소항을 연산할 수 있는 화소항 연산기 그리고 연산 결과를 메모리로 출력 할 수 있는 출력 인터페이스로 구성되는 컴퓨터 생성 홀로그램의 고속 생성 장치를 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 홀로그램 영상의 강도를 모든 광원 각각에 대한 연산(이하 단위 연산)을 누적하여 계산하는 홀로그램 생성 수식을 처리하는 컴퓨터 생성 홀로그램의 고속 생성 장치로서, 광원 데이터, 홀로그램 위치 데이터, 및, 광원 세기에 의존하는 초기 데이터를 포함하는 입력 데이터를 받는 입력 인터페이스; 상기 입력 데이터를 이용하여, 상기 홀로그램 생성 수식에서 홀로그램 영상의 상대적 좌표를 나타내는 항(이하 좌표항)을 연산하는 좌표항 연산기; 상기 좌표항 연산기에서 연산된 좌표항을 이용하여, 상기 홀로그램 생성 수식의 단위 연산의 항(이하 화소항)을 계산하는 화소항 연산기; 및, 상기 화소항을 출력하는 출력 인터페이스를 포함하는 것을 특징으로 한다.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 상기 초기 데이터는 LUT(Look-up table)에 의해 획득되는 것을 특징으로 한다.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 상기 입력 데이터는 깊이 맵을 이용하기 위한 주소부와, 광원의 크기를 확대하기 위한 확장부를 더 포함하는 것을 특징으로 한다.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 상기 홀로그램 생성 수식은 다음 [수식 1]인 것을 특징으로 한다.

[수식 1]

Θ_z = λ/z_j, △ = p²/2λz_j

Θ_x = △(x_α - x_j), Θ_y = △(y_α - y_j)

단, I_α(x,y)는 홀로그램의 강도,

x_j,y_j,z_j,A_j(x,y,z)는 각각 x좌표와 y좌표의 광원 위치, 광원 깊이, 광원 세기,

λ는 광원의 파장,

p는 홀로그램 평면에서 하나의 화소의 크기.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 상기 좌표항 연산기는 홀로그램의 좌표와 광원의 좌표의 차이를 제곱하여 초기 LUT에서 △값을 곱하여 좌표항 Θ_x 또는 Θ_y를 구하는 하드웨어 구조를 갖는 것을 특징으로 한다.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 상기 화소항 연산기는 상기 좌표항 연산기에서 받은 Θ_x와 Θ_y 그리고 초기 LUT에서 Θ_z값을 받아서 더하고, 더한 값을 COS LUT통하여 cos(Θ_H)를 구한 뒤, 입력되는 광원의 세기를 곱하여 누적 덧셈을 수행하는 하드웨어 구조를 갖는 것을 특징으로 한다.

또, 본 발명은 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서, 하나의 광원에 대하여 모든 홀로그램 블록에 대하여 병렬 연산을 수행한 후 다음 광원에 대한 홀로그램 블록을 연산하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 컴퓨터 생성 홀로그램의 고속 생성 장치에 의하면, 홀로그램 생성을 2차원 병렬로 처리하고 CGH 하드웨어에서 메모리에 접근하는 횟수를 줄임으로써, 종래 장치에 비하여 홀로그램 생성의 연산 속도를 향상시킬 수 있는 효과가 얻어진다.

또한, 본 발명에 따른 컴퓨터 생성 홀로그램의 고속 생성 장치에 의하면, 홀로그램 연산 처리를 위한 하드웨어에서 좌표항을 분리함으로써, 레지스터의 경우 약간 증가하지만 조합회로와 DSP(Digital Signal Processing) 블록은 상당히 감소하기 때문에 자원이 정해져 있는 FPGA안에 많은 양의 연산기를 구현할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일실시예에 사용되는 CGH의 연산방식의 예시도.
도 2는 본 발명의 일실시예에 따른 컴퓨터 생성 홀로그램의 고속 생성 장치에 대한 구성도.
도 3은 본 발명의 일실시예에 따른 고속 생성 장치의 데이터 입력 형식의 예로서, (a) 데이터 입력 형식, (b) 광원 입력 데이터 입력형식의 예시도.
도 4는 본 발명의 일실시예에 따른 홀로그램 연산기의 세부구조로서, (a) 좌표항 연산기, (b)화소항 연산기의 하드웨어 구성도.
도 5는 본 발명의 일실시예에 따른 고속 생성 장치의 동작을 설명하는 흐름도.
도 6은 본 발명에 따른 고속 생성 장치의 전체 동작 순서의 예시도.
도 7은 본 발명의 실험에 따른 홀로그램 복원 결과로서, (a) 입력 깊이 영상 (b) S/W 방식, (c) H/W 시뮬레이션의 결과 영상의 일례.
도 8은 본 발명의 실험에 따른 고정 소수점 분석에 따른 각 파라미터의 비트수에 대한 표.
도 9는 본 발명의 실험에 따른 성능에 대한 표.
도 10은 본 발명의 실험에 따른 자원량으로서, (a)조합회로, (b) 레지스터, (c) DSP 블록의 자원에 대한 그래프.
도 11은 본 발명의 실험에 따른 합성 결과로서, (a) 좌표항 연산기, (b) 화소항 연산기의 회로 구성도.
도 12는 본 발명의 실험에 따른 검증을 위한 LabVIEW 블록도의 일례.
도 13은 본 발명의 실험에 따른 FIFO 설정 화면 예시도.
도 14는 본 발명의 실험에 따른 호스트와 FPGA간의 인터페이스 모듈의 구성 예로서, (a) 송신용 호스트 (b) 송신용 FPGA (c) 수신용 호스트 (d) 수신용 FPGA의 구성도.
도 15는 본 발명의 실험에 따른 메모리 접근을 위한 모듈의 구성도.
도 16은 본 발명의 실험에 따른 FPGA 구동을 위한 LabVIEW S/W의 화면.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명의 실시를 위한 CGH 알고리즘을 설명한다.

CGH(Computer Generated Hologram, 컴퓨터 생성 홀로그램)는 수학식 1과 같이 정의되는데 홀로그램의 위상으로부터 홀로그램의 강도 I_α(x,y)를 얻는 방법이다. 여기서 N은 3차원 객체의 광원 수를 나타내고 k는 참조파의 파수로 2π/λ로 정의되고 λ는 사용된 광원의 파장이다. A_j(x,y,z)는 객체의 밝기 정보를 나타내고 x_j, y_j 및 z_j는 광원 A_j(x,y,z)에 해당하는 3차원 위치를 나타낸다. x_α, y_α는 홀로그램 하나의 강도 I_α(x,y)의 위치를 나타낸다. p는 홀로그램 평면에서 하나의 화소의 크기를 나타낸다.

[수학식 1]

x_αj와 y_αj는 각각 x_α - x_j 및 y_α - y_j로 정의하고 ｜px_αj,py_αj｜≪ z_j의 조건인 경우에 Fresnel 근사를 통해서 수학식 2와 같이 근사될 수 있다.

[수학식 2]

CGH를 이용하여 홀로그램으로 구현을 할 경우 일반적으로 수학식 2의 복소수 항 중 실수 항만 이용하여 디스플레이 한다.

따라서 수학식 2에서 하나의 홀로그램 화소의 강도를 연산하기 위해서 z_j에 따라 값이 변하는 λ/z_j와 p²/2λz_j 및 cos을 LUT(Look-up table)로 구현할 경우 두 개의 감산기와 세 개의 가산기 그리고 네 개의 곱셈기가 필요하다. CGH를 고속으로 생성하기 위해서는 수학식 2를 연산할 수 있는 연산기를 병렬로 구성하여 동시에 연산한다.

만약 고 해상도의 CGH 생성기를 구현 할 경우 많은 자원을 사용하게 된다. 이를 극복하기 위해서 여러 화소에서 중복으로 연산하는 부분을 분리하여 자원을 줄일 수 있다.

λ/z_j를 Θ_z로 정의하고 p²/2λz_j를 △로 정의한다. 또한 △x_αj와 △y_αj를 Θ_x와 Θ_y로 정의하면 수학식 3으로 나타낼 수 있다.

[수학식 3]

동시에 연산할 수 있는 연산기를 2차원으로 구성을 할 경우 Θ_x 혹은 Θ_y를 따로 분리하여 좌표항 연산기로 분리할 수 있다. 이때 하나의 좌표항 연산기는 감산기 하나와 곱셈기 두 개로 이루어지고 하나의 화소를 연산하는 화소항 연산기는 하나의 cos LUT(Look-up table)와 세 개의 가산기 그리고 하나의 곱셈기로 이루어져 있다.

하나의 홀로그램 화소를 연산하기 위해서 필요한 자원은 분리하기 전과 같지만 동시에 연산할 수 있는 연산기가 증가할수록 자원을 크게 줄일 수 있다.

다음으로, 본 발명의 실시를 홀로그램 생성의 연산 방식을 도 1을 참조하여 설명한다.

도 1은 한 장의 홀로그램을 생성하기 위한 하드웨어의 동작을 나타내었다. 도 1(a)는 왼쪽부터 차례로 광원에 대한 정보가 입력될 때 모든 연산기에서 홀로그램을 구하는 방법이고, 도 1(b)는 하나의 연산기가 하나의 홀로그램 화소를 구할 때 모든 광원에 대한 정보가 차례로 입력되는 방식이다.

도 1(a)의 경우 하나의 연산기에서 홀로그램의 강도를 구하고 다음 광원에 대하여 연산하기 위해서는 연산 결과를 저장하고 이전 연산 결과를 불러온다. 따라서 도 1(a)의 경우 두 번의 메모리 접근이 필요하다.

도 1(b)의 경우는 모든 광원에 대하여 누적 덧셈을 하므로 모든 광원에 대하여 연산하고 연산 결과를 메모리에 저장하고 누적 레지스터를 초기화하는 과정이 필요하다. 따라서 이전 연산 결과를 불러오는 과정을 제거 할 수 있으므로, 도 1(b)의 방식을 이용하는 것이 메모리 접근 횟수를 줄일 수 있다.

다음으로, 본 발명의 일실시예에 따른 컴퓨터 생성 홀로그램의 고속 생성 장치의 구성을 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 본 발명에 따른 고속 생성 장치(1)는 입력 인퍼페이스(10), 좌표항 연산기(20a,20b), 화소항 연산기(30), 및, 출력 인터페이스(40)으로 구성된다. 추가적으로 입력 메모리(51) 및 출력 메모리(52)를 외부에 별도로 구성하거나, 내부에 구성할 수 있다.

입력 인퍼페이스(10)를 통해, 입력 데이터를 받고 좌표항 연산기(20a,20b)와 화소항 연산기(30)의 지연시간을 조절할 수 있다.

입력 데이터는 광원 데이터, 홀로그램 영상의 위치 데이터(또는 홀로그램 데이터) 및, 광원 세기에 의존하는 초기 데이터를 포함한다. 광원 데이터는 광원 위치 x_j,y_j, 광원 깊이 z_j, 광원 세기A_j로 구성되고, 홀로그램 위치 데이터는 홀로그램 영상의 좌표 x_α,y_α,이고, 초기 데이터는 △와 Θ_z로 구성된다.

도 3의 일례는 입력되는 데이터의 포맷으로 총 입력 데이터의 너비는 64비트로 설정한 것이다. 도 3(a)는 SRAM 등 입력 메모리(51)로 초기 데이터를 전송할 상태일 때 데이터 포맷이고, 도 3(b)는 광원 입력 상태일 때 데이터이다.

도 3(a)의 △와 Θ_z는 각각 32비트와 8비트의 데이터 크기를 가지고 z_j에 따라 변하고, 깊이 맵을 이용하기 때문에 8비트의 주소부(Address)를 가진다. 또한 광원의 크기의 작을 경우 이를 확대하기 위한 값으로 확장부(Magnification)는 8비트의 데이터를 가지며 이 값은 SRAM으로 저장하는 것이 아닌 입력 인터페이스(10)의 내부레지스터에 저장되어 광원 입력 상태일 때 광원의 좌표에 곱하여 좌표항 연산기로 전송된다.

△와 Θ_z는 LUT(Look-up table)로 획득되어, z_j에 따라 값을 얻을 수 있다.

도 3(a)의 주소부(Address)는 입력 깊이 맵 영상의 각 레벨이 해당하고, 깊이 맵이란 입력 밝기 영상의 실제 거리를 8비트(256레벨)로 맵핑하여 각 광원의 실제 거리를 알 수 있는 데이터이다. LUT에서 z_j가 주소부의 역할을 한다. LUT는 도 2에서 입력 인터페이스(Input Interface)에 SRAM혹은 ROM 형태로 구성되며 입력 깊이 맵의 값 z_j에 따라 광원의 거리와 관련 있는 △와 Θz를 출력한다.

좌표항 연산기(20a,20b)는 입력 데이터를 이용하여, 홀로그램 생성 수식(또는 수학식 3)에서 홀로그램 영상의 상대적 좌표를 나타내는 항(또는 좌표항)을 연산한다. 즉, 좌표항 연산기(20a,20b)는 홀로그램 영상의 상대적 좌표를 나타내는 항이 포함된 각각의 좌표항 Θ_x와 Θ_y를 연산하는 연산기이다.

홀로그램의 좌표에 해당하는 항을 구하기 위해 수학식 3에 Θ_x와 Θ_y를 수행 할 수 있는 구조를 도 4(a)에 나타내었다. 좌표항 연산기(20a,20b)는 입력 인터페이스에서 받은 홀로그램의 좌표와 광원의 좌표의 차이를 제곱하여 초기 LUT에서 △값을 곱하여 Θ_x(Θ_y)를 구하는 구조이다.

화소항 연산기(30)는 좌표항 연산기(20a,20b)를 통해 구한 Θ_x와 Θ_y를 통하여 화소항을 연산할 수 있는 연산기이다.

또한 각 홀로그램 화소의 강도를 구할 수 있는 구조를 도 4(b)에 나타내었다. 화소항 연산기(30)는 x와 y좌표에 해당하는 좌표항 연산기에서 받은 Θ_x와 Θ_y 그리고 초기 LUT에서 Θ_z값을 받아서 더하고 이를 cos함수를 수행하기 위해 COS LUT통하여 cos(Θ_H)를 구한 뒤 입력되는 광원의 밝기(세기)를 곱하여 누적 덧셈을 수행할 수 있는 구조이다.

M×N 블록을 계산하는 예를 설명한다.

M개의 x축을 위한 좌표항 연산기(20a)는 x 축에 대한 연산을 하고, N개의 y축에 대한 연산기(20b)는 y축에 대한 연산을 한다. 다음으로 M과 N개의 x축과 y축에 대한 연산 결과를 각 화소항 연산기(30)에서 좌표에 맞는 결과를 받아서 각 x,y좌표에 해당하는 홀로그램을 생성한다. 초기 홀로그램 좌표값을 설정하기 위해서 호스트에서는 초기 좌표값을 보내야 하고 이후로 한 주기(모든 광원에 대한 M×N 블록을 계산하는 주기)이후 좌표값은 업데이트 되어 계산된다. 또한 두 번째 주기부터는 외부 혹은 내부 메모리에 저장되어 있는 광원에 대한 데이터를 불러와 반복 연산되어 한 장의 홀로그램을 생성한다.

출력 인터페이스(40)는 연산된 결과를 SDRAM 등 출력 메모리(52)로 출력한다.

다음으로, 본 발명의 일실시예에 따른 컴퓨터 생성 홀로그램의 고속 생성 장치의 동작 방법을 도 5 내지 도 6을 참조하여 설명한다. 도 5 및 도 6은 본 발명의 고속 생성 장치(1)의 동작하는 순서를 도시한 것이다.

도 5 또는 도 6에서 보는 바와 같이, 초기 Θ_z와 △의 데이터를 SRAM으로 저장을 한다(S10). SRAM으로 로드를 마치면 입력되는 광원의 데이터를 입력받는다(S20). 광원 데이터를 이용하여 하나의 홀로그램 블록을 연산한다(S30). 한 블록의 연산을 마치면 다시 광원의 데이터를 입력 받으면서 다음 블록을 연산한다(S50). 이때 이전 홀로그램 블록의 데이터는 외부 SDRAM으로 데이터를 전송한다(S40).

홀로그램의 블록을 연산할 때 모든 유효한 광원에 대하여 연산을 한다. 하나의 광원이 홀로그램의 블록에 대하여 병렬 연산한 후 다음 광원에 대하여 홀로그램 블록에 연산후 이전 광원에 대한 연산 결과와 누적 덧셈을 한다. 이렇게 해서 모든 광원에 대하여 블록에 대하여 연산을 하나의 주기로 할 경우 두 번째 주기에서 다음 홀로그램 블록을 연산하는 동안 이전 주기에서 나온 결과는 외부 메모리로 접근 한다. 따라서 도 5의 흐름도로 연산이 이루어진다.

다음으로, 본 발명의 실험을 통해 본 발명의 효과를 도 7 내지 도 16을 참조하여 설명한다.

본 발명의 실험을 위한 CGH 하드웨어는 Xilinx사의 Vertex5 XC5VSX95T35 칩을 대상으로 Verliog-HDL을 이용하여 설계하였고, ModelSim을 이용하여 동작을 검증하였다. 구현한 하드웨어의 실제 동작에 대한 검증을 위해서 NI사의 PXI Express 샤시와 FPGA모듈을 이용하였다.

먼저, 본 발명의 실험에 따른 시뮬레이션에 대하여 설명한다.

도 7은 ModelSim과 C언어를 이용하여 한 장의 홀로그램을 같은 파라미터를 이용하여 생성하고 복원한 결과이다. 도 7(a)는 입력 영상이고 도 7(b)와 (c)는 각각 C언어로 홀로그램을 생성하고 복원한 결과와, 검증을 통하여 생성한 홀로그램을 복원한 결과이다. 두 결과의 PSNR을 구하면 약 25dB정도로 다소 차이가 발생하는 것을 확인할 수 있다. 이는 하드웨어의 자원을 고려하였을 때 소프트웨어만큼 정밀도를 갖는 버스크기와 연산기를 사용할 수 없기 때문에 차이가 생긴다.

또한 구현 결과 32비트소수점 데이터를 디스플레이 하기 위해 8비트의 데이터로 정규화를 수행하는 과정에서 복원 객체 전체에 영향을 미치게 된다. 따라서 정규화 된 데이터를 재생할 때 시각적으로 차이를 느낄 수 없도록 최소의 버스 크기에 대한 실험을 도 8의 표에 나타내었다.

도 9의 표에 광원에 대하여 중간 홀로그램 생성할 때와 홀로그램 화소에 대하여 홀로그램을 생성할 경우 메모리 접근에 대하여 비교하였다. 유효한 광원의 개수가 10K, 홀로그램의 크기가 HD(1,920×1,080), FPGA 동작 주파수가 166MHz, 그리고 동시에 연산할 수 있는 CGH 연산기의 개수가 1,920개일 경우에 홀로그램을 생성하기 위해서는 한 주기당 1,920번의 데이터를 읽기 위한 접근과 1,920번의 쓰기 위한 접근이 필요하다. 반면 구현한 하드웨어는 주기당 0.192번의 쓰기를 위한 접근이 필요하다. 따라서 초당 메모리 접근은 약 20,000배 만큼 감소한다.

도 10은 동일한 처리 속도를 기준으로 좌표항을 분리한 경우와 분리하지 않은 경우의 자원 사용량을 비교하였다. 도 10(a), (b) 및 (c)는 각각 조합회로, 레지스터, DSP 블록의 자원을 비교한 것으로 16×16의 연산기의 개수를 가질 경우 각각 약 45%, -0.9%, 89% 감소하였다. 레지스터의 경우 약간 증가하지만 조합회로와 DSP블록은 상당히 감소하기 때문에 자원이 정해져 있는 FPGA안에 많은 양의 연산기를 구현할 수 있다.

다음으로, 본 발명의 실험에 따른 FPGA 합성에 대하여 설명한다.

도 11은 Xilinx사의 ISE Design Suite 툴을 이용하여 합성 결과이다. 한번에 16×16의 홀로그램을 생성할 수 있는 연산기로 구성하였다. 총 13,152개의 로직 회로와 23,456의 레지스터 그리고 448개의 DSP 블록의 자원을 사용하였고 100MHz로 구동하였다. (a)는 좌표항 연산기의 합성 결과 이고 (b)는 화소항 연산기의 구현 결과이다.

다음으로, 본 발명의 실험에 따른 시스템 검증에 대하여 설명한다.

합성한 CGH 하드웨어를 검증하기 위하여 LabVIEW 검증 시스템을 이용하였다. 도 12는 합성 파일을 LabVIEW에 이식하고 FlexRIO에 포함되어 있는 SRAM대신 블록 메모리를 이용하고 DRAM을 이용하였다. 또한 100MHz 클록을 이용하여 구동하도록 하였고 검증 시스템에 데이터 포맷에 맞추어 검증하였다.

CPU가 없는 전용 H/W를 FPGA로 구현하고 검증을 하기 위해서는 호스트와 데이터 전송이 필요하다. 특히 영상 처리를 위한 H/W의 경우 데이터 량이 많기 때문에 고성능의 데이터 전송 시스템이 필요하다. 또한 데이터 량이 많아서 큰 메모리로 구성하는 시스템이 필요하고 다양한 IP를 검증하기 위해서는 호스트에서 FPGA로 데이터를 보낼 때 각각의 신호에 대하여 디코딩할 수 있는 시스템 또한 필요하다.

검증 시스템은 고성능의 데이터 전송을 위하여 800MB/s이상의 속도로 피어투피어 스트리밍을 구현하거나 방향당 700MB/s 이상의 스트리밍이 가능한 NI사의 PXI Express 샤시와 FlexRIO FPGA 모듈을 이용하여 구축하였다. FlexRIO는 512MB의 DRAM이 2개가 내장되어 있고 640개의 DSP블록을 가지는 Xilinx사의 Vertex-5시리즈의 FPGA 칩을 가지고 있다. 또한 어댑터 모듈을 장착하여 고속으로 외부 I/O를 구성할 수 있다.

동작 주파수가 다른 PC(호스트)와 FPGA 모듈간의 데이터 전송을 위해서는 듀얼 클록 FIFO를 이용하여 데이터를 전송하고 데이터 전송의 핸들링을 위한 플래그 신호(Host-to-FPGA, FPGA-to-Host)로 구성한다. FIFO는 64비트의 크기를 가지고 만약 64비트 이상의 크기가 필요 할 경우 인터페이스를 위한 FIFO의 개수를 늘려서 크기를 조절할 수 있고 검증에 필요한 데이터 개수에 따라 사용자가 FIFO의 깊이를 조절할 수 있다. 도 13은 인터페이스를 위한 FIFO를 설정하기 위한 창으로 검증할 데이터 량에 따라 조절이 가능하다.

도 14는 호스트와 데이터 통신을 하기 위한 블록도이다. 도 14(a)와 (c)는 호스트에서 FPGA로 데이터를 전송하기 위한 모듈로 각각 호스트 부분 블록도와 FPGA 부분 블록도이다. 호스트에서 FIFO로 데이터를 쓰고 플래그 신호와 데이터의 개수를 FPGA로 전송한다. FPGA에서는 호스트에서 플래그 신호를 받아서 읽기 상태로 업데이트하고 FIFO에서 데이터를 유효 신호와 함께 출력한다.

도 14(b)와 (d)는 FPGA에서 호스트로 데이터를 전송하기 위한 모듈로 각각 호스트부분 블록도와 FPGA부분 블록도이다. FPGA에서 적재 신호를 받으면 전송 상태로 업데이트하고 호스트에게 전송 Flag 신호와 데이터 개수를 전송한다. 이때 FIFO는 FPGA는 FIFO를 사용할 수 없게 되고 호스트에서 모두 받을 경우 다시 FPGA는 FIFO를 사용가능한 상태로 업데이트된다.

FlexRIO 모듈은 512MB의 최대 500MHz로 구동할 수 있는 DRAM과 메모리 컨트롤러를 가지고 있다. 또한 LabVIEW 프로그램을 통하여 속도가 빠른 블록 메모리를 구현할 수 있다. 그림 12는 앞서 설명한 인터페이스와 메모리를 이용한 모듈이다. 도 15(a)는 메모리에 데이터를 쓰는 모듈로 데이터와 어드레스가 동시에 입력되고 도 15(b)는 읽는 모듈로 어드레스부와 데이터부가 분리되어 있는 것을 확인할 수 있다.

도 16은 검증 시스템에 입력 영상을 넣고 하드웨어를 통하여 홀로그램을 생성한 결과이다. 왼쪽에 있는 부분이 홀로그램을 생성하기 위한 파라미터를 입력하는 부분이고 오른쪽 윗부분이 생성한 홀로그램이고 오른쪽 아랫부분이 입력 영상이다. 광원의 유효 광원은 6k이고 1024×1024 크기의 홀로그램 한 장을 생성하는데 약 4초정도 걸린다. 실제 FPGA의 용량의 제약으로 인하여 16×16의 크기의 홀로그램을 생성할 수 있는 연산기를 구현하였지만 검증 시스템 샤시 내에 여러 개의 FPGA를 장착하여 구동 할 경우 FPGA 개수만큼 성능은 배로 향상 시킬 수 있다.

본 발명에서는 디지털 홀로그램을 고속으로 생성하기 위한 하드웨어의 구조를 제시하고 FPGA를 이용하여 검증하였다. 하드웨어의 전체적인 구조는 입력 데이터를 받고 좌표항과 화소항 연산기의 지연시간을 조절할 수 있는 입력 인터페이스와 좌표항에 대하여 연산할 수 있는 좌표항 연산기, 화소항을 연산할 수 있는 화소항 연산기 그리고 연산 결과를 메모리로 출력 할 수 있는 출력 인터페이스로 구성되어 있다.

본 발명의 CGH 하드웨어는 Xilinx사의 Vertex5 XC5VSX95T35 칩을 대상으로 Verliog-HDL을 이용하여 설계하였고, ModelSim을 이용하여 동작을 검증하였다. 구현한 하드웨어의 실제 동작에 대한 검증을 위해서 NI사의 PXI Express 샤시와 FPGA모듈을 이용하였다. ModelSim과 C언어를 이용하여 한 장의 홀로그램을 같은 파라미터를 이용하여 생성하고 복원한 결과에서 PSNR을 구하면 하드웨어의 정밀도 부족으로 인해 약 25dB정도로 다소 차이가 발생하는 것을 확인할 수 있다. 한번에 16×16의 홀로그램을 생성할 수 있는 연산기를 구성하였다. 총 13,152개의 로직 회로와 23,456의 레지스터 그리고 448개의 DSP 블록의 자원을 사용하였고 100MHz로 구동하였다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 입력 인터페이스 20a,20b : 좌표항 연산기
30 : 화소항 연산기 40 : 출력 인터페이스
51 : 입력 메모리 52 : 출력 메모리

Claims

홀로그램 영상의 강도를 모든 광원 각각에 대한 연산(이하 단위 연산)을 누적하여 계산하는 홀로그램 생성 수식을 처리하는 컴퓨터 생성 홀로그램의 고속 생성 장치에 있어서,
광원 데이터, 홀로그램 위치 데이터, 및, 광원 세기에 의존하는 초기 데이터를 포함하는 입력 데이터를 받는 입력 인터페이스;
상기 입력 데이터를 이용하여, 상기 홀로그램 생성 수식에서 광원의 좌표에 대한 홀로그램 영상의 상대적 좌표를 나타내는 항(이하 좌표항)을 연산하는 좌표항 연산기;
상기 좌표항 연산기에서 연산된 좌표항을 이용하여, 상기 홀로그램 생성 수식의 단위 연산의 항(이하 화소항)을 계산하는 화소항 연산기; 및,
상기 화소항을 출력하는 출력 인터페이스를 포함하고,
상기 홀로그램 생성 수식은 다음 [수식 1]인 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.
[수식 1]

Θ_z = λ/z_j, △ = p²/2λz_j
Θ_x = △(x_α - x_j), Θ_y = △(y_α - y_j)
단, I_α(x,y)는 홀로그램의 강도,
x_α, y_α는 각각 x좌표와 y좌표의 홀로그램 위치,
x_j,y_j,z_j,A_j(x,y,z)는 각각 x좌표와 y좌표의 광원 위치, 광원 깊이, 광원 세기,
λ는 광원의 파장,
p는 홀로그램 평면에서 하나의 화소의 크기.
제1항에 있어서,
상기 초기 데이터는 LUT(Look-up table)에 의해 획득되는 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.
제1항에 있어서,
상기 입력 데이터는 깊이 맵을 이용하기 위한 주소부와, 광원의 크기를 확대하기 위한 확장부를 더 포함하는 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.
삭제
제1항에 있어서,
상기 좌표항 연산기는 홀로그램의 좌표와 광원의 좌표의 차이를 제곱하여 초기 LUT에서 △값을 곱하여 좌표항 Θ_x 또는 Θ_y를 구하는 하드웨어 구조를 갖는 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.
제5항에 있어서,
상기 화소항 연산기는 상기 좌표항 연산기에서 받은 Θ_x와 Θ_y 그리고 초기 LUT에서 Θ_z값을 받아서 더하고, 더한 값을 COS LUT통하여 cos(Θ_H)를 구한 뒤, 입력되는 광원의 세기를 곱하여 누적 덧셈을 수행하는 하드웨어 구조를 갖는 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.
제1항에 있어서,
하나의 광원에 대하여 모든 홀로그램 블록에 대하여 병렬 연산을 수행한 후 다음 광원에 대한 홀로그램 블록을 연산하는 것을 특징으로 하는 컴퓨터 생성 홀로그램의 고속 생성 장치.