KR102161950B1

KR102161950B1 - 세그먼테이션을 이용한 홀로그램 생성 방법

Info

Publication number: KR102161950B1
Application number: KR1020180156592A
Authority: KR
Inventors: 홍지수; 김영민; 강훈종; 홍성희
Original assignee: 한국전자기술연구원
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2020-10-06
Also published as: WO2020116692A1; KR20200069492A

Abstract

RGBD data로부터 complex hologram을 생성하는데 있어, 생성 시간을 최적화하는 방법이 제공된다. 본 발명의 실시예에 따른 홀로그램 생성 방법은 이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계; 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계; 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계; 및 생성된 홀로그램들을 결합하는 단계;를 포함한다.
이에 의해, GBD data[컬러 이미지(RGB) 및 depth map(D)]로 표현된 대상 물체의 홀로그램을 생성하는데 있어, RGBD data를 먼저 여러 개의 segment로 segmentation을 하고, angular spectrum method를 통한 depth slice image 홀로그램 생성 방법과 Rayleigh Sommerfeld diffraction integral을 통한 point cloud data 홀로그램 생성 방법의 장점을 취하여 홀로그램 생성 시간을 최적화함으로써, RGBD data로부터 complex hologram을 생성하는데 있어 생성 시간을 최적화 할 수 있다.

Description

세그먼테이션을 이용한 홀로그램 생성 방법{Hologram Generation Method Using Segmentation}

본 발명은 홀로그램 생성 방법에 관한 것으로, 더욱 상세하게는 RGBD 데이터로부터 complex hologram을 생성하는 방법 및 시스템에 관한 것이다.

기존의 CGH(Computer generated hologram)을 생성하는 방법 중 한가지는 도 1과 같이 대상 물체를 point cloud data set으로 표현한 후 Rayleigh-Sommerfeld diffraction integral 식을 적용하는 방법이다.

이때 point cloud data set의 각 point의 complex amplitude를

라 하고, 각 point의 3차원 좌표를

라 했을 때, point cloud data set에 의해 생성되는 complex hologram은 다음과 같다.

그리고, 이 때 각 point에 대한 impulse response h_p(x, y)는 다음과 같다.

여기서,

이고, p _x , p _y 는 각각 홀로그램 평면의 x방향, y방향의 픽셀 크기이다. Rayleigh-Sommerfeld diffraction integral을 통한 홀로그램 생성은 대상 물체 표현의 자유도가 높고, 계산되는 complex field 값의 정확도가 매우 높은 장점이 있으나, 2차원 convolution 계산이기 때문에 계산량이 매우 많은 단점이 있다.

CGH를 생성하는 또 한가지 방법은 도 2와 같이 대상 물체를 depth slice image로 표현하여 이로부터 complex hologram을 계산하는 방법이다.

이 방법은 대상 물체를 여러 개의 평면 slice image로 분할하였기 때문에 각 slice image에 대해서는 complex hologram을 생성할 때 angular spectrum method와 같이 plane-to-plane propagation을 적용할 수 있다. 대상 물체 g(x, y, z)를

와 같이 depth slice image들로 나누었다고 할 때, angular spectrum method가 FFT(Fast Fourier Transform)에 의해 구현이 되므로 각 slice image들 g _m (x, y)는 적절한 zero-padding이 필요하다. 이 때 zero-padding이 이루어진 slice image를

라 하면, depth slice image들에 의해 생성되는 complex hologram은 다음과 같이 계산할 수 있다.

이 때

, 즉 zero-padded slice image의 Fourier transform 이며,

이다. 이 때 z _m 은 각 slice image의 홀로그램 평면으로부터의 거리이다. 이 때 각 plane-to-plane propagation은 2D-FFT를 활용할 수 있으므로 Rayleigh-Sommerfeld diffraction integral에 비해 연산량이 확연히 적으나, 물체를 표현하는 slice image의 개수가 늘어날수록 그 개수만큼 2D-FFT를 계산해주어야 하기 ?문에 비효율적이며, 또 대상 물체를 불연속적인 평면들로 표현하게 되어 물체 표현의 정확도가 떨어지는 단점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, RGBD data로부터 complex hologram을 생성하는데 있어, 생성 시간을 최적화하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 홀로그램 생성 방법은 이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계; 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계; 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계; 및 생성된 홀로그램들을 결합하는 단계;를 포함한다.

본 발명에 따른 홀로그램 생성 방법은 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계;를 더 포함할 수 있다.

결정 단계는, 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수 및 포인트 클라우드 데이터 세트의 포인스 개수를 기초로, 홀로그램 생성 방식을 결정하는 것일 수 있다.

결정 단계는, 이미지 개수가 특정 개수 미만이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다.

뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식은, angular spectrum method를 통해 complex hologram을 생성하는 방식일 수 있다.

결정 단계는, 이미지 개수가 특정 개수 이상이면, 포인스 개수를 기초로 홀로그램 생성 방식을 결정하는 것일 수 있다.

결정 단계는, 포인스 개수를 특정 개수 미만이면, 포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다.

포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식은, Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram을 생성하는 방식일 수 있다.

결정 단계는, 포인스 개수를 특정 개수 이상이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것일 수 있다.

이미지는, RGBD 이미지일 수 있다.

본 발명의 다른 측면에 따르면, 이미지가 저장된 저장부; 및 저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하며, 생성된 홀로그램들을 결합하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템이 제공된다.

본 발명의 또다른 측면에 따르면, 이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계; 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하는 단계; 각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하는 단계; 및 각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법이 제공된다.

본 발명의 또다른 측면에 따르면, 이미지가 저장된 저장부; 및 저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 기초로, 홀로그램 생성 방식을 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템이 제공된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, RGBD data[컬러 이미지(RGB) 및 depth map(D)]로 표현된 대상 물체의 홀로그램을 생성하는데 있어, RGBD data를 먼저 여러 개의 segment로 segmentation을 하고, angular spectrum method를 통한 depth slice image 홀로그램 생성 방법과 Rayleigh Sommerfeld diffraction integral을 통한 point cloud data 홀로그램 생성 방법의 장점을 취하여 홀로그램 생성 시간을 최적화함으로써, RGBD data로부터 complex hologram을 생성하는데 있어 생성 시간을 최적화 할 수 있다.

도 1은 Point cloud data set을 이용한 홀로그램 생성을 나타낸 도면,
도 2는 Depth slice image를 이용한 홀로그램 생성을 나타낸 도면,
도 3은 RGBD data의 segmentation을 나타낸 도면,
도 4는 Segment의 RGBD data로부터의 depth slice image 및 point cloud data set 변환을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 홀로그램 생성 방법의 설명에 제공되는 흐름도, 그리고,
도 6은 본 발명의 다른 실시예에 따른 홀로그램 생성 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, RGBD data[컬러 이미지(RGB) 및 depth map(D)]로 표현된 대상 물체의 홀로그램을 생성하는데 있어, RGBD data를 먼저 여러 개의 segment로 segmentation을 하고, angular spectrum method를 통한 depth slice image 홀로그램 생성 방법과 Rayleigh Sommerfeld diffraction integral을 통한 point cloud data 홀로그램 생성 방법의 장점을 취하여 홀로그램 생성 시간을 최적화 하는 방법을 제시한다.

도 3은 RGBD data를 segmentation 하는 것을 보여준다. Segmentation은 주어진 RGBD data를 동일한 크기의 사각형들로 분할하는 것이다. Segmentation의 장점은 주어진 RGBD data를 depth slice image로 변환하였을 때 그 slice image들이 효율적으로 표현될 수 있다는데에 있다.

전체 RGBD data를 depth slice image들로 변환하였을 때는 각 slice image 들에 유의미한 정보가 존재하는 영역이 상대적으로 적을 가능성이 높다. 따라서 각각의 slice image에 대해 angular spectrum propagation을 적용하면 비효율적인 연산을 하게 될 가능성이 높아진다.

하지만 segmentation을 하게 되면 하나의 segment 내에서는 depth 값의 차이가 적어질 확률이 높고, 이는 segment를 depth slice image로 변환했을 때 slice image의 개수가 적어질 가능성이 높다. 따라서 결과적으로 홀로그램 연산을 위해 사용되는 FFT의 횟수가 적어지게 되고 연산량을 줄일 수 있게 되는 것이다.

이런 측면에서 보면 segment 크기를 작게 하면 할수록 계산량을 줄일 수 있을 것으로 생각할 수 있으나, 각 segment에 대해서 angular spectrum method로 홀로그램 연산을 할 때 zero padding을 하여야 하므로 segment의 숫자가 늘어나면 늘어날수록 zero padding에 의한 overhead가 늘어나게 된다. 따라서 적절히 segment의 크기를 결정하는 것이 필요하다.

또한 segment로 분할을 하였음에도 특정 segment에서는 slice image의 개수가 매우 많은 segment가 존재할 확률이 있다. 이런 segment에 대해서는 만약 유효한 pixel의 숫자가 매우 적다면, Rayleigh Sommerfeld diffraction integral 방식으로 계산을 하는 것이 더욱 유리할 수 있다.

특히 Rayleigh Sommerfeld diffraction integral 방식의 2D convolution은 parallel computing을 적용하기가 쉬우므로, 도 4와 같이 segment에 대해 depth slice image 뿐만 아니라 point cloud data set도 변환하여 준비해 놓는 것이 필요하며, 상황에 따라 depth slice image로부터 angular spectrum method를 적용하여 complex hologram을 계산하거나 point cloud data set으로부터 Rayleigh-Sommerfeld diffraction integral을 이용하여 complex hologram을 계산하는 것을 선택할 수 있어야 전체적인 계산량을 최적화 할 수 있을 것이다.

도 5는 본 발명의 일 실시예에 따른 홀로그램 생성 방법의 설명에 제공되는 흐름도이다.

도시된 바와 같이, 먼저 주어진 RGBD data를 segmentation을 한다(S110,S120). 그리고 각각의 segment에 대해서, depth slice image 및 point cloud data set을 변환하고, 변환 과정에서 depth slice image의 slice image 개수 L과 point cloud data set의 포인트 수 P를 저장해 놓는다(S130).

만약 depth slice image의 slice image 개수 L이 특정 threshold 값 L _t를 넘어서지 않는다면(S140-YES) 그대로 angular spectrum method를 통한 complex hologram 생성 연산을 한다(S160).

반면 depth slice image의 slice image 개수 L이 특정 threshold 값 L _t를 넘어선다면(S140-NO), point cloud data set의 포인트수 P가 특정 threshold 값 P _t를 넘어서지 않는지 판단한다(S150).

만약 point cloud data set의 포인트수 P가 특정 threshold 값 P _t 보다 작다면(S150-YES), Rayleigh-Sommerfeld diffration integral 적용의 이득이 있으므로 Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram 연산을 한다(S170).

반면, point cloud data set의 포인트수 P가 특정 threshold 값 P _t를 넘어선다면(S150-NO). depth slice image로부터 angular spectrum method를 통한 complex hologram 연산을 하게 된다(S160).

이후 각각의 세그먼트들에 대해 생성한 홀로그램들을 결합하여 전체 홀로그램을 완성한다.

도 6은 본 발명의 다른 실시예에 따른 홀로그램 생성 방식을 적응적으로 결정하는 시스템의 블럭도이다.

본 발명의 실시예에 따른 홀로그램 생성 시스템은, 도 6에 도시된 바와 같이, 통신부(110), 출력부(120), 프로세서(130), 입력부(140) 및 저장부(150)를 포함하는 컴퓨팅 시스템으로 구현가능하다.

통신부(110)는 외부 기기 및 외부 네트워크와 통신 연결하여, 데이터를 전송하고 수신하기 위한 통신 수단이다.

출력부(120)는 프로세서(130)의 실행 결과가 표시되는 디스플레이이고, 입력부(140)는 사용자 명령을 입력받아 프로세서(130)로 전달하는 입력 수단이다.

프로세서(130)는 전술한 도 5에 제시된 방법에 따라 연산을 수행하여 홀로그램을 생성한다.

저장부(150)에는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장 공간을 제공하는 한편, RGBD 이미지가 저장되고, 프로세서(130)에 의해 생성된 홀로그램이 저장된다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 통신부
120 : 출력부
130 : 프로세서
140 : 입력부
150 : 저장부

Claims

이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계;
각각의 세그먼트들을 뎁스 슬라이스 이미지들로 각각 변환하는 단계;
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 계산하여 저장하는 단계;
저장된 이미지 개수를 기초로, 세그먼트들 각각에 대해 홀로그램 생성 방식을 각각 결정하는 단계;
각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계; 및
생성된 홀로그램들을 결합하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 1에 있어서,
결정 단계는,
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수 및 포인트 클라우드 데이터 세트의 포인스 개수를 기초로, 홀로그램 생성 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 2에 있어서,
결정 단계는,
이미지 개수가 특정 개수 미만이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 3에 있어서,
뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식은,
angular spectrum method를 통해 complex hologram을 생성하는 방식인 것을 특징으로 하는 홀로그램 생성 방법.
청구항 3에 있어서,
결정 단계는,
이미지 개수가 특정 개수 이상이면, 포인스 개수를 기초로 홀로그램 생성 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 5에 있어서,
결정 단계는,
포인스 개수가 특정 개수 미만이면, 포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 6 있어서,
포인트 클라우드 데이터 세트를 이용하여 홀로그램을 생성하는 방식은,
Rayleigh-Sommerfeld diffraction integral 방식으로 complex hologram을 생성하는 방식인 것을 특징으로 하는 홀로그램 생성 방법.
청구항 6에 있어서,
결정 단계는,
포인스 개수가 특정 개수 이상이면, 뎁스 슬라이스 이미지들을 이용하여 홀로그램을 생성하는 방식을 결정하는 것을 특징으로 하는 홀로그램 생성 방법.
청구항 1에 있어서,
이미지는,
RGBD 이미지인 것을 특징으로 하는 홀로그램 생성 방법.
이미지가 저장된 저장부; 및
저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 각각 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 계산하여 저장하고, 저장된 이미지 개수를 기초로, 세그먼트들 각각에 대해 홀로그램 생성 방식을 각각 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하며, 생성된 홀로그램들을 결합하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템.
이미지를 다수의 세그먼트들로 세그먼테이션 하는 단계;
각각의 세그먼트들을 뎁스 슬라이스 이미지들로 각각 변환하는 단계;
각각의 세그먼트들에 대해, 뎁스 슬라이스 이미지들의 이미지 개수를 계산하여 저장하는 단계;
저장된 이미지 개수를 기초로, 세그먼트들 각각에 대해 홀로그램 생성 방식을 각각 결정하는 단계; 및
각각의 세그먼트들에 대해, 결정된 방식으로 홀로그램을 생성하는 단계;를 포함하는 것을 특징으로 하는 홀로그램 생성 방법.
이미지가 저장된 저장부; 및
저장부에 저장된 이미지를 다수의 세그먼트들로 세그먼테이션 하고, 각각의 세그먼트들을 뎁스 슬라이스 이미지들로 각각 변환하며, 각각의 세그먼트들에 대해 뎁스 슬라이스 이미지들의 이미지 개수를 계산하여 저장하고, 저장된 이미지 개수를 기초로, 세그먼트들 각각에 대해 홀로그램 생성 방식을 각각 결정하고, 각각의 세그먼트들에 대해 결정된 방식으로 홀로그램을 생성하는 프로세서;를 포함하는 것을 특징으로 하는 홀로그램 생성 시스템.