KR101855370B1 - 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법 - Google Patents

실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법 Download PDF

Info

Publication number
KR101855370B1
KR101855370B1 KR1020160180913A KR20160180913A KR101855370B1 KR 101855370 B1 KR101855370 B1 KR 101855370B1 KR 1020160180913 A KR1020160180913 A KR 1020160180913A KR 20160180913 A KR20160180913 A KR 20160180913A KR 101855370 B1 KR101855370 B1 KR 101855370B1
Authority
KR
South Korea
Prior art keywords
image
information
polygon
integrated image
generated
Prior art date
Application number
KR1020160180913A
Other languages
English (en)
Inventor
류관희
임병묵
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020160180913A priority Critical patent/KR101855370B1/ko
Application granted granted Critical
Publication of KR101855370B1 publication Critical patent/KR101855370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 집정영상 생성기법에 관한 것으로서, 실공간에 대한 정보를 기존의 포인트 클라우드가 아닌 폴리곤(Polygon)인 오브젝트 모델을 기반으로 하여 기존의 방식보다 정확도를 향상한 집적영상 생성기법에 관한 것이다.
보다 자세하게는, 병렬처리 기법을 이용해 요소렌즈를 통해 영상을 획득하는 과정을 보다 빠르게 처리할 수 있어, 전체 집적영상 생성시간을 단축할 수 있도록 구성된 집적영상 생성기법에 관한 것이다.
본 발명은 요소영상 생성 기법은 실공간에 대한 정보를 기존의 포인트 클라우드가 아닌 Polygon인 오브젝트 모델을 기반으로 하여 기존의 방식보다 0.5~2db정도의 정확도를 향상하였다.

Description

실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법{Real object-based integral imaging system using polygon object model}
본 발명은 집정영상 생성기법에 관한 것으로서, 실공간에 대한 정보를 기존의 포인트 클라우드가 아닌 폴리곤(Polygon)인 오브젝트 모델을 기반으로 하여 기존의 방식보다 정확도를 향상한 집적영상 생성기법에 관한 것이다.
보다 자세하게는, 병렬처리 기법을 이용해 요소렌즈를 통해 영상을 획득하는 과정을 보다 빠르게 처리할 수 있어, 전체 집적영상 생성시간을 단축할 수 있도록 구성된 집적영상 생성기법에 관한 것이다.
집적영상기술은 무안경식 입체영상 기술로 수평시차 뿐만 아니라 수직시차도 같이 제공하며, 다른 무안경식 입체영상 기술과 달리 3차원 영상에서 일반 영상으로 변환이 자유롭기 때문에 앞으로 주목받는 기술이다.
그러나, 광학적인 방법 기반의 집적영상기술은 실공간에서 카메라와 오브젝트를 위치하고 영상을 획득하기 때문에 CrossTalk문제가 발생하며, 집적영상을 생성하기 위한 공간이 필요하다.
Igarashi[] 알고리즘은 집적영상을 생성하기 위한 공간적 제약을 해결하기 위해, 컴퓨터를 이용하여 3차원 가상공간의 오브젝트에 대한 집적 영상을 생성하는 기술인 컴퓨터 기반 집적 영상(CGII, Compute based Generated Integral Imaging)을 제안하였다.
상기 CGII기술은 집적영상을 생성하기 위해 3차원 가상공간에서 오브젝트를 사용하기 때문에 요소영상(elemental image)을 생성하기 위한 공간적인 문제를 해결하였다. 그러나, 가상공간에 고정된 오브젝트를 이용하여 요소영상을 생성하기 때문에 실공간에 적용하기 힘들다.
따라서, CGII에서는 제한된 가상공간이 아닌 실공간에 대한 요소영상 생성기술에 대한 연구가 진행되었으며, 특히, 깊이카메라를 통해 가상공간이 아닌 실공간에 대한 요소영상 생성 연구가 진행되었다.
부연설명하면, Gang, etc.[] 알고리즘은 깊이 카메라를 이용하여 실공간 정보를 정점으로 이루어진 포인트 클라우드(point cloud)로 변환하고, 변환된 정보를 이용하여 집적 영상을 생성하기 위해 깊이 카메라를 사용하여 요소 영상을 생성하는 기법을 제안하였다. 그러나, 해당 기법은 실공간에 대한 정보를 Point Cloud 로 표현하기 때문에, 각 정점 사이에 존재하는 정보의 손실이 발생된다.
종래의 포인트 클라우드 기반 실영상 집적영상 생성방법에 대해 설명하면 다음과 같다.
실영상 기반 집적영상 생성 기법은 깊이 카메라를 통해 실공간 정보를 Point Cloud로 변환하고, 사용자가 입력한 렌즈어레이 정보를 이용하여 3차원 가상공간에 렌즈어레이와 Point Cloud의 위치를 정렬한 뒤, Point Cloud의 각 정점에서 렌즈어레이를 지나는 정보를 획득하여 전체 요소영상인 집적영상을 생성한다. 상기 렌즈어레이는 다수의 렌즈가 배열된 방식의 렌즈이다.
도 1은 종래의 포인트 클라우드 기반 실영상 집적영상 생성방법에 대해 설명한 도면이며, 도시된 바를 참조하면, 이 기법에서는 실 공간 정보를 정점으로 이루어진 포인트 클라우드로 생성하는데, 생성 과정은 깊이 카메라에서 획득한 깊이영상에서 사용자 영역을 구분하고, 구분된 사용자 정보에 대한 거리 정보와 대응되는 사용자의 색상정보를 획득한다. 그리고 획득된 거리와 컬러영역을 3차원 가상공간에 한 정점으로 표현하여 도시된 바처럼, 실공간 정보가 저장된 포인트 클라우드를 구성한다.
그리고, 포인트클라우드의 각 정점에서 렌즈어레이의 각 렌즈의 중심을 지나는 Ray를 생성하고, 생성된 Ray가 지나는 Display Panel과 교차하는 정점에 해당 색상정보를 저장하여 최종 요소영상을 생성한다.
도 1에서 보듯이 깊이 카메라를 통해 생성된 포인트 클라우드 정보는 실영상에 대한 정보를 정점으로 표현한다.
도 2는 종래의 포인트 클라우드를 이용하여 집적 영상을 생성한 결과 화면과 특정 영역을 확대한 그림을 도시한 것이다.
도시된 바와 같이 포인트 클라우드를 이용하여 집적 영상을 생성하면 특정 요소영상에 정점 정보로 생성되는데, 포인트 클라우드에서 집적 영상으로 생성시 정점 정보가 맺혀지지 않은 영역, 즉 픽업실패영역(FPA,Failed Pikcing Area)이 생성된다. 픽업실패영역(FPA,Failed Pikcing Area)은 집적영상 디스플레이에서 화질의 저하 원인이 될 수 있다.
본 발명에서는 집적영상 생성시에 손실되는 실공간 정보의 손실을 줄이기 위해 실공간 정보를 포인트클라우드(PointCloud)가 아닌 폴리곤(Polygon) 기반의 3차원 객체(object) 모델을 생성하여, 기존에 손실되는 정보를 제거하도록 구성된 집적영상 생성기법을 제시하는 것을 목적으로 한다.
상기의 목적을 달성하기 위하여, 본 발명은 집적영상을 생성하는 방법에 있어서, (a) 실공간 물체(real scene)를 깊이 카메라를 통해 실공간 데이터인 깊이영상, 컬러영상을 획득하는 획득단계; (b) 상기 획득한 실공간 데이터를 이용하여 Polygon 오브젝트 모델을 생성하는 Polygon 생성단계; (c) 생성된 Polygon 오브젝트 모델을 바탕으로 요소렌즈를 통해 집적영상을 생성하는 집적영상 생성단계;를 포함하여 구성된 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법을 제시한다.
상기 (b)단계에는, 깊이 카메라를 통해 획득하는 실제 거리정보는 렌즈어레이의 렌즈에 적합한 집적영상을 생성하기 위해 아래의 수식 (1), (2)를 이용하여 렌즈의 유효한 Depth영역으로 변환하는 과정을 더 포함하여, 변환된 좌표를 통해 오브젝트를 생성하며, 생성된 오브젝트는 렌즈의 정보를 통해 집적영상을 생성시 사용하도록 구성된다.
Figure 112016128459987-pat00001
(1)
Figure 112016128459987-pat00002
(2)
(여기서, f와 g, P display 는 요소렌즈의 초점거리(f), 요소렌즈와 디스플레이 패널의 거리(g), 마지막으로 디스플레이 장치의 픽셀크기(P display )이며, 사용자가 입력하는 정보이다.
D x , D y , D z 는 실공간 영역데이터의 정점의 좌표, DI w , DI h , DI value 는 깊이영상의 해상도에 대한 너비와 높이, 깊이정보를 의미한다.)
또한, 상기 (b)단계는, 실공간에 대한 정점 정보를 깊이영상의 해상도만큼 정렬하고, 각 정렬된 정점정보로부터 수직성분과 수평성분을 계산하고, 정점정보를 각 수직성분과 수평성분이 교차되는 점과 대응시키고, 수직성분과 수평성분을 이용하여 평면을 구성하도록 구성된다.
상기 정점정보에서 빈 정점이 존재하는 경우, 해당 정점을 제거하여 평면을 구성하며, 만약, 교차되는 4개의 점이 면을 구성하지 못할 경우에는 해당 평면을 제거하도록 구성된다.
상기 (c)단계는, 각 요소렌즈에서 전체영상을 디스플레이하는 시간을 줄여 전체 집적영상을 생성하는 시간을 단축시키도록 쓰레드(Thread)를 통해 각 요소영상을 생성하였으며, 컴퓨터 그래픽스의 오브젝트 Ray Trace 기법을 이용하여 각 요소렌즈에서 보여지는 Polygon만 선택하여 요소영상을 생성하도록 구성된다.
상기 쓰레드는 각 요소렌즈에서 영상을 획득하는 시간을 단축시키기 위해 요소렌즈의 개수와 동일하게 쓰레드를 생성하였으며, 각 쓰레드에서는 요소렌즈의 해상도와 동일한 Ray Group를 생성후, 각 Ray와 교차하는 평면정보만 가시화하여 생성시간을 향상시키도록 구성된다.
상기 RAY GROUP은 요소렌즈의 실제크기와 모니터의 픽셀크기를 나누어 한 개의 요소렌즈의 픽셀수와 동일한 RAY를 통해 오브젝트의 평면을 선택하여, 한 영상을 획득하는데 필요한 시간을 줄여 전체 요소영상의 생성시간을 단축시키도록 구성된다.
또한, 상기 (c)단계는, 요소렌즈의 수, 초점거리, 크기와 같은 요소렌즈의 정보를 통해 요소영상을 촬영하기 위한 가상공간의 환경을 구축하는 전처리 단계와, 상기 전처리 단계에서 구축된 환경을 통해 실공간 데이터로부터 각 요소영상을 생성하는 획득단계 및 상기 획득단계에서 획득한 요소영상을 통해 각 요소렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하여 사용자화면에 보여주는 가시화 단계를 포함하여 구성된다.
상기 전처리 단계에서는 사용자가 입력하는 요소렌즈의 정보와 렌즈어레이의 정보를 이용하여 요소영상을 생성하기 위한 요소렌즈의 3차원 가상공간의 위치와 시야각을 다음의 수식으로 계산하도록 구성된다.
Figure 112016128459987-pat00003
Figure 112016128459987-pat00004
(여기서, EL(x,y,z)는 생성된 요소렌즈의 3차원 위치이고, LA w 와 LA h 는 렌즈어레이의 너비와 높이, LP w 와 LP h 는 요소렌즈의 너비와 높이, i, j는 생성된 요소렌즈의 순서를 의미한다.
EL fov 는 요소렌즈의 시야각, 마지막으로 f와 g 는 요소렌즈의 초점거리와 요소렌즈와 디스플레이 패널 사이의 거리를 의미한다.)
본 발명인 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법을 통해 다음과 같은 효과를 달성할 수가 있다.
본 발명은 요소영상 생성 기법은 실공간에 대한 정보를 기존의 포인트 클라우드가 아닌 Polygon인 오브젝트 모델을 기반으로 하여 기존의 방식보다 0.5~2db정도의 정확도를 향상하였다.
그리고 제안된 기법은 실공간 정보를 3차원 오브젝트로 변환하여 사용하기 때문에, 일반 PC기반이 아닌 모바일 장비에서도 동일한 동작이 가능하여, 기존의 집적영상 생성기법에 비해 다른 환경으로의 확장성이 높은 기법이다.
다만, 실공간 정보를 3차원 오브젝트를 변환하는 과정이 있어 실시간으로 영상을 생성할 수 없는 문제점을 요소렌즈를 통해 영상을 획득하는 과정을 보다 빠르게 처리할 수 있는 쓰레드를 통한 병렬처리 기법을 통해 개선하여, 요소영상 생성시간을 단축하여 전체 집적영상 생성시간을 단축할 수 있는 효과가 있다.
또한, 깊이 카메라가 실공간에 대한 정보를 획득시 고정된 평면공간정보를 사용하는 것을 이용하여, 실공간 정보를 컴퓨터 그래픽스에서 사용하는 3차원 다각형 모델로 생성하여 기존에 손실되는 정보를 제거하였으며, 집적 영상 생성시간을 단축하기 위해 컴퓨터 그래픽스 기법의 폴리곤 선택 기법을 활용하여 속도개선 효과가 있다.
도 1은 종래의 포인트 클라우드 기반 실영상 집적영상 생성방법에 대해 설명한 도면이다.
도 2는 종래의 포인트 클라우드를 이용하여 집적 영상을 생성한 결과 화면과 특정 영역을 확대한 그림을 도시한 것이다.
도 3은 본 발명의 실시예에 따른 집적영상 생성과정에 대한 계략도를 보여준다.
도 4는 본 발명의 실시예에 따른 집적영상 생성방법에서 획득단계를 나타내는 도면이다.
도 5는 정점집합을 통해 3차원 Polygon모델을 생성하는 두 알고리즘을 나타낸 도면이다.
도 6은 Polygon 오브젝트를 통해 전체 요소영상을 생성하는 단계에 관한 도면이다.
도 7은 Ray Group 기반의 요소영상을 생성 기법의 개념도이다.
도 8은 기존의 종래방식으로 생성한 영상을 나타낸 도면이며, 도 9는 제안된 본 발명의 기법을 이용한 결과영상이다.
도 10은 깊이카메라를 통해 획득한 실 공간 정보영상이다.
도 11은 도 10에서 획득한 결과영상으로 집적영상을 생성한 결과화면이다.
도 12는 도 10에 의한 각 실험에 대한 정확도를 그래프로 표시한 내용이다.
이하 본 발명인 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법에 대해 첨부된 도면을 참조하여 자세하게 설명한다.
실공간 물체(real scene)에 대한 컴퓨터 생성 집적영상을 획득하기 위해 사용하는 길이센서 카메라, 다시 말해 깊이카메라는 포인트 클라우드를 기반으로 되어 있기 때문에 3차원 영상의 재생을 정밀하게 표현하기 어려운 단점이 있다.
본 발명에서는 실제 3차원 공간에서 물체에 대한 데이터를 획득하여 집적영상을 재구성하는 있어서, 영상의 정확성을 높이는 방법으로 폴리곤그리드(polygon grid)기반의 실공간 집적영상 생성기법을 제안한다.
이는 포인트 클라우드 데이터를 3차원 영상으로 변환하는 과정에서 점과 점사이의 정보부족으로 발생하는 FPA(Failed picking area)가 폴리곤 그리드로 변환하는 과정에서 제거되는 원리이다.
제안된 방법에 대한 집적영상 생성에서 실제로 FPA가 현저히 줄었다는 것을 확인하였으며, 이로 인해 생성영상의 정확성 혹은 품질이 향상됨을 실험을 통해 증명하였다.
이하, 본 발명의 폴리곤 기반 실공간 집적영상의 화질 개선 방법에 대해 기술한다.
포인트 클라우드 기반 실공간 집적영상의 생성에서 발생되는 FPA는 포인트 클라우드를 구성하는 정점사이의 값을 채워(Fill)줌으로써 제거할 수 있다.
본 발명에서 제안하는 집적영상 생성 기법은 깊이 카메라를 통해 획득한 정보를 3차원 지형정보를 저장하는 오브젝트 모델인 Polygon 모델로 변환하여 집적영상을 생성하여 빈공간영역인 FPA를 제거하는 기법이다.
도 3은 본 발명의 실시예에 따른 집적영상 생성과정에 대한 계략도를 보여준다.
본 발명의 집적영상 생성 방법은, 깊이 카메라를 통해 실공간 데이터(깊이 영상, 컬러영상)를 획득하는 획득단계와, 획득한 실공간 데이터를 이용하여 폴리곤(Polygon) 모델을 생성하는 폴리곤(Polygon) 생성단계, 마지막으로, 생성된 폴리곤(Polygon) 모델을 바탕으로 집적영상을 생성하는 단계인 집적영상 생성단계로 구성된다.
도 4는 본 발명의 실시예에 따른 집적영상 생성방법에서 획득단계를 나타내는 도면이다.
도시된 바처럼, 먼저, 획득단계에서는 깊이 카메라를 통해 실공간의 물체에 대한 컬러영상(a)과 실제거리정보가 저장된 깊이영상(b)을 가져온다.
깊이 카메라를 통해 획득한 컬러영상(a)과 깊이영상(b)의 해상도는 각 1920x1080과 512x424이다. 깊이영상의 해상도가 컬러영상의 해상도에 비해 매우 낮은 해상도를 가졌기 때문에, 실공간정보는 길이영상(a)와 깊이영상(b)를 매핑한 결과영상(c)에서 보듯이 특정 정점좌표로 저장되고, 결과적으로 이러한 길이영상(a)와 깊이영상(b)를 매핑한 결과영상(c)을 통해 집적영상을 생성할 경우 많은 양의 실공간 정보가 손실된다.
이에, 본 발명의 제안된 기법에서는 손실되는 실공간 정보를 줄이기 위해 깊이카메라에서 획득되는 컬러영상과 깊이영상을 이용하여 Polygon 모델을 생성하여 대응되지 못한 영역을 Polygon으로 변환하여 손실되는 정보를 제거하는 Polygon 생성단계를 추가하도록 구성된다.
폴리곤(Polygon) 생성단계는 컬러영상과 깊이영상, 그리고, 각 깊이영상의 픽셀좌표가 대응하는 컬러영상의 픽셀좌표도 같이 전달하여 컬러영상의 영역에 대응된 Polygon 오브젝트를 생성하였다.
즉, 폴리곤(Polygon) 생성단계는 상기 획득단계에서 깊이 카메라를 통해 획득한 컬러영상과 깊이영상을 이용하여 Polygon 모델을 생성한다.
깊이 카메라는 실공간 정보를 적외선 카메라를 통해 카메라를 기준으로 깊이정보와 사용자 영역을 추출한다. 제안된 기법은 사용자 영역에 해당하는 거리정보를 이용하여 깊이영역을 생성하고, 추출된 사용자 영역을 Polygon 형태의 모델로 생성하였다.
깊이 카메라를 통해 획득한 사용자별 실제 거리정보는 렌즈어레이의 렌즈에 적합한 집적영상을 생성하기 위해 다음 수식 (1), (2)를 이용하여 렌즈의 유효한 Depth영역으로 변환하는 과정이 필요하다.
Figure 112016128459987-pat00005
(1)
Figure 112016128459987-pat00006
(2)
여기서, f와 g, P display 는 요소렌즈의 초점거리(f), 요소렌즈와 디스플레이 패널의 거리(g), 마지막으로 디스플레이 장치의 픽셀크기(P display )이며, 사용자가 입력하는 정보이다.
D x , D y , D z 는 실공간 영역데이터의 정점의 좌표, DI w , DI h , DI value 는 깊이영상의 해상도에 대한 너비와 높이, 깊이정보를 의미한다.
제안된 시스템은 수식(1)과 (2)를 통해 변환된 좌표를 통해 오브젝트를 생성하며, 생성된 오브젝트는 렌즈의 정보를 통해 집적영상을 생성시 사용된다.
일반적으로, 3차원 오브젝트 모델은 정점이 아닌 삼각형으로 구성된다. 주어진 정점들의 집합에 대해 3차원 오브젝트 모델을 사용하기 위해 널리 사용되는 알고리즘으로 삼각화기법의 delaney [] 알고리즘이 있다.
도 5는 정점집합을 통해 3차원 Polygon모델을 생성하는 두 알고리즘을 나타낸 도면이다.
상기 delaney [] 기법은 도 5의 (a)에서 보는 바와 같이 각 정점에서 정점을 포함한 면적(Polygon)의 생성 여부를 판단하기 때문에, 정렬되지 않은 3차원 정점의 정확한 영역(terrain)모델에 대한 생성은 가능하지만, 생성하는데 많은 시간이 소요된다.
일반적으로 3차원 공간에서 n개의 정점 집합에 대한 delaney[] 알고리즘의 삼각화 작업은 O(n2log n)이 소요된다. 이 방법은 제안된 기법에서 모델을 생성하기엔 다소 느리기 때문에 보다 더 빠르게 Polygon 모델을 생성하는 방법이 필요하다.
따라서, 본 발명의 제안된 기법에서는 깊이 카메라에서 획득한 깊이영상이 Grid형식으로 정렬되어 있다는 점을 이용하여 빠르게 Polygon모델을 생성하였다. 깊이카메라를 통해 획득한 깊이영상으로부터 얻어진 정점의 집합은 도면 5의 (b)와 같이 일반적인 형태로 3차원 공간상에 분포되어 있는 것이 아니라 도면 5의 (b)와 같이 이들 정점 데이터를 Grid 형태로 정렬되어 있음을 알 수 있다.
본 발명에서는 이러한 특성을 이용하여 실공간에 대한 Polygon 모델을 생성하는데, 먼저, 실공간에 대한 정점 정보를 깊이영상의 해상도만큼 정렬한다. 그리고, 각 정렬된 정점정보로부터 수직성분과 수평성분을 계산하고, 정점정보를 각 수직성분과 수평성분이 교차되는 점과 대응시킨다. 마지막으로 수직성분과 수평성분을 이용하여 평면을 구성한다.
도면 5의 (b)의 정점(i+1, j+2)와 같이 빈 정점이 존재하는 경우, 해당 정점을 제거하여 평면을 구성하며, 만약, 교차되는 4개의 점이 면을 구성하지 못할 경우에는 해당 평면을 제거한다.
제안된 기법을 통해 3차원 Polygon 영상이 생성되면, 생성된 Polygon 모델은 집적영상을 생성하기 위해 다음단계로 전달된다.
도 6은 Polygon 오브젝트를 통해 전체 요소영상을 생성하는 단계에 관한 도면이다.
집적영상 생성단계는 전 단계를 통해 생성된 Polygon 오브젝트를 도 6과 같은 과정을 통해 전체 요소영상을 생성하는 단계이다. 대부분의 CGII기술은 집적영상(EIA)을 생성하기 위해 가상 요소렌즈(NxN)를 생성하고, 각 요소렌즈를 통해 생성된 영상을 수집하여 집적영상(EIA)를 생성한다.
따라서, 한장의 EIA를 생성하기 위해 N x N번의 영상을 생성해야 하기 때문에 많은 시간이 걸린다.
본 발명에서 제안된 기법은 각 요소렌즈에서 전체영상 display 하는 시간을 줄여 전체 EIA를 생성하는 시간을 단축시켰다. 해당 방법은 Thread를 통해 각 요소영상을 생성하였으며, 컴퓨터 그래픽스의 오브젝트 Ray Trace 기법을 이용하여 각 렌즈에서 보여지는 Polygon만 선택하여 요소영상을 생성하여 총 EIA 생성시간을 단축시켰다.
도 6에서와 같이 제안된 기법은 요소렌즈의 정보(요소렌즈의 수, 초점거리, 크기)를 통해 요소영상을 촬영하기 위한 가상공간의 환경을 구축하는 전처리 단계와, 전처리 단계에서 구축된 환경을 통해 실공간 데이터로부터 각 요소영상을 생성하는 획득단계 및 마지막으로 획득한 요소영상을 사용자화면에 보여주는 가시화 단계로 구성된다.
전처리 단계에서는 사용자가 입력하는 요소렌즈의 정보와 렌즈어레이의 정보를 이용하여 요소영상을 생성하기 위한 요소렌즈의 3차원 가상공간의 위치와 시야각을 계산한다.
Figure 112016128459987-pat00007
Figure 112016128459987-pat00008
여기서, EL(x,y,z)는 생성된 요소렌즈의 3차원 위치이고, LA w 와 LA h 는 렌즈어레이의 너비와 높이, LP w 와 LP h 는 요소렌즈의 너비와 높이, i, j는 생성된 요소렌즈의 순서를 의미한다.
EL fov 는 요소렌즈의 시야각, 마지막으로 f와 g 는 요소렌즈의 초점거리와 요소렌즈와 디스플레이 패널 사이의 거리를 의미한다. 이 수식은 집적영상을 생성하기 위해 초기에 한번만 수행된다.
위 수식을 통해 전처리 단계가 끝나면 제안된 시스템에서는 각 요소렌즈를 통해 생성된 영상을 획득한다.
도 7은 Ray Group 기반의 요소영상을 생성 기법의 개념도이다.
제안된 기법에서는 각 요소렌즈에서 영상을 획득하는 시간을 단축시키기 위해 요소렌즈의 개수와 동일하게 쓰레드를 생성하였으며, 각 쓰레드에서는 도 7에 도시된 바처럼 요소렌즈의 해상도와 동일한 Ray Group를 생성후, 각 Ray와 교차하는 평면정보만 가시화하여 생성시간을 향상시켰다.
여기서, RAY GROUP은 요소렌즈의 실제크기와 모니터의 픽셀크기를 나누어 한 개의 요소렌즈의 픽셀수와 동일한 RAY를 통해 오브젝트의 평면을 선택하여, 한 영상을 획득하는데 필요한 시간을 줄여 전체 요소영상의 생성시간을 단축시켰다.
도 7과 같이 쓰레드에서 요소영상 획득이 끝나면, 각 요소렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하는 것으로 전체 집적영상에 대한 생성과정이 완료된다.
도 8은 기존의 종래방식으로 생성한 영상을 나타낸 도면이며, 도 9는 제안된 본 발명의 기법을 이용한 결과영상이다.
도 9의 경우 생성된 결과를 보면, 도 8과 달리, 요소영상에서 픽업실패영역(FPA)이 삭제되어 보다 질이 향상된 집적영상이 생성된 것을 확인할 수 있다.
본 발명은 실공간 Mesh 기반의 집적영상 생성기법을 통해 기존의 3차원 포인트 클라우드가 아닌 Mesh를 이용하여 집적영상의 질을 높였으며, 집적영상을 생성하기위해 사용된 깊이 카메라와 렌즈어레이, 컴퓨터는 다음과 같다.
Key components Specifications Characteristics
Lens array Focal length 10mm
Number of lenses 30 x 30
Pitch of elemental lens 5mm
Depth camera Resolution of depth information 512 x 424
Resolution of color information 1,920 x 1,080
Computer Resolution of screen 1,920 x 1,080
Pixel pitch of screen 0.1796296 x 0.1796296
본 발명의 제안된 기법은 실공간에 대한 입체영상으로 정확도를 측정하기 위해 여러 종류의 환경에서 깊이카메라를 통해 영상을 획득했다. 그리고, 생성된 영상에 대한 DOF(Depth Of Focus)에 따라 생성되는 영상을 계산하였고, 정확도 비교를 위해 Gang이 제시한 기존기법의 결과물과 제안된 기법의 결과물에 대한 PSNR(Peak Signal-to-Noise Ratio)를 통해 정확도를 측정하였다.
도 10은 깊이카메라를 통해 획득한 실 공간 정보영상이다. 도시된 바를 통해 두 가지 조건을 비교하여 실험을 하였는데, 도 10의 (a)와 (b)는 한 사람이 서로 다른 포즈를 한 영상으로 한 사람의 깊이변화에 따른 정확도를 측정하기 비교하기 위한 실험이고, 도 10의 (c)는 한 사람이 아닌 두 사람이 더 깊은 공간(50cm)에서 제안된 기법에 대한 정확도를 측정하기 위해 실험하였다.
그리고, 도 11은 도 10에서 획득한 결과영상으로 집적영상을 생성한 결과화면으로서, 도시된 바를 보면, 도 11의 (a)는 Gang이 제안한 포인트 클라우드 기반의 집적영상 생성 기법에 대한 결과이고, 도 11의 (b)는 본 발명에서 제안한 방식인 요소영상 영역기반의 집적영상 생성기법에 대한 결과영상이다.
도 11의 (c)와 도 11의 (d)는 도 11의 (a)와 (b)의 영상을 심도(DOF)의 변화(32mm, 43mm, 53mm)에 따라 보여지는 영상을 재구성한 결과이다.
생성된 결과영상에 대해 정확도를 측정하기 위해 도 11의 (c)와 (d)의 영상을 도 10에 대해 PSNR을 계산했다.
도 12는 도 10에 의한 각 실험에 대한 정확도를 그래프로 표시한 내용이다.
도 12에서 보듯이 제안된 기법은 기존에 Gang이 제안했던 방식에 비해 전체적으로 약 0.5~2dB의 정확도를 보였으며, 여러 사람이 있는 것보다 한사람에 대해서 집적영상을 생성했을 때 높은 정확도를 보였으며, 이는 제안된 기법은 획득한 실 공간에 대한 정보를 집적영상이 획득할 수 있는 깊이영역으로 변환하기 때문에 상대적으로 낮은 정확도의 향상을 보였다.
본 발명에서 제안한 요소영상 생성 기법은 실공간에 대한 정보를 기존의 포인트 클라우드가 아닌 Mesh인 오브젝트 모델을 기반으로 하여 기존의 방식보다 0.5~2db정보 정확도를 향상하였다. 여러 사람에 대해 정확도는 0.5dB로 상대적으로 낮은 성능향상이 보였는데, 이는 깊이 카메라를 통해 획득한 실제공간영역을 object space로 변환하는 과정에서 깊이정보가 손실되기 때문이며, 제안된 기법은 한 사람에 대한 깊이정보에 대해선 약 1~2dB의 큰 성능향상을 보였다.
그리고 제안된 기법은 실공간 정보를 3차원 오브젝트로 변환되어 사용되기 때문에, 일반 PC기반이 아닌 모바일 장비에서도 동일한 동작이 가능한 기법이기 때문에, 기존의 집적영상 생성기법에 비해 확장성이 높은 기법이다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

Claims (9)

  1. 집적영상을 생성하는 방법에 있어서,
    (a) 실공간 물체(real scene)를 깊이 카메라를 통해 실공간 데이터인 깊이영상, 컬러영상을 획득하는 획득단계;
    (b) 상기 획득한 실공간 데이터를 이용하여 Polygon 오브젝트 모델을 생성하는 Polygon 생성단계;
    (c) 생성된 Polygon 오브젝트 모델을 바탕으로 요소렌즈를 통해 집적영상을 생성하는 집적영상 생성단계;를 포함하며,
    상기 (c)단계는,
    쓰레드(Thread)를 통해 각 요소영상을 생성하였으며, 컴퓨터 그래픽스의 오브젝트 Ray Trace 기법을 이용하여 각 요소렌즈에서 보여지는 Polygon만 선택하여 요소영상을 생성하도록 구성되고,
    상기 쓰레드는 요소렌즈의 개수와 동일하게 쓰레드를 생성하였으며, 각 쓰레드에서는 요소렌즈의 해상도와 동일한 Ray Group를 생성후, 각 Ray와 교차하는 평면정보만 가시화하는 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법.
  2. 삭제
  3. 제 1항에 있어서, 상기 (b)단계는,
    실공간에 대한 정점 정보를 깊이영상의 해상도만큼 정렬하고, 각 정렬된 정점정보로부터 수직성분과 수평성분을 계산하고, 정점정보를 각 수직성분과 수평성분이 교차되는 점과 대응시키고, 수직성분과 수평성분을 이용하여 평면을 구성하도록 구성된 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법.
  4. 제 3항에 있어서,
    상기 정점정보에서 빈 정점이 존재하는 경우, 해당 정점을 제거하여 평면을 구성하며, 만약, 교차되는 4개의 점이 면을 구성하지 못할 경우에는 해당 평면을 제거하도록 구성된 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법.
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서,
    상기 RAY GROUP은 요소렌즈의 실제크기와 모니터의 픽셀크기를 나누어 한 개의 요소렌즈의 픽셀수와 동일한 RAY를 통해 오브젝트의 평면을 선택하는 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법.
  8. 제 1항에 있어서, 상기 (c)단계는,
    요소렌즈의 수, 초점거리, 크기와 같은 요소렌즈의 정보를 통해 요소영상을 촬영하기 위한 가상공간의 환경을 구축하는 전처리 단계와,
    상기 전처리 단계에서 구축된 환경을 통해 실공간 데이터로부터 각 요소영상을 생성하는 획득단계 및
    상기 획득단계에서 획득한 요소영상을 통해 각 요소렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하여 사용자화면에 보여주는 가시화 단계를 포함하여 구성된 것을 특징으로 하는 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법.
  9. 삭제
KR1020160180913A 2016-12-28 2016-12-28 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법 KR101855370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160180913A KR101855370B1 (ko) 2016-12-28 2016-12-28 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180913A KR101855370B1 (ko) 2016-12-28 2016-12-28 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법

Publications (1)

Publication Number Publication Date
KR101855370B1 true KR101855370B1 (ko) 2018-05-10

Family

ID=62184707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180913A KR101855370B1 (ko) 2016-12-28 2016-12-28 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법

Country Status (1)

Country Link
KR (1) KR101855370B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235146A1 (en) 2009-03-12 2010-09-16 Siemens Product Lifecycle Management Software Inc. System and method for spatial partitioning of cad models
US20100259537A1 (en) 2007-10-12 2010-10-14 Mvtec Software Gmbh Computer vision cad models
WO2012071435A1 (en) 2010-11-24 2012-05-31 Google Inc. Rendering and navigating photographic panoramas with depth information in a geographic information system
US20120306876A1 (en) 2011-06-06 2012-12-06 Microsoft Corporation Generating computer models of 3d objects
KR101425321B1 (ko) * 2013-05-02 2014-08-01 충북대학교 산학협력단 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
US20160379332A1 (en) 2015-06-23 2016-12-29 Freescale Semiconductor, Inc. Apparatus and method for verifying image data comprising mapped texture image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259537A1 (en) 2007-10-12 2010-10-14 Mvtec Software Gmbh Computer vision cad models
US20100235146A1 (en) 2009-03-12 2010-09-16 Siemens Product Lifecycle Management Software Inc. System and method for spatial partitioning of cad models
WO2012071435A1 (en) 2010-11-24 2012-05-31 Google Inc. Rendering and navigating photographic panoramas with depth information in a geographic information system
US20120306876A1 (en) 2011-06-06 2012-12-06 Microsoft Corporation Generating computer models of 3d objects
KR101425321B1 (ko) * 2013-05-02 2014-08-01 충북대학교 산학협력단 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
US20160379332A1 (en) 2015-06-23 2016-12-29 Freescale Semiconductor, Inc. Apparatus and method for verifying image data comprising mapped texture image data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"경계라인 제약조건을 이용한 깊이 맵 기반 메쉬 모델링", 한국정보과학회 학술발표논문집 제32권 제2호(2005)*
"원격 작업을 위한 3 차원 점군 데이터기반의 실시간 폴리곤 생성 및 텍스처 맵핑 기법", 제어로봇시스템학회 논문지 제19권 제10호(2013.10.)*

Similar Documents

Publication Publication Date Title
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
JP2009080578A (ja) 多視点データ生成装置、方法及びプログラム
CA2813742A1 (en) Rapid 3d modeling
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
WO2019065536A1 (ja) 再構成方法および再構成装置
JP2016537901A (ja) ライトフィールド処理方法
CN106683163B (zh) 一种视频监控的成像方法及系统
US11961250B2 (en) Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method, and image display method
KR20130003135A (ko) 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US20210217225A1 (en) Arbitrary view generation
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
TW201921318A (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
WO2012140397A2 (en) Three-dimensional display system
WO2020184174A1 (ja) 画像処理装置および画像処理方法
JP2006163547A (ja) 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
KR101790720B1 (ko) 실 영상의 지형 렌더링을 이용한 집적 영상 생성 방법 및 이를 기록한 기록 매체
KR101855370B1 (ko) 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법
CN108182702B (zh) 基于深度图像采集设备的实时三维建模方法及系统
CN115841539A (zh) 一种基于可视外壳的三维光场生成方法和装置
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
CN114332356A (zh) 一种虚实画面结合方法和装置
JP6768431B2 (ja) 画像生成装置及びプログラム
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant