KR101790720B1

KR101790720B1 - Method for generating integrated image using terrain rendering of real image, and recording medium thereof

Info

Publication number: KR101790720B1
Application number: KR1020160038160A
Authority: KR
Inventors: 류관희; 정지성; 송민호
Original assignee: 충북대학교 산학협력단
Priority date: 2016-03-30
Filing date: 2016-03-30
Publication date: 2017-10-26
Also published as: KR20170111897A

Abstract

본 발명의 깊이 카메라를 이용하여 집적 영상을 생성하는 시스템에서의 집적 영상 생성 방법에서, 깊이 카메라를 통해 실(Real) 공간에 대한 3D(Three Dimension) 데이터를 획득하는 단계, 상기 3D 데이터를 3차원 지형 정보를 저장하는 오브젝트(Object) 모델인 터레인(Terrain) 모델로 변환하는 단계 및 상기 터레인 모델을 이용하여 3차원 집적 영상(integrated image)를 구성하는 요소 영상(elemental image)을 생성하는 단계를 포함한다.
본 발명에 의하면 실 영상의 지형 렌더링 기술을 이용하여 집적 영상을 생성함으로써, 픽업 실패 영역을 제거하여 무안경식 3D 영상의 화질을 개선할 수 있다는 효과가 있다. In an integrated image generation method in a system for generating an integrated image using a depth camera of the present invention, there is provided an integrated image generation method comprising: acquiring 3D (Three Dimension) data for a real space through a depth camera; Converting the terrain model into an object model for storing terrain information and generating an elemental image constituting a three-dimensional integrated image using the terrain model; .
According to the present invention, an integrated image is generated by using a terrain rendering technique of a real image, thereby improving the image quality of a non-fixed 3D image by removing a pickup failure region.

Description

TECHNICAL FIELD [0001] The present invention relates to a method of generating an integrated image using terrain rendering of a real image and a recording medium recording the same,

본 발명은 집적 영상 생성 방법에 관한 것으로서, 더욱 상세하게는 무안경식 3D(three-dimension) 영상의 화질을 개선한 집적 영상 생성 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an integrated image generation method, and more particularly, to an integrated image generation method in which an image quality of a three-dimensional image is improved.

평면 영상으로부터 3차원의 깊이감과 입체감을 느낄 수 있도록 하는 3차원 영상 구현기술은 디스플레이(display) 등의 직접적인 관련분야를 비롯해서 가전이나 통신 산업은 물론 우주항공, 예술 산업, 자동차 사업 분야 등에 광범위하게 영향을 미치고 있으며, 그 기술적 파급효과는 현재 각광받고 있는 HDTV(High Definition Television) 이상이 될 것으로 기대되고 있다.Three-dimensional image realization technology that enables three-dimensional depth and stereoscopic feeling from plane image to be realized can be applied to a wide range of fields such as display and the like as well as home and communication industries as well as aerospace, And its technical ripple effects are expected to be more than HDTV (High Definition Television), which is currently in the spotlight.

인간이 깊이감과 입체감을 느끼는 요인으로 가장 중요하게는 두 눈 사이 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 3차원 영상 구현기술 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원표현방식(holographic type), 입체감표현방식(stereoscopic type)으로 구분된다.The most important factor for human beings to feel depth and stereoscopic effect is the binocular disparity due to the interval between the two eyes, but there is also a deep relationship with the psychological and memory factors. Therefore, A three dimensional representation method (holographic type), and a stereoscopic type (stereoscopic type) based on whether three-dimensional image information of the three-dimensional image can be provided.

부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이 방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.The volume expression method is a method for making the perspective of the depth direction to be perceived by the psychological factors and the suction effect. It is a three-dimensional computer graphic that displays the perspective method, overlapping, shading and contrast, So-called "IMAX" movies, which cause a phenomenon of optical illusion, such as entering a space, by providing a large screen.

가장 완전한 입체영상 구현기술이라 알려져 있는 3차원 표현방식은 레이저광 재생 홀로그래피 내지 백색광 재생 홀로그래피로 대표될 수 있다.The three-dimensional representation known as the most complete stereoscopic imaging technique can be represented by laser light reproduction holography or white light reproduction holography.

그리고 입체감표현방식은 양안(兩眼)의 생리적 요인을 이용하는 입체감을 느끼는 방식으로, 구체적으로 약 65㎜정도 떨어져 존재하는 인간의 좌우안(左右眼)에 시차정보가 포함된 평면의 연관영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 스테레오그라피(stereography)를 이용한 것이다. 이러한 입체감표현방식은 다안상 표시방식이라 불리며, 실질적인 입체감 생성 위치에 따라 관찰자 측의 특수 안경을 이용하는 안경방식 또는 표시면 측의 패럴랙스 베리어(parallax barrier)나 렌티큘러(lenticular) 또는 인테그럴(integral) 등의 렌즈어레이(lens array)를 이용하는 무안경 방식으로 구분될 수 있다.In addition, the three-dimensional expression system is a method of feeling a three-dimensional feeling using physiological factors of both eyes. Specifically, a plane-related image including parallax information in the right and left eyes of a human being, In the case of brain fusion, the ability to generate spatial information before and after the display surface in order to sense the stereoscopic effect, that is, stereography, is used. This stereoscopic effect expression system is called a multi-view display system. Depending on the position of actual stereoscopic effect generation, a spectacle system using special glasses on the observer side or a parallax barrier, a lenticular, or an integral system on the display surface side, And a non-eyeglass system using a lens array such as a lens array.

부피표현방식 중 하나인 집적영상방식은, 실제 3차원 대상물에서 나오는 광의 분포 및 휘도와 동일한 광특성을 재현함으로써 실제 3차원 대상물이 없더라도 가상의 3차원 입체 영상을 인식하도록 한다.The integrated image method, which is one of the volumetric representation methods, reproduces the optical characteristics that are the same as the distribution and luminance of the light emitted from the actual three-dimensional object, thereby allowing the virtual three-dimensional stereoscopic image to be recognized even if there is no actual three-dimensional object.

집적 영상(Integrated image) 방식은 1908년 립만(Lippmann)에 의해 처음 제안된 기술로서, 곤충의 눈과 같이 여러 개의 작은 렌즈를 이용하여 입체 영상을 획득 및 생성하는 기술이다. The integrated image method was first proposed by Lippmann in 1908 and is a technique for acquiring and generating a stereoscopic image using several small lenses such as an insect's eye.

집적 영상 기술은 다른 무안경식 입체 영상 기술과 달리 입체 영상을 생성 과정과 재생하는데 필요한 장비가 적으며, 실행 단계가 상대적으로 간단하고, 수평 시차 뿐만 아니라 수직 시차를 제공하기 때문에, 앞으로 입체 영상 디스플레이 기술로 발전할 가능성이 있는 기술이다. In contrast to other non-anisotropic stereoscopic imaging technologies, the integrated imaging technology requires fewer equipment to generate and reproduce stereoscopic images. Since the execution steps are relatively simple and provide vertical parallax as well as horizontal parallax, Is a technology that is likely to evolve.

집적 영상 디스플레이 방식은 크게 영상 획득 단계(pick up)와 영상 재생 단계로 구분한다. The integrated image display method is largely divided into an image acquisition step (pick up) and an image reproduction step.

영상 획득 단계는 3차원 객체의 다양한 영상정보들이 렌즈 어레이(lens array)를 통과한 후 저장된다. 이때 저장된 영상은 요소 영상(Elemental Image)으로서 3차원 재생을 위해 이용된다. The image acquisition step stores various image information of the three-dimensional object after passing through a lens array. At this time, the stored image is used as an elemental image for three-dimensional reproduction.

그리고, 영상 재생 단계는 영상 획득 단계의 역과정으로서, 액정 표시 시스템과 같은 영상 재생 장치에서 요소 영상이 표시되고, 요소 영상의 영상 정보는 렌즈 어레이를 통과하여 공간상에 3차원 영상으로 재생된다.The image reproduction step is an inverse process of the image acquisition step, in which an element image is displayed in an image reproduction apparatus such as a liquid crystal display system, and image information of an element image is reproduced as a three-dimensional image through a lens array.

도 1은 종래 정점 기반 집적 영상 생성 기법을 설명하기 위한 도면이다. FIG. 1 is a view for explaining a conventional vertex-based integrated image generation technique.

깊이 카메라를 이용한 실 영상 정점기반 집적 영상 생성 기법은 3차원 가상 공간에 가상의 렌즈어레이와 결과 영상을 저장하는 공간과 깊이 카메라를 통해 획득한 실 공간 정보를 정렬하고, 실 공간에 대한 정점 정보를 기준으로 집적 영상을 생성하는 과정이다. The real image vertex-based integrated image generation technique using depth camera aligns the real space information acquired through the depth camera and the space storing the virtual lens array and the result image in the three-dimensional virtual space, and vertex information about the real space It is a process of generating an integrated image as a reference.

도 1에서 보는 바와 같이, 깊이 카메라에서 획득한 포인트 클라우드(Point cloud) 정보는 실 영상에 대한 정보를 정점으로 표현되기 때문에 손실되는 정보가 많다는 문제점이 있다. As shown in FIG. 1, the point cloud information acquired by the depth camera has a problem that there is a lot of information lost because the information about the real image is represented by vertexes.

도 2는 종래 정점 기반 집적 영상 생성 기법의 픽업 실패 영역을 보여주는 도면이다. FIG. 2 is a diagram illustrating a pick-up failure region of a conventional vertex-based integrated image generation technique.

도 2를 참조하면, 결과 영상에서 검정색의 특정 선분이 보여지는 것을 확인할 수가 있는데, 해당 부분은 포인트 클라우드에서 집적 영상으로 생성시 정점 정보가 맺혀지지 않은 부분이다. 이러한 부분을 픽업실패영역(Failed Pikcing Area)이라 한다. Referring to FIG. 2, it can be seen that a specific line segment of black is shown in the resultant image, and the corresponding portion is a portion in which vertex information is not formed when an integrated image is generated in a point cloud. Such a portion is referred to as a " Failed Piking Area ".

대한민국 공개특허 10-2009-0002662Korean Patent Publication No. 10-2009-0002662

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 기존의 정점기반 집적 영상 생성 기법에서 발생하는 픽업 실패 영역을 제거하기 위하여, 실공간 정보를 터레인(Terrain) 모델로 변환하여 집적 영상을 생성하는 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a method and apparatus for converting a real space information into a terrain model to remove a pickup failure region generated in a conventional vertex- And a method for generating the same.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 깊이 카메라를 이용하여 집적 영상을 생성하는 시스템에서의 집적 영상 생성 방법에서, 깊이 카메라를 통해 실(Real) 공간에 대한 3D(Three Dimension) 데이터를 획득하는 단계, 상기 3D 데이터를 3차원 지형 정보를 저장하는 오브젝트(Object) 모델인 터레인(Terrain) 모델로 변환하는 단계 및 상기 터레인 모델을 이용하여 3차원 집적 영상(integrated image)를 구성하는 요소 영상(elemental image)을 생성하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of generating an integrated image in a system for generating an integrated image using a depth camera of the present invention, the method comprising: acquiring 3D (Three Dimension) data for a real space through a depth camera; , Transforming the 3D data into a terrain model, which is an object model for storing 3D terrain information, and converting the terrain model into an element image elemental image).

상기 깊이 카메라를 통해 실 공간에 대한 3D(Three Dimension) 데이터를 획득하는 단계에서, 상기 깊이 카메라를 통해 실 공간에 대해 깊이(depth) 영상(image) 데이터와 컬러(color) 영상 데이터를 획득하고, 상기 깊이 영상 데이터의 거리 정보를 3차원 공간의 정점들로 표현한 포인트 클라우드 데이터(Point Cloud Data)로 저장할 수 있다. Acquiring depth image data and color image data with respect to the real space through the depth camera in the step of acquiring 3D (Three Dimension) data for the real space through the depth camera, The distance information of the depth image data may be stored as point cloud data expressed by vertices of the three-dimensional space.

상기 터레인(Terrain) 모델로 변환하는 단계에서, 상기 포인트 클라우드 데이터를 통해 실 공간 정보를 획득하고, 획득한 실 공간 정보를 3차원 공간으로 변환하며, 변환된 3차원 공간에서 텍스쳐(texture) 매핑(mapping)을 통해 각 정점과 대응되는 컬러 이미지의 픽셀 좌표를 계산하고, 각 포인트 클라우드의 정점에서 가장 인접한 정점인 이웃 정점을 이용하여 다각형(Polygon) 평면을 생성하고, 생성된 각 평면에 대해 텍스쳐 매핑을 통해 컬러가 있는 평면으로 변환할 수 있다. In the conversion to the terrain model, real space information is acquired through the point cloud data, the acquired real space information is converted into a three-dimensional space, and texture mapping is performed in the converted three- a pixel coordinate of a color image corresponding to each vertex is calculated through mapping, a polygon plane is generated using neighbor vertices that are closest vertexes of vertices of each point cloud, It can be converted to a colored plane through mapping.

상기 요소 영상(elemental image)을 생성하는 단계에서, 가상 요소 렌즈(Virtual elemental lens)를 생성하고, 상기 평면 정보를 이용하여 각 가상 요소 렌즈에서 획득된 영상을 처리하여 요소 영상을 생성하고, 각 가상 요소 렌즈에서 생성된 요소 영상을 통합하여 집적 영상을 생성할 수 있다. In the step of generating the elemental image, a virtual element lens is created, an image obtained by each virtual element lens is processed by using the plane information to generate an element image, An integrated image can be generated by integrating element images generated from the element lens.

본 발명의 일 실시예에서 렌즈의 개수, 렌즈의 크기, 렌즈의 초점거리를 포함하는 상기 가상 요소 렌즈의 속성 정보를 미리 입력받고, 입력된 상기 가상 요소 렌즈의 속성 정보를 이용하여 3차원 공간 위치 및 시야각을 포함하는 가상 요소 렌즈 정보를 생성할 수 있다. In one embodiment of the present invention, the virtual component lens attribute information including the number of lenses, the size of the lens, and the focal length of the lens is input in advance, and the attribute information of the virtual component lens, And virtual field lens information including the viewing angle.

상기 각 가상 요소 렌즈에서 획득된 영상을 처리하여 요소 영상을 생성하는 것은, 가상 요소 렌즈의 수에 맞게 쓰레드(Thread)를 생성하고, 생성된 각 쓰레드에서 각 가상 요소 렌즈의 뷰매트릭스(Viewmatrix)를 계산하고, 이에 따라 픽킹 프로세스(Picking Process)를 수행하고, 그 결과 요소 영상을 생성할 수 있다. In order to process an image obtained by each virtual element lens to generate an element image, a thread is generated according to the number of virtual element lenses, and a view matrix of each virtual element lens in each generated thread is calculated The picking process is performed, and as a result, an element image can be generated.

본 발명에서는 모든 쓰레드에서의 요소 영상 생성 작업이 완료될 때까지 요소 영상 생성 프로세스가 중단되지 않는다. In the present invention, the element image generation process is not interrupted until the element image generation operation in all the threads is completed.

모든 쓰레드에서 요소 영상 생성 작업이 완료되면, 생성된 요소 영상들을 각 가상 요소 렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하는 방식으로 집적 영상을 생성할 수 있다. When the element image generation operation is completed in all the threads, the generated element images are rearranged to be the same as the positions of the respective virtual element lenses to generate an aggregate image.

본 발명에 의하면 실 영상의 지형 렌더링 기술을 이용하여 집적 영상을 생성함으로써, 픽업 실패 영역을 제거하여 무안경식 3D 영상의 화질을 개선할 수 있다는 효과가 있다. According to the present invention, an integrated image is generated by using a terrain rendering technique of a real image, thereby improving the image quality of a non-fixed 3D image by removing a pickup failure region.

도 1은 종래 정점 기반 집적 영상 생성 기법을 설명하기 위한 도면이다.
도 2는 종래 정점 기반 집적 영상 생성 기법의 픽업 실패 영역을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 집적 영상 생성 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 집적 영상 생성 방법의 각 단계를 상세하게 기술한 도면이다.
도 5는 본 발명의 일 실시예에 따른 실 공간 터레인 모델 생성 기법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 터레인 모델 생성 기법에 의해 생성된 오브젝트 영상을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 터레인 모델 기반 요소 영상 생성 기법을 설명하기 위한 도면이다.
도 8은 종래 방식에 의해 생성된 요소 영상과, 본 발명의 일 실시예에 따른 터레인 모델 기반 요소 영상 생성 기법에 의해 생성된 요소 영상을 비교한 도면이다. FIG. 1 is a view for explaining a conventional vertex-based integrated image generation technique.
FIG. 2 is a diagram illustrating a pick-up failure region of a conventional vertex-based integrated image generation technique.
3 is a flowchart illustrating an integrated image generation method according to an exemplary embodiment of the present invention.
FIG. 4 is a detailed view illustrating each step of the method of generating an integrated image according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram for explaining a generation method of a real space terrain model according to an embodiment of the present invention.
6 is a diagram illustrating an object image generated by a terrain model generation technique according to an embodiment of the present invention.
FIG. 7 is a diagram for explaining a terrain model-based element image generating method according to an embodiment of the present invention.
FIG. 8 is a diagram comparing an element image generated by a conventional method with an element image generated by a terrain model-based element image generating technique according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명에서 집적 영상 생성 방법을 수행하는 주체는 깊이 카메라를 포함하는 집적 영상 생성 시스템으로서, 컴퓨터를 전반적으로 제어하는 제어부 또는 제어 명령 신호 및 일련의 프로그램을 처리하는 중앙처리장치(CPU, Central Processing Unit)일 수 있다. 즉, 본 발명의 집적 영상 생성 방법은 일종의 소프트웨어인 알고리즘 또는 로직으로 구성되며, 소프트웨어 알고리즘은 컴퓨터의 제어부 또는 중앙처리장치에서 실행될 수 있다.In the present invention, the integrated image generation method includes a control unit for controlling the entire computer or a central processing unit (CPU) for processing a control command signal and a series of programs, ). That is, the integrated image generation method of the present invention is composed of an algorithm or logic, which is a type of software, and the software algorithm can be executed in the control unit of the computer or the central processing unit.

도 3은 본 발명의 일 실시예에 따른 집적 영상 생성 방법을 보여주는 흐름도이다. 3 is a flowchart illustrating an integrated image generation method according to an exemplary embodiment of the present invention.

도 3을 참조하면, 깊이 카메라를 통해 실(Real) 공간에 대한 3D(Three Dimension) 데이터를 획득한다(S310). Referring to FIG. 3, three dimensional (3D) data for a real space is acquired through a depth camera (S310).

그리고, 3D 데이터를 3차원 지형 정보를 저장하는 오브젝트(Object) 모델인 터레인(Terrain) 모델로 변환한다(S320). Then, the 3D data is converted into a terrain model, which is an object model for storing 3D terrain information (S320).

그리고, 터레인 모델을 이용하여 3차원 집적 영상(integrated image)를 구성하는 요소 영상(elemental image)을 생성한다(S330).Then, an elemental image constituting a three-dimensional integrated image is generated using the terrain model (S330).

그리고, 요소 영상을 디스플레이한다(S340).Then, the element image is displayed (S340).

도 4는 본 발명의 일 실시예에 따른 집적 영상 생성 방법의 각 단계를 상세하게 기술한 도면이다. FIG. 4 is a detailed view illustrating each step of the method of generating an integrated image according to an exemplary embodiment of the present invention.

도 4를 참조하면, 깊이 카메라를 통해 실 공간에 대한 3D(Three Dimension) 데이터를 획득하는 단계(S310)에서, 깊이 카메라(401)를 통해 실 공간에 대해 깊이(depth) 영상(image) 데이터와 컬러(color) 영상 데이터를 획득한다. 그리고, 깊이 영상 데이터의 거리 정보를 3차원 공간의 정점들로 표현한 포인트 클라우드 데이터(Point Cloud Data)(403)로 저장한다. Referring to FIG. 4, in step S310 of acquiring 3D (Three Dimension) data for a real space through a depth camera, depth image data and real image data And acquires color image data. Then, the distance information of the depth image data is stored as point cloud data (Point Cloud Data) 403 expressed by the vertices of the three-dimensional space.

그리고, 터레인(Terrain) 모델로 변환하는 단계(S320)에서, 포인트 클라우드 데이터(403)를 통해 실 공간 정보를 획득하고, 획득한 실 공간 정보를 3차원 공간으로 변환한다(405). 그리고, 변환된 3차원 공간에서 텍스쳐(texture) 매핑(mapping)을 통해 각 정점과 대응되는 컬러 이미지의 픽셀 좌표를 계산한다(407). 그리고, 각 포인트 클라우드의 정점에서 가장 인접한 정점인 이웃 정점을 이용하여 다각형(Polygon) 평면을 생성하고(409), 생성된 각 평면에 대해 텍스쳐 매핑을 통해 컬러가 있는 평면으로 변환한다(411). Then, in step S320 of converting into a terrain model, real space information is acquired through the point cloud data 403, and the acquired real space information is converted into a three-dimensional space (405). Then, pixel coordinates of the color image corresponding to each vertex are calculated through texture mapping in the converted three-dimensional space (407). Then, a polygon plane is generated (409) by using the closest vertex of the vertex of each point cloud (409), and the generated plane is converted into a color plane by texture mapping (411).

그리고, 요소 영상(elemental image)을 생성하는 단계(S330)에서, 가상 요소 렌즈(Virtual elemental lens)를 생성하고(413), 평면 정보를 이용하여 각 가상 요소 렌즈에서 획득된 영상을 처리하여 요소 영상을 생성하고(415), 요소 영상 생성 프로세스를 반복하여, 각 가상 요소 렌즈에서 생성된 요소 영상을 통합하여 집적 영상을 생성한다(417). In step S330 of generating an elemental image, a virtual elemental lens is created (step 413), and the image obtained in each virtual element lens is processed using the plane information, (Step 415). The element image generation process is repeated to generate an integrated image by integrating the element images generated in the respective virtual element lenses (step 417).

본 발명의 일 실시예에서 렌즈의 개수, 렌즈의 크기, 렌즈의 초점거리를 포함하는 가상 요소 렌즈의 속성 정보를 미리 입력받고, 입력된 가상 요소 렌즈의 속성 정보를 이용하여 3차원 공간 위치 및 시야각을 포함하는 가상 요소 렌즈 정보를 생성할 수 있다. In one embodiment of the present invention, attribute information of the virtual element lens including the number of lenses, the size of the lens, and the focal length of the lens is input in advance, and the three-dimensional spatial position and the viewing angle Can be generated.

본 발명에서 각 가상 요소 렌즈에서 획득된 영상을 처리하여 요소 영상을 생성하는 것은, 가상 요소 렌즈의 수에 맞게 쓰레드(Thread)를 생성하고, 생성된 각 쓰레드에서 각 가상 요소 렌즈의 뷰매트릭스(Viewmatrix)를 계산하고, 이에 따라 픽킹 프로세스(Picking Process)를 수행하고, 그 결과 요소 영상을 생성하는 과정으로 이루어진다. In the present invention, an element image is generated by processing an image obtained from each virtual element lens by generating a thread corresponding to the number of virtual element lenses, and generating a view matrix of each virtual element lens ), Performs a picking process on the picking process, and generates an element image as a result.

모든 쓰레드에서 요소 영상 생성 작업이 완료되면, 생성된 요소 영상들을 각 가상 요소 렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하는 방식으로 집적 영상을 생성한다. When the element image generation operation is completed in all the threads, the generated element images are rearranged to be the same as the positions of the respective virtual element lenses, and an integrated image is generated by generating the entire element image.

도 5는 본 발명의 일 실시예에 따른 실 공간 터레인 모델 생성 기법을 설명하기 위한 도면이다. FIG. 5 is a diagram for explaining a generation method of a real space terrain model according to an embodiment of the present invention.

도 5를 참조하면, 본 발명에서 제안된 기법은 집적영상을 생성하기 위해 깊이 카메라를 통해 획득한 컬러영상과 깊이영상을 3차원 오브젝트 모델로 변환하는 것이다. Referring to FIG. 5, the technique proposed in the present invention converts a color image and a depth image acquired through a depth camera into a three-dimensional object model to generate an integrated image.

깊이 카메라는 실 공간 정보 획득시, 적외선이 물체에 반사되는 정보를 통해 깊이 카메라에서 실 공간까지의 실제 거리정보와, 배경과 오브젝트에 해당하는 유저 인덱스(User-Index) 정보를 저장한다. The depth camera stores actual distance information from the depth camera to the real space, and user-index information corresponding to the background and the object through the information that the infrared ray is reflected on the object when acquiring the real space information.

본 발명의 집적 영상 생성 시스템은 유저 인덱스(User-Index) 정보를 통해 오브젝트에 대한 획득한 깊이 정보를 추출하고, 추출된 깊이 정보를 이용하여 가상공간의 지형정보를 가시화 할 수 있는 터레인(Terrain) 모델로 생성한다. The integrated image generation system of the present invention extracts acquired depth information on an object through user-index information and generates terrain information for visualizing the terrain information of the virtual space using the extracted depth information. ) Model.

도 6은 본 발명의 일 실시예에 따른 터레인 모델 생성 기법에 의해 생성된 오브젝트 영상을 예시한 도면이다. 6 is a diagram illustrating an object image generated by a terrain model generation technique according to an embodiment of the present invention.

도 6에서 (a)는 깊이 카메라에서 획득한 깊이 영상을 포인트 클라우드로 3차원 공간에 도시한 것이고, (b)는 (a)의 일부 영역을 확대한 도면이고, (c)는 (b)의 정보를 실 공간 터레인 모델로 변환한 도면이며, (d)는 본 발명에서 제안된 기법을 통해 생성된 3차원 오브젝트 영상이다. 6A is a view showing a depth image acquired by a depth camera in a point cloud in a three-dimensional space, FIG. 6B is an enlarged view of a part of the area in FIG. 6A, (D) is a three-dimensional object image generated by the technique proposed in the present invention.

도 7은 본 발명의 일 실시예에 따른 터레인 모델 기반 요소 영상 생성 기법을 설명하기 위한 도면이다. FIG. 7 is a diagram for explaining a terrain model-based element image generating method according to an embodiment of the present invention.

도 7을 참조하면, 가상 렌즈 어레이 평면(710)과 요소 영상 평면(720)이 도시되어 있으며, 쓰레드에서 요소영상 획득이 끝나면, 각 요소렌즈의 위치와 동일하게 재배열하여 전체 요소 영상을 생성하는 것으로 전체 집적영상을 생성하게 된다. Referring to FIG. 7, the virtual lens array plane 710 and the element image plane 720 are shown. When the element image acquisition is completed in the thread, the entire element image is generated by rearranging the positions of the respective element lenses So that the entire integrated image is generated.

도 8은 종래 방식에 의해 생성된 요소 영상과, 본 발명의 일 실시예에 따른 터레인 모델 기반 요소 영상 생성 기법에 의해 생성된 요소 영상을 비교한 도면이다. FIG. 8 is a diagram comparing an element image generated by a conventional method with an element image generated by a terrain model-based element image generating technique according to an embodiment of the present invention.

도 8에서 (a)는 종래 포인트 클라우드 기반에 의해 생성된 요소 영상이고, (b)는 본 발명의 일 실시예에 따른 터레인 모델 기반 요소 영상 생성 기법에 의해 생성된 요소 영상이다. 8 (a) is an element image generated by a conventional point cloud based method, and FIG. 8 (b) is an element image generated by a terrain model based element image generating method according to an embodiment of the present invention.

도 8을 참조하면, 본 발명에 의한 요소 영상에서 픽업 실패 영역이 삭제되어 보다 질이 향상된 집적영상이 생성된 것을 확인할 수 있다. Referring to FIG. 8, it can be seen that the pickup failure region is deleted from the element image according to the present invention, and an integrated image with improved quality is generated.

한편, 본 발명의 실시예에 따른 집적 영상 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the integrated image generation method according to the embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있다.For example, the computer-readable recording medium includes a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , And optical data storage devices.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.In addition, the computer readable recording medium may be distributed and executed in a computer system connected to a computer communication network, and may be stored and executed as a code readable in a distributed manner.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

401 깊이 카메라 403 포인트 클라우드 데이터401 depth camera 403 point cloud data

Claims

In an integrated image generation method in a system for generating an integrated image using a depth camera,
Acquiring 3D (Three Dimension) data for a real space through a depth camera;
Converting the 3D data into a terrain model that is an object model for storing 3D terrain information; And
And generating an elemental image constituting a three-dimensional integrated image using the terrain model,
Acquiring depth image data and color image data with respect to the real space through the depth camera in the step of acquiring 3D (Three Dimension) data for the real space through the depth camera, Storing distance information of the depth image data as point cloud data expressed by vertices of a three-dimensional space,
In the conversion to the terrain model, real space information is acquired through the point cloud data, the acquired real space information is converted into a three-dimensional space, and texture mapping is performed in the converted three- a pixel coordinate of a color image corresponding to each vertex is calculated through mapping, a polygon plane is generated using neighbor vertices that are closest vertexes of vertices of each point cloud, Mapping to a colored plane,
In the step of generating the elemental image, a virtual element lens is created, an image obtained by each virtual element lens is processed by using the plane information to generate an element image, An elemental image generated from the element lens is integrated to generate an integrated image,
Wherein the virtual element lens includes attribute information of the virtual element lens including the number of lenses, the size of the lens, and the focal length of the lens in advance, and using the input attribute information of the virtual element lens, Generates lens information,
In order to process an image obtained by each virtual element lens to generate an element image, a thread is generated according to the number of virtual element lenses, and a view matrix of each virtual element lens in each generated thread is calculated And performs a picking process accordingly. As a result, an element image is generated,
The element image generation process is not interrupted until the element image generation operation in all the threads is completed,
Wherein when the element image generation operation is completed in all the threads, the generated element images are rearranged to be the same as the positions of the respective virtual element lenses to generate an overall element image.

delete

A computer-readable recording medium storing a program capable of executing the method of claim 1 by a computer.