KR20230087795A - Apparatus and method for producting and displaying integral image capable of 3d/2d conversion - Google Patents
Apparatus and method for producting and displaying integral image capable of 3d/2d conversion Download PDFInfo
- Publication number
- KR20230087795A KR20230087795A KR1020210176339A KR20210176339A KR20230087795A KR 20230087795 A KR20230087795 A KR 20230087795A KR 1020210176339 A KR1020210176339 A KR 1020210176339A KR 20210176339 A KR20210176339 A KR 20210176339A KR 20230087795 A KR20230087795 A KR 20230087795A
- Authority
- KR
- South Korea
- Prior art keywords
- video image
- integrated video
- point cloud
- virtual
- integrated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 32
- 230000003190 augmentative effect Effects 0.000 claims description 44
- 230000010354 integration Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003416 augmentation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
Abstract
본 발명의 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 선택된 모드에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 디스플레이부;를 포함하는 것을 특징으로 한다.An object of the present invention is to generate and reproduce a 3D integrated video image or a 2D integrated video image according to a selected mode when generating an integrated video image by locating the 3D point cloud and a virtual pinhole camera array in a virtual 3D space. It is to provide an integrated image generating and reproducing apparatus and method capable of 3D/2D conversion.
In order to achieve the above object, an integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition unit for acquiring a 3D point cloud; An integrated video image generator for generating a 3D integrated video image or a 2D integrated video image according to a user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space; and a display unit that reproduces the 3D integrated video image as a 3D stereoscopic image and reproduces the 2D integrated video image as a 2D flat image.
Description
본 발명은 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법에 관한 것으로, 더욱 상세하게는 가상의 3D 공간에 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상을 제작 및 재생하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법에 관한 것이다.The present invention relates to an integrated image generating and reproducing apparatus capable of 3D/2D conversion and a method thereof, and more particularly, to produce and reproduce integrated images by locating a 3D point cloud and a virtual pinhole camera array in a virtual 3D space. It relates to an integrated image generating and reproducing apparatus capable of 3D/2D conversion and a method therefor.
일반적으로, 집적영상(Integral-Imaging:InI) 기술은 렌즈 어레이를 이용하여 물체로부터의 영상 정보를 여러 개의 단위 영상(image)으로 구성된 집적영상으로 영상을 저장한 후, 이 집적영상을 다시 렌즈 어레이를 통해 구현함으로써 물체의 모든 정보를 재현할 수 있는 기술이다.In general, Integral-Imaging (InI) technology uses a lens array to store image information from an object as an integrated image composed of several unit images, and then converts the integrated image back into a lens array. It is a technology that can reproduce all the information of an object by implementing it through
이 집적영상 기술은 1908년 가브리엘 리프만(Gabriel Lippmann) 교수에 의해 처음 제안 되었다.This integrated image technology was first proposed by Professor Gabriel Lippmann in 1908.
이 집적영상 기술은 입체영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수평, 수직 시차를 제공할 수 있어, 시각적 피로감이 없으며 연속적인 영상 재현이 가능하다는 장점이 있어서 최근에 많은 연구가 진행되고 있다.This integrated imaging technology does not require glasses or other tools to observe 3D images, and can provide continuous horizontal and vertical parallax within a certain viewing angle rather than a point of view, so there is no visual fatigue and continuous image reproduction is possible. In this regard, many studies have been conducted recently.
집적영상 제작은 도 1에 도시하는 바와 같이 다수의 시점 영상 정보를 획득하는 영상 획득 단계와 획득된 영상 앞에 렌즈 배열을 배치하여 기록된 영상을 재생하는 디스플레이 단계로 구분될 수 있다.Integrated image production can be divided into an image acquisition step of acquiring multiple view image information and a display step of reproducing the recorded image by arranging a lens array in front of the acquired image, as shown in FIG. 1 .
여기서 다수의 시점 영상 정보를 획득하는 영상 획득 방식으로는 물리적 카메라를 큰 공간에 배치, 배열하여 사물을 촬영하여 다수의 시점 영상 정보를 획득하는 방식과, 1대의 카메라 앞에 마이크로 렌즈 배열을 배치한 후 촬영을 수행하여 다수의 시점 영상 정보를 획득하는 방식이 있다.Here, the image acquisition method for acquiring multiple viewpoint image information includes a method of acquiring multiple viewpoint image information by arranging and arranging physical cameras in a large space to photograph objects, and arranging a micro lens array in front of one camera. There is a method of obtaining image information from multiple viewpoints by performing photographing.
전술한 방식 중에서 첫 번째 방식은 실제 카메라를 배치하기 위한 공간과 많은 비용이 소요되는 문제점이 있는 반면, 고해상도의 다수의 시점 영상 정보를 획득할 수 있는 장점이 있다.Among the above methods, the first method has the problem of requiring a lot of space and cost for arranging an actual camera, but has the advantage of obtaining high-resolution image information from multiple viewpoints.
두 번째 방식은 1대의 카메라로 촬영을 진행하기 때문에 상대적으로 작은 공간과 적은 비용이 소요되지만, 마이크로 렌즈 배열을 통해 다수의 시점 영상 정보를 획득하기 때문에 영상 해상도가 매우 낮다는 문제점이 있다.The second method requires a relatively small space and low cost because it is photographed with a single camera, but has a problem in that image resolution is very low because image information of multiple viewpoints is obtained through a microlens array.
한편, 영상 획득 단계를 통해 획득한 영상을 집적영상 디스플레이에 재생하기 위해서는 도 2에 도시하는 바와 같이 영상 획득 단계에서 획득한 다수의 시점 영상 정보를 재생을 위한 집적영상 이미지로 변환한 후, 이를 집적영상 디스플레이에 재생한다.On the other hand, in order to reproduce the image acquired through the image acquisition step on the integrated image display, as shown in FIG. play on the video display.
이와 같이 영상 획득 단계에서 획득한 다수의 시점 영상 정보를 집적영상 디스플레이에 재생할 때, 종래에는 3D 입체 영상으로만 재생이 가능하고, 2D 평면 영상으로의 변환이 불가능하며, 집적영상 이미지의 제작에 많은 절차와 시간이 소요되는 문제점이 있다.In this way, when playing back image information of multiple viewpoints obtained in the image acquisition step on an integrated image display, conventionally, only 3D stereoscopic images can be reproduced, conversion to 2D flat images is impossible, and many processes are involved in the production of integrated image images. There are problems with procedures and time.
즉, 상기한 첫 번째 방식은 카메라의 촬영 동기화 문제와 방대한 영상 데이터의 관리 부분에 있어 많은 어려움이 존재한다.That is, in the first method described above, there are many difficulties in the problem of camera shooting synchronization and management of massive image data.
그리고, 두 번째 방법은 마이크로 렌즈의 크기에 맞게 영상이 획득되기 때문에, 매우 낮은 영상 해상도를 가지게 된다.And, since the second method acquires an image suitable for the size of the microlens, it has a very low image resolution.
또한, 실상과 허상이 반전되어 재생되는 가짜 상(pseudoscopic image) 문제가 발생한다.In addition, a problem of a pseudoscopic image in which a real image and a virtual image are inverted and reproduced occurs.
이러한 이유로 재생된 3D 입체영상의 깊이가 반전되어 보이는 문제가 발생하여, 결과적으로 올바르지 못한 3D 입체영상을 제공하게 되는 문제점이 있다.For this reason, there is a problem in that the depth of the reproduced 3D stereoscopic image is reversed, and as a result, an incorrect 3D stereoscopic image is provided.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 선택된 모드에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.An object of the present invention to solve the conventional problems as described above is to generate an integrated video image by locating the 3D point cloud and a virtual pinhole camera array in a virtual 3D space, and to generate a 3D integrated video image according to a selected mode. Alternatively, to provide an integrated image generating and reproducing apparatus and method capable of 3D/2D conversion to generate and reproduce a 2D integrated video image.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 다른 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 증강하고자 하는 증강 정보를 포함하는 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.Another object of the present invention for solving the conventional problems as described above is to include augmentation information to be augmented when an integrated video image is generated by locating the 3D point cloud and a virtual pinhole camera array in a virtual 3D space. It is to provide an integrated image generating and reproducing apparatus and method capable of 3D/2D conversion that generates and reproduces an integrated video image.
상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 디스플레이부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition unit for acquiring a 3D point cloud; An integrated video image generator for generating a 3D integrated video image or a 2D integrated video image according to a user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space; and a display unit that reproduces the 3D integrated video image as a 3D stereoscopic image and reproduces the 2D integrated video image as a 2D flat image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 3D 포인트 클라우드는, 3D 포인트들의 집합으로, 각각의 3D 포인트는, 3차원 공간을 표현하는 X, Y, Z 좌표 정보와 색상을 표현하는 RGB 색상 정보를 포함하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, the 3D point cloud is a set of 3D points, and each 3D point has X, Y, and Z coordinates representing a three-dimensional space It is characterized in that it includes RGB color information representing information and color.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 이미지 생성부는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, the integrated image generating unit uses a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and a 3D point cloud a 3D integrated video image generating unit for generating a 3D integrated video image; According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it comprises a; 2D integrated video image generating unit for generating.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 2D 집적영상 이미지 생성부는, 상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, the 2D integrated video image generating unit changes the depth (Z) value of all 3D points in the 3D point cloud to a predetermined specific value, , characterized in that the 3D point cloud is converted into a 2D point cloud.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 가상의 3D 공간에 배치되는 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드는, 가상의 이미징 센서 앞에 상기 가상의 핀홀 카메라 배열이 배치되고, 상기 가상이 핀홀 카메라 배열 앞에 3D 포인트 클라우드가 배치되는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in the virtual 3D space are placed in front of the virtual imaging sensor. A virtual pinhole camera array is disposed, and a 3D point cloud is disposed in front of the virtual pinhole camera array.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 이미지 생성부는, 상기 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 상기 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하여 상기 가상의 이미징 센서를 통해 생성된 요소 이미지로 집적영상 이미지를 생성하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, the integrated video image generating unit converts each 3D point constituting the 3D point cloud to each constituting the virtual pinhole camera array. Characterized in that an integrated video image is generated with an element image generated through the virtual imaging sensor by back-projection with a pinhole camera.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 디스플레이부;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, an integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition unit for acquiring a 3D point cloud; Using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection, and the virtual pinhole camera array an integrated video image generating unit for generating an integrated video image by arranging 2D information to be augmented in front and then recording the 2D information together when generating an integrated video image; and a display unit for reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image, augmenting and visualizing additional additional information in front of the reproduced image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 생성부는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, the integrated image generating unit uses a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and a 3D point cloud. Generating a 3D integrated video image, placing 2D information to be augmented in front of the virtual pinhole camera array, and then recording the 2D information together when generating a 3D integrated video image to generate a 3D integrated video image wealth; According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. a 2D integrated video image generator for generating a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating a 2D integrated video image to generate a 2D integrated video image; It is characterized by doing.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법은, 3D 포인트 클라우드 획득부에서, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득 단계; 집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계; 디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 집적영상 재생 단계;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, a method for generating and reproducing integrated images capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit; In the integrated video image generation unit, a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and a 3D point cloud are used to generate a 3D integrated video image or a 2D integrated video image according to a user's mode selection. Integrated video image generation step; and an integrated image reproducing step of reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image in a display unit.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 집적영상 이미지 생성 단계는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing method capable of 3D/2D conversion according to the present invention, the generating integrated image image includes a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. 3D integrated video image generating step of generating a 3D integrated video image using; According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it comprises a; 2D integrated video image generation step of generating a.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 2D 집적영상 이미지 생성 단계는, 상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 단계;를 포함하는 것을 특징으로 한다.In addition, in the method for generating and reproducing an integrated image capable of 3D/2D conversion according to the present invention, in the generating of the 2D integrated image image, the depth (Z) values of all 3D points in the 3D point cloud are changed to a predetermined specific value and converting the 3D point cloud into a 2D point cloud.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법은, 3D 포인트 클라우드 획득부에서, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득 단계; 집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계; 디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 집적영상 재생 단계;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, a method for generating and reproducing integrated images capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit; In the integrated video image generation unit, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. an integrated video image generating step of arranging 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together to generate an integrated video image; In a display unit, an integrated image reproducing step of reproducing the 3D integrated image image as a 3D stereoscopic image and reproducing the 2D integrated image image as a 2D flat image, and augmenting and visualizing additional additional information in front of the reproduced image; characterized by
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 집적영상 이미지 생성 단계는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generating and reproducing method capable of 3D/2D conversion according to the present invention, the generating integrated image image includes a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. A 3D integrated video image is generated by using a 3D integrated video image, but 2D information to be augmented is placed in front of the virtual pinhole camera array, and then the 2D information is recorded together to generate a 3D integrated video image when the 3D integrated video image is generated. image creation step; According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. 2D integrated video image generating step of generating a 2D integrated video image by arranging 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating a 2D integrated video image; It is characterized by doing.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Details of other embodiments are included in the "specific details for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention, and methods of achieving them, will become apparent with reference to the various embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited only to the configuration of each embodiment disclosed below, but may also be implemented in various other forms, and each embodiment disclosed herein only makes the disclosure of the present invention complete, and the present invention It is provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by the scope of each claim of the claims.
본 발명에 의하면, 사용자 선택에 따라 3D 모드에서는 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하고, 2D 모드에서는 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한 후, 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하여 사용자의 선택에 따라 촬영된 피사체를 3D 입체 영상뿐만 아니라, 2D 평면 영상으로도 제공할 수 있게 된다.According to the present invention, a 3D integrated image is generated using a 3D point cloud in a 3D mode according to a user's selection, and after converting a 3D point cloud into a 2D point cloud in a 2D mode, a 2D integrated image is generated using a 2D point cloud. An image can be created and a photographed subject can be provided not only as a 3D stereoscopic image but also as a 2D flat image according to the user's selection.
또한, 본 발명에 의하면, 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 증강 정보를 배치시키고, 2D 증강 정보를 2D 포인트 또는 3D 포인트와 함께 각각의 핀홀 카메라로 역투영하여 집적영상 이미지를 생성하고, 집적영상 이미지 재생 시에 2D 증강 정보를 집적영상 디스플레이 장치 앞에 증강시켜 제공함으로써, 사용자에게 효과적인 정보 제공을 할 수 있게 된다.In addition, according to the present invention, the 2D augmented information to be augmented is placed in front of the virtual pinhole camera array, and the 2D augmented information is back-projected together with the 2D points or 3D points to each pinhole camera to generate an integrated image image, and the integrated image By augmenting and providing 2D augmented information in front of the integrated image display device during image reproduction, it is possible to effectively provide information to the user.
도 1 및 도 2는 집적영상 기술을 설명하기 위한 개념도.
도 3은 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 설명하기 위한 개념도.
도 4는 3D 포인트 클라우드의 각 3D 포인트를 가상의 핀홀 카메라 배열로 역투영하는 장면을 예시적으로 보인 도면.
도 5는 3D 포인트 클라우드를 기반으로 생성한 집적영상 이미지를 집적영상 디스플레이 장치로 재생한 결과물을 예시적으로 보인 도면.
도 6은 본 발명을 통해 제공하고자 하는 기능을 개략적으로 설명하기 위한 개념도.
도 7은 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치의 구성을 개략적으로 보인 도면.
도 8은 본 발명에 따른 3D 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 9는 본 발명에 따른 2D 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 10은 본 발명에 따른 3D 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 11은 본 발명에 따른 2D 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 12는 본 발명에 따른 증강 정보를 포함하는 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 13에 본 발명에 따른 증강 정보를 포함하는 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 14는 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법을 설명하기 위한 플로우챠트.1 and 2 are conceptual diagrams for explaining integrated imaging technology.
3 is a conceptual diagram for explaining a method of generating and reproducing integrated video images using a 3D point cloud applied to the present invention.
4 is a diagram showing a scene in which each 3D point of a 3D point cloud is back-projected to a virtual pinhole camera array by way of example;
5 is a diagram showing a result of reproducing an integrated video image generated based on a 3D point cloud with an integrated video display device by way of example.
6 is a conceptual diagram schematically illustrating functions to be provided through the present invention;
7 is a diagram schematically showing the configuration of an integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention.
8 is a diagram showing a process of generating a 3D integrated video image according to the present invention by way of example.
9 is a diagram showing a process of generating a 2D integrated video image according to the present invention by way of example.
10 is a diagram showing a process of reproducing a 3D integrated video image according to the present invention by way of example.
11 is a diagram showing a process of reproducing a 2D integrated video image according to the present invention by way of example.
12 is a diagram showing a process of generating an integrated video image including augmentation information according to an exemplary embodiment of the present invention.
FIG. 13 exemplarily shows a process of reproducing integrated video images including augmentation information according to the present invention.
14 is a flowchart for explaining a method of generating and reproducing integrated images capable of 3D/2D conversion according to the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed unconditionally in a conventional or dictionary sense, and in order for the inventor of the present invention to explain his/her invention in the best way It should be noted that concepts of various terms may be appropriately defined and used, and furthermore, these terms or words should be interpreted as meanings and concepts corresponding to the technical spirit of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not intended to specifically limit the contents of the present invention, and these terms represent various possibilities of the present invention. It should be noted that it is a defined term.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, it should be noted that in this specification, singular expressions may include plural expressions unless the context clearly indicates otherwise, and similarly, even if they are expressed in plural numbers, they may include singular meanings. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as "including" another component, it does not exclude any other component, but further includes any other component, unless otherwise stated. It can mean you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when a component is described as “existing inside or connected to and installed” of another component, this component may be directly connected to or installed in contact with the other component, and a certain It may be installed at a distance, and when it is installed at a certain distance, a third component or means for fixing or connecting the corresponding component to another component may exist, and now It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when it is described that a certain element is "directly connected" to another element, or is "directly connected", it should be understood that no third element or means exists.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Similarly, other expressions describing the relationship between components, such as "between" and "directly between", or "adjacent to" and "directly adjacent to" have the same meaning. should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, the terms "one side", "the other side", "one side", "the other side", "first", "second", etc., if used, refer to one component It is used to be clearly distinguished from other components, and it should be noted that the meaning of the corresponding component is not limitedly used by such a term.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to positions such as "top", "bottom", "left", and "right", if used, should be understood as indicating a relative position in the drawing with respect to the corresponding component, Unless an absolute position is specified for these positions, these positional terms should not be understood as referring to an absolute position.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in specifying the reference numerals for each component of each drawing, for the same component, even if the component is displayed in different drawings, it has the same reference numeral, that is, the same reference throughout the specification. Symbols indicate identical components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings accompanying this specification, the size, position, coupling relationship, etc. of each component constituting the present invention is partially exaggerated, reduced, or omitted in order to sufficiently clearly convey the spirit of the present invention or for convenience of explanation. may be described, and therefore the proportions or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, in the following description of the present invention, a detailed description of a configuration that is determined to unnecessarily obscure the subject matter of the present invention, for example, a known technology including the prior art, may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to related drawings.
우선, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에 대해 설명하기에 앞서, 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식에 대해 설명하기로 한다.First of all, prior to describing the integrated video generating and reproducing apparatus capable of 3D/2D conversion according to the present invention, a method for generating and reproducing integrated video images using a 3D point cloud applied to the present invention will be described.
도 3은 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 설명하기 위한 개념도이다.3 is a conceptual diagram for explaining a method of generating and reproducing integrated video images using a 3D point cloud applied to the present invention.
우선, 집적영상 이미지를 생성하기 위해서는 도 3에 도시하는 바와 같이 3D 카메라 등을 이용하여 3D 포인트 클라우드(point cloud)를 획득한다.First, in order to generate an integrated video image, a 3D point cloud is acquired using a 3D camera or the like as shown in FIG. 3 .
3D 포인트 클라우드는 3차원 공간(space or volume)을 표현하는 x, y, z 좌표 정보와 색상을 표현하는 RGB(Red, Green, Blue) 색상 정보를 가지는 3D 포인트들의 집합이다.A 3D point cloud is a set of 3D points having x, y, z coordinate information representing a 3-dimensional space (space or volume) and RGB (Red, Green, Blue) color information representing colors.
여기서, 각각의 3D 포인트가 표현하는 좌표는 픽셀(x 좌표 및 y 좌표) 및 밀리미터(z 좌표)로 표현될 수 있다.Here, the coordinates represented by each 3D point may be expressed in pixels (x coordinates and y coordinates) and millimeters (z coordinates).
3D 포인트 클라우드를 획득한 후에는 동일한 3D 가상 공간에 가상의 이미징 센서, 가상의 핀홀 카메라 배열(Virtual Pinhole camera Array: VPA), 3D 포인트 클라우드를 배치하고, 도 4에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 3D 포인트를 역투영하여 집적영상 이미지를 생성한다.After acquiring the 3D point cloud, a virtual imaging sensor, a virtual pinhole camera array (VPA), and a 3D point cloud are placed in the same 3D virtual space, and as shown in FIG. 4, each pinhole camera Each 3D point is back-projected to generate an integrated video image.
즉, 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하고, 각각의 3D 포인트에서 나온 빛을 가상의 이미징 센서의 각 픽셀에 기록하여 요소 이미지를 생성하고, 이와 같이 생성된 요소 이미지로 구성된 집적영상 이미지를 생성한다.That is, each 3D point constituting the 3D point cloud is back-projected to each pinhole camera constituting the virtual pinhole camera array, and the light emitted from each 3D point is recorded in each pixel of the virtual imaging sensor to obtain elemental images. , and an integrated video image composed of the element images generated in this way is generated.
각각의 요소 이미지는 서로 다른 시차를 갖는다.Each element image has a different parallax.
3D 포인트가 각각의 핀홀 카메라로 역투영될 때 투과된 빛은 뒤집힌 장면을 형성한다.When the 3D points are back-projected into each pinhole camera, the transmitted light forms an inverted scene.
이에 따라, 각각의 픽셀에 요소 이미지를 기록할 때, 요소 이미지의 중심을 기준으로 180도 회전하여 기록한다.Accordingly, when the element image is recorded in each pixel, the element image is rotated by 180 degrees with respect to the center of the element image.
이와 같이 이미징 센서의 픽셀에 최종적으로 기록되는 요소 이미지는 입사되는 요소 이미지 중심을 기준으로 180도 회전되어 기록되므로, 종래의 가짜 상(pseudoscopic image) 문제를 해결할 수 있게 된다.In this way, since the element image finally recorded in the pixels of the imaging sensor is rotated by 180 degrees based on the center of the incident element image, it is possible to solve the conventional pseudoscopic image problem.
전술한 바와 같은 일련의 과정을 통해 집적영상 이미지를 생성한 후에는, 생성된 집적영상 이미지를 집적영상 디스플레이 장치를 통해 재생한다.After generating the integrated video image through a series of processes as described above, the generated integrated video image is reproduced through the integrated video display device.
구체적으로 집적영상 디스플레이 장치 앞에 렌즈 배열을 배치한 후, 집적영상 디스플레이 장치 앞에 배치된 렌즈 배열을 통해 3D 포인트 클라우드의 체적정보(volumetric information)를 그대로 복원 및 재생하여 사용자에게 상하좌우 완전시차를 가지는 3차원 입체 영상을 제공한다(도 5 참고).Specifically, after arranging a lens array in front of the integrated image display device, the volumetric information of the 3D point cloud is restored and reproduced as it is through the lens array disposed in front of the integrated image display device. A dimensional stereoscopic image is provided (refer to FIG. 5).
이상에서 살펴본 바와 같은 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 이용하여 본 발명에서는 도 6에 도시하는 바와 같이, 3D 입체 영상을 2D 평면 영상으로 제공할 수 있도록 하는 기능을 제공하고자 한다.Using the integrated video image generation and reproduction method using the 3D point cloud as described above, the present invention intends to provide a function to provide a 3D stereoscopic image as a 2D flat image, as shown in FIG. 6 .
그리고, 집적영상 디스플레이 장치에서 영상이 재생되고 있을 때, 해당 영상을 설명하는 추가적인 정보를 집적영상 디스플레이 장치 앞에 증강하여 시각화하는 기능을 제공하고자 한다.And, when an image is being reproduced in the integrated image display device, it is intended to provide a function of augmenting and visualizing additional information describing the corresponding image in front of the integrated image display device.
도 7은 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치의 구성을 개략적으로 보인 도면이다.7 is a diagram schematically showing the configuration of an integrated image generating and reproducing apparatus capable of 3D/2D conversion according to the present invention.
도 7에 도시하는 바와 같이, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치(100)는 3D 포인트 클라우드 획득부(110), 집적영상 이미지 생성부(120), 디스플레이부(130) 등을 포함하여 이루어질 수 있다.As shown in FIG. 7, the integrated image generating and reproducing
여기서, 3D 포인트 클라우드 획득부(110)는 3D 포인트 클라우드를 획득한다.Here, the 3D point
3D 포인트 클라우드 획득부(110)는 피사체의 RGB 색상 정보를 획득하는 RGB 카메라와 피사체의 x, y, z 좌표 정보를 획득하는 적외선(IR) 카메라를 구비하는 3D 카메라로 구현될 수 있다. The 3D point
집적영상 이미지 생성부(120)는 3D 포인트 클라우드 획득부(110)를 통해 획득한 3D 포인트 클라우드를 기반으로 3D 가상 공간에서 집적영상 이미지를 생성한다.The integrated video
우선, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드를 구성하는 모든 3D 포인트를 3D 가상 공간에 표시한다.First, the integrated
그리고 동일한 3D 가상 공간 내에서 가상의 핀홀 카메라 배열을 원하는 위치에 배치시켜 3D 포인트 클라우드를 촬영함으로써, 피사체(3D 포인트 클라우드) 안에 핀홀 카메라를 배치시킬 수 있고, 원하는 곳을 확대하여 촬영하는 등 다양한 목적에 맞게 집적영상 이미지를 생성할 수 있게 된다.In addition, by arranging a virtual pinhole camera array at a desired location in the same 3D virtual space and shooting a 3D point cloud, the pinhole camera can be placed in the subject (3D point cloud), and the desired location can be enlarged and photographed. It is possible to generate an integral video image according to.
전술한 바와 같이, 가상의 핀홀 카메라 배열이 3D 포인트 클라우드 내부에 배치되면, 디스플레이 면 기준으로 밖으로 튀어나오거나 영상 안으로 들어가는 영역을 지칭하는 기준면(Reference plane)의 위치를 직접 선택할 수 있게 된다.As described above, when the virtual pinhole camera array is placed inside the 3D point cloud, it is possible to directly select the location of a reference plane indicating an area protruding out or entering an image relative to the display surface.
또한, 본 발명에서는 집적영상 이미지 생성이 3D 가상 공간에서 이루어지므로, 3D 포인트 클라우드를 시각화할 수 있게 되고, 가상의 핀홀 카메라 배열과 가상의 이미징 센서의 배치 및 조작을 직관적으로 수행할 수 있게 된다.In addition, in the present invention, since the integrated video image is generated in a 3D virtual space, it is possible to visualize a 3D point cloud and intuitively perform the arrangement and manipulation of a virtual pinhole camera array and a virtual imaging sensor.
또한, 집적영상을 재생할 집적영상 디스플레이 장치의 해상도, PPI(Pixels Per Inch) 등의 정보를 바로 반영할 수 있어, 여러 종류의 디스플레이 장치 및 해상도에 대응하여 사용자가 원하는 집적영상 이미지를 맞춤 제작할 수 있게 된다.In addition, information such as resolution and PPI (Pixels Per Inch) of the integrated image display device to reproduce the integrated image can be directly reflected, so that the integrated image can be custom-made by the user in response to various types of display devices and resolutions. do.
집적영상 이미지 생성부(120)는 3D 집적영상 이미지 생성부(121)와 2D 집적영상 이미지 생성부(123)로 기능적으로 구분되어 표현될 수 있다.The integrated video
3D 집적영상 이미지 생성부(121)는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 도 8에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 3D 포인트를 역투영하여 3D 집적영상 이미지를 생성한다.The 3D integrated video
2D 집적영상 이미지 생성부(123)는 사용자가 2D 모드를 선택하게 되면, 2D 집적영상 이미지를 생성한다.The 2D integrated
2D 집적영상 이미지를 생성하기 위해 2D 집적영상 이미지 생성부(123)는 우선 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한다.To generate a 2D integrated video image, the 2D integrated
2D 집적영상 이미지 생성부(123)는 3D 포인트 클라우드 내 모든 3D 포인트의 좌표 값 중에서 깊이(z) 값을 기설정된 특정 값으로 변경하여 3D 포인트 클라우드를 2D 포인트 클라우드로 변환할 수 있다.The 2D integrated video
3D 포인트 클라우드를 구성하는 각 3D 포인트의 깊이(z) 값을 특정 값으로 변환하는 방정식은 수학식 1과 같이 표현될 수 있다.An equation for converting the depth (z) value of each 3D point constituting the 3D point cloud to a specific value may be expressed as Equation 1.
수학식 1에서 P는 3D 포인트 위치이고, P'는 변환된 포인트 위치이며, 
전술한 바와 같이 변환된 2D 포인트 클라우드를 구성하는 각각의 2D 포인트의 x 좌표 값, y 좌표 값은 변환전 3D 포인트의 x 좌표 값, y 좌표 값과 동일하다.As described above, the x-coordinate values and y-coordinate values of each 2D point constituting the transformed 2D point cloud are the same as the x-coordinate values and y-coordinate values of the 3D point before transformation.
이후에는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 변환된 2D 포인트 클라우드를 이용하여 도 9에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 2D 포인트를 역투영하여 2D 집적영상 이미지를 생성한다.Afterwards, as shown in FIG. 9, each 2D point is back-projected to each pinhole camera using a virtual imaging sensor, a virtual pinhole camera array, and a converted 2D point cloud arranged in a virtual 3D space, and 2D integration is performed. create video images
전술한 바와 같이 집적영상 이미지 생성부(120)에서 생성된 3D 집적영상 이미지 또는 2D 집적영상 이미지는 디스플레이부(130)를 통해 재생된다.As described above, the 3D integrated video image or the 2D integrated video image generated by the integrated
디스플레이부(130)는 액정표시장치(LCD)와 같은 평판 디스플레이 장치와 렌즈 배열로 구성될 수 있으며, 렌즈 배열을 평판 디스플레이 장치 앞에 배치하여 집적영상 이미지를 사용자에게 3D 입체 영상으로 제공할 수 있게 된다.The
집적영상 이미지 생성부(120)로부터 제공된 3D 집적영상 이미지 또는 2D 집적영상 이미지가 디스플레이부(130)의 평판 디스플레이 장치에 디스플레이되며, 평판 디스플레이 장치 앞에 배치된 렌즈가 각각의 픽셀에서 방출된 빛을 통합하여 영상을 제공한다.The 3D integrated video image or the 2D integrated video image provided from the integrated
디스플레이부(130)는 집적영상 이미지 생성부(120)로부터 3D 집적영상 이미지를 제공받으면, 도 10에 도시하는 바와 같이 3D 집적영상 이미지를 3D 입체 영상으로 재생한다.When receiving the 3D integrated video image from the integrated video
그리고, 집적영상 이미지 생성부(120)로부터 2D 집적영상 이미지를 제공받으면, 2D 집적영상 이미지를 도 11에 도시하는 바와 같이 체적정보가 사라진 평평한 2D 평면 영상으로 재생한다.Then, when the 2D integrated video image is received from the integrated
한편, 본 발명의 다른 실시예에서는 집적영상 디스플레이 장치에서 영상이 재생되고 있을 때, 해당 영상을 설명하는 추가적인 정보를 집적영상 디스플레이 장치 앞에 증강하여 시각화할 수 있도록 한다.Meanwhile, in another embodiment of the present invention, when an image is reproduced in the integrated image display device, additional information describing the corresponding image is augmented in front of the integrated image display device so that it can be visualized.
이를 위해, 집적영상 이미지 생성부(120)는 도 12에 도시하는 바와 같이 가상의 핀홀 카메라 배열 앞 특정 위치(δ)에 증강시킬 2D 증강 정보를 배치시킨다.To this end, the integrated video
그리고, 각각의 핀홀 카메라로 각각의 2D 포인트 또는 3D 포인트를 역투영할 때, 2D 증강 정보도 함께 각각의 핀홀 카메라로 역투영하여 해당 2D 증강 정보를 함께 기록함으로써, 집적영상 이미지를 생성한다.In addition, when each 2D point or 3D point is back-projected with each pinhole camera, 2D augmented information is also back-projected with each pinhole camera and the corresponding 2D augmented information is recorded together, thereby generating an integrated video image.
여기서, 2D 증강 정보의 위치는 
해당 영상에 대한 부가 정보가 증강될 정보의 위치(
수학식 2에서 P는 증강될 증강 정보의 임시 위치이고, 
디스플레이부(130)는 집적영상 이미지 생성부(120)로부터 증강될 2D 정보가 포함된 집적영상 이미지(2D 또는 3D)를 제공받으면, 평판 디스플레이 장치 앞에 배치한 렌즈 배열을 통해 집적영상 이미지를 사용자에게 2D 평면 영상 또는 3D 입체 영상으로 제공한다.When the
여기서, 2D 증강 정보는 도 13에 도시하는 바와 같이 디스플레이 장치 화면으로부터 밖으로 δ만큼 플로팅되어 시각화되는 것을 볼 수 있다.Here, as shown in FIG. 13, it can be seen that the 2D augmented information is visualized by being floated by δ outside the screen of the display device.
도 14은 본 발명에 따른 3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법을 설명하기 위한 플로우차트이다.14 is a flowchart for explaining a method for generating and reproducing a 3D integrated image capable of 3D/2D conversion according to the present invention.
우선, 3D 포인트 클라우드 획득부(110)에서 3D 포인트 클라우드를 획득한다(S10).First, a 3D point cloud is acquired by the 3D point cloud acquisition unit 110 (S10).
상기한 단계 S10에서 3D 포인트 클라우드 획득부(110)는 3D 카메라 등을 통해 피사체의 RGB 색상 정보와 x, y, z 좌표 정보를 포함하는 3D 포인트의 집합인 3D 포인트 클라우드를 획득한다.In step S10 described above, the 3D point
이후, 집적영상 이미지 생성부(120)는 상기한 단계 S10을 통해 획득한 3D 포인트 클라우드를 기반으로 3D 가상 공간에서 집적영상 이미지를 생성한다.Thereafter, the integrated video
그리고, 디스플레이부(130)는 집적영상 이미지 생성부(120)에서 생성된 집적영상 이미지를 재생한다.Also, the
전술한 바와 같이 집적영상 이미지를 생성하고 재생할 때, 사용자로부터 선택받은 모드에 따라 선택 모드가 3D 모드인 경우에는 3D 집적영상 이미지를 생성한 후, 생성한 3D 집적영상 이미지를 3D 입체 영상으로 재생한다(S20).As described above, when generating and playing an integrated video image, according to the mode selected by the user, if the selected mode is a 3D mode, a 3D integrated video image is generated and then the generated 3D integrated video image is reproduced as a 3D stereoscopic image. (S20).
상기한 단계 S20에서, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드를 구성하는 모든 3D 포인트를 3D 가상 공간에 표시하고, 동일한 3D 가상공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열을 이용하여 3D 집적영상 이미지를 생성한다(S21).In the above step S20, the integrated video
상기한 단계 S21에서 집적영상 이미지 생성부(120)는 각각의 3D 포인트를 각각의 핀홀 카메라로 역투영하여 3D 집적영상 이미지를 생성한다(도 7 참고).In step S21, the integrated video
상기한 단계 S21에서 생성된 3D 집적영상 이미지는 디스플레이부(130)를 통해 도 10에 도시하는 바와 같이 3D 입체 영상으로 재생된다(S23).The 3D integrated video image generated in step S21 is reproduced as a 3D stereoscopic image as shown in FIG. 10 through the display unit 130 (S23).
한편, 집적영상 이미지를 생성하고 재생할 때, 사용자로부터 선택받은 모드에 따라 선택 모드가 2D 모드인 경우에는 2D 집적영상 이미지를 생성한 후, 생성한 2D 집적영상 이미지를 2D 평면 영상으로 재생한다(S30).On the other hand, when generating and reproducing the integrated video image, if the selected mode is the 2D mode according to the mode selected by the user, the 2D integrated video image is generated and then the generated 2D integrated video image is reproduced as a 2D plane image (S30). ).
상기한 단계 S20에서, 집적영상 이미지 생성부(120)는 2D 집적영상 이미지를 생성하기 위해 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한 후, 변환된 2D 포인트 클라우드를 구성하는 모든 2D 포인트를 3D 가상 공간에 표시하고, 동일한 3D 가상공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열을 이용하여 2D 집적영상 이미지를 생성한다(S31).In the above step S20, the integrated video
상기한 단계 S31에서, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드 내 모든 3D 포인트의 좌표 값 중에서 깊이(z) 값을 기설정된 특정 값으로 변경하여 3D 포인트 클라우드를 2D 포인트 클라우드로 변환할 수 있다.In the above step S31, the integrated video
상기한 단계 S31에서 집적영상 이미지 생성부(120)는 각각의 2D 포인트를 각각의 핀홀 카메라로 역투영하여 2D 집적영상 이미지를 생성한다(도 9 참고).In step S31, the integrated video
상기한 단계 S31에서 생성된 2D 집적영상 이미지는 디스플레이부(130)를 통해 도 11에 도시하는 바와 같이 체적정보가 사라진 평평한 2D 평면 영상으로 재생된다(S33).The 2D integrated video image generated in the above step S31 is reproduced as a flat 2D flat image without volume information as shown in FIG. 11 through the display unit 130 (S33).
한편, 집적영상 디스플레이 장치를 통해 재생되고 있는 영상에 대한 추가적인 정보를 증강하여 시각화하고자 하는 경우에는, 상기한 단계 S21 및 단계 S31에서 집적영상 이미지를 생성할 때, 증강시키고자 하는 2D 증강 정보를 함께 기록하여 집적영상 이미지를 생성한다.On the other hand, in the case of augmenting and visualizing additional information on the image being reproduced through the integrated image display device, when generating the integrated image in steps S21 and S31, 2D augmented information to be augmented is combined with recorded to create an integral video image.
구체적으로, 가상의 핀홀 카메라 배열 앞 특정 위치(δ)에 증강시킬 2D 증강 정보를 배치시키고, 각각의 핀홀 카메라로 각각의 2D 포인트 또는 3D 포인트를 역투영하여 2D 집적영상 이미지 또는 3D 집적영상 이미지를 생성할 때, 2D 증강 정보를 각각의 핀홀 카메라로 역투영하여 집적영상 이미지 생성할 때 해당 2D 증강 정보를 함께 기록한다.Specifically, 2D augmentation information to be augmented is placed at a specific position (δ) in front of a virtual pinhole camera array, and each 2D point or 3D point is back-projected with each pinhole camera to obtain a 2D integrated video image or a 3D integrated video image. When generating, the 2D augmented information is back-projected to each pinhole camera and the corresponding 2D augmented information is recorded together when the integrated video image is generated.
이와 같이 2D 증강 정보가 함께 기록된 2D 집적영상 이미지 또는 3D 집적영상 이미지를 제공받은 디스플레이부(130)는 평판 디스플레이 장치 앞에 배치한 렌즈 배열을 통해 사용자에게 2D 평면 영상 또는 3D 입체 영상으로 제공한다.The
이때, 디스플레이부(130)는 2D 증강 정보를 도 13에 도시하는 바와 같이 디스플레이 장치 화면 앞 특정 위치(δ)에 증강시켜 사용자에게 제공하게 된다.At this time, the
이와 같이, 본 발명에 의하면, 집적영상 이미지 제작이 가상의 3D 공간에서 이루어지므로, 3D 포인트 클라우드를 시각화할 수 있게 되고, 가상의 핀홀 카메라 배열과 가상의 이미징 센서의 배치 및 조작을 직관적으로 수행할 수 있게 된다.As described above, according to the present invention, since the integrated video image is produced in a virtual 3D space, it is possible to visualize a 3D point cloud, and to intuitively perform the arrangement and manipulation of a virtual pinhole camera array and a virtual imaging sensor. be able to
또한, 집적영상을 재생할 집적영상 디스플레이 장치의 해상도, PPI(Pixels Per Inch) 등의 정보를 바로 반영할 수 있어, 여러 종류의 디스플레이 장치 및 해상도에 대응하여 사용자가 원하는 집적영상 이미지를 맞춤 제작할 수 있게 된다.In addition, information such as resolution and PPI (Pixels Per Inch) of the integrated image display device to reproduce the integrated image can be directly reflected, so that the integrated image can be custom-made by the user in response to various types of display devices and resolutions. do.
또한, 가상의 3D 공간 내에서 가상의 핀홀 카메라 배열을 원하는 곳에 배치하여 3D 포인트 클라우드를 촬영함으로써, 기준면(Reference plane)을 직접 선택할 수 있게 된다.In addition, by arranging a virtual pinhole camera array at a desired location in a virtual 3D space and capturing a 3D point cloud, it is possible to directly select a reference plane.
또한, 본 발명에 의하면, 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하여 사용자에게 촬영한 피사체를 3D 입체 영상뿐만 아니라, 2D 평면 영상으로 제공할 수 있게 된다.In addition, according to the present invention, a 3D point cloud can be converted into a 2D point cloud, and a photographed subject can be provided to a user not only as a 3D stereoscopic image but also as a 2D flat image.
또한, 재생되는 영상에 필요한 추가적인 정보를 증강시켜 제공하므로, 사용자에게 효과적인 정보 제공을 할 수 있게 된다.In addition, since additional information necessary for the reproduced image is augmented and provided, effective information can be provided to the user.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.In the above, various preferred embodiments of the present invention have been described with some examples, but the description of various embodiments described in the "Specific Contents for Carrying Out the Invention" section is only exemplary, and the present invention Those skilled in the art will understand from the above description that the present invention can be practiced with various modifications or equivalent implementations of the present invention can be performed.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to complete the disclosure of the present invention and is common in the technical field to which the present invention belongs. It is only provided to completely inform those skilled in the art of the scope of the present invention, and it should be noted that the present invention is only defined by each claim of the claims.
100. 3D 집적영상 생성 및 재생 장치,
110. 3D 포인트 클라우드 획득부,
120. 집적영상 이미지 생성부,
121. 3D 집적영상 이미지 생성부,
123. 2D 집적영상 이미지 생성부,
130. 디스플레이부100. 3D integrated image generation and playback device;
110. 3D point cloud acquisition unit;
120. integrated video image generation unit,
121. 3D integrated video image generation unit,
123. 2D integrated video image generation unit,
130. Display unit
Claims (13)
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성부;
상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 디스플레이부;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
a 3D point cloud acquiring unit acquiring a 3D point cloud;
An integrated video image generator for generating a 3D integrated video image or a 2D integrated video image according to a user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space;
characterized in that it comprises a; display unit for reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image,
3D/2D convertible integrated image generation and playback device.
상기 3D 포인트 클라우드는,
3D 포인트들의 집합으로,
각각의 3D 포인트는,
3차원 공간을 표현하는 X, Y, Z 좌표 정보와 색상을 표현하는 RGB 색상 정보를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 1,
The 3D point cloud,
As a set of 3D points,
For each 3D point,
Characterized in that it includes X, Y, Z coordinate information representing a three-dimensional space and RGB color information representing a color,
3D/2D convertible integrated image generation and playback device.
상기 집적영상 이미지 생성부는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 1,
The integrated video image generating unit,
a 3D integrated video image generating unit for generating a 3D integrated video image using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space;
According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it comprises a; 2D integrated video image generation unit for generating a
3D/2D convertible integrated image generation and playback device.
상기 2D 집적영상 이미지 생성부는,
상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 3,
The 2D integrated video image generating unit,
Characterized in that the 3D point cloud is converted into a 2D point cloud by changing the depth (Z) value of all 3D points in the 3D point cloud to a predetermined specific value,
3D/2D convertible integrated image generation and playback device.
상기 가상의 3D 공간에 배치되는 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드는,
가상의 이미징 센서 앞에 상기 가상의 핀홀 카메라 배열이 배치되고, 상기 가상이 핀홀 카메라 배열 앞에 3D 포인트 클라우드가 배치되는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 1,
A virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in the virtual 3D space,
Characterized in that the virtual pinhole camera array is disposed in front of a virtual imaging sensor, and a 3D point cloud is disposed in front of the virtual pinhole camera array.
3D/2D convertible integrated image generation and playback device.
상기 집적영상 이미지 생성부는,
상기 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 상기 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하여 상기 가상의 이미징 센서를 통해 생성된 요소 이미지로 집적영상 이미지를 생성하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 1,
The integrated video image generating unit,
Characterized in that each 3D point constituting the 3D point cloud is back-projected to each pinhole camera constituting the virtual pinhole camera array to generate an integrated video image with element images generated through the virtual imaging sensor. doing,
3D/2D convertible integrated image generation and playback device.
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성부;
상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 디스플레이부;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
a 3D point cloud acquiring unit acquiring a 3D point cloud;
Using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection, and the virtual pinhole camera array an integrated video image generating unit for generating an integrated video image by arranging 2D information to be augmented in front and then recording the 2D information together when generating an integrated video image;
A display unit for reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image, augmenting and visualizing additional additional information in front of the reproduced image;
3D/2D convertible integrated image generation and playback device.
상기 집적영상 생성부는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to claim 7,
The integrated image generating unit,
A 3D integrated video image is created using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space, but after placing 2D information to be augmented in front of the virtual pinhole camera array, 3D integration a 3D integrated video image generator for generating a 3D integrated video image by recording the 2D information together when the video image is generated;
According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. a 2D integrated video image generator for generating a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating a 2D integrated video image to generate a 2D integrated video image; characterized in that,
3D/2D convertible integrated image generation and playback device.
집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계;
디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 집적영상 재생 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit;
In the integrated video image generation unit, a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and a 3D point cloud are used to generate a 3D integrated video image or a 2D integrated video image according to a user's mode selection. Integrated video image generation step;
An integrated image reproducing step of reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image in a display unit.
A method for generating and reproducing 3D integrated images capable of 3D/2D conversion.
상기 집적영상 이미지 생성 단계는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
According to claim 9,
The integrated video image generating step,
a 3D integrated video image generating step of generating a 3D integrated video image using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud disposed in a virtual 3D space;
According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it comprises a; 2D integrated video image generation step of generating a
A method for generating and reproducing 3D integrated images capable of 3D/2D conversion.
상기 2D 집적영상 이미지 생성 단계는,
상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
According to claim 10,
The step of generating the 2D integrated video image,
Converting the 3D point cloud into a 2D point cloud by changing the depth (Z) value of all 3D points in the 3D point cloud to a predetermined specific value;
A method for generating and reproducing 3D integrated images capable of 3D/2D conversion.
집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계;
디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 집적영상 재생 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit;
In the integrated video image generation unit, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. an integrated video image generating step of arranging 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together to generate an integrated video image;
In a display unit, an integrated image reproducing step of reproducing the 3D integrated image image as a 3D stereoscopic image and reproducing the 2D integrated image image as a 2D flat image, and augmenting and visualizing additional additional information in front of the reproduced image; characterized in that,
A method for generating and reproducing 3D integrated images capable of 3D/2D conversion.
상기 집적영상 이미지 생성 단계는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.According to claim 12,
The integrated video image generating step,
A 3D integrated video image is created using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space, but after placing 2D information to be augmented in front of the virtual pinhole camera array, 3D integration a 3D integrated video image generating step of generating a 3D integrated video image by recording the 2D information together when the video image is generated;
According to the user's 2D mode selection, the 3D point cloud is converted into a 2D point cloud, and a 2D integrated video image is generated using a virtual imaging sensor disposed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. 2D integrated video image generating step of generating a 2D integrated video image by arranging 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating a 2D integrated video image; characterized in that,
A method for generating and reproducing 3D integrated images capable of 3D/2D conversion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230087795A true KR20230087795A (en) | 2023-06-19 |
| KR102649281B1 KR102649281B1 (en) | 2024-03-20 |
Family
ID=86988310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102649281B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764382B1 (en) | 2006-06-28 | 2007-10-08 | 한국정보통신대학교 산학협력단 | Apparatus for image mapping in computer-generated integral imaging system and method thereof |
| KR20130076050A (en) * | 2011-12-28 | 2013-07-08 | 충북대학교 산학협력단 | Method for obtaining of three-dimensional integral imaging using the depth camera and display system thereof |
| KR20150098252A (en) * | 2014-02-19 | 2015-08-28 | 동서대학교산학협력단 | Computer graphics based stereo floting integral imaging creation system |
-
2021
- 2021-12-10 KR KR1020210176339A patent/KR102649281B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764382B1 (en) | 2006-06-28 | 2007-10-08 | 한국정보통신대학교 산학협력단 | Apparatus for image mapping in computer-generated integral imaging system and method thereof |
| KR20130076050A (en) * | 2011-12-28 | 2013-07-08 | 충북대학교 산학협력단 | Method for obtaining of three-dimensional integral imaging using the depth camera and display system thereof |
| KR20150098252A (en) * | 2014-02-19 | 2015-08-28 | 동서대학교산학협력단 | Computer graphics based stereo floting integral imaging creation system |
Non-Patent Citations (2)
| Title |
|---|
| "Towards 3D Television Through Fusion of Kinect and Integral-Imaging Concepts", JOURNAL OF DISPLAY TECHNOLOGY, VOL. 11, NO. 11, NOVEMBER 2015 |
| Fusion of computed point clouds and integral-imaging concepts for full-parallax 3D display", PhD Thesis (2020) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102649281B1 (en) | 2024-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180338137A1 (en) | LED-Based Integral Imaging Display System as Well as Its Control Method and Device | |
| JP5036132B2 (en) | Critical alignment of parallax images for autostereoscopic display | |
| CN101636747B (en) | Two dimensional/three dimensional digital information acquisition and display device | |
| US20150002636A1 (en) | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras | |
| CN108513123B (en) | Image array generation method for integrated imaging light field display | |
| US9438886B2 (en) | Parallax scanning methods for stereoscopic three-dimensional imaging | |
| US20110216160A1 (en) | System and method for creating pseudo holographic displays on viewer position aware devices | |
| US20160134859A1 (en) | 3D Photo Creation System and Method | |
| KR102049456B1 (en) | Method and apparatus for formating light field image | |
| RU2453922C2 (en) | Method of displaying original three-dimensional scene based on results of capturing images in two-dimensional projection | |
| JP2003209858A (en) | Stereoscopic image generating method and recording medium | |
| JPWO2004071102A1 (en) | Stereoscopic video providing method and stereoscopic video display device | |
| US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
| US20150187132A1 (en) | System and method for three-dimensional visualization of geographical data | |
| CN107105216B (en) | A kind of 3 d light fields display device of continuous parallax based on pinhole array, wide viewing angle | |
| JP2003187261A (en) | Device and method for generating three-dimensional image, three-dimensional image processing apparatus, three-dimensional image photographing display system, three-dimensional image processing method and storage medium | |
| US20210042948A1 (en) | Light-field image generation system, image display system, shape information acquisition server, image generation server, display device, light-field image generation method, and image display method | |
| JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
| KR20080075079A (en) | System and method for capturing visual data | |
| JPH07240945A (en) | Virtual space generating and presenting device | |
| KR20230087795A (en) | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion | |
| KR101794492B1 (en) | System for displaying multiview image | |
| Katayama et al. | A method for converting three-dimensional models into auto-stereoscopic images based on integral photography | |
| KR101831978B1 (en) | Generation method of elemental image contents for display system with rotated lenticular sheet | |
| Hill | Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |