KR102649281B1 - Apparatus and method for producting and displaying integral image capable of 3d/2d conversion - Google Patents
Apparatus and method for producting and displaying integral image capable of 3d/2d conversion Download PDFInfo
- Publication number
- KR102649281B1 KR102649281B1 KR1020210176339A KR20210176339A KR102649281B1 KR 102649281 B1 KR102649281 B1 KR 102649281B1 KR 1020210176339 A KR1020210176339 A KR 1020210176339A KR 20210176339 A KR20210176339 A KR 20210176339A KR 102649281 B1 KR102649281 B1 KR 102649281B1
- Authority
- KR
- South Korea
- Prior art keywords
- integrated video
- video image
- virtual
- point cloud
- integrated
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003190 augmentative effect Effects 0.000 claims description 44
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000003416 augmentation Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
Abstract
본 발명의 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 선택된 모드에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 디스플레이부;를 포함하는 것을 특징으로 한다.The purpose of the present invention is to generate and reproduce a 3D integrated video image or a 2D integrated video image according to the selected mode when generating an integrated video image by placing the 3D point cloud and a virtual pinhole camera array in a virtual 3D space. To provide an integrated image generation and playback device and method capable of 3D/2D conversion.
In order to achieve the above object, an integrated image generation and playback device capable of 3D/2D conversion according to the present invention includes: a 3D point cloud acquisition unit for acquiring a 3D point cloud; An integrated video image generator that generates a 3D integrated video image or a 2D integrated video image according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space; A display unit that reproduces the 3D integrated video image as a 3D stereoscopic image and reproduces the 2D integrated video image as a 2D flat image.
Description
본 발명은 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법에 관한 것으로, 더욱 상세하게는 가상의 3D 공간에 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상을 제작 및 재생하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법에 관한 것이다.The present invention relates to an integrated image generation and playback device and method capable of 3D/2D conversion, and more specifically, to a device for producing and reproducing integrated images by placing a 3D point cloud and a virtual pinhole camera array in a virtual 3D space. It relates to an integrated image generation and playback device and method capable of 3D/2D conversion.
일반적으로, 집적영상(Integral-Imaging:InI) 기술은 렌즈 어레이를 이용하여 물체로부터의 영상 정보를 여러 개의 단위 영상(image)으로 구성된 집적영상으로 영상을 저장한 후, 이 집적영상을 다시 렌즈 어레이를 통해 구현함으로써 물체의 모든 정보를 재현할 수 있는 기술이다.In general, Integral-Imaging (InI) technology uses a lens array to store image information from an object as an integrated image composed of several unit images, and then returns this integrated image to the lens array. It is a technology that can reproduce all information of an object by implementing it through .
이 집적영상 기술은 1908년 가브리엘 리프만(Gabriel Lippmann) 교수에 의해 처음 제안 되었다.This integrated imaging technology was first proposed by Professor Gabriel Lippmann in 1908.
이 집적영상 기술은 입체영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수평, 수직 시차를 제공할 수 있어, 시각적 피로감이 없으며 연속적인 영상 재현이 가능하다는 장점이 있어서 최근에 많은 연구가 진행되고 있다.This integrated imaging technology does not require glasses or other tools to observe three-dimensional images, and can provide continuous horizontal and vertical parallax within a certain viewing angle rather than a viewpoint, so there is no visual fatigue and continuous image reproduction is possible. For this reason, a lot of research has been conducted recently.
집적영상 제작은 도 1에 도시하는 바와 같이 다수의 시점 영상 정보를 획득하는 영상 획득 단계와 획득된 영상 앞에 렌즈 배열을 배치하여 기록된 영상을 재생하는 디스플레이 단계로 구분될 수 있다.As shown in FIG. 1, integrated image production can be divided into an image acquisition phase in which image information from multiple viewpoints is acquired and a display phase in which the recorded image is reproduced by placing a lens array in front of the acquired image.
여기서 다수의 시점 영상 정보를 획득하는 영상 획득 방식으로는 물리적 카메라를 큰 공간에 배치, 배열하여 사물을 촬영하여 다수의 시점 영상 정보를 획득하는 방식과, 1대의 카메라 앞에 마이크로 렌즈 배열을 배치한 후 촬영을 수행하여 다수의 시점 영상 정보를 획득하는 방식이 있다.Here, the image acquisition method for acquiring image information from multiple viewpoints includes a method of acquiring image information from multiple viewpoints by placing and arranging physical cameras in a large space and photographing objects, and a method of acquiring image information from multiple viewpoints by placing a micro lens array in front of one camera. There is a method of acquiring image information from multiple viewpoints by performing filming.
전술한 방식 중에서 첫 번째 방식은 실제 카메라를 배치하기 위한 공간과 많은 비용이 소요되는 문제점이 있는 반면, 고해상도의 다수의 시점 영상 정보를 획득할 수 있는 장점이 있다.Among the above-described methods, the first method has the problem of requiring space and a lot of cost to place an actual camera, but has the advantage of being able to obtain high-resolution image information from multiple viewpoints.
두 번째 방식은 1대의 카메라로 촬영을 진행하기 때문에 상대적으로 작은 공간과 적은 비용이 소요되지만, 마이크로 렌즈 배열을 통해 다수의 시점 영상 정보를 획득하기 때문에 영상 해상도가 매우 낮다는 문제점이 있다.The second method requires a relatively small space and low cost because filming is performed with a single camera, but it has the problem of very low image resolution because it acquires image information from multiple viewpoints through a micro lens array.
한편, 영상 획득 단계를 통해 획득한 영상을 집적영상 디스플레이에 재생하기 위해서는 도 2에 도시하는 바와 같이 영상 획득 단계에서 획득한 다수의 시점 영상 정보를 재생을 위한 집적영상 이미지로 변환한 후, 이를 집적영상 디스플레이에 재생한다.Meanwhile, in order to reproduce the image acquired through the image acquisition step on the integrated video display, as shown in FIG. 2, the image information from multiple viewpoints acquired in the image acquisition step is converted into an integrated video image for playback, and then integrated. Play on video display.
이와 같이 영상 획득 단계에서 획득한 다수의 시점 영상 정보를 집적영상 디스플레이에 재생할 때, 종래에는 3D 입체 영상으로만 재생이 가능하고, 2D 평면 영상으로의 변환이 불가능하며, 집적영상 이미지의 제작에 많은 절차와 시간이 소요되는 문제점이 있다.In this way, when playing back multiple viewpoint image information acquired in the image acquisition stage on an integrated video display, conventionally it can only be played as a 3D stereoscopic image, conversion to a 2D flat image is impossible, and the production of integrated video images requires a lot of time. There is a problem with the process and time required.
즉, 상기한 첫 번째 방식은 카메라의 촬영 동기화 문제와 방대한 영상 데이터의 관리 부분에 있어 많은 어려움이 존재한다.In other words, the first method described above has many difficulties in terms of camera synchronization and management of large amounts of image data.
그리고, 두 번째 방법은 마이크로 렌즈의 크기에 맞게 영상이 획득되기 때문에, 매우 낮은 영상 해상도를 가지게 된다.And, because the second method acquires images according to the size of the micro lens, it has very low image resolution.
또한, 실상과 허상이 반전되어 재생되는 가짜 상(pseudoscopic image) 문제가 발생한다.In addition, the problem of pseudoscopic images occurs in which real and virtual images are reversed and reproduced.
이러한 이유로 재생된 3D 입체영상의 깊이가 반전되어 보이는 문제가 발생하여, 결과적으로 올바르지 못한 3D 입체영상을 제공하게 되는 문제점이 있다.For this reason, a problem occurs in which the depth of the reproduced 3D stereoscopic image appears to be inverted, resulting in the provision of an incorrect 3D stereoscopic image.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 선택된 모드에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.The purpose of the present invention to solve the conventional problems described above is to generate an integrated video image by placing the 3D point cloud and a virtual pinhole camera array in a virtual 3D space, and to generate a 3D integrated video image according to the selected mode. Alternatively, an integrated video generation and playback device and method capable of 3D/2D conversion that allows 2D integrated video images to be generated and played back are provided.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 다른 목적은 가상의 3D 공간에 상기 3D 포인트 클라우드와 가상의 핀홀 카메라 배열을 위치시켜 집적영상 이미지를 생성할 때, 증강하고자 하는 증강 정보를 포함하는 집적영상 이미지를 생성하여 재생할 수 있도록 하는 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법을 제공하는 것이다.Another object of the present invention to solve the conventional problems described above is to generate an integrated video image by placing the 3D point cloud and a virtual pinhole camera array in a virtual 3D space, including augmentation information to be augmented. To provide an integrated video generation and playback device and method capable of 3D/2D conversion that enables the generation and reproduction of integrated video images.
상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 디스플레이부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, an integrated image generation and playback device capable of 3D/2D conversion according to the present invention includes: a 3D point cloud acquisition unit for acquiring a 3D point cloud; An integrated video image generator that generates a 3D integrated video image or a 2D integrated video image according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space; A display unit that reproduces the 3D integrated video image as a 3D stereoscopic image and reproduces the 2D integrated video image as a 2D flat image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 3D 포인트 클라우드는, 3D 포인트들의 집합으로, 각각의 3D 포인트는, 3차원 공간을 표현하는 X, Y, Z 좌표 정보와 색상을 표현하는 RGB 색상 정보를 포함하는 것을 특징으로 한다.In addition, in the integrated image generation and playback device capable of 3D/2D conversion according to the present invention, the 3D point cloud is a set of 3D points, and each 3D point has X, Y, and Z coordinates representing a three-dimensional space. It is characterized by including RGB color information expressing information and color.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 이미지 생성부는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 한다.In addition, in the integrated video generation and playback device capable of 3D/2D conversion according to the present invention, the integrated video image generator uses a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. a 3D integrated video image generator that generates a 3D integrated video image; The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. It is characterized in that it includes a 2D integrated video image generator that generates a.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 2D 집적영상 이미지 생성부는, 상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 것을 특징으로 한다.In addition, in the integrated video generation and playback device capable of 3D/2D conversion according to the present invention, the 2D integrated video image generator changes the depth (Z) value of all 3D points in the 3D point cloud to a preset specific value. , Characterized by converting the 3D point cloud into a 2D point cloud.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 가상의 3D 공간에 배치되는 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드는, 가상의 이미징 센서 앞에 상기 가상의 핀홀 카메라 배열이 배치되고, 상기 가상이 핀홀 카메라 배열 앞에 3D 포인트 클라우드가 배치되는 것을 특징으로 한다.In addition, in the integrated image generation and playback device capable of 3D/2D conversion according to the present invention, the virtual imaging sensor, virtual pinhole camera array, and 3D point cloud arranged in the virtual 3D space are located in front of the virtual imaging sensor. A virtual pinhole camera array is placed, and a 3D point cloud is placed in front of the virtual pinhole camera array.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 이미지 생성부는, 상기 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 상기 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하여 상기 가상의 이미징 센서를 통해 생성된 요소 이미지로 집적영상 이미지를 생성하는 것을 특징으로 한다.Additionally, in the integrated video generation and playback device capable of 3D/2D conversion according to the present invention, the integrated video image generator divides each 3D point constituting the 3D point cloud into each of the virtual pinhole camera arrays. It is characterized in that an integrated video image is generated from the element image generated through the virtual imaging sensor by back-projecting it with a pinhole camera.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치는, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득부; 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성부; 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 디스플레이부;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, an integrated image generation and playback device capable of 3D/2D conversion according to the present invention includes: a 3D point cloud acquisition unit for acquiring a 3D point cloud; Using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection, and the virtual pinhole camera array an integrated video image generator that places 2D information to be augmented in front and then records the 2D information together to generate an integrated video image when generating an integrated video image; A display unit that reproduces the 3D integrated video image as a 3D stereoscopic image, reproduces the 2D integrated video image as a 2D flat image, and visualizes additional additional information by augmenting it in front of the reproduced image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에서, 상기 집적영상 생성부는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generation and playback device capable of 3D/2D conversion according to the present invention, the integrated image generator uses a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space. Generating a 3D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together to create a 3D integrated video image when generating the 3D integrated video image. wealth; The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. A 2D integrated video image generator that generates a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating the 2D integrated video image. It is characterized by:
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법은, 3D 포인트 클라우드 획득부에서, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득 단계; 집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계; 디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 집적영상 재생 단계;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, the method of generating and reproducing an integrated image capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit; In the integrated video image generation unit, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. Integrated video image generation step; An integrated video reproduction step of reproducing, in a display unit, the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 집적영상 이미지 생성 단계는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 한다.In addition, in the integrated video generation and playback method capable of 3D/2D conversion according to the present invention, the integrated video image generation step uses a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. A 3D integrated video image generation step of generating a 3D integrated video image using; The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it includes; generating a 2D integrated video image.
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 2D 집적영상 이미지 생성 단계는, 상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 단계;를 포함하는 것을 특징으로 한다.In addition, in the integrated image generation and playback method capable of 3D/2D conversion according to the present invention, the 2D integrated image generation step changes the depth (Z) value of all 3D points in the 3D point cloud to a preset specific value. Thus, converting the 3D point cloud into a 2D point cloud.
또한, 상기 목적을 달성하기 위해, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법은, 3D 포인트 클라우드 획득부에서, 3D 포인트 클라우드를 획득하는 3D 포인트 클라우드 획득 단계; 집적영상 이미지 생성부에서, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계; 디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 집적영상 재생 단계;를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, the method of generating and reproducing an integrated image capable of 3D/2D conversion according to the present invention includes a 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit; In the integrated video image generation unit, a 3D integrated video image or a 2D integrated video image is generated according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. , an integrated video image generation step of placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together to generate an integrated video image when generating an integrated video image; In a display unit, an integrated video reproduction step of reproducing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image, and visualizing additional additional information by augmenting it in front of the reproduced image. It is characterized by
또한, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법에서, 상기 집적영상 이미지 생성 단계는, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 한다.In addition, in the integrated video generation and playback method capable of 3D/2D conversion according to the present invention, the integrated video image generation step uses a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. A 3D integrated video image is generated by placing 2D information to be augmented in front of the virtual pinhole camera array, and then recording the 2D information together to generate a 3D integrated video image when generating the 3D integrated video image. Image creation step; The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. A 2D integrated video image generation step of generating a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating the 2D integrated video image. It is characterized by:
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in “Specific Details for Carrying Out the Invention” and the attached “Drawings.”
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.The advantages and/or features of the present invention and methods for achieving them will become clear by referring to the various embodiments described in detail below along with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in various different forms. However, each embodiment disclosed in this specification ensures that the disclosure of the present invention is complete, and the present invention It is provided to fully inform those skilled in the art of the present invention, and it should be noted that the present invention is only defined by the scope of each claim.
본 발명에 의하면, 사용자 선택에 따라 3D 모드에서는 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하고, 2D 모드에서는 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한 후, 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하여 사용자의 선택에 따라 촬영된 피사체를 3D 입체 영상뿐만 아니라, 2D 평면 영상으로도 제공할 수 있게 된다.According to the present invention, according to the user's selection, a 3D integrated video image is created using a 3D point cloud in 3D mode, and after converting the 3D point cloud to a 2D point cloud in 2D mode, a 2D integrated video image is created using the 2D point cloud. By creating an image, the photographed subject can be provided not only as a 3D stereoscopic image but also as a 2D flat image according to the user's selection.
또한, 본 발명에 의하면, 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 증강 정보를 배치시키고, 2D 증강 정보를 2D 포인트 또는 3D 포인트와 함께 각각의 핀홀 카메라로 역투영하여 집적영상 이미지를 생성하고, 집적영상 이미지 재생 시에 2D 증강 정보를 집적영상 디스플레이 장치 앞에 증강시켜 제공함으로써, 사용자에게 효과적인 정보 제공을 할 수 있게 된다.In addition, according to the present invention, 2D augmented information to be augmented is placed in front of a virtual pinhole camera array, and the 2D augmented information is back-projected to each pinhole camera along with 2D points or 3D points to generate an integrated video image. By augmenting and providing 2D augmented information in front of the integrated video display device during image playback, it is possible to provide effective information to the user.
도 1 및 도 2는 집적영상 기술을 설명하기 위한 개념도.
도 3은 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 설명하기 위한 개념도.
도 4는 3D 포인트 클라우드의 각 3D 포인트를 가상의 핀홀 카메라 배열로 역투영하는 장면을 예시적으로 보인 도면.
도 5는 3D 포인트 클라우드를 기반으로 생성한 집적영상 이미지를 집적영상 디스플레이 장치로 재생한 결과물을 예시적으로 보인 도면.
도 6은 본 발명을 통해 제공하고자 하는 기능을 개략적으로 설명하기 위한 개념도.
도 7은 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치의 구성을 개략적으로 보인 도면.
도 8은 본 발명에 따른 3D 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 9는 본 발명에 따른 2D 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 10은 본 발명에 따른 3D 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 11은 본 발명에 따른 2D 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 12는 본 발명에 따른 증강 정보를 포함하는 집적영상 이미지 생성 과정을 예시적으로 보인 도면.
도 13에 본 발명에 따른 증강 정보를 포함하는 집적영상 이미지 재생 과정을 예시적으로 보인 도면.
도 14는 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 방법을 설명하기 위한 플로우챠트.1 and 2 are conceptual diagrams for explaining integrated imaging technology.
Figure 3 is a conceptual diagram illustrating a method of generating and reproducing an integrated video image using a 3D point cloud applied to the present invention.
Figure 4 is a diagram illustrating a scene in which each 3D point of a 3D point cloud is back-projected onto a virtual pinhole camera array.
Figure 5 is a diagram illustrating the result of reproducing an integrated video image generated based on a 3D point cloud using an integrated video display device.
Figure 6 is a conceptual diagram schematically illustrating the functions to be provided through the present invention.
Figure 7 is a diagram schematically showing the configuration of an integrated image generation and playback device capable of 3D/2D conversion according to the present invention.
Figure 8 is a diagram illustrating a 3D integrated video image generation process according to the present invention.
Figure 9 is a diagram illustrating a 2D integrated video image generation process according to the present invention.
Figure 10 is a diagram illustrating a 3D integrated video image reproduction process according to the present invention.
Figure 11 is a diagram illustrating a 2D integrated video image reproduction process according to the present invention.
Figure 12 is a diagram illustrating the process of generating an integrated video image including augmentation information according to the present invention.
13 is a diagram illustrating an integrated video image reproduction process including augmentation information according to the present invention.
14 is a flowchart illustrating a method for generating and playing integrated images capable of 3D/2D conversion according to the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed as unconditionally limited to their ordinary or dictionary meanings, and the inventor of the present invention should not use the terms or words in order to explain his invention in the best way. It should be noted that the concepts of various terms can be appropriately defined and used, and furthermore, that these terms and words should be interpreted with meanings and concepts consistent with the technical idea of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not used with the intention of specifically limiting the content of the present invention, and these terms refer to various possibilities of the present invention. It is important to note that this is a term defined with consideration in mind.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, it should be noted that in this specification, singular expressions may include plural expressions, unless the context clearly indicates a different meaning, and may include singular meanings even if similarly expressed in plural. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as “including” another component, it does not exclude any other component, but includes any other component, unless specifically stated to the contrary. It could mean that you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, if a component is described as being "installed within or connected to" another component, it means that this component may be installed in direct connection or contact with the other component and may be installed in contact with the other component and It may be installed at a certain distance, and in the case where it is installed at a certain distance, there may be a third component or means for fixing or connecting the component to another component. It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when a component is described as being “directly connected” or “directly connected” to another component, it should be understood that no third component or means is present.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions that describe the relationship between components, such as "between" and "immediately between", or "neighboring" and "directly neighboring", have the same meaning. It should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, terms such as "one side", "other side", "one side", "the other side", "first", "second", etc., if used, refer to one component. It is used to clearly distinguish it from other components, and it should be noted that the meaning of the component is not limited by this term.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to position such as "top", "bottom", "left", "right", etc., if used, should be understood as indicating the relative position of the corresponding component in the corresponding drawing. Unless the absolute location is specified, these location-related terms should not be understood as referring to the absolute location.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, when specifying the reference numeral for each component in each drawing, the same component has the same reference number even if the component is shown in different drawings, that is, the same reference is made throughout the specification. The symbols indicate the same component.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to this specification, the size, position, connection relationship, etc. of each component constituting the present invention is exaggerated, reduced, or omitted in order to convey the idea of the present invention sufficiently clearly or for convenience of explanation. It may be described, and therefore its proportions or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, hereinafter, in describing the present invention, detailed descriptions of configurations that are judged to unnecessarily obscure the gist of the present invention, for example, known technologies including prior art, may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the related drawings.
우선, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치에 대해 설명하기에 앞서, 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식에 대해 설명하기로 한다.First, before explaining the integrated image generation and playback device capable of 3D/2D conversion according to the present invention, the integrated video image generation and playback method using a 3D point cloud applied to the present invention will be described.
도 3은 본 발명에 적용되는 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 설명하기 위한 개념도이다.Figure 3 is a conceptual diagram illustrating a method of generating and reproducing integrated video images using a 3D point cloud applied to the present invention.
우선, 집적영상 이미지를 생성하기 위해서는 도 3에 도시하는 바와 같이 3D 카메라 등을 이용하여 3D 포인트 클라우드(point cloud)를 획득한다.First, in order to generate an integrated video image, a 3D point cloud is acquired using a 3D camera, etc., as shown in FIG. 3.
3D 포인트 클라우드는 3차원 공간(space or volume)을 표현하는 x, y, z 좌표 정보와 색상을 표현하는 RGB(Red, Green, Blue) 색상 정보를 가지는 3D 포인트들의 집합이다.A 3D point cloud is a set of 3D points with x, y, z coordinate information representing three-dimensional space (space or volume) and RGB (Red, Green, Blue) color information representing color.
여기서, 각각의 3D 포인트가 표현하는 좌표는 픽셀(x 좌표 및 y 좌표) 및 밀리미터(z 좌표)로 표현될 수 있다.Here, the coordinates expressed by each 3D point can be expressed in pixels (x-coordinate and y-coordinate) and millimeters (z-coordinate).
3D 포인트 클라우드를 획득한 후에는 동일한 3D 가상 공간에 가상의 이미징 센서, 가상의 핀홀 카메라 배열(Virtual Pinhole camera Array: VPA), 3D 포인트 클라우드를 배치하고, 도 4에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 3D 포인트를 역투영하여 집적영상 이미지를 생성한다.After acquiring the 3D point cloud, the virtual imaging sensor, virtual pinhole camera array (VPA), and 3D point cloud are placed in the same 3D virtual space, and each pinhole camera is installed as shown in Figure 4. Create an integrated video image by backprojecting each 3D point.
즉, 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하고, 각각의 3D 포인트에서 나온 빛을 가상의 이미징 센서의 각 픽셀에 기록하여 요소 이미지를 생성하고, 이와 같이 생성된 요소 이미지로 구성된 집적영상 이미지를 생성한다.In other words, each 3D point constituting the 3D point cloud is back-projected to each pinhole camera constituting the virtual pinhole camera array, and the light from each 3D point is recorded in each pixel of the virtual imaging sensor to create an element image. and generate an integrated video image composed of the element images created in this way.
각각의 요소 이미지는 서로 다른 시차를 갖는다.Each element image has a different parallax.
3D 포인트가 각각의 핀홀 카메라로 역투영될 때 투과된 빛은 뒤집힌 장면을 형성한다.When the 3D points are back-projected to each pinhole camera, the transmitted light forms an inverted scene.
이에 따라, 각각의 픽셀에 요소 이미지를 기록할 때, 요소 이미지의 중심을 기준으로 180도 회전하여 기록한다.Accordingly, when recording an element image in each pixel, it is rotated 180 degrees based on the center of the element image and recorded.
이와 같이 이미징 센서의 픽셀에 최종적으로 기록되는 요소 이미지는 입사되는 요소 이미지 중심을 기준으로 180도 회전되어 기록되므로, 종래의 가짜 상(pseudoscopic image) 문제를 해결할 수 있게 된다.In this way, the element image finally recorded in the pixel of the imaging sensor is rotated 180 degrees based on the center of the incident element image and recorded, thereby solving the conventional pseudoscopic image problem.
전술한 바와 같은 일련의 과정을 통해 집적영상 이미지를 생성한 후에는, 생성된 집적영상 이미지를 집적영상 디스플레이 장치를 통해 재생한다.After generating an integrated video image through a series of processes as described above, the generated integrated video image is reproduced through an integrated video display device.
구체적으로 집적영상 디스플레이 장치 앞에 렌즈 배열을 배치한 후, 집적영상 디스플레이 장치 앞에 배치된 렌즈 배열을 통해 3D 포인트 클라우드의 체적정보(volumetric information)를 그대로 복원 및 재생하여 사용자에게 상하좌우 완전시차를 가지는 3차원 입체 영상을 제공한다(도 5 참고).Specifically, after placing a lens array in front of the integrated image display device, the volumetric information of the 3D point cloud is restored and reproduced as is through the lens array placed in front of the integrated image display device, providing the user with complete parallax up, down, left, and right. Provides three-dimensional stereoscopic images (see Figure 5).
이상에서 살펴본 바와 같은 3D 포인트 클라우드를 이용한 집적영상 이미지 생성 및 재생 방식을 이용하여 본 발명에서는 도 6에 도시하는 바와 같이, 3D 입체 영상을 2D 평면 영상으로 제공할 수 있도록 하는 기능을 제공하고자 한다.Using the integrated video image generation and playback method using a 3D point cloud as discussed above, the present invention seeks to provide a function that can provide a 3D stereoscopic image as a 2D flat image, as shown in FIG. 6.
그리고, 집적영상 디스플레이 장치에서 영상이 재생되고 있을 때, 해당 영상을 설명하는 추가적인 정보를 집적영상 디스플레이 장치 앞에 증강하여 시각화하는 기능을 제공하고자 한다.In addition, when an image is being played on an integrated video display device, it is intended to provide a function to augment and visualize additional information explaining the video in front of the integrated video display device.
도 7은 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치의 구성을 개략적으로 보인 도면이다.Figure 7 is a diagram schematically showing the configuration of an integrated image generation and playback device capable of 3D/2D conversion according to the present invention.
도 7에 도시하는 바와 같이, 본 발명에 따른 3D/2D 변환이 가능한 집적영상 생성 및 재생 장치(100)는 3D 포인트 클라우드 획득부(110), 집적영상 이미지 생성부(120), 디스플레이부(130) 등을 포함하여 이루어질 수 있다.As shown in FIG. 7, the integrated image generation and
여기서, 3D 포인트 클라우드 획득부(110)는 3D 포인트 클라우드를 획득한다.Here, the 3D point
3D 포인트 클라우드 획득부(110)는 피사체의 RGB 색상 정보를 획득하는 RGB 카메라와 피사체의 x, y, z 좌표 정보를 획득하는 적외선(IR) 카메라를 구비하는 3D 카메라로 구현될 수 있다. The 3D point
집적영상 이미지 생성부(120)는 3D 포인트 클라우드 획득부(110)를 통해 획득한 3D 포인트 클라우드를 기반으로 3D 가상 공간에서 집적영상 이미지를 생성한다.The integrated
우선, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드를 구성하는 모든 3D 포인트를 3D 가상 공간에 표시한다.First, the integrated
그리고 동일한 3D 가상 공간 내에서 가상의 핀홀 카메라 배열을 원하는 위치에 배치시켜 3D 포인트 클라우드를 촬영함으로써, 피사체(3D 포인트 클라우드) 안에 핀홀 카메라를 배치시킬 수 있고, 원하는 곳을 확대하여 촬영하는 등 다양한 목적에 맞게 집적영상 이미지를 생성할 수 있게 된다.And by placing a virtual pinhole camera array at a desired location within the same 3D virtual space and shooting a 3D point cloud, you can place a pinhole camera within the subject (3D point cloud), zoom in on the desired location, and shoot for various purposes. It is possible to create integrated video images according to the requirements.
전술한 바와 같이, 가상의 핀홀 카메라 배열이 3D 포인트 클라우드 내부에 배치되면, 디스플레이 면 기준으로 밖으로 튀어나오거나 영상 안으로 들어가는 영역을 지칭하는 기준면(Reference plane)의 위치를 직접 선택할 수 있게 된다.As described above, when a virtual pinhole camera array is placed inside a 3D point cloud, the position of the reference plane, which refers to the area that protrudes out or enters the image relative to the display surface, can be directly selected.
또한, 본 발명에서는 집적영상 이미지 생성이 3D 가상 공간에서 이루어지므로, 3D 포인트 클라우드를 시각화할 수 있게 되고, 가상의 핀홀 카메라 배열과 가상의 이미징 센서의 배치 및 조작을 직관적으로 수행할 수 있게 된다.Additionally, in the present invention, since the integrated video image is generated in a 3D virtual space, it is possible to visualize a 3D point cloud, and the arrangement and operation of the virtual pinhole camera array and virtual imaging sensor can be performed intuitively.
또한, 집적영상을 재생할 집적영상 디스플레이 장치의 해상도, PPI(Pixels Per Inch) 등의 정보를 바로 반영할 수 있어, 여러 종류의 디스플레이 장치 및 해상도에 대응하여 사용자가 원하는 집적영상 이미지를 맞춤 제작할 수 있게 된다.In addition, information such as resolution and PPI (Pixels Per Inch) of the integrated video display device that will play the integrated video can be immediately reflected, allowing users to custom-create the integrated video image they want in response to various types of display devices and resolutions. do.
집적영상 이미지 생성부(120)는 3D 집적영상 이미지 생성부(121)와 2D 집적영상 이미지 생성부(123)로 기능적으로 구분되어 표현될 수 있다.The integrated video
3D 집적영상 이미지 생성부(121)는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 도 8에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 3D 포인트를 역투영하여 3D 집적영상 이미지를 생성한다.The 3D integrated
2D 집적영상 이미지 생성부(123)는 사용자가 2D 모드를 선택하게 되면, 2D 집적영상 이미지를 생성한다.The 2D integrated
2D 집적영상 이미지를 생성하기 위해 2D 집적영상 이미지 생성부(123)는 우선 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한다.To generate a 2D integrated video image, the 2D integrated
2D 집적영상 이미지 생성부(123)는 3D 포인트 클라우드 내 모든 3D 포인트의 좌표 값 중에서 깊이(z) 값을 기설정된 특정 값으로 변경하여 3D 포인트 클라우드를 2D 포인트 클라우드로 변환할 수 있다.The 2D integrated
3D 포인트 클라우드를 구성하는 각 3D 포인트의 깊이(z) 값을 특정 값으로 변환하는 방정식은 수학식 1과 같이 표현될 수 있다.The equation for converting the depth (z) value of each 3D point constituting the 3D point cloud into a specific value can be expressed as Equation 1.
수학식 1에서 P는 3D 포인트 위치이고, P'는 변환된 포인트 위치이며, 
전술한 바와 같이 변환된 2D 포인트 클라우드를 구성하는 각각의 2D 포인트의 x 좌표 값, y 좌표 값은 변환전 3D 포인트의 x 좌표 값, y 좌표 값과 동일하다.As described above, the x-coordinate value and y-coordinate value of each 2D point constituting the converted 2D point cloud are the same as the x-coordinate value and y-coordinate value of the 3D point before conversion.
이후에는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 변환된 2D 포인트 클라우드를 이용하여 도 9에 도시하는 바와 같이 각각의 핀홀 카메라로 각각의 2D 포인트를 역투영하여 2D 집적영상 이미지를 생성한다.Afterwards, using the virtual imaging sensor, virtual pinhole camera array, and converted 2D point cloud placed in a virtual 3D space, 2D integration is performed by backprojecting each 2D point to each pinhole camera as shown in FIG. 9. Create a video image.
전술한 바와 같이 집적영상 이미지 생성부(120)에서 생성된 3D 집적영상 이미지 또는 2D 집적영상 이미지는 디스플레이부(130)를 통해 재생된다.As described above, the 3D integrated video image or the 2D integrated video image generated by the integrated video
디스플레이부(130)는 액정표시장치(LCD)와 같은 평판 디스플레이 장치와 렌즈 배열로 구성될 수 있으며, 렌즈 배열을 평판 디스플레이 장치 앞에 배치하여 집적영상 이미지를 사용자에게 3D 입체 영상으로 제공할 수 있게 된다.The
집적영상 이미지 생성부(120)로부터 제공된 3D 집적영상 이미지 또는 2D 집적영상 이미지가 디스플레이부(130)의 평판 디스플레이 장치에 디스플레이되며, 평판 디스플레이 장치 앞에 배치된 렌즈가 각각의 픽셀에서 방출된 빛을 통합하여 영상을 제공한다.The 3D integrated video image or 2D integrated video image provided from the integrated
디스플레이부(130)는 집적영상 이미지 생성부(120)로부터 3D 집적영상 이미지를 제공받으면, 도 10에 도시하는 바와 같이 3D 집적영상 이미지를 3D 입체 영상으로 재생한다.When the
그리고, 집적영상 이미지 생성부(120)로부터 2D 집적영상 이미지를 제공받으면, 2D 집적영상 이미지를 도 11에 도시하는 바와 같이 체적정보가 사라진 평평한 2D 평면 영상으로 재생한다.Then, when a 2D integrated video image is received from the integrated
한편, 본 발명의 다른 실시예에서는 집적영상 디스플레이 장치에서 영상이 재생되고 있을 때, 해당 영상을 설명하는 추가적인 정보를 집적영상 디스플레이 장치 앞에 증강하여 시각화할 수 있도록 한다.Meanwhile, in another embodiment of the present invention, when an image is being played on an integrated video display device, additional information explaining the video is augmented in front of the integrated video display device to enable visualization.
이를 위해, 집적영상 이미지 생성부(120)는 도 12에 도시하는 바와 같이 가상의 핀홀 카메라 배열 앞 특정 위치(δ)에 증강시킬 2D 증강 정보를 배치시킨다.To this end, the integrated
그리고, 각각의 핀홀 카메라로 각각의 2D 포인트 또는 3D 포인트를 역투영할 때, 2D 증강 정보도 함께 각각의 핀홀 카메라로 역투영하여 해당 2D 증강 정보를 함께 기록함으로써, 집적영상 이미지를 생성한다.And, when backprojecting each 2D point or 3D point with each pinhole camera, 2D augmented information is also backprojected to each pinhole camera and the corresponding 2D augmented information is recorded together, thereby generating an integrated video image.
여기서, 2D 증강 정보의 위치는 
해당 영상에 대한 부가 정보가 증강될 정보의 위치(
수학식 2에서 P는 증강될 증강 정보의 임시 위치이고, 
디스플레이부(130)는 집적영상 이미지 생성부(120)로부터 증강될 2D 정보가 포함된 집적영상 이미지(2D 또는 3D)를 제공받으면, 평판 디스플레이 장치 앞에 배치한 렌즈 배열을 통해 집적영상 이미지를 사용자에게 2D 평면 영상 또는 3D 입체 영상으로 제공한다.When the
여기서, 2D 증강 정보는 도 13에 도시하는 바와 같이 디스플레이 장치 화면으로부터 밖으로 δ만큼 플로팅되어 시각화되는 것을 볼 수 있다.Here, the 2D augmented information can be seen being visualized by floating outward from the display device screen by δ, as shown in FIG. 13.
도 14은 본 발명에 따른 3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법을 설명하기 위한 플로우차트이다.Figure 14 is a flow chart for explaining a method of generating and playing a 3D integrated image capable of 3D/2D conversion according to the present invention.
우선, 3D 포인트 클라우드 획득부(110)에서 3D 포인트 클라우드를 획득한다(S10).First, a 3D point cloud is acquired from the 3D point cloud acquisition unit 110 (S10).
상기한 단계 S10에서 3D 포인트 클라우드 획득부(110)는 3D 카메라 등을 통해 피사체의 RGB 색상 정보와 x, y, z 좌표 정보를 포함하는 3D 포인트의 집합인 3D 포인트 클라우드를 획득한다.In step S10 described above, the 3D point
이후, 집적영상 이미지 생성부(120)는 상기한 단계 S10을 통해 획득한 3D 포인트 클라우드를 기반으로 3D 가상 공간에서 집적영상 이미지를 생성한다.Thereafter, the integrated
그리고, 디스플레이부(130)는 집적영상 이미지 생성부(120)에서 생성된 집적영상 이미지를 재생한다.Then, the
전술한 바와 같이 집적영상 이미지를 생성하고 재생할 때, 사용자로부터 선택받은 모드에 따라 선택 모드가 3D 모드인 경우에는 3D 집적영상 이미지를 생성한 후, 생성한 3D 집적영상 이미지를 3D 입체 영상으로 재생한다(S20).As described above, when creating and playing an integrated video image, if the selected mode is 3D mode according to the mode selected by the user, a 3D integrated video image is created and then the generated 3D integrated video image is played as a 3D stereoscopic image. (S20).
상기한 단계 S20에서, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드를 구성하는 모든 3D 포인트를 3D 가상 공간에 표시하고, 동일한 3D 가상공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열을 이용하여 3D 집적영상 이미지를 생성한다(S21).In step S20 described above, the integrated
상기한 단계 S21에서 집적영상 이미지 생성부(120)는 각각의 3D 포인트를 각각의 핀홀 카메라로 역투영하여 3D 집적영상 이미지를 생성한다(도 7 참고).In step S21 described above, the integrated
상기한 단계 S21에서 생성된 3D 집적영상 이미지는 디스플레이부(130)를 통해 도 10에 도시하는 바와 같이 3D 입체 영상으로 재생된다(S23).The 3D integrated video image generated in step S21 is played back as a 3D stereoscopic image as shown in FIG. 10 through the display unit 130 (S23).
한편, 집적영상 이미지를 생성하고 재생할 때, 사용자로부터 선택받은 모드에 따라 선택 모드가 2D 모드인 경우에는 2D 집적영상 이미지를 생성한 후, 생성한 2D 집적영상 이미지를 2D 평면 영상으로 재생한다(S30).Meanwhile, when creating and playing an integrated video image, if the selected mode is 2D mode according to the mode selected by the user, a 2D integrated video image is created and then the generated 2D integrated video image is played as a 2D flat image (S30 ).
상기한 단계 S20에서, 집적영상 이미지 생성부(120)는 2D 집적영상 이미지를 생성하기 위해 3D 포인트 클라우드를 2D 포인트 클라우드로 변환한 후, 변환된 2D 포인트 클라우드를 구성하는 모든 2D 포인트를 3D 가상 공간에 표시하고, 동일한 3D 가상공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열을 이용하여 2D 집적영상 이미지를 생성한다(S31).In step S20, the integrated
상기한 단계 S31에서, 집적영상 이미지 생성부(120)는 3D 포인트 클라우드 내 모든 3D 포인트의 좌표 값 중에서 깊이(z) 값을 기설정된 특정 값으로 변경하여 3D 포인트 클라우드를 2D 포인트 클라우드로 변환할 수 있다.In step S31 described above, the integrated
상기한 단계 S31에서 집적영상 이미지 생성부(120)는 각각의 2D 포인트를 각각의 핀홀 카메라로 역투영하여 2D 집적영상 이미지를 생성한다(도 9 참고).In step S31 described above, the integrated
상기한 단계 S31에서 생성된 2D 집적영상 이미지는 디스플레이부(130)를 통해 도 11에 도시하는 바와 같이 체적정보가 사라진 평평한 2D 평면 영상으로 재생된다(S33).The 2D integrated video image generated in step S31 described above is reproduced through the
한편, 집적영상 디스플레이 장치를 통해 재생되고 있는 영상에 대한 추가적인 정보를 증강하여 시각화하고자 하는 경우에는, 상기한 단계 S21 및 단계 S31에서 집적영상 이미지를 생성할 때, 증강시키고자 하는 2D 증강 정보를 함께 기록하여 집적영상 이미지를 생성한다.On the other hand, if you want to augment and visualize additional information about the image being played through the integrated video display device, when generating the integrated video image in steps S21 and S31 described above, 2D augmented information to be augmented is included together. Record and create an integrated video image.
구체적으로, 가상의 핀홀 카메라 배열 앞 특정 위치(δ)에 증강시킬 2D 증강 정보를 배치시키고, 각각의 핀홀 카메라로 각각의 2D 포인트 또는 3D 포인트를 역투영하여 2D 집적영상 이미지 또는 3D 집적영상 이미지를 생성할 때, 2D 증강 정보를 각각의 핀홀 카메라로 역투영하여 집적영상 이미지 생성할 때 해당 2D 증강 정보를 함께 기록한다.Specifically, 2D augmented information to be augmented is placed at a specific position (δ) in front of the virtual pinhole camera array, and each 2D point or 3D point is back-projected with each pinhole camera to create a 2D integrated video image or 3D integrated video image. When generating, the 2D augmented information is back-projected to each pinhole camera and the corresponding 2D augmented information is recorded together when generating the integrated video image.
이와 같이 2D 증강 정보가 함께 기록된 2D 집적영상 이미지 또는 3D 집적영상 이미지를 제공받은 디스플레이부(130)는 평판 디스플레이 장치 앞에 배치한 렌즈 배열을 통해 사용자에게 2D 평면 영상 또는 3D 입체 영상으로 제공한다.The
이때, 디스플레이부(130)는 2D 증강 정보를 도 13에 도시하는 바와 같이 디스플레이 장치 화면 앞 특정 위치(δ)에 증강시켜 사용자에게 제공하게 된다.At this time, the
이와 같이, 본 발명에 의하면, 집적영상 이미지 제작이 가상의 3D 공간에서 이루어지므로, 3D 포인트 클라우드를 시각화할 수 있게 되고, 가상의 핀홀 카메라 배열과 가상의 이미징 센서의 배치 및 조작을 직관적으로 수행할 수 있게 된다.As such, according to the present invention, since the production of integrated video images is performed in a virtual 3D space, it is possible to visualize a 3D point cloud, and the arrangement and manipulation of the virtual pinhole camera array and virtual imaging sensor can be intuitively performed. It becomes possible.
또한, 집적영상을 재생할 집적영상 디스플레이 장치의 해상도, PPI(Pixels Per Inch) 등의 정보를 바로 반영할 수 있어, 여러 종류의 디스플레이 장치 및 해상도에 대응하여 사용자가 원하는 집적영상 이미지를 맞춤 제작할 수 있게 된다.In addition, information such as resolution and PPI (Pixels Per Inch) of the integrated video display device that will play the integrated video can be immediately reflected, allowing users to custom-create the integrated video image they want in response to various types of display devices and resolutions. do.
또한, 가상의 3D 공간 내에서 가상의 핀홀 카메라 배열을 원하는 곳에 배치하여 3D 포인트 클라우드를 촬영함으로써, 기준면(Reference plane)을 직접 선택할 수 있게 된다.Additionally, by placing a virtual pinhole camera array in a desired location within a virtual 3D space and capturing a 3D point cloud, it is possible to directly select a reference plane.
또한, 본 발명에 의하면, 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하여 사용자에게 촬영한 피사체를 3D 입체 영상뿐만 아니라, 2D 평면 영상으로 제공할 수 있게 된다.In addition, according to the present invention, it is possible to convert a 3D point cloud into a 2D point cloud and provide the user with a 2D flat image as well as a 3D stereoscopic image.
또한, 재생되는 영상에 필요한 추가적인 정보를 증강시켜 제공하므로, 사용자에게 효과적인 정보 제공을 할 수 있게 된다.In addition, since additional information required for the video being played is augmented and provided, effective information can be provided to the user.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.Above, various preferred embodiments of the present invention have been described by giving some examples, but the description of the various embodiments described in the "Detailed Contents for Carrying out the Invention" section is merely illustrative and the present invention Those skilled in the art will understand from the above description that the present invention can be implemented with various modifications or equivalent implementations of the present invention.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to make the disclosure of the present invention complete and is commonly used in the technical field to which the present invention pertains. It is provided only to fully inform those with knowledge of the scope of the present invention, and it should be noted that the present invention is only defined by each claim in the claims.
100. 3D 집적영상 생성 및 재생 장치,
110. 3D 포인트 클라우드 획득부,
120. 집적영상 이미지 생성부,
121. 3D 집적영상 이미지 생성부,
123. 2D 집적영상 이미지 생성부,
130. 디스플레이부100. 3D integrated image generation and playback device,
110. 3D point cloud acquisition department,
120. Integrated video image generation unit,
121. 3D integrated video image generation unit,
123. 2D integrated video image generation unit,
130. Display unit
Claims (13)
상기 집적영상 이미지 생성부는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부와; 사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부를 더 포함하고;
상기 집적영상 이미지 생성부는 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 것을 더 포함하며;
상기 디스플레이부는 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 것을 더 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.a 3D point cloud acquisition unit that acquires a 3D point cloud; an integrated video image generator that generates a 3D integrated video image or a 2D integrated video image according to the user's mode selection in a virtual 3D space; An integrated video generation and playback device capable of 3D/2D conversion, including a display unit that reproduces the 3D integrated video image as a 3D stereoscopic image and the 2D integrated video image as a 2D flat image,
The integrated video image generator includes a 3D integrated video image generator that generates a 3D integrated video image using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space; The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. It further includes a 2D integrated video image generator that generates;
The integrated video image generator generates a 3D integrated video image or a 2D integrated video image according to the user's mode selection using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in a virtual 3D space, After placing 2D information to be augmented in front of the virtual pinhole camera array, generating an integrated video image by recording the 2D information together when generating an integrated video image;
The display unit reproduces the 3D integrated video image as a 3D stereoscopic image, and reproduces the 2D integrated video image as a 2D flat image, further comprising augmenting and visualizing additional additional information in front of the reproduced image.
An integrated video creation and playback device capable of 3D/2D conversion.
상기 3D 포인트 클라우드는,
3D 포인트들의 집합으로,
각각의 3D 포인트는,
3차원 공간을 표현하는 X, Y, Z 좌표 정보와 색상을 표현하는 RGB 색상 정보를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to paragraph 1,
The 3D point cloud is,
As a set of 3D points,
Each 3D point is,
Characterized by including X, Y, Z coordinate information representing three-dimensional space and RGB color information representing color.
An integrated video creation and playback device capable of 3D/2D conversion.
상기 2D 집적영상 이미지 생성부는,
상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.According to paragraph 1,
The 2D integrated video image generator,
Characterized in converting the 3D point cloud into a 2D point cloud by changing the depth (Z) value of all 3D points in the 3D point cloud to a preset specific value.
An integrated video creation and playback device capable of 3D/2D conversion.
상기 가상의 3D 공간에 배치되는 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드는,
가상의 이미징 센서 앞에 상기 가상의 핀홀 카메라 배열이 배치되고, 상기 가상의 핀홀 카메라 배열 앞에 3D 포인트 클라우드가 배치되는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to paragraph 1,
A virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud arranged in the virtual 3D space,
Characterized in that the virtual pinhole camera array is placed in front of the virtual imaging sensor, and a 3D point cloud is placed in front of the virtual pinhole camera array.
An integrated video creation and playback device capable of 3D/2D conversion.
상기 집적영상 이미지 생성부는,
상기 3D 포인트 클라우드를 구성하는 각각의 3D 포인트를 상기 가상의 핀홀 카메라 배열을 구성하는 각각의 핀홀 카메라로 역투영하여 상기 가상의 이미징 센서를 통해 생성된 요소 이미지로 집적영상 이미지를 생성하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.
According to paragraph 1,
The integrated video image generator,
Characterized by back-projecting each 3D point constituting the 3D point cloud to each pinhole camera constituting the virtual pinhole camera array to generate an integrated video image with element images generated through the virtual imaging sensor. doing,
An integrated video creation and playback device capable of 3D/2D conversion.
상기 집적영상 이미지 생성부는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성부;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성부;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 집적영상 생성 및 재생 장치.According to paragraph 1,
The integrated video image generator,
A 3D integrated video image is generated using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. After placing 2D information to be augmented in front of the virtual pinhole camera array, 3D integrated video is performed. A 3D integrated video image generator that records the 2D information when generating a video image to generate a 3D integrated video image;
The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. A 2D integrated video image generator that generates a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating the 2D integrated video image. Characterized in that,
An integrated video creation and playback device capable of 3D/2D conversion.
가상의 3D 공간에서 집적영상 이미지 생성부를 통해 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하는 집적영상 이미지 생성 단계와; 디스플레이부에서, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하는 집적영상 재생 단계를 포함하는 3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법으로서,
상기 집적영상 이미지 생성 단계는 집적영상 이미지 생성부를 통해, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여, 사용자의 모드 선택에 따라 3D 집적영상 이미지 또는 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 집적영상 이미지를 생성하는 단계를 더 포함하고;
상기 집적영상 재생 단계는 디스플레이부를 통해, 상기 3D 집적영상 이미지를 3D 입체 영상으로 재생하고, 상기 2D 집적영상 이미지를 2D 평면 영상으로 재생하되, 추가적인 부가 정보를 재생된 영상 앞에 증강시켜 시각화하는 단계를 더 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.A 3D point cloud acquisition step of acquiring a 3D point cloud in a 3D point cloud acquisition unit;
An integrated video image generation step of generating a 3D integrated video image or a 2D integrated video image according to the user's mode selection through an integrated video image generator in a virtual 3D space; A 3D integrated video generation and playback method capable of 3D/2D conversion, comprising an integrated video reproduction step of playing the 3D integrated video image as a 3D stereoscopic image and reproducing the 2D integrated video image as a 2D flat image in a display unit. ,
The integrated video image generation step uses a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and a 3D point cloud through the integrated video image generator to generate a 3D integrated video image or a 3D integrated video image according to the user's mode selection. Generating a 2D integrated video image, further comprising the step of placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating the integrated video image to generate the integrated video image;
The integrated video reproduction step includes reproducing the 3D integrated video image as a 3D stereoscopic image through a display unit, reproducing the 2D integrated video image as a 2D flat image, and visualizing additional information by augmenting it in front of the reproduced image. Characterized by further comprising:
Method for creating and playing 3D integrated images capable of 3D/2D conversion.
상기 집적영상 이미지 생성 단계는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
According to clause 9,
The integrated video image generation step is,
A 3D integrated video image generation step of generating a 3D integrated video image using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space;
The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. Characterized in that it includes a 2D integrated video image generation step of generating,
Method for creating and playing 3D integrated images capable of 3D/2D conversion.
상기 2D 집적영상 이미지 생성 단계는,
상기 3D 포인트 클라우드 내 모든 3D 포인트의 깊이(Z) 값을 기설정된 특정 값으로 변경하여, 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하는 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.
According to clause 10,
The 2D integrated video image generation step is,
Converting the 3D point cloud to a 2D point cloud by changing the depth (Z) value of all 3D points in the 3D point cloud to a preset specific value,
Method for creating and playing 3D integrated images capable of 3D/2D conversion.
상기 집적영상 이미지 생성 단계는,
가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 3D 포인트 클라우드를 이용하여 3D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 3D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 3D 집적영상 이미지를 생성하는 3D 집적영상 이미지 생성 단계;
사용자의 2D 모드 선택에 따라 상기 3D 포인트 클라우드를 2D 포인트 클라우드로 변환하고, 가상의 3D 공간에 배치된 가상의 이미징 센서, 가상의 핀홀 카메라 배열, 상기 변환된 2D 포인트 클라우드를 이용하여 2D 집적영상 이미지를 생성하되, 상기 가상의 핀홀 카메라 배열 앞에 증강시킬 2D 정보를 배치시킨 후, 2D 집적영상 이미지 생성 시에 상기 2D 정보를 함께 기록하여 2D 집적영상 이미지를 생성하는 2D 집적영상 이미지 생성 단계;를 포함하는 것을 특징으로 하는,
3D/2D 변환이 가능한 3D 집적영상 생성 및 재생 방법.According to clause 9,
The integrated video image generation step is,
A 3D integrated video image is generated using a virtual imaging sensor, a virtual pinhole camera array, and a 3D point cloud placed in a virtual 3D space. After placing 2D information to be augmented in front of the virtual pinhole camera array, 3D integrated video is performed. A 3D integrated video image generating step of generating a 3D integrated video image by recording the 2D information when generating a video image;
The 3D point cloud is converted into a 2D point cloud according to the user's 2D mode selection, and a 2D integrated video image is created using a virtual imaging sensor placed in a virtual 3D space, a virtual pinhole camera array, and the converted 2D point cloud. A 2D integrated video image generation step of generating a 2D integrated video image by placing 2D information to be augmented in front of the virtual pinhole camera array and then recording the 2D information together when generating the 2D integrated video image. Characterized in that,
Method for creating and playing 3D integrated images capable of 3D/2D conversion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230087795A KR20230087795A (en) | 2023-06-19 |
| KR102649281B1 true KR102649281B1 (en) | 2024-03-20 |
Family
ID=86988310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210176339A KR102649281B1 (en) | 2021-12-10 | 2021-12-10 | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102649281B1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764382B1 (en) | 2006-06-28 | 2007-10-08 | 한국정보통신대학교 산학협력단 | Apparatus for image mapping in computer-generated integral imaging system and method thereof |
| KR101289008B1 (en) * | 2011-12-28 | 2013-07-23 | 충북대학교 산학협력단 | Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof |
| KR101567002B1 (en) * | 2014-02-19 | 2015-11-09 | 동서대학교산학협력단 | Computer graphics based stereo floting integral imaging creation system |
-
2021
- 2021-12-10 KR KR1020210176339A patent/KR102649281B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230087795A (en) | 2023-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180338137A1 (en) | LED-Based Integral Imaging Display System as Well as Its Control Method and Device | |
| US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
| CN105704479B (en) | The method and system and display equipment of the measurement human eye interpupillary distance of 3D display system | |
| RU2453922C2 (en) | Method of displaying original three-dimensional scene based on results of capturing images in two-dimensional projection | |
| JP6921973B2 (en) | Microscope device for capturing and displaying 3D images of samples | |
| JP2007096951A (en) | Multi-viewpoint image creating apparatus, method, and program | |
| KR102049456B1 (en) | Method and apparatus for formating light field image | |
| JP2003187261A (en) | Device and method for generating three-dimensional image, three-dimensional image processing apparatus, three-dimensional image photographing display system, three-dimensional image processing method and storage medium | |
| JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
| US20080238930A1 (en) | Texture processing apparatus, method and program | |
| JP2020004325A (en) | Image processing device, image processing method, and program | |
| WO2009093136A2 (en) | Image capture and motion picture generation | |
| KR20080075079A (en) | System and method for capturing visual data | |
| CA2540538C (en) | Stereoscopic imaging | |
| JPH07240945A (en) | Virtual space generating and presenting device | |
| JP6166985B2 (en) | Image generating apparatus and image generating program | |
| KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
| Owczarczyk et al. | Evaluation of true 3 D display systems for visualizing medical volume data | |
| KR102649281B1 (en) | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion | |
| US20070035542A1 (en) | System, apparatus, and method for capturing and screening visual images for multi-dimensional display | |
| JP5177668B2 (en) | Stereoscopic image creating apparatus and method, and endoscopy system | |
| KR20010096556A (en) | 3D imaging equipment and method | |
| Barabas | Holographic television: measuring visual performance with holographic and other 3D television technologies | |
| Uyen et al. | Subjective evaluation of the 360-degree projection formats using absolute category rating | |
| JP5200141B2 (en) | Video presentation system, video presentation method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |