KR20220092032A - Stitching system for panoramic image contets and stiching method usiting therewith - Google Patents
Stitching system for panoramic image contets and stiching method usiting therewith Download PDFInfo
- Publication number
- KR20220092032A KR20220092032A KR1020200183385A KR20200183385A KR20220092032A KR 20220092032 A KR20220092032 A KR 20220092032A KR 1020200183385 A KR1020200183385 A KR 1020200183385A KR 20200183385 A KR20200183385 A KR 20200183385A KR 20220092032 A KR20220092032 A KR 20220092032A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sphere
- stitching
- images
- present
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0062—Panospheric to cylindrical image transformation
-
- G06T3/12—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
Description
본 발명은 파노라믹 영상 컨텐츠의 스티칭 시스템 및 이를 이용한 스티칭 바방법에 관한 것이다.The present invention relates to a stitching system for panoramic video content and a stitching bar method using the same.
기존 파노라믹 영상 스티칭 방법에 의하면, 각 영상 사이의 Feature matching을 이용할 경우 계산 시간이 오래 걸리는 문제가 있다. 그리고, 또한 Panorama stitching과 다르게 영상 평면 사이의 각도가 크며, 영상이 정수리, 발끝에 위치하는 경우 arcsine/arctangent 계산 시 크게 왜곡되는 경향이 있었다.According to the existing panoramic image stitching method, there is a problem in that it takes a long time to calculate when feature matching between images is used. Also, unlike Panorama stitching, the angle between the image planes is large, and when the image is located on the crown and toes, it tends to be greatly distorted when calculating arcsine/arctangent.
이에 본 발명의 실시예는 파노라믹 영상 컨텐츠의 스티칭 시, 계산 시간이 감소되며, 영상의 왜곡이 억제되는 파노라믹 영상 컨텐츠의 스티칭 시스템 및 이를 이용한 스티칭 방법을 제안하고자 한다.Accordingly, an embodiment of the present invention is to propose a stitching system for panoramic image content that reduces calculation time and suppresses image distortion when stitching panoramic image content, and a stitching method using the same.
본 발명의 실시예에 따른 파노라믹 영상 컨텐츠의 스티칭 시스템을 이용한 스티티칭 방법은, Feature extraction 단계에서 계산 속도를 높이기 위하여 edge-matching 만을 수행하는 단계; 및 영상 평면 사이의 각도에 의한 영향을 최소화 하기 위해, 구면 위로 영상의 edge를 투영하고, 구 면 위에서 영상 간 edge를 비교하는 단계;를 포함하고, 3차원 공간에서 영상 평면 사이의 상대적 위치가 정확할 경우에만, 영상 간 Edge 사이의 거리가 최소화되며, 3차원 공간에서 영상 평면의 위치를 정확히 위치시킨다면, 구의 중심 점으로부터 구면 위의 영상을 sampling 하여 원하는 해상도의 이미지를 복원 가능하게 형성된다.A stitching method using a stitching system for panoramic image content according to an embodiment of the present invention includes: performing only edge-matching in order to speed up calculation in a feature extraction step; and projecting the edge of the image onto the sphere to minimize the effect of the angle between the image planes, and comparing the edges between the images on the sphere. Only in this case, the distance between the edges between the images is minimized, and if the position of the image plane is accurately positioned in the three-dimensional space, the image on the sphere is sampled from the center point of the sphere so that the image of the desired resolution can be restored.
제안되는 실시예에 의하면, 파노라믹 영상 컨텐츠의 스티칭 시, 계산 시간이 감소되며, 영상의 왜곡이 억제될 수 있다.According to the proposed embodiment, when stitching the panoramic image content, the calculation time is reduced, and image distortion can be suppressed.
도 1은 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠의 스티칭 시스템을 이용한 스티칭 방법을 보여주는 도면이다.
도 2 내지 도 5는 도 1의 스티칭 방법에 의하여, 파노라믹 영상 컨텐츠가 스티칭 되는 과정을 보여주는 도면이다.1 is a diagram illustrating a stitching method using a stitching system for panoramic video content according to an embodiment of the present invention.
2 to 5 are diagrams illustrating a process in which panoramic image content is stitched by the stitching method of FIG. 1 .
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be embodied in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and as those skilled in the art will fully understand, technically various interlocking and driving are possible, and each embodiment may be implemented independently of each other, It may be possible to implement together in a related relationship.
한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.On the other hand, the potential effects that can be expected by the technical features of the present invention that are not specifically mentioned in the specification of the present invention are treated as described in the present specification, and this embodiment is provided to those of ordinary skill in the art. It is provided to more completely explain the present invention, and the details shown in the drawings may be exaggerated compared to the actual implementation of the present invention, and the detailed description of the configuration determined to unnecessarily obscure the gist of the present invention is omitted or abbreviated.
이하에서는 첨부되는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 파노라믹 영상 컨텐츠의 스티칭 시스템을 이용한 스티칭 방법을 보여주는 도면이다. 그리고, 도 2 내지 도 4는 도 1의 스티칭 방법에 의하여, 파노라믹 영상 컨텐츠가 스티칭 되는 과정을 보여주는 도면이다.1 is a diagram illustrating a stitching method using a stitching system for panoramic video content according to an embodiment of the present invention. And, FIGS. 2 to 4 are diagrams illustrating a process in which the panoramic image content is stitched by the stitching method of FIG. 1 .
도 1 내지 도 4를 참조하면, 본 발명의 실시예에 따른 파노라믹 영상 스티칭 시스템은, Mobile 카메라를 통해 획득된 다수의 이미지로 부터 VR 가시화를 위한 2차원 융합 영상 획득하기 위한 것이다.1 to 4, the panoramic image stitching system according to an embodiment of the present invention is for acquiring a two-dimensional fusion image for VR visualization from a plurality of images acquired through a mobile camera.
보다 상세히, Feature extraction 단계에서 계산 속도를 높이기 위하여 edge-matching 만을 수행한다. 그리고, 영상 평면 사이의 각도에 의한 영향을 최소화하기 위해, 구면 위로 영상의 edge를 투영하고, 구 면 위에서 영상 간 edge를 비교한다. 이때, Simple Canny edge을 이용하여, 빠른 영상 특징점 검출이 가능하다. 영상의 특징점 위치는, 촬영된 각도와 초점거리를 이용하여 3차원 좌표로 바꿀 수 있다. 그리고, 3차원 공간상의 영상의 특징점 을 Unit sphere 위로 투영한다.In more detail, only edge-matching is performed in order to speed up the calculation in the feature extraction step. And, in order to minimize the effect of the angle between the image planes, the edge of the image is projected onto the sphere, and the edge between the images is compared on the sphere. In this case, it is possible to quickly detect image feature points by using a Simple Canny edge. The position of the feature point of the image can be converted into three-dimensional coordinates by using the photographed angle and focal length. Then, the feature points of the image in 3D space are projected onto the unit sphere.
모든 영상의 특징점을 비교하는 것은 계산량이 많기 때문에 근처에 있는 영상 평면만을 선택하여 Small group wise stitching을 수행한다.Since comparing the feature points of all images involves a lot of computation, small group wise stitching is performed by selecting only the image planes that are nearby.
만약 모든 이웃 영상이 스티칭 되었으면, 이웃 영상중 가장 가까운 영상을 선택하고 스티칭을 반복한다.If all neighboring images are stitched, the closest image is selected among the neighboring images and stitching is repeated.
영상 촬영위치의 중심으로부터 Ray를 쏘고, 이때 Ray는 충돌한 이미지 plane으로부터 color를 읽어온다.Ray is emitted from the center of the image shooting position, and at this time, the color is read from the collided image plane.
이후 읽은 컬러 값을 3차원 구면 위의 지도를 2차원 평면 지도로 만드는 과정과 유사하게 2차원 재배열한다. Afterwards, the read color values are rearranged in two dimensions similar to the process of making a map on a three-dimensional sphere into a two-dimensional plane map.
3차원 공간에서 영상 평면 사이의 상대적 위치가 정확할 경우에만, 영상 간 Edge 사이의 거리가 최소화된다.Only when the relative positions between image planes in 3D space are correct, the distance between the edges between images is minimized.
3차원 공간에서 영상 평면의 위치를 정확히 위치시킨다면, 구의 중심 점으로부터 구면 위의 영상을 sampling 하여 원하는 해상도의 이미지를 복원 가능하다.If the position of the image plane is accurately positioned in the three-dimensional space, an image with a desired resolution can be restored by sampling the image on the sphere from the center point of the sphere.
제안되는 실시예에 의하면, 파노라믹 영상 컨텐츠의 스티칭 시, 계산 시간이 감소되며, 영상의 왜곡이 억제될 수 있다.According to the proposed embodiment, when stitching the panoramic image content, the calculation time is reduced, and image distortion can be suppressed.
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.In the above, preferred embodiments of the present invention have been described, but the present invention is not limited thereto, and various modifications can be made within the scope of the claims, the detailed description of the invention, and the accompanying drawings. It is natural to fall within the scope of
Claims (1)
Feature extraction 단계에서 계산 속도를 높이기 위하여 edge-matching 만을 수행하는 단계; 및
영상 평면 사이의 각도에 의한 영향을 최소화 하기 위해, 구면 위로 영상의 edge를 투영하고, 구 면 위에서 영상 간 edge를 비교하는 단계;를 포함하고,
3차원 공간에서 영상 평면 사이의 상대적 위치가 정확할 경우에만, 영상 간 Edge 사이의 거리가 최소화되며,
3차원 공간에서 영상 평면의 위치를 정확히 위치시킨다면, 구의 중심 점으로부터 구면 위의 영상을 sampling 하여 원하는 해상도의 이미지를 복원 가능한 것을 특징으로 하는 파노라믹 영상 컨텐츠의 스티칭 시스템을 이용한 스티티칭 방법.
In a stitching method using a stitching system for panoramic video content,
performing only edge-matching to increase the calculation speed in the feature extraction step; and
In order to minimize the effect of the angle between the image planes, projecting the edge of the image onto the sphere and comparing the edge between the images on the sphere;
The distance between the edges between the images is minimized only when the relative positions between the image planes in the three-dimensional space are correct.
A stitching method using a stitching system for panoramic video content, characterized in that it is possible to restore an image of a desired resolution by sampling an image on the sphere from the center point of the sphere if the position of the image plane is accurately positioned in the three-dimensional space.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183385A KR20220092032A (en) | 2020-12-24 | 2020-12-24 | Stitching system for panoramic image contets and stiching method usiting therewith |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200183385A KR20220092032A (en) | 2020-12-24 | 2020-12-24 | Stitching system for panoramic image contets and stiching method usiting therewith |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220092032A true KR20220092032A (en) | 2022-07-01 |
Family
ID=82396695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200183385A KR20220092032A (en) | 2020-12-24 | 2020-12-24 | Stitching system for panoramic image contets and stiching method usiting therewith |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220092032A (en) |
-
2020
- 2020-12-24 KR KR1020200183385A patent/KR20220092032A/en unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7291244B2 (en) | Projector Keystone Correction Method, Apparatus, System and Readable Storage Medium | |
| US10540806B2 (en) | Systems and methods for depth-assisted perspective distortion correction | |
| KR101956149B1 (en) | Efficient Determination of Optical Flow Between Images | |
| US10115182B2 (en) | Depth map super-resolution processing method | |
| US9900505B2 (en) | Panoramic video from unstructured camera arrays with globally consistent parallax removal | |
| CN106462944B (en) | High-resolution panorama VR generator and method | |
| JP5739584B2 (en) | 3D image synthesizing apparatus and method for visualizing vehicle periphery | |
| JP5739409B2 (en) | Method for determining the relative position of a first image device and a second image device and these devices | |
| US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
| WO2018235163A1 (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
| KR20150120066A (en) | System for distortion correction and calibration using pattern projection, and method using the same | |
| KR20110078175A (en) | Method and apparatus for generating of image data | |
| JP7387434B2 (en) | Image generation method and image generation device | |
| KR101853269B1 (en) | Apparatus of stitching depth maps for stereo images | |
| KR20130104691A (en) | Apparatus and method for image processing | |
| WO2016204068A1 (en) | Image processing apparatus and image processing method and projection system | |
| US9530240B2 (en) | Method and system for rendering virtual views | |
| CN110689476A (en) | Panoramic image splicing method and device, readable storage medium and electronic equipment | |
| JP6403862B1 (en) | Three-dimensional model generation apparatus, generation method, and program | |
| JP2014010783A (en) | Image processing apparatus, image processing method, and program | |
| KR20190044439A (en) | Method of stitching depth maps for stereo images | |
| KR20220092032A (en) | Stitching system for panoramic image contets and stiching method usiting therewith | |
| EP4064193A1 (en) | Real-time omnidirectional stereo matching using multi-view fisheye lenses | |
| US20210097680A1 (en) | Method for producing a two-dimensional whole image | |
| JP2020173726A (en) | Virtual viewpoint conversion device and program |