KR101994112B1 - 분할 영역 단위의 파노라마 영상 합성 장치 및 방법 - Google Patents
분할 영역 단위의 파노라마 영상 합성 장치 및 방법 Download PDFInfo
- Publication number
- KR101994112B1 KR101994112B1 KR1020170166058A KR20170166058A KR101994112B1 KR 101994112 B1 KR101994112 B1 KR 101994112B1 KR 1020170166058 A KR1020170166058 A KR 1020170166058A KR 20170166058 A KR20170166058 A KR 20170166058A KR 101994112 B1 KR101994112 B1 KR 101994112B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- divided
- region
- area
- divided regions
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 48
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 34
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 238000005192 partition Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 6
- 238000001308 synthesis method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
분할 영역 단위의 파노라마 영상 합성 방법에 관한 것이며, 분할 영역 단위의 파노라마 영상 합성 방법은, (a) 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 단계; (b) 상기 전처리에 기반하여 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 단계; 및 (c) 스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 단계를 포함할 수 있다.
Description
본원은 분할 영역 단위의 파노라마 영상 합성 장치 및 방법에 관한 것이다.
영상 관련 분야에서 파노라마 영상, 360도 영상 등을 생성함에 있어서 여러 개의 영상을 이어붙이는 작업인 스티칭(stitching) 작업이 매우 중요하게 다뤄지고 있다.
종래의 전통적인 이미지 스티칭 작업은 한 쌍의 이미지에 대하여 전체 영역의 특징점을 추출하고 이를 매칭하여 호모그래피(Homography)를 추출하고 이미지를 와핑함으로써 이루어졌다. 그런데, 이러한 종래의 스티칭 작업은 이미지 전체에 대하여 특징점을 매칭하기 때문에 특징점 간의 잘못된 매칭이 크게 발생할 수 있고, 영상 전체를 아우르는 호모그래피 추출로 인해 정확한 스티칭이 수행되기 어려운 단점이 있다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2016-0021501호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 종래의 스티칭 작업의 경우 이미지 전체에 대하여 특징점을 매칭하기 때문에 특징점 간의 잘못된 매칭이 크게 발생할 수 있고, 영상 전체를 아우르는 호모그래피 추출로 인해 정확한 스티칭이 수행되기 어려웠던 문제를 해소할 수 있는 분할 영역 단위의 파노라마 영상 합성 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 파노라마 영상, 360도 영상 등을 보다 효과적으로 생성할 수 있는 분할 영역 단위의 파노라마 영상 합성 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법은, (a) 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 단계; (b) 상기 전처리에 기반하여 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 단계; 및 (c) 스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 (a) 단계에서, 상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고, 상기 각 영상 내의 분할 영역별로 분류 라벨이 부여될 수 있다.
또한, 상기 (a) 단계는, (a1) 상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여 일대일 대응 관계를 갖는 대응 분할 영역을 설정하는 단계; 및 (a2) 상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 설정하는 단계를 포함할 수 있다.
또한, 상기 (a2) 단계에서, 상기 각 영상 내의 분할 영역 중 일대일 대응 관계에 있는 대응 분할 영역은 깊이 지수가 동일하게 설정될 수 있다.
또한, 상기 (b) 단계는, 상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭할 수 있다.
또한, 상기 (b) 단계는, 상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭할 수 있다.
또한, 상기 (c) 단계는, 상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행하는 단계를 포함할 수 있다.
또한, 상기 스태킹을 수행하는 단계는, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행할 수 있다.
또한, 상기 스태킹을 수행하는 단계는, 상기 스태킹 수행시 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용할 수 있다.
또한, 상기 (c) 단계는, 상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소의 화소 값을 보간할 수 있다.
또한, 상기 (c) 단계는, 상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용할 수 있다.
한편, 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치는, 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 전처리부; 상기 전처리에 기반하여 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 스티칭부; 및 스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 생성부를 포함할 수 있다.
또한, 상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고, 상기 전처리부는, 상기 각 영상 내의 분할 영역별로 분류 라벨을 부여할 수 있다.
또한, 상기 전처리부는, 상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여 일대일 대응 관계를 갖는 대응 분할 영역을 설정하고, 상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 설정할 수 있다.
또한, 상기 전처리부는, 상기 각 영상 내의 분할 영역 중 일대일 대응 관계에 있는 대응 분할 영역의 깊이 지수를 동일하게 설정할 수 있다.
또한, 상기 스티칭부는, 상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭할 수 있다.
또한, 상기 스티칭부는, 상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭할 수 있다.
또한, 상기 생성부는, 상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행할 수 있다.
또한, 상기 생성부는, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행할 수 있다.
또한, 상기 생성부는, 상기 스태킹 수행시 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용할 수 있다.
또한, 상기 생성부는, 상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소의 화소 값을 보간할 수 있다.
또한, 상기 생성부는, 상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고 각 영상 내의 분할 영역 간 스티칭을 수행하여 각 영상이 합성된 합성 영상을 생성함으로써, 특징점 간의 매칭 및 스티칭의 정확성을 향상시킬 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 분할된 분할 영역 간에 매칭이 이루어질 수 있도록 하여 특징점 매칭의 아웃라이어를 줄이고 해당 영역의 왜곡을 줄일 수 있으며, 각 분할 영역 간의 호모그래피 추출에 기반하여 이미지 스티칭이 이루어지도록 할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 의미론적 분할 영역 기반의 스티칭을 수행함으로써 각 영상의 합성 영상 생성시 영상 간 프레임들의 겹침 영역에서 발생하는 영상 신호의 불연속 발생을 효과적으로 해소할 수 있다. 다시 말해, 본원은 의미론적 분할 영역 기반의 스티칭을 수행함으로써 스티칭한 영상 내 겹침 영역에서의 객체의 끊어짐이나 영상 신호의 불연속을 효과적으로 감소시킬 수 있어, 스티칭한 영상의 구조적 품질을 높일 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 분할 영역 기반의 스티칭을 통해 합성 영상을 생성함으로써 합성 영상에서 사용자의 관심 영역에 생기는 왜곡을 효과적으로 감소시킬 수 있다. 달리 말해, 의미론적 영역 분할 이후 스티칭을 수행함으로써, 스티칭된 이미지의 경계면에서 발생하는 왜곡을 감소시킬 수 있다.
본원은 특정 객체(Object)를 촬영한 복수의 영상(예를 들어, 공연장, 경기장 등)을 스티칭하는데 적용 가능하며, 특정 영역만을 스티칭하기에 저연산 스티칭이 가능하여 임베디드 시스템에 적용 가능하다. 또한, 본원은 고품질의 파노라마 이미지, 360도 이미지 등의 제작을 가능하게 할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치의 개략적인 구성을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 이미지 센서로부터 획득한 영상(I)의 예를 나타낸 도면이다.
도 3은 도 2의 영상에 의미론적 영역 분할을 수행함으로써 분할된 분할 영역의 이미지를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 전처리 과정 및 스티칭 과정을 설명하기 위한 도면이다.
도 5는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 스티칭된 각 영상 내의 분할 영역에 기초하여 생성된 합성 영상의 예를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 스티칭된 분할 영역에 대한 스태킹을 설명하기 위한 도면이다.
도 7은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 빈 화소의 보간을 설명하기 위한 도면이다.
도 8은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이다.
도 9는 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이다.
도 10은 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에서 단계S40의 세부 흐름을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 이미지 센서로부터 획득한 영상(I)의 예를 나타낸 도면이다.
도 3은 도 2의 영상에 의미론적 영역 분할을 수행함으로써 분할된 분할 영역의 이미지를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 전처리 과정 및 스티칭 과정을 설명하기 위한 도면이다.
도 5는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 스티칭된 각 영상 내의 분할 영역에 기초하여 생성된 합성 영상의 예를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 스티칭된 분할 영역에 대한 스태킹을 설명하기 위한 도면이다.
도 7은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치에서 빈 화소의 보간을 설명하기 위한 도면이다.
도 8은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이다.
도 9는 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이다.
도 10은 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에서 단계S40의 세부 흐름을 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)의 개략적인 구성을 나타낸 도면이다. 이하에서는 설명의 편의상 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)를 '본 장치(100)'라 하기로 한다.
도 1을 참조하면, 본 장치(100)는 전처리부(110), 스티칭부(120) 및 생성부(130)를 포함할 수 있다.
전처리부(110)는 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할(semantic region segmentation)을 수행하고, 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보(이는 후술할 분류 라벨의 정보를 의미함)를 추출하여 각 영상 내의 분할 영역에 대한 전처리를 수행할 수 있다.
이때, 각 영상 내의 분할 영역은 의미론적 영역 분할에 의하여 각 영상에서 검출된 객체(주요 객체)에 기초하여 구분될 수 있다. 달리 표현하여, 각 영상에 의미론적 영역 분할이 수행됨에 따라, 각 영상 내에 주요 객체들이 검출(식별)되고, 검출된 주요 객체들에 대한 영역 분할이 이루어질 수 있다. 여기서, 주요 객체는 일예로 인물, 동물, 무대, 구조물, 배경(예를 들어, 하늘, 땅, 들판 등) 등을 의미할 수 있으나, 이에만 한정되는 것은 아니다. 이러한 의미론적 영역 분할에 의하여 각 영상은 복수의 분할 영역을 포함하도록 영역이 세분화될 수 있다.
또한, 본원에서는 각 영상이 복수의 이미지 센서로부터 획득한 영상(즉, 복수의 이미지 센서 각각으로부터 획득된 영상)인 것으로 예시하였으나, 이에만 한정되는 것은 아니고, 각 영상은 하나의 이미지 센서로부터 획득한 복수의 영상을 의미할 수 있다. 이미지 센서는 영상 획득 장치, 카메라 등으로 달리 표현될 수 있다.
도 2는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)에서 이미지 센서로부터 획득한 영상(I)의 예를 나타낸 도면이고, 도 3은 도 2의 영상(I)에 의미론적 영역 분할을 수행함으로써 분할된 분할 영역의 이미지를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 전처리부(110)는 이미지 센서로부터 획득한 영상(I)에 의미론적 영역 분할을 수행할 수 있다. 의미론적 영역 분할이 수행된 해당 영상(I)에서는 인물, 배경 등의 주요 객체들에 대하여 영역이 분할되어 구분될 수 있다. 일예로 도 3에 도시된 예에서는 영상(I)이 8개의 분할 영역(1, 2, …, 8)으로 구분되도록 분할이 이루어질 수 있다.
전처리부(110)는 의미론적 영역 분할을 수행한 이후 각 영상 내의 분할 영역별로 분류 라벨을 부여할 수 있다. 이때, 분류 라벨은 각 영상 내에서의 분할 영역들에 대하여, 미리 설정된 분류 라벨 부여 조건에 기초한 순으로 부여되거나 랜덤한 순으로 부여될 수 있다.
여기서, 미리 설정된 분류 라벨 부여 조건은 각 영상 상에서 미리 설정된 패턴(예를 들어, 영상 상에서 상측에서 하측 방향을 향해 좌우 지그재그 이동하는 형태의 패턴 등)을 따라 이동하면서 거치게 되는 분할 영역 순으로 분류 라벨을 부여하는 조건, 각 영상 내에서의 분할 영역 중 분할 영역의 크기가 큰 순으로 또는 작은 순으로 분류 라벨을 부여하는 조건 등을 의미할 수 있으며, 이에만 한정되는 것은 아니다.
분할 영역별로 분류 라벨이 부여된 이후 전처리부(110)는 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보(즉, 분류 라벨의 정보)를 추출하여 각 영상 내의 분할 영역에 대한 전처리를 수행할 수 있다.
전처리부(110)는 전처리를 위해 각 영상 내의 분할 영역 간 유사도 비교에 기초하여 일대일 대응 관계를 갖는 대응 분할 영역을 설정할 수 있다. 또한, 전처리부(110)는 전처리를 위해 각 영상 내의 분할 영역에 대하여, 각 영상 내의 분할 영역 간(즉, 각 영상 내에서의 분할 영역 간)의 상대 깊이를 나타내는 깊이 지수를 설정할 수 있다. 이에 대한 설명은 도 4를 참조하여 보다 쉽게 이해될 수 있다.
도 4는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)에서 전처리 과정 및 스티칭 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 도 4에 도시된 두 영상(I1, I2)은 복수의 이미지 센서로부터 획득한 각 영상, 즉 제1 영상(I1, image 1)과 제2 영상(I2, image 2)을 나타낸다.
일예로, 제1 영상(I1)에서는 의미론적 영역 분할에 의하여 6개의 분할 영역(a1, a2, …, a6)으로 영역이 분할되어 있고, 제2 영상(I2)에서는 의미론적 영역 분할에 의하여 6개의 분할 영역(b1, b2, …, b6)으로 영역이 분할되어 있다고 가정하자. 또한, 제1 영상(I1)에서 제1 분할 영역(a1), 제2 분할 영역(a2), …, 제6 분할 영역(a6)에 분류 라벨이 각각 1, 2, …, 6으로 부여되어 있고, 제2 영상(I2)에서 제1 분할 영역(b1), 제2 분할 영역(b2), …, 제6 분할 영역(b6)에 분류 라벨이 각각 1, 2, …, 6으로 부여되어 있다고 가정하자.
이때, 전처리부(110)는 각 영상(I1, I2) 내의 분할 영역 간 유사도 비교에 기초하여 일대일 대응 관계를 갖는 대응 분할 영역을 설정할 수 있다.
구체적으로, 전처리부(110)는 대응 분할 영역의 설정을 위해 각 영상(I1, I2)에서 동일한 분류 라벨을 갖는 분할 영역을 선택하고, 선택된 분할 영역 간의 유사도 비교를 통해 두 분할 영역 간의 대응 관계를 설정할 수 있다. 이때, 전처리부(110)는 선택된 분할 영역의 컬러 정보, 스펙트럼 정보, 넓이(면적), 형태 또는 종횡비 등을 비교함으로써 유사도 비교를 수행할 수 있다.
예를 들어, 전처리부(110)는 각 영상에서 분류 라벨이 1로 동일하게 부여된 제1 영상(I1) 내의 제1 분할 영역(a1)과 제2 영상(I2) 내의 제1 분할 영역(b1) 간의 유사도 비교를 수행할 수 있다. 이때 전처리부(110)는 두 개의 분할 영역(a1, b1)이 유사한 것으로 판단되는 경우, 두 개의 분할 영역(a1, b1)을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정할 수 있다. 여기서, 두 개의 제1 분할 영역(a1, b1)과 관련되어 설정된 대응 분할 영역은 일예로 제1 대응 분할 영역이라 할 수 있다. 이처럼, 전처리부(110)는 각 영상(I1, I2)에서 동일한 분류 라벨이 부여된 분할 영역 간에 유사도 비교를 수행할 수 있으며, 유사도 비교 결과 유사한 것으로 판단되는 두 분할 영역을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정할 수 있다.
한편, 전처리부(110)는 각 영상(I1, I2)에서 동일한 분류 라벨이 부여된 분할 영역 간에 유사도 비교 수행시 두 분할 영역이 유사하지 않은 것으로 판단되는 경우, 각 영상 중 어느 하나의 영상을 기준으로 다른 하나의 영상 내에서 대응 분할 영역으로 설정되지 않은 분할 영역이면서 다른 분류 라벨이 부여된 분할 영역들 간에 유사도 비교를 수행할 수 있다.
예를 들어, 전처리부(110)는 각 영상에서 분류 라벨이 4로 동일하게 부여된 제1 영상(I1) 내의 제4 분할 영역(a4)과 제2 영상(I2) 내의 제4 분할 영역(b4) 간의 유사도 비교를 수행할 수 있다. 이때 전처리부(110)는 두 개의 분할 영역(a4, b4)이 유사하지 않은 것으로 판단되는 경우, 제1 영상(I1)의 제4 분할 영역(a4)과 제2 영상(I2) 내에서 대응 분할 영역으로 설정되지 않은 분할 영역이면서 다른 분류 라벨이 부여된 분할 영역들(예를 들어, b5, b6) 간의 유사도 비교를 수행할 수 있다. 이후 유사도 비교 결과 제4 분할 영역(a4)과 유사한 분할 영역이 제2 영상(I2) 내에 존재하지 않는 것으로 판단되는 경우, 전처리부(110)는 제4 분할 영역(a4)을 일대일 대응 관계를 갖지 않는 비대응 분할 영역으로 설정할 수 있다.
이를 통해, 전처리부(110)는 각 영상 내의 분할 영역 간 유사도 비교에 기초하여 각 영상 내의 분할 영역을 대응 분할 영역 또는 비대응 분할 영역으로 설정할 수 있다.
대응 분할 영역의 설정 이후 전처리부(110)는 각 영상 내의 분할 영역에 대하여 각 영상 내에서의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 설정할 수 있다. 즉, 전처리부(110)는 제1 영상(I1) 내의 분할 영역에 대하여 제1 영상(I1) 내의 분할 영역들 간의 상대 깊이를 나타내는 깊이 지수를 설정하고, 제2 영상(I2) 내의 분할 영역에 대하여 제2 영상(I2) 내의 분할 영역들 간의 상대 깊이를 나타내는 깊이 지수를 설정할 수 있다.
이때, 깊이 지수는 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역일수록 낮게 부여(할당)되도록 설정되고, 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가까운 분할 영역일수록 높게 부여(할당)되도록 설정될 수 있다. 달리 말해, 각 영상 내의 분할 영역에 부여되는 깊이 지수는 이미지 센서로부터 멀리 위치한 분할 영역일수록 낮게 설정될 수 있다.
또한, 전처리부(110)는 각 영상에서 분할 영역의 분류 라벨, 분할 영역의 넓이 및 분할 영역 간에 미리 설정된 상대 깊이 관계 중 적어도 하나를 고려하여 각 영상 내의 분할 영역 각각에 깊이 지수를 설정(부여)할 수 있다.
또한, 전처리부(110)는 각 영상 내의 분할 영역 중 일대일 대응 관계에 있는 대응 분할 영역의 깊이 지수를 동일하게 설정할 수 있다. 즉, 전처리부(110)는 각 영상 내에서 대응 분할 영역에 해당하는 두 분할 영역에 동일한 깊이 지수를 부여하도록 설정하는 조정을 수행할 수 있다. 이러한 조정을 통해, 본 장치(100)는 각 영상 내의 분할 영역이 후술할 스티칭부(120)에 의하여 스티칭되었을 때 스티칭된 분할 영역들 간의 상대적인 깊이의 구분이 가능해지도록 할 수 있다.
예를 들어, 도 4에 도시된 제1 영상(I1)에서는 제1 분할 영역(a1)이 제4 분할 영역(a4)에 비해 이미지 센서로부터 거리가 멀리 떨어져 있다고 판단됨에 따라, 제1 분할 영역(a1)의 깊이 지수는 제4 분할 영역(a4)의 깊이 지수보다 낮게 부여될 수 있다. 또한, 일예로 제1 영상(I1)에서 제1 분할 영역(a1)의 깊이 지수는 제2 분할 영역(a2)의 깊이 지수보다 낮게 부여될 수 있다.
또한, 각 영상(I1, I2) 내에서 제1 영상(I1) 내의 제1 분할 영역(a1)과 제2 영상(I2) 내의 제1 분할 영역(b1)이 일대일 대응 관계에 있는 제1 대응 분할 영역으로서 설정되어 있는 경우, 두 분할 영역(a1, b1)에는 동일한 깊이 지수가 부여될 수 있다. 또한, 제1 영상(I1) 내의 제5 분할 영역(a5)과 제2 영상(I2) 내의 제4 분할 영역(b4)이 일대일 대응 관계에 있는 제2 대응 분할 영역으로 설정되어 있는 경우, 두 분할 영역(a5, b4)에는 동일한 깊이 지수가 부여될 수 있다. 이때, 제1 대응 분할 영역에 부여되는 깊이 지수는 제2 대응 분할 영역에 부여되는 깊이 지수보다 낮게 설정될 수 있다.
스티칭부(120)는 전처리부(110)에서의 전처리에 기반하여 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피(Homography)를 추출하고, 추출된 호모그래피를 이용하여 각 영상 내의 분할 영역 간 스티칭을 수행할 수 있다.
스티칭부(120)는 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 대응 분할 영역 간의 호모그래피 행렬을 계산하여 대응 분할 영역을 스티칭할 수 있다. 구체적으로, 스티칭부(120)는 대응 분할 영역으로부터 특징점을 추출하고, 추출된 특징점을 매칭하여 분할 영역간 변환을 위한 호모그래피 행렬을 계산할 수 있으며, 이를 통해 대응 분할 영역을 하나의 기준 영상 평면으로 변환시켜 하나의 큰 분할 영역으로서 스티칭할 수 있다. 여기서 기준 영상 평면은 각 영상이 합성된 합성 영상을 생성함에 있어서 합성 영상에 대응하는 기본 영상 프레임을 의미할 수 있다.
또한 스티칭부(120)는 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 비대응 분할 영역이 속한 영상 내에서 비대응 분할 영역과 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 비대응 분할 영역을 스티칭할 수 있다. 구체적으로, 스티칭부(120)는 비대응 분할 영역의 경우, 비대응 분할 영역이 속한 영상 내에서 비대응 분할 영역과 가장 근접(인접)하게 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여, 비대응 분할 영역을 기준 영상 평면으로 변환시켜 스티칭할 수 있다.
이러한 스티칭부(120)에 의하면, 대응 분할 영역과 비대응 분할 영역을 포함하는 각 영상 내의 모든 분할 영역에 대하여 스티칭이 이루어질 수 있다. 이는 도 5를 참조하여 보다 쉽게 이해될 수 있다.
도 5는 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)에서 스티칭된 각 영상 내의 분할 영역에 기초하여 생성된 합성 영상(I3)의 예를 나타낸 도면이다. 즉 도 5는 도 4에서의 제1 영상(I1)과 제2 영상(I2) 내의 분할 영역 간에 스티칭이 이루어짐에 따라 생성된 합성 영상(I3)의 예를 나타낸 도면이다.
도 4 및 도 5를 참조하면, 일예로, 합성 영상(I3) 내에는 7개의 스티칭된 분할 영역(c1, c2, …, c7)이 포함될 수 있다.
여기서, 일예로 제1 영상(I1) 내의 제1 분할 영역(a1)과 제2 영상(I2) 내의 제1 분할 영역(b1)에 대한 대응 분할 영역의 스티칭에 의하여 제1 스티칭된 분할 영역(c1)이 생성될 수 있다. 또한, 제1 영상(I1) 내의 제2 분할 영역(a2)과 제2 영상(I2) 내의 제2 분할 영역(b2)에 대한 대응 분할 영역의 스티칭에 의하여 제2 스티칭된 분할 영역(c2)이 생성될 수 있다. 또한, 제1 영상(I1) 내의 제3 분할 영역(a3)과 제2 영상(I2) 내의 제3 분할 영역(b3)에 대한 대응 분할 영역의 스티칭에 의하여 제3 스티칭된 분할 영역(c3)이 생성될 수 있다. 또한, 제1 영상(I1) 내의 제5 분할 영역(a5)과 제2 영상(I2) 내의 제4 분할 영역(b4)에 대한 대응 분할 영역의 스티칭에 의하여 제4 스티칭된 분할 영역(c4)이 생성될 수 있다. 또한, 제1 영상(I1) 내의 제6 분할 영역(a6)과 제2 영상(I2) 내의 제5 분할 영역(b5)에 대한 대응 분할 영역의 스티칭에 의하여 제5 스티칭된 분할 영역(c5)이 생성될 수 있다.
또한, 제1 영상(I1) 내의 제4 분할 영역(a4)에 대한 비대응 분할 영역의 스티칭에 의하여 제6 스티칭된 분할 영역(c6)이 생성될 수 있다. 또한, 제2 영상(I2) 내의 제6 분할 영역(a6)에 대한 비대응 분할 영역의 스티칭에 의하여 제7 스티칭된 분할 영역(c7)이 생성될 수 있다.
이에 따르면, 제1 스티칭된 분할 영역(c1) 내지 제5 스티칭된 분할 영역(c5)은 스티칭된 대응 분할 영역이라 할 수 있고, 제6 스티칭된 분할 영역(c6) 및 제7 스티칭된 분할 영역(c7)은 스티칭된 비대응 분할 영역이라 할 수 있다.
이처럼, 스티칭부(120)에 의하여 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역은 생성부(130)에 의하여 기준 영상 평면(p)에 겹쳐 배치될 수 있으며, 이에 따라 합성 영상(I3)이 생성될 수 있다. 보다 구체적인 설명은 다음과 같다.
생성부(130)는 스티칭된 각 영상 내의 분할 영역에 대한 후처리를 통해 각 영상이 합성된 합성 영상을 생성할 수 있다. 즉, 생성부(130)는 스티칭된 각 영상 내의 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대한 후처리를 통해 합성 영상을 생성할 수 있다. 여기서, 합성 영상은 통합 영상, 통합된 영상 프레임 등으로 달리 표현될 수 있다.
구체적으로, 생성부(130)는 후처리를 위해 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹(Stacking)을 수행할 수 있다.
이때, 생성부(130)는 스태킹 수행시, 각 영상 내 분할 영역에 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행할 수 있다. 달리 표현하여, 생성부(130)는 스태킹 수행시, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에서 이미지 센서로부터의 거리가 멀어 깊이 지수가 낮게 부여된 분할 영역부터 기준 영상 평면에 스태킹할 수 있다. 이는 도 6을 참조하여 보다 쉽게 이해될 수 있다.
도 6은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)에서 스티칭된 분할 영역에 대한 스태킹을 설명하기 위한 도면이다.
도 6을 참조하면, 예를 들어, 스티칭된 대응 분할 영역으로서 제1 스티칭된 분할 영역(c1) 내지 제4 스티칭된 분할 영역(c4)이 존재한다고 가정하자. 여기서, 제1 스티칭된 분할 영역(c1) 내지 제4 스티칭된 분할 영역(c4)은 각각 스티칭된 세그먼트(stitched segment) 1 내지 4라 표현될 수 있다. 또한, 깊이 지수의 경우, 4개의 스티칭된 분할 영역(c1, c2, c3, c4) 중 제1 스티칭된 분할 영역(c1)이 가장 낮게 설정되어 있고, 제4 스티칭된 분할 영역(c4)이 가장 높게 설정되어 있으며, 제2 스티칭된 분할 영역(c2)은 제1 스티칭된 분할 영역(c1)보다 높게 설정되어 있고, 제3 스티칭된 분할 영역(c3)은 제2 스티칭된 분할 영역(c2)보다 높게 설정되어 있다고 가정하자.
이때, 생성부(130)는 깊이 지수를 고려하여 4개의 스티칭된 분할 영역(c1, c2, c3, c4)을 이미지 센서로부터의 거리가 먼 분할 영역 순으로, 즉 깊이 지수가 낮은 순으로 기준 영상 평면(p) 상에 배치하는 스태킹을 수행할 수 있다.
구체적으로, 깊이 지수를 고려함에 따라 생성부(130)는, 기준 영상 평면(p) 상에 제1 스티칭된 분할 영역(c1)을 가장 먼저 배치하고(step 1), 그 다음으로 제2 스티칭된 분할 영역(c2)을 배치하고(step 2), 그 다음으로 제3 스티칭된 분할 영역(c3)을 배치하며(step 3), 마지막으로 제4 스티칭된 분할 영역(c4)을 배치할 수 있다(step 4).
생성부(130)는 스태킹 수행시 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 중첩 영역의 화소 값을 중첩 영역에 대응하는 복수의 분할 영역 중 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용할 수 있다. 즉, 생성부(130)는 스태킹 수행시 중첩 영역이 존재하는 것으로 판단되는 경우, 중첩 영역의 화소 값을 중첩된 복수의 분할 영역 중 이미지 센서로부터의 거리가 가장 가까워 깊이 지수가 높게 설정된 분할 영역의 화소 값으로 적용할 수 있다.
또한, 생성부(130)는 스태킹이 수행된 이후 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소(즉, 스태킹이 이루어지지 않아 화소 값이 비워져 있는 빈 화소)가 존재하는 것으로 판단되는 경우, 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 빈 화소의 화소 값을 보간하는 후처리를 수행할 수 있다. 이는 도 7을 참조하여 보다 쉽게 이해될 수 있다.
도 7은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 장치(100)에서 빈 화소의 보간을 설명하기 위한 도면이다.
도 7을 참조하면, 일예로 기준 영상 평면(p) 상에 제1 스티칭된 분할 영역(c1) 내지 제3 스티칭된 분할 영역(c3)에 대한 스태킹이 수행된 이후 기준 영상 평면(p) 내에 빈 화소(e)가 존재하는 경우, 생성부(130)는 빈 화소(e)와 이웃하는 스티칭된 분할 영역들(c1, c2, c3)의 경계 화소들로부터의 거리를 고려하여 빈 화소(e)의 화소 값을 보간할 수 있다.
즉, 생성부(130)는 미리 설정된 방향을 따라 빈 화소(e)로부터 가장 가깝게 이웃하여 인접한 분할 영역들의 경계 화소들로부터의 거리에 따라 빈 화소(e)의 화소 값을 보간할 수 있다.
다시 말해, 생성부(130)는 빈 화소(e)가 존재하는 경우, 빈 화소(e)와 가장 가깝게 이웃하는 분할 영역의 경계 화소들로부터 거리에 따른 비중을 고려하여 빈 화소(e)의 화소 값을 보간할 수 있으며, 이때 빈 화소(e)로부터 이웃한 거리가 먼 경계 화소에 대한 비중은 빈 화소(e)로부터 이웃한 거리가 가까운 경계 화소에 대한 비중 보다 낮게 부여될 수 있다. 예를 들어, 도 7의 예에서는 빈 화소(e)로부터 제1 스티칭된 분할 영역(c1)의 경계 화소까지의 거리 보다 빈 화소(e)로부터 제2 스티칭된 분할 영역(c3)의 경계 화소까지의 거리가 더 가까우므로, 제2 스티칭된 분할 영역(c3)의 경계 화소 값 보다 제1 스티칭된 분할 영역(c1)의 경계 화소 값에 대한 비중을 더 높게 고려(부여)하여 빈 화소(e)의 화소 값을 보간할 수 있다.
또한, 생성부(130)는 스태킹이 수행된 이후 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용할 수 있다. 이때, 본 장치(100)는 생성부(130)로 하여금 빈 화소 값에 대한 보간이 이루어진 이후에 분할 영역 간의 경계에 대하여 필터를 적용해 필터링함으로써 블러 효과를 제공할 수 있다.
이에 따르면, 본 장치(100)는 각 영상에 의미론적 분할을 적용하여 각 영상 간에 동일 영역(같은 영역, 유사도가 높은 영역)을 식별하고, 분할된 분할 영역마다의 호모그래피를 이용하여 분할 영역별 스티칭을 수행할 수 있다. 또한 본 장치(100)는 분할된 분할 영역에 따라 각 영상 내 분할 영역의 상대적인 깊이를 계산(즉, 각 영상 내 분할 영역에 대하여 상대적인 깊이를 나타내는 깊이 지수를 설정)할 수 있다.
이러한 본 장치(100)는 복수의 시점에서 획득한 이미지를 이용하여 복수의 시점(초점)의 합성 영상을 생성할 수 있다. 또한 본 장치(100)는 각 영상이 합성된 합성 영상을 생성함에 있어서, 종래의 기술과 같이 전체 이미지에 대한 특징점 매칭을 수행하지 않고 의미론적 영역 분할에 의해 분할된 분할 영역별로 호모그래피를 추출함으로써 계산량을 효과적으로 감소시킬 수 있다. 또한, 본 장치(100)는 분할 영역 간에 스티칭을 수행함으로써 합성 영상에서 발생하는 경계면 왜곡을 효과적으로 감소시킬 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이다.
도 8에 도시된 분할 영역 단위의 파노라마 영상 합성 방법은 앞서 설명된 분할 영역 단위의 파노라마 영상 합성 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 분할 영역 단위의 파노라마 영상 합성 장치(100)에 대하여 설명된 내용은 분할 영역 단위의 파노라마 영상 합성 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법은 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 각 영상 내의 분할 영역에 대한 전처리를 수행(S110)할 수 있다.
이때, 단계S110에서, 분할 영역은 의미론적 영역 분할에 의하여 각 영상에서 검출된 객체에 기초하여 구분되고, 각 영상 내의 분할 영역별로 분류 라벨이 부여될 수 있다.
또한, 단계S110는 전처리를 위해, 각 영상 내의 분할 영역 간 유사도 비교에 기초하여 일대일 대응 관계를 갖는 대응 분할 영역을 설정하는 단계, 및 각 영상 내의 분할 영역에 대하여, 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 설정하는 단계를 포함할 수 있다.
이때, 깊이 지수를 설정하는 단계에서, 각 영상 내의 분할 영역 중 일대일 대응 관계에 있는 대응 분할 영역은 깊이 지수가 동일하게 설정될 수 있다.
다음으로, 단계S120에서는 전처리에 기반하여 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 호모그래피를 이용하여 각 영상 내의 분할 영역 간 스티칭을 수행할 수 있다.
또한, 단계S120에서는 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 대응 분할 영역 간의 호모그래피 행렬을 계산하여 대응 분할 영역을 스티칭할 수 있다.
또한, 단계S120에서는 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 비대응 분할 영역이 속한 영상 내에서 비대응 분할 영역과 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 비대응 분할 영역을 스티칭할 수 있다.
다음으로, 단계S130에서는 스티칭된 각 영상 내의 분할 영역에 대한 후처리를 통해 각 영상이 합성된 합성 영상을 생성할 수 있다.
또한, 단계S130는 후처리를 위해, 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹(Stacking)을 수행하는 단계를 포함할 수 있다.
여기서, 스태킹을 수행하는 단계에서는 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행할 수 있다.
또한, 스태킹을 수행하는 단계에서는, 스태킹 수행시 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 중첩 영역의 화소 값을 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용할 수 있다.
또한, 단계S130에서는 스태킹이 수행된 이후 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 빈 화소의 화소 값을 보간할 수 있다.
또한, 단계S130에서는 스태킹이 수행된 이후 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용할 수 있다.
상술한 설명에서, 단계 S110 내지 S130은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 9는 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에 대한 동작 흐름도이고, 도 10은 본원의 다른 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법에서 단계S40의 세부 흐름을 나타낸 도면이다.
도 9 및 도 10에 도시된 분할 영역 단위의 파노라마 영상 합성 방법은 앞서 설명된 분할 영역 단위의 파노라마 영상 합성 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 분할 영역 단위의 파노라마 영상 합성 장치(100)에 대하여 설명된 내용은 분할 영역 단위의 파노라마 영상 합성 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 9 및 도 10을 참조하여 간단히 살펴보면, 본원의 일 실시예에 따른 분할 영역 단위의 파노라마 영상 합성 방법은 단계S10에서 기준영상과 목표영상에 대하여 의미론적 영역 분할을 수행할 수 있다. 여기서, 일예로 기준영상은 복수의 이미지 센서로부터 획득한 각 영상 중 어느 하나의 영상으로서 제1 영상을 의미할 수 있고, 목표영상은 복수의 이미지 센서로부터 획득한 각 영상 중 다른 하나의 영상으로서 제2 영상을 의미할 수 있다.
다음으로, 단계S20에서는 각 영상 내의 분할 영역들 간 유사도 비교(계산)를 통해 대응 분할 영역을 설정할 수 있다.
다음으로, 단계S30에서는 각 영상 내의 분할 영역별 깊이 지수를 설정할 수 있다.
다음으로, 단계S40에서는 기준 영상 평면에 각 영상 내의 분할 영역별로 변환 및 스티칭을 수행할 수 있다. 다시 말해, 단계S40에서는 대응 분할 영역과 비대응 분할 영역을 포함하는 각 영상 내의 분할 영역을 기준 영상 평면으로 변환하여 스티칭할 수 있다.
보다 자세하게 단계S40에서는 분할 영역의 변환 및 스티칭을 수행하기 위해 각 영상 내의 분할 영역, 특히 대응 분할 영역에 대하여 특징점을 추출(S41)할 수 있다. 이후 단계S42에서는 대응 분할 영역에 대하여 추출된 특징점을 매칭하여 대응 분할 영역 간의 호모그래피를 추정(호모그래피 행렬을 계산)할 수 있다. 이후 단계S43에서는 호모그래피를 이용하여 각 영상 내의 분할 영역, 특히 대응 분할 영역에 대하여 기준 영상 평면으로의 변환 및 스티칭을 수행할 수 있다. 이때, 단계S43에서는 비대응 분할 영역에 대해서도 기준 영상 평면으로의 변환 및 스티칭이 수행될 수 있다.
다음으로, 단계S50에서는 각 영상 내 분할 영역별 깊이 지수를 이용하여 단계S40에서 스티칭된 분할 영역(즉, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역)을 스태킹할 수 있다.
다음으로, 단계S60에서는 인접한 분할 영역간 경계 및 중첩 영역에 대하여 블렌딩 및 보간을 수행할 수 있다. 즉, 단계S60에서는 스태킹 수행시 기준 영상 평면 내에 복수의 분할 영역 간의 중첩 영역이 존재하는 경우, 중첩 영역의 화소 값을 중첩 영역에 대응하는 복수의 분할 영역 중 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용할 수 있다. 또한 단계S60에서는 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 경우, 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 빈 화소의 화소 값을 보간 및 블렌딩할 수 있다. 또한 단계S60에서는 기준 영상 평면 내에서 인접한 분할 영역 간의 경계에 미리 설정된 크기의 윈도우를 갖는 필터를 적용함으로써 블러 효과를 제공할 수 있다.
상술한 설명에서, 단계 S10 내지 S60은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 분할 영역 단위의 파노라마 영상 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 분할 영역 단위의 파노라마 영상 합성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 분할 영역 단위의 파노라마 합성 장치
110: 전처리부
120: 스티칭부
130: 생성부
110: 전처리부
120: 스티칭부
130: 생성부
Claims (23)
- 분할 영역 단위의 파노라마 영상 합성 방법으로서,
(a) 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 단계;
(b) 상기 (a) 단계 이후에, 상기 전처리에 기반하여 상기 각 영상의 이미지 전체가 아니라 상기 각 영상 내의 각 분할 영역에 대하여 특징점을 추출하고, 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 단계; 및
(c) 스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 단계,
를 포함하고,
상기 (a) 단계는,
상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 두 분할 영역을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정하고, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 분할 영역이 존재하지 않는 것으로 판단되는 분할 영역을 일대일 대응 관계를 갖지 않는 비대응 분할 영역으로 설정하며,
상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 상기 복수의 이미지 센서 중 적어도 하나의 카메라로부터 거리가 먼 분할 영역일수록 낮게 부여되도록 설정하되, 상기 각 영상 내의 분할 영역 중 대응 분할 영역에 대응하는 두 분할 영역에는 동일한 깊이 지수가 부여되도록 하고,
상기 (b) 단계는,
상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭하고,
상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 가장 가깝게 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭하고,
상기 (c) 단계는,
상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행하고,
상기 스태킹 수행시, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행하고, 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용하며,
상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소로부터 이웃한 거리가 먼 경계 화소에 대한 비중이 상기 빈 화소로부터 이웃한 거리가 가까운 경계 화소에 대한 비중 보다 낮게 부여되도록 상기 빈 화소의 화소 값을 보간하는 것인, 분할 영역 단위의 파노라마 영상 합성 방법. - 제1항에 있어서,
상기 (a) 단계에서,
상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고,
상기 각 영상 내의 분할 영역별로 분류 라벨이 부여되는 것인, 분할 영역 단위의 파노라마 영상 합성 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 (c) 단계는,
상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용하는 것인, 분할 영역 단위의 파노라마 영상 합성 방법. - 분할 영역 단위의 파노라마 영상 합성 장치로서,
복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 전처리부;
상기 의미론적 영역 분할을 수행하고 상기 전처리를 수행한 이후에, 상기 전처리에 기반하여 상기 각 영상의 이미지 전체가 아니라 상기 각 영상 내의 각 분할 영역에 대하여 특징점을 추출하고, 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 스티칭부; 및
스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 생성부,
를 포함하고,
상기 전처리부는,
상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 두 분할 영역을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정하고, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 분할 영역이 존재하지 않는 것으로 판단되는 분할 영역을 일대일 대응 관계를 갖지 않는 비대응 분할 영역으로 설정하며,
상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 상기 복수의 이미지 센서 중 적어도 하나의 카메라로부터 거리가 먼 분할 영역일수록 낮게 부여되도록 설정하되, 상기 각 영상 내의 분할 영역 중 대응 분할 영역에 대응하는 두 분할 영역에는 동일한 깊이 지수가 부여되도록 하고,
상기 스티칭부는,
상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭하고,
상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 가장 가깝게 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭하고,
상기 생성부는,
상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행하고,
상기 스태킹 수행시, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행하고, 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용하며,
상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소로부터 이웃한 거리가 먼 경계 화소에 대한 비중이 상기 빈 화소로부터 이웃한 거리가 가까운 경계 화소에 대한 비중 보다 낮게 부여되도록 상기 빈 화소의 화소 값을 보간하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치. - 제12항에 있어서,
상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고,
상기 전처리부는,
상기 각 영상 내의 분할 영역별로 분류 라벨을 부여하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제12항에 있어서,
상기 생성부는,
상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치. - 제1항, 제2항 및 제11항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170166058A KR101994112B1 (ko) | 2017-12-05 | 2017-12-05 | 분할 영역 단위의 파노라마 영상 합성 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170166058A KR101994112B1 (ko) | 2017-12-05 | 2017-12-05 | 분할 영역 단위의 파노라마 영상 합성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190066384A KR20190066384A (ko) | 2019-06-13 |
| KR101994112B1 true KR101994112B1 (ko) | 2019-06-28 |
Family
ID=66847836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170166058A KR101994112B1 (ko) | 2017-12-05 | 2017-12-05 | 분할 영역 단위의 파노라마 영상 합성 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101994112B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210035638A (ko) * | 2019-09-24 | 2021-04-01 | 에스케이텔레콤 주식회사 | 영상 촬영 장치, 상기 영상 촬영 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램과 영상 처리 장치와 상기 영상 처리 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150355B (zh) * | 2019-06-26 | 2023-09-29 | 华为技术有限公司 | 一种图像处理方法及相关设备 |
| KR102646344B1 (ko) | 2019-09-06 | 2024-03-12 | 삼성전자주식회사 | 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법 |
| KR102247288B1 (ko) * | 2019-11-29 | 2021-05-03 | 울산과학기술원 | 워핑 잔차에 기초하여 시차가 큰 이미지를 스티칭하는 방법 및 장치 |
| CN112598780B (zh) * | 2020-12-04 | 2024-04-05 | Oppo广东移动通信有限公司 | 实例对象模型构建方法及装置、可读介质和电子设备 |
| KR102546077B1 (ko) * | 2021-07-07 | 2023-06-22 | 주식회사 트립비토즈 | 영상의 파노라마 이미지 변환을 이용한 여행 영상 분류 장치 및 방법 |
| KR102607748B1 (ko) * | 2022-07-19 | 2023-11-29 | 중앙대학교 산학협력단 | 다중 작업 적응을 적용한 영상 분석 장치 및 방법 |
| CN116664828B (zh) * | 2023-04-15 | 2023-12-15 | 北京中科航星科技有限公司 | 一种智能装备图像信息处理系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012191486A (ja) | 2011-03-11 | 2012-10-04 | Sony Corp | 画像合成装置と画像合成方法およびプログラム |
| JP2014068081A (ja) | 2012-09-24 | 2014-04-17 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101818778B1 (ko) * | 2012-03-23 | 2018-01-16 | 한국전자통신연구원 | 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법 |
-
2017
- 2017-12-05 KR KR1020170166058A patent/KR101994112B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012191486A (ja) | 2011-03-11 | 2012-10-04 | Sony Corp | 画像合成装置と画像合成方法およびプログラム |
| JP2014068081A (ja) | 2012-09-24 | 2014-04-17 | Canon Inc | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
Non-Patent Citations (1)
| Title |
|---|
| Junhong Gao ET AL:"Constructing image panoramas using dual-homography warping", CVPR 2011, 20-25 June 2011(2011.6.20.) 1부.* |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210035638A (ko) * | 2019-09-24 | 2021-04-01 | 에스케이텔레콤 주식회사 | 영상 촬영 장치, 상기 영상 촬영 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램과 영상 처리 장치와 상기 영상 처리 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
| KR102244529B1 (ko) | 2019-09-24 | 2021-04-26 | 에스케이텔레콤 주식회사 | 영상 촬영 장치, 상기 영상 촬영 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램과 영상 처리 장치와 상기 영상 처리 장치를 제어하기 위한 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190066384A (ko) | 2019-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101994112B1 (ko) | 분할 영역 단위의 파노라마 영상 합성 장치 및 방법 | |
| US8737723B1 (en) | Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs | |
| Lu et al. | A revisit to MRF-based depth map super-resolution and enhancement | |
| CN101542529B (zh) | 图像的深度图的生成方法和图像处理单元 | |
| JP6371553B2 (ja) | 映像表示装置および映像表示システム | |
| JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
| Kuster et al. | FreeCam: A Hybrid Camera System for Interactive Free-Viewpoint Video. | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| US20110069866A1 (en) | Image processing apparatus and method | |
| JP7058277B2 (ja) | 再構成方法および再構成装置 | |
| KR20100038168A (ko) | 구도 해석 방법, 구도 해석 기능을 구비한 화상 장치, 구도 해석 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| WO2013073167A1 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
| Dahan et al. | Combining color and depth for enhanced image segmentation and retargeting | |
| NL2016660B1 (en) | Image stitching method and device. | |
| CN102521810A (zh) | 一种基于局部约束表示的人脸超分辨率重建方法 | |
| US20180020205A1 (en) | Stereo matching system and method of operating thereof | |
| Bleyer et al. | A stereo approach that handles the matting problem via image warping | |
| US20160232705A1 (en) | Method for 3D Scene Reconstruction with Cross-Constrained Line Matching | |
| CN106447607A (zh) | 一种图像拼接方法及装置 | |
| KR102158390B1 (ko) | 영상 처리 방법 및 장치 | |
| Pan et al. | Depth map completion by jointly exploiting blurry color images and sparse depth maps | |
| JP2013185905A (ja) | 情報処理装置及び方法、並びにプログラム | |
| KR101558573B1 (ko) | 스테레오 카메라 영상 합성 방법 | |
| Long et al. | Detail preserving residual feature pyramid modules for optical flow | |
| Xie et al. | A novel disparity refinement method based on semi-global matching algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |