KR20160115466A - 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법 - Google Patents

파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법 Download PDF

Info

Publication number
KR20160115466A
KR20160115466A KR1020150043209A KR20150043209A KR20160115466A KR 20160115466 A KR20160115466 A KR 20160115466A KR 1020150043209 A KR1020150043209 A KR 1020150043209A KR 20150043209 A KR20150043209 A KR 20150043209A KR 20160115466 A KR20160115466 A KR 20160115466A
Authority
KR
South Korea
Prior art keywords
stitching
image frame
image frames
still image
video
Prior art date
Application number
KR1020150043209A
Other languages
English (en)
Inventor
김용선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150043209A priority Critical patent/KR20160115466A/ko
Priority to US15/081,144 priority patent/US20160286138A1/en
Publication of KR20160115466A publication Critical patent/KR20160115466A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

파노라믹 비디오를 스티칭하는 방법 및 이를 위한 장치가 개시된다. 본 발명의 일 면에 따른 파노라믹 비디오를 스티칭하는 방법은, 복수 카메라로부터 복수의 비디오 스트림을 획득하는 단계; 상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 단계; 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 단계; 및 상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 단계를 포함한다.

Description

파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법 {APPARATUS AND METHOD FOR PANORAMIC VIDEO STICHING}
본 발명은 이미지 프로세싱에 관한 것으로서, 보다 상세하게는 파노라믹 비디오를 형성하기 위한 기술들에 관한 것이다.
지금까지 하나 혹은 여러 대의 카메라로부터 획득한 여러 장의 정지영상을 360도의 화각을 갖는 한 장의 파노라마 영상으로 합성하는 스티칭 방법에 대한 연구가 진행되고 있다.
일반적으로, 파노라마 영상은 특별히 광시계(wide fields of view)를 가지는 이미지들의 생성에 관련된다. 파노라마 영상들은 전형적으로 75°에서 약 160°의 인간의 눈 그 이상과 비교 가능한 시계를 캡쳐한다. 그 영상을 나타내는 파노라마는 탁트인 또는 완벽한 시야 영역을 제공한다. 이 많은 경우들에 있어, 파노라마 영상은 와이드 스트립(wide strip)으로 표현된다.
파노라마 영상의 생성은 종종 오버랩핑 영상 프레임들의 캡쳐링 및 매칭 또는 그들의 오버랩핑 가장자리에서 프레임들을 서로 “스티칭”함을 포함한다.
특히, 가상현실 혹은 증강현실 기술이 발전함에 따라 실사 촬영을 기반으로 360도의 화각을 갖는 비디오에 대한 요구가 증가하고 있다. 가장 간단한 방법으로 기존의 정지영상 스티칭 방법을 비디오의 매 프레임마다 적용하여 파노라마 비디오를 제작할 수 있다.
만약 비디오을 촬영하는 여러 대의 카메라가 각자 움직이지 않고 하나의 구조물에 설치되어 있다면 파노라마 비디오의 매 프레임은 서로 같은 스티칭 파라미터를 공유할 수 있게 된다. 이때 스티칭 파라미터는 카메라의 회전 및 초점거리와 색 보정계수를 포함한다.
이 경우, 첫 번째 영상 프레임에 해당하는 정지영상 세트를 이용하여 스티칭 파라미터를 연산하고, 이를 다른 영상 프레임에 적용하는 것으로 비디오 스티칭을 구현할 수 있다.
종래 기술에 따르면, 매 프레임마다 정지영상을 스티칭하는 경우 계산량이 많이 필요하여, 이에 따라 실시간으로 스티칭 결과를 얻을 수 없다.
또한, 특정 영상 프레임 세트의 스티칭 파라미터를 다른 영상 프레임과 공유하는 경우, 특정 영상 프레임 세트의 스티칭 에러가 계속 다른 영상 프레임에 영향을 미치게 된다.
또한, 비디오 촬영 중 구조물의 유격이나 충격에 의해 카메라가 예기치 못하게 움직일 경우, 비디오 스티칭의 품질을 보장할 수 없다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 구조물에 설치된 복수 카메라로부터 획득한 복수 비디오 스트림을 하나의 360도 파노라마 비디오로 합성하는 고속의 비디오 스티칭 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 파노라믹 비디오를 스티칭하는 방법은, 복수 카메라로부터 복수의 비디오 스트림을 획득하는 단계; 상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 단계; 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 단계; 및 상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 단계를 포함한다.
일 실시예에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는, 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함한다.
다른 실시예에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는, 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와, 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하는 단계와, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함한다.
상기 스티칭 파라미터를 계산하는 단계는, 상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와, 상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함한다.
여기서, 상기 카메라 파라미터를 계산하는 단계는, 적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하는 단계와, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 단계를 포함한다.
상기 파노라마 비디오를 생성하는 단계는, 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하는 단계와, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성하는 단계를 포함한다.
또한, 본 발명의 일 면에 따른 파노라믹 비디오를 스티칭하는 방법은, 상기 스티칭 파라미터를 업데이트하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는, 기 설정된 주기마다 업데이트 신호를 발생시키는 단계와, 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와, 상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함한다.
다른 실시예에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는, 상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 단계와, 제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 단계와, 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 포함한다.
이 때, 상기 스티칭 파라미터를 업데이트하는 단계는, 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 더 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 파노라믹 비디오를 스티칭하는 장치는, 복수 카메라로부터 복수의 비디오 스트림을 획득하는 비디오 획득부; 상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 기준 영상 프레임 세트 선택부; 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 스티칭 파라미터 계산부; 및 상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 파노라마 비디오 생성부를 포함한다.
일 실시예에 있어서, 상기 기준 영상 프레임 세트 선택부는, 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택한다.
다른 실시예에 있어서, 상기 기준 영상 프레임 세트 선택부는, 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하고, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택한다.
상기 스티칭 파라미터 계산부는, 상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하고, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하고, 상기 대응관계에 기초하여 카메라 파라미터를 계산하고, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산한다.
상기 스티칭 파라미터 계산부는, 적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하고, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택한다.
상기 파노라마 비디오 생성부는, 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하고, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성한다.
또한, 본 발명의 다른 면에 따른 파노라믹 비디오를 스티칭하는 장치는, 상기 스티칭 파라미터를 업데이트하는 스티칭 파라미터 업데이트부를 더 포함할 수 있다.
상기 스티칭 파라미터 업데이트부는, 업데이트 신호를 발생시키는 업데이트 신호 생성부와, 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 영상 특징 추출부와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 특징 대응관계 계산부와, 상기 대응관계에 기초하여 카메라 파라미터를 계산하는 카메라 파라미터 계산부와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 색 보정계수 계산부를 포함한다.
일 실시예에 있어서, 상기 업데이트 신호 생성부는, 기 설정된 주기로 상기 업데이트 신호를 발생시킨다.
다른 실시예에 있어서, 상기 업데이트 신호 생성부는, 상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 제1 움직임 계산부와, 제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 제2 움직임 계산부와, 상기 제1 움직임과 상기 제2 움직임간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 혹은 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 비정상적 움직임인 것으로 판단하는 움직임 판단부를 포함한다.
이상 상술한 바와 같은 본 발명에 따르면, 360도 구면 동영상을 제작하기 위한 고속 고성능 비디오 스티칭이 가능하다. 따라서, 360도 비디오 촬영 시 실시간으로 파노라마 영상을 모니터링하여 촬영에 소요되는 시간을 단축시킬 수 있다. 오프라인 작업의 경우에도 파노라마 비디오 제작 시간을 단축시킬 뿐만 아니라, 성능의 향상도 기대할 수 있다.
또한, 특징점의 개수가 최대인 기준 영상 프레임 세트를 선택하고, 상기 기준 영상 프레임 세트로부터 계산된 스티칭 파라미터를 다른 영상 프레임 세트의 영상 합성에 적용함으로써, 계산량을 줄일 수 있다.
또한, 비디오 촬영 중 구조물의 유격이나 충격에 의해 카메라가 움직일 경우, 이를 감지하여 스티칭 파라미터를 업데이트하고, 영상 합성 시 업데이트된 스티칭 파라미터를 적용함으로써 비디오 스티칭의 품질을 보장할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 장치의 구성을 도시한 블록도.
도 2는 도 1의 기준 영상 프레임 세트 선택부의 구성을 도시한 블록도.
도 3은 도 1의 스티칭 파라미터 계산부의 구성을 도시한 블록도.
도 4는 도 1의 파노라마 비디오 생성부의 구성을 도시한 블록도.
도 5는 도 1의 스티칭 파라미터 업데이트부의 구성을 도시한 블록도.
도 6은 도 5의 업데이트 신호 생성부의 구성을 도시한 블록도.
도 7은 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 장치의 구성을 도시한 블록도.
도 8은 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 도시한 흐름도.
도 9는 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 도시한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 장치는 비디오 획득부(100), 기준 영상 프레임 세트 선택부(200), 스티칭 파라미터 계산부(300), 파노라마 비디오 생성부(400), 스티칭 파라미터 업데이트부(500)를 포함하여 이루어진다.
상기 비디오 획득부(100)는 복수 카메라로부터 복수의 비디오 스트림을 획득한다.
본 발명의 일 실시예에 있어서, 복수의 카메라는 특정 대상 영역을 360도 촬영할 수 있도록 구조물에 설치된다. 각 카메라로부터 획득한 영상은 중첩되는 영역이 존재하며, 상기 구조물은 움직일 수 있다. 만약, 구조물이 심하게 움직이거나, 혹은 진동, 충격 등이 구조물에 가해지면 복수의 카메라는 설치된 위치에서 움직일 수 있다.
각 카메라는 동기화되어 있거나, 소리 및 영상에 의해 소프트웨어로 비디오 동기화가 되어 있다.
즉, 복수의 카메라 각각은 서로 다른 시점(view)에서 특정 대상 영역을 촬영하며, 각 카메라에서는 서로 다른 시점(view)에서 특정 대상 영역을 촬영한 복수 비디오 스트림을 생성한다.
본 발명의 실시예에서, 스티칭의 대상이 되는 것은 복수 시점(view)의 비디오 스트림을 구성하는 정지영상 프레임들 중에서 동일 시점(time)에 촬영된 것들이다. 만약, N개의 카메라로 촬영한 N개의 비디오 스트림이 생성된다면, 한 시점(time)에는 N개의 정지영상 프레임들로 구성된 영상 프레임 세트가 생성되고, 이 영상 프레임 세트가 스티칭의 대상이 된다.
상기 기준 영상 프레임 세트 선택부(200)는 복수의 정지영상 프레임들로 구성된 복수의 영상 프레임 세트들 중에서 스티칭 파라미터 계산의 대상이 되는 기준 영상 프레임 세트를 선별한다. 여기서, 상기 기준 영상 프레임 세트는 비디오 스티칭에 가장 적합한 영상 프레임 세트를 의미한다. 즉, 비디오 스티칭에 가장 적합한 영상 프레임 세트에서 계산된 스티칭 파라미터를 다른 영상 프레임 세트에도 적용하여 비디오 스티칭의 성공 확률을 높일 수 있게 된다.
이하에서는, 도 2를 참조하여 상기 기준 영상 프레임 세트 선택부(200)의 구성을 살펴본다. 도 2는 도 1의 기준 영상 프레임 세트 선택부의 구성을 도시한 블록도이다.
도 2를 참조하면, 상기 기준 영상 프레임 세트 선택부(200)는 특징 추출부(210), 영상 선별부(220)를 포함하여 이루어진다.
상기 특징 추출부(210)는 복수의 영상 프레임 세트들 각각을 구성하는 정지 영상 프레임들로부터 특징점을 추출한다.
특징점은 이동, 크기, 회전 등의 다양한 기하학적 변환이 일어난 영상에서도 반복적으로 검출되어야 한다. 주로, 국지적 변화가 큰 점들이 특징점으로 사용되기 적합하며, 실시간 응용을 위해서는 이를 빠르게 검출하는 것이 필요하다.
본 발명의 실시예에 따르면, 영상의 코너, 에지 등을 활용하여 특징을 추출할 수 있으며, 이를 위해 FAST(Feature from Accelerated Segment Test), SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), BRIEF(Binary Robust Independent Elementary Features), BRISK(Binary Robust Invariant Scalable Keypoints) 등의 추출 방법들이 사용될 수 있다. 이는 어디까지나 특징 추출을 위한 하나의 실시예일뿐이며, 본 발명의 권리범위는 본 명세서에 기재된 범위에 한정되지 않는다.
상기 영상 선별부(220)는 상기 특징 추출부(210)에서 추출된 특징점의 개수에 기초하여 비디오 스티칭에 가장 적합한 기준 영상 프레임 세트를 선별한다.
일 실시예에 있어서, 상기 영상 선별부(220)는 복수의 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 기준 영상 프레임 세트로 선별한다.
다른 실시예에 있어서, 상기 영상 선별부(220)는 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하고, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 기준 영상 프레임 세트로 선별한다.
상기 스티칭 파라미터 계산부(300)는 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산한다.
이하에서는, 도 3을 참조하여 상기 스티칭 파라미터 계산부(300)의 구성을 살펴본다. 도 3은 도 1의 스티칭 파라미터 계산부의 구성을 도시한 블록도이다.
도 3을 참조하면, 상기 스티칭 파라미터 계산부(300)는 특징 추출부(310), 특징 대응관계 계산부(320), 카메라 파라미터 계산부(330), 색 보정계수 계산부(340), 스티칭 파라미터 저장부(350)를 포함하여 이루어진다.
상기 특징 추출부(310)는 상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출한다. 상기 특징 추출부(310)는 도 2를 참조하여 전술한 바와 같이 영상의 코너, 에지 등을 활용하여 특징을 추출할 수 있으며, FAST, BRISK 등의 다양한 특징 추출 방법들을 사용할 수 있다.
상기 특징 대응관계 계산부(320)는 상기 기준 영상 프레임 세트를 구성하는 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산한다.
상기 카메라 파라미터 계산부(330)는 상기 특징 대응관계 계산부(320)에서 계산된 특징 간의 대응관계에 기초하여 카메라 파라미터를 계산한다.
상기 카메라 파라미터는 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)를 포함하며, 이들 파라미터로부터 영상과의 관계와 실제 공간과의 관계가 정의된다.
예컨대, 상기 내부 파라미터로는 초점거리, 영상중심 픽셀, 픽셀 종횡비율, 화면 종횡비율, 원형 왜곡정도 등이 있을 수 있으며, 상기 외부 파라미터로는 카메라 중심에 대한 회전, 카메라 중심에 대한 이동 등이 있을 수 있다.
상기 카메라 파라미터 계산부(330)는 적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하고, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택한다.
상기 색 보정계수 계산부(340)는 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산한다.
상기 카메라 파라미터 계산부(330)에서 계산된 카메라 파라미터 및 상기 색 보정계수 계산부(340)에서 계산된 색 보정계수는 스티칭 파라미터로서 상기 스티칭 파라미터 저장부(350)에 저장된다.
상기 파노라마 비디오 생성부(400)는 상기 스티칭 파라미터 계산부(300)에서 계산된 스티칭 파라미터를 다른 영상 프레임 세트에 적용하여 파노라마 비디오를 생성한다. 이때, 상기 스티칭 파라미터가 적용되는 정지영상 프레임은 상기 기준 영상 프레임 세트의 기준 영상 프레임(t)을 기준으로 시간 축으로 이전 프레임(t-1)과, 이후 프레임(t+1)을 포함한다.
이하에서는, 도 4를 참조하여 상기 파노라마 비디오 생성부(400)의 구성을 살펴본다. 도 4는 도 1의 파노라마 비디오 생성부의 구성을 도시한 블록도이다.
상기 파노라마 비디오 생성부(400)는 영상 변환부(410), 색 보정부(420), 영상 합성부(430)를 포함하여 이루어진다.
상기 영상 변환부(410)는 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환한다.
상기 색 보정부(420)는 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한다.
상기 영상 합성부(430)는 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성한다.
상기 스티칭 파라미터 업데이트부(500)는 파노라마 비디오를 생성하는 도중에 비정기적 혹은 정기적으로 업데이트 신호가 발생하는 경우, 스티칭 파라미터의 업데이트를 수행한다.
예컨대, 비디오 스티칭을 수행하는 중에 카메라의 위치가 틀어지거나 장면의 변화에 의해 스티칭 파라미터가 변경되는 경우가 발생할 수 있다. 본 발명의 실시예에 따르면, 상기 스티칭 파라미터 업데이트부(500)는 정기적 혹은 비정기적으로 업데이트 신호가 발생하는 경우, 영상 프레임 세트로부터 스티칭 파라미터를 다시 계산하여 업데이트함으로써, 비디오 스티칭의 성능을 향상시킬 수 있다. 파노라마 비디오 생성과 스티칭 파라미터의 업데이트는 병렬적으로 처리되기 때문에 프레임 당 계산 속도의 저하를 방지할 수 있다.
이하에서는, 도 5를 참조하여 상기 스티칭 파라미터 업데이트부(500)의 구성을 살펴본다. 도 5는 도 1의 스티칭 파라미터 업데이트부의 구성을 도시한 블록도이다.
도 5를 참조하면, 상기 스티칭 파라미터 업데이트부(500)는 업데이트 신호 생성부(510), 특징 추출부(520), 특징 대응관계 계산부(530), 카메라 파라미터 계산부(540), 색 보정계수 계산부(550), 스티칭 파라미터 저장부(560)를 포함하여 이루어진다.
일 실시예에 있어서, 상기 업데이트 신호 생성부(510)는 기 설정된 주기로 업데이트 신호를 생성할 수 있다.
다른 실시예에 있어서, 상기 업데이트 신호 생성부(510)는 비 정기적으로 업데이트 신호를 생성할 수 있다. 도 6에는 비정기적인 업데이트 신호를 생성하기 위한 구성이 예시적으로 도시된다.
도 6을 참조하면, 상기 업데이트 신호 생성부(510)는 제1 움직임 계산부(511), 제2 움직임 계산부(512), 움직임 판단부(513), 신호 발생부(514)를 포함하여 이루어진다.
상기 제1 움직임 계산부(511)는 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산한다.
상기 제2 움직임 계산부(512)는 특정 비디오 스트림(이하, 제1 비디오 스트림이라 함)에서 계산된 이전 정지 영상 프레임과 현재 정지영상 프레임 간의 움직임(이하, 제1 움직임이라 함)이 기 설정된 제1 임계 값보다 큰 경우, 상기 제1 비디오 스트림과 다른 비디오 스트림(이하, 제2 비디오 스트림이라 함)의 이전 정지 영상 프레임과 현재 정지영상 프레임 간의 움직임(이하, 제2 움직임이라 함)을 계산한다.
상기 움직임 판단부(513)은 상기 제1 움직임과 상기 제2 움직임의 크기를 비교한다. 만약, 상기 제1 움직임과 상기 제2 움직임의 크기의 차분이 기 설정된 제2 임계 값보다 작다면, 즉 움직임이 발생해도 이 움직임이 전체 비디오 스트림에서 일정하게 유지된다면, 이는 카메라가 설치된 구조물이 움직인 것으로서 복수 카메라 간의 위치관계는 유지된다고 볼 수 있다. 따라서, 이 경우에는 업데이트 신호는 생성되지 않는다.
만약, 상기 제1 움직임과 상기 제2 움직임의 크기의 차분이 기 설정된 제2 임계 값보다 크다면, 이는 구조물 내 카메라의 위치관계가 틀어진 경우로서 비정상적 움직임으로 판단 가능하다. 이때, 상기 움직임 판단부(513)는 상기 신호 발생부(514)에서 업데이트 신호를 발생시키기 위한 명령을 상기 신호 발생부(514)로 전달한다.
또한, 상기 움직임 판단부(513)는 상기 제1 움직임과 상기 제2 움직임의 크기의 차분이 기 설정된 제2 임계 값보다 작은 경우라도, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 촬영 장면의 변화가 발생한 경우이거나 비정상적 움직임인 것으로 판단하여 상기 신호 발생부(514)에서 업데이트 신호를 발생시키기 위한 명령을 상기 신호 발생부(514)로 전달한다.
다시 도 5로 돌아가 설명하면, 상기 특징 추출부(520)는 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출한다.
상기 특징 대응관계 계산부(530)는 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산한다.
상기 카메라 파라미터 계산부(540)는 상기 대응관계에 기초하여 카메라 파라미터를 계산한다.
상기 색 보정계수 계산부(550)는 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 색 보정계수를 계산한다.
상기 카메라 파라미터 계산부(540)에서 계산된 카메라 파라미터 및 상기 색 보정계수 계산부(550)에서 계산된 색 보정계수는 스티칭 파라미터로서 상기 스티칭 파라미터 저장부(560)에 저장되고, 상기 파노라마 비디오 생성부(400)는 상기 스티칭 파라미터 업데이트부(500)에서 업데이트된 스티칭 파라미터를 다른 영상 프레임 세트에 적용하여 파노라마 비디오를 생성한다. 이때, 업데이트된 스티칭 파라미터는 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 기준 프레임을 기준으로 시간 축으로 이전 프레임 혹은 이후 프레임에 적용될 수 있다.
도 7은 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 장치의 구성을 도시한 블록도이다.
도 7을 참조하면, 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 장치는 비디오 획득부(100), 색 보정계수 계산부(700), 스티칭 파라미터 저장부(800), 카메라 파라미터 저장부(600), 스티칭 파라미터 업데이트부(500)를 포함하여 이루어진다.
도 7에서는 도 1 내지 도 6을 참조하여 설명한 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 장치와 동일한 구성요소에 대해서는 동일한 참조번호를 표기하였으며, 동일 구성요소에 대한 설명은 생략하기로 다른 구성요소에 대해서만 설명하기로 한다.
본 발명의 제2 실시예에 따르면, 구조물에 설치된 카메라들의 캘리브레이션이 미리 이루어져 카메라 파라미터가 카메라 파라미터 저장부(600)에 미리 저장되어 있다.
카메라 파라미터를 미리 알고 있기 때문에, 상기 색 보정계수 계산부(700)는 미리 알고 있는 카메라 파라미터를 이용하여 기준 영상 프레임 세트 혹은 첫 번째 영상 프레임 세트에 대해 색 보정계수를 계산한다.
상기 카메라 파라미터 및 상기 색 보정계수 계산부(700)에서 계산된 색 보정 계수는 스티칭 파라미터로서 상기 스티칭 파라미터 저장부(800)에 저장된다.
상기 파노라마 비디오 생성부(400)는 상기 스티칭 파라미터를 다른 영상 프레임 세트에 적용하여 파노라마 비디오를 생성한다. 이때, 상기 스티칭 파라미터가 적용되는 정지영상 프레임은 상기 기준 영상 프레임 세트의 기준 영상 프레임(t)을 기준으로 시간 축으로 이전 프레임(t-1)과, 이후 프레임(t+1)을 포함한다.
이하, 도 1 및 도 8을 참조하여 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 살펴본다. 도 8은 본 발명의 제1 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 도시한 흐름도이다.
먼저, 비디오 획득부(100)는 복수 카메라로부터 복수의 비디오 스트림을 획득한다(S100).
본 발명의 실시예에 있어서, 복수의 카메라 각각은 서로 다른 시점(view)에서 특정 대상 영역을 촬영하며, 각 카메라에서는 서로 다른 시점(view)에서 특정 대상 영역을 촬영한 복수 비디오 스트림을 생성한다.
만약, N개의 카메라로 촬영한 N개의 비디오 스트림이 생성된다면, 각각의 비디오 스트림은 복수의 정지영상 프레임의 집합(t, t-1, t-2…)으로 구성된다.
이어, 기준 영상 프레임 세트 선택부(200)는 복수의 정지영상 프레임들로 구성된 복수의 영상 프레임 세트들 중에서 스티칭 파라미터 계산의 대상이 되는 기준 영상 프레임 세트를 선별한다(S200).
여기서, 상기 기준 영상 프레임 세트는 비디오 스티칭에 가장 적합한 영상 프레임 세트를 의미한다. 즉, 비디오 스티칭에 가장 적합한 영상 프레임 세트에서 계산된 스티칭 파라미터를 다른 영상 프레임 세트에도 적용하여 비디오 스티칭의 성공 확률을 높일 수 있게 된다.
일 실시예에 있어서, 상기 기준 영상 프레임 세트 선택부(200)는 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택한다.
다른 실시예에 있어서, 상기 기준 영상 프레임 세트 선택부(200)는 상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하고, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택한다.
이어, 스티칭 파라미터 계산부(300)는 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산한다(S300).
상기 스티칭 파라미터 계산부(300)는 상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하고, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하고, 상기 대응관계에 기초하여 카메라 파라미터를 계산하고, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하여, 상기 카메라 파라미터 및 상기 색 보정계수를 스티칭 파라미터로 저장한다.
예컨대, 상기 스티칭 파라미터 계산부(300)는 적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하고, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 과정을 통해 카메라 파라미터를 계산할 수 있다.
이어, 파노라마 비디오 생성부(400)는 단계 S300에서 계산된 스티칭 파라미터를 다른 영상 프레임 세트에 적용하여 파노라마 비디오를 생성한다(S400). 이때, 상기 스티칭 파라미터가 적용되는 정지영상 프레임은 상기 기준 영상 프레임 세트의 기준 영상 프레임(t)을 기준으로 시간 축으로 이전 프레임(t-1)과, 이후 프레임(t+1)을 포함한다.
예컨대, 상기 파노라마 비디오 생성부(400)는 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하고, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성한다.
한편, 정기적 혹은 비정기적인 업데이트 신호가 발생하는 경우, 스티칭 파라미터 업데이트부(500)는 스티칭 파라미터를 업데이트를 한다.
일 실시예로서, 기 설정된 주기마다 업데이트 신호가 발생되면, 상기 스티칭 파라미터 업데이트부(500)는 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하고, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하고, 상기 대응관계에 기초하여 카메라 파라미터를 계산하고, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하여, 상기 새롭게 계산된 카메라 파라미터 및 상기 새롭게 계산된 색 보정계수를 새로운 스티칭 파라미터로 업데이트한다.
다른 실시예로서, 업데이트 신호는 비정기적으로 발생할 수 있다. 예컨대, 상기 파노라마 비디오 생성부(400)는 상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하고, 제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하고, 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 업데이트 신호를 발생시킬 수 있다.
다른 한편으로, 상기 파노라마 비디오 생성부(400)는 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 업데이트 신호를 발생시킬 수도 있다.
이하, 도 7 및 도 9를 참조하여 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 살펴본다. 도 9는 본 발명의 제2 실시예에 따른 파노라믹 비디오를 스티칭하는 방법을 도시한 흐름도이다.
도 7 및 도 9는 구조물에 설치된 카메라들의 캘리브레이션이 미리 이루어져 카메라 파라미터가 저장되어 있는 경우의 실시예에 해당한다.
먼저, 비디오 획득부(100)는 복수의 카메라로부터 복수 비디오 스트림을 획득한다(S110).
이어, 카메라 파라미터를 알고 있기 때문에 스티칭의 과정에서, 색 보정계수 계산부(700)는 기준 영상 프레임 세트 혹은 첫 번째 영상 프레임 세트에 대해 색 보정계수를 계산하고(S210), 이를 스티칭 파라미터로 저장한다(S310).
이어, 파노라마 비디오 생성부(400)는 입력되는 다른 영상 프레임에 대해서 파노라마 동영상을 생성한다(S410).
비록 카메라 파라미터를 미리 구했다 하더라도 카메라의 미세한 움직임이나 장면의 전환 시, 스티칭 파라미터 업데이트부(500)는 스티칭 파라미터를 업데이트한다(S510).
본 발명에 따르면, 360도 구면 동영상을 제작하기 위한 고속 고성능 비디오 스티칭이 가능하다. 따라서, 360도 비디오 촬영 시 실시간으로 파노라마 영상을 모니터링하여 촬영에 소요되는 시간을 단축시킬 수 있다. 오프라인 작업의 경우에도 파노라마 비디오 제작 시간을 단축시킬 뿐만 아니라, 성능의 향상도 기대할 수 있다.
또한, 특징점의 개수가 최대인 기준 영상 프레임 세트를 선택하고, 상기 기준 영상 프레임 세트로부터 계산된 스티칭 파라미터를 다른 영상 프레임 세트의 영상 합성에 적용함으로써, 계산량을 줄일 수 있다.
또한, 비디오 촬영 중 구조물의 유격이나 충격에 의해 카메라가 움직일 경우, 이를 감지하여 스티칭 파라미터를 업데이트하고, 영상 합성 시 업데이트된 스티칭 파라미터를 적용함으로써 비디오 스티칭의 품질을 보장할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 복수 카메라로부터 복수의 비디오 스트림을 획득하는 단계;
    상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 단계;
    상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 단계; 및
    상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 단계
    를 포함하는 파노라믹 비디오를 스티칭하는 방법.
  2. 제1항에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는,
    상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와,
    각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와,
    추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  3. 제1항에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는,
    상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와,
    각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와,
    추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하는 단계와,
    선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  4. 제1항에 있어서, 상기 스티칭 파라미터를 계산하는 단계는,
    상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와,
    정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와,
    상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와,
    상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  5. 제4항에 있어서, 상기 카메라 파라미터를 계산하는 단계는,
    적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하는 단계와,
    상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  6. 제1항에 있어서, 상기 파노라마 비디오를 생성하는 단계는,
    상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하는 단계와,
    상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  7. 제1항에 있어서,
    상기 스티칭 파라미터를 업데이트하는 단계
    를 더 포함하는 파노라믹 비디오를 스티칭하는 방법.
  8. 제7항에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는,
    기 설정된 주기마다 업데이트 신호를 발생시키는 단계와,
    상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와,
    정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와,
    상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와,
    상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  9. 제7항에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는,
    상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 단계와,
    제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 단계와,
    상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  10. 제9항에 있어서,
    상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 더 포함하는 것
    인 파노라믹 비디오를 스티칭하는 방법.
  11. 복수 카메라로부터 복수의 비디오 스트림을 획득하는 비디오 획득부;
    상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 기준 영상 프레임 세트 선택부;
    상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 스티칭 파라미터 계산부; 및
    상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 파노라마 비디오 생성부
    를 포함하는 파노라믹 비디오를 스티칭하는 장치.
  12. 제11항에 있어서, 상기 기준 영상 프레임 세트 선택부는,
    상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  13. 제11항에 있어서, 상기 기준 영상 프레임 세트 선택부는,
    상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하고, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  14. 제11항에 있어서, 상기 스티칭 파라미터 계산부는,
    상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하고, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하고, 상기 대응관계에 기초하여 카메라 파라미터를 계산하고, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  15. 제14항에 있어서, 상기 스티칭 파라미터 계산부는,
    적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하고, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  16. 제11항에 있어서, 상기 파노라마 비디오 생성부는,
    상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하고, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  17. 제11항에 있어서,
    상기 스티칭 파라미터를 업데이트하는 스티칭 파라미터 업데이트부
    를 더 포함하는 파노라믹 비디오를 스티칭하는 장치.
  18. 제17항에 있어서, 상기 스티칭 파라미터 업데이트부는,
    업데이트 신호를 발생시키는 업데이트 신호 생성부와,
    상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 영상 특징 추출부와,
    정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 특징 대응관계 계산부와,
    상기 대응관계에 기초하여 카메라 파라미터를 계산하는 카메라 파라미터 계산부와,
    상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 색 보정계수 계산부를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  19. 제18항에 있어서, 상기 업데이트 신호 생성부는,
    기 설정된 주기로 상기 업데이트 신호를 발생시키는 것
    인 파노라믹 비디오를 스티칭하는 장치.
  20. 제18항에 있어서, 상기 업데이트 신호 생성부는,
    상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 제1 움직임 계산부와,
    제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 제2 움직임 계산부와,
    상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 혹은 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 비정상적 움직임인 것으로 판단하는 움직임 판단부를 포함하는 것
    인 파노라믹 비디오를 스티칭하는 장치.
KR1020150043209A 2015-03-27 2015-03-27 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법 KR20160115466A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150043209A KR20160115466A (ko) 2015-03-27 2015-03-27 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
US15/081,144 US20160286138A1 (en) 2015-03-27 2016-03-25 Apparatus and method for stitching panoramaic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150043209A KR20160115466A (ko) 2015-03-27 2015-03-27 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법

Publications (1)

Publication Number Publication Date
KR20160115466A true KR20160115466A (ko) 2016-10-06

Family

ID=56975927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150043209A KR20160115466A (ko) 2015-03-27 2015-03-27 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법

Country Status (2)

Country Link
US (1) US20160286138A1 (ko)
KR (1) KR20160115466A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009667A1 (ko) * 2017-07-06 2019-01-10 가온미디어 주식회사 동기화된 영상의 처리 방법 및 그 장치
KR20190058040A (ko) * 2017-11-21 2019-05-29 (주)루먼텍 Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
KR20200111639A (ko) * 2019-03-19 2020-09-29 한국전자통신연구원 영상 스티칭 워크플로우 및 파라미터 제공 방법 및 장치
KR102445874B1 (ko) * 2021-03-29 2022-09-21 재단법인대구경북과학기술원 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법
KR20220145284A (ko) 2021-04-21 2022-10-28 한국전자통신연구원 모바일 디바이스 및 5g mec/cloud를 이용한 초고해상도 vr 컨텐츠 제공 장치 및 이를 이용한 방법
WO2023008684A1 (ko) * 2021-07-26 2023-02-02 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법
US11694303B2 (en) 2019-03-19 2023-07-04 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 stitching workflow and parameter
WO2024111924A1 (ko) * 2022-11-25 2024-05-30 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813622B2 (en) * 2015-07-27 2017-11-07 Futurewei Technologies, Inc. Color corrected high resolution imaging
US10694249B2 (en) 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US10506006B2 (en) 2015-09-09 2019-12-10 Vantrix Corporation Method and system for flow-rate regulation in a content-controlled streaming network
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10148874B1 (en) * 2016-03-04 2018-12-04 Scott Zhihao Chen Method and system for generating panoramic photographs and videos
US10432855B1 (en) * 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
CN110178365B (zh) * 2017-02-15 2021-10-08 松下知识产权经营株式会社 图像处理装置和图像处理方法
JP6371989B1 (ja) * 2017-02-15 2018-08-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN106973282B (zh) * 2017-03-03 2019-12-24 深圳市梦网百科信息技术有限公司 一种全景视频沉浸感增强方法和系统
US11328388B2 (en) 2017-08-01 2022-05-10 Sony Group Corporation Image processing apparatus, image processing method, and program
KR102198217B1 (ko) 2018-04-11 2021-01-04 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
EP3618442B1 (en) 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
CN109614848B (zh) 2018-10-24 2021-07-20 百度在线网络技术（北京）有限公司 人体识别方法、装置、设备及计算机可读存储介质
CN109754373B (zh) * 2018-12-18 2022-12-30 太原理工大学 面向移动端的全景图像色彩纠正方法
CN111385490B (zh) * 2018-12-28 2021-07-13 清华大学 视频拼接方法及装置
US20220180491A1 (en) * 2019-05-15 2022-06-09 Ntt Docomo, Inc. Image processing apparatus
CN110958444A (zh) * 2019-12-23 2020-04-03 中科院微电子研究所昆山分所 一种720度视场环境态势感知方法及态势感知系统
CN112437327B (zh) * 2020-11-23 2023-05-16 瞰瞰技术(深圳)有限公司 实时全景直播拼接方法及系统
CN112862676A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种图像拼接方法、设备、存储介质
CN114979758B (zh) * 2021-02-26 2023-03-21 影石创新科技股份有限公司 视频拼接方法、装置、计算机设备和存储介质
CN113409196B (zh) * 2021-07-07 2023-02-24 安徽水天信息科技有限公司 一种用于实时视频拼接的高速全局色差矫正方法
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
CN113793382A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN115294748A (zh) * 2022-09-08 2022-11-04 广东中科凯泽信息科技有限公司 一种基于视觉数据分析的固定目标消失预警方法
CN116308888B (zh) * 2023-05-19 2023-08-11 南方电网数字平台科技(广东)有限公司 一种基于神经网络的操作票管理系统
CN116760937B (zh) * 2023-08-17 2023-12-08 广东省科技基础条件平台中心 一种基于多机位的视频拼接方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7256799B2 (en) * 2001-09-12 2007-08-14 Sanyo Electric Co., Ltd. Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
FR3004565B1 (fr) * 2013-04-12 2016-11-11 Kolor Fusion de plusieurs flux video

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009667A1 (ko) * 2017-07-06 2019-01-10 가온미디어 주식회사 동기화된 영상의 처리 방법 및 그 장치
KR20190058040A (ko) * 2017-11-21 2019-05-29 (주)루먼텍 Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
KR20200111639A (ko) * 2019-03-19 2020-09-29 한국전자통신연구원 영상 스티칭 워크플로우 및 파라미터 제공 방법 및 장치
US11694303B2 (en) 2019-03-19 2023-07-04 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 stitching workflow and parameter
KR102445874B1 (ko) * 2021-03-29 2022-09-21 재단법인대구경북과학기술원 멀티 카메라 시스템을 보정하기 위한 전자 장치 및 이의 제어 방법
KR20220145284A (ko) 2021-04-21 2022-10-28 한국전자통신연구원 모바일 디바이스 및 5g mec/cloud를 이용한 초고해상도 vr 컨텐츠 제공 장치 및 이를 이용한 방법
WO2023008684A1 (ko) * 2021-07-26 2023-02-02 삼성전자 주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법
WO2024111924A1 (ko) * 2022-11-25 2024-05-30 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
US20160286138A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
KR20160115466A (ko) 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
US20170180680A1 (en) Object following view presentation method and system
JP5843751B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
US20090324135A1 (en) Image processing apparatus, image processing method, program and recording medium
KR101603791B1 (ko) 파노라마의 생성 방법
US11037308B2 (en) Intelligent method for viewing surveillance videos with improved efficiency
CN105141841B (zh) 摄像设备及其方法
WO2003036565A2 (en) System and method for obtaining video of multiple moving fixation points within a dynamic scene
WO2020218024A1 (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
KR20200045682A (ko) Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
KR101603876B1 (ko) 파노라마의 생성 방법
US11044399B2 (en) Video surveillance system
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
CN114594770B (zh) 一种巡检机器人不停车的巡检方法
JP2020096267A (ja) 映像合成装置及びプログラム
JP2011146762A (ja) 立体モデル生成装置
US20240029386A1 (en) Video stitching method and system
JP6489655B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
CN113763545A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
CN109671107B (zh) 通过对所投影一维图像轮廓进行匹配将多个相机图像对准
JP2017111620A (ja) 画像処理装置、画像処理方法及び画像処理プログラム