KR20150011938A - 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 - Google Patents

멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 Download PDF

Info

Publication number
KR20150011938A
KR20150011938A KR20130087169A KR20130087169A KR20150011938A KR 20150011938 A KR20150011938 A KR 20150011938A KR 20130087169 A KR20130087169 A KR 20130087169A KR 20130087169 A KR20130087169 A KR 20130087169A KR 20150011938 A KR20150011938 A KR 20150011938A
Authority
KR
South Korea
Prior art keywords
motion
global
feature point
correction
correcting
Prior art date
Application number
KR20130087169A
Other languages
English (en)
Inventor
조용주
임성용
석주명
기명석
차지훈
레한 하피즈
마하마드 무르타자 칸
아미르 함자
아샤드 알리
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20130087169A priority Critical patent/KR20150011938A/ko
Priority to US14/044,405 priority patent/US20150029306A1/en
Publication of KR20150011938A publication Critical patent/KR20150011938A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 복수의 카메라로 캡쳐한 파노라마 영상의 모션 보정 방법 및 장치가 제안한다. 본 발명은 상기 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 추정을 수행함, 추정된 상기 부드러운 모션 궤적의 각 프레임에서 모션을 보정하는 글로벌 모션 보정을 수행함, 상기 모션을 보정한 결과에 대하여 상기 복수의 카메라 각각의 움직임을 보정하는 로컬 모션 보정을 수행함 및 상기 로컬 모션 보정이 수행된 결과에 대하여 워핑(warping)을 수행함을 포함한다.

Description

멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치{METHOD AND APPARATUS FOR STABILIZING PANORAMA VIDEO CAPTURED BASED MULTI-CAMERA PLATFORM}
본 발명은 파노라마 영상의 안정화에 관한 것으로서, 보다 자세하게는 움직임이 있는 멀티-카메라 영상을 보정함에 관한 것이다.
파노라마 영상(panorama video)은 멀티-카메라(multi-camera)의 영상의 스티칭(stiching)을 통해 얻을 수 있다. 파노라마 영상에서 프레임들은 멀티-카메라로부터 촬영되고, 상기 프레임들은 파노라마 이미지를 형성하기 위하여 함께 스티칭된다. 이때, 멀티-카메라로 촬영되는 파노라마 영상에 흔들림 또는 움직임이 발생할 수 있으며, 멀티-카메라는 위, 아래, 좌, 우 각 방향으로 독립적인 움직임이 발생할 수 있다. 특히, 모바일 플랫폼에서 촬영된 영상은 고-주파수 지터(jitter)에 민감하며, 시각적으로 불편함을 초래할 수 있다.
구체적으로, 카메라 리그(rig ) 또는 플랫폼(platform)의 움직임으로 인해 다음 3가지 효과가 발생할 수 있다.
첫째, 전체 파노라마 이그지빗(exhibit)이 흔들릴 수 있다. 전체적인 움직임은 스티치된 영상의 완성 프레임(complete frame)에 영향을 줄 수 있다. 이를 프레임-쉐이킹이라고도 한다.
둘째, 인터-카메라(inter-camera) 쉐이킹은 영상의 서브-프레임에서 극히 불편한 로컬 지터를 야기할 수 있다. 이를 서브프레임 쉐이킹이라고도 한다.
셋째, 시차(parallax)로 인하여 서로 다른 깊이 면의 객체(objects)들이 흔들릴 수 있다. 이를 시차로 인한 로컬 쉐이팅이라고도 한다.
본 명세서에서는 멀티-카메라 모션 보정 방법 및 장치를 제안한다. 특히, 움직이는 멀티-카메라를 이용하여 파노라마 영상을 생성할 때, 파노라마 영상의 모션 보정뿐만 아니라 각 카메라의 모션을 보정한다.
본 발명의 기술적 과제는 파노라마 영상의 모션 보정 장치 및 방법을 제공함에 있다.
본 발명의 다른 기술적 과제는 복수의 카메라들에 독립적으로 움직임이 있을 때 멀티-카메라 영상의 움직임을 보정하는 방법 및 장치를 제공함에 있다.
본 발명의 일 양태에 따르면, 복수의 카메라로 캡쳐한 파노라마 영상의 모션 보정 방법은 상기 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 추정을 수행하는 단계, 추정된 상기 부드러운 모션 궤적의 각 프레임에서 모션을 보정하는 글로벌 모션 보정을 수행하는 단계, 상기 모션을 보정한 결과에 대하여, 상기 복수의 카메라 각각의 움직임을 보정하는 로컬 모션 보정을 수행하는 단계 및 상기 로컬 모션 보정이 수행된 결과에 대하여 워핑(warping)을 수행하는 단계를 포함한다.
본 발명의 다른 양태에 따르면, 복수의 카메라로 캡쳐한 파노라마 영상의 모션 보정 장치는 상기 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 궤적 추정 모듈, 추정된 상기 부드러운 모션 궤적의 각 프레임에서 모션을 보정하는 글로벌 모션 궤적 적용 모듈, 상기 모션을 보정한 결과에 대하여, 상기 복수의 카메라 각각의 움직임을 보정하는 서브-프레임 보정 모듈 및 상기 상기 복수의 카메라 각각의 움직임을 보정한 결과에 대하여 워핑(warping)을 수행하는 워핑 모듈을 포함한다.
본 발명에 따르면, 멀티-카메라 영상을 이용하여 파노라마 비디오 생성 시, 각 카메라들의 독립적인 움직임을 고려하여 파노라마 영상의 움직임을 제거할 수 있다.
도 1은 본 발명에 따른 파노라마 영상의 모션 보정 방법의 일 예를 나타내는 순서도이다.
도 2는 본 발명에 따른 글로벌 모션 추정의 과정을 나타내는 도이다.
도 3은 본 발명에 따른 글로벌 모션 보정의 일 예를 나타낸다.
도 4는 본 발명에 따라서 파노라마 영상이 3개의 카메라 영상으로 구성되었을 때의 블렌딩 마스크(Blending Mask)의 일 예를 나타낸다.
도 5는 본 발명에 따른 로컬 모션 보정을 통해 특징점 위치가 변화하는 것을 나타내는 도이다.
도 6a 및 도 6b는 본 발명에 따라서 모션 보정된 특징점들의 위치를 나타내는 도이다.
도 7은 본 발명에 따른 파노라마 영상의 모션 보정 장치의 일 예를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.
본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.
본 명세서에서 사용되는 용어를 설명한다.
‘영상 안정화(Video stabilization)’는 움직이는 비디오 카메라들로부터 촬영된(captured) 영상들로부터 의도치 않은 모션(unintended/unwanted motion)을 제거하는 것을 말한다.
‘와이드 FOV 파노라마 영상(Wide FOV Panoramic videos)’은 플랫폼(또는 카메라 리그)에 고정된(fixed) 다수의(an array of) 카메라에 의하여 촬영되고 스티칭된다. 상기 카메라 리그는 동적(moving)이거나 정적(static)일 수 있다.
‘의도한 모션(Intended motion)’은 카메라 리그에 실제 요구된 움직임(actual desired movement)이다. 이는 전체 모션의 저주파 요소이며 보존될 필요가 있다.
‘의도하지 않은 모션(Unintended motion)’은 카메라의 원치 않은 모션이다. 이는 전체 움직임의 고주파 요소이며 제거될 필요가 있다.
‘움직이는 카메라 리그(moving camera rig)’는 의도하지 않은 모션을 만들 수 있다. 예를 들어, 카메라 리그의 진동/떨림(Vibrations/Trembling) 또는 인터-카메라 쉐이킹(Inter-Camera Shaking)이 있다. 여기서 인터-카메라 쉐이킹은 개인 카메라(individual camera) 간의 진동/떨림을 말하며, 이로 인해 파노라마 영상의 일부(part)가 나머지 부분들과 독립적으로 움직인다.
‘지터/트렘블링/쉐이킹(Jitter/ trembling/shaking)’은 원치않은 고주파 모션이며, 본 발명에서 가장 제거하고자 하는 것이다.
‘서브프레임(Sub-frame)’은 단일 카메라로부터 촬영된 파노라마 영상으로부터 추출(taken)된 프레임의 일부를 말한다.
‘스무딩(Smoothing)’은 폴리노미얼(polynomial) 모델의 피팅(fitting) 절차 또는 평탄화된(smothed) 궤적(trajectory)으로 특징점 궤적(feature trajectory)를 필터링하는 절차를 말한다.
도 1은 본 발명에 따른 파노라마 영상의 모션 보정 방법의 일 예를 나타내는 순서도이다. 이때, 모션 보정 장치에 파노라마 이미지 프레임 시퀀스(sequence of panorama image frame)가 입력되면, 파노라마 생성시 파노라마 영상을 구성하기 위한 BM(Blending Mask)이 생성된다.
도 1을 참조하면, 본 발명은 step1 내지 step4, 즉, 단계 S110 내지 S140으로 구성된다. 구체적으로, S110은 S111, S113 및 S115로 구성되고, S120은 S121 및 S123으로 구성되고, S130은 S131, S133, S135 및 S137으로 구성되고, S140은 S141, S143, S145 및 S147로 구성된다.
<STEP 1>
모션 보정 장치는 파노라마 영상으로부터 부드러운 모션 궤적(smooth motion trajectories)을 추정하는 글로벌 모션 추정(global motion estimation)을 수행한다(S110). 즉, 모션 보정 장치는 오리지널 모션 궤적으로부터 부드러운 모션 궤적을 추정한다.
구체적으로, 상기 글로벌 모션 추정은 특징점을 추적하는 단계(feature tracking : S111), 충분히 긴 특징점을 선택하는 단계(selecting sufficiently long features : S113) 및 선택된 특징점들을 부드럽게 하는 단계(selected features smoothing : S115)를 포함할 수 있다. 여기서, 충분히 긴 특징점을 선택함은 소정의 길이보다 긴 특징점을 선택함일 수 있다.
일 예로, 특징점 선택에 KLT(Kanade-Lucas-Tomasi) 기법이 사용될 수 있다.
도 2는 본 발명에 따른 글로벌 모션 추정의 과정을 나타내는 도이다.
도 2를 참조하면, 입력된 파노라마 이미지 프레임의 시퀀스(sequence of panorama image frame)에서 움직임 변화를 추정하며, 프레임(250)의 진행에 따라서 추정한다. 선택된 특징점들의 오리지널 궤적(original trajectories of the selected features : 200)으로부터 선택된 특징점들의 부드러운 궤적(smoothed trajectories of the selected features : 205)을 추정한다.
일 예로, 파노라마 영상 프레임은 소정의 상수(constant number)의 영상 프레임을 포함하는 오버래핑 윈도우(in terms of overlapping windows)에 관하여 그룹화된다. 각 오버래핑 윈도우에서, 소정의 상수의 특징점들은 특징점 궤적(feature trajectory)이라 불리는 2차원 픽셀 위치에 관한 파노라마 프레임들을 통해 추적된다. 선택된 특정점 궤적들은 의도하지 않은 고-주파수 움직임을 제거함으로써 부드러워진다.
<STEP 2>
단계 S110에 이어서, 모션 보정 장치는 각 프레임에서 글로벌 모션 보정(global motion correction)을 수행한다(S120). 또는, 글로벌 모션 수정이라고도 하고, 글로벌 모션 궤적 적용이라고도 한다.
구체적으로, 상기 글로벌 모션 보정은 글로벌 기하학적 변환을 추정하는 단계(estimating global geometric transform : S121) 및 글로벌 기하학적 변환을 특징점들에 적용하는 단계(applying global geometric transform to the features : S123)을 포함할 수 있다.
일 예로, 오리지널 특징점 궤적 및 부드러워진 특징점 궤적들에 RANSAC(RANdom SAmpling Consensus)를 적용하여 각 프레임에 대하여 글로벌 기하학적 변환을 추정하고, 글로벌 기하학적 변환(예, 추정된 닮음 변환(similarity transform))을 오리지널 특징점 궤적의 위치에 적용하여 특징점 궤적을 글로벌하게 수정할 수 있다.
도 3은 본 발명에 따른 글로벌 모션 보정의 일 예를 나타낸다.
도 3을 참조하면, ‘300’은 글로벌 모션 보정 전의 선택된 특징점의 오리지널 위치(Original location of the selected features : 300)를 나타내고, ‘305’는 글로벌 모션 보정 후의 선택된 특징점이 글로벌하게 변환된 위치(globally transformed location of the selected features : 305)를 나타낸다. 또한, 서브-프레임 1 및 서브-프레임 2 사이에 ‘1-2 블렌딩/오버래핑 영역(1-2 blending/overlapping region)’이 있고, 서브-프레임 2 및 서브프레임 3 사이에 ‘2-3 블렌딩/오버래핑 영역(2-3 blending/overlapping region)’이 있다.
글로벌 모션 보정을 통해서 복수개의 카메라들의 공통적인 움직임을 보정할 수 있다.
<STEP 3>
단계 S120에 이어서, 모션 보정 장치는 각 카메라 영상의 움직임을 보정하는 로컬 모션 보정(local motion correction)을 수행한다(S130). 이를 서브-프레임(Sub-frame) 보정이라고도 한다. 글로벌한 흔들림이 보정된 결과에 대하여 각 카메라의 독립적인 흔들림은 보정하는 단계이다.
구체적으로, 상기 로컬 모션 보정은 특징점들의 서브-프레임 그룹화 단계(sub-frame grouping of the features : S131), 각 서브-프레임에 대한 기하학적 변환 추정 단계(estimate geometric transform for each sub-frame : S133), 각 특징점에 대한 가중된 기하학적 변환을 계산하는 단계(calculate weighted geometric transform for each feature : S135) 및 특징점들에 기하학적 변환을 적용하는 단계(apply geometric transform to features : S137)를 포함한다.
도 4는 본 발명에 따라서 파노라마 영상이 3개의 카메라 영상으로 구성되었을 때의 블렌딩 마스크(Blending Mask)의 일 예를 나타낸다. 파노라마 영상은 n개(n은 정수)의 입력 카메라 영상을 이용하여 생성될 수 있는데, 상기 도 4는 카메라 영상이 3개인 경우의 예이다.
도 4를 참조하면, 파노라마 영상은 3개의 입력 영상을 이용하여 생성되므로, 각 입력 영상의 위치 및 블렌딩 마스크를 갖는다.
각 카메라의 로컬 모션 보정(local motion correction)을 위해서 파노라마 영상 내 각 카메라 영상 부분에 위치한 특징점들의 움직임 변화들을 분석하여 부드러워진 궤적들을 계산하여 적용한다. 일 예로, 특징점들의 위치 변환이 수행될 수 있다. 이때, RANSAC을 이용하여 로컬 변환 매트릭스가 계산될 수 있으며, n개의 로컬 변환 매트릭스들을 이용하여 상기 특징점들의 위치 변환이 수행될 수 있다.
일 예로, 오리지널 특징점 궤적 및 부드러워진 특징점 궤적에 RANSAC가 사용되면, 각 프레임의 각 서브프레임에 대한 기하학적 변환(예, 어파인 변환(affine transform), 닮음 변환)이 추정될 수 있다. 이를 통해 글로벌하게 보정된 특징점의 궤적이 다시 한번 부드러워질 수 있다.
파노라마 영상 내 각 카메라 영상 부분에 존재하는 특징점들의 위치는 독립적으로 변환되었기 때문에 중첩영역(400)내 특징점들의 위치는 정렬되지(align) 않는다. 즉, 상기 중첩영역(400)에 위치한 특징점들은 좌영상과 우영상에 존재하는 동일한 특징점들이다. 따라서, 중첩영역에 위치한 특징점들을 정렬해야 끊김없는(seamless) 파노라마 영상이 구성될 수 있다.
이를 위하여, 다음 수학식 1을 통해 중첩영역(400)의 특짐정들의 위치를 정렬할 수 있다.
Figure pat00001
여기서, h(x,y)는 특징점을 포함하는 픽셀 좌표(pixel co-ordinates)인 (x,y)에 대한 기하학적 변환 매트릭스이다. hn은 서브프레임 n에 대하여 추정된 기하학적 변환이다. bn(x,y)는 서브프레임 n에 대한 픽셀 좌표 (x,y)에 대하여 정규화된 가중값(normalized weight)이다.
상기 수학식 1을 참조하면, 블렌딩 마스크의 특성(예, 중첩영역에서의 가중함수(weight function))을 이용하여 비중첩영역과 중첩영역에 위치한 모든 특징점 들의 위치가 변경되지만, 중첩영역의 특징점 들의 위치를 정렬할 수 있다. 즉, 각 픽셀에 대한 모든 블렌딩 마스크의 총 합이 항상 “1”과 같은 상태(state)인 블렌딩 마스크의 특성(property)을 활용하여, 새로운 가중된(weighted) 기하학적 변환이 전체 파노라마 영상에서 각 특징점 위치에 대하여 상기 수학식 1과 같이 계산될 수 있다.
도 5는 본 발명에 따른 로컬 모션 보정을 통해 특징점 위치가 변화하는 것을 나타내는 도이다.
도 5를 참조하면, 글로벌 모션 보정이 수행된 선택된 특징점들의 위치(500)에 상기 수학식 1을 통해 생성된 변환 매트릭스가 적용되면 선택된 특징점들의 서브-프레임 수정된 위치(505)를 갖는다. 즉, 상기 선택된 특징점들의 서브-프레임 보정된 위치(505)는 글로벌 모션 보정 및 로컬 모션 보정이 모두 수행된 위치이다.
여기서, 서브-프레임의 오버랩핑 되지 않은 영역에 놓여진 모든 특징점에 대한 가중된 변환은 프레임에 대하여 추정된 기하학적 변환(hn)과 동일하며, 이는 상기 수학식 1에서 제안된 바와 같다.
<STEP 4>
단계 S130에 이어서, 모션 보정 장치는 시차 보정을 기반으로 워핑(warping)을 수행한다(S140). 워핑을 일그러짐, 뒤틀림 또는 휨이라고도 한다.
상기 워핑은 각 클러스터로부터 떨어진(outlying) 궤적을 식별하고 제거하는 단계(identify and discard outlying trajectories from each cluster : S141), 나머지 궤적들을 부드럽게 하는 단계(smooth the remaining trajectories : S143), 프레임들에 워핑을 적용하는 단계(apply warping to the frames : S145) 및 프레임을 크롭핑하는 단계(crop the frames : S147)를 포함할 수 있다.
서브-프레임 보정된 모든 특징점들은 필터 윈도우(filter window)의 첫번째 파노라마 프레임에서 특징점들의 위치에 관하여 클러스터화된다(clustered). 이때, 각 클러스트에 놓인 특징점들의 움직임 모델인 믹스처 모델(mixture model)이 추정될 수 있다. 또한, 각 특징점 궤적에 대하여, 각 클러스터의 움직임 모델에 놓일 확률이 계산될 수 있다.
일 예로, 각 특징점 궤적이 클러스터의 움직임 모델의 확률이 소정의 확률(p%)보다 낮으면, 해당 특징점 궤적은 선택되지 않고 더 이상 확률 계산이 수행되지 않는다.
다른 예로, 나머지 특징점 궤적들이 고-주파수 관련 원치않은 움직임을 제거하기 위하여 저대역 필터(low pass filter)를 통과하거나, 카메라의 요구된 모션 경로가 카메라의 오리지널 모션 경로에 충분히 가깝다는 제약 하에서 상기 요구된 경로를 나타내는 폴리노미얼 모델에 조정(fit to)될 수 있다. 이때, “오리지널 특징점 궤적과 제거된 특징점 궤적의 차(minus)” 및 “부드러워진 특징점 궤적”이 중요한 셋(set)으로 고려된다.
한편, 글로벌 모션 보정 및 로컬 모션 보정에 있어서, 모션 보정에 도움이 되지 않는 특징점(이를 아웃라이어(outlier)라고도 한다)이 존재할 수 있다. 이때, 전체 특징점들을 소정의 개수로 그룹화(또는 클러스터화(clustering)) 한 후, 각 그룹에서 특별히 상이한 궤적을 갖는 특징점을 제외함으로서 해당 특징점들을 제거할 수 있다. 일 예로, 상기 그룹화는 10개의 그룹으로 나누는 것일 수 있다.
도 6a 및 도 6b는 본 발명에 따라서 모션 보정된 특징점들의 위치를 나타내는 도이다.
도 6a는 오리지널 프레임을 제어 포인트(control point)와 함께 나타내는 도이다. 여기서, ‘600’은 오리지널 파노라마 영상에서 추출된 특징점들의 위치를 나타내며, ‘605’는 모든 모션 보정(또는 위치 변환)이 적용된 특징점들의 위치를 나타낸다.
도 6a를 참조하면, 아웃라이어를 제외한 나머지 특징점들은 저대역필터 또는 폴리노미얼 모델(polynomial model)을 적용하여 재차 부드럽게 된다. 로컬 모션 보정 후에도 움직임이 심한 특징점에 효과가 있다.
도 6b는 모션 보정이 모두 적용된 결과이다. 여기서, ‘610’은 워핑으로 인하여 발생한 불필요한 부분을 크롭핑(cropping)한 영역이다.
오리지널 파노라마 영상을 워핑하여 추출한 특징점들의 위치와 모든 모션 보정이 적용된 특징점들의 위치가 정렬된다. 이때, 위치 정렬을 위해 MLSD(Moving Least Squares Deformation) 기법이 적용될 수 있다.
파노라마 영상의 워핑 과정을 통해 영상 내 오프젝트(object)들의 깊이 정보를 반영시킬 수 있으며, 시차(parallax)의 오류를 방지할 수 있다.
또한, 선택된 궤적의 최종 셋 및 부드러워진 궤적의 쌍(pair)을 워핑에 대한 제어 포인트로서 사용하면 새로운 프레임들이 렌더링된다. 상기 워핑에 크롭핑이 요구되고, 새로운 안정화된 프레임의 렌더링(rendering)을 마무리하는 이미지 주변에 빈 영역(empty area)이 나타날 수 있다.
도 7은 본 발명에 따른 파노라마 영상의 모션 보정 장치의 일 예를 나타내는 블록도이다. 모션 보정 장치(700)는 스티칭을 위한 입력 영상(750)이 입력되면 흔들림 보정된 파노라마 영상(760)을 출력한다.
도 7을 참조하면, 모션 보정 장치(700)는 글로벌 모션 궤적 추정 모듈(710), 글로벌 모션 궤적 적용 모듈(720), 서브-프레임 보정 모듈(730) 및 워핑 모듈(740) 중 적어도 하나를 포함할 수 있다. 상기 각 모듈은 별도의 유닛(unit)으로 구성될 수 있으며, 상기 유닛은 프로세서(processor)에 포함되는 유닛일 수 있다.
글로벌 모션 궤적 추정 모듈(710)은 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 추정을 수행한다. 즉, 글로벌 모션 궤적 추정 모듈(710)은 오리지널 모션 궤적으로부터 부드러운 모션 궤적을 추정한다.
구체적으로, 글로벌 모션 궤적 추정 모듈(710)은 특징점을 추적하고, 충분히 긴 특징점을 선택하고, 선택된 특징점들을 부드럽게 할 수 있다.
일 예로, 글로벌 모션 궤적 추정 모듈(710)은 KLT(Kanade-Lucas-Tomasi) 기법을 사용하여 특징점을 선택할 수 있다.
글로벌 모션 궤적 적용 모듈(720)은 각 프레임에서 글로벌 모션 보정을 수행한다.
구체적으로, 글로벌 모션 궤적 적용 모듈(720)은 글로벌 기하학적 변환을 추정하고, 글로벌 기하학적 변환을 특징점들에 적용할 수 있다.
일 예로, 글로벌 모션 궤적 적용 모듈(720)은 오리지널 특징점 궤적 및 부드러워진 특징점 궤적들에 RANSAC를 적용하여 각 프레임에 대하여 글로벌 기하학적 변환을 추정하고, 글로벌 기하학적 변환(예, 추정된 닮음 변환)을 오리지널 특징점 궤적의 위치에 적용하여 특징점 궤적을 글로벌하게 수정할 수 있다.
서브-프레임 보정 모듈(730)은 각 카메라 영상의 움직임을 보정하는 로컬 모션 보정을 수행한다. 즉, 서브-프레임 보정 모듈(730)은 글로벌한 흔들림이 보정된 결과에 대하여 각 카메라의 독립적인 흔들림은 보정한다.
서브-프레임 보정 모듈(730)은 특징점들의 서브-프레임을 그룹화하고, 각 서브-프레임에 대한 기하학적 변환을 추정하고, 각 특징점에 대한 가중된 기하학적 변환을 계산하고, 특징점들에 기하학적 변환을 적용할 수 있다.
워핑 모듈(740)은 시차 보정을 위하여 워핑을 수행한다.
워핑 모듈(740)은 각 클러스터로부터 떨어진(outlying) 궤적을 식별하거나 제거하고, 나머지 궤적들을 부드럽게 하고, 프레임들에 워핑을 적용하고, 프레임을 크롭핑할 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 복수의 카메라로 캡쳐한 파노라마 영상의 모션 보정 방법에 있어서,
    상기 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 추정을 수행하는 단계;
    추정된 상기 부드러운 모션 궤적의 각 프레임에서 모션을 보정하는 글로벌 모션 보정을 수행하는 단계;
    상기 모션을 보정한 결과에 대하여, 상기 복수의 카메라 각각의 움직임을 보정하는 로컬 모션 보정을 수행하는 단계; 및
    상기 로컬 모션 보정이 수행된 결과에 대하여 워핑(warping)을 수행하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 글로벌 모션 추정을 수행하는 단계는,
    상기 파노라마 영상으로부터 적어도 하나의 특징점(feature)을 추적하는 단계;
    추적한 상기 적어도 하나의 특징점 중 소정의 길이보다 긴 특징점을 선택하는 단계; 및
    상기 선택된 특징점을 부드럽게 하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서, 상기 특징점을 선택하는 단계는,
    KLT(Kanade-Lucas-Tomasi) 기법을 사용하여 특징점을 선택하는 것을 특징으로 하는 방법.
  4. 제 2 항에 있어서, 상기 글로벌 모션 보정을 수행하는 단계는,
    글로벌 기하학적 변환을 추정하는 단계;
    추정한 상기 글로벌 기하학적 변환을 상기 적어도 하나의 특징점에 적용하는 단계를 포함하는 방법.
  5. 제 4 항에 있어서, 상기 글로벌 기하학적 변환을 추정하는 단계는,
    상기 적어도 하나의 특징점에 대한 오리지널 특징점 궤적 및 부드러워진 특징점 궤적들에 RANSAC(RANdom SAmpling Consensus)를 적용하는 것을 특징으로 하는 방법.
  6. 제 2 항에 있어서, 상기 로컬 모션 보정을 수행하는 단계는,
    상기 적어도 하나의 특징점의 서브-프레임을 그룹화하는 단계;
    상기 그룹화된 서브-프레임 각각에 대한 기하학적 변환을 추정하는 단계;
    상기 적어도 하나의 특징점 각각에 대하여 가중된 기하학적 변환을 계산하는 단계; 및
    상기 적어도 하나의 특징점에 상기 추정한 기하학적 변환을 적용하는 단계를 포함하는 방법.
  7. 제 1 항에 있어서, 상기 워핑을 수행하는 단계는,
    적어도 하나의 특징점에 대한 궤적 중 각 클러스터로부터 떨어진 궤적을 식별하거나 제거하는 단계;
    상기 식별되거나 제거되지 않은 적어도 하나의 특징점의 궤적을 부드럽게 하는 단계;
    상기 각 프레임에 워핑을 적용하는 단계; 및
    상기 각 프레임을 크롭핑하는 단계를 포함하는 방법.
  8. 복수의 카메라로 캡쳐한 파노라마 영상의 모션 보정 장치에 있어서,
    상기 파노라마 영상으로부터 부드러운 모션 궤적을 추정하는 글로벌 모션 궤적 추정 모듈;
    추정된 상기 부드러운 모션 궤적의 각 프레임에서 모션을 보정하는 글로벌 모션 궤적 적용 모듈;
    상기 모션을 보정한 결과에 대하여, 상기 복수의 카메라 각각의 움직임을 보정하는 서브-프레임 보정 모듈; 및
    상기 상기 복수의 카메라 각각의 움직임을 보정한 결과에 대하여 워핑(warping)을 수행하는 워핑 모듈을 포함하는 장치.
KR20130087169A 2013-07-24 2013-07-24 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 KR20150011938A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130087169A KR20150011938A (ko) 2013-07-24 2013-07-24 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US14/044,405 US20150029306A1 (en) 2013-07-24 2013-10-02 Method and apparatus for stabilizing panorama video captured based on multi-camera platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130087169A KR20150011938A (ko) 2013-07-24 2013-07-24 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150011938A true KR20150011938A (ko) 2015-02-03

Family

ID=52390162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130087169A KR20150011938A (ko) 2013-07-24 2013-07-24 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치

Country Status (2)

Country Link
US (1) US20150029306A1 (ko)
KR (1) KR20150011938A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180043609A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2018164425A1 (ko) * 2017-03-06 2018-09-13 삼성전자 주식회사 영상을 처리하는 방법 및 장치
KR20200016702A (ko) * 2018-08-07 2020-02-17 네이버 주식회사 스핀 이미지 생성 방법 및 그 장치
WO2020213756A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 영상 보정 방법 및 장치
KR20220129852A (ko) * 2021-03-17 2022-09-26 한국과학기술연구원 영상 영역 밖의 정보를 생성하는 영상 처리 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US10306267B2 (en) 2015-08-31 2019-05-28 International Business Machines Corporation System, method, and recording medium for compressing aerial videos
RU171736U1 (ru) * 2017-03-30 2017-06-13 Федеральное государственное бюджетное образовательное учреждение высшего образования "Сибирский государственный университет геосистем и технологий" (СГУГиТ) Корпусной кумулятивный заряд
KR102500462B1 (ko) * 2017-05-17 2023-02-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
CN109040575B (zh) 2017-06-09 2020-12-08 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
EP3419278B1 (en) 2017-06-20 2019-09-25 Axis AB A multi-sensor video camera, and a method and processing pipeline for the same
US10587807B2 (en) 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
KR102383669B1 (ko) * 2018-10-23 2022-04-06 한국전자통신연구원 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
US20240144434A1 (en) * 2022-11-01 2024-05-02 Samsung Electronics Co., Ltd. Semi-global neural image alignment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6831643B2 (en) * 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US7616807B2 (en) * 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
EP2562578B1 (en) * 2007-03-16 2017-06-14 Kollmorgen Corporation System for panoramic image processing

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180043609A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
WO2018164425A1 (ko) * 2017-03-06 2018-09-13 삼성전자 주식회사 영상을 처리하는 방법 및 장치
US11107193B2 (en) 2017-03-06 2021-08-31 Samsung Electronics Co., Ltd. Method and apparatus for processing image
KR20200016702A (ko) * 2018-08-07 2020-02-17 네이버 주식회사 스핀 이미지 생성 방법 및 그 장치
WO2020213756A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 영상 보정 방법 및 장치
US11070730B2 (en) 2019-04-17 2021-07-20 Lg Electronics Inc. Video correction method and device to generate stabilized video
KR20220129852A (ko) * 2021-03-17 2022-09-26 한국과학기술연구원 영상 영역 밖의 정보를 생성하는 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
US20150029306A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR20150011938A (ko) 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US9639913B2 (en) Image processing device, image processing method, image processing program, and storage medium
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
US9191589B2 (en) Image processing device
JP5045674B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20060061661A1 (en) Real-time image stabilization
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
CN102318334B (zh) 图像处理装置、摄像装置以及图像处理方法
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
CN110415186B (zh) 一种图像去抖动的方法和设备
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
JP2012104018A (ja) 画像処理装置
KR102003460B1 (ko) 왜곡제거장치 및 방법
CN111955005B (zh) 处理360度图像内容的方法和系统
KR20210043979A (ko) 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2656310B1 (en) Method for producing a panoramic image and implementation apparatus
JP2016220083A (ja) ローリングシャッタ回転歪み補正と映像安定化処理方法
CN112465728B (zh) 视频图像处理方法、系统、电子设备及存储介质
US9883102B2 (en) Image processing apparatus, image processing method, program, and camera
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP5511403B2 (ja) 画像処理装置およびその制御方法
Chen et al. Hybrid image stabilization of robotic bionic eyes

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid