KR101851896B1 - 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치 - Google Patents

파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치 Download PDF

Info

Publication number
KR101851896B1
KR101851896B1 KR1020170057899A KR20170057899A KR101851896B1 KR 101851896 B1 KR101851896 B1 KR 101851896B1 KR 1020170057899 A KR1020170057899 A KR 1020170057899A KR 20170057899 A KR20170057899 A KR 20170057899A KR 101851896 B1 KR101851896 B1 KR 101851896B1
Authority
KR
South Korea
Prior art keywords
image
camera path
feature points
generating
smoothed
Prior art date
Application number
KR1020170057899A
Other languages
English (en)
Inventor
백준기
장진범
전세미
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170057899A priority Critical patent/KR101851896B1/ko
Application granted granted Critical
Publication of KR101851896B1 publication Critical patent/KR101851896B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/003—
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치가 개시된다. 파티클 기반 특징점을 이용한 비디오 안정화 방법은, 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하는 단계; 상기 복수의 프레임을 이용하여 평평한 영역 맵을 생성하는 단계; 상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고 복수의 파티클 키포인트를 생성하는 단계; 상기 생성된 파티클 키포인트와 상기 복수의 특징점을 이용하여 특징점을 재정의하는 단계; 상기 재정의된 특징점을 이용하여 상기 영상에 대한 카메라 패스를 추정하는 단계; 상기 추정된 카메라 패스를 스무딩하는 단계; 및 상기 스무딩된 카메라 패스를 적용하여 상기 영상을 워핑하여 안정화된 영상을 생성하는 단계를 포함한다.

Description

파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치{Method and apparatus for video stabilization using feature based particle keypoints}
본 발명은 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치에 관한 것이다.
최근 모바일 카메라, 디지털 카메라, 캠코더, 드론, 웨어러블 카메라 등의 조작이 쉽고 소형화 된 카메라의 보급으로 개인용 카메라에 대한 비 전문가의 수요가 높아지고 있다. 또한 클라우드 서비스의 발전으로 개인이 촬영한 일상 영상을 공유함으로써 높은 품질의 영상 획득에 대한 요구가 증가하고 있다. 하지만 비디오 촬영자의 조작 미숙, 손 떨림, 또는 외부 환경에 따른 의도하지 않은 움직임에 의해 흔들리는 비디오를 얻게 되는 문제가 있다. 이러한 문제점을 해결하고자 다양한 비디오 안정화 방법이 연구되고 있다. 일반적인 비디오 안정화 방법은 다음과 같이 i) 기계적 안정화 방법, ii) 광학적 안정화 방법, 그리고 iii) 이미지 기반 전자적 안정화 방법으로 분류된다.
기존의 비디오 안정화 알고리즘은 인접한 프레임 간 변환행렬을 추정하여 영상 전체에 대한 카메라 패스를 추정하고, 저역통과필터링(low-pass filtering)을 통해 카메라 패스를 스무딩하여 비디오 안정화를 수행하였다. 초기에는 인접한 프레임의 블록 매칭(block matching) 또는 옵티컬 플로우(optical flow) 기반의 움직임 추정을 이용하여 카메라 패스를 추정하고 흔들린 영상을 안정화하였다. 이는 간단한 움직임 추정을 이용해 카메라 패스를 추정할 수 있지만, 영상의 밝기, 노이즈, 그리고 가려짐에 민감하고 객체의 움직임이 클 경우 매칭 에러가 발생하는 문제가 있다.
이후 비디오 안정화의 성능을 향상시키기 위해 영상의 회전이나 스케일 변화에 강건한 특징점 매칭을 이용하여 카메라 패스를 추정하는 방법이 제안되었다. 인접한 프레임 간의 기하학적 변환 행렬을 호모그래피로 정의하여 글로벌 카메라 패스를 추정하고 가우시안 커널을 이용하여 스무딩 패스를 계산하였다. 이와 같은 방법들은 인접한 프레임 간의 선형적 변환에 대한 정보만 추정하기 때문에 계산속도가 빠른 장점이 있다. 하지만 2차원 비디오 안정화 방법은 영상의 거리 정보를 포함하고 있지 않기 때문에 영상에 크게 움직이는 객체가 존재하는 경우 결과 영상에 왜곡이 발생하는 단점이 있다. 또한 영상 전체에 대해 하나의 카메라 패스를 추정하기 때문에 기존의 특징점 추출 알고리즘을 이용한 안정화 방법들은 무늬(texture)가 없는 영역은 모션 정보가 반영되지 못하여 최적의 카메라 패스를 추정할 수 없는 문제점이 있다.
최근에는 비디오 안정화의 성능을 향상시키기 위해 3차원 공간을 재구성함으로써 3차원 상의 카메라 모션을 추정하는 방법이 제안되었다. 3차원 비디오 안정화는 장면의 3차원 정보를 이용함으로써 왜곡이 감소한 높은 품질의 결과 영상을 획득할 수 있으나, 2차원 안정화 방법보다 영상 변화에 민감하고 계산량이 많은 단점이 있다.
따라서 비교적 간단하며 영상 내 변화에 강건한 2차원 비디오 안정화 알고리즘의 성능을 향상 시키기 위해, 영상 내에서 지역적 카메라 패스를 추정하는 방법이 제안되었다. 하지만 일정한 블록으로 영역을 나누어 카메라 패스를 추정하기 때문에 객체의 움직임이 큰 경우 불연속적인 영역에서 왜곡이 발생하며, 텍스처가 없는 평평한 영역을 포함한 블록에서는 추정 오류가 발생하는 문제점이 있다.
기존의 특징점 기반 비디오 안정화 방법은 대체적으로 기존의 특징점 추출 방법을 사용하였기 때문에 바닥 또는 하늘 면과 같은 평평한 영역에서의 특징점 미 검출로 인한 카메라 패스 오 추정으로 저품질의 비디오를 얻게 된다. 또한 영상 변화에 강건하며 간단하게 비디오 안정화를 수행할 수 있는 2차원 안정화 방법은 객체의 거리 정보와 같은 3차원 정보를 포함하지 못하기 때문에 배경과 객체의 경계선에서의 불연속적인 움직임으로 인하여 정확한 카메라 패스 추정에 오류가 발생한다.
본 발명은 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 파티클 키포인트(particle keypoints)를 이용하여 영상의 특징을 재 정의함으로써 분할된 영역에 따라 적응적 카메라 패스 추정을 통해 비디오 흔들림을 후처리 과정을 통해 효과적으로 제거할 수 있는 파티클 키포인트를 이용한 비디오 안정화 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 새로운 특징점 추출 및 카메라 패스 추정을 통해 비디오 안정화의 성능을 향상시킬 수 있는 파티클 키포인트를 이용한 비디오 안정화 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 파티클 기반 특징점을 이용한 비디오 안정화 방법이 제공된다.
본 발명의 일 실시예에 따르면, 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하는 단계; 상기 복수의 프레임을 이용하여 평평한 영역 맵을 생성하는 단계; 상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고 복수의 파티클 키포인트를 생성하는 단계; 상기 생성된 파티클 키포인트와 상기 복수의 특징점을 이용하여 특징점을 재정의하는 단계; 상기 재정의된 특징점을 이용하여 상기 영상에 대한 카메라 패스를 추정하는 단계; 상기 추정된 카메라 패스를 스무딩하는 단계; 및 상기 스무딩된 카메라 패스를 적용하여 상기 영상을 워핑하여 안정화된 영상을 생성하는 단계를 포함하는 파티클 기반 특징점을 이용한 비디오 안정화 방법이 제공될 수 있다.
상기 특징점을 재정의하는 단계는, 상기 생성된 파티클 키포인트와 상기 복수의 특징점 사이의 거리를 이용하여 매칭을 위한 기술자를 각각 생성하는 단계; 및
상기 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭시켜 특징점을 재정의하는 단계를 포함할 수 있다.
상기 카메라 패스를 추정하는 단계는, 상기 복수의 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱을 통해 상기 카메라 패스를 추정할 수 있다.
상기 안정화된 영상을 생성하는 단계는, 상기 영상을 M x N 개수의 매쉬 그리드로 나누는 단계; 및 상기 각 그리드에 해당하는 영역의 호모그래피를 이용하여 영상을 워핑하는 단계를 포함할 수 있다.
상기 추정된 카메라 패스를 스무딩하는 단계는, 하기 수학식에 따른 에너지 함수를 이용하여 결정되되,
Figure 112017044181022-pat00001
여기서,
Figure 112017044181022-pat00002
는 원 카메라 패스를 나타내고,
Figure 112017044181022-pat00003
는 t번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
Figure 112017044181022-pat00004
는 n번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
Figure 112017044181022-pat00005
는 t번째 프레임의 j번째 영역에서 스무딩된 카메라 패스를 나타내고,
Figure 112017044181022-pat00006
과
Figure 112017044181022-pat00007
는 각 항의 균형을 맞춰주는 가중치 상수를 나타낸다.
상기 평평한 영역 맵을 생성하는 단계는, 상기 복수의 프레임에 대해 지정된 크기의 가우시안 필터를 적용시켜 스무딩된 영상을 획득하는 단계; 및 상기 입력 영상과 상기 스무딩된 영상의 차를 이용하여 상기 평평한 영역 맵을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 파티클 기반 특징점을 이용한 비디오 안정화를 위한 장치가 제공된다.
본 발명의 일 실시예에 따르면, 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하는 분할부; 상기 복수의 프레임을 이용하여 평평한 영역 맵을 생성하고, 상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고, 상기 복수의 파티클 키포인트를 생성한 후 상기 생성된 파티클 키포인트와 상기 복수의 특징점을 이용하여 특징점을 재정의하는 특징점 생성부; 상기 재정의된 특징점을 이용하여 상기 영상에 대한 카메라 패스를 추정하는 카메라 패스 추정부; 상기 추정된 카메라 패스를 스무딩하는 카메라 패스 스무딩부; 및 상기 스무딩된 카메라 패스를 적용하여 상기 영상을 워핑하여 안정화된 영상을 생성하는 렌더링부를 포함하는 이미지 처리 장치가 제공될 수 있다.
상기 특징점 생성부는, 상기 생성된 파티클 키포인트와 상기 복수의 특징점 사이의 거리를 이용하여 매칭을 위한 기술자를 각각 생성하며, 상기 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭시켜 특징점을 재정의할 수 있다.
상기 카메라 패스 추정부는, 상기 복수의 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱을 통해 상기 카메라 패스를 추정할 수 있다.
본 발명의 일 실시예에 따른 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치를 제공함으로써, 파티클 키포인트(particle keypoints)를 이용하여 영상의 특징을 재 정의함으로써 분할된 영역에 따라 적응적 카메라 패스 추정을 통해 비디오 흔들림을 후처리 과정을 통해 효과적으로 제거할 수 있다.
이로 인해, 본 발명은 영상의 평평한 영역에서의 특징점 오검출로 인해 호모그래피 추정 성능이 저하되는 기존의 안정화 기법의 문제점을 해결함으로써, 2차원 안정화 기법의 한계를 보완하여 사용자에게 보다 자연스러운 안정화 영상을 제공할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 파티클 기반 특징점을 이용한 비디오 안정화 방법을 나타낸 순서도.
도 2에는 본 발명의 일 실시예에 따른 영상 분할 결과를 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 현재 프레임에 대응하는 평평한 영역에 대한 맵에 대한 예시 도면.
도 4는 본 발명의 일 실시예에 따라 추정된 카메라 패스를 나타낸 결과를 도시한 도면.
도 5는 종래와 본 발명의 일 실시예에 따른 특징점 추출 방법을 이용하여 인접 프레임간의 매칭점을 추정한 결과를 나타낸 도면.
도 6은 종래와 본 발명의 일 실시예에 따른 비디오 안정화 결과를 비교한 영상을 나타낸 도면.
도 7은 종래와 본 발명의 일 실시예에 따른 비디오 안정화 결과를 나타낸 차영상을 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 파티클 기반 특징점을 이용한 비디오 안정화 방법을 나타낸 순서도이고, 도 2에는 본 발명의 일 실시예에 따른 영상 분할 결과를 나타낸 도면이고, 도 3은 본 발명의 일 실시예에 따른 현재 프레임에 대응하는 평평한 영역에 대한 맵에 대한 예시 도면이며, 도 4는 본 발명의 일 실시예에 따라 추정된 카메라 패스를 나타낸 결과를 도시한 도면이다.
단계 110에서 이미지 처리 장치(100)는 입력 영상에서 인접한 프레임간의 움직임을 추정하여 영상을 분할한다.
예를 들어, 이미지 처리 장치(100)는 인접한 프레임 사이의 움직임을 추정한다. 이하에서, 현재 프레임을
Figure 112017044181022-pat00008
로 표기하기로 하며, 인접한 이전 프레임을
Figure 112017044181022-pat00009
라 표기하기로 한다. 이미지 처리 장치(100)는 밝기 항상성과 기울기 항상성을 가정하여 데이터항을 정의하고, 불연속적인 부분을 보완하는 스무딩항을 이용한 에너지 함수를 정의함으로써 강건한 옵티컬 플로우를 추정할 수 있다.
본 발명의 일 실시예에 따른 이미지 처리 장치(100)는 영상 분할을 위해 입력 비디오 프레임에 대해 작고 균일한 영역에 대한 슈퍼 픽셀을 정의한다. 작은 단일 화소부터 시작해서 경계를 가로지르는 움직임 차의 최소값이 영역 안의 움직임 차의 최대값보다 클 때 인접한 영역을 합하여 슈퍼 픽셀을 생성한다.
이어, 이미지 처리 장치(100)는 밝기 또는 색상과 같은 영역의 특징을 이용하여 영역의 라벨링을 수행한다.
즉 이미지 처리 장치(100)는 현재 프레임과 인접한 이전 프레임 사이의 옵티컬 플로우를 추정하고, 이를 기반으로 슈퍼 픽셀을 생성하고 이를 이용하여 분할된 영상을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 영상 분할은 신뢰할 수 있는 확률값을 기반으로 추정되었기 때문에 영역마다 가장 적합한 클래스로 분류될 수 있다.
도 2에는 본 발명의 일 실시예에 따른 영상 분할 결과가 도시되어 있다. 도 2의 (a)는 원본 영상을 나타내고, 도 2의 (b)는 추정된 옵티컬 플로우 결과를 나타내고, 도 2의 (c)는 옵티컬 플로우에 기반하여 분할한 영상을 나타낸다.
단계 115에서 이미지 처리 장치(100)는 평평한 영역 맵을 생성한다.
예를 들어, 이미지 처리 장치(100)는 현재 프레임과 이전 프레임에 대해 n x m (여기서, n, m은 자연수임) 크기의 가우시안 필터를 적용시켜 스무딩된 영상을 획득한다. 여기서, n과 m은 동일할 수도 있다.
이어, 이미지 처리 장치(100)는 현재 프레임(즉, 원본 영상)과 스무딩된 영상의 차를 이용하여 에지 영역과 평평한 영역으로 나눈다. 그리고, 이미지 처리 장치(100)는 확장 연산을 통해 에지 영역을 확장시킴으로써 최종적인 평평한 영역에 대한 맵을 생성한다. 이와 같이 생성된 평평한 영역에 대한 맵(평평한 영역 맵)은 강건한 특징점 재 정의를 위해서 사용된다.
도 3에는 현재 프레임에 대응하는 평평한 영역에 대한 맵이 예시되어 있다.
단계 120에서 이미지 처리 장치(100)는 평평한 영역 맵을 이용하여 특징점을 추출한다.
예를 들어, 이미지 처리 장치(100)는 SURF(Speed-Up Robust Features)를 이용하여 현재 프레임과 인접한 이전 프레임 사이의 특징점을 추출한다. 이때, 추출된 특징점은 초기의 랜덤한 파티클 특징점의 분포를 결정하기 위해 이용된다.
SURF는 2차 가우시안 미분 형태인 헤시안 행렬(hessian matrix) 기반으로 영상의 특징점을 검출한다. 근사화된 헤시안 행렬(
Figure 112017044181022-pat00010
)의 행렬식을 이용하여 특징점의 후보군이 결정된다. 이를 수학식으로 나타내면 수학식 1과 같다.
Figure 112017044181022-pat00011
여기서,
Figure 112017044181022-pat00012
,
Figure 112017044181022-pat00013
및
Figure 112017044181022-pat00014
는 각각 근사화된 x축, y축으로의 2차 미분을 나타낸다. SURF는 근사화된 필터와 적분 영상을 이용함으로써, 연산을 단순화시켜 속도를 향상시킬 수 있다. 이어, SURF는 하르 웨이블릿 반응(haar wavelet response)을 이용하여 검출된 특징점의 방향 성분에 대해 64차원 벡터로 기술할 수 있다.
따라서, 본 발명의 일 실시예에 따른 이미지 처리 장치(100)는 각 프레임에 적합하며 신뢰성 있는 파티클 키포인트의 분포를 결정하기 위해, SURF를 사용하여 현재 프레임(
Figure 112017044181022-pat00015
)과 인접한 이전 프레임(
Figure 112017044181022-pat00016
) 사이의 특징점을 추출할 수 있다.
즉, 이미지 처리 장치(100)는 각 영상의 M(자연수)개의 특징점을 추출할 수 있다.
추출된 M개의 특징점을 수학식으로 나타내면, 수학식 2와 같다.
Figure 112017044181022-pat00017
단계 125에서 이미지 처리 장치(100)는 평평한 영역 맵을 이용하여 평평한 배경 영역에서의 파티클 키포인트를 생성한다.
예를 들어, 이미지 처리 장치(100)는 평평한 영역 맵을 이용하여 현재 프레임(
Figure 112017044181022-pat00018
)과 인접한 이전 프레임(
Figure 112017044181022-pat00019
)의 평평한 영역 내에서
Figure 112017044181022-pat00020
의 가우시안 분포를 갖는 N개의 랜덤한 파티클 키포인트(
Figure 112017044181022-pat00021
)를 생성한다.
여기서,
Figure 112017044181022-pat00022
는 평균(
Figure 112017044181022-pat00023
)과 표준편차(
Figure 112017044181022-pat00024
)를 갖는 가우시안 분포를 나타내며, 이를 수학식으로 나타내면 수학식 3과 같다.
Figure 112017044181022-pat00025
단계 130에서 이미지 처리 장치(100)는 생성된 파티클 키포인트와 특징점을 이용하여 특징점을 재정의하고, 재정의된 특징점을 이용하여 카메라 패스를 추정한다.
즉, 이미지 처리 장치(100)는 생성된 파티클 키포인트와 SURF 기반의 특징점 사이의 거리를 이용하여 매칭을 위한 특징점간의 기술자를 재정의할 수 있다. 이를 수학식으로 나타내면 수학식 4와 같다.
Figure 112017044181022-pat00026
여기서,
Figure 112017044181022-pat00027
는 t번째 프레임에서 파티클 키포인트를 이용하여 생성된 기술자를 나타낸다.
이와 같이, 인접한 프레임에서 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭함으로써 평평한 영역에서도 강건한 특징점을 재정의할 수 있다.
이와 같이 재정의된 특징점을 이용하여 이미지 처리 장치(100)는 RANSAC 알고리즘을 이용하여 특징점 사이의 반복적인 랜덤 샘플링을 통해 오 추정된 특징점을 제거할 수 있다.
이미지 처리 장치(100)는 재정의된 특징점을 분할된 영역에 맞게 라벨링하고, 재정의된 특징점을 이용하여 현재 프레임과 인접한 이전 프레임간의 i번째 영역의 호모그래피(
Figure 112017044181022-pat00028
)를 추정한다.
본 발명의 일 실시예에서는 비디오의 카메라 패스()를 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱으로 나타낼 수 있다. 이를 수학식으로 나타내면, 수학식 5와 같다.
Figure 112017044181022-pat00030
여기서,
Figure 112017044181022-pat00031
이다.
본 발명의 일 실시예에 따르면, 현재 프레임과 인접한 이전 프레임 사이의 독립적인 움직임만을 스무딩하는 것이 아니라, 영상 전체에 대해 불연속적으로 흔들리는 카메라 패스를 안정화해야 하기 때문에 호모그래피의 누적 곱을 통해 영상 전체에 대한 카메라 패스를 추정한다.
또한, 카메라 패스를 스무딩하는 과정을 단순화하기 위해 특정 개수의 프레임을 이용할 수도 있다.
따라서, 본 발명의 일 실시예에 따른 이미지 처리 장치(100)는 카메라 패스를 스무딩하는 과정을 단순화하고 호모그래피 누적 곱에 대한 에러를 보상하기 위해 기준 프레임(예를 들어, 100 프레임)마다 호모그래피를 초기화하여 영상을 안정화할 수도 있다.
단계 135에서 이미지 처리 장치(100)는 추정된 카메라 패스를 스무딩한다.
이때, 이미지 처리 장치(100)는 에너지 함수를 최적화하는 방법에 의해 추정된 카메라 패스를 스무딩할 수 있다.
종래의 비디오 안정화 기법의 경우 칼만 필터와 가우시안 커널기반의 이동 평균을 이용하여 카메라 패스를 스무딩하였다. 칼만 필터는 긴 기간의 움직임을 보존하면서 짧은 기간의 흔들림을 제거할 수 있다. 이동 평균은 시간적으로 인접 프레임간의 패스의 평균을 구함으로써 추정된 카메라 패스를 스무딩할 수 있다. 또한, 가우시안 커널을 글로벌 변환에 적용함으로써 움직임을 보정하여 스무딩 패스를 추정할 수 있다.
그러나 종래의 방법은 스무딩 할 때 시간 지연 현상이 발생하고 샘플 간의 급격한 움직임을 따라가지 못한다. 이에 따라 스무딩 패스가 원 패스와 비슷하지 않기 때문에 렌더링 결과에서 크롭(cropped)된 영역과 기하학적 왜곡이 증가하여 낮은 품질의 결과 영상을 얻는 문제점이 있다.
또한, 비디오 안정화 결과는 하나의 장면에 대해 얻게 되므로 분할된 영역들이 서로 독립적이지 않도록 카메라 패스를 스무딩하는 것이 필요하다.
따라서, 본 발명의 일 실시예에서는 영상을 블록으로 나누어 처리할 때 블록간의 상관관계를 유지시켜 영상의 형태를 보존해주는 에너지 함수를 생성하고, 해당 에너지 함수를 최적화하여 스무딩된 카메라 패스를 결정할 수 있다.
즉, 분할된 영역에 따라 스무딩된 카메라 패스(
Figure 112017044181022-pat00032
)는 수학식 6의 에너지 함수의 최적화에 의해 결정될 수 있다.
Figure 112017044181022-pat00033
여기서,
Figure 112017044181022-pat00034
는 원 카메라 패스를 나타내고,
Figure 112017044181022-pat00035
는 t번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
Figure 112017044181022-pat00036
는 n번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
Figure 112017044181022-pat00037
는 t번째 프레임의 j번째 영역에서 스무딩된 카메라 패스를 나타낸다. 또한,
Figure 112017044181022-pat00038
과
Figure 112017044181022-pat00039
는 각 항의 균형을 맞춰주는 가중치 상수이다.
예를 들어,
Figure 112017044181022-pat00040
,
Figure 112017044181022-pat00041
과 같이 실험적으로 결정될 수 있다. 또한, w는 시간적으로 인접한 카메라 패스에 대한 가중치를 나타내며, w는 가우시안 함수를 이용하여 시간적으로 인접한 카메라패스일수록 가중치가 높게 설정될 수 있다.
수학식 6의 각각의 항이 의미하는 바를 설명하면 다음과 같다.
첫 번째 항은 스무딩된 카메라 패스가 원 카메라 패스를 유지하도록 하는 역할을 하며, 두번째 항은 카메라 패스를 시간적으로 스무딩하는 역할을 한다. 또한, 세 번째 항은 분할된 영역의 카메라 패스들이 상이하지 않도록 보완하여 공간적으로 스무딩하는 역할을 한다.
수학식 6과 같은 에너지 함수는 볼록한 함수이므로 선형 풀이 방법을 이용하여 함수를 풀 수 있다.
단계 140에서 이미지 처리 장치(100)는 스무딩된 카메라 패스를 적용하여 영상을 워핑함으로써 안정화된 영상을 생성한다.
움직임에 기반하여 분할된 영역에 따른 스무딩된 카메라 패스를 적용하기 위해 M x N 개의 작은 매쉬 그리드로 영상을 나눌 수 있다. 이 때, t 번째 프레임에서 나눠진 영상의 집합을
Figure 112017044181022-pat00042
로 정의하기로 한다.
본 발명의 일 실시예에 따른 이미지 처리 장치(100)는 복잡한 렌더링 과정을 거치지 않고 분할된 각 영역의 모양을 보전하기 위해 작은 매쉬 그리드의 4개의 꼭지점을 이용할 수 있다.
즉, 이미지 처리 장치(100)는 각 그리드에 해당하는 영역의 호모그래피를 이용하여 영상을 워핑함으로써 안정화된 영상의 매쉬 그리드 집합(
Figure 112017044181022-pat00043
)을 추정할 수 있으며, 이는 수학식 7과 같이 정의할 수 있다.
Figure 112017044181022-pat00044
여기서,
Figure 112017044181022-pat00045
일 때
Figure 112017044181022-pat00046
는 t번째 프레임의 i번째 그리드의 4개의 꼭지점을 나타낸다. 또한,
Figure 112017044181022-pat00047
일 때
Figure 112017044181022-pat00048
는 t번째 프레임의 j번째 영역의 스무딩된 호모그래피를 의미한다.
만약 하나의 그리드에서 여러 평면이 만나게 된다면, 이미지 처리 장치(100)는 여러 평면 중 더 많은 영역을 차지하는 평면을 현재 그리드에 해당되는 평면으로 지정할 수 있다.
결과적으로 이미지 처리 장치(100)는 움직임에 따른 영역 분할에 기반하여 기하학적 왜곡이 없는 안정화된 비디오 프레임(
Figure 112017044181022-pat00049
)를 생성할 수 있다.
도 4에는 본 발명의 일 실시예에 따라 추정된 카메라 패스를 나타낸 결과이다. 도 4의 (a) 및 (b)에서 보여지는 바와 같이 원 카메라 패스와 비슷하며 흔들리는 모션이 감소한 스무딩된 카메라 패스가 생성된 것을 알 수 있다.
도 5는 종래와 본 발명의 일 실시예에 따른 특징점 추출 방법을 이용하여 인접 프레임간의 매칭점을 추정한 결과를 나타낸 도면이다.
이하에서는 각 알고리즘에 대한 실험 결과는 RANSAC 알고리즘을 이용하여 아웃라이어를 제거하여 나타냈다. 도 5의 (a)는 종래의 SIFT를 이용한 결과를 나타내고, (b)는 종래의 SURF를 이용한 결과를 나타내며, (c)는 종래의 Haris와 BRIEF를 이용한 결과를 나타내고, (d)는 종래의 Haris와 FREAK를 이용한 결과를 나타내며, (e)는 종래의 FAST와 BRIEF를 이용한 결과를 나타내고, (f)는 종래의 FAST와 FREAK를 이용한 결과를 나타내며, (g)는 종래의 BRISK를 이용한 결과를 나타내며, (h)는 본 발명의 일 실시예에 따른 파티클 기반 특징점 추출 방법을 이용한 결과를 나타낸다.
도 5의 (a) 내지 (g)에서 보이는 기존의 특징점 추출 방법과 달리 도 4의 (h)에서 보여지는 바와 같이 영상 전체에 대해 특징점(매칭점)이 추출된 것을 확인할 수 있다.
도 6은 종래와 본 발명의 일 실시예에 따른 비디오 안정화 결과를 비교한 영상이고, 도 7은 종래와 본 발명의 일 실시예에 따른 비디오 안정화 결과를 나타낸 차영상이다.
도 6의 (a)는 65, 66, 67번째 흔들리는 입력 비디오 영상을 나타내고, (b)는 종래의 Matsushita 방법을 이용한 안정화 영상을 나타내고, (c)는 종래의 Liu 방법을 이용한 안정화 영상을 나타내며, (d)는 본 발명의 일 실시예에 따른 안정화 영상을 나타낸다.
도 6의 (b)에서 보여지는 바와 같이 원본 입력 영상에 대해 기존의 특징점 추출 알고리즘 기반의 글로벌 카메라 패스를 이용하여 안정화하였을 때 잘못 추정된 호모그래피로 인하여 가장자리에 기하학적 왜곡이 발생하는 것을 확인할 수 있다.
영상의 중심에 위치해 있는 객체를 보면, 글로벌 카페라 패스를 이용하여 안정화한 결과상에서 객체가 휘어짐으로써 기하학적 왜곡을 쉽게 확인할 수 있다.
또한, 도 6의 (c)에서 번들 패스 알고리즘을 이용하여 지역적 카메라 패스를 추정함으로써 안정화한 결과를 보면, 무늬가 없는 블록에서의 호모그래피 추정의 오류로 인하여 비디오 안정화를 위한 워핑 시 오류가 발생한 것을 알 수 있다.
반면, 본 발명의 일 실시예에 따른 방법은 기하학적 왜곡이 적으며 안정화 성능이 종래에 비해 향상된 것을 알 수 있다.
도 7은 종래와 본 발명의 비디오 안정화 결과를 보다 정확하게 비교하기 위해 도 6의 실험 영상에서 인접한 프레임간의 차영상을 나타낸다.
도 7의 (a) 내지 (d)는 각각 원본 영상과 안정화된 영상의 세가지 프레임 쌍{{64,65}, (65, 66), (66, 67)}에 대한 차분영상을 나타낸다.
도 7에서 보여지는 바와 같이 본 발명의 일 실시예에 따른 방법이 파티클 기반 특징점을 사용함으로써 평평한 부분의 움직임까지 고려하여 바닥부분을 포함하여 영상의 전체적인 흔들림을 효과적으로 제거한 것을 알 수 있다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치(100)는 분할부(810), 특징점 생성부(815), 카메라 패스 추정부(820), 카메라 패스 스무딩부(825), 렌더링부(830), 메모리(835) 및 프로세서(840)를 포함하여 구성된다.
분할부(810)는 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하기 위한 수단이다.
특징점 생성부(815)는 복수의 프레임을 이용하여 평평한 영역 맵을 생성하고, 상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고, 복수의 파티클 키포인트를 생성한 후 생성된 파티클 키포인트와 복수의 특징점을 이용하여 특징점을 재정의하기 위한 수단이다.
특징점 생성부(815)는 생성된 파티클 키포인트와 복수의 특징점 사이의 거리를 이용하여 매칭을 위한 기술자를 각각 생성하며, 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭시켜 특징점을 재정의할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
카메라 패스 추정부(820)는 재정의된 특징점을 이용하여 입력 영상 전체에 대한 카메라 패스를 추정하기 위한 수단이다.
카메라 패스 추정부(820)는 복수의 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱을 통해 카메라 패스를 추정할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
카메라 패스 스무딩부(825)는 추정된 카메라 패스를 스무딩하기 위한 수단이다.
렌더링부(830)는 스무딩된 카메라 패스를 적용하여 입력 영상을 워핑하여 안정화된 영상을 생성하기 위한 수단이다.
메모리(835)는 파티클 기반 특징점을 이용한 비디오 안정화 방법을 수행하기 위해 필요한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(840)는 본 발명의 일 실시예에 따른 이미지 처리 장치(100)의 내부 구성 요소들(예를 들어, 분할부(810), 특징점 생성부(815), 카메라 패스 추정부(820), 카메라 패스 스무딩부(825), 렌더링부(830), 메모리(835) 등)을 제어하기 위한 수단이다.
상술한 본 발명에 따른 파티클 기반 특징점을 이용한 비디오 안정화 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 이미지 처리 장치
810: 분할부
815: 특징점 생성부
820: 카메라 패스 추정부
825: 카메라 패스 스무딩부
830: 렌더링부
835: 메모리
840: 프로세서

Claims (10)

  1. 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하는 단계;
    상기 복수의 프레임을 이용하여 평평한 영역 맵을 생성하는 단계;
    상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고 복수의 파티클 키포인트를 생성하는 단계;
    상기 생성된 파티클 키포인트와 상기 복수의 특징점을 이용하여 특징점을 재정의하는 단계;
    상기 재정의된 특징점을 이용하여 상기 영상에 대한 카메라 패스를 추정하는 단계;
    상기 추정된 카메라 패스를 스무딩하는 단계; 및
    상기 스무딩된 카메라 패스를 적용하여 상기 영상을 워핑하여 안정화된 영상을 생성하는 단계를 포함하되,
    상기 특징점을 재정의하는 단계는,
    상기 생성된 파티클 키포인트와 상기 복수의 특징점 사이의 거리를 이용하여 매칭을 위한 기술자를 각각 생성하는 단계; 및
    상기 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭시켜 특징점을 재정의하는 단계를 포함하는 것을 특징으로 하는 파티클 기반 특징점을 이용한 비디오 안정화 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 카메라 패스를 추정하는 단계는,
    상기 복수의 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱을 통해 상기 카메라 패스를 추정하는 것을 특징으로 하는 파티클 기반 특징점을 이용한 비디오 안정화 방법.
  4. 제3 항에 있어서,
    상기 안정화된 영상을 생성하는 단계는,
    상기 영상을 M x N 개수의 매쉬 그리드로 나누는 단계; 및
    상기 각 그리드에 해당하는 영역의 호모그래피를 이용하여 영상을 워핑하는 단계를 포함하는 것을 특징으로 하는 파티클 기반 특징점을 이용한 비디오 안정화 방법.
  5. 제1 항에 있어서,
    상기 추정된 카메라 패스를 스무딩하는 단계는,
    하기 수학식에 따른 에너지 함수를 이용하여 결정되는 것을 특징으로 하는 파티클 기반 특징점을 이용한 비디오 안정화 방법.
    Figure 112017044181022-pat00050

    여기서,
    Figure 112017044181022-pat00051
    는 원 카메라 패스를 나타내고,
    Figure 112017044181022-pat00052
    는 t번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
    Figure 112017044181022-pat00053
    는 n번째 프레임의 i번째 영역에서 스무딩된 카메라 패스를 나타내며,
    Figure 112017044181022-pat00054
    는 t번째 프레임의 j번째 영역에서 스무딩된 카메라 패스를 나타내고,
    Figure 112017044181022-pat00055
    과
    Figure 112017044181022-pat00056
    는 각 항의 균형을 맞춰주는 가중치 상수를 나타냄.
  6. 제1 항에 있어서,
    상기 평평한 영역 맵을 생성하는 단계는,
    상기 복수의 프레임에 대해 지정된 크기의 가우시안 필터를 적용시켜 스무딩된 영상을 획득하는 단계; 및
    상기 입력 영상과 상기 스무딩된 영상의 차를 이용하여 상기 평평한 영역 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 파티클 기반 특징점을 이용한 비디오 안정화 방법.
  7. 제1 항, 제3항 내지 제6 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  8. 인접한 복수의 프레임간의 움직임을 추정하여 입력 영상을 각 영역으로 분할하는 분할부;
    상기 복수의 프레임을 이용하여 평평한 영역 맵을 생성하고, 상기 평평한 영역 맵을 이용하여 복수의 특징점을 추출하고, 상기 복수의 파티클 키포인트를 생성한 후 상기 생성된 파티클 키포인트와 상기 복수의 특징점을 이용하여 특징점을 재정의하는 특징점 생성부;
    상기 재정의된 특징점을 이용하여 상기 영상에 대한 카메라 패스를 추정하는 카메라 패스 추정부;
    상기 추정된 카메라 패스를 스무딩하는 카메라 패스 스무딩부; 및
    상기 스무딩된 카메라 패스를 적용하여 상기 영상을 워핑하여 안정화된 영상을 생성하는 렌더링부를 포함하되,
    상기 특징점 생성부는,
    상기 생성된 파티클 키포인트와 상기 복수의 특징점 사이의 거리를 이용하여 매칭을 위한 기술자를 각각 생성하며, 상기 각각 생성된 기술자를 이용하여 파티클 키포인트를 매칭시켜 특징점을 재정의하는 것을 특징으로 하는 이미지 처리 장치.

  9. 삭제
  10. 제8 항에 있어서,
    상기 카메라 패스 추정부는,
    상기 복수의 프레임 사이의 관계를 나타내는 호모그래피의 누적 곱을 통해 상기 카메라 패스를 추정하는 것을 특징으로 하는 이미지 처리 장치.

KR1020170057899A 2017-05-10 2017-05-10 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치 KR101851896B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170057899A KR101851896B1 (ko) 2017-05-10 2017-05-10 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170057899A KR101851896B1 (ko) 2017-05-10 2017-05-10 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101851896B1 true KR101851896B1 (ko) 2018-06-08

Family

ID=62600288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170057899A KR101851896B1 (ko) 2017-05-10 2017-05-10 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101851896B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102173244B1 (ko) * 2019-12-10 2020-11-03 (주)인펙비전 Surf 특징점 추적 기반 영상 안정화 시스템
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법
CN113744277A (zh) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 一种基于局部路径优化的视频去抖方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293683A (ja) * 1999-04-09 2000-10-20 Canon Inc 画像処理装置および画像処理方法
JP2002312783A (ja) * 2001-04-10 2002-10-25 Sony Corp 画像処理装置および方法、並びにプログラム
KR20160034971A (ko) * 2013-07-23 2016-03-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 안정화를 위한 적응적 경로 평활화

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293683A (ja) * 1999-04-09 2000-10-20 Canon Inc 画像処理装置および画像処理方法
JP2002312783A (ja) * 2001-04-10 2002-10-25 Sony Corp 画像処理装置および方法、並びにプログラム
KR20160034971A (ko) * 2013-07-23 2016-03-30 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 안정화를 위한 적응적 경로 평활화

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102173244B1 (ko) * 2019-12-10 2020-11-03 (주)인펙비전 Surf 특징점 추적 기반 영상 안정화 시스템
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법
CN113744277A (zh) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 一种基于局部路径优化的视频去抖方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Joint filtering of intensity images and neuromorphic events for high-resolution noise-robust imaging
US7447337B2 (en) Video content understanding through real time video motion analysis
US9542735B2 (en) Method and device to compose an image by eliminating one or more moving objects
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
US8385732B2 (en) Image stabilization
US10853928B2 (en) Image fusion processing module
US20200302582A1 (en) Image fusion architecture
EP3314883B1 (en) Video frame processing
KR101851896B1 (ko) 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치
WO2016120132A1 (en) Method and apparatus for generating an initial superpixel label map for an image
CN107077742B (zh) 一种图像处理装置和方法
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
US11153479B2 (en) Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium
Hu et al. Feature-based real-time video stabilization for vehicle video recorder system
Favorskaya et al. Digital video stabilization in static and dynamic scenes
US20230016350A1 (en) Configurable keypoint descriptor generation
Sánchez et al. Motion smoothing strategies for 2D video stabilization
Chang et al. Superpixel-based large displacement optical flow
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
US11968471B2 (en) Sliding window for image keypoint detection and descriptor generation
Chen et al. Improving Graph Cuts algorithm to transform sequence of stereo image to depth map
US11494880B2 (en) Image pyramid generation for image keypoint detection and descriptor generation
Ke et al. Efficient Real-Time Video Stabilization with a Novel Least Squares Formulation
JP7147854B2 (ja) 物体識別装置、物体識別方法およびコンピュータプログラム
JP2007066041A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant