KR102173244B1 - Surf 특징점 추적 기반 영상 안정화 시스템 - Google Patents

Surf 특징점 추적 기반 영상 안정화 시스템 Download PDF

Info

Publication number
KR102173244B1
KR102173244B1 KR1020190163557A KR20190163557A KR102173244B1 KR 102173244 B1 KR102173244 B1 KR 102173244B1 KR 1020190163557 A KR1020190163557 A KR 1020190163557A KR 20190163557 A KR20190163557 A KR 20190163557A KR 102173244 B1 KR102173244 B1 KR 102173244B1
Authority
KR
South Korea
Prior art keywords
feature point
frame
unit
detected
surf
Prior art date
Application number
KR1020190163557A
Other languages
English (en)
Inventor
강현인
Original Assignee
(주)인펙비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인펙비전 filed Critical (주)인펙비전
Priority to KR1020190163557A priority Critical patent/KR102173244B1/ko
Application granted granted Critical
Publication of KR102173244B1 publication Critical patent/KR102173244B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 SURF(Speed-Up Robust Features) 알고리즘 및 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 입력된 두 프레임(F1), (F2)의 특징점들을 추출함과 동시에 정합하도록 구성됨으로써 회전 및 병진 성분을 모두 보상할 수 있을 뿐만 아니라 특징점 정합의 정확성 및 신뢰도를 높일 수 있고, 미스매칭 점검 및 복원부가 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점이 검출될 때, 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 해당 특징점의 위치(x, y)에 대응되는 제2 프레임(F2) 상의 위치(x’, y’)를 추출한 후, 추출된 제2 프레임의 위치(x’, y’)를 활용하여 해당 특징점을 복원하도록 구성됨으로써 특징점의 미스매칭 여부를 정확하게 판별하여 복원시켜 영상 안정화의 정확성을 높일 수 있으며, 칼만필터 업데이트부가 제2 프레임의 모든 특징점들 각각에 대하여, 1)기존에는 검출되지 않았으나, 현재 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점으로 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 칼만필터의 가중치(weight)를 업데이트하도록 구성됨으로써 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있는 SURF 특징점 추적 기반 영상 안정화 시스템에 관한 것이다.

Description

SURF 특징점 추적 기반 영상 안정화 시스템{Video stabilization system based on SURF}
본 발명은 SURF 특징점 추적 기반 영상 안정화 시스템에 관한 것으로서, 상세하게로는 영상 안정화의 처리속도를 개선할 뿐만 아니라 정확성 및 신뢰도를 높일 수 있는 SURF 특징점 추적 기반 영상 안정화 시스템에 관한 것이다.
일반적으로, 입력영상들로부터 추출된 특징점(feature)들을 기반으로 다른 영상들간에 동일한 특징점들을 찾는 실시간 특징점 정합 기법은, 각 영상에서 특징점들을 추출하여 서술표식들을 생성한 후, 서술표식들 간의 비교 및 대조를 통해 동일한 서술표식를 갖는 특징점들을 찾아 동일한 객체를 확인할 수 있다.
이때 특징점은 영상 내의 객체들을 표현할 수 있는 대표적인 픽셀들로 정의되고, 서술표식은 특징점에 대한 다양한 정보를 표현한 것이다.
한편, 최근 모바일 카메라, 디지털 카메라, 캠코더, 드론, 웨어러블 카메라 등의 조작이 쉽고 소형화 된 카메라의 보급으로 개인용 카메라에 대한 비전문가의 수요가 높아짐과 동시에 클라우드 서비스의 발전으로 인해 개인이 촬영한 일상 영상의 공유가 대중화됨에 따라 높은 품질의 영상 획득에 대한 요구가 증가하고 있고, 이에 따라 영상을 안정화시키기 위한 영상 안정화 방법에 대한 다양한 연구가 진행되고 있다.
도 1은 국내등록특허 제10-0985805호(발명의 명칭 : 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법)에 개시된 영상 안정화 장치를 나타내는 블록도이다.
도 1의 영상 안정화 장치(100)는 특징점 추적부(110)와, 단위 움직임 측정부(122), 전역 움직임 측정부(124), 이득 조정부(126), 칼만필터부(128), 움직임 보상부(130)로 이루어진다.
특징점 추적부(110)는 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출한 후, 참조 영상프레임에 시간적으로 연속하는 현재 영상프레임 상에서 특징점에 대응하는 대응점을 탐색한다.
단위 움직임 측정부(122)는 참조 영상프레임과 현재 영상프레임 사이의 영상프레임에 대해 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 측정한다.
전역 움직임 측정부(124)는 단위 움직임을 누적하여 현재 영상프레임에 대한 전역 움직임을 측정한다.
이득 조정부(126)는 측정시간 동안 입력되는 복수개의 영상프레임에 대해 각각 측정된 단위 움직임의 부호가 변화되는 빈도수에 따라 칼만필터의 이득을 결정한다.
칼만필터부(128)는 전역 움직임으로부터 잡음 성분이 제거된 의도적 움직임을 추정한다.
움직임 보상부(130)는 전역 움직임 및 상기 의도적 움직임의 차에 의해 잡음 성분을 나타내는 비의도적 움직임을 산출하며, 현재 영상프레임에 대해 비의도적 움직임을 보상하여 결과 영상프레임을 생성한다.
이와 같이 구성되는 종래기술(100)은 참조 영상프레임으로부터 추출된 특징점 및 그에 대응하는 대응점을 이용하여 영상의 움직임을 추정함으로써, 영상에 나타난 움직임의 평행방향으로의 병진 성분뿐만 아니라 회전 성분도 보상할 수 있으며, 의도적 움직임 추정 시 영상프레임에 대한 단위 움직임의 부호 변화 빈도수에 대응되는 칼만필터를 사용함으로써 의도적 움직임을 정확하게 추정할 수 있는 장점을 갖는다.
그러나 종래기술(100)은 특징점 추적부(110)가 시간적으로 연속하는 프레임들의 특징점을 추출하여 이들의 특징점의 비교를 통해 움직임을 추정하는 것이 아니라, 참조 영상프레임의 특징점을 추출한 후, 참조 영상프레임에 시간적으로 연속하는 프레임들 상에서 특징점에 대응되는 대응점의 탐색을 통해 움직임을 추정하도록 구성되었기 때문에 연산처리량 및 연산처리시간이 증가하는 단점을 갖는다.
또한 종래기술(100)은 프레임들 간의 스케일(scale)이나 회전이 변하여 특징점들의 스케일 및 회전이 변할 때, 이들의 기술자들이 스케일 및 회전 특성을 고려하지 못하기 때문에 특징점들을 정확하게 매칭시키지 못하는 문제점이 발생한다.
본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 SURF(Speed-Up Robust Features) 알고리즘 및 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 입력된 두 프레임(F1), (F2)의 특징점들을 추출함과 동시에 정합하도록 구성됨으로써 회전 및 병진 성분을 모두 보상할 수 있을 뿐만 아니라 특징점 정합의 정확성 및 신뢰도를 높일 수 있는 SURF 특징점 추적 기반 영상 안정화 시스템을 제공하기 위한 것이다.
또한 본 발명의 다른 해결과제는 미스매칭 점검 및 복원부가 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점이 검출될 때, 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 해당 특징점의 위치(x, y)에 대응되는 제2 프레임(F2) 상의 위치(x’, y’)를 추출한 후, 추출된 제2 프레임의 위치(x’, y’)를 활용하여 해당 특징점을 복원하도록 구성됨으로써 특징점의 미스매칭 여부를 정확하게 판별하여 복원시켜 영상 안정화의 정확성을 높일 수 있는 SURF 특징점 추적 기반 영상 안정화 시스템을 제공하기 위한 것이다.
또한 본 발명의 또 다른 해결과제는 칼만필터 업데이트부가 제2 프레임의 모든 특징점들 각각에 대하여, 1)기존에는 검출되지 않았으나, 현재 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점으로 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 칼만필터의 가중치(weight)를 업데이트하도록 구성됨으로써 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있는 SURF 특징점 추적 기반 영상 안정화 시스템을 제공하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명의 해결수단은 칼만필터 모델이 저장되는 메모리; 제1, 2 프레임(F1), (F2)들을 입력받는 데이터 입출력부; 기 설정된 SURF(Speed-Up Robust Features) 알고리즘을 이용하여 상기 데이터 입출력부를 통해 입력된 제1, 2 프레임(F1), (F2)들을 분석하여 각 프레임(F1), (F2)의 특징점들을 추출하는 SURF 특징점 추출부; 상기 SURF 특징점 추출부에 의해 추출된 특징점들에 상기 칼만필터를 적용시켜 잡음을 제거하는 칼만필터부; 기 설정된 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 상기 칼만필터부를 통과한 특징점들 중 동일한 특징점은 남기고 동일하지 않은 특징점을 제거하여 특징점들을 정합한 후, 동일한 특징점들의 위치좌표의 비교를 통해 모션벡터를 검출하는 모션벡터 검출부; 상기 모션벡터 검출부에 의해 검출된 모션벡터를 활용하여 제1, 2 프레임(F1), (F2) 간의 특징점 매칭의 대응 관계인 변환행렬((Homography, H)을 추정하는 변환행렬 추정부; 상기 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 제1 프레임(F1)의 특징점을 제2 프레임(F2)에 맵핑시킨 맵핑영상(F’)을 생성하는 맵핑영상 생성부를 포함하고, 상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 변환행렬 추정부 이후에 실행되는 미스매칭 점검 및 복원부를 더 포함하고, 상기 미스매칭 점검 및 복원부는 제1 프레임(F1)에서 검출된 특징점들과, 제2 프레임(F2)에서 검출된 특징점들을 비교하여 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점들인 미스매칭점들이 추출될 때, 추출된 미스매칭점의 제1 프레임(F1) 상에서의 위치(x, y)에 상기 변환행렬 추정부에 의해 추정된 변환행렬(H)을 적용시켜 제2 프레임(F2) 상의 위치(x’, y’)를 추출하며, 미스매칭이라고 판단된 미스매칭점의 제1 프레임의 위치 (x, y) 및 변환행렬에 의해 추출된 제2 프레임의 위치(x’, y’) 좌표를 포함하는 복원정보를 생성하고, 상기 맵핑영상 생성부는 맵핑영상 생성 시, 상기 미스매칭 점검 및 복원부에 의해 생성된 복원정보를 활용하고, 상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 미스매칭 점검 및 복원부 이후에 실행되는 칼만필터 업데이트부를 더 포함하고, 상기 칼만필터 업데이트부는 제2 프레임(F2)의 모든 특징점들 각각에 대하여, 1)기존에는 검출되지 않았으나, 제2 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점을 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 상기 칼만필터의 가중치(weight)를 업데이트하고, 상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 모션벡터 검출부 이후에 실행되는 아웃라이어 필터링부를 더 포함하고, 상기 아웃라이어 필터링부는 상기 모션벡터 검출부에 의해 검출된 모션벡터들 각각의 에러값을 산출한 후, 산출된 에러값이 설정값(TH, Threshold) 이상이면 해당 값을 아웃라이어(Outlier)로 판단하여 제거하고, 상기 ANN 탐색 알고리즘은 쿼리 q(
Figure 112020107001038-pat00001
)와 쿼리(q)와 동일한 차원의 특징점 후보군인 후보셋(p1, p2, ..., pn)들이 주어졌을 때, 쿼리(q)로부터 가장 가까운 거리를 갖는 특징점 후보셋(pj)을 가장 가까운 이웃으로 결정함과 동시에 쿼리에서 가장 가까운 지점까지의 거리(r)를 c배로 곱한 값을 반환하고, 상기 ANN 탐색 알고리즘은 쿼리 q(
Figure 112020107001038-pat00018
)와 쿼리(q)와 동일한 차원의 특징점 후보군인 후보셋(p1, p2, ..., pn)들이 주어졌을 때, 쿼리(q)로부터 가장 가까운 거리를 갖는 특징점 후보셋(pj)을 가장 가까운 이웃으로 결정함과 동시에 쿼리에서 가장 가까운 지점까지의 거리(r)를 c배로 곱한 값을 반환하는 것이 바람직하다.
삭제
삭제
삭제
삭제
상기 과제와 해결수단을 갖는 본 발명에 따르면 SURF(Speed-Up Robust Features) 알고리즘 및 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 입력된 두 프레임(F1), (F2)의 특징점들을 추출함과 동시에 정합하도록 구성됨으로써 회전 및 병진 성분을 모두 보상할 수 있을 뿐만 아니라 특징점 정합의 정확성 및 신뢰도를 높일 수 있게 된다.
또한 본 발명에 의하면 미스매칭 점검 및 복원부가 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점이 검출될 때, 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 해당 특징점의 위치(x, y)에 대응되는 제2 프레임(F2) 상의 위치(x’, y’)를 추출한 후, 추출된 제2 프레임의 위치(x’, y’)를 활용하여 해당 특징점을 복원하도록 구성됨으로써 특징점의 미스매칭 여부를 정확하게 판별하여 복원시켜 영상 안정화의 정확성을 높일 수 있다.
또한 본 발명에 의하면 칼만필터 업데이트부가 제2 프레임의 모든 특징점들 각각에 대하여, 1)기존에는 검출되지 않았으나, 현재 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점으로 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 칼만필터의 가중치(weight)를 업데이트하도록 구성됨으로써 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있게 된다.
도 1은 국내등록특허 제10-0985805호(발명의 명칭 : 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법)에 개시된 영상 안정화 장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 SURF 특징점 추적 기반 영상 안정화 시스템을 나타내는 블록도이다.
도 3은 도 2의 동작과정을 개념적으로 나타내는 블록도이다.
도 4의 (a), (b)는 도 2의 SURF 특징점 추출부에 의해 추출된 각 프레임의 특징점들을 나타내는 예시도이다.
도 5는 도 2의 SURF 특징점 추출부를 나타내는 블록도이다.
도 6은 도 2의 모션벡터 검출부에 적용되는 ANN 탐색 알고리즘을 설명하기 위한 예시도이다.
도 7은 도 2의 모션벡터 검출부에 의해 검출되는 모션벡터를 설명하기 위한 예시도이다.
도 8은 도 2의 영상맵핑부에 의해 생성되는 맵핑영상을 설명하기 위한 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 설명하기로 한다.
도 2는 본 발명의 일실시예인 SURF 특징점 추적 기반 영상 안정화 시스템을 나타내는 블록도이고, 도 3은 도 2의 동작과정을 개념적으로 나타내는 블록도이다.
본 발명의 일실시예인 SURF 특징점 추적 기반 영상 안정화 시스템(1)은 입력된 두 프레임(F1), (F2)들 각각의 특징점을 추출한 후, 추출된 특징점 정보들을 이용하여 두 프레임(F1), (F2) 간의 매칭 대응관계인 변환행렬(H)을 추정하여 추정된 변환행렬에 따라 두 프레임(F1), (F2)들을 정합시키기 위한 시스템이다.
또한 SURF 특징점 추적 기반 영상 안정화 시스템(1)은 도 2에 도시된 바와 같이, 제어부(30)와, 메모리(31), 데이터 입출력부(32), SURF 특징점 추출부(33), 칼만필터부934), 모션벡터 검출부(35), 아웃라이어 필터링부(36), 변환행렬 추정부(37), 미스매칭 점검 및 복원부(38)), 칼만필터 업데이트부(39), 영상맵핑부(40)로 이루어진다.
제어부(30)는 SURF 특징점 추적 기반 영상 안정화 시스템(1)의 O.S(Operating System)이며, 제어대상(31), (32), (33), (34), (35), (36), (37), (38), (39), (40)들의 동작을 관리 및 제어한다.
또한 제어부(30)는 데이터 입출력부(32)를 통해 입력된 인접한 프레임(F1), (F2)들을 SURF 특징점 추출부(33)로 입력함과 동시에 메모리(31)에 임시 저장한다.
또한 제어부(30)는 칼만필터 업데이트부(39)에 의해 업데이트된 칼만필터를 메모리(31)에 저장한다.
또한 제어부(30)는 영상맵핑부(40)에 의해 보정된 영상인 보정프레임을 데이터 입출력부(32)를 통해 외부로 출력함과 동시에 메모리(31)에 임시 저장한다.
메모리(31)에는 영상맵핑부(40)에 의해 보정된 보정프레임이 저장된다.
또한 메모리(31)에는 칼만필터 업데이트부(39)에 의해 업데이트 된 칼만필터가 저장된다.
또한 메모리(31)에는 기 설정된 SURF 알고리즘이 적용된다.
또한 메모리(31)에는 기 설정된 ANN(Approximate Nearest Neighbor) 탐색 알고리즘이 저장된다.
데이터 입출력부(32)는 외부 장치와 데이터를 입출력한다.
SURF 특징점 추출부(33)는 기 설정된 SURF 알고리즘을 이용하여 데이터 입출력부932)를 통해 입력된 두 프레임(F1), (F2)들 각각에 대한 크기 및 회전 불변의 특징점(Features) 후보군들을 추출한다. 이때 영상으로부터 특징점을 검출하기 위한 SURF 알고리즘은 영상분석 시스템에 있어서 통상적으로 사용되는 기술이기 때문에 간략하게 설명하기로 한다.
SURF(Speed-Up Robust Features) 알고리즘은 우선, 입력된 영상에 대한 적분 영상을 생성한다. 이때 적분영상을 이용하면 어떠한 크기의 영상 영역을 선택하더라도, 4번의 연산을 통해 선택된 영역의 모든 픽셀의 합을 구할 수 있게 된다.
또한 SURF 알고리즘은 영상의 특징점을 추출하기 위하여 다음 수학식 1로 정의되는 헤시안 행렬(hessian matrix)을 이용한다. 이때 헤시안 행렬을 사용할 때, SIFT와 다르게 가우시안 필터를 사용하지 않고, 결과는 유사하지만, 연산속도가 빠른 박스 필터를 사용하여 결정자를 구한다. 즉 가우시안은 실수 값을 갖지만, 박스필터는 정수형 연산이 가능하므로 연산처리속도를 높일 수 있다.
Figure 112019127416702-pat00002
이때, Lxx는 x위치에서의 흑백 영상 휘도값과 σ의 분산을 갖는 가우시안의 x방향 2차 미분 값과의 컨볼루션 값을 의미하고, 나머지 Lyy, Lxy는 y 방향으로의 2차 미분, xy 방향으로 미분된 가우시안 필터와의 컨볼루션 값을 의미한다.
또한 SURF 알고리즘은 수학식 1에 의해 근사화된 헤시안 행렬(Happrox)의 행렬식을 이용하여 다음의 수학식 2로 정의되는 특징점의 후보군을 검출한다.
Figure 112019127416702-pat00003
이때, Dxx, Dyy 및 Dxy는 각각 근사화된 x축, y축으로의 2차 미분을 나타낸다.
즉 SURF는 근사화된 필터와 적분 영상을 활용함으로써 연산을 단순화시켜 속도를 향상시킬 수 있다.
또한 SURF 알고리즘은 수학식 2에 의해 검출된 특징점 후보군의 특징을 서술자(Descriptor)인 특징벡터로 표현되며, 상세하게로는 하르 웨이블릿 반응(Haar wavelet response)을 이용하여 검출된 특징점의 방향 성분에 대해 64차원 벡터로 기술할 수 있다.
다시 말하면, SURF 알고리즘에서 서술자는 필터 크기가 2인 하르 웨이블릿 결과를 통하여 계산된 64차원의 불변하는 정보로 표현된다.
도 4의 (a), (b)는 도 2의 SURF 특징점 추출부에 의해 추출된 각 프레임의 특징점들을 나타내는 예시도이다.
도 4의 (a)에는 SURF 특징점 추출부(33)에 의해 검출된 제1 프레임(F1)의 특징점 후보군들이 표시되어 있고, 도 4의 (b)에는 SURF 특징점 추출부(33)에 의해 검출된 제1 프레임(F1)의 특징점 후보군들이 표시되어 있다.
즉 SURF 특징점 추출부(33)는 입력된 두 프레임(F1), (F2)들 각각의 특징점 후보군들을 추출한다.
이러한 SURF 특징점 추출부(33)는 후술되는 도 5를 통해 상세하게 설명하기로 한다.
도 5는 도 2의 SURF 특징점 추출부를 나타내는 블록도이다.
SURF 특징점 추출부(33)는 도 5에 도시된 바와 같이, 입력된 프레임(F1), (F2)들에 대한 적분영상을 획득하는 적분영상 검출모듈(331)과, 적분영상 검출모듈(331)을 이용하여 박스 필터의 크기를 변경하면서 스케일 공간을 생성하는 스케일공간 생성모듈(332)과, 스케일 공간 생성모듈(332)에 의해 생성된 스케일 공간에서 반복적으로 검출된 후보점을 크기에 불변하는 특징점 후보군으로 선정하는 특징점 후보군 선정모듈(333)과, 특징점 후보군 선정모듈(333)에 의해 선정된 특징점 후보군들에 대하여 6σ 반경 내의 x방향 하르 웨이블릿 반응(Haar wavelet response)과 y방향 하르 웨이블릿 반응을 더하여 벡터를 합산하여 주 방향을 검출하는 주 방향 검출모듈(334)과, 주 방향 산출모듈(334)에 의해 검출된 주 방향을 기준으로 4X4 크기의 세부 영역으로 나눈 후 각 영역마다 5X5 크기의 x방향 및 y방향 하르 웨이블릿을 적용시켜 dx 및 dy를 산출하는 연산처리모듈(335)과, 연산처리모듈(335)에 의해 산출된 dx 및 dy를 기초로 하여 sum(dx), sum(dy), sum(ldxl), sum(ldyl)의 값을 계산함으로써 각 세부영역마다 4개의 특징을 구하여 16X4의 총 64차원의 서술자 벡터를 획득하는 서술자 획득모듈(336)로 이루어진다.
칼만필터부(34)는 SURF 특징점 추출부(33)에 의해 추출된 특징점들에 기 설정된 칼만필터를 적용시킴으로써 각 특징점에 대한 떨림 등의 잡음 성분이 제거된 특징벡터를 획득한다.
도 6은 도 2의 모션벡터 검출부에 적용되는 ANN 탐색 알고리즘을 설명하기 위한 예시도이고, 도 7은 도 2의 모션벡터 검출부에 의해 검출되는 모션벡터를 설명하기 위한 예시도이다.
모션벡터 검출부(35)는 SURF 특징점 검출모듈(33) 및 칼만필터부(34)에 의해 검출된 두 프레임(F1), (F2)의 특징점인 총 64차원의 서술자 벡터가 가지고 있는 방향 및 크기정보를 비교해서 동일한 특징점은 남기고 동일하지 않은 특징점은 제거한 후, 동일한 특징점들의 위치좌표의 비교를 통해 모션벡터(Motion vector)를 검출한다.
다시 말하면, 모션벡터 검출부(35)는 두 프레임(F1), (F2) 간의 이동, 회전 크기변화의 파라미터를 구하기 위해서 SURF 특징점 검출부(33) 및 칼만필터부(34)를 통해 검출된 특징점들의 정합을 수행한다.
이때 두 영상 간의 각 특징점들의 정합은 기 설정된 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 활용하여 수행되는데, ANN은 불변 서술자 벡터들간의 유클리드 거리(Euclidean distance)가 최소인 특징점을 의미한다.
즉 모션벡터 검출부(35)는 기 설정된 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 활용하여 SURF 특징점 검출부(33) 및 칼만필터부(34)를 통해 검출된 프레임(F1), (F2)들 간의 특징점을 정합하며, 상세하게로는 도 6에 도시된 바와 같이, 쿼리 q(
Figure 112019127416702-pat00004
)와 쿼리(q)와 동일한 차원의 특징점 후보군인 후보셋(p1, p2, ..., pn)들이 주어졌을 때, 쿼리(q)로부터 가장 가까운 거리를 갖는 특징점 후보셋(pj)을 가장 가까운 이웃으로 결정함과 동시에 쿼리에서 가장 가까운 지점까지의 거리(r)를 c배로 곱한 값을 반환한다.
또한 모션벡터 검출부(35)는 도 7에 도시된 바와 같이, ANN 탐색 알고리즘을 통해 정합된 각 특징점의 모션벡터(MV)를 검출한다.
아웃라이어 필터링부(36)는 모션벡터 검출부(35)에 의해 검출된 모션벡터(MV)들 각각의 에러값을 산출한 후, 산출된 에러값이 설정값(TH, Threshold) 이상이면 해당 값을 아웃라이어(Outlier)로 판단하여 이를 제거한다.
변환행렬 추정부(37)는 아웃라이어 필터링부(36)에 의해 아웃라이어가 제거된 모션벡터들을 활용하여, 두 프레임(F1), (F2)의 특징점 매칭의 대응 관계인 변환행렬(Homography, H)을 추정한다.
이때 변환행렬 추정부(37)에 의해 추정되는 두 프레임(F1), (F2) 간의 대응 관계인 변환행렬(H)은 다음의 수학식 3으로 정의된다.
Figure 112019127416702-pat00005
이때, ‘
Figure 112019127416702-pat00006
’는 제1 프레임(F1)의 특징점의 위치좌표이고, ‘
Figure 112019127416702-pat00007
’는 제2 프레임(F2)의 특징점의 위치좌표이고, 변환행렬’H’의 ‘
Figure 112019127416702-pat00008
’는 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보와, x,y,z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, x,y,z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함한다.
미스매칭 점검 및 복원부(38)는 제1 프레임(F1)에서 검출된 특징점들과, 제2 프레임(F2)에서 검출된 특징점들을 비교하여 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점(이하 미스매칭점이라고 함)들을 추출한다.
또한 미스매칭 점검 및 복원부(38)는 미스매칭점들이 추출되면, 변환행렬 추정부(37)에서 추정된 변환행렬(H)을 추출된 미스매칭점들 각각에 적용시켜 해당 미스매칭점의 위치(x, y)에 대응되는 제2 프레임(F2)의 특징점의 위치(x’, y’)를 추출한다.
또한 미스매칭 점검 및 복원부(38)는 미스매칭이라고 판단된 미스매칭점의 제1 프레임(F1)의 위치(x, y)와, 변환행렬에 의해 추출된 제2 프레임의 위치(x’, y’)를 나타내는 복원정보를 생성한다.
이때 미스매칭 점검 및 복원부(38)에 의해 생성된 복원정보는 영상맵핑부(40)에 활용된다.
칼만필터 업데이트부(39)는 SURF 특징점 추출부(33) 및 칼만필터부(34)에 의해 검출된 현재 프레임인 제2 프레임(F2)의 모든 특징점들을 각각에 대하여, 1)기존에는 검출되지 않았으나, 현재 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점으로 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 칼만필터의 가중치(weight)를 업데이트 한다.
또한 칼만필터 업데이트부(39)에 의해 업데이트된 칼만필터 정보는 메모리(31)에 저장된다.
도 8은 도 2의 영상맵핑부에 의해 생성되는 맵핑영상을 설명하기 위한 예시도이다.
영상맵핑부(40)는 변환행렬 추정부(37)에 의해 추정된 변환행렬(H)과, 미스매칭 점검 및 복원부(38)에 의해 검출된 복원정보를 활용하여 도 8에 도시된 바와 같이, 제1 프레임(F1)의 특징점을 제2 프레임(F2)에 맵핑시킴으로써 맵핑영상(F’)을 생성한다.
이와 같이 본 발명의 일실시예인 SURF 특징점 추적 기반 영상 안정화 시스템(1)은 SURF(Speed-Up Robust Features) 알고리즘 및 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 입력된 두 프레임(F1), (F2)의 특징점들을 추출함과 동시에 정합하도록 구성됨으로써 회전 및 병진 성분을 모두 보상할 수 있을 뿐만 아니라 특징점 정합의 정확성 및 신뢰도를 높일 수 있게 된다.
또한 본 발명의 SURF 특징점 추적 기반 영상 안정화 시스템(1)은 미스매칭 점검 및 복원부(38)가 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점이 검출될 때, 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 해당 특징점의 위치(x, y)에 대응되는 제2 프레임(F2) 상의 위치(x’, y’)를 추출한 후, 추출된 제2 프레임의 위치(x’, y’)를 활용하여 해당 특징점을 복원하도록 구성됨으로써 특징점의 미스매칭 여부를 정확하게 판별하여 복원시켜 영상 안정화의 정확성을 높일 수 있다.
또한 본 발명의 SURF 특징점 추적 기반 영상 안정화 시스템(1)은 칼만필터 업데이트부(39)가 제2 프레임의 모든 특징점들 각각에 대하여, 1)기존에는 검출되지 않았으나, 현재 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점으로 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 칼만필터의 가중치(weight)를 업데이트하도록 구성됨으로써 현재 영상프레임에 존재하는 움직임의 회전 및 병진 성분을 모두 보상할 수 있게 된다.
1:SURF 특징점 추적 기반 영상 안정화 시스템
30:제어부 31:메모리 32:데이터 입출력부
33:SURF 특징점 추출부 34:칼만필터부 35:모션벡터 검출부
36:아웃라이어 필터링부 37:변환행렬 추정부
38:미스매칭 점검 및 보정부 39:칼만필터 업데이트부
40:영상맵핑부

Claims (5)

  1. 칼만필터 모델이 저장되는 메모리;
    제1, 2 프레임(F1), (F2)들을 입력받는 데이터 입출력부;
    기 설정된 SURF(Speed-Up Robust Features) 알고리즘을 이용하여 상기 데이터 입출력부를 통해 입력된 제1, 2 프레임(F1), (F2)들을 분석하여 각 프레임(F1), (F2)의 특징점들을 추출하는 SURF 특징점 추출부;
    상기 SURF 특징점 추출부에 의해 추출된 특징점들에 상기 칼만필터를 적용시켜 잡음을 제거하는 칼만필터부;
    기 설정된 ANN(Approximate Nearest Neighbor) 탐색 알고리즘을 이용하여 상기 칼만필터부를 통과한 특징점들 중 동일한 특징점은 남기고 동일하지 않은 특징점을 제거하여 특징점들을 정합한 후, 동일한 특징점들의 위치좌표의 비교를 통해 모션벡터를 검출하는 모션벡터 검출부;
    상기 모션벡터 검출부에 의해 검출된 모션벡터를 활용하여 제1, 2 프레임(F1), (F2) 간의 특징점 매칭의 대응 관계인 변환행렬(Homography, H)을 추정하는 변환행렬 추정부;
    상기 변환행렬 추정부에 의해 추정된 변환행렬(H)을 활용하여 제1 프레임(F1)의 특징점을 제2 프레임(F2)에 맵핑시킨 맵핑영상(F’)을 생성하는 맵핑영상 생성부를 포함하고,
    상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 변환행렬 추정부 이후에 실행되는 미스매칭 점검 및 복원부를 더 포함하고,
    상기 미스매칭 점검 및 복원부는
    제1, 2 프레임(F1), (F2)들에서 검출된 모든 특징점들을 비교하여, 제1 프레임(F1)에서는 검출되었으나, 제2 프레임(F2)에서는 검출되지 않은 특징점들인 미스매칭점들이 추출될 때, 추출된 미스매칭점에 한해서만 제1 프레임(F1) 상에서의 위치(x, y)에 상기 변환행렬 추정부에 의해 추정된 변환행렬(H)을 적용시켜 제2 프레임(F2) 상의 위치(x’, y’)를 추출하며, 미스매칭이라고 판단된 미스매칭점의 제1 프레임의 위치 (x, y) 및 변환행렬에 의해 추출된 제2 프레임의 위치(x’, y’) 좌표를 포함하는 복원정보를 생성하고,
    상기 맵핑영상 생성부는 맵핑영상 생성 시, 상기 미스매칭 점검 및 복원부에 의해 생성된 복원정보를 활용하고,
    상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 미스매칭 점검 및 복원부 이후에 실행되는 칼만필터 업데이트부를 더 포함하고,
    상기 칼만필터 업데이트부는
    제2 프레임(F2)의 모든 특징점들 각각을 제1 프레임(F1)의 모든 특징점들과 비교하여, 1)기존에는 검출되지 않았으나, 제2 프레임(F2)에는 신규 검출된 특징점이 존재할 때, 해당 특징점에 대응되는 신규 Tracker를 생성하고, 2)기존의 특징점을 검출된 특징점일 때, 해당 특징점 정합이 반영되도록 상기 칼만필터의 가중치(weight)를 업데이트하고,
    상기 SURF 특징점 추적 기반 영상 안정화 시스템은 상기 모션벡터 검출부 이후에 실행되는 아웃라이어 필터링부를 더 포함하고,
    상기 아웃라이어 필터링부는
    상기 모션벡터 검출부에 의해 검출된 모션벡터들 각각의 에러값을 산출한 후, 산출된 에러값이 설정값(TH, Threshold) 이상이면 해당 값을 아웃라이어(Outlier)로 판단하여 제거하고,
    상기 ANN 탐색 알고리즘은
    쿼리 q(
    Figure 112020107001038-pat00019
    )와 쿼리(q)와 동일한 차원의 특징점 후보군인 후보셋(p1, p2, ..., pn)들이 주어졌을 때, 쿼리(q)로부터 가장 가까운 거리를 갖는 특징점 후보셋(pj)을 가장 가까운 이웃으로 결정함과 동시에 쿼리에서 가장 가까운 지점까지의 거리(r)를 c배로 곱한 값을 반환하는 것을 특징으로 하는 SURF 특징점 추적 기반 영상 안정화 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020190163557A 2019-12-10 2019-12-10 Surf 특징점 추적 기반 영상 안정화 시스템 KR102173244B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190163557A KR102173244B1 (ko) 2019-12-10 2019-12-10 Surf 특징점 추적 기반 영상 안정화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163557A KR102173244B1 (ko) 2019-12-10 2019-12-10 Surf 특징점 추적 기반 영상 안정화 시스템

Publications (1)

Publication Number Publication Date
KR102173244B1 true KR102173244B1 (ko) 2020-11-03

Family

ID=73197984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163557A KR102173244B1 (ko) 2019-12-10 2019-12-10 Surf 특징점 추적 기반 영상 안정화 시스템

Country Status (1)

Country Link
KR (1) KR102173244B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095659A (zh) * 2021-11-29 2022-02-25 厦门美图之家科技有限公司 一种视频防抖方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090066064A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
KR101851896B1 (ko) * 2017-05-10 2018-06-08 중앙대학교 산학협력단 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치
JP6435048B2 (ja) * 2015-07-06 2018-12-05 日本電信電話株式会社 画像照合装置、画像照合方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090066064A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
JP6435048B2 (ja) * 2015-07-06 2018-12-05 日本電信電話株式会社 画像照合装置、画像照合方法、及びプログラム
KR101851896B1 (ko) * 2017-05-10 2018-06-08 중앙대학교 산학협력단 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095659A (zh) * 2021-11-29 2022-02-25 厦门美图之家科技有限公司 一种视频防抖方法、装置、设备及存储介质
CN114095659B (zh) * 2021-11-29 2024-01-23 厦门美图之家科技有限公司 一种视频防抖方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10996062B2 (en) Information processing device, data management device, data management system, method, and program
US9330471B2 (en) Camera aided motion direction and speed estimation
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
JP6736257B2 (ja) 情報処理装置、情報処理方法、プログラム
US11037325B2 (en) Information processing apparatus and method of controlling the same
WO2016035324A1 (en) Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion
CN110942470B (zh) 图像处理装置
Smith et al. Electronic image stabilization using optical flow with inertial fusion
US11030478B1 (en) System and method for correspondence map determination
CN108369739B (zh) 物体检测装置和物体检测方法
El Bouazzaoui et al. Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템
Montibeller et al. GPU-accelerated SIFT-aided source identification of stabilized videos
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Xie et al. Fast detecting moving objects in moving background using ORB feature matching
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和系统
Wu et al. Direct pose estimation for planar objects
JP2010145219A (ja) 運動推定装置及びプログラム
Chen et al. Mean shift tracking combining SIFT
KR102313795B1 (ko) 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법
Sotnikov et al. Algorithm for stabilizing video images
CN109785731B (zh) 一种地图构建方法、系统及存储介质
Barandiarán et al. Edge-based markerless 3d tracking of rigid objects
Ndiour et al. A probabilistic observer for visual tracking
Wang et al. An AR Projection Improvement Strategy via the Integration of Target Detection and ORB-SLAM2

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant