KR101538923B1 - 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 - Google Patents

관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 Download PDF

Info

Publication number
KR101538923B1
KR101538923B1 KR1020140030809A KR20140030809A KR101538923B1 KR 101538923 B1 KR101538923 B1 KR 101538923B1 KR 1020140030809 A KR1020140030809 A KR 1020140030809A KR 20140030809 A KR20140030809 A KR 20140030809A KR 101538923 B1 KR101538923 B1 KR 101538923B1
Authority
KR
South Korea
Prior art keywords
optical flow
interest
region
roi
unit
Prior art date
Application number
KR1020140030809A
Other languages
English (en)
Inventor
윤경로
김민욱
조현태
배효철
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020140030809A priority Critical patent/KR101538923B1/ko
Application granted granted Critical
Publication of KR101538923B1 publication Critical patent/KR101538923B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법에 관한 것으로서, 흔들림이 발생한 영상에 대한 관심영역을 추적하여 표시하고, 관심영역을 기준으로 영상의 흔들림을 실시간으로 보정하여 영상을 안정화하는 장치 및 그 방법에 제공함에 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은, 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하는 영역 지정부; 지정된 관심영역을 추적하여 화면에 표시하는 관심영역 추적부; 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부; 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 각각 다르게 설정하는 가중치 설정부; 가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고, 누적하는 파라미터 계산부; 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하는 스무딩부; 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하는 변환부; 및 상기 스무딩부를 통해 예측된 값을 다음 프레임에서 초기값으로 사용하는 초기화부; 를 포함한다.

Description

관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법{REAL-TIME VIDEO STABILIZER FOR TRACKING FOR REGION OF INTEREST}
본 발명은 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 흔들림이 발생한 영상에 대한 관심영역을 추적하여 표시하고, 관심영역을 기준으로 영상의 흔들림을 실시간으로 보정하여 영상을 안정화하는 장치 및 그 방법에 관한 것이다.
흔들림이 발생한 영상을 보정하여 해당 영상을 안정화하는 기술은 다양한 분야에서 적용 가능하다. 특히, 무인 비행체를 통해 영상을 수집하는 과정을 예를 들면, 엔진 자체의 진동으로 인해 영상의 흔들림이 발생한다. 또한, 기체 자체의 적은 무게로 인하여 환경적 요인의 영향을 많이 받고, 특히 바람에 의한 흔들림이 발생한다. 그러므로, 무인 항공기에 탑재된 카메라 역시 같은 흔들림이 발생하고, 촬영된 영상도 흔들림이 발생하게 된다. 이러한 흔들림은 동영상의 품질을 저해하는 요소로 작용한다.
이러한 흔들림에 의한 영상을 보정하는 기술과 관련해서는, 한국공개특허 10-2008-0093578호(이하, '선행문헌') 외에 다수 등록 및 공개되어 있다.
상기한 선행문헌은, 촬상소자를 이송하는 구동소자의 동특성을 고려하여 손 떨림에 의한 진동을 보정하기 위한 상기 구동소자 제어신호를 생성하는 단계; 및 상기 구동소자의 이송변위를 제어하기 위한 상기 구동소자 이송 보정 신호를 상기 구동소자 제어 신호에 추가하여 상기 구동소자에 출력하는 단계; 를 포함한다.
한편, 흔들림이 포함된 영상의 문제를 해결하기 위해 영상 안정화에 관한 많은 연구들이 있었다. 일반적인 영상 안정화 기법에는 기계적 영상 안정화 방법과, 디지털 영상 안정화 방법이 있다.
기계적인 방식은 물체의 각속도를 측정할 수 있는 자이로 센서 등을 이용하며, 카메라 움직임의 각속도를 측정하여 카메라 렌즈를 반대방향으로 보정하여 영상의 흔들림을 보상하게 된다. 보상 방법은 렌즈의 위치를 보정 시켜주는 방법과 CCD(charge-coupled device) 센서의 위치를 보정 시켜주는 방법이 사용되고 있다.
디지털 영상 안정화 기법은 입력되는 영상 신호를 분석하여 인접한 두 프레임간의 움직임을 추정하고, 이를 이용하여 CCD 센서로부터 얻어진 영상 데이터를 보상하여 준다. 이러한 소프트웨어를 이용한 디지털 영상 안정화 기법에서 전역 움직임 추정 방식은 핵심기술로 자리 잡고 있다. 하지만, 아직 완벽한 안정화기는 발표되지 않고 있다.
한국공개특허 10-2008-0093578호.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 흔들림이 발생한 영상에 대한 관심영역을 추적하여 표시하고, 관심영역을 기준으로 영상의 흔들림을 실시간으로 보정하여 영상을 안정화하는 장치 및 그 방법에 제공함에 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 관심 영역 추적을 통한 실시간 영상 안정화 장치에 관한 것으로서, 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하는 영역 지정부; 지정된 관심영역을 추적하여 화면에 표시하는 관심영역 추적부; 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부; 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 각각 다르게 설정하는 가중치 설정부; 가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고, 누적하는 파라미터 계산부; 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하는 스무딩부; 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하는 변환부; 및 상기 스무딩부를 통해 예측된 값을 다음 프레임에서 초기값으로 사용하는 초기화부; 를 포함한다.
또한 상기 관심영역 추적부는, 자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법을 이용하여 관심영역을 추적하는 것을 특징으로 한다.
또한 상기 옵티컬 플로우는, 모든 픽셀의 움직임을 계산하는 2차원 밀집 옵티컬 플로우인 것을 특징으로 한다.
또한 상기 가중치 설정부는, 상기 비 관심영역의 옵티컬 플로우를 관심영역의 옵티컬 플로우보다 낮게 설정하는 것을 특징으로 한다.
또한 상기 파라미터 계산부는, 관심영역과 비 관심영역에 대하여 각각에 대하여, 상기 가중치 설정부를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하고, 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하며, 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산하는 파라미터 계산모듈; 및 다음 키프레임이 나오는 프레임까지 어파인 파라미터를 누적하는 파라미터 누적모듈; 을 포함하는 것을 특징으로 한다.
또한 상기 변환부는, 임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환하는 것을 특징으로 한다.
그리고 상기 변환부는, 확대, 축소, 평면의 회전, 수평 및 수직방향으로의 이동 중, 적어도 어느 하나 이상의 변환을 수행하는 것을 특징으로 한다.
한편, 본 발명은 관심 영역 추적을 통한 실시간 영상 안정화 방법에 관한 것으로서, (a) 영역 지정부가 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하는 과정; (b) 관심영역 추적부가 지정된 관심영역을 추적하여 화면에 표시하는 과정; (c) 옵티컬 플로우 계산부가 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하는 과정; (d) 가중치 설정부가 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 각각 다르게 설정하는 과정; (e) 파라미터 계산부가 가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고, 누적하는 과정; (f) 스무딩부가 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하는 과정; (g) 변환부가 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하는 과정; 및 (h) 초기화부가 스무딩부를 통해 예측된 값을 다음 프레임에서 초기값으로 사용하는 과정; 을 포함한다.
또한 상기 (b) 과정에서, 상기 관심영역 추적부는, 자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법을 이용하여 관심영역을 추적하는 것을 특징으로 한다.
또한 상기 옵티컬 플로우는, 모든 픽셀의 움직임을 계산하는 2차원 밀집 옵티컬 플로우인 것을 특징으로 한다.
또한 상기 (d) 과정에서, 상기 가중치 설정부는, 상기 비 관심영역의 옵티컬 플로우를 관심영역의 옵티컬 플로우보다 낮게 설정하는 것을 특징으로 한다.
또한 상기 (e) 과정에서, (e-1) 상기 파라미터 계산부가 관심영역과 비 관심영역에 대하여 각각에 대하여, 상기 가중치 설정부를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하는 단계; (e-2) 상기 파라미터 계산부가 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하는 단계; 및 (e-3) 상기 파라미터 계산부가 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산하는 단계; 를 포함한다.
또한 상기 (g) 과정에서, 상기 변환부가 임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환하는 것을 특징으로 한다.
그리고 상기 (g) 과정에서, 상기 변환부가 확대, 축소, 평면의 회전, 수평 및 수직방향으로의 이동 중, 적어도 어느 하나 이상의 변환을 수행하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 직전 프레임과 현재 프레임간의 관심영역 상의 옵티컬 플로우를 통한 특징점의 움직임 벡터를 확인하고, 비 관심영역에 대한 옵티컬 플로우에 대한 가중치를 관심영역 보다 낮게 설정함으로써, 영상의 흔들림 보정을 실시간으로 보정할 수 있는 효과가 있다.
그리고 본 발명에 따르면, 누적된 어파인 파라미터의 스무딩을 통해 예측된 값을 다음 프레임의 초기값으로 사용함으로써, 어파인 파라미터가 갱신됨에 따른 화면의 부자연스러움을 방지할 수 있는 효과도 있다.
도 1 은 본 발명에 따른 관심 영역 추적을 통한 실시간 영상 안정화 장치를 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 두 개의 프레임을 이용하여 옵티컬 플로우를 계산한 결과를 보이는 일예시도.
도 3 은 본 발명에 따른 관심 영역 추적을 통한 실시간 영상 안정화 방법에 관한 전체 흐름도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 관심 영역 추적을 통한 실시간 영상 안정화 장치에 관하여 도 1 내지 도 2 를 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 관심 영역 추적을 통한 실시간 영상 안정화 장치를 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 영역 지정부(100), 관심영역 추적부(200), 옵티컬 플로우 계산부(300), 가중치 설정부(400), 파라미터 계산부(500), 스무딩부(600), 변환부(700) 및 초기화부(800)를 포함하여 이루어진다.
영역 지정부(100)는 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정한다.
관심영역 추적부(200)는 지정된 관심영역을 추적하여 화면에 표시한다.
이때, 관심영역 추적부(200)는 자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법 등을 이용할 수 있으며, 실시간 영상에선 추적 중인 관심영역(물체)을 화면 가운데 위치하도록 하기 위해, 추적된 관심영역(물체)의 화면 상의 위치 변화에 따른 카메라의 PTZ(Pan-Tilt-Zoom)을 조정할 수도 있다.
옵티컬 플로우 계산부(300)는 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산한다.
본 실시예에서의 옵티컬 플로우는 모든 픽셀의 움직임을 계산하는 2차원 밀집 옵티컬 플로우로서, 옵티컬 플로우 계산부(300)는 모든 픽셀 간의 옵티컬 플로우를 계산한다.
이때, 계산된 옵티컬 플로우는 카메라의 움직임을 예측하기 위하여 사용되므로, 정확한 옵티컬 플로우의 계산은 향상된 안정화 결과를 얻을 수 있다.
가중치 설정부(400)는 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 설정한다.
이때, 가중치 설정부(400)는 비 관심영역의 움직임 벡터는 전역 움직임 벡터로서, 관심영역의 움직임 벡터에 대한 가중치보다 낮게 설정한다.
즉, 비 관심영역의 옵티컬 플로우의 가중치(1-π)를 관심영역의 옵티컬 플로우의 가중치(π)를 낮게 설정함으로써, 관심영역의 움직임 보상을 더욱 효과적으로 수행하게 한다.
파라미터 계산부(500)는 가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고 누적하는 기능을 수행하는 바, 상기 도 1 에 도시된 바와 같이 파라미터 계산모듈(510) 및 파라미터 누적모듈(520)을 포함한다.
구체적으로, 파라미터 계산모듈(510)은 관심영역과 비 관심영역에 대하여 각각에 대하여, 가중치 설정부(400)를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하고, 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하며, 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산한다.
여기서, 어파인 모션 모델은 아래의 [수식 1] 과 같으며, n개의 픽셀에 대한 어파인 모션 모델은 [수식 2] 와 같다.
[수식 1]
Figure 112014025251767-pat00001
[수식 2]
Figure 112014025251767-pat00002
상기한 [수식 2] 에서 (x, y)의 좌표와 (x', y')의 좌표의 오차를 함수로 표현하면 [수식 3] 과 같은 에러 함수로 정의할 수 있다.
[수식 3]
Figure 112014025251767-pat00003
즉, 파라미터 계산모듈(510)은 [수식 3] 과 같은 에러 함수를 통해 에러가 최소가 되는 어파인 파라미터를 결정할 수도 있다.
한편, [수식 2] 를 통해 계산된 값들 중, 이상치(outlier)가 포함될 수 있다. 따라서, 이상치 제거부(500')가 더 포함될 수 있다. 도 2 의 (c) 는 인접한 두 개의 프레임, 도 2 의 (a) 와 (b) 를 대상으로 옵티컬 플로우를 계산한 결과다. 도 2 의 (c) 에서의 붉은색 원은 다른 위치의 옵티컬 플로우들과 다른 값을 가지고 있다. 이러한 값들을 이상치(outlier)라 정의하며, 이상치들은 어파인 파라미터를 계산하는데 있어 민감한 요소로 작용을 한다. 더 정확한 어파인 파라미터를 계산하기 위해서는 이러한 이상치를 제거해야만 한다.
도 2 와 같이, 옵티컬 플로우의 목적좌표와, 계산된 어파인 파라미터 값을 이용하여 다시 계산 하였을 때 오차거리가 어느 정도 값보다 크다면 이상치로 판단을 한다.
이러한 이상치 제거부(500')는 1) 계산된 옵티컬 플로우 세트로 어파인 파라미터를 계산하고, 2) 옵티컬 플로우 세트의 목적지(destination) 좌표와 계산된 어파인 파라미터를 이용하여 재계산된 옵티컬 플로우 세트의 목적지(destination) 좌표와의 오차를 계산하여 두 점간의 오차를 계산한다. 또한, 3) 평균 오차거리에 허용오차 값을 더한 값보다 큰 값들이 발견되면, 그 값들을 제외한 값들의 옵티컬 플로우 세트를 이용하여 다시 계산을 한다. 4) 이상치가 발견되지 않을 때까지 2)와 3) 과정을 반복한다.
파라미터 누적모듈(520)은 다음 키프레임이 나오는 프레임까지 어파인 파라미터를 누적한다.
이는, 실시간성을 위해 연속된 2개의 프레임(현재 프레임과 직전 프레임)으로만 움직임 벡터를 찾는 과정의 에러를 줄이기 위한 것으로서, 파라미터 누적모듈(520)은 움직임 벡터를 다음 키프레임이 나오는 프레임까지 어파인 파라미터를 누적한다.
스무딩부(600)는 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩한다. 이때, 스무딩 필터는, 이동평균의 윈도우 사이즈, 데이터의 위치에 따른 미리 계산된 가중치 값을 이용한 이동 평균의 한 종류로서, 본 발명에서는 윈도우 사이즈를 25로 설정하여 그에 해당하는 계수 값을 사용한다.
즉, 어파인 파라미터에 대한 스무딩을 통해 잡음을 제거하고, 카메라의 의도된 움직임만을 얻어낼 수 있다.
변환부(700)는 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하며, 이러한 어파인 변환을 통해 안정화된 영상을 얻을 수 있다.
구체적으로, 변환부(700)는 회전, 확대 축소와 같은 기하학적 변환을 단순하게 모델링하는 [수식 4] 와 같은 어파인 변환을 이용하여, 임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환한다.
[수식 4]
Figure 112014025251767-pat00004
여기서, 이차원 평면에서는 6개의 어파인 파라미터를 가진다. 어파인 파라미터 a, e는 확대, 축소와 같은 기하학적 변화에 영향을 미치며, 어파인 파라미터 b, d는 평면의 회전에 영향을 미치며, 어파인 파라미터 c, f는 각각 수평 및 수직방향으로의 이동을 나타낸다.
초기화부(800)는 키프레임에서 어파인 파라미터가 갱신되면서 화면이 부자연스러워지는 것을 방지하고자, 스무딩부(600)를 통해 예측된 값을 다음 프레임에서 초기값으로 사용한다.
이하에서는, 상술한 장치를 이용한 관심 영역 추적을 통한 실시간 영상 안정화 방법에 관하여 도 3 을 참조하여 설명하면 다음과 같다.
도 3 은 본 발명에 따른 관심 영역 추적을 통한 실시간 영상 안정화 방법에 관한 전체 흐름도로서, 도시된 바와 같이 영역 지정부(100)는 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하고(S10), 관심영역 추적부(200)는 자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법 등을 이용하여, 지정된 관심영역을 추적하여 화면에 표시한다(S20).
또한, 옵티컬 플로우 계산부(300)는 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하며(S30), 가중치 설정부(400)는 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 설정하되, 관심영역의 움직임 보상을 더욱 효과적으로 수행하기 위하여, 비 관심영역의 옵티컬 플로우의 가중치(1-π)를 관심영역의 옵티컬 플로우의 가중치(π)를 낮게 설정한다(S40).
이후, 파라미터 계산부(500)의 파라미터 계산모듈(510)은 관심영역과 비 관심영역에 대하여 각각에 대하여, 가중치 설정부(400)를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하고(S50), 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하며(S60), 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산한다(S70).
또한, 파라미터 계산부(500)의 파라미터 누적모듈(520)은 다음 키프레임이 나오는 프레임까지 어파인 파라미터를 누적한다(S80).
뒤이어, 스무딩부(600)는 잡음을 제거하고, 카메라의 의도된 움직임만을 얻어낼 수 있도록, 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하고(S90), 변환부(700)는 안정화된 영상을 얻을 수 있도록, 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하되, 임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환한다(S100).
그리고, 초기화부(800)는 키프레임에서 어파인 파라미터가 갱신되면서 화면이 부자연스러워지는 것을 방지하고자, 스무딩부(600)를 통해 예측된 값을 다음 프레임에서 초기값으로 사용한다(S110).
지금까지 상술한 바와 같은, 본 발명에 따른 관심 영역 추적 및 실시간 영상 안정화 장치 및 그 방법은, 영상의 흔들림 보정이 필요한 모바일 기기, 무인 비행체 등의 다양한 분야에서 사용될 수 있다는 특징적인 장점을 갖는다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 영역 지정부 200: 관심영역 추적부
300: 옵티컬 플로우 계산부 400: 가중치 설정부
500: 파라미터 계산부 600: 스무딩부
700: 변환부 800: 초기화부
510: 파라미터 계산모듈 520: 파라미터 누적모듈

Claims (14)

  1. 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하는 영역 지정부;
    지정된 관심영역을 추적하여 화면에 표시하는 관심영역 추적부;
    영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하는 옵티컬 플로우 계산부;
    관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 각각 다르게 설정하는 가중치 설정부;
    가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고, 누적하는 파라미터 계산부;
    스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하여 잡음을 제거하는 스무딩부; 및
    스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하는 변환부; 를 포함하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  2. 제 1 항에 있어서,
    상기 관심영역 추적부는,
    자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법을 이용하여 관심영역을 추적하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  3. 제 1 항에 있어서,
    상기 옵티컬 플로우는,
    모든 픽셀의 움직임을 계산하는 2차원 밀집 옵티컬 플로우인 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  4. 제 1 항에 있어서,
    상기 가중치 설정부는,
    상기 비 관심영역의 옵티컬 플로우의 가중치를 관심영역의 옵티컬 플로우의 가중치보다 낮게 설정하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  5. 제 1 항에 있어서,
    상기 파라미터 계산부는,
    관심영역과 비 관심영역에 대하여 각각에 대하여, 상기 가중치 설정부를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하고, 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하며, 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산하는 파라미터 계산모듈; 및
    다음 키프레임이 나오는 프레임까지 어파인 파라미터를 누적하는 파라미터 누적모듈; 을 포함하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  6. 제 1 항에 있어서,
    상기 변환부는,
    임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  7. 제 1 항 또는 제 6 항에 있어서,
    상기 변환부는,
    확대, 축소, 평면의 회전, 수평 및 수직방향으로의 이동 중, 적어도 어느 하나 이상의 변환을 수행하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 장치.
  8. (a) 영역 지정부가 흔들림이 발생한 영상에 대한 관심영역과 비 관심영역을 지정하는 과정;
    (b) 관심영역 추적부가 지정된 관심영역을 추적하여 화면에 표시하는 과정;
    (c) 옵티컬 플로우 계산부가 영상의 현재 프레임과 직전 프레임 간의 옵티컬 플로우를 계산하는 과정;
    (d) 가중치 설정부가 관심영역과 비 관심영역의 옵티컬 플로우에 대한 가중치를 각각 다르게 설정하는 과정;
    (e) 파라미터 계산부가 가중치가 설정된 옵티컬 플로우를 바탕으로 관심영역과 비 관심영역에 대하여 각각의 어파인 파라미터를 계산하고, 누적하는 과정;
    (f) 스무딩부가 스무딩 필터를 이용하여, 누적된 어파인 파라미터를 스무딩하여 잡음을 제거하는 과정; 및
    (g) 변환부가 스무딩된 어파인 파라미터를 이용하여, 영상을 어파인 변환하는 과정; 을 포함하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  9. 제 8 항에 있어서,
    상기 (b) 과정에서,
    상기 관심영역 추적부는,
    자연특징 추적(Natural Feature Tracking: NFT) 또는 Mean-shift 방법을 이용하여 관심영역을 추적하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  10. 제 8 항에 있어서,
    상기 옵티컬 플로우는,
    모든 픽셀의 움직임을 계산하는 2차원 밀집 옵티컬 플로우인 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  11. 제 8 항에 있어서,
    상기 (d) 과정에서,
    상기 가중치 설정부는,
    상기 비 관심영역의 옵티컬 플로우의 가중치를 관심영역의 옵티컬 플로우의 가중치보다 낮게 설정하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  12. 제 8 항에 있어서,
    상기 (e) 과정에서,
    (e-1) 상기 파라미터 계산부가 관심영역과 비 관심영역에 대하여 각각에 대하여, 상기 가중치 설정부를 통해 가중치가 설정된 옵티컬 플로우를 바탕으로 어파인 모션 모델을 구하는 단계;
    (e-2) 상기 파라미터 계산부가 구해진 어파인 모션 모델을 통해 n개의 픽셀에 대한 옵티컬 플로우 세트를 계산하는 단계; 및
    (e-3) 상기 파라미터 계산부가 계산된 옵티컬 플로우 세트를 바탕으로 최소 제곱법을 통해 어파인 파라미터를 계산하는 단계; 를 포함하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  13. 제 8 항에 있어서,
    상기 (g) 과정에서,
    상기 변환부가 임의의 영상의 모든 픽셀 좌표를 대상 이미지의 픽셀 좌표로 변환하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
  14. 제 8 항 또는 13 항에 있어서,
    상기 (g) 과정에서,
    상기 변환부가 확대, 축소, 평면의 회전, 수평 및 수직방향으로의 이동 중, 적어도 어느 하나 이상의 변환을 수행하는 것을 특징으로 하는 관심 영역 추적을 통한 실시간 영상 안정화 방법.
KR1020140030809A 2014-03-17 2014-03-17 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법 KR101538923B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140030809A KR101538923B1 (ko) 2014-03-17 2014-03-17 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030809A KR101538923B1 (ko) 2014-03-17 2014-03-17 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101538923B1 true KR101538923B1 (ko) 2015-07-27

Family

ID=53875128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030809A KR101538923B1 (ko) 2014-03-17 2014-03-17 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101538923B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190071534A (ko) * 2017-12-14 2019-06-24 포디리플레이코리아 주식회사 다채널 영상 안정화 장치 및 방법
CN110611771A (zh) * 2019-10-18 2019-12-24 浙江大华技术股份有限公司 聚焦位置的设置方法及装置、存储介质、电子装置
KR102144974B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 화재 검출 시스템
CN113160277A (zh) * 2021-01-29 2021-07-23 北京小米松果电子有限公司 一种图像处理方法、装置、电子设备及存储介质
US11245887B2 (en) 2017-09-14 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and operation method therefor

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hu, Rong, et al. "Video stabilization using scale-invariant features." Information Visualization, 2007. IV'07. 11th International Conference. IEEE, 2007. *
K. Palaniappan, et al. "Efficient feature extraction and likelihood fusion for vehicle tracking in low frame rate airborne video." Information fusion (FUSION), 2010 13th Conference on. IEEE, 2010. *
Yang, Junlan, et al. "Robust video stabilization based on particle filter tracking of projected camera motion." Circuits and Systems for Video Technology, IEEE Tr.19.7 (2009): 945-954. *
배주한, 황영배, 최병호, 전재열, "실시간 영상 안정화를 위한 키프레임과 관심영역 선정", 한국방송공학회 2011년도 추계학술대회, 2011.11, pp.288-291. *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245887B2 (en) 2017-09-14 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and operation method therefor
KR20190071534A (ko) * 2017-12-14 2019-06-24 포디리플레이코리아 주식회사 다채널 영상 안정화 장치 및 방법
KR101993468B1 (ko) * 2017-12-14 2019-06-27 포디리플레이코리아 주식회사 다채널 영상 안정화 장치 및 방법
CN110611771A (zh) * 2019-10-18 2019-12-24 浙江大华技术股份有限公司 聚焦位置的设置方法及装置、存储介质、电子装置
CN110611771B (zh) * 2019-10-18 2021-04-30 浙江大华技术股份有限公司 聚焦位置的设置方法及装置、存储介质、电子装置
KR102144974B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 화재 검출 시스템
WO2021091021A1 (ko) * 2019-11-08 2021-05-14 주식회사 알체라 화재 검출 시스템
CN113160277A (zh) * 2021-01-29 2021-07-23 北京小米松果电子有限公司 一种图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR101538923B1 (ko) 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법
JP6124588B2 (ja) 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US8743222B2 (en) Method and apparatus for cropping and stabilization of video images
JP4430727B2 (ja) 映像安定化のための動きフィルタ処理
US10917567B2 (en) Image processing apparatus, image processing method, program, and image pickup system
CN105611116B (zh) 一种全局运动矢量估计方法及监控视频稳像方法及装置
US9838604B2 (en) Method and system for stabilizing video frames
JP2016046666A (ja) 撮像装置およびその制御方法、並びにプログラム
JP2011139167A (ja) 撮像装置及び振れ補正方法
US9924097B2 (en) Apparatus, method and recording medium for image stabilization
JP2014176007A (ja) 撮像装置およびその制御方法
JP2008160300A (ja) 画像処理装置及び撮像装置
US20120002842A1 (en) Device and method for detecting movement of object
US9204059B2 (en) Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6245968B2 (ja) 画像処理装置、撮像装置および制御方法
TWI632814B (zh) 視訊畫幀產生方法及其系統
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP6639151B2 (ja) 撮像制御装置、撮像装置および撮像制御プログラム
JP6188369B2 (ja) 撮像装置
KR20160099763A (ko) 병렬 처리를 이용한 영상의 실시간 안정화 장치
JP6346653B2 (ja) 像ブレ補正装置及び像ブレ補正方法、プログラム、記憶媒体
KR20150110069A (ko) 입체 영상 카메라 장치 및 이의 얼라인먼트 조절 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180716

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190819

Year of fee payment: 5