KR100898406B1 - 디지털 영상 안정화 시스템 및 방법 - Google Patents

디지털 영상 안정화 시스템 및 방법 Download PDF

Info

Publication number
KR100898406B1
KR100898406B1 KR1020070117673A KR20070117673A KR100898406B1 KR 100898406 B1 KR100898406 B1 KR 100898406B1 KR 1020070117673 A KR1020070117673 A KR 1020070117673A KR 20070117673 A KR20070117673 A KR 20070117673A KR 100898406 B1 KR100898406 B1 KR 100898406B1
Authority
KR
South Korea
Prior art keywords
image frame
image
frame
sub
current image
Prior art date
Application number
KR1020070117673A
Other languages
English (en)
Inventor
백준기
이진희
김동균
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020070117673A priority Critical patent/KR100898406B1/ko
Application granted granted Critical
Publication of KR100898406B1 publication Critical patent/KR100898406B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00—Networks using digital techniques
    • H03H17/02—Frequency selective networks
    • H03H17/0202—Two or more dimensional filters; Filters for complex signals
    • H03H2017/0205—Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

디지털 영상 안정화 시스템 및 방법이 개시된다. 프레임 저장부에는 입력되는 영상 프레임들이 저장된다. LMV 추정부는 현재 영상 프레임으로부터 복수 개의 하위 영상을 추출하고, 위상 상관 알고리즘을 이용하여 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 지역 움직임 벡터(Local Motion Vector : LMV)를 추정한다. FMV 결정부는 현재 영상 프레임에 대해 얻어진 복수 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 현재 영상 프레임에 대한 프레임 움직임 벡터(Frame Motion Vector : FMV)를 결정한다. AMV 산출부는 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 FMV를 누적하여 누적 움직임 벡터(Accumulated Motion Vector : AMV)를 산출한다. 영상 안정화부는 기준 영상 프레임에 대해 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 프레임 저장부에 저장되어 있는 현재 영상 프레임을 안정화하여 출력한다. 본 발명에 따르면, 에지를 포함하고 있는 배경 영역으로부터 추출된 하위 영상만을 선택하여 움직임을 추정함으로써, 영상 내에 존재하는 패턴의 위치와 관계없이 카메라의 흔들림에 의해 저하된 영상의 품질을 개선할 수 있다.

Description

디지털 영상 안정화 시스템 및 방법{System and method for stabilizing digital video}
본 발명은 디지털 영상 안정화 장치 및 방법에 관한 것으로, 보다 상세하게는, 촬영시의 손떨림 등에 의해 저하된 영상의 화질을 개선할 수 있는 디지털 영상 안정화 장치 및 방법에 관한 것이다.
고정되지 않은 카메라에 의해 야기되는 원치않는 움직임과 떨림은 객관적 및 주관적인 관점에서 영상의 품질을 치명적으로 저하시킬 수 있다. 촬영시의 이러한 움직임은 종종 일반적인 변화 검출 알고리즘의 오기능과 더불어 현재 영상과 참조 영상의 부정확한 중첩을 야기한다. 자동 줌 기능을 가진 소형 비디오 카메라는 종종 손떨림에 의해 야기되는 확대된 영상의 진동을 일으키기 쉽기 때문에 영상 품질을 개선하기 위한 다양한 디지털 영상 안정화 시스템들이 개발되어 왔다. 디지털 영상 안정화 시스템은 움직임 추정 및 움직임 보상 시스템으로 나누어질 수 있다. 움직임 추정 시스템은 화면내 전역 움직임 벡터(inter-frame global motion vector)를 계산하여 움직임 보상 시스템에 제공한다. 움직임 보상 시스템은 움직임 벡터에 따라 영상 시퀀스를 안정화한다. 움직임 저하를 최소화하기 위해 다양한 디 지털 영상 안정화 시스템이 개발된 바 있다. 대부분의 움직임 추정 시스템은 블록 정합 또는 위상 상관 알고리즘을 적용한다. 블록 정합시 포인트 정합(point matching), 에지 패턴 정합(edge pattern matching), 그레이 코드 비트 플레인 정합(gray-coded bit-plane matching), 블록 움직임 벡터 필터링 등과 같은 다양한 정합 표준이 개발된 바 있다. 그러나 블록 정합은 추정 영역에 명확한 패턴이 존재하지 않는 경우에 적합치 않다.
한편 손떨림이나 심장박동 등으로 인해 저하된 영상의 품질을 개선하기 위해 SRAM에 집적된 단일 FPGA(Field Programmable Gate Arrays) 또는 FPGA 선형 어레이를 이용하여 많은 고객측 연산 장치에 기반한 FPGA(FPGA based Custom Computing Machines : FCCM)이 제안된 바 있다. 그러나 이러한 접근의 구체화는 연산 기능을 수행하고 연산 데이터를 저장하는 FPGA에 의해 제한을 받는다.
본 발명이 이루고자 하는 기술적 과제는, 영상 내에 존재하는 패턴의 위치와 관계없이 카메라의 흔들림에 의해 저하된 영상의 품질을 개선할 수 있는 디지털 영상 안정화 시스템 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상 내에 존재하는 패턴의 위치와 관계없이 카메라의 흔들림에 의해 저하된 영상의 품질을 개선할 수 있는 디지털 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 디지털 영상 안정화 시스템의 바람직한 실시예는, 입력되는 영상 프레임들이 저장되는 프레임 저장부; 현재 영상 프레임으로부터 복수 개의 하위 영상을 추출하고, 위상 상관 알고리즘을 이용하여 상기 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 상기 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 지역 움직임 벡터(Local Motion Vector : LMV)를 추정하는 LMV 추정부; 상기 현재 영상 프레임에 대해 얻어진 복수 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터(Frame Motion Vector : FMV)를 결정하는 FMV 결정부; 기준 영상 프레임으로부터 상기 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 FMV를 누적하여 누적 움직임 벡 터(Accumulated Motion Vector : AMV)를 산출하는 AMV 산출부; 및 상기 기준 영상 프레임에 대해 상기 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 상기 프레임 저장부에 저장되어 있는 상기 현재 영상 프레임을 안정화하여 출력하는 영상 안정화부;를 구비하며, 상기 LMV 추정부는, 각각의 영상 프레임에 대해 고정적으로 설정되어 있는 복수개의 하위 영상 추출 영역으로부터 후보 영상을 추출하는 후보 영상 추출부; 상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 에지를 검출하고, 상기 현재 영상 프레임을 구성하는 각각의 화소에 대한 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정하는 에지 검출부; 상기 에지 화소의 개수가 소정 개수 이상인 후보 영상 중에서 에지 화소의 개수가 많은 순서대로 사전에 설정된 개수의 후보 영상을 하위 영상으로 결정하는 하위 영상 결정부; 및 위상 상관에 기반하여 상기 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각의 LMV를 산출하는 LMV 산출부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 디지털 영상 안정화 방법의 바람직한 실시예는, 현재 영상 프레임으로부터 입력되는 영상 프레임에 대해 고정적으로 설정되어 있는 복수 개의 하위 영상 추출 영역으로부터 후보 영상을 추출하는 단계; 상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 에지를 검출하고, 상기 현재 영상 프레임을 구성하는 각각의 화소에 대한 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정하는 단계; 상기 에지 화소의 개수가 소정 개수 이상인 후보 영상 중에서 에지 화소의 개수가 많은 순서대 로 사전에 설정된 개수의 후보 영상을 하위 영상으로 결정하는 단계; 위상 상관에 기반하여 상기 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각의 지역 움직임 벡터(Local Motion Vector : LMV)를 추정하는 단계; 상기 현재 영상 프레임에 대해 얻어진 복수 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터(Frame Motion Vector : FMV)를 결정하는 단계; 기준 영상 프레임으로부터 상기 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 FMV를 누적하여 누적 움직임 벡터(Accumulated Motion Vector : AMV)를 산출하는 단계; 및 상기 기준 영상 프레임에 대해 상기 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 입력되는 영상 프레임들이 저장되는 프레임 메모리에 저장되어 있는 상기 현재 영상 프레임을 안정화하여 출력하는 단계;를 갖는다.
본 발명에 따른 디지털 영상 안정화 시스템 및 방법에 의하면, 실시간으로 손떨림이나 심장박동 등에 의한 카메라의 움직임을 실시간으로 추정하여 효율적이고 강인하게 디지털 영상의 품질을 개선할 수 있다. 또한 에지를 포함하고 있는 배경 영역으로부터 추출된 하위 영상만을 선택하여 움직임을 추정함으로써, 영상 내에 존재하는 패턴의 위치와 관계없이 카메라의 흔들림에 의해 저하된 영상의 품질을 개선할 수 있다. 나아가 영상 안정화 시스템의 부피와 전력 소모를 획기적으로 줄일 수 있어, 캠코더, 디지털카메라, 핸드폰 카메라 등에 적용할 경우에 성능향상 과 더불어 가격인하가 가능하다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 디지털 영상 안정화 시스템 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 디지털 영상 안정화 시스템에 대한 바람직한 실시예의 상세한 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 디지털 영상 안정화 시스템은 LMV 추정부(110), FMV 결정부(120), AMV 산출부(130), 영상 안정화부(140) 및 프레임 메모리(150)를 구비한다.
LMV 추정부(110)는 위상 상관 알고리즘을 이용하여 영상 프레임 상의 상이한 위치로부터 추출된 하위 영상으로부터 지역 움직임 벡터(Local Motion Vector : LMV)를 생성한다. 위상 상관 알고리즘은 두 함수의 동등한 영상 프레임에서의 이동은 푸리에 도메인에서 선형 위상 차이로 변환된다는 푸리에 변환의 천이 특성에 기반한다. 이때 fk(x,y)와 fk + 1(x,y)를 R2에 대해 절대적으로 적분가능한 함수라 하면, 이는 다음의 수학식으로 표현된다.
Figure 112007082630123-pat00001
푸리에 천이 특성에 따라 수학식 1은 다음과 같이 변환된다.
Figure 112007082630123-pat00002
여기서,
Figure 112007082630123-pat00003
는
Figure 112007082630123-pat00004
의 푸리에 변환을 의미한다.
따라서 정규화된 크로스 파워 스펙트럼은 다음과 같이 주어진다.
Figure 112007082630123-pat00005
여기서, *는 켤레 복소수를 의미한다.
정규화된 크로스 파워 스펙트럼은 또한 백색 신호의 크로스 파워 스펙트럼으로 볼 수 있다. (d1, d2)에 대한 두 가지 방법으로 수학식 3을 풀 수 있다. 하나는 푸리에 도메인에서 기준 프레임이 두 개의 주파수 축과 두 영상 사이의 위상 차에 의해 주어지는 3차원(3-D) 유클리드 공간을 이용한다. 보다 실질적이고 강인한 방법은 정규화된 크로스 파워 스펙트럼의 역 푸리에 변환을 수행하는 것이다. 이 경우 수학식 3으로부터 δ(x-d1, y-d2)는 (d1, d2)를 중심으로 하고 두 개의 영상 사이의 변위를 나타내는 디랙 델타 함수(Dirac Delta Function)이므로, 직접적으로 (d1, d2)가 결정된다.
각각의 영상 프레임에서 도 2a 및 도 2b에 도시된 바와 같은 네 개의 하위 영상들이 정의된다. 이러한 하위 영상들은 위상 상관을 이용하여 LMV를 결정하기 위해 사용된다. 효율적인 고속 푸리에 변환(Fast Fourier Transform : FFT)을 위해 하위 영상들은 수직 및 수평으로 픽셀 크기가 2의 거듭제곱인 사각형으로 설정된다. 일반적으로 64×64(픽셀) 크기의 하위 영상이 연산량을 줄이고 동시에 정확한 추정을 위해 충분히 큰 영역을 유지하기에 적절하다.
LMV 추정부(110)는 임의의 영상 프레임 내의 모든 네 개의 하위 영상들에 대해 위상 상관에 기반하여 이전 영상 프레임의 대응하는 하위 영상들로부터 LMV를 추정한다. 각각의 하위 영상에 대해 대응하는 위상 상관 표면 상에서 가장 큰 피크 크기 위치가 대응하는 피크 크기를 가진 LMV로서 할당된다. 이때 하위 영상들은 객체의 움직임이 존재하지 않는 영역으로부터 선택되어야 한다. 도 2a 및 도 2b에는 각각 하위 영상이 선택되는 영역들을 피사체가 위치하는 촬영영역인 영상 프레임의 중앙을 제외한 네 개의 모서리 영역 및 네 개의 변 영역에 설정한 예들이 도시되어 있다.
그러나 도 2a 및 도 2b에 도시된 바와 같이 네 개의 영역으로부터 하위 영상을 선택하는 경우에 해당 영역(즉, 피사체가 위치하는 촬영영역을 제외한 배경 영역)에 패턴이 없는 경우에 LMV 추정에 있어서 심각한 오류가 발생할 수 있다. 이러한 문제는 하위 영상의 갯수를 증가시킨 후 각각의 하위 영상으로부터 검출한 에지를 기준으로 LMV를 추정할 하위 영상을 결정하는 방법에 의해 극복될 수 있다. 도 3에는 이를 위한 LMV 추정부(110)의 상세한 구성이 도시되어 있다.
도 3을 참조하면, LMV 추정부(110)는 후보 영상 추출부(112), 에지 검출부(114), 하위 영상 결정부(116) 및 LMV 산출부(118)를 구비한다.
후보 영상 추출부(112)는 현재 영상 프레임의 각 변으로부터 일정한 거리(예를 들면, 16 픽셀)만큼 떨어진 지점에 각 변과 나란하게 배치되되, 서로 일정한 간격(예를 들면, 8 픽셀)만큼 이격되어 배치된 하위 영상 추출 영역으로부터 후보 영상을 추출한다. 이때 하위 영상 추출 영역의 형태는 사각형이며, 크기는 16×16(픽셀), 32×32(픽셀) 및 64×64(픽셀) 중에서 선택된다. 이와 달리 네 개의 모서리에 위치한 하위 영상 추출 영역의 형태는 16×16(픽셀), 32×32(픽셀) 및 64×64(픽셀) 중에서 선택된 크기를 갖는 정사각형으로 설정되고, 각각의 정사각형의 하위 영상 추출 영역 사이에 영상 프레임의 변과 나란한 방향으로의 길이가 길게 설정된 16×32(픽셀), 32×64(픽셀) 및 64×128(픽셀) 중에서 선택된 크기를 갖는 직사각형으로 설정될 수 있다. 또한 하위 영상 추출 영역은 16×16(픽셀), 32×32(픽셀) 및 64×64(픽셀) 중에서 선택된 크기를 갖는 정사각형의 형상으로 설정되되, 영상 프레임 전체에 무작위로 배치될 수도 있다. 이때 하위 영상 추출 영역의 개수는 하나의 영상 프레임에 대해 얻어지는 LMV의 개수가 2개 이상이 될 수 있도록 설정되어야 하며, 바람직하게는 하위 영상 추출 영역의 개수는 16개 이상 설정된다. 도 4에는 영상 프레임에 대해 설정되는 하위 영상 추출 영역의 다양한 예가 도시되어 있다.
에지 검출부(114)는 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 프리윗 마스크에 의한 연산을 수행하여 에지를 검출한다. 이를 위해 먼저 에지 검출부(114)는 후보 영상을 프리윗 마스크의 크기를 기준으로 확장시킨다. 도 5에는 m×n(픽셀) 크기의 프리윗 마스크를 사용할 경우에 s×t(픽셀) 크기의 원 후 보 영상과 확장된 후보 영상이 도시되어 있다. 확장된 후보 영상의 크기를 s'×t'(픽셀)이라 하면, 원 후보 영상은 다음의 수학식에 의해 확장된다.
Figure 112007082630123-pat00006
만약 도 6에 도시된 바와 같은 3×3(픽셀) 크기의 프리윗 마스크를 사용하여 에지를 검출하면, 수평방향에 대한 연산 결과 G(x)와 수직방향으로의 연산 결과 G(y)는 각각 다음의 수학식으로 표현된다.
Figure 112007082630123-pat00007
Figure 112007082630123-pat00008
도 7에는 원 후보 영상에 대해 도 6에 도시된 바와 같은 3×3(픽셀) 크기의 프리윗 마스크를 적용하여 얻어진 에지 영상이 도시되어 있다.
마지막으로 에지 검출부(114)는 다음의 수학식에 의해 원 후보 영상에 대한 에지 영상을 구성하는 각각의 화소에 대한 에지 크기를 산출한 후 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정한다.
Figure 112007082630123-pat00009
하위 영상 결정부(116)는 후보 영상 중에서 에지 화소의 개수가 많은 순서대로 소정 개수(예를 들면, 2개, 4개 등)의 후보 영상을 하위 영상으로 결정한다. 이때 하위 영상 결정부(116)는 후보 영상 중에서 에지 화소의 개수가 일정 개수(예를 들면, 에지 화소의 개수가 전체 화소의 50% 이상) 이상인 후보 영상만을 대상으로 하위 영상을 결정할 수 있다.
만약 하위 영상 추출 영역이 영상 프레임 전체에 무작위로 배치되는 경우에 추출된 후보 영상 중에서 움직이는 객체를 포함하고 있는 후보 영상의 움직임 벡터가 비정상적으로 크게 되며, 이러한 비정상적인 움직임 벡터는 하위 영상에서 제거되어야 한다. 따라서 이 경우 하위 영상 결정부(116)는 각각의 후보 영상 중에서 움직임 벡터의 크기가 사전에 설정된 임계값보다 작은 후보 영상을 선정하고, 이 중에서 일정 개수의 하위 영상을 결정한다.
LMV 산출부(118)는 위상 상관에 기반하여 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각의 LMV를 산출한다. 이와 같이 에지 성분이 충분하지 않은 영역으로부터 얻어진 움직임 정보를 제거할 수 있도록 하위 영상을 결정하면, 패턴이 없는 영역으로 인한 LMV 추정 오류를 방지할 수 있다. 도 8에는 도 2a에 도시된 하위 영역 추출 방법에 의해 얻어진 영상 프레임간의 차이와 에지 검출을 기초로 하위 영역을 추출하는 방법에 의해 얻어진 영상 프레임간의 차이가 도시되어 있다.
FMV 결정부(120)는 현재 영상 프레임에 대해 얻어진 네 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 현재 영상 프레임에 대한 FMV를 결정한다. 이때 도 9a 및 도 9b에 도시된 바와 같은 사각형 블록을 사용하면 FMV에 대한 보다 강인한 추정이 가능하다. 도 9a 및 도 9b에 도시된 바와 같이 효율적인 FFT 연산을 위해 촬영 영역을 기준으로 서로 대향하는 두 개의 블록들을 결합하여 하나의 사각형 블록으로 결합하면, 보다 정확한 수직 및 수평 움직임 벡터를 얻을 수 있다. 일반적으로 움직이는 객체를 가진 하위 영상으로부터 얻어진 LMV에는 에러가 존재한다. 따라서 에러가 포함된 LMV는 FMV 결정 과정에서 배제되어야 한다. 이를 위해 FMV 결정부(120)는 칼만 필터를 사용하여 최적의 FMV를 결정한다.
손움직임은 비디오 카메라의 프레임 레이트보다 상대적으로 느리므로, 카메라의 움직임에 의해 진동하는 두 개의 연속적인 영상 프레임의 FMV는 유사하다. 이러한 카메라의 움직임 특성에 기초하여 하위 영상으로부터 각각의 움직임 벡터 성분의 최대 피크를 독립적으로 선택하고 예측된 FMV에 가까운 LMV를 선택하기 위해 칼만 필터를 사용하여 간단하고 강인한 움직임 예측 및 보정을 수행할 수 있다. 현재 영상 프레임에 대한 FMV가 결정된 후 FMV 결정부(120)는 카메라의 움직임 또는 의도하지 않는 패닝 중 어느 것이 영상 프레임의 움직임에 영향을 주는지 결정한다. 움직임 보상의 핵심은 흔들림과 패닝을 구분하는 것이다. 흔들림은 안정화되어야할 진동하는 움직임이다. 흔들림의 경우에 이어지는 영상 프레임들 사이에 일정한 방향이 존재하지 않으며, 그 크기가 일반적으로 작다. 패닝은 사용자가 넓은 영역을 촬영하기 위해 의도한 움직임이다. 패닝은 동일한 방향성을 가지며, 변위가 흔들림보다 크다. 따라서 흔들림과 패닝은 움직임의 크기를 기준으로 구분될 수 있다. FMV의 절대값이 주어진 임계값 T보다 크면 패닝이 발생한 것이고, 임계값 T보 다 작으면 영상을 불안정하게 만드는 흔들림이 발생한 것으로 판단할 수 있다.
AMV 산출부(130)는 기준 영상 프레임(영상 안정화의 시작 시점에서 입력되는 최초의 영상 프레임)으로부터 연속되는 영상 프레임들의 FMV를 누적하여 누적 움직임 벡터(Accumulated Motion Vector)를 산출한다. 이때 AMV 산출부(130)는 다음의 수학식에 의해 AMV를 산출한다.
Figure 112007082630123-pat00010
여기서, t는 시간 인덱스이고, k는 0보다 크거나 같고 1보다 작거나 같은 상수로서 부드러운 패닝을 위해 사용되고 실질적으로 유효 AMV 영역을 확대시키며, α는 0보다 크거나 같고 1보다 작거나 같은 AMV에 가해지는 원치않는 잡음 영향을 필터링하기 위해 사용된다.
k 및 α가 모두 1일 때 수학식 8을 일반화하면 다음과 같다.
Figure 112007082630123-pat00011
여기서, FMV(0)은 기준 영상 프레임인 첫번째 프레임이다.
영상 안정화부(140)는 기준 영상 프레임에 대해 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 프레임 메모리(150)에 저장되어 있는 불안정한 현재 영상 프레임으로부터 적절한 영역을 독출하여 안정화된 영상을 생성한다.
도 10은 본 발명에 따른 디지털 영상 안정화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 후보 영상 추출부(112)는 하위 영상 추출 영역으로부터 후보 영상을 추출한다(S1000). 다음으로, 에지 검출부(114)는 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 프리윗 마스크에 의한 연산을 수행하여 에지를 검출한다(S1010). 다음으로, 에지 검출부(114)는 원 후보 영상에 대한 에지 영상을 구성하는 각각의 화소에 대한 에지 크기를 산출한 후 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정한다(S1020). 다음으로, 하위 영상 결정부(116)는 에지 화소의 개수가 일정 개수 이상인 후보 영상 중에서 에지 화소의 개수가 많은 순서대로 소정 개수의 후보 영상을 하위 영상으로 결정한다(S1030). LMV 산출부(118)는 위상 상관에 기반하여 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각의 LMV를 산출한다(S1040).
FMV 결정부(120)는 현재 영상 프레임에 대해 얻어진 네 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 현재 영상 프레임에 대한 FMV를 결정한다(S1050). AMV 산출부(130)는 연속되는 영상 프레임들의 FMV를 누적하여 AMV를 산출한다(S1060). 마지막으로 영상 안정화부(140)는 기준 영상 프레임에 대해 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 프레임 메모리(150)에 저장되어 있는 불안정한 현재 영상 프레임으로부터 적절한 영역을 독출하여 안정화된 영상을 생성한다(S1070).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 디지털 영상 안정화 시스템에 대한 바람직한 실시예의 상세한 구성을 도시한 도면,
도 2a 및 도 2b는 각각 하위 영상이 선택되는 영역들을 피사체가 위치하는 촬영영역인 영상 프레임의 중앙을 제외한 네 개의 모서리 영역 및 네 개의 변 영역에 설정한 예들을 도시한 도면,
도 3은 LMV 추정부(110)의 상세한 구성을 도시한 도면,
도 4는 영상 프레임에 대해 설정되는 하위 영상 추출 영역의 다양한 예를 도시한 도면,
도 5는 m×n(픽셀) 크기의 프리윗 마스크를 사용할 경우에 s×t(픽셀) 크기의 원 후보 영상과 확장된 후보 영상을 도시한 도면,
도 6은 3×3(픽셀) 크기의 프리윗 마스크를 도시한 도면,
도 7은 원 후보 영상에 대해 도 6에 도시된 3×3(픽셀) 크기의 프리윗 마스크를 적용하여 얻어진 에지 영상을 도시한 도면,
도 8은 도 2a에 도시된 하위 영역 추출 방법에 의해 얻어진 영상 프레임간의 차이와 에지 검출을 기초로 하위 영역을 추출하는 방법에 의해 얻어진 영상 프레임간의 차이를 도시한 도면,
도 9a 및 도 9b는 각각 도 2b에 도시된 하위 영상 선택 영역으로 추출된 대향하는 두 개의 하위 영상을 하나의 사각형 블록으로 결합하는 예를 도시한 도면, 그리고,
도 10은 본 발명에 따른 디지털 영상 안정화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

Claims (15)

  1. 입력되는 영상 프레임들이 저장되는 프레임 저장부;
    현재 영상 프레임으로부터 복수 개의 하위 영상을 추출하고, 상기 현재 영상 프레임에 시간적으로 앞서는 이전 영상 프레임의 대응되는 하위 영상과 상기 현재 영상 프레임으로부터 추출한 하위 영상 각각에 대해 상기 현재 영상 프레임과 상기 이전 영상 프레임의 대응되는 하위 영상들 사이의 이동을 푸리에 도메인에서의 선형 위상 차이로 변환하는 푸리에 변환의 천이 특성에 기반한 위상 상관 알고리즘을 이용하여 지역 움직임 벡터(Local Motion Vector : LMV)를 추정하는 LMV 추정부;
    상기 현재 영상 프레임에 대해 얻어진 복수 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터(Frame Motion Vector : FMV)를 결정하는 FMV 결정부;
    기준 영상 프레임으로부터 상기 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 FMV를 누적하여 누적 움직임 벡터(Accumulated Motion Vector : AMV)를 산출하는 AMV 산출부; 및
    상기 기준 영상 프레임에 대해 상기 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 상기 프레임 저장부에 저장되어 있는 상기 현재 영상 프레임을 안정화하여 출력하는 영상 안정화부;를 포함하며,
    상기 LMV 추정부는,
    각각의 영상 프레임에 대해 고정적으로 설정되어 있는 복수개의 하위 영상 추출 영역으로부터 후보 영상을 추출하는 후보 영상 추출부;
    상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 에지를 검출하고, 상기 현재 영상 프레임을 구성하는 각각의 화소에 대한 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정하는 에지 검출부;
    상기 에지 화소의 개수가 소정 개수 이상인 후보 영상 중에서 에지 화소의 개수가 많은 순서대로 사전에 설정된 개수의 후보 영상을 하위 영상으로 결정하는 하위 영상 결정부; 및
    위상 상관에 기반하여 상기 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각의 LMV를 산출하는 LMV 산출부;를 포함하는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  2. 제 1항에 있어서,
    상기 하위 영상 추출 영역은 영상 프레임의 각 변으로부터 일정한 거리만큼 떨어진 지점에 각 변과 나란하게 배치되되, 서로 일정한 간격만큼 이격되어 배치되는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  3. 제 2항에 있어서,
    상기 하위 영상 추출 영역 중에서 영상 프레임의 네 개의 모서리에 위치한 하위 영상 추출 영역의 형태는 정사각형으로 설정되고, 상기 각각의 정사각형의 하위 영상 추출 영역 사이에는 영상 프레임의 변과 나란한 방향으로의 길이가 길게 설정된 직사각형인 것을 특징으로 하는 디지털 영상 안정화 시스템.
  4. 제 1항에 있어서,
    상기 하위 영상 추출 영역은 정사각형의 형상으로 설정되되, 영상 프레임 전체에 무작위로 배치되는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  5. 제 4항에 있어서,
    상기 LMV 추정부는 상기 하위 영상 추출 영역으로부터 추출된 각각의 하위 영상 중에서 움직임 벡터의 크기가 사전에 설정된 임계값보다 작은 하위 영상에 대해서 상기 LMV를 추정하는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  6. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 에지 검출부는 상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 프리윗 마스크에 의한 연산을 수행하여 에지를 검출하는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  7. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 FMV 결정부는 칼만 필터를 사용하여 상기 현재 영상 프레임에 대한 최적의 FMV를 결정하는 것을 특징으로 하는 디지털 영상 안정화 시스템.
  8. 현재 영상 프레임으로부터 입력되는 영상 프레임에 대해 고정적으로 설정되어 있는 복수 개의 하위 영상 추출 영역으로부터 후보 영상을 추출하는 단계;
    상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 에지를 검출하고, 상기 현재 영상 프레임을 구성하는 각각의 화소에 대한 에지 크기가 소정의 임계값보다 큰 화소를 에지 화소로 결정하는 단계;
    상기 에지 화소의 개수가 소정 개수 이상인 후보 영상 중에서 에지 화소의 개수가 많은 순서대로 사전에 설정된 개수의 후보 영상을 하위 영상으로 결정하는 단계;
    상기 현재 영상 프레임에 대해 결정된 하위 영상들에 대응하는 이전 영상 프레임의 하위 영상들 각각과의 위치 이동 양에 해당하는 하위 영상 각각에 대해 상기 현재 영상 프레임과 상기 이전 영상 프레임의 대응되는 하위 영상들 사이의 이동을 푸리에 도메인에서의 선형 위상 차이로 변환하는 푸리에 변환의 천이 특성에 기반한 위상 상관 알고리즘을 이용하여 지역 움직임 벡터(Local Motion Vector : LMV)를 추정하는 단계;
    상기 현재 영상 프레임에 대해 얻어진 복수 개의 LMV를 평균하거나 피크가 큰 두 개의 LMV를 평균하여 상기 현재 영상 프레임에 대한 프레임 움직임 벡터(Frame Motion Vector : FMV)를 결정하는 단계;
    기준 영상 프레임으로부터 상기 현재 영상 프레임까지 연속되는 영상 프레임들에 대해 결정된 FMV를 누적하여 누적 움직임 벡터(Accumulated Motion Vector : AMV)를 산출하는 단계; 및
    상기 기준 영상 프레임에 대해 상기 현재 영상 프레임의 움직임을 보상할 수 있는 최적의 움직임 벡터인 AMV를 기초로 입력되는 영상 프레임들이 저장되는 프레임 메모리에 저장되어 있는 상기 현재 영상 프레임을 안정화하여 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  9. 제 8항에 있어서,
    상기 하위 영상 추출 영역은 영상 프레임의 각 변으로부터 일정한 거리만큼 떨어진 지점에 각 변과 나란하게 배치되되, 서로 일정한 간격만큼 이격되어 배치되는 것을 특징으로 하는 디지털 영상 안정화 방법.
  10. 제 8항에 있어서,
    상기 하위 영상 추출 영역 중에서 영상 프레임의 네 개의 모서리에 위치한 하위 영상 추출 영역의 형태는 정사각형으로 설정되고, 상기 각각의 정사각형의 하위 영상 추출 영역 사이에는 영상 프레임의 변과 나란한 방향으로의 길이가 길게 설정된 직사각형인 것을 특징으로 하는 디지털 영상 안정화 방법.
  11. 제 8항에 있어서,
    상기 하위 영상 추출 영역은 정사각형의 형상으로 설정되되, 영상 프레임 전체에 무작위로 배치되는 것을 특징으로 하는 디지털 영상 안정화 방법.
  12. 제 11항에 있어서,
    상기 LMV 추정단계에서, 상기 하위 영상 추출 영역으로부터 추출된 각각의 하위 영상 중에서 움직임 벡터의 크기가 사전에 설정된 임계값보다 작은 하위 영상에 대해서 상기 LMV를 추정하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  13. 제 8항 내지 제 10항 중 어느 한 항에 있어서,
    상기 에지 검출단계에서 상기 현재 영상 프레임으로부터 추출된 각각의 후보 영상에 대해 프리윗 마스크에 의한 연산을 수행하여 에지를 검출하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  14. 제 8항 내지 제 12항 중 어느 한 항에 있어서,
    상기 FMV 결정단계에서 칼만 필터를 사용하여 상기 현재 영상 프레임에 대한 최적의 FMV를 결정하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  15. 제 8항 내지 제 12항 중 어느 한 항에 기재된 디지털 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070117673A 2007-11-19 2007-11-19 디지털 영상 안정화 시스템 및 방법 KR100898406B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070117673A KR100898406B1 (ko) 2007-11-19 2007-11-19 디지털 영상 안정화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070117673A KR100898406B1 (ko) 2007-11-19 2007-11-19 디지털 영상 안정화 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100898406B1 true KR100898406B1 (ko) 2009-05-21

Family

ID=40862270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070117673A KR100898406B1 (ko) 2007-11-19 2007-11-19 디지털 영상 안정화 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100898406B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
KR101458099B1 (ko) * 2013-04-24 2014-11-05 전자부품연구원 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
KR20150007881A (ko) * 2013-07-12 2015-01-21 삼성테크윈 주식회사 영상 안정화 장치 및 방법
KR20160005320A (ko) * 2015-12-23 2016-01-14 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무 판단에 근거한 문자 인식 방법, 기록 매체 및 휴대 단말
KR101612125B1 (ko) * 2009-06-12 2016-04-12 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020779A (ko) * 1993-02-27 1994-09-16 김광호 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
JP3104942B2 (ja) 1991-11-15 2000-10-30 エイ・ティ・アンド・ティ・コーポレーション デジタルビデオ信号の符号化装置
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
KR20070014913A (ko) * 2005-07-29 2007-02-01 재단법인서울대학교산학협력재단 촬상장치의 손떨림 보정방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104942B2 (ja) 1991-11-15 2000-10-30 エイ・ティ・アンド・ティ・コーポレーション デジタルビデオ信号の符号化装置
KR940020779A (ko) * 1993-02-27 1994-09-16 김광호 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
KR20070014913A (ko) * 2005-07-29 2007-02-01 재단법인서울대학교산학협력재단 촬상장치의 손떨림 보정방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101612125B1 (ko) * 2009-06-12 2016-04-12 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법
KR101202642B1 (ko) * 2011-09-30 2012-11-19 고려대학교 산학협력단 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
WO2013047954A1 (ko) * 2011-09-30 2013-04-04 고려대학교 산학협력단 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
KR101458099B1 (ko) * 2013-04-24 2014-11-05 전자부품연구원 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
KR20150007881A (ko) * 2013-07-12 2015-01-21 삼성테크윈 주식회사 영상 안정화 장치 및 방법
KR101883481B1 (ko) 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
KR20160005320A (ko) * 2015-12-23 2016-01-14 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무 판단에 근거한 문자 인식 방법, 기록 매체 및 휴대 단말
KR101667500B1 (ko) 2015-12-23 2016-10-18 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무 판단에 근거한 문자 인식 방법, 기록 매체 및 휴대 단말

Similar Documents

Publication Publication Date Title
JP4570244B2 (ja) ディジタル画像シーケンス用の自動安定化方法
US10404917B2 (en) One-pass video stabilization
EP2028840B1 (en) Apparatus and method for estimating motion due to hand trembling and image pickup device using the same
US7489341B2 (en) Method to stabilize digital video motion
KR100898406B1 (ko) 디지털 영상 안정화 시스템 및 방법
US7773674B2 (en) Image matching device and method for motion pictures
US8385418B2 (en) Dominant motion estimation for image sequence processing
US9712818B2 (en) Method for stabilizing a first sequence of digital image frames and image stabilization unit
US9332185B2 (en) Method and apparatus for reducing jitters of video frames
US20110188583A1 (en) Picture signal conversion system
IES20050090A2 (en) A digital image acquisition system having means for determining a camera motion blur function
EP2204982A1 (en) Method of generating motion vectors of images of a video sequence
US20150310594A1 (en) Method for imaging processing, and image processing device
KR101929494B1 (ko) 영상 처리 방법 및 장치
WO2006050782A1 (en) A digital image acquisition system having means for determining a camera motion blur function
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR20160044979A (ko) 영상 처리 방법 및 장치
US20100066842A1 (en) Method and apparatus for producing sharp frames with less blur
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
JP2007512750A (ja) ビデオ信号における局所的な画像空間−時間細部の検出
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
JP2007259104A (ja) ２画面間の移動ベクトル算出方法及びその装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151028

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 11