KR100866963B1 - 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 - Google Patents

수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 Download PDF

Info

Publication number
KR100866963B1
KR100866963B1 KR1020070024197A KR20070024197A KR100866963B1 KR 100866963 B1 KR100866963 B1 KR 100866963B1 KR 1020070024197 A KR1020070024197 A KR 1020070024197A KR 20070024197 A KR20070024197 A KR 20070024197A KR 100866963 B1 KR100866963 B1 KR 100866963B1
Authority
KR
South Korea
Prior art keywords
digital image
homography
current frame
image stabilization
feature points
Prior art date
Application number
KR1020070024197A
Other languages
English (en)
Other versions
KR20080083525A (ko
Inventor
짜오밍
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070024197A priority Critical patent/KR100866963B1/ko
Priority to US12/073,838 priority patent/US7999856B2/en
Publication of KR20080083525A publication Critical patent/KR20080083525A/ko
Application granted granted Critical
Publication of KR100866963B1 publication Critical patent/KR100866963B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

디지털 영상 안정화 방법이 개시된다. 본 발명의 일 실시예에 따른 디지털 영상 안정화 방법은, (a)현재 프레임에서 특징 포인트들을 추출하는 단계, (b)상기 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 매칭하는 단계, (c)상기 매칭된 특징 포인트들에서 아웃라이어를 검출하고 제거하는 단계, (d)상기 아웃라이어가 제거된 특징 포인트들을 이용하여 호모그래피를 계산하는 단계, 및 (e)상기 계산된 호모그래피를 이용하여 상기 현재 프레임을 보정하는 단계를 구비하는 것을 특징으로 한다.

Description

수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을 보정할 수 있는 디지털 영상 안정화 방법{Method for stabilizing digital image which can correct the horizontal shear distortion and vertical scale distortion}
도 1은 종래의 영상 처리 프로세서를 이용하여 움직임을 보정하는 방법을 나타내는 상세 흐름도이다.
도 2는 흔들림이 발생한 경우 카메라의 이동에 따른 영상 변화를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 안정화 방법을 나타내는 상세 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 디지털 영상 안정화 방법을 나타내는 상세 흐름도이다.
본 발명은 디지털 영상 안정화 방법에 관한 것으로서, 종래에 파노라마 영상에서 사용되던 두 개의 영상 프레임 사이의 상관 관계를 나타내는 호모그래피를 이용하여, 손떨림에 의해 영상이 수평/수직 방향으로 이동한 경우뿐만 아니라 영상에 왜곡이 발생한 경우에도 영상을 보정할 수 있는 디지털 영상 안정화 방법에 관한 것이다.
최근 CMOS 공정을 기반으로 하는 이미지 센서의 품질 개선과 해상도 증가가 이루어짐에 따라 저가의 디지털 카메라를 구현하는 것이 가능해졌으며, CMOS 이미지 센서의 고유 특성에 의해 디지털 카메라의 소형화 추세가 증대될 것으로 보인다. 이러한 추세로 인해, 최근 PAD, 휴대폰, 스마트 폰 등 휴대형 정보 단말기 사용자가 확대되고 있으며, 유무선 통신망의 확대로 인해 언제 어디서나 원하는 영상을 촬영, 가공, 전송할 수 있게 되었다.
한편, 이동 통신 단말기의 유동성이 증가함에 따라, 외부로부터 발생하는 미세한 진동 또는 사용자에 의해 발생하는 손 떨림 등에 의해 영상의 흐트러짐 현상이 증가한다. 따라서, 흔들림이 없는 안정화된 영상을 얻기 위해서는 손 떨림 등의 움직임을 보정해야 할 필요성이 있다. 상기 움직임을 보정하는 방법으로는, 자이로 센서를 이용하여 움직임을 보정하는 방법과 영상 처리 프로세서를 이용하여 움직임을 보정하는 방법이 있다.
상기 영상 처리 프로세서를 이용하여 움직임을 보정하는 방법은, 현재 프레임과 이전 프레임을 비교하고, 그 비교 결과에 따라 움직임을 보정하는 방법이다. 구체적으로 설명하면, 디지털 카메라 등의 내부에 이전 프레임을 저장하기 위한 영상 메모리를 두어 현재 프레임과 이전 프레임의 변화를 움직임 벡터를 이용하여 계산하는 방법이다. 이와 같은 방법은, 별도의 기계적, 물리적 구성이 불필요하여 가격이 저렴하고, 구조적 제약이 적어 채용이 간편하다는 장점이 있어 소형 디지털 카메라 또는 이동 통신 단말기 등에 널리 사용된다.
도 1은 종래의 영상 처리 프로세서를 이용하여 움직임을 보정하는 방법을 나타내는 상세 흐름도이다. 도 1은, 영상 투영 방법에 의해 영상의 움직임 벡터를 계산하고, 계산된 움직임 벡터를 이용하여 영상을 보정하는 방법에 관한 것이다.
카메라 시스템이 구동되고 움직임 보정 기능이 시작되면, 움직임 보정을 위한 해상도를 결정한다(S110). 이 경우, 움직임 보정을 위한 변위를 고려하여 전체 해상도보다 작은 해상도를 결정한다. 그리고, 움직임 벡터 계산을 위한 복수 개의 윈도우 영역들을 설정하고(S120), 각각의 윈도우 영역에서 샘플링할 행/열 라인을 설정한다(S130).
그 후, 상기 설정된 샘플링된 행/열 라인에서 데이터를 추출하고(S140), 추출된 행/열 라인 데이터를 이전 영상 프레임에서 추출된 대응되는 데이터와 비교한다(S150). 상기 비교 결과에 따라 움직임 벡터를 계산하고(S160), 계산된 움직임 벡터만큼 스타트 포인트를 이동시킨다(S170). 그 후, 움직임이 보정된 현재 영상 프레임을 출력한다(S180).
상술한 바와 같이, 종래의 움직임 보정 방법은, 현재 프레임의 일정한 윈도우 영역에서 샘플링된 행/열 라인의 데이터를 이용하여 움직임 벡터를 계산한다. 즉, 영상의 흔들림이 발생하면, 수평 또는 수직 방향의 움직임만이 존재하고 이러한 움직임은 전체 영상에서 동일한 크기를 갖는다는 전제하에 움직임 벡터를 계산한다.
도 2는 흔들림이 발생한 경우 카메라의 이동에 따른 영상 변화를 나타내는 도면이다.
중앙에 도시된 도면은 카메라가 흔들리지 않은 경우의 영상이고, 위쪽에 도시된 도면은 카메라가 위쪽으로 흔들린 경우의 영상이고, 아래쪽에 도시된 도면은 카메라가 아래쪽으로 흔들린 경우의 영상이고, 왼쪽에 도시된 도면은 카메라가 왼쪽으로 흔들린 경우의 영상이며, 오른쪽에 도시된 도면은 카메라가 오른쪽으로 흔들린 경우의 영상이다.
도 2를 참조하면, 카메라가 위쪽으로 흔들린 경우 스케일링이 확대되고, 카메라가 아래쪽으로 흔들린 경우 스케일링이 축소되고, 카메라가 왼쪽으로 흔들린 경우 영상이 왼쪽으로 기울어지며, 카메라가 오른쪽으로 흔들린 경우 영상이 오른쪽으로 기울어지는 것을 알 수 있다.
요약하면, 손떨림에 의해 카메라가 흔들린 경우, 수평/수직 방향의 영상 이동만이 발생하는 것이 아니라, 스케일링 확대/축소 및 기울어짐과 같은 영상 왜곡도 발생한다. 그러나, 종래의 방법은, 영상 왜곡은 전혀 고려하지 않고 단지 수평/수직 방향의 영상의 이동량을 계산하여 흔들림만을 보정하기 때문에, 디스플레이되는 영상의 품질이 저하되는 문제점이 있었다.
특히, 롤링 셔터(rolling shutter) 방식으로 동작하는 CMOS 이미지 센서는, 한 프레임의 데이터를 입력받기 위한 복수 개의 광소자들로부터 광신호가 동시에 FD(Floating Diffusion) 노드로 출력되는 것이 아니라 행 단위로 출력되므로, 카메라에 흔들림이 발생한 경우 상술한 바와 같은 왜곡이 초래할 가능성이 더욱더 증가하는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는, 특히, 디지털 카메라의 흔들림으로 인해 영상이 수평/수직 방향으로 이동한 경우뿐만 아니라, 영상에 수평 방향의 기울어짐 왜곡 또는 수직 방향의 스케일링 왜곡이 발생하였을 때에도 효과적으로 영상을 보정할 수 있는 디지털 영상 안정화 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디지털 영상 안정화 방법은,
(a)현재 프레임에서 특징 포인트들을 추출하는 단계, (b)상기 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 매칭하는 단계, (c)상기 매칭된 특징 포인트들 중에서 아웃라이어를 검출하고 제거하는 단계, (d)상기 아웃라이어가 제거된 특징 포인트들을 이용하여 호모그래피를 계산하는 단계, 및 (e)상기 계산된 호모그래피를 이용하여 상기 현재 프레임을 보정하는 단계를 구비한다.
바람직하게는, 상기 (e)단계는, (e1)상기 계산된 호모그래피를 이전에 계산된 호모그래피와 누적하는 단계, (e2)상기 누적된 호모그래피를 구성하는 각각의 파라미터 값이 일정 범위 이내에 속하는지를 판단하는 단계, 및 (e3)상기 일정 범위 이내에 존재하면, 상기 누적된 호모그래피를 이용하여 현재 프레임을 역변환하여 상기 현재 프레임을 보정하는 단계를 구비한다.
바람직하게는, 상기 호모그래피는 다음과 같은 형태의 행렬이다.
Figure 112007019994047-pat00001
(h2는 기울기 변화량, h5는 스케일링 변화량, h3 및 h6는 이동 변화량)
바람직하게는, 상기 (a)단계는, (a1)saliency map을 이용하여 두드러진 영역을 탐색하는 단계, (a2)상기 두드러진 영역에 존재하는 픽셀의 루미넌스를 이용하여 상기 특징 포인트를 추출하는 단계로 이루어진다. 바람직하게는, 상기 (a2)단계는, KLT-CD(Kanade-Lucas-Tomasi corner detector) 알고리즘을 통해 이루어진다.
바람직하게는, (a-1)상기 현재 프레임과 상기 이전 프레임의 평균 루미넌스들을 비교하는 단계, (a-2)상기 평균 루미넌스들에 차이가 존재하면, 상기 차이를 보정하는 단계를 더 구비한다.
바람직하게는, 상기 (b)단계는, NCC(Normalized Cross Correlation) 알고리즘을 통해 이루어지고, 상기 (c)단계는, RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 이루어지며, 상기 (d)단계는, LM(Leverg-Marquardt) 비선형 최소화 알고리즘을 통해 이루어진다.
바람직하게는, 상기 디지털 영상 안정화 방법은, CMOS 이미지 센서에 적용된다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 디지털 영 상 안정화 방법은,
(a)현재 프레임에서 특징 포인트들을 추출하는 단계, (b)상기 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 매칭하는 단계, (c)상기 매칭된 특징 포인트들에서 아웃라이어를 검출하는 단계, (d)상기 검출된 아웃라이어가 임계값을 초과하는지 판단하는 단계, (e)상기 임계값을 초과하는 경우, 영상 투영 방법을 통해 영상의 이동량 및 이동 방향을 나타내는 움직임 벡터를 계산하는 단계, (f)상기 임계값을 초과하지 않는 경우, 상기 아웃라이어를 제거하고, 상기 아웃라이어가 제거된 특징 포인트들을 이용하여 호모그래피를 계산하는 단계, 및 (g)상기 계산된 움직임 벡터 또는 상기 계산된 호모그래피를 이용하여 상기 현재 프레임을 보정하는 단계를 구비한다.
한편, 본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는, 본 발명의 바람직한 실시예를 나타내는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 안정화 방법을 나타내는 상세 흐름도이다.
먼저, 현재 프레임의 잡음 성분을 제거하기 위하여, 입력되는 현재 프레임을 로우 패스 필터링한다(S305). 로우 패스 필터링을 통해 잡음으로 이루어진 고주파 성분을 제거함으로써 SNR(Signal to Noise Ratio)를 증가시킬 수 있다. 상기 현재 프레임의 평균 루미넌스를 계산한다(S310). 상기 현재 프레임에서 특징 포인트를 추출한다(S315).
특징 포인트를 추출하는 과정(S315)을 구체적으로 설명하면 다음과 같다.
상기 현재 프레임을 복수 개의 윈도우들로 분할한다. 예를 들면, 수평면을 5개의 영역으로 분할하고 수직면을 7개의 영역으로 분할하여, 상기 현재 프레임을 총 35개의 윈도우들로 분할한다. 각각의 윈도우에서 특징 포인트를 추출할 수도 있지만, 보다 효과적인 탐색을 위해서 saliency map을 이용하여 특징 포인트를 추출하기로 한다. saliency map은 영상 내의 두드러진 영역이 두드러진 패턴이 특징 포인트를 보유할 가능성이 크다는 이론에 근거한다.
상기 S310에서 계산한 현재 프레임의 평균 루미넌스와 상기 현재 프레임을 구성하는 윈도우의 루미넌스의 표준편차를 산출한다. 상기 표준편차는 아래와 같은 수학식에 의해 산출될 수 있다.
Figure 112007019994047-pat00002
여기서, σ는 윈도우의 표준편차를 나타내고, N은 윈도우의 총 픽셀 수를 나타내고, μ는 프레임의 평균 루미넌스를 나타내며, xi는 윈도우를 구성하는 각 픽셀 의 루미넌스를 나타낸다.
윈도우의 표준편차가 큰 경우 특징 포인트를 보유할 가능성이 크고, 윈도우의 표준편차가 작은 경우 특징 포인트를 보유할 가능성이 적은 것으로 판단한다. 따라서, 윈도우의 표준편차가 소정 값 이상인 경우를 두드러진 영역으로 판단한다.
현재 프레임에서 두드러진 영역을 찾은 다음, 각각의 두드러진 영역 안에 있는 특징 포인트를 추출한다. 상기 특징 포인트를 추출하는 방법으로 H-CD(Harris corner detector) 알고리즘 또는 KLT-CD(Kanade-Lucas-Tomasi corner detector) 알고리즘을 이용할 수 있다.
KLT-CD 알고리즘을 통한 특징 포인트 추출 과정을 설명하면 다음과 같다.
두드러진 영역 안에 존재하는 각 픽셀의 루미넌스 값을 x방향과 y방향으로 각각 미분하고, 전치 행렬(transpose matrix)을 곱한다. 그 후, 최종 행렬로부터 산출되는 고유값(eigenvalue,λ)을 분석한다. 각각의 두드러진 영역 안에서 존재하는 픽셀들의 고유값(λ)들을 크기 순서대로 정리한 후, 큰 고유값을 갖는 픽셀을 특징 포인트로 선택한다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112007019994047-pat00003
Figure 112007019994047-pat00004
,
본 실시예에서는 특징 포인트를 추출하기 위해서, saliency map를 이용하여 두드러진 영역을 탐색한 후, 각각의 두드러진 영역에서 코너 포인트를 산출하는 방 식을 이용하였다. 그러나, 당업자라면 다른 방법을 이용하여 용이하게 특징 포인트를 추출할 수 있을 것이다. 예를 들어, 각 픽셀에서 명암 변화율을 산출한 후, 명암 변화율이 큰 값을 특징 포인트로 추출할 수 있다.
현재 프레임에서 추출된 특징 포인트들을 이전 프레임에서 추출된 특징 포인트들과 매칭한다(S320). 이전 프레임과 이전 프레임에서 추출된 특징 포인트들의 위치 및 영역은 CMOS 이미지 센서의 내부에 구비된 메모리에 저장되어 있다. 따라서, 상기 메모리로부터 이전 프레임을 입력받아 대응되는 특징 포인트들을 검출하는 방식으로 매칭 단계를 수행한다.
특징 포인트들을 매칭하기 이전에, 현재 프레임과 이전 프레임이 평균 루미넌스를 비교한다. 만일, 차이가 존재한다면, 현재 프레임과 이전 프레임이 동일한 평균 루미넌스를 갖도록 보정한다. 상기와 같은 보정은 대응되는 매칭 포인트를 찾기 위해서 필요한 과정이다.
상기 매칭 단계는, NCC(Normalized Cross Correlation) 알고리즘을 통해 상관성 조사를 수행하는 방식을 이용하는 것이 바람직하다. 또한, 보다 정확하고 효율성 있는 매칭을 위해서 블록간의 유사도를 나타내는 유사도 평가 함수 또는 볼록 면 검사(convex hull test)를 통해서 잘못 매칭된 후보들을 수정하는 방식인 Graham 탐색 방법을 이용하는 것도 바람직하다.
한편, 대응점을 찾는 방법은, 현재 프레임에 포함된 서브 이미지 영역이 존재한다고 가정할 때, 로컬 움직임 추정을 통해 상기 서브 이미지 영역의 로컬 움직임 벡터를 산출하고, 상기 산출된 로컬 움직임 벡터를 통해 전역 움직임 추정을 수 행하여 전역 움직임 벡터를 산출하고, 상기 산출된 전역 움직임 벡터를 이용하여 대응점을 찾는 단계로 이루어질 수 있다.
다만, 현재 프레임의 특징 포인트들과 대응관계를 이루는 이전 프레임의 특징 포인트들을 찾았다 할지라도, 몇몇 특징 포인트들에 대해서는 잘못된 매칭이 이루어질 수 있다. 이러한 잘못된 매칭 관계를 아웃라이어(outlier)라 한다. 상기 아웃라이어는 후술할 호모그래피의 정확성을 떨어뜨리는 요인으로 작용한다. 따라서, 상기 아웃라이어를 검출하고 제거하는 단계가 필요하다(S325).
상기 아웃라이어를 검출하는 방법으로 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용할 수 있다. 상기 RAMSAC 알고리즘을 설명하면 다음과 같다. 첫째, 임의의 4개의 대응 관계에 있는 특정 포인트들을 선택한 후, SVD(Singular Value Decomposition)을 이용하여 호모그래피를 계산한다. 둘째, 구해진 호모그래피를 사용하여 대응 관계에 있는 특정 포인트들의 거리를 계산한다. 셋째, 상기 계산된 거리가, 임계값을 넘은 것을 아웃아이어(outlier)로 판단하고, 임계값을 넘지 않은 것을 인라이어(inlier)로 판단한다.
아웃라이어가 제거된 매칭된 특징 포인트들을 이용하여 호모그래피를 계산한다(S330). 호모그래피(homography)는 종래 파노라마 영상 분야에서 사용되던 행렬로서, 두 영상 간의 변화 관계를 나타내는 3×3의 선형 변환 행렬이다. 호모그래피는, 이동(translation), 회전(rotation), 스케일링(scaling), 기울기(shear)를 나타내는 파라미터들로 이루어진다. 여기서, 호모그래피를 계산할 때, LM(Leverg-Marquardt) 비선형 최소화 알고리즘을 사용하여 에러를 최소화시킬 수도 있다.
호모그래피는 2차원 선형 변환(planar linear transformation)이라고 불리는데, 하나의 이미지 평면 R1과 다른 이미지 평면 R2의 선형 변환 관계를 나타내기 때문이다. R2의 모든 점은 R1의 모든 점에 대해 일대일 매칭 관계를 이루므로, 호모그래피를 이용하면 R2의 모든 점은 R1의 모든 점으로 변환이 가능하다. 본 발명에서 사용되는 호모그래피를 나타내면 다음과 같다.
Figure 112007019994047-pat00005
여기서, A(x0,y0)는 이전 프레임의 특징 포인트를 나타내고, B(x1,y1)은 현재 프레임의 특징 포인트를 나타내고, h2는 기울기 성분을 나타내고, h5는 스케일링 성분을 나타내고, h3와 h6는 거리 성분을 나타낸다. 상기와 같이, 본 발명에서는 연산량을 줄이기 위해서 종래의 호모그래피와는 다른 형태로 호모그래피를 구성하였다. 상기 호모그래피를 산출하기 위해서 수학식 3을 정리하면 다음과 같은 수학식으로 나타내어질 수 있다.
Figure 112007019994047-pat00006
Figure 112007019994047-pat00007
,
호모그래피의 파라미터(h2,h3,h5,h6)는 SVD(Single Value Decomposition)을 이용하여 쉽게 구할 수 있다. 이때, 상기 호모그래피의 파라미터를 산출하기 위해 필요한 매칭된 포인트 쌍은 2개이다. 따라서, 종래에 호모그래피의 파라미터를 산출하기 위해 필요한 연산량을 1/2배로 감소시킬 수 있는 장점이 있다.
상술한 바와 같이, h2는 기울기 성분을 나타내고, h5는 스케일링 성분을 나타내므로, 상기 h2와 h5를 분석하면, 현재 프레임이 이전 프레임에 비해 어느 정도 기울어졌는지 또는 확대/축소되었는지 판단할 수 있다. 만약 h2와 h5가 임계값 이상인 경우, 후술하는 보정 단계에서 현재 프레임에 대한 보정이 수행된다.
상기 S330에서 산출한 호모그래피를 누적한다(S335). 하나의 프레임은 1/60초에 해당하고, 사용자에 의한 손떨림은 일반적으로 1/60초 보다는 작기 때문에, 두 개의 프레임만을 비교해서는 움직임이 발생했는지 판단하기 힘들다. 따라서, 현재 프레임과 이전 프레임과의 상관 관계를 나타내는 호모그래피를 이전 호모그래피와 곱하여 전체 호모그래피를 생성한다. 다만, 첫 번째 프레임은 왜곡 또는 이동이 발생하지 않은 것으로 가정한다.
누적된 호모그래피에 포함된 파라미터가 일정 범위 이내인지를 판단한다(S340). 일정 범위 이내이면, 손떨림과 같은 움직임이 발생한 것으로 판단하고, 일정 범위를 벗어나면, 움직임이 발생하지 않았거나 사용자에 의한 의도적인 움직임이 있었다고 판단한다. 예를 들어, 상기 h2가 상기 범위 이내이면, 영상이 기울어졌다고 판단하고, 상기 h5가 상기 범위 이내이면, 영상이 축소/확대되었다고 판단한다. 즉, 각각의 파라미터 값에 대해 개별적으로 판단한다.
일정 범위를 벗어나면, 현재 프레임을 그대로 출력하고, 다음 프레임을 입력받아 상기 S305 내지 S340을 반복적으로 수행한다. 일정 범위 이내이면, 의도적이지 않은 움직임이 발생했다고 판단하고, 상기 누적된 호모그래피를 이용하여 현재 프레임을 보정한 후(S345), 보정된 현재 프레임을 출력한다(S350).
상기 누적된 호모그래피는 첫 번째 프레임과 현재 프레임의 상관 관계를 나타내므로, 상기 호모그래피를 이용하여 현재 프레임을 역변환하면 현재 프레임이 첫 번째 프레임으로 변환된다. 즉, 현재 프레임이 움직임이 발생하기 이전 영상으로 변환된다. 상술한 바와 같이, 첫 번째 프레임은 왜곡 또는 이동이 없는 것으로 가정한다.
도 4는 본 발명의 다른 실시예에 따른 디지털 영상 안정화 방법을 나타내는 상세 흐름도이다.
먼저, 입력되는 현재 프레임을 로우 패스 필터링(S405)한다. 상기 현재 프레임의 평균 루미넌스를 계산한다(S410). 상기 현재 프레임에서 특징 포인트를 추출한다(S415). 상기 현재 프레임에서 추출된 특징 포인트와 이전 프레임에서 추출된 특징 포인트들을 매칭한다(S420). 오류가 존재하는 아웃라이어(S425)를 검출한다. 상기 과정들(S405 내지 S425)은 이미 상세히 설명하였으므로 구체적인 설명은 생략한다.
검출된 아웃라이어가 임계값 이상인지를 판단한다(S430). 아웃라이어를 검출하기 위해서 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용할 수 있다. 아웃라이어가 임계값 미만이면, 아웃라이어를 제거하고(S435), 인라이어를 이용하여 호모 그래피를 계산한다(S440). 계산된 호모그래피를 이전 호모그래피와 누적하고(S445). 누적된 호모그래피에 포함된 파라미터가 일정 범위 이내인지를 판단한다(S465).
일정 범위를 벗어나면, 움직임이 발생하지 않았거나 사용자에 의한 의도적인 움직임이 있었다고 판단하고 상기 S405 내지 S425를 반복적으로 수행한다. 일정 범위 이내이면, 손떨림과 같은 움직임이 발생한 것으로 판단하고, 상기 누적된 호모그래피를 이용하여 현재 프레임을 보정한 후(S470), 보정된 현재 프레임을 출력한다(S475).
반면, 아웃라이어가 임계값 이상이면, 인라이어를 이용하여 산출된 호모그래피의 신뢰성 문제가 발생하기 때문에 호모그래피를 계산하여 현재 프레임을 보정하는 프로세스를 진행할 수 없다. 따라서, 종래에 사용되던 방법인 영상 투영 방법을 통해, 움직임 벡터를 계산한다(S455). 상기 영상 투영 방법 및 움직임 벡터 계산 방법은 종래 기술을 설명하는 도 1에 상세히 나타나 있다.
상기 영상 투영 방법은, 영상이 직교좌표계 상에서 x축 또는 y축으로 이동한 것을 전제로 하기 때문에, 수평 방향의 기울어짐 또는 수직 방향의 스케일링 축소/확대와 같은 왜곡이 발생하였는지를 검출할 수 있는 방법은 아니다. 상기 영상 투영 방법은, 신뢰성 있는 호모그래피를 계산할 수 없을 때 대신 사용하는 방법이다.
영상의 이동량 및 이동 방향을 나타내는 움직임 벡터를 계산하고(S455), 계산된 움직임 벡터를 이전 움직임 벡터와 누적한다(S460). 그 후, 누적된 움직임 벡터를 통해 산출되는 영상 이동량이 일정 범위 이내에 속하는지 판단한다(S465).
일정 범위 이내인 경우, 손떨림과 같은 움직임이 발생한 것으로 판단하여, 상기 움직임 벡터를 이용하여 현재 프레임을 첫 번째 프레임으로 보정하고(S470), 보정된 현재 프레임을 출력한다(S475). 이러한 과정(S465 내지 S475)은 상술하였으므로 구체적인 설명은 생략한다.
이상 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적으로 사용된 것이지 의미 한정이나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 기술 분야에서 통상의 지식을 가지는 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상기 구성으로 인해, 본 발명에 따른 디지털 영상 안정화 방법은, 사용자의 손떨림과 같은 움직임으로 인해 영상이 흔들렸을 때, 이미지 이동 변화뿐만 아니라 이미지 왜곡도 보정할 수 있으므로, 사용자가 움직이는 공간 내부에서 물체를 촬영하는 경우에도 최적화된 영상을 촬영할 수 있는 효과가 있다.

Claims (20)

  1. 촬영 장치의 손 떨림을 보정하기 위한 디지털 영상 안정화 방법에 있어서,
    (a)현재 프레임에서 특징 포인트들을 추출하는 단계;
    (b)상기 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 매칭하는 단계;
    (c)상기 매칭된 특징 포인트들에서 아웃라이어를 검출하고 제거하는 단계;
    (d)상기 아웃라이어가 제거된 특징 포인트들을 이용하여 호모그래피를 계산하는 단계; 및
    (e)상기 계산된 호모그래피를 이용하여 상기 현재 프레임을 보정하는 단계를 구비하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  2. 제1항에 있어서, 상기 (e)단계는,
    (e1)상기 계산된 호모그래피를 이전에 계산된 호모그래피와 누적하는 단계;
    (e2)상기 누적된 호모그래피를 구성하는 각각의 파라미터 값이 일정 범위 이내에 속하는지를 판단하는 단계; 및
    (e3)상기 일정 범위 이내에 존재하면, 상기 누적된 호모그래피를 이용하여 현재 프레임을 역변환하여 상기 현재 프레임을 보정하는 단계를 구비하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  3. 제1항에 있어서, 상기 호모그래피는,
    Figure 112008025678190-pat00008
    (h2는 기울기 변화량, h5는 스케일링 변화량, h3 및 h6는 위치 변화량)
    와 같은 형태의 행렬인 것을 특징으로 하는 디지털 이미지 안정화 방법.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 (a)단계는,
    (a1)saliency map을 이용하여 두드러진 영역을 탐색하는 단계;
    (a2)상기 두드러진 영역에 존재하는 픽셀의 루미넌스를 이용하여 상기 특징 포인트를 추출하는 단계로 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서, 상기 (a2)단계는,
    KLT-CD(Kanade-Lucas-Tomasi corner detector) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  6. 제1항에 있어서,
    (a-1)상기 현재 프레임과 상기 이전 프레임의 평균 루미넌스들을 비교하는 단계;
    (a-2)상기 평균 루미넌스들에 차이가 존재하면, 상기 차이를 보정하는 단계를 더 구비하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 (b)단계는,
    NCC(Normalized Cross Correlation) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 (c)단계는,
    RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 (d)단계는,
    LM(Leverg-Marquardt) 비선형 최소화 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  10. 제1항에 있어서, 상기 디지털 영상 안정화 방법은,
    CMOS 이미지 센서에 적용되는 것을 특징으로 하는 디지털 영상 안정화 방법.
  11. 촬영 장치의 손 떨림을 보정하기 위한 디지털 영상 안정화 방법에 있어서,
    (a)현재 프레임에서 특징 포인트들을 추출하는 단계;
    (b)상기 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 매칭하는 단계;
    (c)상기 매칭된 특징 포인트들에서 아웃라이어를 검출하는 단계;
    (d)상기 검출된 아웃라이어가 임계값을 초과하는지 판단하는 단계;
    (e)상기 임계값을 초과하는 경우, 영상 투영 방법을 통해 영상의 이동량 및 이동 방향을 나타내는 움직임 벡터를 계산하는 단계;
    (f)상기 임계값을 초과하지 않는 경우, 상기 아웃라이어를 제거하고, 상기 아웃라이어가 제거된 특징 포인트들을 이용하여 호모그래피를 계산하는 단계; 및
    (g)상기 계산된 움직임 벡터 또는 상기 계산된 호모그래피를 이용하여 상기 현재 프레임을 보정하는 단계를 구비하는 것을 특징으로 하는 디지털 이미지 안정화 방법.
  12. 제11항에 있어서, 상기 (g)단계는,
    (g1)상기 계산된 호모그래피를 이전에 계산된 호모그래피와 누적하는 단계;
    (g2)상기 누적된 호모그래피를 구성하는 각각의 파라미터 값이 일정 범위 이내에 속하는지를 판단하는 단계; 및
    (g3)상기 일정 범위 이내에 존재하면, 상기 누적된 호모그래피를 이용하여 현재 프레임을 역변환하여 상기 현재 프레임을 보정하는 단계를 구비하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  13. 제11항에 있어서, 상기 호모그래피는,
    Figure 112008025678190-pat00009
    (h2는 기울기 변화량, h5는 스케일링 변화량, h3 및 h6는 위치 변화량)
    와 같은 형태의 행렬인 것을 특징으로 하는 디지털 이미지 안정화 방법.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서, 상기 (a)단계는,
    (a1)saliency map을 이용하여 두드러진 영역을 탐색하는 단계;
    (a2)상기 두드러진 영역에 존재하는 픽셀의 루미넌스를 이용하여 상기 특징 포인트를 추출하는 단계로 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제14항에 있어서, 상기 (a2)단계는,
    KLT-CD(Kanade-Lucas-Tomasi corner detector) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  16. 제11항에 있어서,
    (a-1)상기 현재 프레임과 상기 이전 프레임의 평균 루미넌스들을 비교하는 단계;
    (a-2)상기 평균 루미넌스들에 차이가 존재하면, 상기 차이를 보정하는 단계를 더 구비하는 것을 특징으로 하는 디지털 영상 안정화 방법.
  17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서, 상기 (b)단계는,
    NCC(Normalized Cross Correlation) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서, 상기 (c)단계는,
    RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제11항에 있어서, 상기 (f)단계는,
    LM(Leverg-Marquardt) 비선형 최소화 알고리즘을 통해 이루어지는 것을 특징으로 하는 디지털 영상 안정화 방법.
  20. 제11항에 있어서, 상기 디지털 영상 안정화 방법은,
    CMOS 이미지 센서에 적용되는 것을 특징으로 하는 디지털 영상 안정화 방법.
KR1020070024197A 2007-03-12 2007-03-12 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 KR100866963B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070024197A KR100866963B1 (ko) 2007-03-12 2007-03-12 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US12/073,838 US7999856B2 (en) 2007-03-12 2008-03-11 Digital image stabilization method for correcting horizontal inclination distortion and vertical scaling distortion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070024197A KR100866963B1 (ko) 2007-03-12 2007-03-12 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법

Publications (2)

Publication Number Publication Date
KR20080083525A KR20080083525A (ko) 2008-09-18
KR100866963B1 true KR100866963B1 (ko) 2008-11-05

Family

ID=39762252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070024197A KR100866963B1 (ko) 2007-03-12 2007-03-12 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법

Country Status (2)

Country Link
US (1) US7999856B2 (ko)
KR (1) KR100866963B1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100046544A (ko) * 2008-10-27 2010-05-07 삼성전자주식회사 영상 왜곡 보정 방법 및 장치
JPWO2010100677A1 (ja) * 2009-03-05 2012-09-06 富士通株式会社 画像処理装置およびぶれ量算出方法
JP5740844B2 (ja) * 2009-11-24 2015-07-01 株式会社リコー 撮像装置、画像処理方法、及び、コンピュータプログラム
EP2458510B1 (en) * 2010-11-29 2014-05-07 NTT DoCoMo, Inc. Method and apparatus for performing a cross-correlation
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
CN103563352A (zh) * 2011-06-10 2014-02-05 国际商业机器公司 自适应数字装置和用于数字装置的适配器
TWI469062B (zh) 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
KR101241171B1 (ko) * 2011-11-22 2013-03-11 현대자동차주식회사 영상센서를 이용한 ｇｐｓ 위치정보 보정방법
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9165187B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
US9286656B2 (en) 2012-12-20 2016-03-15 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
KR101454803B1 (ko) * 2012-12-20 2014-11-04 중앙대학교 산학협력단 호모그라피 추정 장치 및 방법
US9319586B2 (en) * 2013-01-24 2016-04-19 Stmicroelectronics S.R.L. Method and device for stabilizing video sequences, related video-capture apparatus and computer-program product
US10323941B2 (en) * 2013-02-28 2019-06-18 Fugro N.V. Offshore positioning system and method
US10794692B2 (en) * 2013-02-28 2020-10-06 Fnv Ip B.V. Offshore positioning system and method
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US10140511B2 (en) 2013-03-13 2018-11-27 Kofax, Inc. Building classification and extraction models based on electronic forms
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US10127636B2 (en) * 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10540562B1 (en) * 2016-12-14 2020-01-21 Revenue Management Solutions, Llc System and method for dynamic thresholding for multiple result image cross correlation
KR102498597B1 (ko) * 2017-08-22 2023-02-14 삼성전자 주식회사 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
US11694311B2 (en) * 2020-03-04 2023-07-04 Nec Corporation Joint rolling shutter image stitching and rectification
CN115546042B (zh) * 2022-03-31 2023-09-29 荣耀终端有限公司 视频处理方法及其相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040004297A (ko) * 2003-12-17 2004-01-13 황정현 씨모스 영상 센서 왜곡 보정 방법 및 장치
JP2005094614A (ja) 2003-09-19 2005-04-07 Sanyo Electric Co Ltd 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP2006186481A (ja) 2004-12-27 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
JP2003115052A (ja) 2001-10-09 2003-04-18 National Institute Of Advanced Industrial & Technology 画像処理方法及び画像処理装置
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP2006058945A (ja) 2004-08-17 2006-03-02 Optex Fa Co Ltd ローリングシャッタ画像の補正方法および装置
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094614A (ja) 2003-09-19 2005-04-07 Sanyo Electric Co Ltd 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
KR20040004297A (ko) * 2003-12-17 2004-01-13 황정현 씨모스 영상 센서 왜곡 보정 방법 및 장치
JP2005295302A (ja) 2004-04-01 2005-10-20 Mitsubishi Electric Corp カメラ画像処理装置
JP2006186481A (ja) 2004-12-27 2006-07-13 Sony Corp 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置

Also Published As

Publication number Publication date
KR20080083525A (ko) 2008-09-18
US7999856B2 (en) 2011-08-16
US20080225127A1 (en) 2008-09-18

Similar Documents

Publication Publication Date Title
KR100866963B1 (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
US8417059B2 (en) Image processing device, image processing method, and program
CN112369009B (zh) 用于创建场景的超分辨率图像的光学图像稳定移动
EP2640057B1 (en) Image processing device, image processing method and program
US8810692B2 (en) Rolling shutter distortion correction
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
US20120162449A1 (en) Digital image stabilization device and method
US20070127574A1 (en) Algorithm description on non-motion blur image generation project
KR20150140812A (ko) 저광 고동적 범위 이미지의 모션 블러없는 캡처
US9384552B2 (en) Image registration methods for still image stabilization
US20120051662A1 (en) Image processing apparatus and storage medium
JP4661514B2 (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
CN112384945B (zh) 使用应用于用户设备的自然手持运动的超分辨率
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
CN115134521B (zh) 视频拍摄防抖动方法、装置、设备及存储介质
US20130188069A1 (en) Methods and apparatuses for rectifying rolling shutter effect
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN115511919B (zh) 视频处理方法、图像检测方法以及装置
JP7278737B2 (ja) 撮像装置及びその制御方法、並びにプログラム
EP2747417B1 (en) Combined rectification and video stabilisation
JP6525693B2 (ja) 画像処理装置及び画像処理方法
JP2016076838A (ja) 画像処理装置及び画像処理装置の制御方法
CN115239777A (zh) 视频处理方法及其装置
US20180146129A1 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee