KR20150007881A - 영상 안정화 장치 및 방법 - Google Patents

영상 안정화 장치 및 방법 Download PDF

Info

Publication number
KR20150007881A
KR20150007881A KR1020130082470A KR20130082470A KR20150007881A KR 20150007881 A KR20150007881 A KR 20150007881A KR 1020130082470 A KR1020130082470 A KR 1020130082470A KR 20130082470 A KR20130082470 A KR 20130082470A KR 20150007881 A KR20150007881 A KR 20150007881A
Authority
KR
South Korea
Prior art keywords
image
motion
stabilized
stabilization
obtaining
Prior art date
Application number
KR1020130082470A
Other languages
English (en)
Other versions
KR101883481B1 (ko
Inventor
유연걸
이활석
박상지
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020130082470A priority Critical patent/KR101883481B1/ko
Priority to US14/075,768 priority patent/US9716832B2/en
Priority to CN201410019534.9A priority patent/CN104284059B/zh
Publication of KR20150007881A publication Critical patent/KR20150007881A/ko
Priority to US15/288,788 priority patent/US10136063B2/en
Application granted granted Critical
Publication of KR101883481B1 publication Critical patent/KR101883481B1/ko
Priority to US16/133,196 priority patent/US10848672B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라의 흔들림에도 안정적인 영상을 출력하는 영상 안정화 장치 및 방법에 관한 것이다. 영상 안정화 방법은 기준 영상을 시작으로 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 영상에 적용하여 제1 안정화 영상을 획득하는 단계, 및 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하고, 제1 움직임들의 누적결과 및 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.

Description

영상 안정화 장치 및 방법{Apparatus and method for stabilizing image}
본 발명은 카메라의 흔들림에도 안정적인 영상을 출력하는 영상 안정화 장치 및 방법에 관한 것이다.
최근 멀티미디어 기기의 사용이 증가함에 따라 다양한 환경에서 촬영된 디지털 영상에 대한 화질개선(image enhancement) 기술에 대한 수요도 증가하고 있다. 화질개선 기술에는 영상의 번짐 제거, 잡음 제거 및 영상 안정화 기술 등이 있으며, 디지털 카메라, 스마트폰, 가정용 카메라나 캠코더, 산업용 감시 카메라, 방송용 카메라 및 군사용 영상 촬영 장치와 같은 촬영장치에 이르기까지 광범위하게 적용된다. 초기 촬영장치는 기존의 아날로그 영상을 디지털화하여 영상을 만들어 내는 데 그쳤다. 그러나 최근 사용되는 촬영장치는 각종 선처리 및 후처리 보정 기술이 적용되어 기존의 아날로그 영상보다 더욱 깨끗하고 선명한 화질의 디지털 영상을 얻을 수 있게 되었다.
디지털 영상 보정 기술 중에서 가장 보편적으로 사용되는 기술이 영상 안정화(image stabilization) 기술이다. 사용자가 촬영장치를 들고 촬영할 경우 또는 이동 중 촬영할 경우에 흔들림이 발생하게 되며, 자동차, 비행기 또는 헬기와 같은 이동수단에 설치된 카메라의 경우에는 기계적 진동이나 지면과의 마찰 등 여러 환경적 요인에 의해 원치 않는 흔들림이 생기게 된다. 또한 줌 렌즈(zoom lens)의 배율이 올라가면서 약간의 움직임에도 화면 흔들림이 심해지는 문제가 있다. 영상 안정화 기술은 이와 같이 촬영시 촬영장치가 흔들릴 때 깨끗하고 선명한 영상을 얻을 수 있는 기술로서, 촬영된 영상에서 발생하는 원치 않은 흔들림을 제거하기 위해 적용된다.
최근에는 입력된 영상신호에서 프레임 간의 움직임 추정을 통하여 원치 않는 흔들림을 검출하고, 프레임 메모리 또는 CCD로부터 움직임이 보상된 영상 데이터를 읽음으로써 흔들림을 보정하는 디지털 영상 안정화 기술이 사용되고 있다. 이러한 디지털 영상 안정화 기술은 기계적 방식에 비해 저렴하고 정확도가 높을 뿐 아니라 기계적 안정화에 의해 보상되지 못하는 다양한 움직임 성분을 보상할 수 있으므로 활발히 연구되고 있다.
국내 공개 특허 공보 제2002-0001331호
본 발명이 해결하고자 하는 기술적인 과제는 영상 안정화 처리 후에도 남아있는 드리프트 에러를 제거하여 화질 열화를 개선하는 영상 안정화 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 안정화 방법은 기준 영상을 시작으로 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 상기 영상에 적용하여 제1 안정화 영상을 획득하는 단계; 및 상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하고, 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 안정화 영상은, 상기 제1 움직임들 각각에 대한 드리프트 에러를 포함하고 있는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 안정화 영상은, 상기 제2 보정 움직임에 의해 상기 드리프트 에러가 제거된 영상인 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 안정화 영상을 획득하는 단계는, 상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계; 및 상기 제1 보정 움직임을 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 보정 움직임을 획득하는 단계는, 상기 인접하는 영상 중 제1 영상으로부터 특징점들을 추출하는 단계; 상기 인접하는 영상 중 제2 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하는 단계; 상기 대응점들을 이용하여 상기 제1 영상에 대한 상기 제2 영상의 움직임으로써 상기 제1 움직임을 추정하는 단계; 및 상기 제1 움직임을 포함하여 상기 기준 영상부터 상기 영상의 이전 영상까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점들을 추출하는 단계는, 상기 제1 영상을 축소하고 엣지 영상을 획득하는 단계; 및 상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 움직임들을 추정하는 단계는, 상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제1 움직임들을 추정하는 단계;인 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 안정화 영상을 획득하는 단계는, 상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 단계; 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 단계; 및 상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 움직임을 획득하는 단계는, 상기 기준 영상으로부터 특징점들을 추출하는 단계; 상기 제1 안정화 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하는 단계; 및 상기 대응점들을 이용하여 상기 기준 영상에 대한 상기 제1 안정화 영상의 움직임으로써 상기 제2 움직임을 추정하여 획득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점들을 추출하는 단계는, 상기 기준 영상을 축소하고 엣지 영상을 획득하는 단계; 및 상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 움직임을 획득하는 단계는, 상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제2 움직임을 획득하는 단계;인 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 안정화 장치는 기준 영상을 시작으로 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들을 누적하고, 그 누적결과를 제1 보정 움직임으로써 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 제1 안정화 영상 획득수단; 및 상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하고, 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 제2 안정화 영상 획득수단;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 안정화 영상은 상기 제1 움직임들 각각에 대한 드리프트 에러를 포함하고 있으며, 상기 제2 안정화 영상은 제2 보정 움직임에 의해 상기 드리프트 에러가 제거된 영상인 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 안정화 영상 획득수단은, 상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 제1 보정 움직임 획득부; 및 상기 제1 보정 움직임을 상기 영상에 적용하여 제1 안정화 영상을 출력하는 제1 안정화 영상 출력부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 보정 움직임 획득부는, 상기 인접하는 영상 중 제1 영상으로부터 특징점들을 추출하고, 상기 인접하는 영상 중 제2 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하고, 상기 대응점들을 이용하여 상기 제1 영상에 대한 상기 제2 영상의 움직임으로써 상기 제1 움직임들을 추정하고, 상기 제1 움직임을 포함하여 상기 기준 영상부터 상기 영상의 이전 영상까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과를 역으로 변환한 제1 보정 움직임을 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 안정화 영상 획득부는, 상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 제2 움직임 획득부; 상기 제1 움직임의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 제2 보정 움직임 획득부; 및 상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 출력하는 제2 안정화 영상 출력부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 움직임 획득부는, 상기 기준 영상으로부터 특징점들을 추출하고, 상기 제1 안정화 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하고, 상기 대응점들을 이용하여 상기 기준 영상에 대한 상기 제1 안정화 영상의 움직임으로써 상기 제2 움직임을 추정하여 획득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 움직임 획득부는, 상기 기준 영상을 축소하고 엣지 영상을 획득하고, 상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제2 움직임 획득부는, 상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제2 움직임을 획득하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계; 상기 제1 보정 움직임을 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 단계; 상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 단계; 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 단계; 및 상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 제1 영상 안정화 처리 후에도 남아있는 드리프트 에러를 제2 영상 안정화 처리로 제거하여 영상 안정화 실패를 줄이고, 화질 열화를 개선할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 안정화 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 영상 안정화를 설명하기 위한 영상 프레임들의 실시 예를 보이는 도면이다.
도 3은 도 1 중 특징점 추출을 설명하기 위한 도면이다.
도 4는 도 1 중 대응점 획득을 설명하기 위한 도면이다.
도 5는 도 1 중 움직임 추정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 안정화 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
일반적으로 고정 카메라는 영상 안정화 시에, 기준 영상과 흔들리는 현재 영상 사이의 움직임을 계산한 후에, 움직임의 반대 방향으로 현재 영상을 변환하여 안정된 영상을 획득하게 된다. 이때 영상 안정화의 성능은 기준 영상과 현재 영상 사이의 움직임 계산 결과에 전적으로 의존하게 되고, 영상 변환 후에 추가적으로 영상을 개선(enhancement)하는 작업이 뒤 따른다.
영상 안정화의 성능은 기준 영상과 현재 영상 사이의 움직임 정확도에 전적으로 의존한다. 기준 영상과 현재 영상 사이의 움직임 계산 방법은 두 가지 접근 방법이 존재한다. 첫 번째 방법은 기준 영상과 현재 영상 사이의 움직임을 직접적으로 계산한다. 즉, 기준 영상에서 특징점을 추출하고, 현재 영상에서 특징점에 대응하는 대응점을 추적 또는 매칭을 통해 찾아내고, 이러한 대응점을 이용하여 두 영상 사이의 움직임을 계산한다. 여기서 움직임은 병진(translation), 회전(rotation) 줌(zoom) 등을 의미한다.
두 번째 방법은 인접하는 영상(제n-1 영상 및 제n 영상) 사이의 움직임(
Figure pat00001
)(inter-frame motion)을 계산하고, 이 움직임을 하기 수학식 1과 같이 누적(accumulation)하여 기준 영상(제0 영상) 및 현재 영상(제n 영상) 사이의 움직임(
Figure pat00002
)을 계산한다.
Figure pat00003
여기에서 인접하는 영상 사이의 움직임은 첫 번째 방법과 동일하게 계산한다. 우선, 이전 영상에서 특징점을 추출하고, 현재 영상에서 특징점에 대응하는 대응점을 추적 또는 매칭을 통해 찾아낸 후, 이러한 대응점을 이용하여 인접하는 두 영상 사이의 움직임(
Figure pat00004
)을 계산한다.
상기에 개시된 첫 번째 방법은 기준 영상과 현재 영상 사이에 큰 흔들림이 발생할 경우, 특징점 추적에 실패하기 때문에 움직임 추정에 실패할 수 있다. 또한 시간이 지남에 따라서 기준 영상과 현재 영상 사이의 밝기 등과 같은 영상 정보 차이가 커지기 때문에 대응점 추적 성공에 더욱 어려움이 있다.
이러한 문제점을 해결하기 위해서, 여러 연구자들은 인접하는 영상 사이의 움직임을 계산하고, 이 움직임을 상기 수학식 1과 같이 누적하는 방식을 사용한다. 일반적으로 인접하는 영상은 움직임이 작고, 영상 정보가 유사하기 때문에 특징점 추적에 용이하다. 그러나 모든 영상 프레임마다 인접하는 움직임을 누적하여 기준 영상과 현재 영상 사이의 움직임(
Figure pat00005
)을 계산하기 때문에 기준 영상과 현재 영상 사이의 움직임(
Figure pat00006
)에 드리프트 에러를 피할 수 없고, 시간이 지날수록 영상 안정화에 실패할 확률이 커진다. 이러한 문제는 영상 안정화뿐만 아니라 움직임 추정을 기반으로 하는 모든 영상 처리 분야에서 발생하는 문제점이다. 따라서, 도 1 내지 도 6에 개시된 영상 안정화를 통하여 이러한 드리프트 에러를 제거하여 화질 열화를 개선하고 영상 안정화 성공률을 향상시키고자 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 안정화 장치의 구성을 보이는 블록도 이다.
도 1을 참조하면, 영상 안정화 장치(10)는, 카메라(100), 영상 처리수단(200), 제1 안정화 영상 획득수단(300) 및 제2 안정화 영상 획득수단(400)을 포함할 수 있다.
카메라(100)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 동일한 피사체에 대하여 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 더 나아가 카메라(100)는 열상 카메라 일 수도 있다. 열상 카메라는 각 물체로부터 방출되는 복사 에너지에 의해 물체와 그 물체의 주변 배경 간의 온도 차이를 검출하고 이를 전기 신호로 변환하여 영상화하는 카메라를 말한다.
영상 처리수단(200)은 카메라(100)로부터 출력되는 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리수단(200)은 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리수단(200)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
제1 안정화 영상 획득수단(300)은 영상 처리수단(200)에서 출력되고, 도 2에 도시된 바와 같이, 기준 영상(제0 영상)으로부터 제n 영상(현재 영상)까지, 복수의 영상들 중 인접하는 영상들을 이용하여 제1 안정화 영상을 획득한다. 이러한 제1 안정화 영상 획득수단(300)은 기준 영상(제0 영상)을 시작으로 임의의 영상(제n 영상, 현재 영상)까지 인접하는 영상들 간에 추정된 제1 움직임들을 누적하고, 그 누적결과를 역으로 변환한 제1 보정 움직임을 임의의 영상(제n 영상, 현재 영상)에 적용하여, 기준 영상(제0 영상) 대비 현재 영상에 대한 제1 안정화 영상을 획득한다.
이러한 제1 안정화 영상 획득수단(300)은 제1 보정 움직임 획득부(310) 및 제1 안정화 영상 출력부(320)를 포함할 수 있다.
제1 보정 움직임 획득부(310)는 동작을 상세히 설명하면, 인접하는 영상 중 제1 영상(도 2의 제n-1 영상, 이전 영상)으로부터 특징점들을 추출하고, 인접하는 영상 중 제2 영상(도 2의 제n 영상, 현재 영상)내에서 특징점들을 추적하여, 특징점들에 대응하는 대응점들을 획득한다. 이어서, 상기 수학식 1을 이용하여 제1 영상에 대한 제2 영상의 움직임, 즉, 특징점들 대비 대응점들의 움직임으로써 제1 움직임을 추정하고, 제1 움직임 및 기준 영상(제0 영상)부터 이전 영상(제n-1 영상)까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과를 역으로 변환한 제1 보정 움직임을 획득한다.
도 3에는 제1 보정 움직임 획득부(310)가 인접하는 영상 중 제1 영상(제n-1 영상, 이전 영상)으로부터 특징점을 추출하는 것을 보이는 도면이다. 도 3을 참조하면, 도 3a는 제1 영상(제n-1 영상, 이전 영상)을 나타내고, 도 3b는 제1 영상(제n-1 영상, 이전 영상)의 축소 영상을 나타내고, 도 3c는 축소된 제1 영상(제n-1 영상, 이전 영상)에 대한 엣지 영상을 나타낸다. 제1 보정 움직임 획득부(310)는 엣지 영상 내의 임의의 블록(예를 들어, 3×3 블록) 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우, 해당 블록을 특징점으로 추출할 수 있다. 여기서, 특징점 추적에 실패할 확률이 높은 엣지 위에 존재하는 특징점을 제거하고, 엣지가 교차하거나 코너에 위치하는 특징점을 선택하기 위해서, 블록의 폭과 너비를 조정하여 임계값의 변경이 가능하다. 도 3d에는 엣지 영상 내의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하여 추출된 특징점들을 보이고 있다.
이와 같이 엣지 영상으로부터 특징점 추출이 완료되면, 제1 보정 움직임 획득부(310)는 인접하는 영상 중 제2 영상(제n 영상, 현재 영상) 내에서 추출된 특징점들을 추적하여, 특징점들에 대응하는 대응점들을 획득한다. 다시 말해 제1 영상(제n-1 영상, 이전 영상)의 특징점들이 제2 영상(제n 영상, 현재 영상)에서 어디에 위치하는지 찾는 작업이라고 할 수 있다. 제1 보정 움직임 획득부(310)의 대응점 획득은 공지된 KLT(kanade-lucas-tomasi) 추적기 알고리즘, 테일러 시리즈(taylor expansion) 및 헤시안 매트릭스(hessian matrix)를 이용하여 획득할 수 있다. 도 4에는 제1 영상(제n-1 영상, 이전 영상)의 특징점들이 제2 영상(제n 영상, 현재 영상)내에서 어디에 위치하는지 추적한 결과로써의 대응점들이 도시되어 있다.
대응점 획득이 완료되면, 제1 보정 움직임 획득부(310)는 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 움직임으로써의 제1 움직임을 추정하고, 제1 움직임 및 기준 영상(제0 영상)부터 이전 영상(제n-1 영상, 이전 영상)까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과로써 제1 보정 움직임을 획득한다.
제1 보정 움직임 획득부(310)는 제1 움직임 추정을 위해 움직임 모델을 이용한다. 영상 안정화는 사용하는 영상 또는 카메라 움직임 모델에 따라서 2D 영상 안정화 및 3D 영상 안정화로 나눌 수 있다. 이 중 2D 영상 안정화는 도 5a에 도시된 바와 같이 기준 정사각형 모델(a-1)을 중심으로, Translation 움직임 모델(a-2), Euclidean 움직임 모델(a-3), Similarity 움직임 모델(a-4) 등을 이용할 수 있다. 2D 영상 안정화에서는 추정된 영상 움직임이 곧바로 영상 변환에 사용되기 때문에 구조가 비교적 간단하고 처리 속도가 빠르다. 2D 영상 안정화에서 사용되는 움직임 모델은 카메라의 흔들림 종류에 따라 달라질 수 있다.
카메라가 x축 및 y축 방향으로만 흔들리면 Translation 움직임 모델(a-2)을 사용하고, 롤(roll, z축 회전) 회전이 발생하면 Euclidean 움직임 모델(a-3)로 확장하고, 카메라가 전후 이동이나 줌과 같이 영상의 크기 변화가 발생하면 Similarity 움직임 모델(a-4)로 확장하여 사용한다. 깊이 변화가 있는 환경에서는 affine 움직임 모델(미도시) 또는 projective 움직임 모델(미도시)이 좋은 성능을 보이지만, 실제 카메라 움직임이 만들어 낼 수 없는 밀림(shearing) 현상과 같은 영상 왜곡을 만들어 내기 때문에 오히려 성능을 저하시킬 수 있다. 따라서 본 실시 예에 따른 영상 안정화에서는 x축과 y축 방향의 흔들림, 롤 회전, 영상 크기 변화 흔들림에 대응하기 위해서 도 5b에 도시된 바와 같이 Similarity 움직임 모델을 이용한다.
도 5b에 도시된 바와 같이 제1 영상(제n-1 영상, 이전 영상) 및 제2 영상(제n 영상, 현재 영상)으로부터 획득한 대응점을 각각 Xn-1=(xn-1, yn-1) 및 Xn=(xn, yn)이라고 하면, 두 점 사이의 관계는 하기 수학식 2와 같이 Similarity 움직임으로 표현할 수 있다.
Figure pat00007
여기에서, S, θ, Tx, Ty는 각각 Similarity 움직임 모델의 움직임 파라미터를 구성하는 영상 크기 변환(scale), 롤 회전, x축 방향 이동 및 y축 방향 이동을 나타낸다. 제1 보정 움직임 획득부(310)에서의 움직임 추정은 대응점간 움직임 파라미터(S, θ, Tx, Ty)를 계산하는 것이라 할 수 있다. 두 변수 S와 θ를
Figure pat00008
,
Figure pat00009
와 같이 치환하고 수학식 2를 정리하면 수학식 3과 같다.
Figure pat00010
한 쌍의 대응점에서는 수학식 3과 같이 2개의 수학식이 만들어지고, Similarity 움직임 모델의 움직임 파라미터에 해당하는 미지수가 4개 이므로, 대응점 2쌍을 알면 움직임 파라미터를 아래 수학식 4와 같이 계산할 수 있다.
Figure pat00011
Figure pat00012
특징점을 추적하거나 특징점 매칭을 통해서 찾은 대응점 중에는 정확하게 매칭된 대응점인 적합점(inlier) 및 잘못된 매칭된 대응점인 이상점(outlier)이 존재할 수 있다. 움직임 파라미터(S, θ, Tx, Ty)를 계산할 때 이상점을 사용하게 되면 정확하지 않은 움직임 파라미터(S, θ, Tx, Ty)가 계산된다. 이러한 문제점을 해결하기 위해서 일반적으로 RANSAC 알고리즘을 이용한다. 이상점의 비율이 많은 경우에도 움직임 파라미터(S, θ, Tx, Ty)를 안정적으로 계산하기 위해서, 본 실시 예의 영상 안정화 에서는 기존의 RANSAC 알고리즘을 수정하여 적합점과 이상점을 구분하는 임계값을 적응적으로 변경시키는 적응적인 RANSAC 알고리즘을 이용한다. 예를 들어 적합점의 비율이 정해놓은 비율보다 작은 경우, 임계값을 줄일 수 있다.
상기에서 설명한 방법으로 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 움직임 즉, 제1 움직임(
Figure pat00013
)을 수학식 5와 같이 획득할 수 있다.
Figure pat00014
수학식 5에서 계산된 제1 움직임(
Figure pat00015
)을 이용하여, 수학식 6을 용하여 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 제1 보정 움직임(
Figure pat00016
)을 구할 수 있다.
Figure pat00017
Figure pat00018
지금까지의 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 제1 움직임(
Figure pat00019
)을 계산하고, 제1 움직임(
Figure pat00020
)을 역으로 변환하는 제1 보정 움직임(
Figure pat00021
)을 산출하는 영상 안정화에 대한 첫 번째 방법의 내용을 설명하였다. 영상 안정화 두 번째 방법의 경우, 누적을 이용하여 기준 영상(제0 영상)으로부터 제2 영상(제n 영상, 현재 영상)까지의 제1 움직임(
Figure pat00022
) 및 제1 보정 움직임(
Figure pat00023
)을 산출하며, 본 실시 예에서는 상기 수학식1을 이용한 두 번째 방법을 적용한다.
따라서, 제1 보정 움직임 획득부(310)는 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 제1 움직임(
Figure pat00024
) 및 기준 영상(제0 영상)부터 제1 영상(제n-1 영상, 이전 영상)까지의 또 다른 제1 움직임
Figure pat00025
을 누적하여 제1 움직임 누적결과(
Figure pat00026
)을 산출하고, 제1 움직임 누적결과(
Figure pat00027
)을 역으로 변환하는 제1 보정 움직임(
Figure pat00028
)을 산출한다.
제1 안정화 영상 출력부(320)는 제2 영상(제n 영상, 현재 영상)에 제1 보정 움직임(
Figure pat00029
)을 적용하여 제1 안정화 영상을 출력한다.
제1 안정화 영상 획득수단(300)에서 출력되는 제1 안정화 영상은 드리프트 에러가 포함된 준 안정화 영상(pseudo stabilized image)이라고 할 수 있다. 그 이유는 기준 영상(제0 영상)부터 제2 영상(제n 영상, 현재 영상)까지 인접하는 영상간에 움직임을 누적하여 제1 움직임 누적결과(
Figure pat00030
)를 계산하기 때문에 인접하는 영상 간에 추정된 움직임에 드리프트 에러를 피할 수 없고, 드리프트 에러 또한 누적되어 영상 안정화에 실패할 확률이 커진다. 제1 보정 움직임 획득부(310) 및 제1 안정화 영상 출력부(320)에 표시된 움직임(
Figure pat00031
)은 모두 드리프트 에러를 포함하고 있음을 의미한다.
제1 안정화 영상 획득수단(300)을 통하여 획득된 제1 안정화 영상은 기준 영상(제0 영상)과 매우 유사하다. 만약 제1 안정화 영상 및 기준 영상(제0 영상) 사이에 움직임이 존재한다고 하더라도, 매우 작은 움직임이 존재한다. 만약 드리프트 에러로 인해서 제1 안정화 영상 및 기준 영상(제0 영상) 사이에 불일치가 일어났다고 해도 그 움직임이 작기 때문에, 제1 안정화 영상 및 기준 영상(제0 영상) 사이의 대응점은 추적을 통해서 쉽게 획득할 수 있고, 이 대응점을 이용하여 제1 안정화 영상 및 기준 영상(제0 영상) 사이의 움직임을 계산할 수 있다. 이로부터 최종 출력되는 제2 안정화 영상은 현재까지의 축적된 드리프트 에러가 제거된 안정화 영상이다.
제2 안정화 영상 획득수단(400)은 제1 안정화 영상 및 기준 영상(제0 영상) 간에 추정된 제2 움직임을 획득하고, 제2 움직임 및 제1 보정 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 제2 영상(제n 영상)에 적용하여 드리프트 에러가 제거된 제2 안정화 영상을 획득한다.
이러한 제2 안정화 영상 획득수단(400)은 제2 움직임 획득부(410), 제2 보정 움직임 획득부(420), 제2 안정화 영상 출력부(430)를 포함할 수 있다.
제2 움직임 획득부(410)는 기준 영상(제0 영상) 및 제1 안정화 영상 획득수단(300)에서 출력되는 제1 안정화 영상 간에 추정된 제2 움직임(
Figure pat00032
)을 획득한다. 제2 움직임 획득부(410)는 기준 영상(제0 영상)으로부터 특징점들을 추출하고, 제1 안정화 영상 내에서 특징점들을 추적하여, 특징점들에 대응하는 대응점들을 획득한다. 기준 영상(제0 영상)의 특징점 추출 및 기준 영상(제0 영상)과 제1 안정화 영상 사이의 대응점 획득에 대한 상세한 설명은 상기에 개시되어 있으므로 생략하기로 한다.
대응점 획득이 완료되면, 제2 움직임 획득부(410)는 기준 영상(제0 영상)에 대한 제1 안정화 영상의 움직임으로써의 제2 움직임을 추정한다. 상술한 바와 같이 Similarity 움직임 모델을 이용하여 움직임 파라미터(S, θ, Tx, Ty)가 계산된 제2 움직임(
Figure pat00033
)을 추정한다. 여기서 추정된 제2 움직임(
Figure pat00034
)은 드리프트 에러의 양과 동일하다.
제2 보정 움직임 획득부(420)는 제1 움직임 누적결과(
Figure pat00035
)와 제2 움직임(
Figure pat00036
)을 누적한 결과를 역으로 변환한 제2 보정 움직임(
Figure pat00037
)을 획득한다.
제1 안정화 영상(준 안정화 영상: pseudo stabilized image)의 한 픽셀 좌표를
Figure pat00038
로 나타내고, 이와 대응하는 입력 영상(unstable image)의 한 픽셀 좌표를
Figure pat00039
로 나타내면 수학식 7과 같다.
Figure pat00040
이러한 제1 안정화 영상에 존재하는 드리프트 에러를 제거하기 위해서, 수학식 8과 같이 기준 영상(제0 영상) 및 제1 안정화 영상 사이의 제2 움직임(
Figure pat00041
)을 계산할 수 있다.
Figure pat00042
수학식 8에 수학식 7을 대입하여 수학식 9와 같이 기준 영상(제0 영상,
Figure pat00043
) 대비 입력 영상(
Figure pat00044
)의 움직임을 구할 수 있다.
Figure pat00045
최종적으로 기준 영상(제0 영상,
Figure pat00046
) 대비 입력 영상(
Figure pat00047
)의 움직임(
Figure pat00048
)은 수학식 10으로 계산된다.
Figure pat00049
Figure pat00050
이로부터 제1 움직임들의 누적결과(
Figure pat00051
)와 제2 움직임(
Figure pat00052
)을 누적한 결과를 역으로 변환한 제2 보정 움직임(
Figure pat00053
)을 획득한다. 여기서 역으로 변환전 제2 보정 움직임은 기준 영상에 대비 제1 안정화 영상의 드리프트 에러가 제거된 움직임이 된다.
제2 안정화 영상 출력부(430)는 제1 안정화 영상에 제2 보정 움직임(
Figure pat00054
)을 적용하여 최종적으로 제2 안정화 영상을 출력한다.
이와 같이 제1 영상 안정화 처리 및 제2 영상 안정화 처리를 수행하여, 제1 영상 안정화 처리 후에도 남아있는 드리프트 에러를 제2 영상 안정화 처리로 제거하여 영상 안정화 실패를 줄이고, 화질 열화를 개선할 수 있다.
이하, 도 6을 참조하여 본 발명의 일 실시 예에 따른 영상 안정화 방법의 동작을 설명하기로 한다. 본 발명의 실시 예에 따른 영상 안정화 방법은 도 1에 도시된 바와 같이 영상 안정화 장치(10) 내부에서 수행될 수 있다. 이하의 설명에서, 도 1 내지 도 5에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 6을 참조하면, 영상 안정화 장치(10)는 기준 영상(제0 영상)을 시작으로 임의의 영상(제n 영상, 현재 영상)까지 인접하는 영상들 간에 추정된 제1 움직임 누적결과(
Figure pat00055
)를 역으로 변환한 제1 보정 움직임(
Figure pat00056
)을 획득하는 단계(S100)를 수행한다.
영상 안정화 장치(10)는 인접영상 중 제1 영상(제n-1 영상, 이전 영상)으로부터 특징점들을 추출하고, 인접하는 영상 중 제2 영상(제n 영상, 현재 영상)내에서 특징점들을 추적하여, 특징점들에 대응하는 대응점들을 획득한다. 이어서, 상기 수학식 1을 이용하여 제1 영상(제n-1 영상, 이전 영상)에 대한 제2 영상(제n 영상, 현재 영상)의 움직임, 즉, 특징점들 대비 대응점들의 움직임으로써 제1 움직임(
Figure pat00057
)을 추정하고, 제1 움직임 및 기준 영상(제0 영상)부터 제1 영상(제n-1 영상, 이전 영상)까지 인접영상 간에 추정된 또 다른 제1 움직임(
Figure pat00058
)의 누적 결과(
Figure pat00059
)를 역으로 변환한 제1 보정 움직임(
Figure pat00060
)을 획득한다.
이어서, 영상 안정화 장치(10)는 제1 보정 움직임(
Figure pat00061
)을 제2 영상(제n 영상, 현재 영상)에 적용하여 제1 안정화 영상을 획득하는 단계(S200)를 수행한다.
제1 안정화 영상은 드리프트 에러가 포함된 준 안정화 영상(pseudo stabilized image)이라고 할 수 있다. 그 이유는 기준 영상(제0 영상)부터 제2 영상(제n 영상)까지 인접하는 영상간에 움직임을 누적하여 제1 움직임(
Figure pat00062
)을 계산하기 때문에 인접하는 영상 간에 추정된 움직임에 드리프트 에러를 피할 수 없고, 드리프트 에러 또한 누적되어 영상 안정화에 실패할 확률이 커진다. 따라서, 이러한 드리프트 에러를 제거를 위해 하기 동작이 수행된다.
제1 안정화 영상이 획득되면, 영상 안정화 장치(10)는 기준 영상(제0 영상) 및 제1 안정화 영상 간에 추정된 제2 움직임(
Figure pat00063
)을 획득하는 단계(S300)를 수행한다.
영상 안정화 장치(10)는 기준 영상(제0 영상)으로부터 특징점들을 추출하고, 제1 안정화 영상 내에서 특징점들을 추적하여, 특징점들에 대응하는 대응점들을 획득한다. 대응점 획득이 완료되면, 영상 안정화 장치(10)는 기준 영상(제0 영상)에 대한 제1 안정화 영상의 움직임으로써의 제2 움직임(
Figure pat00064
)을 추정한다. 상술한 바와 같이 Similarity 움직임 모델을 이용하여 움직임 파라미터(S, θ, Tx, Ty)가 계산된 제2 움직임(
Figure pat00065
)을 추정한다. 여기서 추정된 제2 움직임(
Figure pat00066
)은 드리프트 에러의 양과 동일하다.
제2 움직임(
Figure pat00067
)을 획득이 완료되면, 영상 안정화 장치(10)는 제1 움직임 누적결과(
Figure pat00068
) 및 제2 움직임(
Figure pat00069
)을 누적한 결과를 역으로 변환한 제2 보정 움직임(
Figure pat00070
)을 획득하는 단계(S400)를 수행한다. 여기서 역으로 변환전 제2 보정 움직임은 기준 영상에 대비 제1 안정화 영상의 드리프트 에러가 제거된 움직임이 된다.
제2 보정 움직임(
Figure pat00071
) 획득이 완료되면, 영상 안정화 장치(10)는 제1 안정화 영상에 제2 보정 움직임(
Figure pat00072
)을 적용하여 최종적으로 드리프트 에러가 제거된 제2 안정화 영상을 출력하는 단계(S500)를 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100: 카메라
200: 영상 처리수단
300: 제1 안정화 영상 획득수단
310: 제1 보정 움직임 획득부
320: 제1 안정화 영상 출력부
400: 제2 안정화 영상 획득수단
410: 제2 움직임 획득부
420: 제2 보정 움직임 획득부
430: 제2 안정화 영상 출력부

Claims (20)

  1. 기준 영상을 시작으로 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 상기 영상에 적용하여 제1 안정화 영상을 획득하는 단계; 및
    상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하고, 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  2. 제 1항에 있어서, 상기 제1 안정화 영상은,
    상기 제1 움직임들 각각에 대한 드리프트 에러를 포함하고 있는 것을 특징으로 하는 영상 안정화 방법.
  3. 제 2항에 있어서, 상기 제2 안정화 영상은,
    상기 제2 보정 움직임에 의해 상기 드리프트 에러가 제거된 영상인 것을 특징으로 하는 영상 안정화 방법.
  4. 제 1항에 있어서, 상기 제1 안정화 영상을 획득하는 단계는,
    상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계; 및
    상기 제1 보정 움직임을 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  5. 제 4항에 있어서, 상기 제1 보정 움직임을 획득하는 단계는,
    상기 인접하는 영상 중 제1 영상으로부터 특징점들을 추출하는 단계;
    상기 인접하는 영상 중 제2 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하는 단계;
    상기 대응점들을 이용하여 상기 제1 영상에 대한 상기 제2 영상의 움직임으로써 상기 제1 움직임을 추정하는 단계; 및
    상기 제1 움직임을 포함하여 상기 기준 영상부터 상기 영상의 이전 영상까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  6. 제 5항에 있어서, 상기 특징점들을 추출하는 단계는,
    상기 제1 영상을 축소하고 엣지 영상을 획득하는 단계; 및
    상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  7. 제 5항에 있어서, 상기 제1 움직임들을 추정하는 단계는,
    상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제1 움직임들을 추정하는 단계;인 것을 특징으로 하는 영상 안정화 방법.
  8. 제 1항에 있어서, 상기 제2 안정화 영상을 획득하는 단계는,
    상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 단계;
    상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 단계; 및
    상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  9. 제 8항에 있어서, 상기 제2 움직임을 획득하는 단계는,
    상기 기준 영상으로부터 특징점들을 추출하는 단계;
    상기 제1 안정화 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하는 단계; 및
    상기 대응점들을 이용하여 상기 기준 영상에 대한 상기 제1 안정화 영상의 움직임으로써 상기 제2 움직임을 추정하여 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  10. 제 9항에 있어서, 상기 특징점들을 추출하는 단계는,
    상기 기준 영상을 축소하고 엣지 영상을 획득하는 단계; 및
    상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  11. 제 9항에 있어서, 상기 제2 움직임을 획득하는 단계는,
    상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제2 움직임을 획득하는 단계;인 것을 특징으로 하는 영상 안정화 방법.
  12. 기준 영상을 시작으로 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들을 누적하고, 그 누적결과를 제1 보정 움직임으로써 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 제1 안정화 영상 획득수단; 및
    상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하고, 상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 제2 안정화 영상 획득수단;을 포함하는 것을 특징으로 하는 영상 안정화 장치.
  13. 제 12항에 있어서,
    상기 제1 안정화 영상은 상기 제1 움직임들 각각에 대한 드리프트 에러를 포함하고 있으며,
    상기 제2 안정화 영상은 제2 보정 움직임에 의해 상기 드리프트 에러가 제거된 영상인 것을 특징으로 하는 영상 안정화 장치.
  14. 제 12항에 있어서, 상기 제1 안정화 영상 획득수단은,
    상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 제1 보정 움직임 획득부; 및
    상기 제1 보정 움직임을 상기 영상에 적용하여 제1 안정화 영상을 출력하는 제1 안정화 영상 출력부;를 포함하는 것을 특징으로 하는 영상 안정화 장치.
  15. 제 14항에 있어서, 상기 제1 보정 움직임 획득부는,
    상기 인접하는 영상 중 제1 영상으로부터 특징점들을 추출하고,
    상기 인접하는 영상 중 제2 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하고,
    상기 대응점들을 이용하여 상기 제1 영상에 대한 상기 제2 영상의 움직임으로써 상기 제1 움직임들을 추정하고,
    상기 제1 움직임을 포함하여 상기 기준 영상부터 상기 영상의 이전 영상까지 인접영상 간에 추정된 또 다른 제1 움직임들의 누적 결과를 역으로 변환한 제1 보정 움직임을 획득하는 것을 특징으로 하는 영상 안정화 장치.
  16. 제 12항에 있어서, 상기 제2 안정화 영상 획득부는,
    상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 제2 움직임 획득부;
    상기 제1 움직임의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 제2 보정 움직임 획득부; 및
    상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 출력하는 제2 안정화 영상 출력부;를 포함하는 것을 특징으로 하는 영상 안정화 장치.
  17. 제 16항에 있어서, 상기 제2 움직임 획득부는,
    상기 기준 영상으로부터 특징점들을 추출하고,
    상기 제1 안정화 영상 내에서 상기 특징점들을 추적하여 상기 특징점들에 대응하는 대응점들을 획득하고,
    상기 대응점들을 이용하여 상기 기준 영상에 대한 상기 제1 안정화 영상의 움직임으로써 상기 제2 움직임을 추정하여 획득하는 것을 특징으로 하는 영상 안정화 장치.
  18. 제 17항에 있어서, 상기 제2 움직임 획득부는,
    상기 기준 영상을 축소하고 엣지 영상을 획득하고, 상기 엣지 영상 내의 임의의 블록 내에 존재하는 엣지의 개수가 임계값을 초과하는 경우 상기 블록을 특징점으로 추출하는 것을 특징으로 하는 영상 안정화 장치.
  19. 제 17항에 있어서, 상기 제2 움직임 획득부는,
    상기 대응점들의 이동, 회전, 크기변화를 포함하는 상기 제2 움직임을 획득하는 것을 특징으로 하는 영상 안정화 장치.
  20. 상기 기준 영상을 시작으로 상기 임의의 영상까지 인접하는 영상들 간에 추정된 제1 움직임들의 누적결과를 역으로 변환한 제1 보정 움직임을 획득하는 단계;
    상기 제1 보정 움직임을 상기 영상에 역으로 적용하여 제1 안정화 영상을 획득하는 단계;
    상기 기준 영상 및 상기 제1 안정화 영상 간에 추정된 제2 움직임을 획득하는 단계;
    상기 제1 움직임들의 누적결과 및 상기 제2 움직임의 누적결과를 역으로 변환한 제2 보정 움직임을 획득하는 단계; 및
    상기 제2 보정 움직임을 상기 영상에 적용하여 제2 안정화 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130082470A 2013-07-12 2013-07-12 영상 안정화 장치 및 방법 KR101883481B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130082470A KR101883481B1 (ko) 2013-07-12 2013-07-12 영상 안정화 장치 및 방법
US14/075,768 US9716832B2 (en) 2013-07-12 2013-11-08 Apparatus and method for stabilizing image
CN201410019534.9A CN104284059B (zh) 2013-07-12 2014-01-16 用于稳定图像的设备和方法
US15/288,788 US10136063B2 (en) 2013-07-12 2016-10-07 Image stabilizing method and apparatus
US16/133,196 US10848672B2 (en) 2013-07-12 2018-09-17 Image stabilizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130082470A KR101883481B1 (ko) 2013-07-12 2013-07-12 영상 안정화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150007881A true KR20150007881A (ko) 2015-01-21
KR101883481B1 KR101883481B1 (ko) 2018-07-31

Family

ID=52258513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130082470A KR101883481B1 (ko) 2013-07-12 2013-07-12 영상 안정화 장치 및 방법

Country Status (3)

Country Link
US (1) US9716832B2 (ko)
KR (1) KR101883481B1 (ko)
CN (1) CN104284059B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082945A (ko) * 2016-01-07 2017-07-17 에스케이텔레콤 주식회사 영상 안정화 방법 및 장치
KR20170082944A (ko) * 2016-01-07 2017-07-17 에스케이텔레콤 주식회사 영상을 배속 재생하는 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
JP6448218B2 (ja) * 2014-05-12 2019-01-09 キヤノン株式会社 撮像装置、その制御方法および情報処理システム
WO2016199731A1 (ja) * 2015-06-10 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及びプログラム
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
US20170134746A1 (en) * 2015-11-06 2017-05-11 Intel Corporation Motion vector assisted video stabilization
CN109040521B (zh) * 2017-06-08 2020-11-13 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
US10616486B2 (en) 2018-08-09 2020-04-07 Ford Global Technologies, Llc Video stabilization
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
WO2020174588A1 (ja) * 2019-02-26 2020-09-03 株式会社ソシオネクスト 情報処理装置および情報処理方法
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
KR20230115127A (ko) 2022-01-26 2023-08-02 국방과학연구소 영상 안정화를 수행하는 이동 객체 검출 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001331A (ko) 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
US6628214B1 (en) * 1998-09-01 2003-09-30 Seiko Epson Corporation Deserializer, semiconductor device, electronic device, and data transmission system
US20060177209A1 (en) * 2005-02-09 2006-08-10 Kenichi Miyasako Imaging apparatus
KR100898406B1 (ko) * 2007-11-19 2009-05-21 중앙대학교 산학협력단 디지털 영상 안정화 시스템 및 방법
US20100134640A1 (en) * 2008-12-03 2010-06-03 Institute For Information Industry Method and system for digital image stabilization

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748231A (en) 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
KR970004927B1 (ko) 1993-02-27 1997-04-08 삼성전자 주식회사 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
JP3957915B2 (ja) * 1999-03-08 2007-08-15 パイオニア株式会社 フェード検出装置及び情報符号化装置
KR20040083822A (ko) 2003-03-25 2004-10-06 (주)시스포 카메라의 움직임 검출 장치 및 방법
JP4152398B2 (ja) * 2005-05-26 2008-09-17 三洋電機株式会社 手ぶれ補正装置
EP1796039B1 (en) * 2005-12-08 2018-11-28 Topcon Corporation Device and method for image processing
US8116576B2 (en) 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
JP5008421B2 (ja) 2006-03-03 2012-08-22 パナソニック株式会社 画像処理方法、画像処理装置、集積回路、カメラおよびプログラム
US20080165280A1 (en) * 2007-01-05 2008-07-10 Deever Aaron T Digital video stabilization with manual control
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
US8290212B2 (en) 2007-07-17 2012-10-16 Lockheed Martin Corporation Super-resolving moving vehicles in an unregistered set of video frames

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628214B1 (en) * 1998-09-01 2003-09-30 Seiko Epson Corporation Deserializer, semiconductor device, electronic device, and data transmission system
KR20020001331A (ko) 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
US20060177209A1 (en) * 2005-02-09 2006-08-10 Kenichi Miyasako Imaging apparatus
KR100898406B1 (ko) * 2007-11-19 2009-05-21 중앙대학교 산학협력단 디지털 영상 안정화 시스템 및 방법
US20100134640A1 (en) * 2008-12-03 2010-06-03 Institute For Information Industry Method and system for digital image stabilization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082945A (ko) * 2016-01-07 2017-07-17 에스케이텔레콤 주식회사 영상 안정화 방법 및 장치
KR20170082944A (ko) * 2016-01-07 2017-07-17 에스케이텔레콤 주식회사 영상을 배속 재생하는 방법 및 장치

Also Published As

Publication number Publication date
CN104284059A (zh) 2015-01-14
US9716832B2 (en) 2017-07-25
CN104284059B (zh) 2019-03-29
US20150015727A1 (en) 2015-01-15
KR101883481B1 (ko) 2018-07-31

Similar Documents

Publication Publication Date Title
KR101883481B1 (ko) 영상 안정화 장치 및 방법
US10404917B2 (en) One-pass video stabilization
US8428390B2 (en) Generating sharp images, panoramas, and videos from motion-blurred videos
KR101524548B1 (ko) 영상 정합 장치 및 방법
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
US9210445B2 (en) Method and apparatus for periodic structure handling for motion compensation
KR102069269B1 (ko) 영상 안정화 장치 및 방법
US9838604B2 (en) Method and system for stabilizing video frames
CN106550187B (zh) 用于图像稳定的设备和方法
KR101671391B1 (ko) 레이어 블러 모델에 기반한 비디오 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20100107594A (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP6202879B2 (ja) ローリングシャッタ歪み補正と映像安定化処理方法
KR102003460B1 (ko) 왜곡제거장치 및 방법
US7848541B2 (en) Differential phase correlation
US20120019677A1 (en) Image stabilization in a digital camera
US10861166B2 (en) Image restoration method
Ji et al. Single Image Deblurring with Row-dependent Blur Magnitude
KR102213201B1 (ko) 영상 안정화 장치 및 방법
KR20180016889A (ko) 영상 처리 장치 및 영상 처리 방법
CN109891877B (zh) 图像处理装置、图像显示装置以及程序
Altinisik et al. Source camera attribution from strongly stabilized videos
Tariq et al. Video Target Stabilization Based on Motion Vector Compensation.
Nakabayashi et al. Event-based Blur Kernel Estimation For Blind Motion Deblurring
CN113269695A (zh) 一种图像去模糊方法、系统、装置及存储介质
Huang et al. Video stabilization with distortion correction for wide-angle lens dashcam

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant