KR20130082309A - 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 - Google Patents

기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 Download PDF

Info

Publication number
KR20130082309A
KR20130082309A KR20120003449A KR20120003449A KR20130082309A KR 20130082309 A KR20130082309 A KR 20130082309A KR 20120003449 A KR20120003449 A KR 20120003449A KR 20120003449 A KR20120003449 A KR 20120003449A KR 20130082309 A KR20130082309 A KR 20130082309A
Authority
KR
South Korea
Prior art keywords
image
frame
image frames
frames
feature point
Prior art date
Application number
KR20120003449A
Other languages
English (en)
Other versions
KR101657525B1 (ko
Inventor
박상지
전재열
배주한
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120003449A priority Critical patent/KR101657525B1/ko
Priority to US13/611,725 priority patent/US9007472B2/en
Publication of KR20130082309A publication Critical patent/KR20130082309A/ko
Application granted granted Critical
Publication of KR101657525B1 publication Critical patent/KR101657525B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라가 움직여서 흔들린 영상을 보정하는 영상 안정화 장치에 관한 것이다. 본 발명은 물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및 상기 추출된 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 프레임 추출부를 구비하는 기준 영상 설정기를 제공한다.

Description

기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 {Apparatus for setting reference image, method thereof and image stabilization apparatus having the apparatus}
본 발명은 영상 안정화 장치에 관한 것으로서, 특히 기준 영상을 설정하는 기준 영상 설정기와 그 방법 및 이를 구비하는 영상 안정화 장치에 관한 것이다.
카메라를 이용하여 특정 물체, 특히 이동 물체를 정확하게 탐지하기 위해서는 매 영상이 안정되어야 한다. 그러나, 여러 가지 외부 요인에 의해 카메라로 촬영하는 영상이 흔들려서 특정 물체의 탐지가 어려운 경우가 발생한다. 예컨대, 카메라가 외부 환경에 노출된 상태에서 물체를 촬영하는 경우에 바람이나 외부 충격에 의해 카메라가 미세하게 움직일 수 있고, 이동 가능한 장치에 카메라가 장착된 경우 상기 장치가 이동함에 따라 카메라가 흔들릴 수가 있다. 영상이 흔들리는 현상은 카메라에 작용하는 외부 충격이 크면 클수록 심해져 종국에는 물체를 정확하게 탐지할 수 없는 경우가 발생하기도 한다. 이와 같이 흔들리는 영상을 안정화시켜서 물체를 정확하게 탐지하기 위하여 영상 안정화기 기술이 사용되고 있다.
종래의 영상 안정화 방법이 특허문헌(한국공개특허 2008-0083525호; 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을 보정할 수 있는 디지털 영상 안정화 방법)에 개시되어 있다. 상기 종래의 영상 안정화 방법은 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 이용하여 현재 프레임을 보정한다. 이러한 영상 안정화 방법에서는 영상의 흔들리는 폭이 커질 경우 영상의 보정이 안정적으로 이루어지지 않을 수 있다.
본 발명은 흔들림이 가장 적은 영상 프레임을 기준 영상으로 설정하는 기준 영상 설정기와 그 방법 및 상기 기준 영상을 이용하여 흔들리는 영상을 보정하는 영상 안정화 장치를 제공한다.
상기 과제를 해결하기 위하여 본 발명은,
물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및 상기 추출된 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 프레임 추출부를 구비하는 기준 영상 설정기를 제공한다.
상기 기준 프레임 추출부는, 상기 추출된 복수개의 영상 프레임들의 중심점들을 검출하는 중심점 검출부; 상기 추출된 복수개의 영상 프레임들로부터 복수개의 특징점들을 검출하는 특징점 검출부; 상기 중심점 검출부에서 검출한 중심점들과 상기 특징점 검출부에서 검출한 복수개의 특징점들로부터 복수개의 프레임 평균값들을 산출하는 프레임 평균값 산출부; 상기 복수개의 프레임 평균값들로부터 복수개의 프레임 비교값들을 산출하는 프레임 비교값 산출부; 및 상기 복수개의 프레임 비교값들 중에서 최소값을 갖는 프레임을 선택하는 기준 프레임 선택부를 구비할 수 있다.
상기 과제를 해결하기 위하여 본 발명은 또한,
(a) 특정 시간 동안 촬영된 복수개의 영상 프레임들을 구비하는 단계; 및 (b) 상기 복수개의 영상 프레임들을 상호 비교하여 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 단계를 포함하는 기준 영상 설정 방법을 제공한다.
상기 (b) 단계는 상기 복수개의 영상 프레임들의 중심점들과 특징점들을 검출하는 단계; 각각의 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들의 평균값을 산출하는 단계; 각각의 영상 프레임의 평균값에서 다른 영상 프레임들의 평균값들을 감산한 절대값들을 합산하는 단계; 및 상기 합산된 값들 중 최소값을 갖는 영상 프레임을 상기 기준 영상으로 설정하는 단계를 포함할 수 있다.
상기 과제를 해결하기 위하여 본 발명은 또한,
물체를 촬영하여 생성된 영상에 포함된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 영상 설정기를 구비하고, 외부에서 입력되는 영상을 상기 기준 영상과 비교하여 상기 영상에 흔들림이 있을 경우 상기 흔들림을 보정하는 영상 안정화 장치를 제공한다.
상기 흔들림을 보정하기 위하여, 상기 영상에 특징점 검사영역을 설정하는 특징점 검사영역 설정기; 및 상기 기준 영상과 상기 특징점 검사영역을 이용하여 상기 영상의 흔들림 여부를 검출하고, 상기 영상에 흔들림이 있을 경우에 상기 영상을 조정하여 상기 영상의 흔들림을 보정하는 영상 조정기를 구비할 수 있다.
본 발명은 흔들림이 가장 적은 영상 프레임을 추출하여 이를 기준 영상으로 설정하고, 현재 입력되는 영상을 상기 기준 영상 영상과 비교함으로써 영상의 흔들림 정도를 정확하게 판단할 수가 있다.
또한, 상기 흔들림 정도에 따라 영상을 보정해줌으로써, 영상이 최적으로 안정화된다.
도 1은 본 발명에 따른 영상 안정화 장치의 블록도이다.
도 2는 도 1에 도시된 기준 영상 설정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 3은 흔들린 영상 프레임들과 안정화된 영상 프레임의 일 예를 보여준다.
도 4는 도 도 2에 도시된 기준 영상 설정기가 본 발명의 실시예에 따라 기준 영상 설정 방법을 보여주는 흐름도이다.
도 5는 도 4에 도시된 제2 단계를 상세히 도시한 흐름도이다.
도 6은 도 1에 도시된 특징점 검사영역 설정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 7은 본 발명에 따라 검출된 무게중심점들의 일 예를 보여준다.
도 8은 본 발명에 따른 특징점 검사영역 설정 방법을 설명하기 위한 도면들이다.
도 9는 본 발명에 따라 설정된 최적의 특징점 검사영역을 보여준다.
도 10은 도 6에 도시된 특징점 검사영역 설정기가 본 발명의 실시예에 따라 특징점 검사영역 설정 방법을 보여주는 흐름도이다.
도 11은 도 10에 도시된 제2 단계를 상세히 도시한 흐름도이다.
도 12는 도 1에 도시된 영상 조정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 13은 본 발명에 따라 표시된 옵티컬 플로우의 일 예를 보여준다.
도 14는 본 발명에 따른 옵티컬 플로우의 대표 방향들을 보여준다.
도 15는 본 발명에 따라 영상이 조정된 상태를 보여준다.
도 16은 영상의 움직임 정도를 그래프로 보여준다.
도 17은 도 12에 도시된 영상 조정기가 본 발명의 실시예에 따라 영상을 조정하는 방법을 보여주는 흐름도이다.
이하, 첨부한 도면들을 참조하여 본 발명에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 영상 안정화 장치(100)의 블록도이다. 영상 안정화 장치(100)는 카메라(도시 안됨)가 물체를 촬영하여 생성한 영상 데이터(P1)를 수신하고, 영상 데이터(P1)에 포함된 영상을 안정화시킨다. 상기 카메라가 고정된 상태에서 물체를 연속적으로 촬영할 경우에 촬영되는 영상은 항상 일정하다. 그러나, 상기 카메라가 흔들리는 상태에서 물체를 촬영하게 되면, 상기 촬영된 영상이 흔들리게 되고, 이로 인하여 상기 물체를 명확하게 구별하는 것이 어렵게 된다. 이와 같이, 영상이 흔들린 경우, 영상 안정화 장치(100)는 상기 흔들린 영상을 원래의 위치로 이동시켜서 안정화시켜준다.
도 1을 참조하면, 영상 안정화 장치(100)는 기준 영상 설정기(111), 특징점 검사영역 설정기(121) 및 영상 조정기(131)를 구비한다.
기준 영상 설정기(111)는 물체를 촬영하여 생성된 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정한다. 기준 영상 설정기(111)는 상기 기준 영상을 나타내는 신호(P2)를 영상 조정기(131)로 출력한다. 기준 영상 설정기(111)에 대해서는 도 2 내지 도 5를 통해서 상세히 설명하기로 한다.
특징점 검사영역 설정기(121)는 외부에서 입력되는 영상 데이터(P1)를 수신하고 특징점 검사영역을 설정한다. 특징점 검사영역 설정기(121)는 상기 특징점 검사영역을 나타내는 신호(P3)를 생성하여 영상 조정기(131)로 출력한다. 특징점 검사영역 설정기(121)에 대해서는 도 6 내지 도 11을 통하여 상세히 설명하기로 한다.
영상 조정기(131)는 신호들(P2,P3)을 수신하고, 현재 입력되는 영상 데이터(P1)에 포함된 영상에 상기 특징점 검사영역을 설정한 다음 현재 입력되는 영상을 상기 기준 영상과 비교하여 영상에 흔들림이 있을 경우에 상기 흔들린 정도에 따라 현재 입력되는 영상을 조정하여 안정화시킨다. 영상 조정기(131)에 대해서는 도 12 내지 도 17을 통하여 상세히 설명하기로 한다.
도 2는 도 1에 도시된 기준 영상 설정기(111)의 상세 블록도이다. 도 2를 참조하면, 기준 영상 설정기(111)는 샘플 프레임 추출부(211)와 기준 프레임 추출부(221)를 구비한다.
샘플 프레임 추출부(211)는 외부로부터 영상 데이터(P1)를 수신한다. 영상 데이터(P1)는 카메라가 동일한 물체를 연속적으로 촬영하여 생성함으로써 생성된다. 영상 데이터(P1)는 복수개의 영상 프레임들을 포함한다. 에컨대, 영상 데이터(P1)는 도 3에 도시된 바와 같이 오른쪽에 위치한 건물을 포함하는 풍경을 연속적으로 촬영한 복수개의 영상 프레임들(a,b,c)을 포함한다. 도 3의 (a)와 (c)는 (b)에 비해 영상이 상부 방향으로 흔들린 상태를 보여준다. 샘플 프레임 추출부(211)는 영상 데이터(P1)로부터 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다. 영상 데이터(P1)는 카메라의 성능에 따라 1초당 수백개의 영상 프레임들로부터 수만개의 영상 프레임들을 포함한다. 따라서, 상기 특정 시간은 카메라의 촬영 속도가 빠르면 1초 이내로 설정되고, 카메라의 촬영 속도가 늦으면 1초를 초과하여 설정되는 것이 바람직하지만, 이에 한정되는 것은 아니다.
기준 프레임 추출부(221)는 샘플 프레임 추출부(211)에 의해 추출된 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 추출하고, 이를 기준 영상으로써 설정한다. 가장 안정된 영상 프레임은 영상의 흔들림이 가장 적은 영상 프레임을 나타낸다.
기준 프레임 추출부(221)는 중심점 검출부(231), 특징점 검출부(232), 프레임 평균값 산출부(233), 프레임 비교값 산출부(234) 및 기준 프레임 선택부(235)를 구비한다.
중심점 검출부(231)는 샘플 프레임 추출부(211)로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들의 중심점들을 검출한다. 즉, 중심점 검출부(231)는 상기 복수개의 영상 프레임들 각각으로부터 중심점들을 하나씩 검출한다. 상기 중심점은 영상 프레임의 중앙에 위치하며, 좌표로써 표시될 수 있다.
특징점 검출부(232)는 샘플 프레임 추출부(211)로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들로부터 복수개의 특징점들을 검출한다. 즉, 특징점 검출부(232)는 상기 복수개의 영상 프레임들 각각으로부터 복수개의 특징점들을 검출한다. 상기 복수개의 특징점들은 각각 좌표로써 표시될 수 있다. 영상 프레임은 다양한 특징 요소들을 구비하고 있으며, 사용자의 필요에 따라 이들 다양한 특징 요소들 중 일부가 상기 특징점들로써 검출될 수 있다. 영상 프레임의 특징점들을 검출하기 위하여 해리스(Harris)의 코너 검출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(speeded Up Robust Feature) 알고리즘 등을 이용할 수 있다.
프레임 평균값 산출부(233)는 중심점 검출부(231)에서 검출한 복수개의 중심점들과 특징점 검출부(232)에서 검출한 복수개의 특징점들을 수신하고, 복수개의 프레임 평균값들을 산출한다. 상기 복수개의 프레임 평균값들은 각각 해당하는 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들을 평균함으로써 획득된다. 복수개의 영상 프레임들의 수가 N개(N은 정수)라고 할 때, N개의 프레임 평균값들이 산출된다.
프레임 비교값 산출부(234)는 프레임 평균값 산출부(233)로부터 복수개의 프레임 평균값들을 수신하고, 복수개의 프레임 비교값들을 산출한다. 상기 복수개의 프레임 비교값들은 각각 해당하는 영상 프레임의 프레임 평균값에서 다른 영상 프레임들의 평균값들을 감산한 절대값들을 합산함으로써 획득된다. 프레임 평균값들이 N개라고 할 때, 프레임 비교값들도 N개이다. 복수개의 영상 프레임들 각각의 프레임 비교값(Pk; k는 정수)은 아래 수학식 1을 이용하여 산출될 수 있다.
Figure pat00001
여기서, abs는 절대치를 나타낸다.
예컨대, 상기 특정 시간 동안 선택된 영상 프레임이 5개라면, 5개의 프레임 평균값들(R0∼R4)이 산출되고, 프레임 비교값들은 아래 수학식 2와 같이 5개(P0∼P4)가 획득될 수 있다.
Figure pat00002
기준 프레임 선택부(235)는 상기 복수개의 프레임 비교값들을 수신하고, 상기 복수개의 프레임 비교값들 중에서 최소값을 갖는 영상 프레임을 선택한다. 상기 최소값을 갖는 영상 프레임이 상기 기준 영상으로 설정된다. 프레임 비교값이 최소값을 갖는다는 것은 영상의 흔들림이 가장 적다는 것을 나타낸다.
상술한 바와 같이, 기준 영상 설정기(111)는 외부로부터 입력되는 영상 데이터(P1)로부터 상기 특정 시간 동안 복수개의 영상 프레임들을 추출하고, 상기 추출된 복수개의 영상 프레임들 중 영상의 흔들림이 가장 적은 영상 프레임을 검출하여 이를 기준 영상으로써 설정한다.
도 4는 도 2에 도시된 기준 영상 설정기가 기준 영상을 설정하는 방법을 순차적으로 도시한 흐름도이다. 도 4를 참조하면, 기준 영상 설정 방법은 제1 단계(411) 및 제2 단계(421)를 포함한다.
제1 단계(411)로써, 기준 영상 설정기(111)는 외부에서 입력되는 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다.
제2 단계(421)로써, 기준 영상 설정기(111)는 상기 추출된 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 검출하여 기준 영상으로써 설정한다. 가장 안정된 영상 프레임은 영상의 흔들림이 가장 적은 영상 프레임을 나타낸다.
도 5는 도 4에 도시된 제2 단계(421)를 구체적으로 도시한 흐름도이다. 도 5를 참조하면, 도 4의 제2 단계(421)는 4 단계들(511∼541)을 포함한다.
첫 번째 단계(511)로써, 기준 영상 설정기(111)는 상기 추출된 복수개의 영상 프레임들 각각의 중심점과 복수개의 특징점들을 추출한다.
두 번째 단계(521)로써, 기준 영상 설정기(111)는 각 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들의 평균값 즉, 프레임 평균값을 산출한다.
세 번째 단계(531)로써, 기준 영상 설정기(111)는 각각의 프레임 평균값에서 다른 프레임 평균값들을 감산한 절대값들의 합 즉, 프레임 비교값들을 산출한다. 즉, 기준 영상 설정기(111)는 상기 수학식 1을 이용하여 복수개의 프레임 비교값들을 산출한다.
네 번째 단계(541)로써, 기준 영상 설정기(111)는 상기 복수개의 프레임 비교값들 중 최소값을 갖는 영상 프레임을 검출하여 기준 영상으로써 설정한다.
따라서, 기준 영상 설정기(111)는 외부로부터 입력되는 영상 데이터에 포함된 복수개의 영상 프레임들 중 영상의 흔들림이 가장 적은 영상 프레임을 검출하여 이를 기준 영상으로써 설정할 수가 있다.
도 6은 도 1에 도시된 특징점 검사영역 설정기(121)를 본 발명의 실시예에 따라 도시한 상세 블록도이다. 도 6을 참조하면, 특징점 검사영역 설정기(121)는 샘플 프레임 추출부(611)와 프레임 분석부(621)를 구비한다.
샘플 프레임 추출부(611)는 외부로부터 영상 데이터(P1)를 수신한다. 영상 데이터(P1)는 동일한 물체를 연속적으로 촬영하여 생성된 복수개의 영상 프레임들을 포함한다. 샘플 프레임 추출부(611)는 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다. 카메라가 물체를 촬영하여 생성되는 영상 데이터는 카메라의 성능에 따라 1초당 수백개의 영상 프레임들로부터 수만개의 영상 프레임들로 이루어진다. 따라서, 상기 특정 시간은 카메라의 촬영 속도가 빠르면 1초 이내로 설정되고, 카메라의 촬영 속도가 늦으면 1초를 초과하여 설정되는 것이 바람직하지만, 이에 한정되는 것은 아니다.
프레임 분석부(621)는 샘플 프레임 추출부(611)로부터 상기 특정 시간 동안 추출된 복수개의 영상 프레임들을 수신한다. 프레임 분석부(621)는 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 복수개의 특징점들을 이용하여 최적의 특징점 검사영역을 설정한다. 프레임 분석부(621)는 상기 특징점 검사영역을 나타내는 신호(P3)를 출력한다.
프레임 분석부(621)는 특징점 검출부(631), 특징점 분류부(632), 중심점 검출부(633), 검사영역 설정부(634) 및 검사영역 조정부(635)를 구비한다.
특징점 검출부(631)는 샘플 프레임 추출부(611)로부터 상기 특정 시간 동안 추출된 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들에서 복수개의 특징점들(도 9의 921)을 검출한다. 즉, 특징점 검출부(631)는 상기 복수개의 영상 프레임들 각각에 대해 복수개의 특징점들(도 9의 921)을 검출한다. 복수개의 특징점들(도 9의 921)은 각각 좌표로써 표시될 수 있다. 영상 프레임은 다양한 특징 요소들을 구비하고 있으며, 사용자의 설정에 따라 이들 다양한 특징 요소들 중 일부가 특징점들(도 9의 921)로써 검출될 수 있다. 영상 프레임의 특징점들(도 9의 921)을 검출하기 위하여 Harris의 코너 검출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(speeded Up Robust Feature) 알고리즘 등을 이용할 수 있다.
특징점 분류부(632)는 특징점 검출부(631)에 의해 검출된 복수개의 특징점들(도 9의 921)을 각 영상 프레임(도 7의 711)별로 복수개의 클러스터(cluster)들(도 7의 721,731), 예컨대, 메이저 클러스터(major cluster)(도 7의 721)와 마이너 클러스터(minor cluster)(도 7의 731)로 분류한다. 메이저 클러스터(major cluster)(도 7의 721)는 50%보다 많은 특징점들을 포함하고, 마이너 클러스터(minor cluster)(도 7의 731)는 50%보다 적은 특징점들을 포함한다. 이와 같이, 메이저 클러스터(도 7의 721)는 마이너 클러스터(도 7의 731)보다 많은 특징점들을 포함하기 때문에 도 7에 도시된 바와 같이 마이너 클러스터(도 7의 731)보다 넓게 설정될 수 있다. 특징점들(도 9의 921)을 복수개의 클러스터들(도 7의 721,731)로 분류하기 위하여 케이민 클러스터링(k-mean clustering) 방식과 SVM(Support Vector Machine) 방식을 이용할 수 있다.
중심점 검출부(633)는 상기 복수개의 영상 프레임들의 특징점들의 무게중심점(도 7의 741)을 검출한다. 이를 위해 중심점 검출부(633)는 특징점 분류부(632)에 의해 분류된 각 영상 프레임(도 7의 711)의 메이저 클러스터의 무게중심점(도 7의 723)과 마이너 클러스터의 무게중심점(도 7의 733)을 검출한다. 중심점 검출부(633)는 메이저 클러스터의 무게중심점(도 7의 723)과 마이너 클러스터의 무게중심점(도 7의 733)의 평균값을 산출하여 각 영상 프레임의 무게중심점(도 7의 741)을 검출한다. 각 영상 프레임의 무게중심점(도 7의 741)은 도 7에 도시된 바와 같이 대체적으로 메이저 클러스터(도 7의 721)에 가까운 곳에 위치한다. 중심점 검출부(633)는 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)의 평균값을 산출하여 도 8에 도시된 바와 같이 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다. 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)의 평균값은 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)을 모두 합산한 다음 이들을 상기 복수개의 영상 프레임들의 개수로 나눔으로써 산출된다.
검사영역 설정부(634)는 도 8에 도시된 바와 같이 중심점 검출부(633)에 의해 검출된 대표 무게중심점(도 8의 751)을 중심으로 상기 복수개의 영상 프레임들의 메이저 클러스터(도 8의 721)들을 모두 포함하는 특징점 검사영역(도 8의 811,821)을 설정한다. 특징점 검사영역(도 8의 811,821)은 다양한 형태로 이루어질 수 있으나, 도 8의 (a)에 도시된 바와 같이 원형(811)으로 이루어질 수도 있고, 도 8의 (b)에 도시된 바와 같이 사각형(821)으로 이루어질 수도 있다.
검사영역 조정부(635)는 특징점 검사영역(도 8의 811,821)이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들(도 9의 921)의 기준값 이상을 포함하는지를 확인한다. 상기 기준값은 특징점들(도 9의 921)의 80%로 설정될 수 있다. 검사영역 조정부(635)는 특징점 검사영역(도 8의 811,821)에 포함된 특징점들이 상기 기준값 미만일 경우에는 특징점 검사영역(도 8의 811,821)을 확대하여 상기 기준값만큼 포함하도록 조정한다. 도 9의 (b)는 조정이 완료되어 최적의 특징점 검사 영역(911)이 설정된 상태를 보여준다. 도 9의 (a)는 상기 복수개의 영상 프레임들 중 하나를 보여준다.
상술한 바와 같이, 특징점 검사영역 설정기(121)가 최적의 특징점 검사 영역(도 9의 911)을 설정함으로써, 영상 안정화 장치(도 1의 100)의 특징점 검사 시간이 대폭적으로 감소된다.
도 10은 도 6에 도시된 특징점 검사영역 설정기(121)가 본 발명의 실시예에 따라 특징점 검사영역 설정 방법을 보여주는 흐름도이다. 도 10을 참조하면, 특징점 검사영역 설정 방법은 제1 단계(1011) 및 제2 단계(1021)를 포함한다.
제1 단계(1011)로써, 특징점 검사영역 설정기(도 6의 121)는 외부에서 입력되는 영상 데이터((도 6의 P1)에 포함된 복수개의 영상 프레임들 중 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다.
제2 단계(1021)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 추출된 복수개의 영상 프레임들로부터 복수개의 특징점들(도 9의 921)을 검출하고, 상기 복수개의 특징점들(도 9의 921)을 이용하여 최적의 특징점 검사영역(도 9의 911)을 설정한다.
도 11은 도 10에 도시된 제2 단계(1021)를 상세히 도시한 흐름도이다. 도 11을 참조하면, 도 10의 제2 단계(1021)는 5 단계들(1111∼1151)을 포함한다.
첫 번째 단계(1111)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 추출된 복수개의 영상 프레임들 각각에서 복수개의 특징점들(도 9의 921)을 추출한다.
두 번째 단계(1121)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 검출된 복수개의 특징점들(도 9의 921)을 각 영상 프레임별로 복수개의 클러스터들(도 7의 721,731), 예컨대 메이저 클러스터(도 7의 721)와 마이너 클러스터(도 7의 731)로 분류한다. 메이저 클러스터(도 7의 721)는 50%보다 많은 특징점들을 포함하도록 설정하고, 마이너 클러스터(도 7의 731)는 50%보다 적은 특징점들을 포함하도록 설정한다.
세 번째 단계(1131)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다. 즉, 특징점 검사영역 설정기(도 6의 121)는 상기 복수개의 클러스터들(도 7의 721,731) 각각의 무게중심점들(도 7의 723,733)을 검출하고, 영상 프레임별로 상기 복수개의 클러스터들(도 7의 721,731)의 무게중심점들(도 7의 723,733)의 평균값을 산출하여 각 영상 프레임의 무게중심점들(도 7의 741)을 검출한다. 이어서 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)을 합산한 다음 이들을 상기 복수개의 영상 프레임들의 개수로 나누어서 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다.
네 번째 단계(1141)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 대표 무게중심점(도 8의 751)을 중심으로 메이저 클러스터들(도 7의 721)을 모두 포함하는 특징점 검사영역(도 8의 811,821)을 설정한다.
다섯 번째 단계(1151)로써, 특징점 검사영역 설정기(도 6의 121)는 특징점 검사영역(도 8의 811,821)이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들(도 9의 921)의 기준값 이상을 포함하는지를 확인한다. 특징점 검사영역 설정기(도 6의 121)는 특징점 검사영역(도 8의 811,821)에 포함된 특징점들이 상기 기준값 미만일 경우에는 특징점 검사영역(도 8의 811,821)을 확대하여 상기 기준값만큼 포함하도록 조정한다. 상기 기준값은 특징점들(도 9의 921)의 80%를 포함하는 값으로 설정될 수 있다. 따라서, 최적의 특징점 검사영역(도 9의 911)을 설정할 수가 있다.
상술한 바와 같이, 특징점 검사영역 설정기(도 6의 121)는 외부로부터 입력되는 영상 데이터(도 6의 P1)에 포함된 복수개의 영상 프레임들을 이용하여 최적의 특징점 검사영역(도 9의 911)을 설정함으로써, 영상의 특징점 검사 시간이 대폭적으로 단출된다.
도 12는 도 1에 도시된 영상 조정기(131)를 본 발명의 실시예에 따라 도시한 상세 블록도이다. 도 12를 참조하면 영상 조정기(131)는 영상 분석부(1201)와 영상 이동부(1241)를 구비한다.
영상 분석부(1201)는 외부로부터 입력되는 영상 데이터(P1)에 포함된 현재 영상과 기준 영상 신호(P2)에 포함된 기 설정된 기준 영상을 비교하여 현재 영상에 흔들림이 있을 경우에 상기 흔들림의 대표 방향과 대표 크기를 추출한다.
영상 분석부(1201)는 옵티컬 플로우 계산부(1211), 대표 방향 추출부(1221) 및 대표 크기 추출부(1231)를 구비한다.
옵티컬 플로우 계산부(1211)는 상기 현재 영상과 상기 기준 영상을 비교하여 특징점 검사영역(도 9의 911) 내의 옵티컬 플로우(도 13의 1321)를 계산한다. 도 13에 도시된 바와 같이 옵티컬 플로우(1321)는 방향과 크기를 갖는다. 옵티컬 플로우(도 13의 1321)를 계산하는 방법은 공지된 기술이므로 구체적인 설명은 생략하기로 한다. 상기 기준 영상은 특정 시간 동안 촬영된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임으로써 설정된다. 옵티컬 플로우 계산부(1211)는 도 2에 도시된 기준 영상 설정기로부터 상기 기준 영상을 수신할 수 있다. 상기 기준 영상을 설정하는 것에 대해서는 도 2 내지 도 5를 통해 상세히 설명되어 있으므로 이를 참조할 수 있다.
대표 방향 추출부(1221)는 옵티컬 플로우 계산부(1211)에 의해 계산된 옵티컬 플로우(도 13의 1321)를 입력한다. 대표 방향 추출부(1221)는 옵티컬 플로우(도 13의 1321)로부터 현재 입력되는 영상의 흔들림의 대표 방향을 추출한다. 영상의 흔들림의 방향은 도 14에 도시된 바와 같이 8 방향 예컨대, 동향, 서향, 남향, 북향, 동남향, 동북향, 서남향, 서북향으로 설정될 수 있다. 대표 방향 추출부(1221)는 옵티컬 플로우(도 13의 1321)의 대표적인 방향이 상기 8 방향 중에서 어디에 해당하는지를 판단하여 현재 입력되는 영상의 흔들림의 대표 방향으로써 설정한다. 영상의 흔들림의 방향은 12 방향, 24 방향, 36 방향 등으로 보다 세밀하게 분류될 수도 있다.
대표 크기 추출부(1231)는 옵티컬 플로우 계산부(1211)에 의해 계산된 옵티컬 플로우(도 13의 1321)를 입력한다. 대표 크기 추출부(1231)는 옵티컬 플로우(도 13의 1321)에서 현재 입력되는 영상의 흔들림의 대표 크기를 추출한다. 영상의 흔들림의 대표 크기는 영상 흔들림의 대표 방향을 갖는 옵티컬 플로우의 크기들을 히스토그램(histogram)으로 변환하고, 상기 히스토그램에서 빈(bin)의 개수가 가장 많은 범위에 포함된 벡터들의 크기의 평균값으로써 설정될 수 있다.
영상 이동부(1241)는 대표 방향 추출부(1221)에서 추출한 대표 방향의 반대 방향으로 대표 크기 추출부(1231)에서 추출한 대표 크기만큼 현재 입력되는 영상을 이동시킨다. 즉, 영상 이동부(1241)는 아래 표 1에 기재된 방향 및 크기만큼 영상을 이동시킨다. 아래 표 1에서 마이너스는 반대 방향을 나타내고, 대표 방향은 도 14에 도시된 방향을 나타낸다.
대표 방향 현재 영상 이동 좌표(X축, Y축)
1 -대표크기, 0
2 -(대표크기/
Figure pat00003
), -(대표크기/
Figure pat00004
)
3 0, -대표크기
4 (대표크기/
Figure pat00005
), -(대표크기/
Figure pat00006
)
5 대표크기, 0
6 (대표크기/
Figure pat00007
), (대표크기/
Figure pat00008
)
7 0, 대표크기
8 -(대표크기/
Figure pat00009
), (대표크기/
Figure pat00010
)
표 1을 참조하면, 영상 이동부(1241)는 대표 방향이 X축 방향(1,5)일 경우에는 현재 영상을 X축상에서 대표 크기만큼 반대 방향으로 이동시키고, Y축 방향(3,7)일 경우에는 현재 영상을 Y축상에서 대표 크기만큼 반대 방향으로 이동시킨다. 그러나, 대표 방향이 대각선 방향(2,4,6,8)일 경우에는, 영상 이동부(1241)는 삼각함수의 식을 이용하여 현재 영상을 대각선상에서 (대표크기/
Figure pat00011
)만큼 반대방향으로 이동시킨다. 이 후에 상기 이동되어진 현재 영상의 상하좌우를 상기 대표 방향과 대표 크기를 고려한 적정한 크기로 잘라준다. 따라서, 도 15에 도시된 바와 같이 영상이 안정화된다. 영상 이동부(1241)는 안정화된 영상을 포함하는 신호(P4)를 출력한다.
도 16은 영상의 흔들림 정도를 그래프로 보여준다. (a)는 영상이 안정화되기 이전의 영상의 흔들림 정도를 보여주고, (b)는 영상이 안정화된 후의 영상의 흔들림 정도를 보여준다.
도 16의 (a)를 참조하면, 영상들 상호간에 픽셀들의 위치 편차가 크게 나타난다. 즉, 도 16의 (a)는 영상의 흔들림이 심하여 영상이 불안정한 상태를 보여준다.
도 16의 (b)를 참조하면, 영상들 상호간에 픽셀들의 위치 편차가 작게 나타난다. 즉, 도 16의 (b)는 영상의 흔들림이 매우 작아서 영상이 안정된 상태를 보여준다.
상술한 바와 같이, 영상 조정기(131)로 입력되는 영상의 옵티컬 플로우를 계산하여 상기 영상의 흔들림의 대표 방향과 대표 크기를 추출하고, 상기 영상의 흔들림이 있을 경우에 상기 대표 방향의 반대 방향으로 상기 대표 크기 만큼 영상을 이동시켜줌으로써, 상기 흔들림이 보정되어 영상이 안정화된다.
도 17은 도 12에 도시된 영상 조정기(131)가 본 발명의 실시예에 따라 영상을 조정하는 방법을 보여주는 흐름도이다. 도 17을 참조하면, 영상 조정 방법은 제1 내지 제3 단계들(1711∼1731)을 포함한다.
제1 단계(1711)로써, 영상 조정기(131)는 외부로부터 입력되는 현재 영상과 기 설정된 기준 영상을 비교하여 옵티컬 플로우(도 13의 1321)를 계산한다. 상기 기준 영상은 외부에서 영상 조정기(131)로 입력된다.
제2 단계(1721)로써, 영상 조정기(131)는 옵티컬 플로우(도 13의 1321)로부터 현재 입력되는 영상의 흔들림의 대표 방향과 대표 크기를 추출한다.
제3 단계(1731)로써, 영상 조정기(131)는 현재 입력되는 영상을 상기 대표 방향의 반대 방향으로 상기 대표 크기만큼 이동시킨다. 구체적으로, 영상 조정기(131)는 상기 대표 방향이 X축 방향일 경우에는 현재 영상을 X축상에서 대표 크기만큼 반대 방향으로 이동시키고, 상기 대표 방향이 Y축 방향일 경우에는 현재 영상을 Y축상에서 상기 대표 크기만큼 반대 방향으로 이동시킨다. 그러나, 상기 대표 방향이 대각선 방향일 경우에는, 영상 조정기(131)는 삼각함수의 식을 이용하여 현재 영상을 대각선상에서 (대표크기/
Figure pat00012
)만큼 반대방향으로 이동시킨다. 이 후에 상기 이동되어진 현재 영상의 상하좌우를 상기 대표 방향과 대표 크기를 고려한 적정한 크기로 잘라준다. 따라서, 도 15에 도시된 바와 같이 흔들림이 보정되어 안정화된 영상을 얻을 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (14)

  1. 물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및
    상기 추출된 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 프레임 추출부를 구비하는 것을 특징으로 하는 기준 영상 설정기.
  2. 제1 항에 있어서,
    상기 복수개의 영상 프레임들은 동일한 물체를 연속적으로 촬영하여 생성된 것을 특징으로 하는 기준 영상 설정기.
  3. 제1 항에 있어서,
    상기 샘플 프레임 추출부로 입력되는 영상은 한 곳에 고정된 카메라에 의해 촬영된 영상인 것을 특징으로 하는 기준 영상 설정기.
  4. 제3 항에 있어서,
    상기 기준 영상은 상기 카메라의 흔들림이 가장 적은 상태에서 촬영된 영상인 것을 특징으로 하는 기준 영상 설정기.
  5. 제1항에 있어서, 상기 기준 프레임 추출부는
    상기 추출된 복수개의 영상 프레임들의 중심점들을 검출하는 중심점 검출부;
    상기 추출된 복수개의 영상 프레임들로부터 복수개의 특징점들을 검출하는 특징점 검출부;
    상기 중심점 검출부에서 검출한 중심점들과 상기 특징점 검출부에서 검출한 복수개의 특징점들로부터 복수개의 프레임 평균값들을 산출하는 프레임 평균값 산출부;
    상기 복수개의 프레임 평균값들로부터 복수개의 프레임 비교값들을 산출하는 프레임 비교값 산출부; 및
    상기 복수개의 프레임 비교값들 중에서 최소값을 갖는 프레임을 선택하는 기준 프레임 선택부를 구비하는 것을 특징으로 하는 기준 영상 설정기.
  6. 제5 항에 있어서,
    상기 중심점 검출부는 상기 복수개의 영상 프레임들로부터 상기 중심점들을 각각 하나씩 검출하는 것을 특징으로 하는 기준 영상 설정기.
  7. 제5 항에 있어서,
    상기 특징점 검출부는 상기 복수개의 영상 프레임들로부터 각각 복수개의 특징점들을 검출하는 것을 특징으로 하는 기준 영상 설정기.
  8. 제5 항에 있어서,
    상기 프레임 평균값 산출부는 각 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들을 평균하여 상기 프레임 평균값을 산출하는 것을 특징으로 하는 기준 영상 설정기.
  9. 제5 항에 있어서,
    상기 프레임 비교값 산출부는 각 영상 프레임의 프레임 평균값에서 다른 영상 프레임들의 프레임 평균값들을 감산한 절대값들을 합산하여 상기 복수개의 프레임 비교값들을 산출하는 것을 특징으로 하는 기준 영상 설정기.
  10. (a) 특정 시간 동안 촬영된 복수개의 영상 프레임들을 구비하는 단계; 및
    (b) 상기 복수개의 영상 프레임들을 상호 비교하여 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 단계를 포함하는 것을 특징으로 하는 기준 영상 설정 방법.
  11. 제10 항에 있어서, 상기 (b) 단계는
    (b-1) 상기 복수개의 영상 프레임들의 중심점들과 특징점들을 검출하는 단계;
    (b-2) 각각의 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들의 평균값을 산출하는 단계;
    (b-3) 각각의 영상 프레임의 평균값에서 다른 영상 프레임들의 평균값들을 감산한 절대값들을 합산하는 단계; 및
    (b-4) 상기 합산된 값들 중 최소값을 갖는 영상 프레임을 상기 기준 영상으로 설정하는 단계를 포함하는 것을 특징으로 하는 기준 영상 설정 방법.
  12. 제11 항에 있어서,
    상기 복수개의 영상 프레임들 각각으로부터 하나의 중심점을 검출하고, 상기 복수개의 영상 프레임들 각각으로부터 복수개의 특징점들을 검출하는 것을 특징으로 하는 기준 영상 설정 방법.
  13. 물체를 촬영하여 생성된 영상에 포함된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 영상 설정기를 구비하고,
    외부에서 입력되는 영상을 상기 기준 영상과 비교하여 상기 영상에 흔들림이 있을 경우 상기 흔들림을 보정하는 것을 특징으로 하는 영상 안정화 장치.
  14. 제13 항에 있어서,
    상기 흔들림을 보정하기 위하여,
    상기 영상에 특징점 검사영역을 설정하는 특징점 검사영역 설정기; 및
    상기 기준 영상과 상기 특징점 검사영역을 이용하여 상기 영상의 흔들림 여부를 검출하고, 상기 영상에 흔들림이 있을 경우에 상기 영상을 조정하여 상기 영상의 흔들림을 보정하는 영상 조정기를 구비하는 것을 특징으로 하는 영상 안정화 장치.
KR1020120003449A 2012-01-11 2012-01-11 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 KR101657525B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120003449A KR101657525B1 (ko) 2012-01-11 2012-01-11 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
US13/611,725 US9007472B2 (en) 2012-01-11 2012-09-12 Reference image setting apparatus and method, and image stabilizing apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003449A KR101657525B1 (ko) 2012-01-11 2012-01-11 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치

Publications (2)

Publication Number Publication Date
KR20130082309A true KR20130082309A (ko) 2013-07-19
KR101657525B1 KR101657525B1 (ko) 2016-09-19

Family

ID=48743669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003449A KR101657525B1 (ko) 2012-01-11 2012-01-11 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치

Country Status (2)

Country Link
US (1) US9007472B2 (ko)
KR (1) KR101657525B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110814700A (zh) * 2019-11-18 2020-02-21 歌尔股份有限公司 齿轮与马达组装机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101485A (ja) * 2004-08-31 2006-04-13 Sanyo Electric Co Ltd 手ぶれ補正装置および撮像機器
KR20090045585A (ko) * 2007-11-02 2009-05-08 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
WO2010100677A1 (ja) * 2009-03-05 2010-09-10 富士通株式会社 画像処理装置およびぶれ量算出方法
KR20110009547A (ko) * 2009-07-22 2011-01-28 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348851A (ja) 1993-04-12 1994-12-22 Sony Corp 対象物位置検出方法
JP4542011B2 (ja) * 2005-09-27 2010-09-08 富士通株式会社 カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
EP2126627B1 (en) 2007-03-26 2014-08-27 Pelco. Inc. Method of improving the video images from a video camera
KR20100021216A (ko) 2008-08-14 2010-02-24 (주)캠톤 카메라의 떨림 검출방법
KR100985805B1 (ko) 2009-03-26 2010-11-09 중앙대학교 산학협력단 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101485A (ja) * 2004-08-31 2006-04-13 Sanyo Electric Co Ltd 手ぶれ補正装置および撮像機器
KR20090045585A (ko) * 2007-11-02 2009-05-08 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
WO2010100677A1 (ja) * 2009-03-05 2010-09-10 富士通株式会社 画像処理装置およびぶれ量算出方法
KR20110009547A (ko) * 2009-07-22 2011-01-28 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법

Also Published As

Publication number Publication date
US20130176448A1 (en) 2013-07-11
KR101657525B1 (ko) 2016-09-19
US9007472B2 (en) 2015-04-14

Similar Documents

Publication Publication Date Title
KR101657524B1 (ko) 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
KR101657526B1 (ko) 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
US8289402B2 (en) Image processing apparatus, image pickup apparatus and image processing method including image stabilization
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US8385732B2 (en) Image stabilization
TWI496105B (zh) 影像合成裝置及用於影像合成之電腦程式
US20140347513A1 (en) Detection apparatus, method for detecting feature point and storage medium
KR101548183B1 (ko) 화상처리장치 및 그 제어 방법
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
US20180220113A1 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
US20100027661A1 (en) Image Processing Method, Image Processing Program, Image Processing Device, and Imaging Device
US9706121B2 (en) Image processing apparatus and image processing method
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
KR20160000423A (ko) 화상처리장치, 그 제어 방법 및 기억매체
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
KR101657525B1 (ko) 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US9122935B2 (en) Object detection method, storage medium, integrated circuit, and object detection apparatus
US20220006957A1 (en) Imaging apparatus for shake correction of captured image, method, and storage medium
JP2019021990A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2012133587A (ja) 画像解析装置、画像解析方法及びプログラム
CN102118559A (zh) 利用移动侦测调整数字相机的拍摄条件的方法
KR101652116B1 (ko) 피사체 영역 및 움직임 검출 장치 및 방법
JP6150558B2 (ja) 追尾処理装置およびその制御方法
JP6525693B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 4