KR101657526B1 - 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 - Google Patents

특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 Download PDF

Info

Publication number
KR101657526B1
KR101657526B1 KR1020120003450A KR20120003450A KR101657526B1 KR 101657526 B1 KR101657526 B1 KR 101657526B1 KR 1020120003450 A KR1020120003450 A KR 1020120003450A KR 20120003450 A KR20120003450 A KR 20120003450A KR 101657526 B1 KR101657526 B1 KR 101657526B1
Authority
KR
South Korea
Prior art keywords
image
image frames
feature points
center
clusters
Prior art date
Application number
KR1020120003450A
Other languages
English (en)
Other versions
KR20130082310A (ko
Inventor
배주한
박상지
전재열
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020120003450A priority Critical patent/KR101657526B1/ko
Priority to US13/713,471 priority patent/US8988534B2/en
Publication of KR20130082310A publication Critical patent/KR20130082310A/ko
Application granted granted Critical
Publication of KR101657526B1 publication Critical patent/KR101657526B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라가 움직여서 흔들린 영상을 보정하는 영상 안정화 장치에 관한 것이다. 본 발명은 물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및 상기 추출된 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 프레임 분석부를 구비하는 하는 특징점 검사영역 설정기를 제공한다.

Description

특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 {Apparatus of setting inspection area for feature point and method thereof and image stabilization apparatus having the apparatus}
본 발명은 영상 안정화 장치에 관한 것으로서, 특히 영상에 특징점 검사영역을 설정하는 특징점 검사영역 설정기와 그 방법 및 이를 구비하는 영상 안정화 장치에 관한 것이다.
카메라를 이용하여 특정 물체, 특히 이동 물체를 정확하게 탐지하기 위해서는 매 영상이 안정되어야 한다. 그러나, 여러 가지 외부 요인에 의해 카메라로 촬영하는 영상이 흔들려서 특정 물체의 탐지가 어려운 경우가 발생한다. 예컨대, 카메라가 외부 환경에 노출된 상태에서 물체를 촬영하는 경우에 바람이나 외부 충격에 의해 카메라가 미세하게 움직일 수 있고, 이동 가능한 장치에 카메라가 장착된 경우 상기 장치가 이동함에 따라 카메라가 흔들릴 수가 있다. 영상이 흔들리는 현상은 카메라에 작용하는 외부 충격이 크면 클수록 심해져 종국에는 물체를 정확하게 탐지할 수 없는 경우가 발생하기도 한다. 이와 같이 흔들리는 영상을 안정화시켜서 물체를 정확하게 탐지하기 위하여 영상 안정화기 기술이 사용되고 있다.
종래의 영상 안정화 방법이 특허문헌(한국공개특허 2008-0083525호; 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을 보정할 수 있는 디지털 영상 안정화 방법)에 개시되어 있다. 상기 종래의 영상 안정화 방법은 현재 프레임에서 추출된 특징 포인트들과 이전 프레임에서 추출된 특징 포인트들을 이용하여 현재 프레임을 보정한다. 이러한 영상 안정화 방법에서는 영상의 흔들리는 폭이 커질 경우 영상의 보정이 안정적으로 이루어지지 않을 수 있다.
본 발명은 최적의 특징점 검사 영역을 설정하는 장치와 그 방법 및 상기 특징점 검사영역을 이용하여 흔들리는 영상을 보정하여 안정화시키는 영상 안정화 장치를 제공한다.
상기 과제를 해결하기 위하여 본 발명은,
물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및 상기 추출된 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 프레임 분석부를 구비하는 특징점 검사영역 설정기를 제공한다.
상기 프레임 분석부는, 상기 샘플 프레임 추출부로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하는 특징점 검출부; 상기 복수개의 특징점들을 각 영상 프레임별로 복수개의 클러스터들로 분류하는 특징점 분류부; 상기 복수개의 영상 프레임들의 특징점들의 무게중심점을 검출하는 중심점 검출부; 상기 무게중심점을 중심으로 상기 복수개의 클러스터들 중 메이저 클러스터들을 포함하는 특징점 검사영역을 설정하는 검사영역 결정부; 및 상기 특징점 검사영역이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들의 기준값 이상을 포함하는지를 확인하는 검사영역 조정부를 구비할 수 있다.
상기 과제를 해결하기 위하여 본 발명은 또한,
(a) 특정 시간 동안 촬영된 복수개의 영상 프레임들을 구비하는 단계; 및 (b) 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 단계를 포함하는 특징점 검사영역 설정 방법을 제공한다.
상기 (b) 단계는, (b-1) 상기 복수개의 영상 프레임들 각각에서 복수개의 특징점들을 검출하는 단계; (b-2) 상기 복수개의 특징점들을 각 영상 프레임별로 복수개의 클러스터들로 분류하는 단계; (b-3) 상기 복수개의 영상 프레임들을 대표하는 무게중심점을 검출하는 단계; (b-4) 상기 대표 무게중심점을 중심으로 상기 복수개의 클러스터들 중 메이저 클러스터들을 포함하는 특징점 검사영역을 설정하는 단계; 및 상기 특징점 검사영역이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들의 80% 이상을 포함하는지를 확인하는 단계를 포함할 수 있다.
상기 과제를 해결하기 위하여 본 발명은 또한,
물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하고, 상기 추출된 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 특징점 검사영역 설정기를 구비하고, 현재 입력되는 영상에 상기 특징점 검사영역을 설정하고, 상기 특징점 검사영역을 기 설정된 기준 영상과 비교하여 상기 영상에 흔들림이 있을 경우 상기 흔들림을 보정하는 영상 안정화 장치를 제공한다.
상기 흔들림을 보정하기 위하여, 상기 특정 시간 동안 촬영된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 영상 설정기; 및 상기 기준 영상과 현재 입력되는 영상을 비교하여 현재 입력되는 영상의 흔들림 여부를 검출하고, 흔들림이 있을 경우에 현재 입력되는 영상을 조정하여 상기 흔들림을 보정하는 영상 조정기를 구비할 수 있다.
본 발명은 특정 시간 동안 추출된 영상 프레임들로부터 최적의 특징점 검사 영역을 설정함으로써 현재 입력되는 영상의 특징점들을 검사하는 시간이 대폭적으로 단축된다.
또한, 최적의 특징점 검사영역을 이용하여 현재 입력되는 영상의 흔들림을 보정함으로써, 영상의 보정 시간이 단축되고, 영상이 최적으로 안정화될 수가 있다.
도 1은 본 발명에 따른 영상 안정화 장치의 블록도이다.
도 2는 도 1에 도시된 기준 영상 설정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 3은 흔들린 영상 프레임들과 안정화된 영상 프레임의 일 예를 보여준다.
도 4는 도 도 2에 도시된 기준 영상 설정기가 본 발명의 실시예에 따라 기준 영상 설정 방법을 보여주는 흐름도이다.
도 5는 도 4에 도시된 제2 단계를 상세히 도시한 흐름도이다.
도 6은 도 1에 도시된 특징점 검사영역 설정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 7은 본 발명에 따라 검출된 무게중심점들의 일 예를 보여준다.
도 8은 본 발명에 따른 특징점 검사영역 설정 방법을 설명하기 위한 도면들이다.
도 9는 본 발명에 따라 설정된 최적의 특징점 검사영역을 보여준다.
도 10은 도 6에 도시된 특징점 검사영역 설정기가 본 발명의 실시예에 따라 특징점 검사영역 설정 방법을 보여주는 흐름도이다.
도 11은 도 10에 도시된 제2 단계를 상세히 도시한 흐름도이다.
도 12는 도 1에 도시된 영상 조정기를 본 발명의 실시예에 따라 도시한 상세 블록도이다.
도 13은 본 발명에 따라 표시된 옵티컬 플로우의 일 예를 보여준다.
도 14는 본 발명에 따른 옵티컬 플로우의 대표 방향들을 보여준다.
도 15는 본 발명에 따라 영상이 조정된 상태를 보여준다.
도 16은 영상의 움직임 정도를 그래프로 보여준다.
도 17은 도 12에 도시된 영상 조정기가 본 발명의 실시예에 따라 영상을 조정하는 방법을 보여주는 흐름도이다.
이하, 첨부한 도면들을 참조하여 본 발명에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 영상 안정화 장치(100)의 블록도이다. 영상 안정화 장치(100)는 카메라(도시 안됨)가 물체를 촬영하여 생성한 영상 데이터(P1)를 수신하고, 영상 데이터(P1)에 포함된 영상을 안정화시킨다. 상기 카메라가 고정된 상태에서 물체를 연속적으로 촬영할 경우에 촬영되는 영상은 항상 일정하다. 그러나, 상기 카메라가 흔들리는 상태에서 물체를 촬영하게 되면, 상기 촬영된 영상이 흔들리게 되고, 이로 인하여 상기 물체를 명확하게 구별하는 것이 어렵게 된다. 이와 같이, 영상이 흔들린 경우, 영상 안정화 장치(100)는 상기 흔들린 영상을 원래의 위치로 이동시켜서 안정화시켜준다.
도 1을 참조하면, 영상 안정화 장치(100)는 기준 영상 설정기(111), 특징점 검사영역 설정기(121) 및 영상 조정기(131)를 구비한다.
기준 영상 설정기(111)는 물체를 촬영하여 생성된 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정한다. 기준 영상 설정기(111)는 상기 기준 영상을 나타내는 신호(P2)를 영상 조정기(131)로 출력한다. 기준 영상 설정기(111)에 대해서는 도 2 내지 도 5를 통해서 상세히 설명하기로 한다.
특징점 검사영역 설정기(121)는 외부에서 입력되는 영상 데이터(P1)를 수신하고 특징점 검사영역을 설정한다. 특징점 검사영역 설정기(121)는 상기 특징점 검사영역을 나타내는 신호(P3)를 생성하여 영상 조정기(131)로 출력한다. 특징점 검사영역 설정기(121)에 대해서는 도 6 내지 도 11을 통하여 상세히 설명하기로 한다.
영상 조정기(131)는 신호들(P2,P3)을 수신하고, 현재 입력되는 영상 데이터(P1)에 포함된 영상에 상기 특징점 검사영역을 설정한 다음 현재 입력되는 영상을 상기 기준 영상과 비교하여 영상에 흔들림이 있을 경우에 상기 흔들린 정도에 따라 현재 입력되는 영상을 조정하여 안정화시킨다. 영상 조정기(131)에 대해서는 도 12 내지 도 17을 통하여 상세히 설명하기로 한다.
도 2는 도 1에 도시된 기준 영상 설정기(111)의 상세 블록도이다. 도 2를 참조하면, 기준 영상 설정기(111)는 샘플 프레임 추출부(211)와 기준 프레임 추출부(221)를 구비한다.
샘플 프레임 추출부(211)는 외부로부터 영상 데이터(P1)를 수신한다. 영상 데이터(P1)는 카메라가 동일한 물체를 연속적으로 촬영하여 생성함으로써 생성된다. 영상 데이터(P1)는 복수개의 영상 프레임들을 포함한다. 에컨대, 영상 데이터(P1)는 도 3에 도시된 바와 같이 오른쪽에 위치한 건물을 포함하는 풍경을 연속적으로 촬영한 복수개의 영상 프레임들(a,b,c)을 포함한다. 도 3의 (a)와 (c)는 (b)에 비해 영상이 상부 방향으로 흔들린 상태를 보여준다. 샘플 프레임 추출부(211)는 영상 데이터(P1)로부터 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다. 영상 데이터(P1)는 카메라의 성능에 따라 1초당 수백개의 영상 프레임들로부터 수만개의 영상 프레임들을 포함한다. 따라서, 상기 특정 시간은 카메라의 촬영 속도가 빠르면 1초 이내로 설정되고, 카메라의 촬영 속도가 늦으면 1초를 초과하여 설정되는 것이 바람직하지만, 이에 한정되는 것은 아니다.
기준 프레임 추출부(221)는 샘플 프레임 추출부(211)에 의해 추출된 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 추출하고, 이를 기준 영상으로써 설정한다. 가장 안정된 영상 프레임은 영상의 흔들림이 가장 적은 영상 프레임을 나타낸다.
기준 프레임 추출부(221)는 중심점 검출부(231), 특징점 검출부(232), 프레임 평균값 산출부(233), 프레임 비교값 산출부(234) 및 기준 프레임 선택부(235)를 구비한다.
중심점 검출부(231)는 샘플 프레임 추출부(211)로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들의 중심점들을 검출한다. 즉, 중심점 검출부(231)는 상기 복수개의 영상 프레임들 각각으로부터 중심점들을 하나씩 검출한다. 상기 중심점은 영상 프레임의 중앙에 위치하며, 좌표로써 표시될 수 있다.
특징점 검출부(232)는 샘플 프레임 추출부(211)로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들로부터 복수개의 특징점들을 검출한다. 즉, 특징점 검출부(232)는 상기 복수개의 영상 프레임들 각각으로부터 복수개의 특징점들을 검출한다. 상기 복수개의 특징점들은 각각 좌표로써 표시될 수 있다. 영상 프레임은 다양한 특징 요소들을 구비하고 있으며, 사용자의 필요에 따라 이들 다양한 특징 요소들 중 일부가 상기 특징점들로써 검출될 수 있다. 영상 프레임의 특징점들을 검출하기 위하여 해리스(Harris)의 코너 검출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(speeded Up Robust Feature) 알고리즘 등을 이용할 수 있다.
프레임 평균값 산출부(233)는 중심점 검출부(231)에서 검출한 복수개의 중심점들과 특징점 검출부(232)에서 검출한 복수개의 특징점들을 수신하고, 복수개의 프레임 평균값들을 산출한다. 상기 복수개의 프레임 평균값들은 각각 해당하는 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들을 평균함으로써 획득된다. 복수개의 영상 프레임들의 수가 N개(N은 정수)라고 할 때, N개의 프레임 평균값들이 산출된다.
프레임 비교값 산출부(234)는 프레임 평균값 산출부(233)로부터 복수개의 프레임 평균값들을 수신하고, 복수개의 프레임 비교값들을 산출한다. 상기 복수개의 프레임 비교값들은 각각 해당하는 영상 프레임의 프레임 평균값에서 다른 영상 프레임들의 평균값들을 감산한 절대값들을 합산함으로써 획득된다. 프레임 평균값들이 N개라고 할 때, 프레임 비교값들도 N개이다. 복수개의 영상 프레임들 각각의 프레임 비교값(Pk; k는 정수)은 아래 수학식 1을 이용하여 산출될 수 있다.
Figure 112012002826207-pat00001
여기서, abs는 절대치를 나타낸다.
예컨대, 상기 특정 시간 동안 선택된 영상 프레임이 5개라면, 5개의 프레임 평균값들(R0∼R4)이 산출되고, 프레임 비교값들은 아래 수학식 2와 같이 5개(P0∼P4)가 획득될 수 있다.
Figure 112012002826207-pat00002
기준 프레임 선택부(235)는 상기 복수개의 프레임 비교값들을 수신하고, 상기 복수개의 프레임 비교값들 중에서 최소값을 갖는 영상 프레임을 선택한다. 상기 최소값을 갖는 영상 프레임이 상기 기준 영상으로 설정된다. 프레임 비교값이 최소값을 갖는다는 것은 영상의 흔들림이 가장 적다는 것을 나타낸다.
상술한 바와 같이, 기준 영상 설정기(111)는 외부로부터 입력되는 영상 데이터(P1)로부터 상기 특정 시간 동안 복수개의 영상 프레임들을 추출하고, 상기 추출된 복수개의 영상 프레임들 중 영상의 흔들림이 가장 적은 영상 프레임을 검출하여 이를 기준 영상으로써 설정한다.
도 4는 도 2에 도시된 기준 영상 설정기가 기준 영상을 설정하는 방법을 순차적으로 도시한 흐름도이다. 도 4를 참조하면, 기준 영상 설정 방법은 제1 단계(411) 및 제2 단계(421)를 포함한다.
제1 단계(411)로써, 기준 영상 설정기(111)는 외부에서 입력되는 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다.
제2 단계(421)로써, 기준 영상 설정기(111)는 상기 추출된 복수개의 영상 프레임들을 상호 비교하여 가장 안정된 영상 프레임을 검출하여 기준 영상으로써 설정한다. 가장 안정된 영상 프레임은 영상의 흔들림이 가장 적은 영상 프레임을 나타낸다.
도 5는 도 4에 도시된 제2 단계(421)를 구체적으로 도시한 흐름도이다. 도 5를 참조하면, 도 4의 제2 단계(421)는 4 단계들(511∼541)을 포함한다.
첫 번째 단계(511)로써, 기준 영상 설정기(111)는 상기 추출된 복수개의 영상 프레임들 각각의 중심점과 복수개의 특징점들을 추출한다.
두 번째 단계(521)로써, 기준 영상 설정기(111)는 각 영상 프레임의 중심점과 복수개의 특징점들 사이의 거리들의 평균값 즉, 프레임 평균값을 산출한다.
세 번째 단계(531)로써, 기준 영상 설정기(111)는 각각의 프레임 평균값에서 다른 프레임 평균값들을 감산한 절대값들의 합 즉, 프레임 비교값들을 산출한다. 즉, 기준 영상 설정기(111)는 상기 수학식 1을 이용하여 복수개의 프레임 비교값들을 산출한다.
네 번째 단계(541)로써, 기준 영상 설정기(111)는 상기 복수개의 프레임 비교값들 중 최소값을 갖는 영상 프레임을 검출하여 기준 영상으로써 설정한다.
따라서, 기준 영상 설정기(111)는 외부로부터 입력되는 영상 데이터에 포함된 복수개의 영상 프레임들 중 영상의 흔들림이 가장 적은 영상 프레임을 검출하여 이를 기준 영상으로써 설정할 수가 있다.
도 6은 도 1에 도시된 특징점 검사영역 설정기(121)를 본 발명의 실시예에 따라 도시한 상세 블록도이다. 도 6을 참조하면, 특징점 검사영역 설정기(121)는 샘플 프레임 추출부(611)와 프레임 분석부(621)를 구비한다.
샘플 프레임 추출부(611)는 외부로부터 영상 데이터(P1)를 수신한다. 영상 데이터(P1)는 동일한 물체를 연속적으로 촬영하여 생성된 복수개의 영상 프레임들을 포함한다. 샘플 프레임 추출부(611)는 영상 데이터(P1)에 포함된 복수개의 영상 프레임들 중에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다. 카메라가 물체를 촬영하여 생성되는 영상 데이터는 카메라의 성능에 따라 1초당 수백개의 영상 프레임들로부터 수만개의 영상 프레임들로 이루어진다. 따라서, 상기 특정 시간은 카메라의 촬영 속도가 빠르면 1초 이내로 설정되고, 카메라의 촬영 속도가 늦으면 1초를 초과하여 설정되는 것이 바람직하지만, 이에 한정되는 것은 아니다.
프레임 분석부(621)는 샘플 프레임 추출부(611)로부터 상기 특정 시간 동안 추출된 복수개의 영상 프레임들을 수신한다. 프레임 분석부(621)는 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 복수개의 특징점들을 이용하여 최적의 특징점 검사영역을 설정한다. 프레임 분석부(621)는 상기 특징점 검사영역을 나타내는 신호(P3)를 출력한다.
프레임 분석부(621)는 특징점 검출부(631), 특징점 분류부(632), 중심점 검출부(633), 검사영역 설정부(634) 및 검사영역 조정부(635)를 구비한다.
특징점 검출부(631)는 샘플 프레임 추출부(611)로부터 상기 특정 시간 동안 추출된 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들에서 복수개의 특징점들(도 9의 921)을 검출한다. 즉, 특징점 검출부(631)는 상기 복수개의 영상 프레임들 각각에 대해 복수개의 특징점들(도 9의 921)을 검출한다. 복수개의 특징점들(도 9의 921)은 각각 좌표로써 표시될 수 있다. 영상 프레임은 다양한 특징 요소들을 구비하고 있으며, 사용자의 설정에 따라 이들 다양한 특징 요소들 중 일부가 특징점들(도 9의 921)로써 검출될 수 있다. 영상 프레임의 특징점들(도 9의 921)을 검출하기 위하여 Harris의 코너 검출 방법, SIFT(Scale Invariant Feature Transform) 알고리즘, SURF(speeded Up Robust Feature) 알고리즘 등을 이용할 수 있다.
특징점 분류부(632)는 특징점 검출부(631)에 의해 검출된 복수개의 특징점들(도 9의 921)을 각 영상 프레임(도 7의 711)별로 복수개의 클러스터(cluster)들(도 7의 721,731), 예컨대, 메이저 클러스터(major cluster)(도 7의 721)와 마이너 클러스터(minor cluster)(도 7의 731)로 분류한다. 메이저 클러스터(major cluster)(도 7의 721)는 50%보다 많은 특징점들을 포함하고, 마이너 클러스터(minor cluster)(도 7의 731)는 50%보다 적은 특징점들을 포함한다. 이와 같이, 메이저 클러스터(도 7의 721)는 마이너 클러스터(도 7의 731)보다 많은 특징점들을 포함하기 때문에 도 7에 도시된 바와 같이 마이너 클러스터(도 7의 731)보다 넓게 설정될 수 있다. 특징점들(도 9의 921)을 복수개의 클러스터들(도 7의 721,731)로 분류하기 위하여 케이민 클러스터링(k-mean clustering) 방식과 SVM(Support Vector Machine) 방식을 이용할 수 있다.
중심점 검출부(633)는 상기 복수개의 영상 프레임들의 특징점들의 무게중심점(도 7의 741)을 검출한다. 이를 위해 중심점 검출부(633)는 특징점 분류부(632)에 의해 분류된 각 영상 프레임(도 7의 711)의 메이저 클러스터의 무게중심점(도 7의 723)과 마이너 클러스터의 무게중심점(도 7의 733)을 검출한다. 중심점 검출부(633)는 메이저 클러스터의 무게중심점(도 7의 723)과 마이너 클러스터의 무게중심점(도 7의 733)의 평균값을 산출하여 각 영상 프레임의 무게중심점(도 7의 741)을 검출한다. 각 영상 프레임의 무게중심점(도 7의 741)은 도 7에 도시된 바와 같이 대체적으로 메이저 클러스터(도 7의 721)에 가까운 곳에 위치한다. 중심점 검출부(633)는 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)의 평균값을 산출하여 도 8에 도시된 바와 같이 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다. 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)의 평균값은 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)을 모두 합산한 다음 이들을 상기 복수개의 영상 프레임들의 개수로 나눔으로써 산출된다.
검사영역 설정부(634)는 도 8에 도시된 바와 같이 중심점 검출부(633)에 의해 검출된 대표 무게중심점(도 8의 751)을 중심으로 상기 복수개의 영상 프레임들의 메이저 클러스터(도 8의 721)들을 모두 포함하는 특징점 검사영역(도 8의 811,821)을 설정한다. 특징점 검사영역(도 8의 811,821)은 다양한 형태로 이루어질 수 있으나, 도 8의 (a)에 도시된 바와 같이 원형(811)으로 이루어질 수도 있고, 도 8의 (b)에 도시된 바와 같이 사각형(821)으로 이루어질 수도 있다.
검사영역 조정부(635)는 특징점 검사영역(도 8의 811,821)이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들(도 9의 921)의 기준값 이상을 포함하는지를 확인한다. 상기 기준값은 특징점들(도 9의 921)의 80%로 설정될 수 있다. 검사영역 조정부(635)는 특징점 검사영역(도 8의 811,821)에 포함된 특징점들이 상기 기준값 미만일 경우에는 특징점 검사영역(도 8의 811,821)을 확대하여 상기 기준값만큼 포함하도록 조정한다. 도 9의 (b)는 조정이 완료되어 최적의 특징점 검사 영역(911)이 설정된 상태를 보여준다. 도 9의 (a)는 상기 복수개의 영상 프레임들 중 하나를 보여준다.
상술한 바와 같이, 특징점 검사영역 설정기(121)가 최적의 특징점 검사 영역(도 9의 911)을 설정함으로써, 영상 안정화 장치(도 1의 100)의 특징점 검사 시간이 대폭적으로 감소된다.
도 10은 도 6에 도시된 특징점 검사영역 설정기(121)가 본 발명의 실시예에 따라 특징점 검사영역 설정 방법을 보여주는 흐름도이다. 도 10을 참조하면, 특징점 검사영역 설정 방법은 제1 단계(1011) 및 제2 단계(1021)를 포함한다.
제1 단계(1011)로써, 특징점 검사영역 설정기(도 6의 121)는 외부에서 입력되는 영상 데이터((도 6의 P1)에 포함된 복수개의 영상 프레임들 중 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출한다.
제2 단계(1021)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 추출된 복수개의 영상 프레임들로부터 복수개의 특징점들(도 9의 921)을 검출하고, 상기 복수개의 특징점들(도 9의 921)을 이용하여 최적의 특징점 검사영역(도 9의 911)을 설정한다.
도 11은 도 10에 도시된 제2 단계(1021)를 상세히 도시한 흐름도이다. 도 11을 참조하면, 도 10의 제2 단계(1021)는 5 단계들(1111∼1151)을 포함한다.
첫 번째 단계(1111)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 추출된 복수개의 영상 프레임들 각각에서 복수개의 특징점들(도 9의 921)을 추출한다.
두 번째 단계(1121)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 검출된 복수개의 특징점들(도 9의 921)을 각 영상 프레임별로 복수개의 클러스터들(도 7의 721,731), 예컨대 메이저 클러스터(도 7의 721)와 마이너 클러스터(도 7의 731)로 분류한다. 메이저 클러스터(도 7의 721)는 50%보다 많은 특징점들을 포함하도록 설정하고, 마이너 클러스터(도 7의 731)는 50%보다 적은 특징점들을 포함하도록 설정한다.
세 번째 단계(1131)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다. 즉, 특징점 검사영역 설정기(도 6의 121)는 상기 복수개의 클러스터들(도 7의 721,731) 각각의 무게중심점들(도 7의 723,733)을 검출하고, 영상 프레임별로 상기 복수개의 클러스터들(도 7의 721,731)의 무게중심점들(도 7의 723,733)의 평균값을 산출하여 각 영상 프레임의 무게중심점들(도 7의 741)을 검출한다. 이어서 상기 복수개의 영상 프레임들의 무게중심점들(도 7의 741)을 합산한 다음 이들을 상기 복수개의 영상 프레임들의 개수로 나누어서 상기 복수개의 영상 프레임들의 대표 무게중심점(도 8의 751)을 검출한다.
네 번째 단계(1141)로써, 특징점 검사영역 설정기(도 6의 121)는 상기 대표 무게중심점(도 8의 751)을 중심으로 메이저 클러스터들(도 7의 721)을 모두 포함하는 특징점 검사영역(도 8의 811,821)을 설정한다.
다섯 번째 단계(1151)로써, 특징점 검사영역 설정기(도 6의 121)는 특징점 검사영역(도 8의 811,821)이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들(도 9의 921)의 기준값 이상을 포함하는지를 확인한다. 특징점 검사영역 설정기(도 6의 121)는 특징점 검사영역(도 8의 811,821)에 포함된 특징점들이 상기 기준값 미만일 경우에는 특징점 검사영역(도 8의 811,821)을 확대하여 상기 기준값만큼 포함하도록 조정한다. 상기 기준값은 특징점들(도 9의 921)의 80%를 포함하는 값으로 설정될 수 있다. 따라서, 최적의 특징점 검사영역(도 9의 911)을 설정할 수가 있다.
상술한 바와 같이, 특징점 검사영역 설정기(도 6의 121)는 외부로부터 입력되는 영상 데이터(도 6의 P1)에 포함된 복수개의 영상 프레임들을 이용하여 최적의 특징점 검사영역(도 9의 911)을 설정함으로써, 영상의 특징점 검사 시간이 대폭적으로 단출된다.
도 12는 도 1에 도시된 영상 조정기(131)를 본 발명의 실시예에 따라 도시한 상세 블록도이다. 도 12를 참조하면 영상 조정기(131)는 영상 분석부(1201)와 영상 이동부(1241)를 구비한다.
영상 분석부(1201)는 외부로부터 입력되는 영상 데이터(P1)에 포함된 현재 영상과 기준 영상 신호(P2)에 포함된 기 설정된 기준 영상을 비교하여 현재 영상에 흔들림이 있을 경우에 상기 흔들림의 대표 방향과 대표 크기를 추출한다.
영상 분석부(1201)는 옵티컬 플로우 계산부(1211), 대표 방향 추출부(1221) 및 대표 크기 추출부(1231)를 구비한다.
옵티컬 플로우 계산부(1211)는 상기 현재 영상과 상기 기준 영상을 비교하여 특징점 검사영역(도 9의 911) 내의 옵티컬 플로우(도 13의 1321)를 계산한다. 도 13에 도시된 바와 같이 옵티컬 플로우(1321)는 방향과 크기를 갖는다. 옵티컬 플로우(도 13의 1321)를 계산하는 방법은 공지된 기술이므로 구체적인 설명은 생략하기로 한다. 상기 기준 영상은 특정 시간 동안 촬영된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임으로써 설정된다. 옵티컬 플로우 계산부(1211)는 도 2에 도시된 기준 영상 설정기로부터 상기 기준 영상을 수신할 수 있다. 상기 기준 영상을 설정하는 것에 대해서는 도 2 내지 도 5를 통해 상세히 설명되어 있으므로 이를 참조할 수 있다.
대표 방향 추출부(1221)는 옵티컬 플로우 계산부(1211)에 의해 계산된 옵티컬 플로우(도 13의 1321)를 입력한다. 대표 방향 추출부(1221)는 옵티컬 플로우(도 13의 1321)로부터 현재 입력되는 영상의 흔들림의 대표 방향을 추출한다. 영상의 흔들림의 방향은 도 14에 도시된 바와 같이 8 방향 예컨대, 동향, 서향, 남향, 북향, 동남향, 동북향, 서남향, 서북향으로 설정될 수 있다. 대표 방향 추출부(1221)는 옵티컬 플로우(도 13의 1321)의 대표적인 방향이 상기 8 방향 중에서 어디에 해당하는지를 판단하여 현재 입력되는 영상의 흔들림의 대표 방향으로써 설정한다. 영상의 흔들림의 방향은 12 방향, 24 방향, 36 방향 등으로 보다 세밀하게 분류될 수도 있다.
대표 크기 추출부(1231)는 옵티컬 플로우 계산부(1211)에 의해 계산된 옵티컬 플로우(도 13의 1321)를 입력한다. 대표 크기 추출부(1231)는 옵티컬 플로우(도 13의 1321)에서 현재 입력되는 영상의 흔들림의 대표 크기를 추출한다. 영상의 흔들림의 대표 크기는 영상 흔들림의 대표 방향을 갖는 옵티컬 플로우의 크기들을 히스토그램(histogram)으로 변환하고, 상기 히스토그램에서 빈(bin)의 개수가 가장 많은 범위에 포함된 벡터들의 크기의 평균값으로써 설정될 수 있다.
영상 이동부(1241)는 대표 방향 추출부(1221)에서 추출한 대표 방향의 반대 방향으로 대표 크기 추출부(1231)에서 추출한 대표 크기만큼 현재 입력되는 영상을 이동시킨다. 즉, 영상 이동부(1241)는 아래 표 1에 기재된 방향 및 크기만큼 영상을 이동시킨다. 아래 표 1에서 마이너스는 반대 방향을 나타내고, 대표 방향은 도 14에 도시된 방향을 나타낸다.
대표 방향 현재 영상 이동 좌표(X축, Y축)
1 -대표크기, 0
2 -(대표크기/
Figure 112012002826207-pat00003
), -(대표크기/
Figure 112012002826207-pat00004
)
3 0, -대표크기
4 (대표크기/
Figure 112012002826207-pat00005
), -(대표크기/
Figure 112012002826207-pat00006
)
5 대표크기, 0
6 (대표크기/
Figure 112012002826207-pat00007
), (대표크기/
Figure 112012002826207-pat00008
)
7 0, 대표크기
8 -(대표크기/
Figure 112012002826207-pat00009
), (대표크기/
Figure 112012002826207-pat00010
)
표 1을 참조하면, 영상 이동부(1241)는 대표 방향이 X축 방향(1,5)일 경우에는 현재 영상을 X축상에서 대표 크기만큼 반대 방향으로 이동시키고, Y축 방향(3,7)일 경우에는 현재 영상을 Y축상에서 대표 크기만큼 반대 방향으로 이동시킨다. 그러나, 대표 방향이 대각선 방향(2,4,6,8)일 경우에는, 영상 이동부(1241)는 삼각함수의 식을 이용하여 현재 영상을 대각선상에서 (대표크기/
Figure 112012002826207-pat00011
)만큼 반대방향으로 이동시킨다. 이 후에 상기 이동되어진 현재 영상의 상하좌우를 상기 대표 방향과 대표 크기를 고려한 적정한 크기로 잘라준다. 따라서, 도 15에 도시된 바와 같이 영상이 안정화된다. 영상 이동부(1241)는 안정화된 영상을 포함하는 신호(P4)를 출력한다.
도 16은 영상의 흔들림 정도를 그래프로 보여준다. (a)는 영상이 안정화되기 이전의 영상의 흔들림 정도를 보여주고, (b)는 영상이 안정화된 후의 영상의 흔들림 정도를 보여준다.
도 16의 (a)를 참조하면, 영상들 상호간에 픽셀들의 위치 편차가 크게 나타난다. 즉, 도 16의 (a)는 영상의 흔들림이 심하여 영상이 불안정한 상태를 보여준다.
도 16의 (b)를 참조하면, 영상들 상호간에 픽셀들의 위치 편차가 작게 나타난다. 즉, 도 16의 (b)는 영상의 흔들림이 매우 작아서 영상이 안정된 상태를 보여준다.
상술한 바와 같이, 영상 조정기(131)로 입력되는 영상의 옵티컬 플로우를 계산하여 상기 영상의 흔들림의 대표 방향과 대표 크기를 추출하고, 상기 영상의 흔들림이 있을 경우에 상기 대표 방향의 반대 방향으로 상기 대표 크기 만큼 영상을 이동시켜줌으로써, 상기 흔들림이 보정되어 영상이 안정화된다.
도 17은 도 12에 도시된 영상 조정기(131)가 본 발명의 실시예에 따라 영상을 조정하는 방법을 보여주는 흐름도이다. 도 17을 참조하면, 영상 조정 방법은 제1 내지 제3 단계들(1711∼1731)을 포함한다.
제1 단계(1711)로써, 영상 조정기(131)는 외부로부터 입력되는 현재 영상과 기 설정된 기준 영상을 비교하여 옵티컬 플로우(도 13의 1321)를 계산한다. 상기 기준 영상은 외부에서 영상 조정기(131)로 입력된다.
제2 단계(1721)로써, 영상 조정기(131)는 옵티컬 플로우(도 13의 1321)로부터 현재 입력되는 영상의 흔들림의 대표 방향과 대표 크기를 추출한다.
제3 단계(1731)로써, 영상 조정기(131)는 현재 입력되는 영상을 상기 대표 방향의 반대 방향으로 상기 대표 크기만큼 이동시킨다. 구체적으로, 영상 조정기(131)는 상기 대표 방향이 X축 방향일 경우에는 현재 영상을 X축상에서 대표 크기만큼 반대 방향으로 이동시키고, 상기 대표 방향이 Y축 방향일 경우에는 현재 영상을 Y축상에서 상기 대표 크기만큼 반대 방향으로 이동시킨다. 그러나, 상기 대표 방향이 대각선 방향일 경우에는, 영상 조정기(131)는 삼각함수의 식을 이용하여 현재 영상을 대각선상에서 (대표크기/
Figure 112012002826207-pat00012
)만큼 반대방향으로 이동시킨다. 이 후에 상기 이동되어진 현재 영상의 상하좌우를 상기 대표 방향과 대표 크기를 고려한 적정한 크기로 잘라준다. 따라서, 도 15에 도시된 바와 같이 흔들림이 보정되어 안정화된 영상을 얻을 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (16)

  1. 물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하는 샘플 프레임 추출부; 및
    상기 추출된 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 프레임 분석부를 구비하고,
    상기 프레임 분석부는
    상기 샘플 프레임 추출부로부터 상기 복수개의 영상 프레임들을 수신하고, 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하는 특징점 검출부;
    상기 복수개의 특징점들을 각 영상 프레임별로 복수개의 클러스터들로 분류하는 특징점 분류부;
    상기 복수개의 영상 프레임들의 특징점들의 무게중심점을 검출하는 중심점 검출부; 및
    상기 무게중심점을 중심으로 상기 복수개의 클러스터들 중 메이저 클러스터들을 포함하는 특징점 검사영역을 설정하는 검사영역 결정부를 구비하는 것을 특징으로 하는 특징점 검사영역 설정기.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 복수개의 클러스터들은 각 영상 프레임의 특징점들 중 50%보다 많은 특징점들을 포함하는 메이저 클러스터(major cluster)와 각 영상 프레임의 특징점들 중 50%보다 적은 특징점들을 포함하는 마이너 클러스터(minor cluster)로 분류되는 것을 특징으로 하는 특징점 검사영역 설정기.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제5 항에 있어서,
    상기 중심점 검출부는 상기 복수개의 영상 프레임들의 메이저 클러스터들의 무게중심점들과 상기 마이너 클러스터들의 무게중심점들의 평균값들을 산출하고, 상기 평균값들을 합산하고 이를 상기 복수개의 영상 프레임들의 갯수로 나누어서 상기 복수개의 영상 프레임들의 특징점들의 무게중심점을 검출하는 것을 특징으로 하는 특징점 검사영역 설정기.
  7. 삭제
  8. 청구항 8은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서,
    상기 특징점 검사영역이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들의 기준값 이상을 포함하는지를 확인하는 검사영역 조정부를 더 구비하는 것을 특징으로 하는 특징점 검사영역 설정기.
  9. 삭제
  10. (a) 특정 시간 동안 촬영된 복수개의 영상 프레임들을 구비하는 단계; 및
    (b) 상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 단계를 포함하고,
    상기 (b) 단계는
    (b-1) 상기 복수개의 영상 프레임들 각각에서 복수개의 특징점들을 검출하는 단계;
    (b-2) 상기 복수개의 특징점들을 각 영상 프레임별로 복수개의 클러스터들로 분류하는 단계;
    (b-3) 상기 복수개의 영상 프레임들을 대표하는 무게중심점을 검출하는 단계; 및
    (b-4) 상기 대표 무게중심점을 중심으로 상기 복수개의 클러스터들 중 메이저 클러스터들을 포함하는 특징점 검사영역을 설정하는 단계를 포함하는 것을 특징으로 하는 특징점 검사영역 설정 방법.
  11. 삭제
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제10항에 있어서,
    상기 복수개의 클러스터들은 50%보다 많은 특징점들을 포함하는 메이저 클러스터와 50%보다 적은 특징점들을 포함하는 마이너 클러스터인 것을 특징으로 하는 특징점 검사영역 설정 방법.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    제12 항에 있어서,
    상기 메이저 클러스터들의 무게중심점들과 상기 마이너 클러스터들의 무게중심점들을 검출하고, 상기 클러스터들의 무게중심점들의 평균값들을 산출하고, 상기 평균값들을 상기 복수개의 영상 프레임들의 개수로 나누어서 상기 대표 무게중심점을 검출하는 것을 특징으로 하는 특징점 검사영역 설정 방법.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제10항에 있어서,
    상기 특징점 검사영역이 상기 특정 시간 동안 추출된 영상 프레임들의 특징점들의 80% 이상을 포함하는지를 확인하는 단계를 더 포함하는 것을 특징으로 하는 특징점 검사영역 설정 방법.
  15. 물체를 촬영하여 생성된 영상에서 특정 시간 동안 촬영된 복수개의 영상 프레임들을 추출하고, 상기 추출된 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하고, 상기 검출된 특징점들을 검사하는 특징점 검사영역을 설정하는 특징점 검사영역 설정기를 구비하고,
    현재 입력되는 영상에 상기 특징점 검사영역을 설정하고, 상기 특징점 검사영역을 기 설정된 기준 영상과 비교하여 상기 영상에 흔들림이 있을 경우 상기 흔들림을 보정하고,
    상기 특징점 검사영역 설정기는,
    상기 복수개의 영상 프레임들에서 복수개의 특징점들을 검출하는 특징점 검출부;
    상기 복수개의 특징점들을 각 영상 프레임별로 복수개의 클러스터들로 분류하는 특징점 분류부;
    상기 복수개의 영상 프레임들의 특징점들의 무게중심점을 검출하는 중심점 검출부; 및
    상기 무게중심점을 중심으로 상기 복수개의 클러스터들 중 메이저 클러스터들을 포함하는 특징점 검사영역을 설정하는 검사영역 설정부를 구비하는 것을 특징으로 하는 영상 안정화 장치.
  16. 제15 항에 있어서,
    상기 흔들림을 보정하기 위하여,
    상기 특정 시간 동안 촬영된 복수개의 영상 프레임들 중에서 흔들림이 가장 적은 영상 프레임을 추출하여 기준 영상으로 설정하는 기준 영상 설정기; 및
    상기 기준 영상과 현재 입력되는 영상을 비교하여 현재 입력되는 영상의 흔들림 여부를 검출하고, 흔들림이 있을 경우에 현재 입력되는 영상을 조정하여 상기 흔들림을 보정하는 영상 조정기를 구비하는 것을 특징으로 하는 영상 안정화 장치.
KR1020120003450A 2012-01-11 2012-01-11 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치 KR101657526B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120003450A KR101657526B1 (ko) 2012-01-11 2012-01-11 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
US13/713,471 US8988534B2 (en) 2012-01-11 2012-12-13 Characterizing point checking region setting apparatus and method, and image stabilizing apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003450A KR101657526B1 (ko) 2012-01-11 2012-01-11 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치

Publications (2)

Publication Number Publication Date
KR20130082310A KR20130082310A (ko) 2013-07-19
KR101657526B1 true KR101657526B1 (ko) 2016-09-19

Family

ID=48743670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003450A KR101657526B1 (ko) 2012-01-11 2012-01-11 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치

Country Status (2)

Country Link
US (1) US8988534B2 (ko)
KR (1) KR101657526B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072014B1 (ko) * 2013-09-16 2020-01-31 에스케이 텔레콤주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
CN105260988B (zh) * 2015-09-09 2019-04-05 百度在线网络技术（北京）有限公司 一种高精地图数据的处理方法和装置
KR102381373B1 (ko) * 2017-08-16 2022-03-31 삼성전자주식회사 비정형적 분할을 이용한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101929938B1 (ko) * 2017-09-06 2019-03-14 앤아이피 주식회사 이미지 보정 방법 및 그 장치
CN109765939A (zh) * 2018-12-21 2019-05-17 中国科学院自动化研究所南京人工智能芯片创新研究院 无人机的云台控制方法、装置和存储介质
CN109726670B (zh) * 2018-12-26 2021-03-26 浙江捷尚视觉科技股份有限公司 一种从视频中提取目标检测样本集的方法
KR20190103085A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 지능형 진단 디바이스

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212624A (ja) * 1996-02-01 1997-08-15 Seibutsukei Tokutei Sangyo Gijutsu Kenkyu Suishin Kiko 識別対象物の検出装置
JP4003623B2 (ja) * 2002-11-19 2007-11-07 住友電気工業株式会社 旋回可能な監視カメラを用いた画像処理システム
US7542588B2 (en) * 2004-04-30 2009-06-02 International Business Machines Corporation System and method for assuring high resolution imaging of distinctive characteristics of a moving object
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
KR101041366B1 (ko) * 2007-11-02 2011-06-14 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
WO2009102011A1 (ja) * 2008-02-14 2009-08-20 Nec Corporation 更新領域検出装置
JP2009212605A (ja) 2008-02-29 2009-09-17 Sony Corp 情報処理方法、情報処理装置及びプログラム
KR101086773B1 (ko) 2008-12-31 2011-11-25 포항공과대학교 산학협력단 다중 카메라로 촬영된 디지털 사진의 클러스터링을 위한 방법 및 장치
JP5192437B2 (ja) 2009-04-27 2013-05-08 日本電信電話株式会社 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
FR2954540B1 (fr) * 2009-12-23 2018-11-16 Thales Procede de classification d'objets dans un systeme de veille par imagerie.
KR101426417B1 (ko) 2010-02-05 2014-08-07 삼성테크윈 주식회사 영상 안정화 시스템 및 방법
RU2471231C1 (ru) * 2011-09-30 2012-12-27 Общество с ограниченной ответственностью "Ай Ти Ви групп" Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры

Also Published As

Publication number Publication date
KR20130082310A (ko) 2013-07-19
US8988534B2 (en) 2015-03-24
US20130176449A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
KR101657524B1 (ko) 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
KR101657526B1 (ko) 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
EP3021575B1 (en) Image processing device and image processing method
US8170368B2 (en) Correcting device and method for perspective transformed document images
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
US9311719B2 (en) Image monitoring apparatus for estimating gradient of singleton, and method therefor
US10089527B2 (en) Image-processing device, image-capturing device, and image-processing method
WO2020184207A1 (ja) 物体追跡装置および物体追跡方法
CN111757014B (zh) 网络摄像头的焦距调节方法、装置、设备和存储介质
CN109478329B (zh) 图像处理方法和装置
US20190206065A1 (en) Method, system, and computer-readable recording medium for image object tracking
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
CN108369739B (zh) 物体检测装置和物体检测方法
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
KR101657525B1 (ko) 기준 영상 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
CN116573366B (zh) 基于视觉的皮带跑偏检测方法、系统、设备及存储介质
JP2019021297A (ja) 画像処理装置及び方法、電子機器
JP4328259B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
EP2775422A2 (en) Object detection apparatus, program, and integrated circuit
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
CN102118559B (zh) 利用移动侦测调整数字相机的拍摄条件的方法
WO2022250584A1 (en) A method and an electronic device for analysing an image
CN107491746B (zh) 一种基于大梯度像素分析的人脸预筛选方法
KR102186751B1 (ko) 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
US11900643B2 (en) Object detection method and object detection system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 4