KR101767927B1 - 실시간 움직임 검출 방법 및 시스템 - Google Patents

실시간 움직임 검출 방법 및 시스템 Download PDF

Info

Publication number
KR101767927B1
KR101767927B1 KR1020120123091A KR20120123091A KR101767927B1 KR 101767927 B1 KR101767927 B1 KR 101767927B1 KR 1020120123091 A KR1020120123091 A KR 1020120123091A KR 20120123091 A KR20120123091 A KR 20120123091A KR 101767927 B1 KR101767927 B1 KR 101767927B1
Authority
KR
South Korea
Prior art keywords
image
resolution
level
motion vector
motion
Prior art date
Application number
KR1020120123091A
Other languages
English (en)
Other versions
KR20140056856A (ko
Inventor
정갑천
송장훈
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020120123091A priority Critical patent/KR101767927B1/ko
Priority to US13/945,020 priority patent/US9338353B2/en
Publication of KR20140056856A publication Critical patent/KR20140056856A/ko
Application granted granted Critical
Publication of KR101767927B1 publication Critical patent/KR101767927B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 실시간 움직임 검출 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따르면, 다해상도 영상을 병렬로 생성하는 병렬 영상 생성부; 상기 다해상도 영상 중 적어도 하나 이상의 해상도 레벨의 영상에서 특징점을 추출하는 특징점 추출부; 상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 검출부; 를 포함하는 움직임 검출 시스템이 제공된다.

Description

실시간 움직임 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING MOTION IN REAL-TIME}
본 발명은 실시간 움직임 검출 방법 및 시스템에 관한 것이다. 보다 상세하게는, 병렬로 다해상도 영상을 생성하여 움직임 벡터를 추출함으로써 연산 시간을 감소시킬 수 있는 실시간 움직임 검출 방법 및 시스템에 관한 것이다.
동영상에서 움직임 벡터를 추출하는 방법으로 블록 정합법(Block matching Method)이 많이 사용되어지는데, 블록 정합법은 영상을 일정한 크기의 블록으로 분할하고 현재 블록과 이전 영상에서 가장 잘 매치가 되는 블록을 찾는 방법이다.
일반적으로 영상의 흔들림을 보정하는 장치들은 움직임 벡터가 아닌 전역 움직임 벡터를 요구하므로, 분할된 모든 블록에 대해 블록 정합법을 사용하면 연산량이 과다해지는 문제점이 존재한다.
특히, 현재 감시용 CCTV 카메라, CCTV 카메라, 디지털 카메라, 디지털 캠코더 등은 고해상도의 메가 픽셀로의 영상이 확장되고 있고 frame rate도 초당 30장에서 초당 60장으로 확장되고 있는 상황이다. 메가 픽셀 등의 고해상도 영상에서는 적절한 움직임 벡터를 계산하기 위해 큰 탐색영역이 요구되어지고, 탐색영역이 커질수록 움직임 벡터 검출을 위한 연산량이 많아져 하나의 CPU나 DSP에서 처리하기에는 계산시간이 많이 소요된다. 즉, 메가 픽셀과 같은 고해상도 영상을 CPU나 DSP와 같은 연산 기능을 가지는 계산기에서 실행할 때에서는 실시간 처리가 매우 어려워 전용의 하드웨어가 요구된다. 특히 고해상도의 메가 영상에 대해 초당 60 프레임(60 frames/sec) 이상을 처리해야 하는 시스템들에 대해서는 전용 하드웨어가 필수적이라 할 수 있다.
따라서, 화상의 특징점들에 대해서만 블록 정합법을 이용하여 움직임 벡터를 추출 하는 방식이 많이 사용되고 있다. 혹은 계산량을 감소시키기 위해 입력영상을 다해상도 영상들로 분해하고 탐색영역이 적은 저해상도 영상에서 움직임벡터를 검출한 후에 고해상도 영상으로 확장시키는 방법이 제안되었다.
본 발명은 블록 정합을 행하기 위한 다해상도 영상을 병렬로 생성하고, 특징점에 기초하여 움직임 벡터를 검출할 때 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하여 검출하는 구성을 개시하여 실시간 움직임 검출이 가능하도록 한다.
본 발명의 일 실시예에 따르면, 다해상도 영상을 병렬로 생성하는 병렬 영상 생성부; 상기 다해상도 영상 중 적어도 하나 이상의 해상도 레벨의 영상에서 특징점을 추출하는 특징점 추출부; 상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 검출부; 를 포함하는 움직임 검출 시스템이 제공된다.
본 발명에 있어서, 상기 병렬 영상 생성부는 입력 영상 메모리로부터 제0 레벨의 해상도를 갖는 원본 영상을 획득하여 다해상도 영상을 병렬로 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 다해상도 영상 생성부가 제1 레벨의 해상도 영상부터 제J 레벨의 해상도 영상을 생성한다고 할 때, 생성된 각 레벨의 다해상도 영상은 상기 원본 영상에 대해 (N *N)/4J 의 크기를 갖는 것을 특징으로 한다.
본 발명에 있어서, 상기 병렬 영상 생성부는 DMA 제어기를 통하여 다해상도 메모리에 상기 생성된 다해상도 영상을 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 DMA 제어기는 상기 생성된 다해상도 영상을 해상도 레벨 별로 순차적으로 정리하여 상기 다해상도 메모리에 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 DMA 제어기는 하드웨어 크기를 감소시키기 위해, 제2 레벨 이상의 출력 결과들에 대하여 제1 레벨의 홀수 행 때 DMA 전송 스케쥴링을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 DMA 제어기는 각 해상도 레벨 별로 구비되지 않고, 하나의 DMA 제어기를 사용하여 전체 다해상도 영상을 모두를 상기 다해상도 메모리에 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 DMA 제어기는 제2 해상도 레벨보다 큰 레벨을 가지는 다해상도 영상을 제2 해상도 레벨의 영상을 저장하는 행들 사이에 내장시켜 저장하는 것을 특징으로 한다.
본 발명에 있어서, 상기 병렬 영상 생성부는, 제1 레벨의 해상도 영상을 생성함과 동시에 제2 레벨 이상의 해상도 영상들을 생성하기 위한 라인이 유효한 경우 제2 레벨의 해상도 이상의 영상들을 병렬적으로 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점 추출부는 상기 다해상도 영상 중 중간 레벨의 해상도를 갖는 영상에서 특징점 화소를 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점 추출부는 영상을 복수개의 서로 중첩되지 않는 정사각형들로 나누고, 상기 나누어진 정사각형 영역들에 대해 특징점 화소를 생성하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점 추출부는 상기 정사각형 영역들 내의 화소들에 대해 코너점을 추출하여 코너의 정도가 가장 큰 화소를 그 부영역의 특징점으로 채택하는 것을 특징으로 한다.
본 발명에 있어서, 상기 특징점 추출부는 상기 중간 레벨의 해상도를 갖는 영상에서 생성된 특징점 화소를 가장 저해상도 레벨의 영상에 매핑(mappiing)하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임 벡터 검출부는 이전 프레임 영상과 현재 프레임 영상을 이용하여 저해상도 영상에서 움직임을 추정하고, 추정된 움직임을 고해상도 영상으로 확장시켜 움직임을 검출하는 역할을 하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임 벡터 검출부는 상기 저해상도 영상에서 추출된 움직임 벡터를 상기 고해상도 영상에서 움직임 벡터를 구할 때의 초기값으로 사용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 움직임 벡터 검출부는, 현재 프레임 영상 내에서 하나의 특징점을 중심으로 하는 움직임 추정 블록 및 이전 프레임 영상에서 상기 움직임 추정 블록을 포함하는 탐색 영역을 설정하고, 상기 움직임 추정 블록과 상기 탐색 영역 블록을 비교하여 움직임 벡터를 검출하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 다해상도 영상을 병렬로 생성하는 단계; 상기 다해상도 영상 중 적어도 하나 이상의 해상도 레벨의 영상에서 특징점을 추출하는 단계; 상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 추출 단계; 를 포함하는 움직임 검출 방법이 제공된다.
본 발명의 다른 실시예에 따르면, 한 레벨의 해상도 영상을 생성함과 동시에 다른 레벨의 해상도 영상을 생성하기 위한 라인이 유효한 경우 다른 레벨의 해상도 영상을 병렬적으로 생성하는 병렬 영상 생성부; 상기 다해상도 영상 중 적어도 하나 이상의 해상도 레벨의 영상에서 특징점을 추출하는 특징점 추출부; 상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 검출부; 상기 병렬 영상 생성부가 생성한 다해상도 영상을 다해상도 메모리에 각 해상도 레벨 별로 저장하는 DMA 제어기; 상기 추출된 움직임 벡터를 사용하여 영상의 떨림을 보정하는 떨림 보정부; 를 포함하는 움직임 검출 시스템이 제공된다.
본 발명의 다른 실시예에 따르면, 현재 프레임의 원본 영상을 입력받는 단계; 다해상도 영상을 병렬로 생성하고, 다해상도 메모리에 저장하는 단계; 중간 해상도 레벨의 영상에서 특징점을 추출하는 단계; 저해상도 레벨의 영상에서 특징점을 매핑하고, 저해상도 레벨의 영상에서 현재 프레임의 특징점을 중심으로 움직임 추정 블록 및 이전 프레임의 움직임 추정 블록을 포함하는 탐색 영역 블록을 설정하는 단계; 블록 정합을 행하여 움직임 벡터를 검출하는 단계; 상기 저해상도 레벨의 움직임 벡터를 고해상도 레벨의 움직임 벡터로 확장하는 단계; 를 포함하는 움직임 검출 방법이 제공된다.
본 발명에 의하면, 블록 정합을 행하기 위한 다해상도 영상을 병렬로 생성하고, 특징점에 기초하여 움직임 벡터를 검출할 때 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하여 검출함으로써 실시간 움직임 검출이 가능하다.
도 1은 영상에서 움직임을 검출하기 위해 일반적인 다해상도 영상 생성 방법을 간략히 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도식적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 각 레벨에서 축소 화상을 생성하기 위한 연산을 개념적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 DMA 제어기가 각 레벨의 영상에 대한 할당을 나타내는 도면이다.
도 5는 특징점 추출에 있어 코너 검출에 사용되는 행방향과 열방향의 3x3 필터 커널을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 특징점을 추출하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 저해상도 영상에서 움직임 벡터를 검출하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 움직임 벡터 검출 방법을 순서도로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 발명의 일 실시예에 따르면, 메가 픽셀 등의 고해상도 영상에 대해서도 적절한 움직임 벡터를 계산하기 위해, 계산 시간을 감소시킬 수 있는 하드웨어 및 방법이 개시된다. 고해상도 영상에서 움직임 벡터를 검출하기 위한 탐색 영역이 커짐에 따라 움직임 벡터를 검출하는 하드웨어는 커질 수 밖에 없으므로 저전력의 소형 카메라에 구현하기에 큰 부담이 된다. 만약 탐색영역을 적게 할 경우 하드웨어 크기는 적어 질 수 있으나 정밀도가 떨어지는 단점을 지닌다.
본 발명의 일 실시예에 따른 다해상도 움직임 벡터 검출 방법은 저해상도에서 움직임을 추정하여 점차 고해상도 영상으로 추정 결과를 확장함으로써, 각 해상도에서는 적은 탐색 영역으로 움직임 벡터를 검출할 수 있으므로 계산 시간을 감소시킬 수 있다.
도 1은 영상에서 움직임을 검출하기 위해 일반적인 다해상도 영상 생성 방법을 간략히 도시한 도면이다.
도 1A와 같이 입력 영상으로 N by N의 영상이 입력되는 경우, 원래의 N by N 영상을 레벨 0의 영상으로 설정하고, N/2 by N/2 의 영상을 생성하여 레벨 1의 영상으로 설정할 수 있다.
도 1B에는 생성된 영상을 입력하면, 다음 레벨의 영상을 다시 생성할 수 있는 프로세서가 도시되어 있다. 즉, 입력 영상 메모리(210)가 원래의 영상인 N by N 영상을 입력하면, 다해상도 영상 생성기에서 레벨 1의 N/2 by N/2 영상을 생성한다. 생성된 N/2 by N/2 영상은 다시 다해상도 메모리(220)로 전송되며, 다해상도 메모리(220)는 N/2 by N/2 영상을 다시 제공하여, 다해상도 영상 생성기가 레벨 2의 N/4 by N/4 영상을 생성하도록 한다. 전술한 방법을 통해 최종 L 해상도 레벨까지 순차적으로 하위 해상도의 영상을 생성한다.
그러나 도 1과 같이 한 레벨의 영상을 생성한 후, 다시 다음 레벨의 영상을 생성하게 될 경우, N by N 영상에 대해 (N by N)+(N/2 by N/2)+(N/4 by N/4)+ ... 번의 처리가 필요하다. 즉, 상술한 바와 같이 일반적인 영상 시스템에서는 다해상도 영상의 영상의 생성, 움직임 추정, 움직임 벡터로 흔들림을 보정하는 프로세스를 모두 처리하면 연산량이 과다하게 증가하므로 영상의 실시간 처리가 불가능한 문제점이 존재한다.
따라서, 이하 본 발명의 일 실시예에서는 처리 시간이 많이 소요되는 다해상도 레벨의 영상을 순차적으로 생성하는 대신 병렬 생성하는 방법이 개시된다.
도 2는 본 발명의 일 실시예에 따른 움직임 검출 시스템을 도식적으로 나타낸 도면이다.
도 2를 참조하면, 다해상도 영상 생성기는 병렬 영상 생성부(110), 특징점 추출부(120), 움직임 벡터 검출부(130), 입력 영상 메모리(210), 다해상도 메모리(220), 처리부(310) 및 떨림 보정부(320)를 포함한다. 입력 영상 메모리(210) 및 다해상도 메모리(220)는 DRAM(200)에 포함될 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 의하면 초당 높은 프레임율을 가지는 고해상도 영상에 대해서도 작은 용량의 하드웨어로 움직임 벡터를 검출함으로써, 실시간으로 영상의 떨림을 보정할 수 있다. 즉, 기존에는 한 레벨의 영상을 모두 생성한 후 다음 레벨의 영상을 생성하였지만, 본 발명의 일 실시예에 따르면 개별 해상도 영상을 생성하기 위한 영상의 라인이 유효한 경우 다음 레벨의 영상을 병렬적으로 생성하여 처리 시간을 단축시킬 수 있다.
먼저, 입력 영상 메모리(210) 및 다해상도 메모리(220)는 DRAM(200)에 포함된다. 입력 영상 메모리(210)는 원본 N by N 영상을 저장하고 병렬 영상 생성부(110)에 제공하는 역할을 한다.
다해상도 메모리(220)는 병렬 영상 생성부(110)가 생성한 다해상도 영상을 저장하며, 움직임 벡터 검출부(130)로 생성된 다해상도 영상을 제공하는 역할을 한다.
병렬 영상 생성부(110)는 입력 영상 메모리(210)로부터 원본 영상을 획득하여, 병렬로 다해상도 영상을 생성하고 다해상도 메모리(220)에 저장하는 역할을 한다. 본 발명의 일 실시예에 따르면 병렬로 다해상도 영상을 생성하므로, 도 1과 같이 다해상도 메모리(220)로부터 생성된 하위 레벨의 영상을 재전송받아 다시 보다 하위 레벨의 영상을 생성할 필요가 없다.
즉, 기존에는 한 레벨의 영상을 모두 생성한 후 다음 레벨의 영상을 생성하였지만, 본 발명의 일 실시예에 따르면 개별 해상도 영상을 생성하기 위한 영상의 라인이 유효한 경우 다음 레벨의 영상을 병렬적으로 생성하여 처리 시간을 단축시킬 수 있다.
병렬 영상 생성부(110)는 원본 N by N 영상(레벨 0)에 대해 레벨 J까지 축소된 영상을 생성한다. 생성된 각 레벨의 다해상도 영상은 원본 영상에 대해 (N * N)/4J크기를 가지며, J 레벨 축소된 화소 값은 아래의 [수학식 1]과 같이 레벨 J-1 에서 4개의 인접한 화소들의 평균으로 구한다.
[수학식 1]
Figure 112012089809304-pat00001
위의 [수학식 1]에서 i, j는 개별 화소의 위치이고 l은 해상도 레벨을 나타낸다.
보다 상세히, 병렬 영상 생성부(110)는 다해상도 영상 생성시에 각 해상도 영상을 생성하기 위한 처리 라인이 유효하다면, 다른 레벨 영상을 병렬로 생성함으로서 N by N 영상에 대해 다해상도 영상 생성을 약 N2싸이클에 처리할 수 있다.
DMA 제어기(111)는 병렬 영상 생성부(110)가 생성한 다해상도 영상들을 다해상도 메모리(220)에 저장하는 역할을 한다.
일반적으로 연속적인 영상 픽셀 데이터들은 DRAM(200) 메모리에 저장 또는 읽어들일 때 DMA(Direct Memory Access)를 사용한다. DMA를 사용하면 CPU에 의한 프로그램 실행 없이도 자료의 이동이 가능하므로, 입출력의 속도가 향상될 수 있다. 병렬로 생성되는 다중 레벨의 영상을 레벨 별로 순차적으로 정리하여 메모리에 저장하지 않을 경우, 각 해상도별 영상 블록을 읽어 들여 블록 정합을 사용해야 하는 움직임 벡터 검출부(130)에서는 각 해상도에 맞추어 영상의 블록을 읽기가 어렵다.
이에 따라, 각각의 해상도 레벨 별로 DMA 제어기(111)들을 사용하는 방법을 사용할 수는 있지만, 해상도 레벨의 수가 많을수록 DMA 제어기(111)가 많아지기 때문에 하드웨어가 매우 커지는 단점을 지닌다. 이를 해결하기 위해 본 발명의 일 실시예에서는 해상도 J 레벨 화상 생성 시 수학식 1과 같이 홀수 행에서는 연산을 수행하지 않기 때문에, 2 레벨 이상의 출력 결과들을 레벨 1의 홀수 행 때 DMA 전송 스케쥴링을 수행함으로써 1개의 DMA 제어기(111)를 사용하여 영상을 해상도별로 다해상도 메모리(220)에 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따라 병렬연산 생성부(110)에서 각 레벨의 화상을 생성하기 위한 연산 및 DMA 제어기(111)에서 각 레벨의 화상들에 대해 메모리로 DMA 전송 순서를 개념적으로 나타낸 도면이이다. 여기서 ○,△,□,◇ 등은 병렬 연산 생성부에서 출력하는 각 해상도 영상에 대응하는 하나의 행을 의미 한다.
도 4는 본 발명의 일 실시예에 따라 DMA 제어기(111)가 각 레벨의 영상에 대한 할당을 나타내는 도면이다.
도 4와 같이 DMA 제어기(111)는 각 해상도별로 생성된 다해상도 영상을 다해상도 메모리(220)에 규칙적으로 저장한다. 규칙적으로 다해상도 메모리(220)에 저장된 영상은 움직임 벡터 검출부(130)가 각각의 해상도 별로 블록 단위로 읽는(reading) 것이 가능하다.
보다 상세히, DMA 제어기(111)는 Line jump 기능이 있고, 각 해상도의 행들을 규칙적으로 다해상도 메모리(220)에 저장하기 때문에, 움직임 벡터 검출부(130)가 각 해상도별로 블록을 쉽게 읽을 수 있도록 한다. 도 4와 같이 DMA 제어기(111)는 영상 구성 시 J>2 이상 레벨의 영상의 행들을 J=2 레벨의 영상행들 사이에 내장(embedded)시킴으로서, 한개의 프레임에서 J=1이상의 모든 해상도 영상들을 저장하는데 (N/2+N/4)x(N/2) 크기를 가질 수 있다.
특징점 추출부(120)는 병렬 영상 생성부(110)가 생성한 다해상도 영상 중 중간 레벨 해상도의 영상에 대해 특징점 화소를 생성하는 역할을 한다. 특징점 추출부(120)는 특징점 화소의 생성을 정사각형의 중첩되지 않은 부 영역으로 나누어진 영역에 대해 수행하게 되며, 부영역 당 하나의 특징점을 추출함으로써 K개의 부영역에 대해 K개의 특징점을 추출한다. 본 발명의 일 실시예에 따르면, 특징점 추출부(120)는 내부에서 사용되는 필터의 라인 메모리 크기를 감소시키기 위해 레벨 0의 영상이 아닌 중간 레벨(레벨 J/2)의 영상을 사용하여 특징점 검출을 수행한다.
또한, 본 발명의 일 실시예에 따르면 특징점 추출부(120)는 특징점들의 검출을 위해 부영역 내 영상 화소들에 대해 코너점을 추출하여 코너의 정도가 가장 큰 화소를 그 부영역의 특징점으로 채택한다. 코너의 정도를 계산 방법은 [수학식 2]와 같이 코너 검출에 널리 사용되고 있는 Harris와 Stephen의 코너 검출 방법을 이용할 수 있다.
[수학식 2]
Figure 112012089809304-pat00002
여기서 N(x,y)는 구조적 행렬(structure matrix)이고, Tr은 행렬의 trace를 나타낸다. Ix, Iy는 각각 x,y 축에 대한 기울기(gradient)로 도 5와 같은 3X3 필터 커널을 사용하여 계산한다.
도 5는 코너 검출에 사용되는 행방향과 열방향의 3x3 필터 커널을 나타낸다.
도 6은 본 발명의 일 실시예에 따라 특징점을 추출하는 과정을 나타낸 도면이다.
도 6을 참조하면, 특징점 추출부(120)의 행(열)방향 커널 필터는 원본 N by N 영상을 처리할 경우에는 영상 한 행의 크기의 라인 메모리를 가지지만, 중간 레벨 J/2 레벨의 영상을 처리할 경우에는 N/2(J/2) 크기의 라인 메모리들을 필요로 한다. 특징점 추출부(120)는 레벨 J/2의 영상에서 각 부영역들에 대해 특징점들이 검출되면, 각 특징점에 대해 가장 저해상도 레벨인 레벨 J의 특징점을 매핑(mapping)한다.
움직임 벡터 검출부(130)는 특징점 추출부(120)가 추출한 특징점 화소를 중심으로 이전 프레임 영상과 현재 프레임 영상을 이용하여 저해상도 영상에서 움직임을 추정하여 고해상도 영상으로 확장시켜 움직임을 검출하는 역할을 한다.
움직임 벡터 검출부(130)는 레벨 J에 대해 매핑된 특징점들을 기반으로 다해상도 메모리(220)에 저장된 이전과 현재의 다해상도 프레임 영상들을 이용하여 저해상도 영상부터 블록 정합 방법을 사용하여 움직임을 추정하고, 차례로 고해상도 영상으로 확장하며 움직임을 추정하여 특징점들에 대한 움직임 벡터를 검출한다.
도 7은 본 발명의 일 실시예에 따라 저해상도 영상에서 움직임 벡터를 검출하는 과정을 나타낸 도면이다.
도 7을 참조하면, 움직임 벡터 검출부(130)가 최고 저해상도 영상인 레벨 J 영상에서 한 단계씩 순차적으로 확장하여 움직임 벡터를 검출하는 과정이 도시되어 있다. 움직임 벡터 검출부(130)는 레벨 J 영상에서 움직임 벡터를 추출한 후 추출된 움직임 벡터를 레벨 J-1 영상으로 확장하여 레벨 J-1 영상에서 움직임을 구할 때의 초기값으로 사용한다. 이러한 방법으로 레벨 0의 영상까지 확장하여 움직임 벡터를 추출할 수 있다.
움직임 벡터는 현재 프레임 영상에서 하나의 특징점을 중심으로 한 정사각형의 움직임 추정 블록 M by M과, 이전 프레임 영상에서 움직임 추정 블록을 P만큼 확장한 탐색 영역 블록 (M+P) by (M+P) 내에서 비교를 수행하여, 즉 블록 정합을 수행하여 가장 차이가 적은 블록의 좌표를 구하여 계산된다. 이와 같이 움직임 벡터를 검출하기 위해 두 블록 사이의 차이를 사용하는 블록 매칭법은 블록 내 화소들의 차이에 대한 절대값들의 합의 평균을 기준으로 하는 MAD(Mean Absolute Difference)법을 사용할 수 있다.
탐색 영역이 클수록 비교하는 연산 블록들이 많아 지므로, 블록 정합을 위한 하드웨어의 크기가 증가하는 단점이 존재한다. 레벨 J의 저해상도 영상에서는 고해상도 영상들보다 상대적으로 움직임이 적으므로, 작은 움직임 탐색 범위를 가질 수 있다. 레벨 J 보다 고해상도인 영상들도 레벨 J 의 영상과 같은 탐색 영역을 사용하지만, 저해상도에서 검출된 움직임 벡터들은 고해상도 영상에서도 계속 누산되기 때문에 큰 탐색 영역을 가지는 것과 같은 효과가 있다.
처리부(310)는 움직임 벡터 검출부(130)가 추출한 움직임 벡터를 획득하여 최종 전역 움직임 벡터를 획득하는 역할을 한다. 보다 상세하게는, 처리부(310)는 움직임 벡터가 추출한 레벨 0의 원본 영상에서의 K개의 움직임 벡터들을 사용하여 최종 전역 움직임 벡터를 결정한다. 처리부(310)는 이를 위해 K개의 움직임 벡터들 중에서 히스토그램 또는 중간 값 등을 이용하여 전역 움직임 벡터를 결정할 수 있다.
마지막으로, 떨림 보정부(320)는 처리부(310)에서 획득한 전역 움직임 벡터를 기반으로 떨림이 있는 영상을 보정하는 역할을 한다. 상술한 바와 같이, 떨림 보정부(320)는 실시간으로 영상의 떨림을 보정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 움직임 벡터 검출 방법을 순서도로 나타낸 도면이다.
먼저, 입력 영상 메모리(210)로부터 현재 프레임의 원본 영상을 입력받는다. 상술한 바와 같이 원본 영상은 레벨 0의 영상으로 표현될 수 있다(S11).
다음으로, 병렬 영상 생성부(110)는 다해상도 영상을 병렬로 생성하고, 다해상도 메모리(220)에 저장한다(S12).
다음으로, 특징점 추출부(120)는 레벨 J/2 의 영상에서 특징점을 추출하고(S13), 레벨을 J로 설정한다(S14).
다음으로, 레벨 J의 영상에서 특징점을 매핑하고, 레벨 J의 영상에서 현재 프레임의 특징점을 중심으로 움직임 추정 블록을 설정한다. 또한, 이전 프레임에서 움직임 추정 블록을 포함하는 탐색 영역 블록을 설정한다(S15).
다음으로, 블록 정합을 행하고, 최소값을 검출하여 움직임 벡터를 검출한다. 이 과정을 레벨 1의 영상이 될 때까지 반복한다(S16 내지 S18).
마지막에서 레벨 0에서의 특징점 및 움직임 벡터로 확장하고, 획득한 움직임 벡터에 기반하여 전역 움직임 벡터를 산출한다(S19).
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 움직임 백터 추출 시스템
110: 병렬 영상 생성부
111: DMA 제어기
120: 특징점 추출부
130: 움직임 벡터 검출부
200: DRAM
210: 입력 영상 메모리
220: 다해상도 메모리
310: 처리부
320: 떨림 보정부

Claims (19)

  1. 다해상도 영상을 병렬로 생성하는 병렬 영상 생성부;
    상기 다해상도 영상 중 중간 레벨의 해상도를 갖는 영상에서 특징점을 추출하는 특징점 추출부; 및
    상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 검출부;
    를 포함하고,
    상기 병렬 영상 생성부는 하나의 DMA(Direct Memory Access) 제어기를 이용하여 다해상도 메모리에 상기 다해상도 영상을 해상도 레벨 별로 순차적으로 정리하여 저장하고, 상기 DMA 제어기는 제2 레벨보다 큰 레벨을 가지는 다해상도 영상을 상기 제2 레벨의 영상을 저장하는 행들 사이에 내장시켜 저장하는 움직임 검출 시스템.
  2. [청구항 2은(는) 설정등록료 납부시 포기되었습니다.]
    제1항에 있어서,
    상기 병렬 영상 생성부는 입력 영상 메모리로부터 제0 레벨의 해상도를 갖는 원본 영상을 획득하여 다해상도 영상을 병렬로 생성하는 것을 특징으로 하는 움직임 검출 시스템.
  3. [청구항 3은(는) 설정등록료 납부시 포기되었습니다.]
    제2항에 있어서,
    상기 병렬 영상 생성부가 제1 레벨의 해상도 영상부터 제J 레벨의 해상도 영상을 생성한다고 할 때, 생성된 각 레벨의 다해상도 영상은 상기 원본 영상에 대해 (N*N)/4J 의 크기를 갖는 것을 특징으로 하는 움직임 검출 시스템.
  4. [청구항 4은(는) 설정등록료 납부시 포기되었습니다.]
    제3항에 있어서,
    상기 병렬 영상 생성부는,
    DMA 제어기를 통하여, (N/2+N/4)x(N/2) 크기를 갖는 다해상도 메모리에 상기 생성된 다해상도 영상을 저장하는 것을 특징으로 하는 움직임 검출 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 병렬 영상 생성부는, 제1 레벨의 해상도 영상을 생성함과 동시에 제2 레벨 이상의 해상도 영상들을 생성하기 위한 라인이 유효한 경우 제2 레벨의 해상도 이상의 영상들을 병렬적으로 생성하는 것을 특징으로 하는 움직임 검출 시스템.
  10. 제1항에 있어서,
    상기 특징점 추출부는 상기 중간 레벨의 해상도를 갖는 영상에서 특징점 화소를 생성하는 것을 특징으로 하는 움직임 검출 시스템.
  11. 제10항에 있어서,
    상기 특징점 추출부는 상기 중간 레벨의 해상도를 갖는 영상을 복수개의 서로 중첩되지 않는 정사각형들로 나누고, 상기 나누어진 정사각형 영역들에 대해 특징점 화소를 생성하는 것을 특징으로 하는 움직임 검출 시스템.
  12. [청구항 12은(는) 설정등록료 납부시 포기되었습니다.]
    제11항에 있어서,
    상기 특징점 추출부는 상기 정사각형 영역들 내의 화소들에 대해 코너점을 추출하여 코너의 정도가 가장 큰 화소를 그 부영역의 특징점으로 채택하는 것을 특징으로 하는 움직임 검출 시스템.
  13. [청구항 13은(는) 설정등록료 납부시 포기되었습니다.]
    제10항에 있어서,
    상기 특징점 추출부는 상기 중간 레벨의 해상도를 갖는 영상에서 생성된 특징점 화소를 가장 저해상도 레벨의 영상에 매핑(mappiing)하는 것을 특징으로 하는 움직임 검출 시스템.
  14. 제1항에 있어서,
    상기 움직임 벡터 검출부는 이전 프레임 영상과 현재 프레임 영상을 이용하여 저해상도 영상에서 움직임을 추정하고, 추정된 움직임을 고해상도 영상으로 확장시켜 움직임을 검출하는 역할을 하는 것을 특징으로 하는 움직임 검출 시스템.
  15. 제1항에 있어서,
    상기 움직임 벡터 검출부는 상기 저해상도 영상에서 추출된 움직임 벡터를 상기 고해상도 영상에서 움직임 벡터를 구할 때의 초기값으로 사용하는 것을 특징으로 하는 움직임 검출 시스템.
  16. 제1항에 있어서,
    상기 움직임 벡터 검출부는,
    현재 프레임 영상 내에서 상기 특징점을 중심으로 하는 움직임 추정 블록을 설정하고, 이전 프레임 영상 내에서 상기 움직임 추정 블록을 포함하며 상기 움직임 추정 블록을 확장한 탐색 영역 블록을 설정하고, 상기 움직임 추정 블록과 상기 탐색 영역 블록 내에서 비교를 수행하여 가장 차이가 적은 블록의 좌표를 구하여 계산함으로써 상기 움직임 벡터를 검출하는 것을 특징으로 하는 움직임 검출 시스템.
  17. 다해상도 영상을 병렬로 생성하는 단계;
    하나의 DMA(Direct Memory Access) 제어기를 이용하여 다해상도 메모리에 상기 다해상도 영상을 해상도 레벨 별로 순차적으로 정리하여 저장하고, 제2 레벨보다 큰 레벨을 가지는 다해상도 영상을 상기 제2 레벨의 영상을 저장하는 행들 사이에 내장시켜 저장하는 단계;
    상기 다해상도 영상 중 중간 레벨의 해상도를 갖는 영상에서 특징점을 추출하는 단계; 및
    상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 추출 단계;
    를 포함하는 움직임 검출 방법.
  18. [청구항 18은(는) 설정등록료 납부시 포기되었습니다.]
    한 레벨의 해상도 영상을 생성함과 동시에 다른 레벨의 해상도 영상을 생성하기 위한 라인이 유효한 경우 다른 레벨의 해상도 영상을 병렬적으로 생성하는 병렬 영상 생성부;
    상기 한 레벨의 해상도 영상 및 상기 다른 레벨의 해상도 영상을 포함하는 다해상도 영상 중 중간 레벨의 해상도를 갖는 영상에서 특징점을 추출하는 특징점 추출부;
    상기 특징점에 기초하여 저해상도 영상에서 움직임 벡터를 검출하고, 상기 저해상도 영상의 움직임 벡터를 고해상도의 움직임 벡터로 확장하는 움직임 벡터 검출부;
    상기 병렬 영상 생성부가 생성한 다해상도 영상을, (N/2+N/4)x(N/2) 크기를 갖는 다해상도 메모리에 각 해상도 레벨 별로 순차적으로 정리하여 저장하고, 제2 레벨보다 큰 레벨을 가지는 다해상도 영상을 상기 제2 레벨의 영상을 저장하는 행들 사이에 내장시켜 저장하는 DMA 제어기; 및
    상기 추출된 움직임 벡터를 사용하여 영상의 떨림을 보정하는 떨림 보정부;
    를 포함하는 움직임 검출 시스템.
  19. [청구항 19은(는) 설정등록료 납부시 포기되었습니다.]
    현재 프레임의 원본 영상을 입력받는 단계;
    다해상도 영상을 병렬로 생성하는 단계;
    하나의 DMA(Direct Memory Access) 제어기를 이용하여 (N/2+N/4)x(N/2) 크기를 갖는 다해상도 메모리에 상기 다해상도 영상을 해상도 레벨 별로 순차적으로 정리하여 저장하고, 제2 레벨보다 큰 레벨을 가지는 다해상도 영상을 상기 제2 레벨의 영상을 저장하는 행들 사이에 내장시켜 저장하는 단계;
    중간 해상도 레벨의 영상에서 특징점을 추출하는 단계;
    저해상도 레벨의 영상에서 특징점을 매핑하고, 저해상도 레벨의 영상에서 현재 프레임의 특징점을 중심으로 하는 움직임 추정 블록 및 이전 프레임 내에서 상기 움직임 추정 블록을 포함하며 상기 움직임 추정 블록을 확장하는 탐색 영역 블록을 설정하는 단계;
    상기 움직임 추정 블록과 상기 탐색 영역 블록 내에서 비교를 수행하여 가장 차이가 적은 블록의 좌표를 구하여 계산함으로써 움직임 벡터를 검출하는 단계; 및
    상기 저해상도 레벨의 움직임 벡터를 고해상도 레벨의 움직임 벡터로 확장하는 단계;
    를 포함하는 움직임 검출 방법.
KR1020120123091A 2012-11-01 2012-11-01 실시간 움직임 검출 방법 및 시스템 KR101767927B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120123091A KR101767927B1 (ko) 2012-11-01 2012-11-01 실시간 움직임 검출 방법 및 시스템
US13/945,020 US9338353B2 (en) 2012-11-01 2013-07-18 Method of and system for detecting motion in real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120123091A KR101767927B1 (ko) 2012-11-01 2012-11-01 실시간 움직임 검출 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20140056856A KR20140056856A (ko) 2014-05-12
KR101767927B1 true KR101767927B1 (ko) 2017-08-17

Family

ID=50546755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120123091A KR101767927B1 (ko) 2012-11-01 2012-11-01 실시간 움직임 검출 방법 및 시스템

Country Status (2)

Country Link
US (1) US9338353B2 (ko)
KR (1) KR101767927B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879580B1 (ko) * 2016-10-13 2018-07-19 (주)넥스트칩 특징점의 방향 벡터를 계산하는 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225852A (ja) * 1994-02-15 1995-08-22 Fujitsu Ltd 動画生成方法および装置
US6401194B1 (en) * 1997-01-28 2002-06-04 Samsung Electronics Co., Ltd. Execution unit for processing a data stream independently and in parallel
US6633029B2 (en) * 1998-03-16 2003-10-14 Silicon Video, Inc. Video bus for high speed multi-resolution imagers and method thereof
JP3469492B2 (ja) * 1999-02-19 2003-11-25 フーリエ有限会社 フォントメモリおよびフォントデータの読み出し方法
KR20010058516A (ko) 1999-12-30 2001-07-06 구자홍 웨이브릿 변환방법과 장치
KR100395075B1 (ko) 2001-05-18 2003-08-19 최종수 유사특징점을 이용한 모자이킹 영상의 구성방법
JP4467267B2 (ja) * 2002-09-06 2010-05-26 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、画像処理装置、および画像処理システム
US7028271B2 (en) * 2002-11-06 2006-04-11 Canon Kabushiki Kaisha Hierarchical processing apparatus
US7382937B2 (en) * 2003-03-07 2008-06-03 Hewlett-Packard Development Company, L.P. Method and apparatus for re-constructing high-resolution images
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
KR101036787B1 (ko) 2005-01-14 2011-05-25 가부시키가이샤 모르포 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치
US20080002963A1 (en) * 2006-06-28 2008-01-03 Media Tek Inc. Systems and methods for capturing images of objects
KR101337206B1 (ko) * 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
US8385422B2 (en) * 2008-08-04 2013-02-26 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2010218271A (ja) * 2009-03-17 2010-09-30 Tokyo Institute Of Technology パラメータ制御処理装置及び画像処理装置
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP5462305B2 (ja) * 2012-03-12 2014-04-02 株式会社東芝 画像処理装置、画像処理方法およびそのプログラム

Also Published As

Publication number Publication date
KR20140056856A (ko) 2014-05-12
US20140118567A1 (en) 2014-05-01
US9338353B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
US9569695B2 (en) Adaptive search window control for visual search
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US8810692B2 (en) Rolling shutter distortion correction
US9773192B2 (en) Fast template-based tracking
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN108345821B (zh) 面部追踪方法及设备
US8098963B2 (en) Resolution conversion apparatus, method and program
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR20110023472A (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US8629908B2 (en) Method for detecting a moving object in a sequence of images captured by a moving camera, computer system and computer program product
US9942477B2 (en) Image processing apparatus and method
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
US20190306417A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10210619B2 (en) Image processing apparatus for selecting an object image to be processed based on a determination result of correlation, image pickup apparatus, and storage medium for storing image processing program
JP2015226326A (ja) 映像解析方法及び映像解析装置
JP5703705B2 (ja) 画像特徴検出システム、画像認識システム、画像特徴検出方法、およびプログラム
Pan et al. A new moving objects detection method based on improved SURF algorithm
KR101767927B1 (ko) 실시간 움직임 검출 방법 및 시스템
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10846837B2 (en) Image processing apparatus, image processing method, and storage medium
JP4997179B2 (ja) 画像処理装置、方法およびプログラム
JP6380523B2 (ja) 画像認識システムおよび半導体集積回路
CN113592781A (zh) 背景图像的生成方法、装置、计算机设备和存储介质
JP7338174B2 (ja) 物体検出装置および物体検出方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant