KR20130127026A - 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법 - Google Patents

주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20130127026A
KR20130127026A KR1020120048314A KR20120048314A KR20130127026A KR 20130127026 A KR20130127026 A KR 20130127026A KR 1020120048314 A KR1020120048314 A KR 1020120048314A KR 20120048314 A KR20120048314 A KR 20120048314A KR 20130127026 A KR20130127026 A KR 20130127026A
Authority
KR
South Korea
Prior art keywords
matrix
filtering
time domain
motion
frequency domain
Prior art date
Application number
KR1020120048314A
Other languages
English (en)
Other versions
KR101695247B1 (ko
Inventor
임정은
노승인
홍하나
권인소
오태현
Original Assignee
삼성테크윈 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 한국과학기술원 filed Critical 삼성테크윈 주식회사
Priority to KR1020120048314A priority Critical patent/KR101695247B1/ko
Priority to US13/760,578 priority patent/US9111359B2/en
Publication of KR20130127026A publication Critical patent/KR20130127026A/ko
Application granted granted Critical
Publication of KR101695247B1 publication Critical patent/KR101695247B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법에 관한 것으로, 본 발명의 일 실시예에 따르면 연속된 N개 프레임의 동화상에서, 픽셀값의 변화에 대응하는 벡터를 원소(element)로 하는 시간 영역 행렬을 생성하는 단계; 상기 시간 영역 행렬에 연산 행렬을 곱하여 저주파 영역이 제거된 움직임 행렬을 생성하는 단계; 상기 움직임 행렬의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성하는 단계;를 포함하는 이루어진 움직임 검출 방법이 제공된다.

Description

주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법{MOVING DETECTION METHOD AND SYSTEM BASED ON MATRIX USING FREQUENCY CONVERTING AND FILTERING PROCESS}
본 발명은 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법에 관한 것으로, 보다 상세하게는 주파수 영역 변환, 필터링, 시간 영역 변환 프로세스를 한꺼번에 수행하는 연산 행렬을 시간 영역의 행렬에 곱함으로써 효율적으로 영상의 움직임을 검출하는 시스템 및 방법에 관한 것이다.
일반적인 감시 시스템에서는 감시 카메라를 설치하여 카메라에 의해 촬영된 영상을 모니터를 통해 감시하고 때로는 영상을 저장한다. 이러한 감시 시스템은 감시자가 일일이 모든 화면을 모니터링하거나 불필요한 영상(움직임이 발생하지 않은 영상)까지도 모두 저장함으로써 인적 자원이 추가적으로 필요하거나 영상을 저장하는 공간이 부족해지는 현상이 발생하였다.
이와 같은 문제점을 해소하기 위해 근래의 감시 시스템은 움직임 검출 기법을 채택하고 있는데, 움직임 검출 기법은 감시 카메라의 부하를 줄이고 빠른 움직임 검출을 위해 시간에 따라 순차적으로 입력되는 두 영상의 프레임을 상호 비교하여 움직임 발생 여부를 판단하고 움직임 영역만을 검출하는 방법을 사용한다.
일본등록특허 제4526529호에서는 영상 신호 변환에 있어서 이산 코사인 변환법을 사용하여 움직임 영역을 검출하며, 움직임 벡터 검출에 관계되는 계산량을 삭감하는 방법에 대하여 개시하고 있다.
또한, 기존의 움직임 검출 기법에는 temporal difference, background subtraction, motion detection 등이 있었다. Temporal difference 기법은 시간 영역의 차를 이용한 움직임 추정을 사용하고, background subtraction 기법은 고정된 배경 영역을 제거함으로써 움직임 영역을 추출하며, motion detection 기법은 전경과 배경을 구분하기 위해 가우시안 모델링을 사용하여 움직임이 있는 전경을 분리해낸다.
이러한 종래의 움직임 검출 기법들은 640x480 크기의 해상도에서 움직임을 검출할 수 있는 영상의 수는 6 frame/sec 정도이므로 실시간 감시 시스템에서 사용하기에는 계산 복잡도가 높다.
본 발명은 영상의 각 픽셀값의 변화를 나타내는 시간 영역의 행렬에 주파수 영역 변환, 필터링, 시간 영역 변환을 한번에 수행할 수 있는 행렬을 곱하여 영상의 모든 위치의 픽셀에 대하여 행렬 계산으로 움직임을 검출함으로써 기존보다 빠르고 정확한 움직임 검출 방법을 제공하는 것을 일 목적으로 한다.
또한, 본 발명은 움직임 검출을 위한 행렬 계산에서 중심 대칭성을 이용하여 중복 계수들을 묶어서 계산하고, 고정 소수점을 사용함으로써 계산 복잡도를 줄이는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 연속된 N개 프레임의 동화상에서, 픽셀값의 변화에 대응하는 벡터를 원소(element)로 하는 시간 영역 행렬을 생성하는 단계; 상기 시간 영역 행렬에 연산 행렬을 곱하여 저주파 영역이 제거된 움직임 행렬을 생성하는 단계; 상기 움직임 행렬의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성하는 단계; 를 포함하는 움직임 검출 방법이 제공된다.
본 발명에 있어서,상기 연산 행렬은 상기 시간 영역 행렬을 주파수 영역으로 변환한 후 저주파 영역을 필터링하고, 다시 시간 영역으로 복원하는 역할을 하는 행렬로, 상기 시간 영역에 곱해지기 전에 미리 계산된 행렬인 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬은 중심 대칭성을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 원소는 고정 소수점(fixed point)을 가지는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 연속된 N개 프레임의 화상에서, 픽셀값의 변화에 대응하는 벡터를 원소(element)로 하는 시간 영역 행렬을 생성하는 영상-행렬 변환부; 상기 시간 영역 행렬에 연산 행렬을 곱하여 저주파 영역이 제거된 움직임 행렬을 생성하는 연산 행렬 적용부; 상기 움직임 행렬의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성하는 움직임 영상 획득부;를 포함하는 움직임 검출 시스템이 제공된다.
본 발명에 있어서,상기 연산 행렬은 상기 시간 영역 행렬을 주파수 영역으로 변환한 후 저주파 영역을 필터링하고, 다시 시간 영역으로 복원하는 역할을 하는 행렬로, 상기 시간 영역에 곱해지기 전에 미리 계산된 행렬인 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬은 중심 대칭성을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 원소는 고정 소수점(fixed point)을 가지는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 동화상에 있어서, 특정 위치의 픽셀값의 변화로 구성되는 시간 영역의 행렬을 주파수 영역의 행렬로 변환하는 주파수 영역 변환 행렬을 생성하는 단계; 상기 동화상의 저주파 성분을 필터링하는 필터링 행렬을 생성하는 단계; 상기 주파수 영역의 행렬을 다시 시간 영역의 행렬로 변환하는 시간 영역 변환 행렬을 생성하는 단계; 생성된 상기 주파수 영역 변환 행렬, 상기 필터링 행렬, 상기 시간 영역 변환 행렬을 곱하여 연산 행렬을 생성하는 단계;를 포함하는 움직임 검출 방법이 제공된다.
본 발명에 있어서,상기 연산 행렬을 동화상의 픽셀값의 변화에 대한 벡터를 원소로 하는 시간 영역 행렬에 곱하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬의 계수는 상기 픽셀값의 변화를 추출한 동화상의 프레임의 수와 일치하는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬을 DN, 상기 필터링 행렬을 EM,N, 상기 시간 영역 변환 행렬을 DN T이라고 할 때, 상기 연산 행렬 L은,
Figure pat00001
(N은 상기 프레임의 수, M은 상기 필터링 행렬의 대역폭)로 나타낼 수 있는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 계수는, 상기 주파수 영역 변환 행렬의 계수에서 상기 필터링 행렬의 계수를 뺀 값인 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬 L은 중심 대칭성을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 원소들은 고정 소수점(fixed point)을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬은, 이산 코사인 변환(discrete cosine transform)법을 사용한 행렬인 것을 특징으로 한다.
본 발명에 있어서,상기 필터링 행렬을 EM ,N이라 하고, M은 상기 필터링 행렬의 대역폭, N은 상기 프레임의 수라 할 때, EM ,N은
Figure pat00002
와 같이 나타낼 수 있는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 동화상에 있어서, 특정 위치의 픽셀값의 변화로 구성되는 시간 영역의 행렬을 주파수 영역의 행렬로 변환하는 주파수 영역 변환 행렬을 생성하는 주파수 영역 변환부; 상기 동화상의 저주파 성분을 필터링하는 필터링 행렬을 생성하는 필터링부; 상기 주파수 영역의 행렬을 다시 시간 영역의 행렬로 변환하는 시간 영역 변환 행렬을 생성하는 시간 영역 변환부; 생성된 상기 주파수 영역 변환 행렬, 상기 필터링 행렬, 상기 시간 영역 변환 행렬을 곱하여 연산 행렬을 생성하는 연산 행렬 생성부; 를 포함하는 움직임 검출 시스템을 제공한다.
본 발명에 있어서,상기 연산 행렬을 동화상의 픽셀값의 변화에 대한 벡터를 원소로 하는 시간 영역 행렬에 곱하는 연산 행렬 적용부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬의 계수는 상기 픽셀값의 변화를 추출한 동화상의 프레임의 수와 일치하는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬을 DN, 상기 필터링 행렬을 EM,N, 상기 시간 영역 변환 행렬을 DN T이라고 할 때, 상기 연산 행렬 L은,
Figure pat00003
(N은 상기 프레임의 수, M은 상기 필터링 행렬의 대역폭)로 나타낼 수 있는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 계수는, 상기 주파수 영역 변환 행렬의 계수에서 상기 필터링 행렬의 계수를 뺀 값인 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬 L은 중심 대칭성을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 연산 행렬의 원소들은 고정 소수점(fixed point)을 가지는 것을 특징으로 한다.
본 발명에 있어서,상기 주파수 영역 변환 행렬은, 이산 코사인 변환(discrete cosine transform)법을 사용한 행렬인 것을 특징으로 한다.
본 발명에 있어서,상기 필터링 행렬을 EM ,N이라 하고, M은 상기 필터링 행렬의 대역폭, N은 상기 프레임의 수라 할 때, EM ,N은
Figure pat00004
와 같이 나타낼 수 있는 것을 특징으로 한다.
본 발명은 영상의 각 픽셀값의 변화를 나타내는 시간 영역의 행렬에 주파수 영역 변환, 필터링, 시간 영역 변환을 한번에 수행할 수 있는 행렬을 곱하여 영상의 모든 위치의 픽셀에 대하여 행렬 계산으로 움직임을 검출함으로써 기존보다 빠르고 정확한 움직임 검출 방법을 제공할 수 있다.
또한, 본 발명은 움직임 검출을 위한 행렬 계산에서 중심 대칭성을 이용하여 중복 계수들을 묶어서 계산하고, 고정 소수점을 사용함으로써 계산 복잡도를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따라 행렬 기반의 움직임 검출을 위한 시스템을 개략적으로 나타낸 도면이다.
도 2는 움직임이 없는 경우와 움직임이 있는 경우의 화상을 시공간 축에 배열한 결과를 예시적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 움직임을 검출하는 방법을 간략히 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 저계수 행렬 생성부의 세부 구성을 간략히 나타낸 구성도이다.
도 5는 도 2의 화상을 주파수 변환한 후 필터링한 결과를 간략히 나타낸 도면이다.
도 6는 일반적인 상이한 필터링 대역폭에 따른 움직임 검출 결과를 나타낸 시뮬레이션 결과이다.
도 7은 본 발명의 일 실시예에 따른 이산 코사인 변환을 이용하여 움직임을 검출한 결과와 빠른 푸리에 변환법을 이용하여 움직임을 검출한 결과를 비교하는 도면이다.
도 8은 타 방법 및 본 발명의 일 실시예에 따라 고정된 노출값에서 움직임을 검출한 결과를 나타낸 도면이다.
도 9은 타 방법 및 본 발명의 일 실시예에 따라 자동 노출값에서 움직임을 검출한 결과를 나타낸 도면이다.
도 10는 본 발명의 움직임 검출 시스템을 사용하여 움직임을 검출한 그래프 컷(graph cut) 결과를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따라 저계수 행렬을 사용하여 움직임을 검출하는 단계를 나타내는 순서도이다.
도 12는 본 발명의 일 실시예에 따라 저계수 행렬을 생성하는 과정을 나타낸 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
먼저, 본 발명의 움직임 검출 방법은 최근 특정 개수의 프레임에서 같은 위치의 픽셀에 대한 시간 일관성(temporal consistency)에 기초하여 수행될 수 있다. 또한, 본 발명의 움직임 검출 방법은 각 픽셀간의 독립성을 가정한다.
도 1은 본 발명의 일 실시예에 따른 행렬 기반의 움직임 검출을 위한 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 행렬을 이용한 움직임 검출 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 움직임 검출 시스템은 카메라(10), 영상 전처리부(20), 영상-행렬 변환부(30), 저계수 행렬 적용부(40), 움직임 영상 획득부(50), 저계수 행렬 생성부(100)를 포함하는 것을 알 수 있다.
먼저, 카메라(10)는 촬상이 요구되는 영역에 설치되어, 해당 영역을 촬영한 화상을 제공한다. 카메라(10)는 화상을 촬영할 수 있는 장치로서, 예를 들면, 감시 카메라, 캠코더, CCTV 등일 수 있다.
다음으로, 영상 전처리부(20)는 카메라(10)로부터 제공된 입력 영상 데이터를 아날로그 신호로부터 디지털 신호로 변환한다. 비록 도 2에서는 영상 전처리부(20)가 카메라(10) 외부에 구비된 것으로 도시되어 있지만, 영상 전처리부(20)는 카메라(10) 내부에 구비될 수도 있다. 영상 전처리부(20)는 본 발명의 움직임 검출 시스템이 입력 화상을 불러들여 빠른 시간에 움직임을 검출할 수 있도록 화상 디지털 신호로 변환하여 제공하는 역할을 한다.
다음으로, 영상-행렬 변환부(30)는 입력 영상을 시공간 3차원 공간에 정렬하여 특정 위치의 픽셀값의 변화를 벡터로 나타내어, 해당 벡터를 원소(element)로 하는 시간 영역 행렬을 도출한다. 영상-행렬 변환부(30)가 시간 영역 행렬을 도출하는 과정은 도 2를 참조하여 설명하기로 한다.
도 2는 움직임이 없는 경우와 움직임이 있는 경우의 화상을 시공간 축에 배열한 결과를 예시적으로 나타낸 도면이다.
도 2를 참조하면, 영상-행렬 변환부(30)는 동화상에서 각 프레임의 화상을 시공간 x-y-t축에 배열한다. 즉, 동화상은 개념적으로 각 프레임에 대응하는 서로 다른 화상이 일정 시간 간격으로 출력되는 것이므로, 각 프레임에 대응하는 화상을 t축에 대하여 배열할 수 있다.
도 2의 (a-1)과 (b-1)을 참조하면, 움직임이 없는 동화상과 움직임이 있는 동화상을 시공간 축에 배열한 결과를 알 수 있다. 도 3을 참조하면, 움직임이 없는 경우의 프레임 화상을 시공간에 배열한 경우인 (a-1)에서 화상의 가장 하단을 y축에 수직으로 잘라 본 결과인 (a-2)를 보면 세로 패턴만을 형성하는 것을 알 수 있다. 그러나, 움직임이 있는 경우의 프레임 화상을 시공간에 배열한 결과인 (b-1)을 y 축에 대하여 수직으로 잘라 본 결과인 (b-2)를 보면 세로 패턴 외에도 움직임에 따른 패턴이 추가된 것을 알 수 있다.
즉, 움직임이 있는 경우의 화상은 x-t 평면에서 (a-2)과 같이 세로 패턴만을 형성하게 되지만, 움직임이 있는 경우의 화상은 x-t평면에서 (b-2)와 같이 세로 패턴에 움직임 패턴을 포함하게 된다.
보다 상세하게, 도 3의 (c)와 같이 영상-행렬 변환부(30)는 ft(x,y)를 프레임 t에서의 세로 H, 가로 W의 H*W 2차원 화상의 좌표라고 둘 때, 가장 최근의 N 개의 프레임 이미지에 대하여, H*W*N 3차원 화상을 f(x,y,t)라고 둘 수 있다(x∈[0, W-1], y∈[0, H-1], t∈[T, T+N-1], T는 현재 프레임). 따라서, (x,y) 위치의 픽셀에서의 일차원 이미지 벡터인 f(x,y,t)는 fx ,y(t)로 나타낼 수 있다. 각 벡터는 도 2의 시공간 x-y-t 3차원에서 t축에 대한 각 픽셀값의 변화로서, 픽셀의 강도(intensity value)이다.
따라서, 각 픽셀 위치인 (x,y)의 시간 변화에 따른 값은 fx ,y(t)를 이용하여 행렬로 표현할 수 있다. 즉, 시간 t에 대해 N개의 프레임에 존재하는 같은 위치의 픽셀값의 변화를 나타내는 벡터는 다음의 [수학식 1]과 같이 행렬로 표현할 수 있다.
[수학식 1]
Figure pat00005
[수학실 1]에서,
Figure pat00006
는 N by 1 행렬이다.
만약, 도 2의 (a-1)의 경우와 같이 동화상에서 움직임이 없다면, fx ,y(t) 벡터의 값은 화이트 노이즈(white noise)와 같이 근사적으로 일정할 것이다. 이와 반대로, (b-1)의 경우와 같이 화상 내에 움직임이 있다면, 일차원 fx ,y(t)의 값은 변화가 생긴다. 시간 영역 행렬
Figure pat00007
는 이와 같은 픽셀값의 변화를 반영하는 행렬이다. 따라서 본 발명의 움직임 검출 시스템은 시간 영역 행렬
Figure pat00008
의 벡터 값에서 시간에 대해 일정한 값을 가지는 성분값을 제거하고 움직임이 있는 부분만을 검출하는 역할을 수행한다.
다음으로, 저계수 행렬 적용부(40)는 시간 영역 행렬에 후술할 저계수 행렬 생성부(100)가 생성한 저계수 행렬을 곱하는 역할을 수행한다. 저계수 행렬 적용부의 상세 동작에 대해서는 도 3을 참조하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따라 움직임을 검출하는 방법을 간략히 나타낸 도면이다.
저계수 행렬 적용부(40)는 시간 영역 행렬
Figure pat00009
에 연산 행렬 L을 곱함으로써, 움직임 영역이 구해진 결과를 나타내는 움직임
Figure pat00010
를 얻을 수 있다. 움직임을 검출하기 위해 곱해지는 연산 행렬을 이하의 명세서에서 저계수 행렬(low rank matrix) L이라 하기로 한다. 즉, 움직임 행렬
Figure pat00011
는 아래와 같은 [수학식 2]를 사용하여 얻을 수 있다.
[수학식 2]
Figure pat00012
움직임 행렬
Figure pat00013
는 화상에서 움직임 영역만을 검출한 픽셀값의 변화에 대응하는 벡터를 원소로 가진다. 즉, 시간 영역 행렬
Figure pat00014
는 화상의 모든 픽셀값에 대한 정보를 포함하고 있는 반면에, 움직임 행렬
Figure pat00015
는 움직임 영역만이 추출된 화상의 픽셀값에 대한 정보를 포함하고 있다.
저계수 행렬 L은
Figure pat00016
를 얻기 위해 원래의
Figure pat00017
행렬에 곱해지는 것으로서, 저계수 행렬 L을 본 발명의 움직임 검출 시스템의 알고리즘 수행 전 미리 계산해둘 수 있으며, 전 픽셀에 대해 동일한 저계수 행렬 L을 사용할 수 있다.
본 발명의 움직임 검출 방법은 저계수 행렬 적용부(40)가 기설정된 저계수 행렬 L을 곱하는 행렬의 곱 방식으로 움직임을 검출하므로 기존의 방법보다 프로세스 속도가 빠르고, 연산 복잡도를 줄일 수 있다.
저계수 행렬 생성부(100)는 시간 영역 행렬을 주파수 영역으로 변환한 후 저주파 영역을 필터링하고, 다시 시간 영역으로 복원하는 저계수 행렬을 생성하여 저계수 행렬 적용부(40)에 제공한다. 저계수 행렬 생성부(100)의 상세한 동작에 대해서는 아래에서 후술하기로 한다.
마지막으로, 움직임 영상 획득부(50)는 움직임 행렬
Figure pat00018
의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성한다. 해당 픽셀 위치에 대해 구해진
Figure pat00019
를 다시 원 위치인 (x, y)의 픽셀 변화값으로 설정함으로써 움직임 행렬을 기초로 화상을 재구성하면, N개 화상에서 움직임만 남은 움직임 검출 결과 화상이 복원된다. 즉, 움직임 영상 획득부(50)는 움직임 행렬
Figure pat00020
로부터 화상을 복원하는 역할을 하며, 움직임 영상 획득부(50)에 의해 복원된 화상은 원 화상의 움직임 영역만을 표현하는 화상이다.
다음으로, 저계수 행렬 생성부(100)의 상세한 구성을 도 4를 참조하여 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 저계수 행렬 생성부의 세부 구성을 간략히 나타낸 구성도이다.
도 4에서 보는 바와 같이, 저계수 행렬 생성부(100)는 주파수 영역 변환부(110), 필터링부(120), 시간 영역 변환부(130), 고정 소수점 구현부(140)로 구성된다.
먼저 저계수 행렬 생성부(100)의 전체적인 동작을 설명하자면, 저계수 행렬 생성부(100)는 화상에서 움직임 영역만을 나타내는 움직임 행렬을 도출하기 위하여 화상의 시간 영역 행렬에 곱해지는 저계수 행렬 L을 생성하는 역할을 한다. 저계수 행렬 L의 계수는 원래 영상의 시간 영역 행렬의 계수보다 필터링 대역폭만큼 작다.
보다 상세히는, 저계수 행렬 생성부(100)는 본 발명의 움직임 검출 시스템을 구현할 수 있는 주파수 영역 변환, 필터링, 시간 영역 변환을 행할 수 있는 행렬을 생성한다. 본 발명의 일 실시예에 따르면, 저계수 행렬 생성부(100)는 실수값만을 사용하는 이산 코사인 변환(discrete cosine transform)을 이용한 행렬 변환을 이용하여 본 발명의 움직임 탐지 방법의 알고리즘을 행렬의 곱 형태로 표현할 수 있다.
상술한 바와 같은 도 3의 과정을 통해 본 발명의 움직임 검출 시스템은 저계수 행렬 L 을 이용하여 화상의 움직임 영역을 검출할 수 있다.
먼저, 주파수 영역 변환부(110)는 시간 영역(time domain)의 화상을 주파수 영역(frequency domain)의 화상으로 변환하는 주파수 영역 변환 행렬을 생성한다. 화상의 움직임 값을 추출하기 위해 주파수 영역을 사용하는 것은 잡음 및 신호의 강도 면에서 신뢰성이 있다. 또한, 고주파 필터링(high pass filtering)을 통해 화상을 분석할 때 저주파 영역의 값, 즉 움직임이 없는 영역의 값을 제거할 수 있는 유용함이 있다.
도 5는 도 2의 화상을 주파수 변환한 후 필터링한 결과를 간략히 나타낸 도면이다.
도 5를 참조하면, 도 2의 (b-2) 화상이 (a)에 나타나있고, 주파수 영역 변환부(110)가 생성한 주파수 영역 변환 행렬에 의해 (a) 화상이 2차원 푸리에 변환(2 dimension fourier transform)된 결과가 (b)에 나타나 있다. 음성 신호가 아닌 화상 신호이므로 2차원 푸리에 변환을 한다.
비록 도 5에서는 푸리에 변환을 이용하여 시간 영역의 화상을 주파수 영역으로 변환하는 기존의 방법을 예시하고 있지만, 주파수 영역 변환부(110)는 반드시 이에 한정되지 않고 다른 주파수 영역 변환법도 본 발명의 움직임 검출 시스템에 사용할 수 있다. 주파수 기반의 직교 변환이라면 본 발명의 일 실시예로써 변환 방법으로 채택 될 수 있으며, 각 실시예의 특징은 각 변환 방법의 특징을 따른다.
추가적으로, 주파수 영역 변환부(110)는 주파수 변환을 위해 이산 코사인 변환(discrete cosine transform)을 사용하여 주파수 영역 변환 행렬을 생성할 수 있다. 이산 코사인 변환은 쉽게 행렬 형태로 표현될 수 있으므로, 주파수 영역 변환부(110)는 본 발명의 움직임 검출 방법을 구현하기 위한 프로세스를 행렬의 곱 형태로 용이하게 구현할 수 있다.
다음으로, 필터링부(120)는 움직이지 않는 영역을 필터링하여 제거하기 위해 주파수 변환된 행렬에 곱하는 필터링 행렬을 생성한다.
필터링 행렬인은 움직이지 않는 영역인 저주파 영역, 즉 상술한 도 2의 예를 참조하면 각 프레임마다 일정한 패턴을 형성하는 세로 패턴 영역을 필터링하여 제거하는 역할을 한다.
변환된 화상에 대하여 화상에서 움직이지 않는 영역을 나타내는 저주파 영역을 필터링하여 제거하면, 도 5의 (c)와 같이 움직임 영역을 표시하는 고주파 영역만이 남게 된다.
즉, 화상에 있어 변하지 않는(stable) 영역은 저주파를 형성하게 되고, 전후 프레임에서 픽셀값의 차이를 생성하는 움직임 영역은 고주파를 형성하므로 저주파를 필터링하면 도 5의 (c)와 같이 움직임 영역을 표시하는 고주파 성분만이 남게 된다. 도 5의 (c)는 대역폭을 Δw로 하여 필터링한 결과이다. 또한, N은 픽셀값의 변화를 추출한 프레임의 개수이다.
다음으로, 시간 영역 변환부(130)는 필터링한 주파수 영역의 행렬을 다시 시간 영역으로 변환하는 시간 영역 변환 행렬을 생성하는 역할을 수행한다. 즉, 시간 영역 변환부(130)는 저주파 영역을 필터링하기 위해 주파수 영역으로 변환했던 행렬을 다시 시간 영역에서 출력하기 위해 역 주파수 변환을 하는 역할을 수행한다.
도 5의 (d)는 (c)의 필터링한 결과를 시간 영역 변환부(130)가 생성한 시간 영역 변환 행렬을 이용하여 2차원 역 푸리에 변환(2 dimension inverse fourier transform)한 결과이다. (d)를 참조하면, 필터링을 통해 저주파 성분이 제거되었으므로 (a)의 화상에서 반복되는 세로 패턴이 제거된 움직임 패턴만 남아있는 것을 알 수 있다.
저계수 행렬 생성부(100)는 상술한 주파수 영역 변환 행렬, 필터링 행렬, 시간 영역 변환 행렬을 곱하여 저계수 행렬 L을 생성한다.
따라서, 저계수 행렬 L은 본 발명의 일 실시예에 따라 원 화상을 나타내는 행렬에 곱해져 주파수 영역 변환, 필터링, 시간 영역 변환의 프로세스를 한번에 수행할 수 있는 행렬이다. 보다 구체적으로, 본 발명의 일 실시예에서는 저계수 행렬 L은 이산 코사인 변환, 필터링, 이산 코사인 역변환 계산을 한번에 수행할 수 있다. 이산 코사인 변환은 에너지 압밀 속성(energy compaction property)를 가지므로, 낮은 주파수 구성 성분 내의 일정한 값에만 집중된다.
본 발명의 일 실시예에 따라 주파수 변환 방법으로 이산 코사인 변환법을 이용한 움직임 검출 방법의 전체 프로세스를 살펴보면, 저계수 행렬 생성부(100)의 주파수 영역 변환부(110), 필터링부(120), 시간 영역 변환부(130)는 각각 이산 코사인 행렬을 이용한 주파수 변환 알고리즘, 필터링 알고리즘, 역변환 알고리즘을 행렬의 곱 형태로 표현한다. 저계수 행렬 생성부(100)는 일련의 순차적인 알고리즘을 하나의 행렬, 즉 저계수 행렬 L로 표현할 수 있다. 이를 수학식으로 나타내면 아래의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure pat00021
[수학식 3]에서, L은 저계수 행렬을 뜻하고, DN는 이산 코사인 변환법을 이용한 주파수 변환 행렬, EM ,N은 필터링 행렬, DN T는 이산 코사인 역변환을 이용한 시간 영역 변환 행렬을 뜻한다.
여기서, 주파수 영역 변환부(110)가 생성하는 이산 코사인 변환법을 이용한 주파수 변환 행렬 DN은 다음과 같은 [수학식 4]로 표현될 수 있다.
[수학식 4]
[수학식 4]에서, N은 움직임을 검출하고자 하는 프레임의 개수이고, i,j는 각각 행렬에서 행번호, 열번호를 뜻한다.
이 경우,
Figure pat00022
행렬을 1차원 이산 코사인 변환하여 주파수 영역에서 나타낸 행렬을
Figure pat00023
라고 나타낼 수 있고, [수학식 2] 및 [수학식 3]을 참조하여
Figure pat00024
는
Figure pat00025
로 나타낼 수 있다.
다음으로, 저계수 행렬 생성부(100)는 주파수 변환된 행렬
Figure pat00026
에 대해 움직이지 않는 영역을 필터링하기 위해 필터링부(120)가 생성한 행렬 EM ,N을 곱해준다.
필터링 행렬인 EM ,N은 움직이지 않는 영역인 저주파 영역, 즉 상술한 도 3의 예를 참조하면 각 프레임마다 일정한 패턴을 형성하는 세로 패턴 영역을 필터링하여 제거하는 역할을 한다. 필터링 행렬인 EM ,N 행렬은 다음과 같은 [수학식 5]로 나타낼 수 있다.
[수학식 5]
Figure pat00027
[수학식 5]에서 알 수 있듯이, EM ,N 은 M개의 구성요소가 0이고, 나머지 N-M개의 구성요소가 1인 전체 행렬에 대한 대각 행렬을 취한 값을 필터링 매트릭스로 취한다. M은 필터링 대역폭 Δw를 뜻한다. M= Δw를 이용해서, EM ,N- 에 행렬
Figure pat00028
를 곱합으로써 낮은 M 주파수 성분을 필터링할 수 있다.
저계수 행렬 L에서 필터링 행렬인 EM ,N 행렬은 연산 시간의 단축에 가장 크게 기여를 하는 부분이다. EM ,N 행렬의 특성 중 계수의 수를 줄이는 역할을 하는 필터링 대역폭(filtering bandwidth) Δw 에 따라서 본 발명의 움직임 검출 방법의 연산 시간 및 성능이 달라지게 된다.
본 발명의 일 실시예에서, 필터링부(120)는 움직이지 않는 영역을 제외하기 위한 저주파 필터링를 위해, 첫번째 및 두번째 주파수 구성성분을 0으로 둘 수 있다. 첫번째 및 두번째 주파수 구성성분을 0으로 두는 경우,
Figure pat00029
벡터에서 배경의 일정한 값과 미소한 크기의 변화량을 제거할 수 있다. 본 발명의 일 실시예에서 움직임 검출 시스템은 움직임 영역을 검출하기 위해 대역폭이 Δw=2 인 필터링 행렬 EM,N을 선택할 수 있다.
계속하여, M =Δw =2 인 경우를 상정하면, 저계수 행렬 L은 원래 행렬의 계수인 N보다 작은 N-2가 계수가 되고, 중심 대칭 행렬(centro symmetric matrix)가 된다. 결론적으로, 상술한 바와 같이 원래의
Figure pat00030
행렬에 대해 이산 코사인 변환, 대역폭을 2로 하는 필터링, 이산 코사인 역변환을 동시에 행렬의 곱으로 처리할 수 있다.
보다 상세하게는, M=2인 경우는 필터 대역폭(filtering bandwidth)인 Δw=2인 경우로써, 중심 대칭성이 생기게 되므로 저계수 행렬 L 내에 중복되는 계수들이 발생하게 된다. 따라서 계산의 복잡도를 감소시키기 위해, 저계수 행렬 L의 계수를 공유하는 벡터 요소들을 묶어 계산함으로써 행렬곱의 연산을 줄일 수 있다. Δw=2로 설정한 경우, 이 과정은 [수학식 6]과 같이 나타낼 수 있다.
[수학식 6]
Figure pat00031
[수학식 6]에서,
Figure pat00032
는 행렬
Figure pat00033
에서 대역폭 Δw=2로 설정하여 저주파 성분을 필터링한 행렬이다.
본 발명의 일 실시예에서, 주파수 영역 변환 방법으로 이산 코사인 변환을 이용한 경우 시간 영역 변환부(130)는 역 이산 코사인 변환을 이용하여 시간 영역 변환 행렬 DN T를 생성할 수 있으며, 움직임 검출 결과는 아래의 [수학식 7]과 같이 표현할 수 있다.
[수학식 7]
Figure pat00034
따라서, [수학식 6], [수학식 7]을 이용하여 본 발명의 일 실시예에서 Δw=2일 때 전체 움직임 검출 방법은 아래의 [수학식 8]과 같이 표현될 수 있다.
[수학식 8]
Figure pat00035
[수학식 8]에서 알 수 있는 바와 같이, 저계수 행렬 L은 미리 계산된 값을 가지는
Figure pat00036
로 표현될 수 있다. 즉,
Figure pat00037
에 저계수 행렬 L을 곱함으로써 움직임이 검출된 결과인
Figure pat00038
행렬을 얻을 수 있다.
부연하면, Δw=2인 경우 저계수 행렬 L은 그 계수가 N-2이므로, 중심 대칭성(centro-symmetric)을 갖는다. 중심 대칭 행렬인 저계수 행렬 L은 계수가 중복되고, {dij=dji} 및 {dij=d(N-j+1)(N-i+1)} 을 만족한다. 따라서, 상술한 바와 같이, 본 발명의 움직임 검출 시스템은 같은 계수들을 묶어서 계산함으로써 연산 속도를 높일 수 있다.
고정 소수점 구현부(140)는 저계수 행렬 L이 부동 소수점 값을 가지는 경우 계산 복잡도가 증가할 위험이 있으므로, 저계수 행렬 L을 고정 소수점(fixed point)을 사용하여 계산할 수 있도록 하는 역할을 한다.
저주파 성분을 필터링하는 필터링 행렬 EM ,N 행렬의 곱이 포함된 저계수 행렬 L에는 이상적인 필터(ideal filter)가 포함되어 있으며, 동적 소수점 값을 포함하고 있다.
고정 소수점 구현부(140)는 정수 형태의 계산 값만을 가지고 연산하여 계산의 복잡성을 감소시킬 수 있도록 하기 위하여, 저계수 행렬 L에 고정 소수점 숫자만을 포함하도록 행렬을 변환시킬 수 있다. 고정 소수점 구현부(140)는 먼저 크기 변환, 즉 스케일링(scaling)을 통해 부동 소수점 숫자를 고정 소수점 숫자로 변환한다.
고정 소수점 구현부(140)가 저계수 행렬 L 내의 부동 소수점을 고정 소수점으로 근사화하는 절차는 업 스케일링(up scaling), 양자화(quantization), 변환의 계산 및 다운 스케일링(down scaling)으로 구성될 수 있다. 오버플로우를 방지하기 위해, 고정 소수점 구현부(140)는 아래의 [수학식 6]과 같은 스케일링 수준(level)을 정할 수 있다.
[수학식 9]
Figure pat00039
[수학식 9]에서, B는 운영체제 및 시스템 아키텍쳐(개인용 컴퓨터에서 사용되는 32비트 혹은 64비트)에 의해 결정되는 데이터 버스 비트(data bus bit)의 개수이다. 또한, N은
Figure pat00040
의 벡터 사이즈로서, 원래 행렬의 계수이다. 본 발명의 일 실시예에서, 픽셀의 강도의 최대값은 255로 설정할 수 있다. 업스케일링 및 다운스케일링은 모두 시프트 연산자(shift operator)에 의해 구현될 수도 있지만, 계산의 효율성을 위해 시프트 연산자 대신에 2를 곱하는 것으로 업스케일링 및 다운스케일링이 구현될 수도 있다.
고정 소수점 구현부(140)가 저계수 행렬 L의 숫자를 업스케일링하여 고정 소수점 숫자로 변환된 결과를
Figure pat00041
이라 하면,
Figure pat00042
은 다음과 같은 [수학식 10]으로 표현될 수 있다.
[수학식 10]
Figure pat00043
[수학식 10]에서 보는 바와 같이,
Figure pat00044
은 원래의 저계수 행렬 L에 2의 [수학식 10]에서 구한 level 승만큼을 한 값과 엘레먼트 와이즈(element-wise) 곱을 한 결과를 반올림한 값이다.
Figure pat00045
는 엘레먼트 와이즈 곱(element-wise multiplier) 연산자로서, 행렬의 크기에 상관없이 모든 요소에 대해 같은 연산을 행한다.
계산의 효율성을 위해 고정 소수점 숫자들로만 구성된
Figure pat00046
을 원래의 저계수 행렬 L에 대체하여 사용할 수 있지만,
Figure pat00047
는 스케일(scale) 문제로 인해
Figure pat00048
와 행렬 연산이 불가능한 문제점이 있다. 따라서, 아래의 [수학식 11]과 같이
Figure pat00049
의 계산값을 근사해주는 단계가 필요하다.
[수학식 11]
Figure pat00050
고정 소수점 구현부(140)가 도출한
Figure pat00051
를 이용하여, 위와 같은 과정을 통해 움직임만을 검출한 행렬인
Figure pat00052
를 계산의 복잡도를 줄여 구할 수 있다.
도 6는 일반적인 상이한 필터링 대역폭에 따른 움직임 검출 결과를 나타낸 시뮬레이션 결과이다.
도 6을 참조하면, N by N 행렬에서 주어질 수 있는 Δw 에 따라 움직임이 검출되는 정도가 다름을 알 수 있다. 도 6를 참조하면, N이 5인 경우 Δw는 1 또는 3이 될 수 있고, 이에 따라 Δw=1 인 경우는 화상의 경계(edge) 부분을 검출할 수는 있지만 움직임을 거의 검출하지 못하며, Δw=3 인 경우 움직임 영역을 검출할 수 있는 것을 알 수 있다. N=5인 경우와 마찬가지로, N=11일 때와 N=25일 때를 살펴보면, 대역폭이 행렬의 크기에 비해 너무 작으면 움직임 정보를 제외한 잡음 정보가 함께 추출되는 것을 알 수 있다. 또한, Δw 가 행렬의 크기에 비해 큰 경우에는 움직임 영역의 정보도 함께 사라짐을 알 수 있다.
또한, N=11인 경우와 N=25인 경우에서 Δw 가 큰 경우에는 ringing effect를 발생시켜 움직이는 영역이 뚜렷하지 않은 문제점이 있다. 참고로, 도 6의 결과에서는 Δw =3인 경우 가장 검출의 우수성이 좋다는 것을 알 수 있다. 도 6과 같은 상이한 필터링 대역폭에 따른 움직임 검출결과는 본 발명의 움직임 검출 시스템에도 적용될 수 있다. 도 6은 푸리에 변환법을 기반으로 한 결과이며, 도 6에서 Δw=3인 경우는 본 발명의 일 실시예인 이산 코사인 변환법을 사용한 경우의 Δw=2인 경우와 일치한다.
상술한 바와 같이, 이산 코사인 변환법을 사용한 경우 Δw=2 인 경우에는 중심 대칭이라는 특성이 생기게 된다. 이로 인해, 저계수 행렬 L 내에 중복되는 계수들이 발생하게 되므로,
Figure pat00053
의 계수를 공유하는 벡터 요소들을 묶어서 계산함으로써 연산의 복잡도를 경감시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 이산 코사인 변환을 이용하여 움직임을 검출한 결과와 빠른 푸리에 변환법(Fast Fourier Transform)을 이용하여 움직임을 검출한 결과를 비교하는 도면이다.
도 7을 참조하면, (a)는 입력 화상이고, (b) 및 (c)는 (a) 화상에서 움직임을 추출한 결과이다. 도 7에서 보는 바와 같이, 빠른 푸리에 변환법을 사용하여 검출한 화상에는 링잉 효과(ringing effect)가 발생하는 것을 알 수 있다. 그에 반해 이산 코사인 변환을 이용한 본 발명의 움직임 검출 시스템을 사용한 (b)에서는 링잉 효과가 줄어든 것을 알 수 있다.
도 8은 타 방법 및 본 발명의 일 실시예에 따라 고정된 노출값에서 움직임을 검출한 결과를 나타낸 도면이다.
도 8을 참조하면, 제일 왼쪽의 (a)의 두개의 그림은 움직이고 있는 입력 화상을 나타낸 것이고, (b)는 기존의 temporal difference 방법을 이용해 움직임을 검출한 결과이고, (c)는 기존의 background substraction 방법을 이용해 움직임을 검출한 결과이고, (d)는 본 발명의 움직임 검출 시스템에 따라 움직임을 검출한 결과이다.
도 8에서 (b)는 효과적으로 움직임을 검출하지만, 조명이 어두운 때에는 링잉 효과를 발생시키는 문제점이 있다. 또한, (c)는 조명이 밝을 때 움직임을 검출해내지 못하지만, 본 발명의 움직임 검출 시스템에 따른 정보를 사전 정보로 활용한 (d)는 효과적으로 움직임을 검출하고 있는 것을 알 수 있다.
도 9는 타 방법 및 본 발명의 일 실시예에 따라 자동 노출값에서 움직임을 검출한 결과를 나타낸 도면이다.
도 9는 도 8과 마찬가지로, (a)의 입력 화상에 대하여 (b), (c)에서 기존의 움직임 검출 방법을 이용한 움직임 검출 결과를 나타내고 있고, (d)에서 본 발명의 움직임 검출 방법을 사전 정보로 사용하여 기존의 검출 방법의 성능을 높인 결과를 나타내고 있다
도 10은 본 발명의 움직임 검출 시스템을 사용하여 움직임을 검출한 그래프 컷(graph cut) 결과를 나타내는 도면이다.
도 10을 참조하면, 도 8의 입력 화상인 (a)와 도 9의 입력 화상인 (c)에서 움직이지 않는 배경 영역을 제외한 움직이는 사람의 모습만이 출력된 결과가 (b) 및 (d)에 출력된 것을 알 수 있다. 본 발명의 움직임 검출 시스템을 사용하면 도 10와 같이 움직임 영역만을 정확하고 빠른 연산속도로 획득할 수 있다.
도 11은 본 발명의 일 실시예에 따라 저계수 행렬을 사용하여 움직임을 검출하는 단계를 나타내는 순서도이다.
도 11을 참조하면, 먼저 카메라로부터 움직임 영상을 검출하고자 하는 동화상을 입력받는다(S11).
다음으로, 영상-행렬 변환부는 카메라로부터 얻은 동화상의 최근 N개의 프레임 영상으로부터 각 픽셀값의 변화을 추출하고, 추출된 픽셀값의 변화를 원소(element)로 하는 시간 영역 행렬을 생성한다(S12).
다음으로, 저계수 행렬 적용부는 시간 영역 행렬에 저계수 행렬 생성부가 생성한 저계수 행렬을 곱하여 움직임 행렬을 생성한다(S13).
다음으로, 움직임 영상 획득부는 저계수 행렬이 곱해진 행렬을 영상으로 복원하기 위해, 움직임 행렬의 원소를 픽셀값의 변화로 하는 영상을 획득한다(S14).
마지막으로, 움직임 영상 획득부는 연속되는 프레임 영상에 S11 내지 S14 단계를 반복 적용하여 움직임만을 나타내는 영상을 출력한다(S15).
도 12는 본 발명의 일 실시예에 따라 저계수 행렬을 획득하는 과정을 나타낸 순서도이다.
도 12를 참조하면, 먼저 주파수 영역 변환부는 시간 영역의 행렬을 주파수 영역의 행렬로 변환하는 주파수 영역 변환 행렬을 생성한다. 본 발명의 일 실시예에서, 주파수 영역 변환 행렬은 이산 코사인 변환 행렬 DN일 수 있다(S21).
다음으로, 필터링부는 계수의 크기가 대역폭 ?w이고 저주파 영역을 필터링하는 필터링 행렬을 생성한다(S22).
다음으로, 시간 영역 변환부는 주파수 영역의 행렬을 시간 영역의 행렬로 되돌리는 시간 영역 변환 행렬을 생성한다. 본 발명의 일 실시예에서, 시간 영역 변환 행렬은 역 이산 코사인 변환 행렬 DN -T 일 수 있다(S23).
마지막으로, 저계수 행렬 생성부는 주파수 영역 변환 행렬, 필터링 행렬, 시간 영역 변환 행렬을 곱한 저계수 행렬을 생성한다. 상술한 대로, 생성된 저계수 행렬은 모든 픽셀에 대하여 적용될 수 있다(S24).
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 카메라
20: 영상 전처리부
30: 영상-행렬 변환부
40: 저계수 행렬 적용부
50: 움직임 영상 획득부
100: 저계수 행렬 생성부
110: 주파수 영역 변환부
120: 필터링부
130: 시간 영역 변환부
140: 고정 소수점 구현부

Claims (26)

  1. 연속된 N개 프레임의 동화상에서, 픽셀값의 변화에 대응하는 벡터를 원소(element)로 하는 시간 영역 행렬을 생성하는 단계;
    상기 시간 영역 행렬에 연산 행렬을 곱하여 저주파 영역이 제거된 움직임 행렬을 생성하는 단계;
    상기 움직임 행렬의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성하는 단계;
    를 포함하는 움직임 검출 방법.
  2. 제1항에 있어서,
    상기 연산 행렬은 상기 시간 영역 행렬을 주파수 영역으로 변환한 후 저주파 영역을 필터링하고, 다시 시간 영역으로 복원하는 역할을 하는 행렬로, 상기 시간 영역에 곱해지기 전에 미리 계산된 행렬인 것을 특징으로 하는 움직임 검출 방법.
  3. 제1항에 있어서,
    상기 연산 행렬은 중심 대칭성을 가지는 것을 특징으로 하는 움직임 검출 방법.
  4. 제1항에 있어서,
    상기 연산 행렬의 원소는 고정 소수점(fixed point)을 가지는 것을 특징으로 하는 움직임 검출 방법.
  5. 연속된 N개 프레임의 화상에서, 픽셀값의 변화에 대응하는 벡터를 원소(element)로 하는 시간 영역 행렬을 생성하는 영상-행렬 변환부;
    상기 시간 영역 행렬에 연산 행렬을 곱하여 저주파 영역이 제거된 움직임 행렬을 생성하는 연산 행렬 적용부;
    상기 움직임 행렬의 원소인 벡터들을 픽셀값의 변화로 하는 연속된 프레임의 화상을 생성하는 움직임 영상 획득부;
    를 포함하는 움직임 검출 시스템.
  6. 제5항에 있어서,
    상기 연산 행렬은 상기 시간 영역 행렬을 주파수 영역으로 변환한 후 저주파 영역을 필터링하고, 다시 시간 영역으로 복원하는 역할을 하는 행렬로, 상기 시간 영역에 곱해지기 전에 미리 계산된 행렬인 것을 특징으로 하는 움직임 검출 시스템.
  7. 제5항에 있어서,
    상기 연산 행렬은 중심 대칭성을 가지는 것을 특징으로 하는 움직임 검출 시스템.
  8. 제5항에 있어서,
    상기 연산 행렬의 원소는 고정 소수점(fixed point)을 가지는 것을 특징으로 하는 움직임 검출 시스템.
  9. 동화상에 있어서, 특정 위치의 픽셀값의 변화로 구성되는 시간 영역의 행렬을 주파수 영역의 행렬로 변환하는 주파수 영역 변환 행렬을 생성하는 단계;
    상기 동화상의 저주파 성분을 필터링하는 필터링 행렬을 생성하는 단계;
    상기 주파수 영역의 행렬을 다시 시간 영역의 행렬로 변환하는 시간 영역 변환 행렬을 생성하는 단계;
    생성된 상기 주파수 영역 변환 행렬, 상기 필터링 행렬, 상기 시간 영역 변환 행렬을 곱하여 연산 행렬을 생성하는 단계;
    를 포함하는 움직임 검출 방법.
  10. 제9항에 있어서,
    상기 연산 행렬을 동화상의 픽셀값의 변화에 대한 벡터를 원소로 하는 시간 영역 행렬에 곱하는 단계;
    를 더 포함하는 움직임 검출 방법.
  11. 제9항에 있어서,
    상기 주파수 영역 변환 행렬의 계수는 상기 픽셀값의 변화를 추출한 동화상의 프레임의 수와 일치하는 것을 특징으로 하는 움직임 검출 방법.
  12. 제9항에 있어서,
    상기 주파수 영역 변환 행렬을 DN, 상기 필터링 행렬을 EM ,N, 상기 시간 영역 변환 행렬을 DN T이라고 할 때, 상기 연산 행렬 L은,
    Figure pat00054

    (N은 상기 프레임의 수, M은 상기 필터링 행렬의 대역폭)
    로 나타낼 수 있는 것을 특징으로 하는 움직임 검출 방법.
  13. 제9항에 있어서,
    상기 연산 행렬의 계수는, 상기 주파수 영역 변환 행렬의 계수에서 상기 필터링 행렬의 계수를 뺀 값인 것을 특징으로 하는 움직임 검출 방법.
  14. 제9항에 있어서,
    상기 연산 행렬 L은 중심 대칭성을 가지는 것을 특징으로 하는 움직임 검출 방법.
  15. 제9항에 있어서,
    상기 연산 행렬의 원소들은 고정 소수점(fixed point)을 가지는 것을 특징으로 하는 움직임 검출 방법.
  16. 제9항에 있어서,
    상기 주파수 영역 변환 행렬은, 이산 코사인 변환(discrete cosine transform)법을 사용한 행렬인 것을 특징으로 하는 움직임 검출 방법.
  17. 제9항에 있어서,
    상기 필터링 행렬을 EM ,N이라 하고, M은 상기 필터링 행렬의 대역폭, N은 상기 프레임의 수라 할 때, EM ,N은
    Figure pat00055

    와 같이 나타낼 수 있는 것을 특징으로 하는 움직임 검출 방법.
  18. 동화상에 있어서, 특정 위치의 픽셀값의 변화로 구성되는 시간 영역의 행렬을 주파수 영역의 행렬로 변환하는 주파수 영역 변환 행렬을 생성하는 주파수 영역 변환부;
    상기 동화상의 저주파 성분을 필터링하는 필터링 행렬을 생성하는 필터링부;
    상기 주파수 영역의 행렬을 다시 시간 영역의 행렬로 변환하는 시간 영역 변환 행렬을 생성하는 시간 영역 변환부;
    생성된 상기 주파수 영역 변환 행렬, 상기 필터링 행렬, 상기 시간 영역 변환 행렬을 곱하여 연산 행렬을 생성하는 연산 행렬 생성부;
    를 포함하는 움직임 검출 시스템.
  19. 제18항에 있어서,
    상기 연산 행렬을 동화상의 픽셀값의 변화에 대한 벡터를 원소로 하는 시간 영역 행렬에 곱하는 연산 행렬 적용부;
    를 더 포함하는 움직임 검출 시스템.
  20. 제18항에 있어서,
    상기 주파수 영역 변환 행렬의 계수는 상기 픽셀값의 변화를 추출한 동화상의 프레임의 수와 일치하는 것을 특징으로 하는 움직임 검출 시스템.
  21. 제18항에 있어서,
    상기 주파수 영역 변환 행렬을 DN, 상기 필터링 행렬을 EM ,N, 상기 시간 영역 변환 행렬을 DN T이라고 할 때, 상기 연산 행렬 L은,
    Figure pat00056

    (N은 상기 프레임의 수, M은 상기 필터링 행렬의 대역폭)
    로 나타낼 수 있는 것을 특징으로 하는 움직임 검출 시스템.
  22. 제18항에 있어서,
    상기 연산 행렬의 계수는, 상기 주파수 영역 변환 행렬의 계수에서 상기 필터링 행렬의 계수를 뺀 값인 것을 특징으로 하는 움직임 검출 시스템.
  23. 제18항에 있어서,
    상기 연산 행렬 L은 중심 대칭성을 가지는 것을 특징으로 하는 움직임 검출 시스템.
  24. 제18항에 있어서,
    상기 연산 행렬의 원소들은 고정 소수점(fixed point)을 가지는 것을 특징으로 하는 움직임 검출 시스템.
  25. 제18항에 있어서,
    상기 주파수 영역 변환 행렬은, 이산 코사인 변환(discrete cosine transform)법을 사용한 행렬인 것을 특징으로 하는 움직임 검출 시스템.
  26. 제18항에 있어서,
    상기 필터링 행렬을 EM ,N이라 하고, M은 상기 필터링 행렬의 대역폭, N은 상기 프레임의 수라 할 때, EM ,N은
    Figure pat00057

    와 같이 나타낼 수 있는 것을 특징으로 하는 움직임 검출 시스템.
KR1020120048314A 2012-05-07 2012-05-07 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법 KR101695247B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120048314A KR101695247B1 (ko) 2012-05-07 2012-05-07 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법
US13/760,578 US9111359B2 (en) 2012-05-07 2013-02-06 Method and system for detecting matrix-based motion including frequency transform and filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120048314A KR101695247B1 (ko) 2012-05-07 2012-05-07 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130127026A true KR20130127026A (ko) 2013-11-22
KR101695247B1 KR101695247B1 (ko) 2017-01-12

Family

ID=49512548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120048314A KR101695247B1 (ko) 2012-05-07 2012-05-07 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법

Country Status (2)

Country Link
US (1) US9111359B2 (ko)
KR (1) KR101695247B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413963B2 (en) 2014-05-30 2016-08-09 Apple Inc. Video image stabilization
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
CN104657938B (zh) * 2015-02-03 2016-04-20 中国人民解放军国防科学技术大学 一种基于低秩约束的车牌校正算法
US10292369B1 (en) * 2015-06-30 2019-05-21 Vium, Inc. Non-contact detection of physiological characteristics of experimental animals
CN105203045B (zh) * 2015-07-02 2018-07-06 天津师范大学 一种基于异步时域视觉传感器的产品形状完整性检测系统及检查方法
US9787902B1 (en) 2016-06-10 2017-10-10 Apple Inc. Video image stabilization with enforced stabilization constraints
JP6750183B2 (ja) * 2016-09-01 2020-09-02 公立大学法人会津大学 画像距離算出装置、画像距離算出方法および画像距離算出用プログラム
WO2018043437A1 (ja) * 2016-09-01 2018-03-08 公立大学法人会津大学 画像距離算出装置および画像距離算出用プログラムを記録したコンピュータ読み取り可能な非一過性の記録媒体
CN107292855B (zh) * 2017-08-02 2020-08-07 桂林电子科技大学 一种结合自适应非局部样本和低秩的图像去噪方法
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
CN111833275A (zh) * 2020-07-20 2020-10-27 山东师范大学 一种基于低秩分析的图像去噪方法
CN115797335B (zh) * 2023-01-31 2023-05-09 武汉地震工程研究院有限公司 用于桥梁振动测量的欧拉运动放大效果评估及优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015744A (ja) * 2002-06-11 2004-01-15 Hitachi Ltd 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
JP4526529B2 (ja) * 1997-02-27 2010-08-18 パナソニック株式会社 階層画像を用いる映像信号変換装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3901287B2 (ja) 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
KR100567754B1 (ko) 2003-02-11 2006-04-04 주식회사 씬멀티미디어 이산 코사인 변환장치 및 방법
CN1886759A (zh) * 2003-11-24 2006-12-27 皇家飞利浦电子股份有限公司 对视频信号中的局部视觉时空细节的检测
KR100560101B1 (ko) 2003-12-23 2006-03-13 한국과학기술원 블록 이산코사인변환 도메인에서의 임의의 영상 크기 변환방법
KR100723411B1 (ko) 2005-09-08 2007-05-30 삼성전자주식회사 멀티 코덱용 변환 장치 및 방법과 멀티 코덱용 역변환 장치및 방법
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
US8170278B2 (en) * 2008-08-06 2012-05-01 Sri International System and method for detecting and tracking an object of interest in spatio-temporal space
US8355079B2 (en) * 2009-02-10 2013-01-15 Thomson Licensing Temporally consistent caption detection on videos using a 3D spatiotemporal method
US8855213B2 (en) * 2009-03-26 2014-10-07 Apple Inc. Restore filter for restoring preprocessed video image
US8335350B2 (en) * 2011-02-24 2012-12-18 Eastman Kodak Company Extracting motion information from digital video sequences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4526529B2 (ja) * 1997-02-27 2010-08-18 パナソニック株式会社 階層画像を用いる映像信号変換装置
JP2004015744A (ja) * 2002-06-11 2004-01-15 Hitachi Ltd 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法

Also Published As

Publication number Publication date
US20130294655A1 (en) 2013-11-07
KR101695247B1 (ko) 2017-01-12
US9111359B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
KR20130127026A (ko) 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법
US5325449A (en) Method for fusing images and apparatus therefor
Chandel et al. Image filtering algorithms and techniques: A review
EP2164040B1 (en) System and method for high quality image and video upscaling
US20150063717A1 (en) System and method for spatio temporal video image enhancement
WO2014074138A1 (en) Globally dominant point spread function estimation
JP5027757B2 (ja) 動画像雑音除去装置、その方法およびそのプログラム
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
KR20090013522A (ko) 링잉 아티펙트없는 블러 제거 방법
JP5404580B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体
CN110958363A (zh) 图像处理方法及装置、计算机可读介质和电子设备
KR20160038683A (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
Goto et al. Super-resolution for high-resolution displays
Prakash et al. Color image demosaicing using sparse based radial basis function network
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
RU2718429C1 (ru) Устройство обнаружения локально-стационарных областей на изображении
Choudhary et al. A novel approach for edge detection for blurry images by using digital image processing
Lakshman et al. Image interpolation using shearlet based sparsity priors
Baraiya et al. An introduction of image fusion techniques
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
JP5091880B2 (ja) 動画像ノイズ除去装置および動画像ノイズ除去プログラム
Li et al. Recursive low-rank and sparse recovery of surveillance video using compressed sensing
Sadaka et al. Super-resolution using a wavelet-based adaptive wiener filter
Wu et al. DRVI: Dual refinement for video interpolation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4