KR101583787B1 - 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR101583787B1
KR101583787B1 KR1020140086649A KR20140086649A KR101583787B1 KR 101583787 B1 KR101583787 B1 KR 101583787B1 KR 1020140086649 A KR1020140086649 A KR 1020140086649A KR 20140086649 A KR20140086649 A KR 20140086649A KR 101583787 B1 KR101583787 B1 KR 101583787B1
Authority
KR
South Korea
Prior art keywords
image
gaussian
laplacian
component
matrix
Prior art date
Application number
KR1020140086649A
Other languages
English (en)
Inventor
정순기
오선호
샤지드 쟈베드
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140086649A priority Critical patent/KR101583787B1/ko
Application granted granted Critical
Publication of KR101583787B1 publication Critical patent/KR101583787B1/ko

Links

Images

Abstract

영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법은, 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하는 단계; 상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis)을 이용하여 배경을 모델링하는 단계; 및 상기 배경을 모델링한 각각의 성분으로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계를 포함한다. 이에 따라, 전경 검출 프로세스의 계산 속도를 향상시키는 동시에 정확한 전경을 검출할 수 있다.

Description

영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD OF FOREGROUND DETECTION USING IMAGE DECOMPOSITION AND ONLINE ROBUST PRINCIPAL COMPONENT ANALYSIS, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}

본 발명은 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.

배경 차분(Background subtraction) 또는 전경 검출(Foreground detection)은 많은 컴퓨터 비전 어플리케이션에서 중요한 전처리 공정 중 하나이다. 전형적으로, 배경 차분 프로세스는 모션 캡쳐, 물체 추적 및 증강 현실과 같은 다른 어플리케이션뿐만 아니라 자동화된 비전 감지 시스템에서 첫 번째 스테이지를 형성한다.

동영상에서 배경 차분의 문제를 처리하기 위해 많은 알고리즘들이 개발되고 있다. 최근 몇 년 동안에는, 강건한 주성분 분석(Robust Principal Component Analysis, 이하 RPCA)이 배경 차분을 위해 사용되고 있다. RPCA는 원본 데이터 행렬 A를 저 차원(low-dimensional) 부분공간(subspace)을 나타내는 저행렬계수(low-rank) 행렬 L과 희소 아웃라이어(sparse outliers) 행렬 S로 분해한다.

RPCA 기반의 접근 방법은 배경 모델링을 위한 좋은 프레임 워크를 제공하고 있지만, 현재 두 가지의 주요 어려움에 직면하고 있다. 종래의 RPCA 기반의 접근 방식은 예를 들면, 저행렬계수 성분과 희소(sparse) 성분들을 분해하기 위해 일괄처리 최적화(batch optimization)를 사용하는데, 이를 위해 많은 샘플들을 저장하는 것이 요구된다. 또한, 새로운 학습 자료가 추가되면 다시 최적화를 수행하여야 한다.

따라서, 높은 메모리 비용과 컴퓨팅의 복잡성에 따른 계산의 지연 문제가 발생하며, 이에 따라 실시간 시스템에 적용하기 어려운 문제점이 있다.

KR 10-2012-0076122 A JP 2009-31939 A KR 10-2011-0109595 A

이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 고정된 카메라로부터 입력되는 연속 영상으로부터 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.

본 발명의 또 다른 목적은 상기 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법을 수행하기 위한 장치를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법은, 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하는 단계; 상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis)을 이용하여 배경을 모델링하는 단계; 및 상기 배경을 모델링한 각각의 성분으로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계를 포함한다.

본 발명의 실시예에서, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계는, 제1 편차와 제1 필터 사이즈를 갖는 제1 가우시안 커널을 이용하여 제1 가우시안 영상을 획득하는 단계; 및 제2 편차와 제2 필터 사이즈를 갖는 제2 가우시안 커널을 이용하여 제2 가우시안 영상을 획득하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 제1 편차와 상기 제2 편차는 동일한 값을 가질 수 있다.

본 발명의 실시예에서, 상기 제1 필터 사이즈와 상기 제2 필터 사이즈는 다른 값을 가질 수 있다.

본 발명의 실시예에서, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계는, 상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득하는 단계를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는, 상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분 및 제1 희소(sparse) 성분을 획득하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는, 상기 라플라시안 영상의 제2 저행렬계수 성분 및 제2 희소 성분을 획득하는 단계를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 배경을 모델링한 각각의 성분으로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계는, 상기 제1 저행렬계수 성분과 제2 저행렬계수 성분을 통합하는 단계; 및 상기 제1 희소 성분과 제2 희소 성분을 통합하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는, 아래의 수학식을 이용할 수 있다.

Figure 112014064903562-pat00001

여기서, Z는 입력 데이터, L은 기저(basis) 행렬, R은 계수(coefficient) 행렬, E는 희소 오차 행렬을 나타내며, λ1는 저행렬계수 행렬의 기저와 계수를 제어하고, λ2는 희소 패턴(sparsity pattern)을 제어한다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 전술한 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.

상기한 본 발명의 또 다른 목적을 실현하기 위한 일 실시예에 따른 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 장치는, 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하는 분해부; 상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis)을 이용하여 배경을 모델링하는 배경 모델링부; 및 상기 배경을 모델링한 각각의 성분으로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 통합부를 포함한다.

본 발명의 실시예에서, 상기 분해부는, 제1 가우시안 영상을 획득하기 위해 제1 편차와 제1 필터 사이즈를 갖는 제1 가우시안 커널부; 및 제2 가우시안 영상을 획득하기 위해 제2 편차와 제2 필터 사이즈를 갖는 제2 가우시안 커널부를 포함할 수 있다.

본 발명의 실시예에서, 상기 제1 편차와 상기 제2 편차는 동일한 값을 가질 수 있다.

본 발명의 실시예에서, 상기 제1 필터 사이즈와 상기 제2 필터 사이즈는 다른 값을 가질 수 있다.

본 발명의 실시예에서, 상기 분해부는, 상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득하는 감산부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 배경 모델링부는, 상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분을 획득하는 제1 저행렬계수부; 및 상기 라플라시안 영상의 제2 저행렬계수 성분을 획득하는 제2 저행렬계수부를 포함할 수 있다.

본 발명의 실시예에서, 상기 배경 모델링부는, 상기 제2 가우시안 영상의 제1 희소(sparse) 성분을 획득하는 제1 희소부; 및 상기 라플라시안 영상의 제2 희소 성분을 획득하는 제2 희소부를 더 포함할 수 있다.

본 발명의 실시예에서, 상기 통합부는, 상기 제1 저행렬계수(low-rank) 성분과 제2 저행렬계수 성분을 통합하고, 상기 제1 희소 성분과 제2 희소 성분을 통합할 수 있다.

본 발명의 실시예에서, 상기 배경 모델링부는, 아래의 수학식을 이용할 수 있고,

Figure 112014064903562-pat00002

여기서, Z는 입력 데이터, L은 기저(basis) 행렬, R은 계수(coefficient) 행렬, E는 희소 오차 행렬을 나타내며, λ1는 저행렬계수 행렬의 기저와 계수를 제어하고, λ2는 희소 패턴(sparsity pattern)을 제어한다.

본 발명의 실시예에서, 상기 라플라시안 영상은 영상의 경계(edge) 특성을 포함할 수 있다.

이와 같은 본 발명에 따르면, 영상을 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 경계(edge) 등의 장면에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하여 각각에 대하여 배경을 모델링함으로써, 종래 방법에 비하여 잡음에 강건하고 정확한 배경 모델을 얻을 수 있다. 또한, 이러한 분해를 통해 강건한 온라인 주성분 분석을 이용한 배경 모델링에서의 행렬계수(rank)을 줄일 수 있으므로, 그에 따른 계산 속도를 향상 시켜 비전 어플리케이션 등의 실시간 시스템에 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전경 검출 장치의 블록도이다.
도 2는 도 1의 전경 검출 장치에 대한 상세 블록도이다.
도 3는 본 발명의 일 실시예에 따른 전경 검출 방법의 흐름도이다.
도 4 및 도 5는 도 3의 전경 검출 방법에 대한 상세 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 전경 검출 장치의 블록도이다. 도 2는 도 1의 전경 검출 장치에 대한 상세 블록도이다.

본 발명은 비디오 감시 시스템 등에서 중요한 과제를 수행하기 위해 정확하고 효율적인 배경 차분(Background subtraction)(또는, 전경 검출(Foreground detection))을 구현한다. 배경 차분은 객체 검출 및 추적, 모션 캡쳐 등의 기본이 된다. 이러한 배경 차분 과제는 배경 영상이 흔들리거나 물결 현상 및 빛 번짐 등 이상 영상일 때 더욱 중요해진다. 본 발명은 영상 분해를 이용한 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis, 이하 OR-PCA)을 통해 강건한 배경 차분 알고리즘을 수행한다.

도 1을 참조하면, 본 실시예에 따른 전경 검출 장치(10, 이하, 장치)는 분해부(100), 배경 모델링부(300) 및 통합부(500)를 포함한다.

본 발명의 상기 장치(10)는 영상 분해와 OR-PCA를 이용한 전경 검출을 수행하기 위해 구성된 플랫폼(platform)으로서, 컴퓨터 시스템의 기반이 되는 하드웨어 또는 소프트웨어, 응용 프로그램이 실행될 수 있는 기초를 이루는 컴퓨터 시스템일 수 있다. 예를 들어, 상기 장치(10)는 운영체계, 컴퓨터 시스템의 보조 프로그램, 그리고 마이크로프로세서, 논리연산을 수행하고 컴퓨터 내의 데이터 이동을 관장하는 마이크로칩(IC) 등으로 구성될 수 있다.

또는, 전경 검출을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 분해부(100) 등의 구성은 상기 장치(10)에서 실행되는 소프트웨어에 의해 제어될 수 있다.

상기 장치(10)는 별도의 장치이거나 또는 단말기의 일부 모듈일 수 있다. 상기 장치(10)는 고정되거나 이동성을 가질 수 있으며, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.

상기 분해부(100)는 고정된 카메라로부터 입력되는 연속 영상(동영상)을 가우시안(Gaussian) 영상과 라플라시안(Laplacian) 영상으로 분해한다. 상기 고정된 카메라는 보안 시스템, 영상 감시 시스템 등에 적용되는 카메라일 수 있다. 상기 가우시안 영상은 입력 영상의 조명 변화에 대한 정보를 포함하며, 작은 화소 변화의 잡음에 강건하다. 상기 라플라시안 영상은 경계(edge) 등의 장면에 대한 구조 정보를 포함하며, 강건한 경계 특성을 제공한다.

도 2를 참조하면, 상기 분해부(100)는 제1 가우시안 영상을 획득하기 위한 제1 가우시안 커널부(110), 제2 가우시안 영상을 획득하기 위한 제2 가우시안 커널부(130) 및 라플라시안 영상을 획득하기 위한 감산부(150)를 포함할 수 있다.

상기 분해부(100)는 복수의 분리된 공간 가우시안 커널들을 통해 원하는 레벨의 가우시안 영상들로 분해할 수 있다. 특정 화소의 영상을 결정할 때 가중치 행렬을 사용하는데, 이 행렬을 커널(kernel)이라 하고, 가우시안 커널은 개념적으로 주변 색상을 흐릿하게 하고, 좀 더 근점된 색상에 가중치를 적용하여 중앙으로 갈수록 그라데이션된다.

본 실시예에서는 공간적으로 분리된 2개의 가우시안 커널들을 포함하여 2개의 가우시안 영상들로 분해하는 것으로 설명한다. 그러나, 복수의 가우시안 커널들을 이용하여 원하는 레벨의 라플라시안 영상을 획득하기 위해 필요한 만큼의 가우시안 영상들을 생성할 수 있다.

상기 제1 가우시안 커널부(110)는 제1 편차와 제1 필터 사이즈를 가지며, 이를 통해 제1 가우시안 영상을 획득할 수 있다. 예를 들어, 상기 제1 편차(σ)는 2이고, 상기 제1 필터 사이즈는 5

Figure 112014064903562-pat00003
5일 수 있다.

상기 제2 가우시안 커널부(130)는 제2 편차와 제2 필터 사이즈를 가지며, 이를 통해 제2 가우시안 영상을 획득할 수 있다. 예를 들어, 상기 제2 편차(σ)는 상기 제1 편차(σ)와 동일한 값을 가질 수 있고, 상기 제2 필터 사이즈는 10

Figure 112014064903562-pat00004
10로 상기 제1 사이즈와 다를 수 있다. 이에 따라, 상기 제2 가우시안 영상은 상기 제1 가우시안 영상에 비해 흐릿할 수 있다.

상기 감산부(150)는 상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득한다. 가우시안 영상들의 차이는 가우시안의 라플라시안과 거의 동일하므로, 라플라시안 영상은 두 개의 가우시안 영상 차이에서 얻을 수 있다.

차분으로 생성된 영상인 라플라시안 영상에서 '0' 값들을 가지는 화소는 원본 영상과 높은 상관 관계를 가지는 값들이다. 반면에 큰 음수 값이나 양수 값을 가지는 화소는 원본 영상의 윤곽선 부분, 특히 객체(object)와 배경(background) 사이의 경계(edge) 부근의 영역에 해당하는 화소들이다. 즉, 라플라시안 영상에서 각 화소의 정보들은 축소와 확장 과정에서 생긴 차를 가지게 된다.

모든 입력 비디오 프레임은 상기와 같은 방법을 통하여 가우시안 영상과 라플라시안 영상으로 분해된다. 상기 가우시안 영상은 배경 역학에 대해 강건하고, 상기 라플라시안 영상은 작은 화소 변화에 대한 충분한 경계 특성을 제공한다. 따라서, 배경 영역으로부터 오검출(false alarms)을 감소시켜 정확한 배경 검출을 제공할 수 있다.

상기 배경 모델링부(300)는 상기 가우시안 영상과 상기 라플라시안 영상을, 각각 OR-PCA을 이용하여 배경을 모델링한다. 구체적으로, 상기 배경 모델링부(300)는 상기 가우시안 영상과 상기 라플라시안 영상 각각을 OR-PCA을 통해 저행렬계수(low-rank) 성분 및 희소(sparse) 성분으로 분해한다. 여기서, 상기 저행렬계수 성분은 배경 성분에 해당하고, 상기 희소 성분은 전경 성분에 해당한다.

OR-PCA는 연속 영상을 개별 프레임 단위(frame by frame)의 온라인 처리를 통해 빠른 수행 속도를 제공하므로, 실시간 영상 검출 시스템에 적용할 수 있다. OR-PCA는 목적 함수의 놈(norm)을 기저와 계수의 두 개 저행렬계수 행렬의 곱으로 분해한다. 상기 놈은 절대값을 일반화한 개념으로 행렬 또는 벡터의 크기를 재는 척도이다. 이에 따라, OR-PCA는 아래의 수학식 1과 같이 정의된다.

[수학식 1]

Figure 112014064903562-pat00005

여기서, Z는 입력 데이터, L은 기저(basis) 행렬, R은 계수(coefficient) 행렬, E는 희소 오차 행렬을 나타내며, λ1 및 λ2는 영상 분석에 따라 조정되는 각각 저행렬계수 행렬의 기저와 계수를 제어하는 변수, 희소 패턴(sparsity pattern)을 제어하는 변수이다. 상기 기저와 계수는 행렬계수 값에 의존한다.

OR-PCA의 최적화는 두 단계로 구성된 갱신 과정으로 이루어진다. 먼저, 입력 영상은 이전 프레임에서의 기저 행렬 L로 투영하여, 현재 프레임에 대한 계수 행렬 R과 현재 희소 오차 행렬 E를 얻는다. 다음으로, 이전 프레임에서의 기저 행렬 L과 현재 프레임에 대한 계수 행렬 R, 희소 오차 행렬 E를 이용하여 현재 프레임에서의 새로운 기저 행렬 L을 얻는다.

이를 위해서는 최초 수행을 위해 기저 행렬 L의 초기화가 필요하다. 그러나 기저 행렬의 초기화 방법은 OR-PCA에서 고려되지 않으므로, 무작위로 결정될 수 있다. 그러나 이 경우, 알고리즘은 최적해(optimal solution)에 천천히 수렴하고, 또한 배경 모델링을 위한 저행렬계수 성분 및 희소 오차 성분의 정확도에 영향을 미친다.

시간 복잡도 및 정확도를 개선하기 위하여 본 발명에서는 적절한 행렬계수의 선택과 함께 초기 N 연속 영상 프레임들을 이용하여 기저 행렬 L을 초기화한다. 이 때, 행렬계수는 조절 가능한 파라미터이고, 필요에 따라 설정할 수 있다. 본 발명에 의해, OR-PCA는 저 차원 부분공간으로 더욱 빠르게 수렴된다. 저행렬계수 성분 및 희소 오차 성분의 오차 감소하고, 감시 시스템에서 전경의 질을 떨어뜨리지 않으면서도 계산 시간 또한 줄일 수 있다.

상기 배경 모델링부(300)는 OR-PCA 수행부(310)를 통해 상기 제2 가우시안 영상을 제1 저행렬계수(low-rank) 성분과 제1 희소(sparse) 성분으로 분해하고, 상기 라플라시안 영상을 제2 저행렬계수 성분과 제2 희소 성분으로 분해한다.

이를 구조적으로 설명하면, 상기 배경 모델링부(300)는 상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분을 획득하는 제1 저행렬계수부(330) 및 상기 라플라시안 영상의 제2 저행렬계수 성분을 획득하는 제2 저행렬계수부(370)를 포함한다. 또한, 상기 제2 가우시안 영상의 제1 희소(sparse) 성분을 획득하는 제1 희소부(350) 및 상기 라플라시안 영상의 제2 희소 성분을 획득하는 제2 희소부(390)를 포함한다.

상기 통합부(500)는 상기 배경을 모델링한 각각의 성분으로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득한다.

상기 배경 모델링부(300)에서는 OR-PCA에 적용된 후 분해된 각 영상으로부터 저행렬계수 성분과 희소 성분을 획득한다. 이후, 상기 통합부(500)에서 가우시안 영상 및 라플라시안 영상의 저행렬계수 성분들끼리 통합되고, 희소 성분들끼리 통합된다. 다시 말해, 가우시안 영상의 저행렬계수 성분과 라플라시안 영상의 저행렬계수 성분이 통합되고, 가우시안 영상의 희소 성분과 라플라시안 영상의 희소 성분이 통합된다.

OR-PCA의 각기 다르게 설정된 파라미터들이 분해된 각 영상에 적용될 수 있다. 라플라시안 영상을 위한 λ2 및 가우시안 영상을 위한 λ2'는 분해된 각 영상의 충분한 희소 패턴을 획득하기 위해 배경 장면에 따라 선택될 수 있다.

라플라시안 영상은 배경 영상에서 작은 변화를 위한 충분한 경계(edge) 특성을 제공하므로, λ2의 값은 가우시안 영상의 λ2'의 값보다 작아야 한다. 각 영상의 두 성분들의 통합 후에 이진 전경 마스크는 통합된 희소 성분의 경계화에 의해 얻어진다.

따라서, 본 발명에서는 공간적으로 분리된 가우시안 커널들을 통해 연속 영상을 프레임마다 가우시안 영상과 라플라시안 영상으로 분해하고, OR-PCA를 통해 배경을 모델링하므로 배경 차분의 정확도를 향상시키는 동시에 계산 시간을 줄일 수 있다.

도 3는 본 발명의 일 실시예에 따른 전경 검출 방법의 흐름도이다. 도 4 및 도 5는 도 3의 전경 검출 방법에 대한 상세 흐름도이다.

본 실시예에 따른 전경 검출 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또는, 본 실시예에 따른 전경 검출 방법은 전경 검출을 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.

도 3을 참조하면, 본 실시예에 따른 전경 검출 방법은, 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해한다(단계 S100).

상기 고정된 카메라는 보안 시스템, 영상 감시 시스템 등에 적용되는 카메라일 수 있고, 상기 연속 영상은 상기 카메라로 촬영되는 동영상(video)이다. 상기 가우시안 영상은 입력 영상의 조명 변화에 대한 정보를 포함하며, 작은 화소 변화의 잡음에 강건하다. 상기 라플라시안 영상은 경계(edge) 등의 장면에 대한 구조 정보를 포함하며, 강건한 경계 특성을 제공한다,

도 4를 참조하여, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계(단계 S100)를 자세히 설명하면, 제1 편차와 제1 필터 사이즈를 갖는 제1 가우시안 커널을 이용하여 제1 가우시안 영상을 획득하는 단계(단계 S110) 및 제2 편차와 제2 필터 사이즈를 갖는 제2 가우시안 커널을 이용하여 제2 가우시안 영상을 획득하는 단계(단계 S130)를 포함한다.

상기 제1 가우시안 영상을 획득하는 단계(단계 S110)와 상기 제2 가우시안 영상을 획득하는 단계(단계 S130)는 각기 분리된 공간 가우시안 커널을 이용한다. 상기 제1 편차와 상기 제2 편차는 동일한 값을 가질 수 있고, 상기 제1 필터 사이즈와 상기 제2 필터 사이즈는 다른 값을 가질 수 있다.

또한, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계(단계 S100)는 상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득하는 단계(단계 S150)를 더 포함할 수 있다.

입력 영상이 상기 가우시안 영상과 상기 라플라시안 영상으로 분해되면, 상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis, 이하 OR-PCA)을 이용하여 배경을 모델링한다(단계 S300).

OR-PCA는 연속 영상을 프레임 바이 프레임(frame by frame)의 온라인 처리를 통해 빠른 수행 속도를 제공하므로, 실시간 영상 검출 시스템에 적용할 수 있다. OR-PCA는 상기 수학식 1과 같이 정의된다.

도 5를 참조하면, 상기 OR-PCA를 이용하여 배경을 모델링하는 단계(단계 S300)는, 상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분 및 제1 희소(sparse) 성분을 획득하는 단계 및 상기 라플라시안 영상의 제2 저행렬계수 성분 및 제2 희소 성분을 획득하는 단계를 포함한다.

상기 가우시안 영상과 상기 라플라시안 영상이 각각 저행렬계수 성분과 희소 성분 계층으로 분해된 후, 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계(단계 S500)를 포함한다.

구체적으로, 가우시안 영상 및 라플라시안 영상의 저행렬계수 성분들끼리 통합되고, 희소 성분들끼리 통합된다. 여기서, 상기 저행렬계수 성분은 배경 성분에 해당하고, 상기 희소 성분은 전경 성분에 해당하므로, 희소 성분들을 통합한 것이 최종적인 전경 영상이 된다.

이와 같은, 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

본 발명에 따른 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치는 고정 카메라의 입력 영상을 공간적으로 분리된 복수의 가우시안 커널을 이용하여 가우시안(Gaussian) 영상과 라플라시안(Laplacian) 영상으로 분해한 다음, 각 성분에 대하여 강건한 온라인 주성분 분석을 이용하여 배경을 모델링한다. 또한, 각각의 성분에 대하여 배경 모델로부터 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 얻는다. 이로써 전경 검출 프로세스의 계산 시간을 감소시키면서도 정확하게 객체를 검출하고 추적하여 강건한 전경 검출 기술을 확보할 수 있다. 따라서, 영상 감시 시스템, 보안 시스템, 무인 감시 시스템, 지능형 로봇 등 컴퓨터 비전 어플리케이션 분야에 다양하게 적용할 수 있다.

10: 장치 100: 분해부
110: 제1 가우시안 커널부 130: 제2 가우시안 커널부
150: 감산부 300: 배경 모델링부
310: OR-PCA 수행부 330: 제1 저행렬계수부
350: 제1 희소부 370: 제2 저행렬계수부
390: 제2 희소부 500: 통합부

Claims (20)

  1. 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하는 단계;
    상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis)을 이용하여 배경을 모델링하는 단계; 및
    상기 배경을 모델링한 가우시안 영상의 희소 성분과 라플라시안 영상의 희소 성분을 이용하여 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계를 포함하는, 영상의 전경 검출 방법.
  2. 제1항에 있어서, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계는,
    제1 편차와 제1 필터 사이즈를 갖는 제1 가우시안 커널을 이용하여 제1 가우시안 영상을 획득하는 단계; 및
    제2 편차와 제2 필터 사이즈를 갖는 제2 가우시안 커널을 이용하여 제2 가우시안 영상을 획득하는 단계를 포함하는, 영상의 전경 검출 방법.
  3. 제2항에 있어서,
    상기 제1 편차와 상기 제2 편차는 동일한 값을 갖는, 영상의 전경 검출 방법.
  4. 제2항에 있어서,
    상기 제1 필터 사이즈와 상기 제2 필터 사이즈는 다른 값을 갖는, 영상의 전경 검출 방법.
  5. 제2항에 있어서, 상기 가우시안 영상과 상기 라플라시안 영상으로 분해하는 단계는,
    상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득하는 단계를 더 포함하는, 영상의 전경 검출 방법.
  6. 제5항에 있어서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는,
    상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분 및 제1 희소(sparse) 성분을 획득하는 단계를 포함하는, 영상의 전경 검출 방법.
  7. 제6항에 있어서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는,
    상기 라플라시안 영상의 제2 저행렬계수 성분 및 제2 희소 성분을 획득하는 단계를 더 포함하는, 영상의 전경 검출 방법.
  8. 제7항에 있어서, 상기 배경을 모델링한 가우시안 영상의 희소 성분 및 라플라시안 영상의 희소 성분을 이용하여 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 단계는,
    상기 제1 저행렬계수 성분과 제2 저행렬계수 성분을 통합하는 단계; 및
    상기 제1 희소 성분과 제2 희소 성분을 통합하는 단계를 포함하는, 영상의 전경 검출 방법.
  9. 제1항에 있어서, 상기 가우시안 영상과 상기 라플라시안 영상을 각각 강건한 온라인 주성분 분석을 이용하여 배경을 모델링하는 단계는,
    상기 가우시안 영상 및 라플라시안 영상의 이전 프레임에서의 기저 행렬을 투영하여 현재 프레임에 대한 계수 행렬과 희소 오차 행렬을 획득하고, 상기 이전 프레임에서의 기저 행렬, 현재 프레임에 대한 계수 행렬 및 희소 오차 행렬을 이용하여 현재 프레임에서의 새로운 기저 행렬을 획득하여 상기 가우시안 영상 및 라플라시안 영상을 저행렬계수 성분과 희소 성분으로 분해하는, 영상의 전경 검출 방법.
  10. 제1항 내지 제9항 중 어느 하나의 항에 따른 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 고정된 카메라로부터 입력되는 연속 영상을, 공간적으로 분리된 복수의 가우시안 커널(kernel)들을 이용하여 조명 변화에 대한 정보를 포함하는 가우시안(Gaussian) 영상과 영상에 대한 구조 정보를 포함하는 라플라시안(Laplacian) 영상으로 분해하는 분해부;
    상기 가우시안 영상과 상기 라플라시안 영상을, 각각 강건한 온라인 주성분 분석(Online Robust Principal Component Analysis)을 이용하여 배경을 모델링하는 배경 모델링부; 및
    상기 배경을 모델링한 가우시안 영상의 희소 성분 및 라플라시안 영상의 희소 성분을 이용하여 획득한 전경 영상들을 통합하여 최종적인 전경 영상을 획득하는 통합부를 포함하는, 영상의 전경 검출 장치.
  12. 제11항에 있어서, 상기 분해부는,
    제1 가우시안 영상을 획득하기 위해 제1 편차와 제1 필터 사이즈를 갖는 제1 가우시안 커널부; 및
    제2 가우시안 영상을 획득하기 위해 제2 편차와 제2 필터 사이즈를 갖는 제2 가우시안 커널부를 포함하는, 영상의 전경 검출 장치.
  13. 제12항에 있어서,
    상기 제1 편차와 상기 제2 편차는 동일한 값을 갖는, 영상의 전경 검출 장치.
  14. 제12항에 있어서,
    상기 제1 필터 사이즈와 상기 제2 필터 사이즈는 다른 값을 갖는, 영상의 전경 검출 장치.
  15. 제12항에 있어서, 상기 분해부는,
    상기 제2 가우시안 영상과 상기 제1 가우시안 영상의 차로부터 상기 라플라시안 영상을 획득하는 감산부를 더 포함하는, 영상의 전경 검출 장치.
  16. 제15항에 있어서, 상기 배경 모델링부는,
    상기 제2 가우시안 영상의 제1 저행렬계수(low-rank) 성분을 획득하는 제1 저행렬계수부; 및
    상기 라플라시안 영상의 제2 저행렬계수 성분을 획득하는 제2 저행렬계수부를 포함하는, 영상의 전경 검출 장치.
  17. 제16항에 있어서, 상기 배경 모델링부는,
    상기 제2 가우시안 영상의 제1 희소(sparse) 성분을 획득하는 제1 희소부; 및
    상기 라플라시안 영상의 제2 희소 성분을 획득하는 제2 희소부를 더 포함하는, 영상의 전경 검출 장치.
  18. 제17항에 있어서, 상기 통합부는,
    상기 제1 저행렬계수(low-rank) 성분과 제2 저행렬계수 성분을 통합하고, 상기 제1 희소 성분과 제2 희소 성분을 통합하는, 영상의 전경 검출 장치.
  19. 제11항에 있어서, 상기 배경 모델링부는,
    상기 가우시안 영상과 라플라시안 영상의 이전 프레임에서의 기저 행렬을 투영하여 현재 프레임에 대한 계수 행렬과 희소 오차 행렬을 획득하고, 상기 이전 프레임에서의 기저 행렬, 현재 프레임에 대한 계수 행렬 및 희소 오차 행렬을 이용하여 현재 프레임에서의 새로운 기저 행렬을 획득하여 상기 가우시안 영상과 라플라시안 영상을 저행렬계수 성분과 희소 성분으로 분해하는, 영상의 전경 검출 장치.
  20. 제11항에 있어서,
    상기 라플라시안 영상은 영상의 경계(edge) 특성을 포함하는, 영상의 전경 검출 장치.
KR1020140086649A 2014-07-10 2014-07-10 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치 KR101583787B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140086649A KR101583787B1 (ko) 2014-07-10 2014-07-10 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140086649A KR101583787B1 (ko) 2014-07-10 2014-07-10 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치

Publications (1)

Publication Number Publication Date
KR101583787B1 true KR101583787B1 (ko) 2016-01-08

Family

ID=55170698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140086649A KR101583787B1 (ko) 2014-07-10 2014-07-10 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR101583787B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623332B1 (ko) 2016-03-07 2016-05-23 (주)디지탈라인 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법
KR101623331B1 (ko) 2016-03-07 2016-05-31 (주)디지탈라인 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031939A (ja) 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
KR20110109595A (ko) 2010-03-31 2011-10-06 한국과학기술원 실시간 전경 영상 검출시스템 및 방법
KR20120076122A (ko) 2010-12-29 2012-07-09 주식회사 코어웨어 영상의 대조도를 향상시키기 위한 디지털 영상 처리 장치 및 그 방법
KR20130057283A (ko) * 2011-11-23 2013-05-31 삼성테크윈 주식회사 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031939A (ja) 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法及び画像処理プログラム
KR20110109595A (ko) 2010-03-31 2011-10-06 한국과학기술원 실시간 전경 영상 검출시스템 및 방법
KR20120076122A (ko) 2010-12-29 2012-07-09 주식회사 코어웨어 영상의 대조도를 향상시키기 위한 디지털 영상 처리 장치 및 그 방법
KR20130057283A (ko) * 2011-11-23 2013-05-31 삼성테크윈 주식회사 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:한국컴퓨터종합학술대회 *
논문2:멀티미디어학회논문지 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623332B1 (ko) 2016-03-07 2016-05-23 (주)디지탈라인 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법
KR101623331B1 (ko) 2016-03-07 2016-05-31 (주)디지탈라인 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법

Similar Documents

Publication Publication Date Title
Gupta et al. Single image deblurring using motion density functions
US8571261B2 (en) System and method for motion detection in a surveillance video
JP4074062B2 (ja) ベクトル画像シーケンスにおける意味対象物の追跡
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
US7756296B2 (en) Method for tracking objects in videos using forward and backward tracking
CA2921672C (en) Digital image processing using convolutional neural networks
US9025880B2 (en) Visual saliency estimation for images and video
EP1542155A1 (en) Object detection
US9361510B2 (en) Efficient facial landmark tracking using online shape regression method
Moo Yi et al. Detection of moving objects with non-stationary cameras in 5.8 ms: Bringing motion detection to your mobile device
Xiao et al. Fast image dehazing using guided joint bilateral filter
Lim et al. Dynamic appearance modeling for human tracking
Chen et al. Visual depth guided color image rain streaks removal using sparse coding
Hu et al. Deblurring low-light images with light streaks
EP1542153A1 (en) Object detection
KR100999206B1 (ko) 보행자 추적을 통한 비디오 시퀀스들로부터의 삼차원적 로드 레이아웃 추정을 위한 방법, 장치, 및 그것을 위한 컴퓨터 판독 가능한 기록 매체
US7636454B2 (en) Method and apparatus for object detection in sequences
WO2015192316A1 (en) Face hallucination using convolutional neural networks
Aguilar et al. Real-time model-based video stabilization for microaerial vehicles
EP1542154A2 (en) Object detection
US10033927B2 (en) Scene motion correction in fused image systems
JP2009544090A (ja) 変化検出のための画像処理
Matlin et al. Removal of haze and noise from a single image
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
Bautista et al. Convolutional neural network for vehicle detection in low resolution traffic videos

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant