KR20100026631A

KR20100026631A - 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법

Info

Publication number: KR20100026631A
Application number: KR1020080085708A
Authority: KR
Inventors: 김원희; 김종남; 이강석
Original assignee: 부경대학교 산학협력단
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2010-03-10

Abstract

본 발명은 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법에 관한 것이다. 본 발명은 감시 카메라 영상에서 장면이 바뀌는 프레임에 대해서 자동 색인을 만들고, 색인 프레임을 대표프레임으로 하여 대표프레임과 상기 대표프레임의 차프레임만을 저장한다.

감시 영상 촬영부, 무선 통신 송수신부, 영상 정보 처리부, 저장 매체 기록부로 구성되되는 감시 카메라 시스템에 있어서, 상기 무선 송수신을 통해서 획득된 영상으로부터 연속된 두 프레임을 입력받는 단계, 상기 입력된 두 프레임에 대해서 장면 전환 발생 여부를 판단하는 단계, 상기 장면 전환 판단 단계에서 장면 전환이 발생하지 않았을 경우 연속된 두 프레임의 차영상을 계산하는 단계, 상기 차영상 계산 결과로부터 자장 프레임을 결정하는 단계, 상기 장면 전환 판단 단계에서 장면 전환이 발생한 경우 저장 프레임을 결정하는 단계, 상기 저장 프레임 결정에 따라서 자동 색인 번호를 부여하는 단계를 포함한다.

감시, 카메라, 장면 전환 검출, 자동 색인, 차프레임, 저장

Description

감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법{Auto indexing and difference frame saving method of surveillance video using shot change detection technique in surveillance camera system}

본 발명은 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법에 관한 것이다.

기존의 감시 카메라 시스템의 저장 매체는 다양한 압축 기술의 발달로 방대한 데이터의 저장에 관한 문제는 어느 정도 해결되었지만, 동영상 데이터의 순차성으로 인해서 원하는 부분에 대한 출력과 검색에 있어서 많은 시간이 소요되는 문제점을 가지고 있다.

이러한 문제점을 해결하기 위한, 분할작업 자동화를 위한 다양한 연구들이 이루어졌다. 일반적으로 사용되는 방법으로는 연속된 프레임의 대응되는 화소간의 차이를 계산하여 장면 전환 프레임을 검출하는 방법, 연속된 프레임의 히스토그램 의 차이를 계산하여 장면 전환 프레임을 검출하는 방법, 연속된 프레임의 대응되는 블럭의 유사도를 계산하여 장면 전환 프레임을 검출하는 방법 등이 있다. 이외에도 기존에 개발된 영상처리 알고리즘들을 이용해서 장면 전환 프레임을 검출하는 다양한 방법들이 연구되었다.

최근에는 점진적 장면 전환을 정확하게 검출하기 위한 방법, 대용량 동영상의 고속 장면 전환 검출을 위한 방법, 조명이나 객체의 급격한 변화에 강인한 장면 전환 검출 방법 등에 대한 연구가 이루어지고 있다.

이러한 장면 전환 검출 기술은 실제 응용 환경에서의 사용은 미미하다. 분할된 동영상을 표현하기 위한 수단으로 분할된 각 동영상 단위를 대표적으로 표현할 수 있는 프레임, 즉 대표 프레임의 선정이 필요하게 된다. 기존의 연구에서는 대표 프레임 선정에 대해서 단위 시간에 1프레임을 선정하는 방법, 분할된 단위 동영상의 처음, 중간, 마지막 프레임을 선정하는 방법 등이 연구되었다. 대표 프레임은 사용자가 감시 영상을 검색하고자 할 경우에 중요한 요소로 사용될 수 있으므로 정확한 대표 프레임 검출에 대한 관심이 높다.

상기 언급한 문제점들을 해결하고 동영상의 접근성을 개선 구조적인 감시 영상 저장이 가능하도록 자동 색인이 부여되며, 색인된 대표 프레임에 따라서 이후 차프레임만 저장되는 감시 카메라 시스템 개발을 목적으로 한다.

상기 감시 카메라 시스템 개발을 위해서 다음과 같은 수단을 이용한다. 자동 색인을 위한 대표 프레임 추출 방법은 프레임의 특징값으로 히스토그램의 평균값을 이용하며, 적응적인 임계값 설정을 위해서 가변 참조 구간 동안의 평균 특징값의 평균값을 이용하며, 프레임의 변화 비율에 따른 가중치 부여 방법을 이용한 장면 전환 검출 기술을 사용한다.

상기 색인 번호를 삽입하기 위해서 가시적 워터마킹 기술, 비가시적 워터마킹 기술, 대역 확산 워터마킹 기술, 주파수 변환 영역 워터마킹 기술, 공간 영역 워터마킹 기술을 사용한다.

본 발명은 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법에 관한 것으로,

상기 감시 카메라 시스템에서 무선 송수신을 통해서 획득된 영상으로부터 연속된 두 프레임을 입력받는 단계,

상기 입력된 두 프레임에 대해서 장면 전환 여부를 판단하는 단계,

상기 장면 전환 판단 단계에서 장면 전환이 발생하지 않았을 경우 연속된 두 프레임의 차영상을 계산하는 단계,

상기 차영상 계산 결과로부터 저장 프레임을 결정하는 단계,

상기 장면 전환 판단 단계에서 장면 전환이 발생한 경우 저장 프레임을 결정하는 단계

상기 저장 프레임 결정에 따라서 자동 색인 번호를 부여하는 단계를 포함한다.

본 발명의 장면 전환 검출 판단 방법에 있어서,

상기 장면 전환 판단부에서 연속된 두 프레임을 입력받는 단계,

상기 입력받은 두 프레임에 대해서 히스토그램 평균값(MH)을 계산하는 단계,

상기 계산된 현재 히스토그램 평균값(MH)을 처리하기위한 임계값(TH)의 값을 판단하는 단계,

상기 판단된 임계값(TH)이 0인 경우 임계값(TH)을 새롭게 생성하는 단계,

상기 생성된 임계값(TH)을 메모리에 저장하는 단계,

상기 저장된 임계값(TH)에 가중치(Wt)를 적용하는 단계,

상기 가중치(Wt)가 적용된 임계값(TH)과 상기 계산된 히스토그램 평균값(MH)을 비교하여 장면 전환 검출(SCD)을 판단하는 단계,

상기 장면 전환 검출(SCD) 판단 과정에서 장면 전환이 발생하지 않은 경우 히스토그램 평균값(MH)를 가중치(Wt)가 적용된 임계값(TH)에 누적하여 평균을 구하 는 단계,

상기 장면 전환 검출(SCD) 판단 과정에서 장면 전환이 발생한 경우 프레임 번호를 저장하는 단계,

상기 저장된 프레임 번호 유무에 따라서 임계값(TH)을 초기화시키는 단계를포함한다.

본 발명의 상기 색인 번호 부여 방법에 있어서,

상기 색인 번호 부여부에서 저장 프레임을 입력받는 단계,

상기 입력 받은 저장 프레임에 대해서 색인 부여를 결정하는 단계,

상기 색인 부여 결정에 따라서 색인 번호를 생성하는 단계,

상기 생성된 색인 번호를 저장 프레임에 삽입하는 색인 번호 삽입 단계를 포함한다.

본 발명을 통해서 감시 영상의 획득 단계에서 장면 전환 발생 여부를 판단하여 저장되는 단계에 색인을 삽입할 수 있다. 이와 같은 자동 색인 부여 기술은 사후 감시 영상 관리에 용이하게 사용된다. 감시 영상의 브라우징, 검색, 미리보기, 요약, 편집과 같은 작업을 위해서는 대표 프레임이 반드시 필요한데 상기 대표 프레임을 추출하기 위한 기술로 본 발명이 적합하게 사용된다. 동영상 데이터를 내용에 기반하여 분할함으로써 자동으로 동영상 데이터를 구조화하고, 각각의 분할된 단위를 대표할 수 있는 대표프레임을 선정함으로써 사용자에게 보다 유연한 검색 및 브라우징 서비스를 제공할 수 있다. 따라서 기존의 발명에서와 같은 일정한 간격의 샘플링 방법에서 탈피하여 보다 동영상의 내용과 부합하는 대표 프레임 선정이 가능한 효과가 있다. 또한 동영상 정보가 갖고 있는 고유한 시각적인 내용을 바탕으로 사용자가 쉽고 빠르게 원하는 감시 영상 정보를 검색 및 브라우징이 가능한 효과가 있다.

또한 본 발명을 통해서 기존의 일반적인 감시 영상 기록과 달리 대표 프레임의 이후 프레임들은 다음 장면 전환이 발생하기 전까지는 차프레임만 저장하도록 한다. 이와 같은 차프레임 저장 기술을 통해서 기존의 방법들보다 저장 공간을 절약할 수 있는 효과가 있다.

본 발명은 감시 카메라, 무선 통신 송수신부, 영상 정보 처리부, 저장 매체 기록부로 구성되는 감시 카메라 시스템에서 자동 색인과 차프레임 저장 방법에 있어서,

상기 감시 카메라 시스템에서는 무선 송수신을 통해서 획득된 영상으로부터 연속된 두 프레임을 입력받는 단계,

상기 저장 프레임 결정에 따라서 자동 색인 번호를 부여하는 단계를 포함하는 것을 특징으로 한다.

도 1은 본 발명에 따른 감시 카메라 시스템의 구성도이다.

감시 카메라 시스템에서 감시 영상 촬영부(100)은 CCD 및 CMOS 센서로 구성되어 감시 영상을 획득하는 역할을 한다. 무선 통신 송수신부(200)는 획득된 영상을 무선 통신 기술을 이용해서 관리 서버로 전달하는 기능을 수행한다. 영상 정보 처리부(300)에서는 본 발명의 자동 색인과 차프레임 저장에 관한 일련의 처리를 수행한다. 저장 매체 기록부(400)는 고속으로 영상을 처리하고 센서의 정보들을 처리할 수 있는 고성능 프로세서와 최소 1달 분량의 감시 영상을 저장할 수 있는 충분한 저장 매체, 감시 카메라 시스템의 무선 통신을 위한 무선 통신 모듈로 구성된다.

도 2는 자동 색인과 차프레임 저장에 관한 일련의 처리를 수행하는 영상 정보 처리부(300)의 상세 구성도이다.

감시 카메라 시스템의 감시 영상 촬영부(100)에서 획득된 영상은 무선 통신 송수신부(200)에 의해서 전송되고 영상 정보 처리부(300)의 프레임 입력부(310)에 입력된다. 여기서 입력되는 프레임은 현재 프레임을 기준으로 이전의 한 프레임, 즉 동시에 2프레임의 입력이 이루어진다.

장면 전환 판단부(320)에서는 프레임 입력부(310)의 두 프레임에 대해서 장 면 전환 발생을 판단한다. 장면 전환 판단에 관한 일련의 처리는 도 3에서 자세하게 설명된다.

차영상 계산부(330)는 장면 전환 판단부(320)의 결과 장면 전환이 발생하지 않았을 경우에 처리되는 과정으로 입력된 두 프레임의 차 연산을 수행한다. 차 연산의 수행결과 프레임의 영상 크기는 입력 프레임과 동일하다.

저장 프레임 결정부(340)에서는 입력되는 프레임 중에서 저장 매체에 기록될 프레임을 결정한다. 장면 전환이 발생하지 않은 경우에는 두 프레임의 차 프레임 또는 장면 전환이 발생한 경우에는 두 프레임 중에서 앞 프레임을 저장 프레임으로 결정한다.

색인 번호 부여부(350)에서는 저장이 결정된 프레임에 대해서 자동적으로 색인 번호를 부여하는 기능을 처리한다. 색인 번호 부여에 관한 일련의 처리는 도 4에서 자세하게 설명된다.

도 3은 장면 전환 판단에 관한 일련의 처리를 수행하는 장면 전환 판단부(300)의 상세 구성도이다.

연속된 두 프레임 입력부(321)에서는 상기 입력된 두 프레임을 입력받는다.

히스토그램 평균값(MH) 계산부(322)에서는 상기 입력된 연속된 두 프레임의 히스토그램 평균값의 차이값을 계산한다.

임계값(TH) 판단부(323)에서는 현재 프레임에서의 임계값이 0 또는 0이 아닌 값인지를 판단한다.

임계값(TH) 생성부(324)에서는 상기 판단된 임계값이 0인 경우에 동작한다. 이 경우에는 임계값을 새롭게 생성하게 되는데 이 임계값은 상기 계산된 히스토그램 평균값을 그대로 이용한다.

임계값(TH) 저장부(325)에서는 상기 생성된 임계값을 임의 변수에 저장한다. 임계값을 바로 처리에 이용하지 않고 저장하는 이유는 이후 프레임들의 장면 전환 판단에서도 현재의 임계값이 반영되어 사용되기 때문이다.

가중치(Wt) 적용부(326)에서는 상기 저장된 임계값에 가중치를 곱하는 과정이다. 본 발명에서의 임계값 설정 방법은 임의 참조 구간동안의 히스토그램의 평균값의 평균을 이용하기 때문에 가중치를 적용하지 않게 되면 오검출 발생이 증가한다. 따라서 정확한 검출을 위해서 가중치를 부여하는 것이다. 가중치를 결정하는 방법은 임의의 상수를 이용하는 방법 또는 두 프레임의 변화량의 비를 이용하는 방법이 사용될 수 있다.

장면 전환 검출(SCD) 판단부(327)에서는 상기 계산된 히스토그램 평균값과 가중치가 적용된 임계값을 비교해서 장면 전환을 판단한다. 여기에서는 상기 계산된 히스토그램 평균값이 가중치가 적용된 임계값보다 크거나 같은 경우에 장면 전환이 발생한 것으로 판단한다.

히스토그램 평균값(MH) 누적부(328)는 상기 판단 결과가 장면 전환이 아닌 경우에 동작하며 현재 계산된 히스토그램 평균값을 지금까지 계산된 임계값에 더해서 다시 평균을 구하고 이값을 임계값 저장부(325)에 저장한다.

프레임 번호 저장부(329)에서는 상기 판단 결과가 장면 전환이 발생한 경우에 동작하며 장면 전환이 발생한 프레임의 번호를 저장한다. 이때 입력이 되는 프 레임의 수가 2 프레임이므로 이 중에서 현재 프레임의 번호를 장면 전환 발생 프레임으로 정의한다.

임계값(TH) 초기화부(3210)에서는 상기 저장된 프레임 번호가 결정된 후 다시 새롭게 장면 전환을 판단하기 위해서 기존의 임계값을 0으로 초기화시킨다.

도 4는 색인 번호 부여에 관한 일련의 처리를 수행하는 색인 번호 부벼부(350)의 상세 구성도이다.

저장 프레임 입력부(351)에서는 상기 저장 프레임 결정부(340)에서 저장될 프레임으로 결정된 프레임을 입력으로 받는다. 이때의 입력 가능한 프레임의 종류는 두 프레임의 차 프레임 또는 현재 프레임 2종류이다.

색인 부여 결정부(352)에서는 상기 입력된 프레임에 대한 색인 부여 여부를 결정한다. 즉, 장면 전환이 발생한 경우에는 현재 프레임이 장면 전환 프레임이 되므로 색인이 부여되도록 결정한다. 반대로 장면 전환이 발생하지 않은 경우에는 차 프레임이 입력되므로 이 경우에는 색인 번호가 부여되지 않도록 결정된다.

색인 번호 생성부(353)에서는 상기 결정된 색인 부여 여부 결정에 따라서 색인 부여가 결정된 경우에만 색인 번호를 생성한다. 색인 번호는 색인이 부여될 경우에만 1씩 증가한다. 또는 사용자의 입력에 따라서 재조정될 수 있다.

색인 번호 삽입부(354)에서는 상기 생성된 색인 번호를 영상 내부에 삽입한다. 이때에 삽입방법은 응용 환경의 필요성에 따라서 가시적 또는 비가시적으로 삽입된다. 색인 번호 삽입은 워터마킹 기술을 이용하는데 가시적 삽입의 경우 색인 번호를 이미지 형태로 저장하여 영상에 합 연산을 수행한다. 반대로 비가시적 삽입 의 경우에는 색인 번호를 대역확산하여 워터마크 메시지로 생성하고 공간 또는 변환 영역에서 프레임 내부에 삽입한다.

저장 매체 기록부(400)에서는 상기 색인 번호가 워터마크로 삽입된 장면 전환 프레임 또는 색인 번호가 삽입되지 않은 차영상 프레임을 저장 매체에 기록한다. 기록방식으로는 보편적으로 사용되는 MPEG4 또는 H.264를 이용할 수 있다.

본 발명은 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법에 관한 것으로 상기 설명한 구체적인 내용에 따라서 동작하게 된다.

도 1은 본 발명의 감시 카메라 시스템의 구성도.

도 2는 도 1의 영상 정보 처리부의 상세 구성도.

도 3은 도 2의 장면 전환 판단부의 상세 구성도.

도 4는 도 2의 색인 번호 부여부의 상세 구성도.

* 도면의 주요한 부분에 대한 부호의 설명 *

100 : 감시 영상 촬영부

200 : 무선 통신 송수신부

300 : 영상 정보 처리부

310 : 프레임 입력부

320 : 장면 전환 판단부

321 : 연속된 두 프레임 입력부

322 : 히스토그램 평균값(MH) 계산부

323 : 임계값(TH) 판단부

324 : 임계값(TH) 생성부

325 : 임계값(TH) 저장부

326 : 가중치(Wt) 적용부

327 : 장면 전환 검출(SCD) 판단부

328 : 히스토그램 평균값(MH) 누적부

329 : 프레임 번호 저장부

3210 : 임계값(TH) 초기화부

330 : 차영상 계산부

340 : 저장 프레임 결정부

350 : 색인 번호 부여부

351 : 저장 프레임 입력부

352 : 색인 부여 결정부

353 : 색인 번호 생성부

354 : 색인 번호 삽입부

400 : 저장 매체 기록부

Claims

감시 영상 촬영부, 무선 통신 송수신부, 영상 정보 처리부, 저장 매체 기록부로 구성되고, 상기 감시 카메라 시스템은 자동 색인이 되면서 대표프레임과 상기 대표프레임의 차프레임만 저장하기 위한 방법에 있어서,

상기 감시 카메라 시스템에서 무선 송수신을 통해서 획득된 영상으로부터 연속된 두 프레임을 입력받는 단계,

상기 입력된 두 프레임에 대해서 장면 전환 여부를 판단하는 단계,

상기 장면 전환 판단 단계에서 장면 전환이 발생하지 않았을 경우 연속된 두 프레임의 차영상을 계산하는 단계,

상기 차영상 계산 결과로부터 저장 프레임을 결정하는 단계,

상기 장면 전환 판단 단계에서 장면 전환이 발생한 경우 저장 프레임을 결정하는 단계

상기 저장 프레임 결정에 따라서 자동 색인 번호를 부여하는 단계를 포함하는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.
제 1항에 있어서, 상기 프레임 입력부는 현재시간을 기준으로하는 한 프레임과 바로 이전의 한 프레임, 즉 동시에 두 프레임을 입력받는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.
제 1항에 있어서, 상기 영상 정보 처리부의 장면 전환 판단부의 장면 전환 검출 판단 방법에 있어서,

상기 장면 전환 판단부에서 연속된 두 프레임을 입력받는 단계,

상기 입력받은 두 프레임에 대해서 히스토그램 평균값(MH)을 계산하는 단계,

상기 계산된 현재 히스토그램 평균값(MH)을 처리하기위한 임계값(TH)의 값을 판단하는 단계,

상기 판단된 임계값(TH)이 0인 경우 임계값(TH)을 새롭게 생성하는 단계,

상기 생성된 임계값(TH)을 메모리에 저장하는 단계,

상기 저장된 임계값(TH)에 가중치(Wt)를 적용하는 단계,

상기 가중치(Wt)가 적용된 임계값(TH)과 상기 계산된 히스토그램 평균값(MH)을 비교하여 장면 전환 검출(SCD)을 판단하는 단계,

상기 장면 전환 검출(SCD) 판단 과정에서 장면 전환이 발생하지 않은 경우 히스토그램 평균값(MH)를 가중치(Wt)가 적용된 임계값(TH)에 누적하여 평균을 구하는 단계,

상기 장면 전환 검출(SCD) 판단 과정에서 장면 전환이 발생한 경우 프레임 번호를 저장하는 단계,

상기 저장된 프레임 번호 유무에 따라서 임계값(TH)을 초기화시키는 단계를포함하는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.
제 1항에 있어서, 상기 차영상 계산부는 장면 전환 판단 결과 장면 전환이 발생하지 않은 경우에 동작되며, 상기 입력 받은 두프레임의 차 연산을 수행하여 결과 차영상을 생성하는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.
제 1항에 있어서, 상기 저장 프레임 결정부는 장면 전환 판단 결과 또는 차영상 계산 결과를 입력으로 받아서 저장 프레임을 결정하는데, 장면 전환이 발생한 경우에는 현재 프레임을, 장면 전환이 발생하지 않은 경우에는 차영상을 저장 프레임으로 결정하는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.
제 1항에 있어서, 상기 영상 정보 처리부의 색인 번호 부여부의 색인 번호 부여 방법에 있어서,

상기 색인 번호 부여부에서 저장 프레임을 입력받는 단계,

상기 입력 받은 저장 프레임에 대해서 색인 부여를 결정하는 단계,

상기 색인 부여 결정에 따라서 색인 번호를 생성하는 단계,

상기 생성된 색인 번호를 저장 프레임에 삽입하는 색인 번호 삽입 단계를 포함하는 것을 특징으로 하는 감시 카메라 시스템에서 자동 색인 및 차프레임 저장 방법.