KR20100118811A - 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어 - Google Patents

Abstract

본 발명은 감시 카메라 시스템에서 장면 전환 검출 방법과 장면 전환 검출 결과의 신뢰도 산출 방법 및 그 소프트웨어에 관한 것이다. 본 발명의 장면 전환 검출 방법은 차분 히스토그램을 프레임의 특징값으로 이용하고, 이동 참조 구간 동안의 차분 히스토그램의 평균값을 이용해서 임계값을 설정하고, 프레임의 특징값과 임계값을 비교해서 장면 전환을 검출하는 것을 특징으로 한다. 또 장면 전환 검출 결과의 신뢰도를 산출하는 방법은 프레임 특징값과 임계값의 차이값과 정규화된 가중치값의 합을 이용하는 것을 특징으로 한다. 소프트웨어는 장면 전환 검출 결과와 그 신뢰도를 동시에 표현하는 것을 특징으로 한다.

장면 전환 검출, 신뢰도 산출, 이동 참조 구간, 감시 카메라 시스템

Description

감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어{Shot Change Detection Method, Shot Change Detection Reliability Calculation Method, and Software for Management of Surveillance Camera System}

본 발명은 감시 카메라 시스템의 장면 전환 검출 방법과 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어

본 발명은 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 그 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어에 관한 것이다.

일반적으로 장면전환(Scene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면전환은, 통상 임의의 장면이 점차적으로 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap)과, 단순장면전환 등으로 구분하기도 한다.

장면전환검출장치란 이와 같이 동영상의 장면간에 장면전환이 발생한 경우, 이를 검출할 수 있는 장치를 말하며, 디지털 TV, 컴퓨터 기반의 이미지 프로세싱(Image Processing), 엠펙(MPEG) 부호화 과정 등 여러 분야에서 응용이가능하다.

예컨대, 디지털 TV 등에서 영상신호의 콘트라스트(contrast) 개선시, 장면전환을 검출하여 이를 반영함으로써, 콘트라스트 개선시 나타날 수 있는 Flickering 현상이나 Panning 현상에 대해 적응적으로 대응할 수 있다.

또한, 엠펙(MPEG) 부호화 과정에서는, 시간축 상에서 상관관계가 깊은 데이터를 압축하기 위하여 움직임 예측 및 보상을 통한 프레임간 부호화 기술을 채택하고 있는데, 동영상의 장면간에 장면전환이 일어나면 중복된 동일 영상 데이터의 빈 도가 적어 데이터량이 많아지게 된다. 따라서, 장면전환과 같은 특수한 영상을 반영하지 않고 엠펙 부호화를 행하면 비트의 이용율이 떨어지고, 화질이 나빠지므로 부호화 이전에 장면전환을 미리 감지하는 것이 필요하다.

동영상의 장면간에 장면전환을 검출하는 장면전환검출장치 및 방법에 대해서는 이미 여러가지 기술이 개발되어 있다. 예를 들면, 미국특허 US 6,049,363(Object detection method and system for scene change analysis in TV and IR data, 발행일 : 2000년 4월 11일) 에서는 두 개의 프레임 경계(frame edge) 정보를 기반으로 상호 픽셀 비교 방법(Pixel difference method)을 사용하여 장면전환을 검출한다.

미국특허 US 5,032,905(Accurate detection of a drastic change between successive pictures, 발행일 : 1991년 7월 16일) 에서는 장면전환검출을 위해 두개의 프레임간의 프레임 비교 방법(Frame difference method)을 사용한다.

미국특허 US 5,835,663(Apparatus for recording image data representative of cuts in a video signal, 발행일 : 1998년 11월 10일)에서는 전후 각 프레임을 서브 블럭(sub block)으로 분할한 뒤, 각 서브 블럭의 채도 색신호에 대한 히스토그램 (histogram)을 구하고, 이로부터 코릴레이션(correlation) 정보를 산출하여, 이들 서브 블럭들의 전체비교값을 통계적으로 처리하는 방식으로 장면전환을 검출한다.

그런데, 이러한 종래의 장면전환검출장치 및 방법들은, 대부분 움직임 벡터(Motion Vector)나 프레임 비교 방법(Frame difference method)을 기반으로 이 루어진 알고리즘을 사용하는데, 이러한 알고리즘의 복잡성으로 인하여 처리속도가 빠르지 못하다는 단점이 있다. 따라서, 영상신호의 색채나 콘트라스트 개선과 같이 영상 프레임내의 움직임 정보가 그다지 중요하지 않을 경우에, 이러한 방법은 효율적이지 못하다. 또한, 종래의 장면전환검출장치 및 방법은, 화면에 자막등이 표시되는 경우와 같은 TI(Title Insertion)나, 화면안에 또다른 화면이 표시되는 경우와 같은 PI(Picture in Pictutr)를 검출하여, 이를 장면전환과 함께 고려하는 효율적인 화질개선 방법을 제공하지 못하고 있다.

본 발명의 장면 전환 검출 방법은 차분 히스토그램을 프레임의 특징값으로 이용하고, 이동 참조 구간 동안의 차분 히스토그램의 평균값을 이용해서 임계값을 설정하고, 프레임의 특징값과 임계값을 비교해서 장면 전환을 검출하는 것을 특징으로 한다. 또 장면 전환 검출 결과의 신뢰도를 산출하는 방법은 프레임 특징값과 임계값의 차이값과 정규화된 가중치값의 합을 이용하는 것을 특징으로 한다. 소프 트웨어는 장면 전환 검출 결과와 그 신뢰도를 동시에 표현하는 것을 특징으로 한다.

본 발명은 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 그 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어에 관한 것이다.

종래의 장면 전환 검출 기술은 일반적인 동영상을 대상으로 개발된 방법으로 감시 카메라 시스템으로부터 획득된 비디오에 대한 장면 전환 검출 방법은 개발되지 않았다. 또한 종래의 기술들은 장면 전환만 검출하는 것으로 끝났지만 본 발명에서는 검출 결과에 대한 신뢰도를 산출하여 현재 검출된 장면 전환 결과를 검증할 수 있는 방법이 없었다. 또한 종래의 특허에서는 장면 전환 검출 및 그 신뢰도 산출 결과를 동시에 표현할 수 있는 소프트웨어 개발 결과가 없었다.

본 발명은 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 그 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어에 관한 것이다.

본 발명의 장면 전환 검출 방법은 차분 히스토그램을 프레임의 특징값으로 이용하고, 이동 참조 구간 동안의 차분 히스토그램의 평균값을 이용해서 임계값을 설정하고, 프레임의 특징값과 임계값을 비교해서 장면 전환을 검출하는 것을 특징으로 한다. 또 장면 전환 검출 결과의 신뢰도를 산출하는 방법은 프레임 특징값과 임계값의 차이값과 정규화된 가중치값의 합을 이용하는 것을 특징으로 한다. 소프트웨어는 장면 전환 검출 결과와 그 신뢰도를 동시에 표현하는 것을 특징으로 한다.

본 발명은 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 그 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어에 관한 것이다.

상기 설명한 바와 같이, 본 발명에 따르면 감시 카메라 시스템으로부터 획득된 비디오 데이터의 정확한 장면 전환 검출이 가능하게 된다. 또한 장면 전환 검출 결과에 대한 신뢰도 산출 결과를 확인할 수 있기 때문에, 검출 장면 결과에 대한 검증 작업이 가능하게 된다. 또한 본 발명의 소프트웨어를 이용하여 감시 카메라 영상에 대한 고속 검색 및 관리가 가능하게 되며, 감시 카메라 영상의 썸네일 출력을 통해서 전체적인 내용 파악이 용이하며, 장면 전환 검출 및 그 신뢰도를 통해서 효과적인 장면 전환 구분점 검색이 가능하게 되는 효과가 발생한다.

본 발명은 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 그 검출 결과의 신뢰도 산출 방법 및 이를 이용한 소프트웨어에 관한 것이다.

본 발명에서는 이동 참조 구간에서의 프레임 특징값들의 평균을 이용해서 장면 전환을 검출한다. 프레임 특징값으로는 차분 히스토그램의 평균값(MDH)을 이용한다. 히스토그램은 비교적 프레임의 특성을 잘 나타내주면서도 계산량이 낮으며 구현도 용이하다.

i번째 프레임의 MDH는 수학식 (1)과 같이 계산된다. 여기에서 Mi는 i번째 프레임의 MDH, Hi는 i번째 프레임의 히스토그램, i는 프레임 번호, j는 히스토그램의 빈(bin)을 나타낸다.

이와 같이 구해진 MDH와 임의의 임계값을 비교하여 장면 전환을 판단하는데, 정확한 장면 전환 판단을 위해서는 임계값의 역할이 중요하다. 고정된 임계값은 다양한 영상에 대해서는 정확한 검출을 하지 못하기 때문에 영상에 따라서 적응적인 임계값 설정이 요구된다. 따라서 본 논문에서는 유사한 프레임들의 특징값을 누적 평균한 값을 적응적 임계값으로 설정하는 방법을 제안한다. 이 방법을 수학식 (2)에서 나타내고 있다. 여기에서 Ti는 i번째 프레임에서의 임계값, c는 현재 프레임 번호, p는 이전 장면 전환 프레임 번호, W는 가중치를 각각 나타낸다.

이전 장면 전환 프레임 이후부터 현재 프레임 이전까지를 참조 구간으로 정 의할 때, 제안하는 적응적 임계값은 참조 구간 내 모든 프레임의 Mk의 평균값에 가중치 W를 적용시킨 결과로 정의한다. T가 M의 평균으로 생성되기 때문에 T≒M이 되면 장면 전환을 판단하지 못하므로 W를 적용시켜 T의 마진을 증가시킨다. 실험을 통해서 W=2.7에서 가장 정확한 임계값이 생성되는 것을 알 수 있었다. 하지만 W가 고정값이므로 영상 변화에 적응적으로 동작하지 못한다. 따라서 가중치의 적응적인 설정 방법이 요구된다.

먼저 적응적 가중치 설정을 위해서는 임계값 계산 과정에서 이용한 이동 참조 구간의 평균값을 이용한다. 임계값 계산과는 다르게 여기서는 MDH값이 아닌 차분 히스토그램의 빈의 값이 0이 아닌 빈의 개수(NZ)를 이용한다. 이 개념을 아래의 수학식 (3)에서 설명하고 있다. 여기에서 Wi는 i번째 프레임에서의 가중치, Ni는 i번째 차분 히스토그램의 NZ의 누적 평균, Zk는 k번째 프레임의 NZ를 각각 나타낸다. 이런 방법을 통해서 가중치도 영상에 적응적으로 생성할 수 있다.

,

상기 서술된 내용은 장면 전환 검출 방법에 관한 것이고, 다음으로는 장면 전환 검출 결과의 신뢰도 산출 방법에 대하여 서술하였다.

신뢰도 산출을 위해서는 수학식 (4)에 의해서 계산된 값을 이용한다. 수식에서 Mi는 현재프레임의 히스토그램, Ti는 구간동안의 모든 프레임들의 히스토그램의 평균값을 의미한다.

D값이 작다는 것은 연속되는 프레임들의 변화가 적다는 것을 의미하고 이것은 하나의 장면을 구성하는 프레임들의 유사성이 높음을 나타낸다. 따라서 다음 장면과의 차이가 명확하게 드러나게 되므로 이때의 장면 전환 정확도는 높다. 반대로 D값이 크다는 것은 프레임들의 변화가 심하다는 것을 의미하고 하나의 장면을 구성하는 프레임들의 변화가 높음을 나타낸다. 따라서 하나의 장면으로 판단한 경우에도 구간에서 또다른 장면 전환이 발생할 가능성도 있으며, 현재의 장면 전환이 반드시 정확 검출 결과가 아닐 수도 있다. 따라서 이때의 장면 전환 정확도는 낮다. 위의 개념을 수식하여 나타내면 다음의 수학식 (5)와 같다.

여기에서 A는 정확도를 의미하며, a,b,c,d,e,f의 값은 고정된 값이 사용될 수도 있고, 또는 장면 전환 검출 과정에서의 프레임들의 평균 히스토그램값에 따라서 가변적으로 설정될 수도 있다.

위의 방법은 정확도를 구간형태로 나타낸 것이고 여기에서 정확도 값으로 나타내기 위해서는 장면 전환 발생시 가중치의 값 W를 이용한다. 가중치 W의 값이 높다는 것은 전환되는 장면간의 차이가 크다는 것을 의미하기 때문에 비교적 정확한 장면 전환으로 판단할 수 있다. 반대로 W의 값이 낮다는 것은 그만큼 장면 전환 구분이 힘들다는 것을 의미하기 때문에 부정확한 장면 전환일 가능성을 가지고 있다.

따라서 위의 개념을 적용한 정확도 계산 과정은 아래와 같이 나타낸다.

여기에서 N은 정규화 상수이고, 0<NW<10에서 결정된다. 이와 같은 방식을 통해서 장면 전환 검출 정확도를 계산할 수 있다.

도 2에서는 본 발명의 장면 전환 검출 방법의 흐름도를 나타내었다. 연속된 두 프레임의 입력으로부터 차분 히스토그램의 평균값을 계산하고 이전 프레임까지 누적 평균값에 임계값 가중치 W를 곱한 적응적 임계값 T와 비교하여 장면 전환을 판단한다. 장면 전환일 경우에는 해당 프레임을 저장 또는 출력하고 사용한 임계값을 초기화 시킨다. 장면 전환이 없을 경우에는 히스토그램의 평균값을 T임계값 에 누적해서 평균을 구한다. 장면 전환이 발생한 다음 입력 프레임은 장면 전환 비교를 생략하고 임계값만 생성한다.

도 1은 본 발명에 따른 장면 전환 검출 소프트웨어를 캡쳐한 도면,

도 2는 본 발명을 위한 장면 전환 검출 방법의 전체 흐름도.

Claims (6)

1. 차분 히스토그램을 프레임 특징값으로 하고, 이동 참조 구간에서의 차분 히스토그램의 평균값을 임계값으로 하는 장면 전환 검출을 수행하는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어
2. 프레임 특징값과 임계값의 차이값과 이동 참조 구간에서의 히스토그램 변화량으로 계산된 가중치값을 이용하여 장면 전환 검출 결과의 신뢰도를 계산하는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어
3. 1항과 2항의 감시 카메라 획득 영상의 장면 전환 검출과 신뢰도 산출 방법을 이용하는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어
4. 1, 2, 3항의 소프트웨어에서 장면 전환 검출 프레임과 검출 신뢰도 또는 신 뢰구간을 동시에 표현하는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어
5. 1, 2, 3항의 소프트웨어에서 사용자의 입력에 의한 일정 신뢰도 이상의 장면 전환 검출 결과만 출력하는 기능을 가지는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어
6. 1, 2, 3항의 소프트웨어에서 신뢰도가 낮은 장면에 대해서 육안으로 장면 전환 검출을 수행할 수 있도록 일정한 시간 구간의 모든 프레임들을 출력하는 기능을 가지는 것을 특징으로 하는 감시 카메라 획득 영상의 장면 전환 검출 방법과 신뢰도 산출 방법 및 그 소프트웨어

Images