KR101430258B1 - 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법 - Google Patents

디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법 Download PDF

Info

Publication number
KR101430258B1
KR101430258B1 KR1020130021102A KR20130021102A KR101430258B1 KR 101430258 B1 KR101430258 B1 KR 101430258B1 KR 1020130021102 A KR1020130021102 A KR 1020130021102A KR 20130021102 A KR20130021102 A KR 20130021102A KR 101430258 B1 KR101430258 B1 KR 101430258B1
Authority
KR
South Korea
Prior art keywords
frame
value
scene change
threshold value
feature value
Prior art date
Application number
KR1020130021102A
Other languages
English (en)
Inventor
김원희
김종남
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020130021102A priority Critical patent/KR101430258B1/ko
Application granted granted Critical
Publication of KR101430258B1 publication Critical patent/KR101430258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 디지털 감시 카메라 시스템에서 저장된 감시 영상의 장면이 변화되는 부분을 확인하기 위한 자동 장면 전환 검출 방법과 그 검출 결과를 확인하는 사용자가 빠르고 정확하게 식별하도록 검출 결과를 표시하는 방법에 관한 것으로, 더욱 상세하게는 동영상의 연속된 프레임에서의 국부영역 차분 프레임 합을 이용하여 오검출을 줄이고, 저역 통과 필터된 차분 히스토그램 평균을 이용하여 미검출을 줄이고, 슬라이딩 윈도우에서의 특징값을 이용하여 임계값을 산출하여 임계값의 정확도를 높이고, 추가적으로 임계값 계산을 위한 별도의 처리 없이 산출된 값들을 평균하는 것을 이용하여 계산량을 줄이고 처리 속도를 높이는 효과가 있다. 또한 대용량의 감시 영상을 고속으로 정확하게 내용을 확인할 수 있으며, 신뢰도를 다양한 형태로 결과 화면에 표시하여 검출 결과를 확인하는 사용자가 빠르고 정확하게 식별하도록 하는 효과가 있다.

Description

디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법{An automatical shot change detection method and shot change detection result identification convenience improvement show method on digital surveillance camera system}
본 발명은 디지털 감시 카메라 시스템에서 저장된 감시 영상의 장면이 변화되는 부분을 확인하기 위한 자동 장면 전환 검출 방법과 그 검출 결과를 확인하는 사용자가 빠르고 정확하게 식별하도록 검출 결과를 표시하는 방법에 관한 것이다.
본 발명은 디지털 감시 카메라 시스템에서 저장된 감시 영상의 장면이 변화되는 부분을 확인하기 위한 자동 장면 전환 검출 방법과 그 검출 결과를 확인하는 사용자가 빠르고 정확하게 식별하도록 검출 결과를 표시하는 방법에 관한 것이다. 디지털 감시 카메라 시스템은 그 활용도가 나날이 증가하고 있으며, 그로 인한 시장성도 매년 증가하고 있다. 범죄 예방, 시설 감시, 침입 탐지 등의 다양한 목적으로 개인부터 단체, 공공기관부터 일반 산업체에 이르기까지 두루 사용되며, 국내 생산 판매는 물론 해외 수출에 이르기까지 그 시장성과 상품성이 날로 높아지고 있다. 디지털로 저장되는 감시 영상은 저장 매체의 발달로 그 양이 인력으로 다 확인할 수 없을 정도로 많아졌으며, 이에 저장된 감시 영상을 위한 빠른 색인 및 분류, 검색 기술이 필연적으로 요구되고 있다.
장면 전환 검출을 위해서는 프레임의 특징을 추출하는 추출자와 추출된 특성에 따라 변화 여부를 판단하는 판단자가 필요하다. 프레임 특징을 추출하는 방법에는 공간 영역의 화소 기반, 히스토그램 기반, 블록 기반, 특징 기반, 움직임 기반, 다중 척도 기반 등의 6가지로 방법으로 분류할 수 있으며, 변환 영역의 DC 계수 기반, 비트열 기반, 픽처 기반의 3가지 방법으로도 구분할 수 있다. 이런 추출된 특징을 바탕으로 변화 여부를 판단하는 기준이 되는 것이 임계값이다. 임계값은 사람이 동영상 데이터를 시청하면서 장면이 변화된 것을 인지하는 것과 같이 장면 변환 여부를 판단하는 기준이 되는 요소로서 장면 전환 검출 알고리즘의 정확도를 결정하게 된다. 임계값은 생성 원리에 따라서 실험적, 분석적, 적응적 방법의 세 가지로 분류할 수 있다.
화소 기반의 방법은 연속되는 두 프레임의 상관관계를 나타내는 가장 간단한 방법이다. 화소 기반의 방법도 다양하게 연구되었는데, 1991년 Nagasaka와 Tanaka는 연속되는 프레임에서 각 프레임의 전체 화소값의 합의 절대값 차이(simple interframe difference)를 프레임의 특징으로 측정하였다. 이렇게 추출된 특징값과 임의의 임계값과의 비교를 통해서 장면 전환을 판단한다. 화소 기반의 방법들은 계산량이 적고 구현이 간단하지만 작은 영역에서의 큰 변화나 큰 영역에서의 작은 변화를 구별할 수 없는 단점이 있다. 카메라와 객체의 동작, 명암 변화에 민감하게 반응하여 오검출이 발생할 수 있다.
히스토그램 기반의 방법은 장면 전환 검출의 대표적인 방법으로 영상의 밝기나 컬러 정보의 확률 분포도인 히스토그램을 구성한 후 비교를 통해서 장면 전환 여부를 결정하는 방법이다. 히스토그램 기반의 방법은 화소 기반의 방법에서 문제가 되었던 움직임에 민감하다는 단점을 어느 정도 극복한다. 이것은 영상의 전체적인 분위기를 파악하는 것으로 영상을 이해하는데 있어서 영상 내에 물체나 카메라의 움직임이 존재하는 경우라도 밝기 분포나 색상 분포는 거의 일정하기 때문이다. Tonomura와 Abe는 화소 밝기값 히스토그램에 기반한 방법(histogram difference)을 제안하였다. 비교적 응용 환경에서도 많이 사용되고 있지만 히스토그램 기반의 방법에도 몇 가지 문제점이 존재한다. 우선 영상에서 차지하는 물체의 비율이 낮고 장면 간에 배경의 변화가 없는 경우 또는 서로 다른 장면에 존재하는 프레임이더라도 비슷한 밝기 분포를 가지는 경우에는 히스토그램으로 구분하기 모호하다. 따라서 이런 부분에서 미검출이 발생하게 된다. 이 외에도 큰 물체가 갑자기 등장하는 장면이나 밝기가 급격하게 변화하는 부분에서 유사한 장면에 대한 오검출이 발생된다.
블록 기반의 방법의 장점은 잡음과 카메라 또는 객체 움직임에 대한 둔감함이다. Kasturi와 Jain은 블록화된 영상들의 유사도 검정(similarity ratio)을 제안하였는데, 이 방법은 연속되는 프레임의 대응되는 블록 쌍들을 비교하였다.블록 기반의 방법들은 객체의 움직임이나 잡음에 대해서 비교적 강인한 검출을 하지만 상대적으로 많은 연산시간이 소요된다. 또한 블록간 비교에 사용되는 임계값과 프레임간 비교에 사용되는 임계값 등 이중 처리가 많기 때문에 적절한 임계값 설정이 어렵다는 단점이 있다.
이전까지의 방법들 역시 프레임의 특징을 추출해서 장면 전환 검출을 수행하지만 대부분의 방법들이 프레임의 평범한 특징만을 측정할 수 있었다. 반면 특징 기반의 방법들은 보다 정교하게 프레임의 특징을 추출할 수 있다. 특징 기반의 방법들은 영상의 적률(moment), 윤곽선(contour lines), 특징점(feature points), 평면좌표(planar points)나 베이지안(Bayesian) 방법, 통계적 접근, Hidden Markov 모델 등을 고려하여 프레임의 특징을 계산한다. 특징 기반의 방법들은 비교적 정확하면서도 자세한 프레임 특성을 도출할 수 있지만 상대적으로 많은 계산량을 요구하는 단점이 있다.
연속되는 비디오 시퀀스에서 움직임은 자연적으로 발생하게 되며, 이 움직임은 장면 전환을 판단하는 중요한 요소가 된다. 이러한 사실에 기인하여 움직임 정보를 이용한 몇 가지 장면 전환 판단 방법이 제안되었다. 움직임 기반 방법들은 카메라의 움직임, 움직임 벡터, 빛의 흐름 등을 이용한다.
보다 정확한 장면 전환 검출을 위해서 복수의 척도를 사용하는 방법도 연구되었다. Quenot와 Mulhem은 간소화된 윤곽선 분석 알고리즘에 따른 chi-square 검정의 컬러 히스토그램에 기반한 방법을 제안하였다. Gauch 등은 평균 밝기, 연속되는 프레임의 픽셀 변화, 컬러 분포의 변화 등 3가지 척도를 이용해서 장면 전환 검출을 수행하였다.
한 장의 영상은 일정한 크기의 정방영역으로 나뉘어져 각 영역에 대해 변환 처리를 행함으로써 영역내의 평균값으로부터 매우 정교한 최고주파수의 영상성분에 이르기까지 여러 주파수의 영상 성분으로 분할된다. 이런 영상의 직교변환은 다양한 방법이 제안되었는데 DCT(Discrete Cosine Transform)가 기존의 영상 압축 분야에서 많이 사용되었다. DCT의 장점은 변환 전에는 화면에 불규칙하게 퍼져 있던 화소값이 변환 후에는 저주파 항 쪽으로 집중되는 분포를 가진다는 것이다. 따라서 고주파 항들을 버리는 조작을 통해 정보손실이 거의 없이도 정보압축을 할 수 있게 되었다. MPEG이나 Motion JPEG의 경우 8×8블록의 크기에 대해서 2차원 DCT 변환을 사용한다. 이 때 DC 계수는 영상의 평균적인 밝기의 8배에 해당하는 값을 가지게 된다. DC 계수는 화면 전체에 대한 정보를 담고 있으므로 이러한 DC 계수가 프레임의 특성을 대체할 수 있다. 따라서 DC 계수를 이용한 장면 전환 검출이 가능해진다.
본 발명이 이루고자 하는 기술적 과제는 디지털 감시 카메라 시스템에서 저장된 감시 영상의 장면이 변화되는 부분을 확인하기 위한 자동 장면 전환 검출에 있다. 종래에 기술에서는 임계값 설정에 있어서 사용자의 개입이 필요한데, 이러한 개입은 자동적인 장면 전환 검출을 저해한다. 따라서 본 발명에서는 입력 프레임들의 정보를 이용하여 자동적으로 임계값을 설정함으로써 자동적인 장면 전환 검출을 수행하고 그 검출 결과를 효과적으로 표시 하는 방법을 다루고 있다.
본 발명이 이루고자 하는 다른 기술적 과제는,
연속된 입력의 두 프레임의 국부영역 차분 프레임의 합으로 특징값 1을 계산하고, 저역 통과 필터된 차분 히스토그램 평균으로 특징값 2를 계산하고,
특징값 1 및 특징값 2에 대하여 현재 입력 프레임을 기준으로 이후의 연속된 다섯 프레임과 이전 장면 전환 검출 프레임을 기준으로 하여 이후의 연속된 다섯 프레임의 슬라이딩 윈도우 구간에서의 평균을 계산하여 임계값 1 및 임계값 2로 계산하고,
특징값 1과 임계값 1, 특징값 2와 임계값 2를 각각 비교하여 모든 경우에서 특징값이 임계값보다 큰 경우에 장면 전환이 발생한 것으로 판단하여 자동적으로 장면 전환을 검출하기 위한 방법과 및 이 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는,
장면 전환 검출 결과를 확인하는 사용자가 빠르고 정확하게 식별하도록 출력 장치에 장면 전환 검출 결과를 표시하는 방법에 있어서, 인증값에 따라서 프레임의 특정 위치에 박스 테두리, 특정 기호, 특정 숫자를 이용해서 표시하는 장면 전환 검출 결과 식별 편의 향상 표시 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 방법은 a) 비디오 데이터가 입력되는 단계; b) 마지막 프레임인지 확인하는 단계; c) 상기 입력되는 프레임이 마지막 프레임인 경우에는 장면전환 검출을 종료하고, 마지막 프레임이 아닌 경우에는 다음 단계로 진행하는 단계; d) 상기 입력받은 연속된 두 프레임을 이용하여 특징값 1을 산출하는 단계; e) 상기 입력받은 연속된 두 프레임을 이용하여 특징값 2를 산출하는 단계; f) 상기 산출된 특징값 1을 이용하여 임계값 1을 산출하는 단계; g) 상기 산출된 특징값 2을 이용하여 임계값 2을 산출하는 단계; h) 상기 산출된 특징값 1이 임계값 1보다 크고 특징값 2가 임계값 2보다 크면 장면 전환이 발생했다라고 판단하고, 나머지 경우는 장면 전환이 발생하지 않았다고 판단하는 장면전환 판단 단계; i) 장면 전환이 발생한 경우 장면 전환 결과를 파일로 저장하는 단계; j) 장면 전환 결과의 신뢰도를 판단하기 위한 인증값을 계산하는 단계; k) 인증값에 따라서 장면 전환 결과를 분류하는 단계; l) 장면전환이 발생한 경우 상기 a)~k) 단계를 반복하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 결과 식별 편의 향상 표시 방법은, 1) 인증값에 따른 분류 결과를 토대로 출력 프레임 주변에 박스 테두리를 이용하여 표시하는 형태; 2) 인증값에 따른 분류 결과를 토대로 출력 프레임의 임의의 위치에 특정 기호를 이용하여 표시하는 형태; 3) 인증값에 따른 분류 결과를 토대로 출력 프레임의 임의의 위치에 특정 숫자를 이용하여 표시하는 형태; 4) 1), 2), 3)를 중복하여 사용하는 형태를 가지는 것을 특징으로 한다.
본 발명의 장면 전환 검출 방법은 동영상 내 프레임 간의 저역 통과 필터된 차분 히스토그램 평균을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임과 잡음에 대하여 강인하게 검출하도록 하여 정면 전환 검출의 미검출(missed detection)을 줄이는 효과가 있다.
본 발명의 장면 전환 검출 방법은 동영상 내 프레임 간의 국부영역 차분 프레임의 합을 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하며 부분적인 변화가 발생하는 영역에 대한 오검출(false alarm)을 줄이는 효과가 있다.
본 발명의 장면 전환 검출 방법은 임의의 구간의 슬라이딩 윈도우에서의 특징값을 이용하여 임계값을 산출하여 임계값의 정확도를 높이고, 추가적으로 임계값 계산을 위한 별도의 처리 없이 산출된 값들을 평균하는 것을 이용하여 계산량을 줄이고 처리 속도를 높이는 효과가 있다.
본 발명의 장면 전환 검출 방법은 감시 영상을 관리자가 수작업으로 확인하지 않고, 장면 전환 검출된 프레임들만 확인하도록 하여 업무의 효율성을 높이고, 감시 영상의 확인시간을 대폭 줄일 수 있는 효과가 있다.
본 발명의 장면 전환 검출 결과의 화면 표시 방법은 사용자가 한 눈에 검출 결과를 확인할 수 있고, 검출 결과 중에서 유의해서 보아야 할 부분들에게 특정 마킹이 되어 있어 의심되는 부분에 대한 빠른 확인을 할 수 있는 장점이 있다.
도 1은 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도.
도 2는 본 발명의 실시 예에 따른 임계값 설정 방법에 대한 예시도.
도 3은 본 발명의 실시 예에 따른 장면 전환 검출 결과 식별 편의 향상 표시 방법에 대한 예시도.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시 예들을 통해 상세히 설명하도록 한다.
장면 전환 검출 기술은 비디오 데이터의 장면 변화가 발생하는 경계를 검출하는 기술이다. 장면은 프레임들의 집합으로 구성되어 있으므로 장면 전환 검출 기술은 이전 장면과 다음 장면이 바뀌는 지점의 프레임을 검출해내는 기술을 의미한다.
장면이 전환되는 부분의 유형은 일반적으로 두 가지로 분류된다. 첫 번째는 연속되는 장면이 급격하게 변화하는 급진적인 장면 전환이다. 급진적인 변화는 두 장면 사이의 단순한 시간적 연결로 구성된다. 일반적으로 변화하는 정도가 크기 때문에 비교적 장면 전환 검출이 쉽다. 두 번째는 연속되는 장면이 서서히 변화하는 점진적인 장면 전환이다. 점진적인 변화는 두 장면 사이의 일정한 프레임들이 영상처리 기술에 의해서 중복되어 있다. 일반적으로 변화하는 정도가 작고 여러 프레임들에 걸쳐서 나타나기 때문에 급진적인 변화보다 검출이 어렵고, 검출하는 방법도 복잡하다.
도 1은 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도로서, 입력되는 영상의 장면 전환 프레임을 검출하기 위한 장면 전환 검출 방법을 도시한 것이다.
상기 본 발명의 실시 예에 따른 장면 전환 검출 방법은 비디오 프레임이 입력되는 단계(101), 마지막 프레임인지 확인하는 단계(102), 상기 입력된 프레임으로부터 국부영역 차분 프레임 합을 이용하여 특징값 1을 산출하는 단계(103), 상기 입력된 프레임으로부터 저역 통과 필터된 차분 히스토그램 평균을 이용하여 특징값 2를 산출하는 단계(104), 슬라이딩 윈도우 내에서 특징값 1을 이용하여 임계값 1을 산출하는 단계(105), 슬라이딩 윈도우 내에서 특징값 2을 이용하여 임계값 2를 산출하는 단계(106), 상기 산출된 특징값 1 및 2와 임계값 1 및 2를 비교하여 장면 전환을 판단하는 단계(107), 장면 전환 결과를 처리하는 단계(108), 인증값을 계산하는 단계(109), 인증값에 따라서 결과를 분류하는 단계(110)를 포함한다.
상기 비디오 프레임이 입력되는 단계(101)는 현재 입력 프레임을 기준으로 연속된 두 프레임을 입력 받는다.
상기 마지막 프레임인지 확인하는 단계(102)는 상기 연속된 두 프레임중 두 번째 프레임이 입력 프레임의 마지막 프레임인지를 판단하여 마지막 프레임인 경우에는 처리 절차를 종료하고, 마지막 프레임이 아닌 경우에는 다음 단계로 진행한다.
상기 입력된 프레임으로부터 국부영역 차분 프레임 합을 이용하여 특징값 1을 산출하는 단계(103)는 입력된 두 프레임의 국부영역 차분 프레임의 합을 계산하여 특징값 1을 계산한다. 여기에서 국부 영역은 원 영상을 가로로 4분할, 세로로 4분할하여 총 16개의 서브 블록(영역)으로 정의된다. 차분 프레임의 합은 아래의 식 (1)과 같이 정의된다.
Figure 112013017601171-pat00001
식 (1)에서 F1은 특징값 1이고, i는 프레임 넘버이며, j는 국부영역인덱스(0~15)이며, N는 국부 영역 가로의 크기이고, M는 국부 영역 세로의 크기이며, k와 l는 가로와 세로의 좌표이고, P(i,j)(k,l)는 i번째 프레임에서의 j번째 국부영역의 k,l 좌표 위치에서의 화소값이다. 특징값 1은 두 프레임을 이용한 한 번의 비교에서 총 16개가 생성된다.
상기 입력된 프레임으로부터 저역 통과 필터된 차분 히스토그램 평균을 이용하여 특징값 2를 산출하는 단계(104)는 상기 입력된 두 프레임을 각각 저역 통과 필터링한 상태에서 서로 차분하여 얻은 차분 히스토그램 평균을 계산하여 특징값 2를 산출한다. 여기에서 저역 통과 필터는 움직임이나 잡음 등의 영향에 강인한 검출을 위해서 가우시안 저역 통과 필터를 사용한다. 가우시안 저역 통과 필터는 아래의 식 (2)를 이용하여 정의된다.
Figure 112013017601171-pat00002
식 (2)에서 H(u,v)는 가우시안 필터, D(u,v)는 주파수 영역에서 점 (u,v) 사이의 거리, D0는 컷오프(cutoff) 주파수를 각각 의미하며, 차분 프레임의 정의는 아래의 식 (3)과 같이 되며,
Figure 112013017601171-pat00003
식 (3)에서 F2는 특징값 2이고, i는 프레임 넘버이고, j는 프레임의 밝기값이며, Hi(j)는 저역 통과 필터링된 i번째 프레임의 밝기값에 대한 히스토그램이다.
상기 슬라이딩 윈도우 내에서 특징값 1을 이용하여 임계값 1을 산출하는 단계(105)는 임의의 슬라이딩 윈도우 구간에서의 특징값 1의 평균값으로 임계값 1을 산출한다. 여기에서 슬라이딩 윈도우의 구간은 현재 입력 프레임을 기준으로 이후의 연속된 5프레임과 이전 장면 전환 검출 프레임을 기준으로 하여 이후의 연속된 5프레임으로 정의된다. 임계값 1은 아래의 식 (4)를 이용하여 정의된다.
Figure 112013017601171-pat00004
식 (4)에서 T1(i,j)는 i번째 프레임의 j번째 서브블록에서 임계값 1을 나타내며, F1(i,j)는 i번째 프레임의 j번째 서브블록에서 특징값 1이다.
식 (4)에서 평균보다 조금 작은 값이 나오는 경우에 대한 예외 처리를 위해서 슬라이딩 윈도우 크기보다 1이 작은 10으로 나누어 준다. 임계값 1의 계산에 있어서 해당 슬라이딩 윈도우에 프레임이 존재하지 않는 경우에는 존재하는 프레임의 값을 그대로 복사해서 사용한다.
상기 슬라이딩 윈도우 내에서 특징값 2를 이용하여 임계값 2를 산출하는 단계(106)는 임의의 슬라이딩 윈도우 구간에서의 특징값 2의 평균값으로 임계값 2를 산출한다. 여기에서 슬라이딩 윈도우의 구간은 현재 입력 프레임을 기준으로 이후의 연속된 5프레임과 이전 장면 전환 검출 프레임을 기준으로 하여 이후의 연속된 5프레임으로 정의된다. 임계값 2는 아래의 식 (5)를 이용하여 정의된다.
Figure 112013017601171-pat00005
식 (5)에서 T2i는 i번째 프레임에서 임계값 2를 나타내며, F2j는 j번째 프레임에서의 특징값 2이다.
식 (5)에서 평균보다 조금 작은 값이 나오는 경우에 대한 예외 처리를 위해서 슬라이딩 윈도우 크기보다 1이 작은 10으로 나누어 준다. 임계값 2의 계산에 있어서 해당 슬라이딩 윈도우에 프레임이 존재하지 않는 경우에는 존재하는 프레임의 값을 그대로 복사해서 사용한다.
도 2는 본 발명의 실시 예에 따른 임계값 설정 방법에 대한 예시도로서, 장면 전환 검출을 수행하고 있는 특정 위치의 프레임에서 임계값 1 및 2를 설정하는 방법을 도시한 것이다.
상기 임계값 1 및 2는 임의의 슬라이딩 윈도우 구간에서의 특징값 1 및 2의 평균값으로 정의된다. 상기 슬라이딩 윈도우의 구간은 현재 입력 프레임을 기준으로 이후의 연속된 5프레임과 이전 장면 전환 검출 프레임을 기준으로 하여 이후의 연속된 5프레임으로 정의된다. 도 2에 명시한 것과 같이 현재 입력 프레임 번호가 58인 경우 58과 59의 두 프레임의 비교를 통해서 특징값 F58을 산출한다. 그리고 슬라이딩 윈도우 구간은 58의 이후 5프레임인 59, 60, 61, 62, 63과 이전 장면 전환 검출 프레임이 33이라고 가정했을 때 33의 이후 5프레임인 34, 35, 36, 37, 38이 된다. 상기 슬라이딩 윈도우 구간에서의 임계값은 특징값들의 평균으로 계산되는데, 58번 프레임에서의 임계값 T58은 아래의 식 (6)과 같이 정의된다.
Figure 112013017601171-pat00006
즉, 슬라이딩 윈도우 구간에서의 특징값 F34, F35, F36, F37, F38, F58, F59, F60, F61, F62, F53의 평균으로 산출할 수 있다. 실제 평균을 위해서는 11로 나누어주어야 하지만 평균과 유사하지만 조금 작은 값을 가지는 경우에 대한 예외 처리를 위해서 본 발명에서는 10으로 나누어 평균을 계산한다.
상기 산출된 특징값 1 및 2와 임계값 1 및 2를 비교하여 장면 전환을 판단하는 단계(107)는 장면 전환을 판단함에 있어서, 산출된 특징값 1(F1)이 임계값 1(T1)보다 크고, 산출된 특징값 2(F2)가 임계값 2(T2)보다 큰 경우에만 장면 전환이라고 판단하고, 나머지 경우는 장면 전환이 발생하지 않았다고 판단한다.
상기 장면 전환 결과를 처리하는 단계(108)는 장면 전환이 발생한 경우에 해당 프레임을 화면에 출력하는 것 또는 프레임 넘버를 저장한다. 또한 장면 전환이 발생한 경우 다시 프레임 입력으로 돌아가서 상기 과정을 수행한다.
상기 인증값을 계산하는 단계(109)는 특징값과 임계값의 차이값으로 인증값을 계산한다.
상기 인증값에 따라서 결과를 분류하는 단계(110)는 인증값이 임계값의 2배보다 큰 경우에 ‘강한장면전환’으로 분류하고, 인증값이 임계값의 1.2배~2배 구간인 경우에 ‘약한장면전환’으로 분류하고, 인증값이 임계값의 1.2배보다 작은 경우에 ‘모호한장면전환’으로 분류한다.
도 3은 본 발명의 실시 예에 따른 장면 전환 검출 결과 식별 편의 향상 표시 방법에 대한 예시도로서, 실제 출력 장치에서 장면 전환 검출 결과를 표시하는 방법을 도시하고 있다.
본 발명에서는 장면 전환 검출 결과 식별 편의 향상 표시 방법으로 박스 테두리를 이용하는 방법, 특정 기호를 이용하는 방법, 특정 숫자를 이용하는 방법을 제시하고 있다.
박스 테두리를 이용한 표시 방법에서는, 강한장면전환인 경우 적색 테두리로, 약한장면전환인 경우 황색 테두리로, 모호한장면전환인 경우 녹색 테두리로 각각 표시할 수 있고,
특정 기호를 이용한 표시 방법에서는, 강한장면전환인 경우 별표 3개로, 약한장면전환인 경우 별표 2개로, 모호한장면전환인 경우 별표 1개로 각각 표시할 수 있고,
특정 숫자를 이용한 표시 방법에서는, 강한장면전환인 경우 숫자 3으로, 약한장면전환인 경우 숫자 2로, 모호한장면전환인 경우 숫자 1로 각각 표시할 수 있다.
이상에서는 본 발명에 따른 바람직한 실시 예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술 한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명 이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
101 : 연속된 프레임이 입력되는 단계
102 : 마지막 프레임인지 확인하는 단계
103 : 입력된 프레임으로부터 국부영역 차분 프레임 합을 이용하여 특징값 1을 산출하는 단계
104 : 입력된 프레임으로부터 저역 통과 필터된 차분 히스토그램 평균을 이용하여 특징값 2를 산출하는 단계
105 : 슬라이딩 윈도우 내에서 특징값 1을 이용하여 임계값 1을 산출하는 단계
106 : 슬라이딩 윈도우 내에서 특징값 2을 이용하여 임계값 2를 산출하는 단계
107 : 산출된 특징값 1 및 2와 임계값 1 및 2를 비교하여 장면 전환을 판단하는 단계
108 : 장면 전환 결과를 처리하는 단계
109 : 인증값을 계산하는 단계
110 : 인증값에 따라서 결과를 분류하는 단계

Claims (6)

  1. 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법에 있어서,
    a) 비디오 프레임이 입력되는 단계;
    b) 상기 입력되는 프레임이 마지막 프레임인지 확인하는 단계;
    c) 상기 입력되는 프레임이 마지막 프레임인 경우에는 장면전환 검출을 종료하고, 마지막 프레임이 아닌 경우에는 다음 단계로 진행하는 단계;
    d) 상기 입력되는 프레임 중에서 연속된 두 프레임을 이용하여 특징값 1을 산출하는 단계;
    e) 상기 입력되는 프레임 중에서 연속된 두 프레임을 이용하여 특징값 2를 산출하는 단계;
    f) 상기 산출된 특징값 1을 이용하여 임계값 1을 산출하는 단계;
    g) 상기 산출된 특징값 2를 이용하여 임계값 2를 산출하는 단계;
    h) 상기 산출된 특징값 1이 임계값 1보다 크고 특징값 2가 임계값 2보다 크면 장면 전환이 발생했다라고 판단하고, 나머지 경우는 장면 전환이 발생하지 않았다고 판단하는 장면전환 판단 단계;
    i) 장면 전환이 발생한 경우 장면 전환이 발생한 해당 프레임을 화면에 출력하거나 상기 해당 프레임의 넘버를 저장하는 단계;
    j) 장면 전환 결과의 신뢰도를 판단하기 위한 인증값을 계산하는 단계;
    k) 인증값에 따라서 장면 전환 결과를 분류하는 단계;
    l) 장면전환이 발생한 경우 상기 a)~k) 단계;를 반복하되,
    상기 특징값 1은,
    상기 연속된 두 프레임의 국부 영역 차분 프레임의 합으로 산출하되, 상기 국부 영역 차분 프레임 합은 아래의 식 (1)을 이용하여 산출되고,
    Figure 112014069243711-pat00007
    식 (1)

    (F1은 특징값 1이고, i는 프레임 넘버이며, j는 국부영역인덱스(0~15)이며, N는 국부 영역 가로의 크기이고, M는 국부 영역 세로의 크기이며, k와 l는 가로와 세로의 좌표이고, P(i,j)(k,l)는 i번째 프레임에서의 j번째 국부영역의 k,l 좌표 위치에서의 화소값이다.)
    상기 특징값 2는,
    상기 연속된 두 프레임을 각각 저역 통과 필터링한 상태에서 서로 차분하여 얻은 차분 히스토그램 평균으로 산출하되, 상기 차분 히스토그램 평균은 아래의 식 (2)에 의해 산출되고,
    Figure 112014069243711-pat00008
    식 (2)
    (F2는 특징값 2이고, i는 프레임 넘버이고, j는 프레임의 밝기값이며, Hi(j)는 저역 통과 필터링된 i번째 프레임의 밝기값에 대한 히스토그램이다.)
    상기 임계값 1은,
    슬라이딩 윈도우 구간에서의 특징값 1의 평균값으로 산출하되, 아래의 식 (3)에 의해 산출되고,
    Figure 112014069243711-pat00009
    식 (3)
    (T1(i,j)는 i번째 프레임의 j번째 서브블록에서 임계값 1을 나타내며, F1(i,j)는 i번째 프레임의 j번째 서브블록에서 특징값 1이다.)
    상기 임계값 2는,
    슬라이딩 윈도우 구간에서의 특징값 2의 평균값으로 산출하되, 아래의 식 (4)에 의해 산출되는 것을 특징으로 하는 자동 장면 전환 검출 방법.
    Figure 112014069243711-pat00010
    식 (4)
    (T2i는 i번째 프레임에서 임계값을 나타내며, F2j는 j번째 프레임에서의 특징값 2이다.)
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 국부 영역은,
    입력 영상을 가로로 4개의 분할, 세로로 4개의 분할, 총 16개의 서브 블록(영역)인 것을 특징으로 하고,
    상기 슬라이딩 윈도우 구간은,
    상기 연속된 두 프레임 중 첫 번째 입력 프레임을 기준으로 이후의 연속된 다섯 프레임과 이전 장면 전환 검출 프레임을 기준으로 하여 이후의 연속된 다섯 프레임인 것을 특징으로 하는 적응적 임계값을 이용한 자동 장면전환 검출 방법.
  5. 삭제
  6. 삭제
KR1020130021102A 2013-02-27 2013-02-27 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법 KR101430258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130021102A KR101430258B1 (ko) 2013-02-27 2013-02-27 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021102A KR101430258B1 (ko) 2013-02-27 2013-02-27 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법

Publications (1)

Publication Number Publication Date
KR101430258B1 true KR101430258B1 (ko) 2014-08-14

Family

ID=51750442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021102A KR101430258B1 (ko) 2013-02-27 2013-02-27 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법

Country Status (1)

Country Link
KR (1) KR101430258B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829560B1 (ko) * 2015-04-03 2018-02-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 칼만 필터를 기반으로 하는 용량 예측 방법, 시스템 및 컴퓨터 장치
CN114581824A (zh) * 2022-02-25 2022-06-03 南京邮电大学 一种基于视频检测技术的分拣中心异常行为的识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026631A (ko) * 2008-09-01 2010-03-10 부경대학교 산학협력단 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법
KR20100118811A (ko) * 2009-04-29 2010-11-08 부경대학교 산학협력단 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
KR20120010790A (ko) * 2010-07-27 2012-02-06 (주)자람테크놀로지 장면 전환 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026631A (ko) * 2008-09-01 2010-03-10 부경대학교 산학협력단 감시 카메라 시스템에서 장면 전환 검출 기술을 이용한 자동 색인과 감시 영상 차프레임 저장 방법
KR20100118811A (ko) * 2009-04-29 2010-11-08 부경대학교 산학협력단 감시 카메라 시스템의 관리를 위한 장면 전환 검출 방법과 장면 전환 검출 신뢰도 산출 방법 및 소프트웨어
KR20120010790A (ko) * 2010-07-27 2012-02-06 (주)자람테크놀로지 장면 전환 검출 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829560B1 (ko) * 2015-04-03 2018-02-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 칼만 필터를 기반으로 하는 용량 예측 방법, 시스템 및 컴퓨터 장치
US10437942B2 (en) 2015-04-03 2019-10-08 Baidu Online Network Technology (Beijing) Co. Ltd. Kalman filter based capacity forecasting method, system and computer equipment
CN114581824A (zh) * 2022-02-25 2022-06-03 南京邮电大学 一种基于视频检测技术的分拣中心异常行为的识别方法

Similar Documents

Publication Publication Date Title
CN109522854B (zh) 一种基于深度学习和多目标跟踪的行人流量统计方法
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
US9158985B2 (en) Method and apparatus for processing image of scene of interest
Hou et al. People counting and human detection in a challenging situation
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
Guan Spatio-temporal motion-based foreground segmentation and shadow suppression
Bayona et al. Comparative evaluation of stationary foreground object detection algorithms based on background subtraction techniques
US20120087573A1 (en) Eliminating Clutter in Video Using Depth Information
CN110298297B (zh) 火焰识别方法和装置
Ren et al. Fusion of intensity and inter-component chromatic difference for effective and robust colour edge detection
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
CN109712158A (zh) 一种基于目标背景像元统计约束的红外小目标捕获方法
Patel et al. Moving object tracking techniques: A critical review
KR101437584B1 (ko) 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 결과 표시 장치
Safaei et al. Real-time search-free multiple license plate recognition via likelihood estimation of saliency
Hu et al. A novel approach for crowd video monitoring of subway platforms
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
Hassan et al. Enhanced people counting system based head-shoulder detection in dense crowd scenario
Hou et al. Automated people counting at a mass site
KR101430258B1 (ko) 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
KR101430257B1 (ko) 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 장치
Ye et al. Moving object detection with background subtraction and shadow removal
Fradi et al. Sparse feature tracking for crowd change detection and event recognition
CN112329572B (zh) 一种基于边框和闪光点的快速静态活体检测方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6