KR20130104579A - 카메라 템퍼링 감지 방법 및 시스템 - Google Patents

카메라 템퍼링 감지 방법 및 시스템 Download PDF

Info

Publication number
KR20130104579A
KR20130104579A KR1020120026195A KR20120026195A KR20130104579A KR 20130104579 A KR20130104579 A KR 20130104579A KR 1020120026195 A KR1020120026195 A KR 1020120026195A KR 20120026195 A KR20120026195 A KR 20120026195A KR 20130104579 A KR20130104579 A KR 20130104579A
Authority
KR
South Korea
Prior art keywords
image
value
camera
sum
tempering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120026195A
Other languages
English (en)
Other versions
KR101758685B1 (ko
Inventor
최은지
임정은
장일권
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120026195A priority Critical patent/KR101758685B1/ko
Priority to US13/796,107 priority patent/US9230176B2/en
Publication of KR20130104579A publication Critical patent/KR20130104579A/ko
Application granted granted Critical
Publication of KR101758685B1 publication Critical patent/KR101758685B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 카메라 템퍼링 감지 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따르면, 연속적인 영상에서 전경 영역을 검출한 후, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율을 산출하는 단계; 상기 영상에서, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 모든 수평 행에 대한 상기 최대치의 합계의 변화 추이를 모니터링하는 단계; 상기 영상에서 글로벌 모션 값(global motion vector)을 산출하는 단계;를 포함하고, 상기 전경 영역의 비율이 특정 기준값을 초과하거나, 상기 최대치의 합계가 일정 시간동안 변화된 값을 유지하거나, 상기 글로벌 모션 값의 합산값이 기준치를 초과하는 경우 카메라 템퍼링(camera tampering)이 발생한 것으로 판단하는 카메라 템퍼링 감지 방법이 제공된다.

Description

카메라 템퍼링 감지 방법 및 시스템{METHOD, SYSTEM FOR DETECTING CAMERA TAMPERING}
본 발명은 카메라 템퍼링 감지 방법 및 시스템에 관한 것으로, 보다 상세하게는 전경 비율 값이 기준치를 초과하거나, 영상에서 픽셀값의 차이가 변화를 보인 후 일정 시간 이상 지속되거나, 글로벌 모션 값이 기준치를 초과하는 경우 카메라 템퍼링이 발생한 것으로 감지하는 카메라 템퍼링 감지 방법 및 시스템에 관한 것이다.
영상 감시 시스템은 감시가 필요한 여러 장소에 카메라를 설치하고 카메라로부터 획득된 영상들을 모니터로 전송하거나 저장장치에 저장하여 실시간 감시 및 사후 검색을 수행할 수 있도록 해주는 시스템이다.
최근 사회 전반적으로 영상 감시에 대한 요구가 증가하면서, 늘어나는 시스템에 비해 이를 관리하는 인력 부족 현상을 해소하기 위하여, 사람을 대신해 영상 내의 움직임을 감지하거나, 물체를 추적하거나, 얼굴 인식 기능을 사용하는 지능형 영상 분석 기술들이 개발되고 있다.
이러한 영상 분석 기법은 영상 정보로부터 움직이는 물체를 감지하거나 이 물체의 행동을 분석하는 기능을 포함한다. 영상 분석 기법은 침입/도난 감시, 움직이는 물체의 감시 등 보안 시스템의 관리 인력을 대체 또는 보조할 수 있어 감시 시스템의 효율성을 높이는 데 도움을 준다.
카메라 템퍼링(camera tampering) 검출은 영상 분석 기법 중의 하나로, 설치된 감시 카메라가 인위적으로 조작 또는 훼손되는 경우, 또는 나뭇잎, 바람 등의 영향으로 비인위적으로 카메라 시야가 가리게 되는 경우를 감지하는데 시용된다.
카메라 템퍼링 검출은 카메라의 설치 위치 및 각도 변화, 카메라 화면 가림, 전원 꺼짐 등을 감지하여 관리자에게 알려줌으로써 범죄 예방 빛 설비시설에 예기치 않은 문제가 생길 경우에 사용자에게 알려주는 역할을 하고 있다.
또한, 일반적인 감시 시스템에서는 여러 장소에 카메라를 설치하고 설치된 다수의 카메라들로부터 영상을 획득한다. 이렇게 여러 대의 카메라로부터 획득된 영상 신호는 관리의 편리성을 위해 DVR, NVR과 같은 장치에 연결되며, 사용자는 다채널을 동시에 관리한다.
본 발명은 전경 비율 값이 기준치를 초과하거나, 영상에서 픽셀값의 차이가 변화를 보인 후 일정 시간 이상 지속되거나, 글로벌 모션 값이 기준치를 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단함으로써, 다양한 카메라 템퍼링 상황을 오차없이 검출해내는 것을 일 목적으로 한다.
또한, 본 발명은 다채널 영상 감시 환경에서 다채널의 영상을 하나로 조합하여 카메라 템퍼링을 검출함으로써 시스템의 자원을 효율적으로 사용하는 것을 다른 목적으로 한다.
본 발명의 일 실시예에 따르면, 연속적인 영상에서 전경 영역을 검출한 후, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율을 산출하는 단계; 상기 영상에서, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 모든 수평 행에 대한 상기 최대치의 합계의 변화 추이를 모니터링하는 단계; 상기 영상에서 글로벌 모션 값(global motion vector)을 산출하는 단계;를 포함하고, 상기 전경 영역의 비율이 특정 기준값을 초과하거나, 상기 최대치의 합계가 일정 시간동안 변화된 값을 유지하거나, 상기 글로벌 모션 값의 합산값이 기준치를 초과하는 경우 카메라 템퍼링(camera tampering)이 발생한 것으로 판단하는 카메라 템퍼링 감지 방법이 제공된다.
본 발명에 있어서, 상기 영상에서 글로벌 모션 값(global motion vector)을 산출하여 카메라 탬퍼링 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 글로벌 모션값을 산출하여 카메라 탬퍼링 여부를 판단하는 단계는, 각 필셀에서의 글로벌 모션 값을 합산하여 상기 합산값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경 영역을 검출하기 위해, 상기 영상에서 움직임이 존재하는 영역을 전경 영역으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 합계의 변화 추이를 모니터링하는 단계는, 상기 영상의 수평 행에서 인접한 위치의 픽셀값의 차이의 최대치를 구하는 단계; 상기 영상의 모든 수평 행에 대하여 상기 최대치의 합계를 구하는 단계; n 프레임의 상기 합계에 가중치 w를 곱하고, n-1 프레임의 상기 합산값에 가중치 (1-w)를 곱한 후 더하여 상기 합계의 가중치 평균값을 구하는 단계; 상기 평균값이 기준치 이하로 떨어진 순간부터 상기 최대치의 합계값의 변화가 일정 시간 이상 지속되는지 여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 연속적인 영상에서 전경 영역을 검출한 후, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율을 산출하는 전경 비율 검출부; 상기 영상에서, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 모든 수평 행에 대한 상기 최대치의 합계의 변화 추이를 모니터링하는 픽셀값 차이 검출부; 상기 전경 영역의 비율이 특정 기준값을 초과하거나, 상기 합계가 일정 시간동안 변화된 값을 유지하는 경우 카메라 템퍼링(camera tampering)이 발생한 것으로 판단하는 카메라 템퍼링 감지 시스템이 제공된다.
본 발명에 있어서, 상기 영상에서 글로벌 모션 값을 산출하여 카메라 탬퍼링 여부를 판단하는 글로벌 모션 검출부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 글로벌 모션 검출부는, 각 필셀에서의 글로벌 모션 값을 합산하여 상기 합산값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 전경 영역을 검출하기 위해, 상기 영상에서 움직임이 존재하는 영역을 전경 영역으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 픽셀값 차이 검출부는, 상기 영상의 수평 행에서 인접한 위치의 픽셀값의 차이의 최대치를 구하고, 상기 영상의 모든 수평 행에 대하여 상기 최대치의 합계를 구한 후, n 프레임의 상기 합계에 가중치 w를 곱하고, n-1 프레임의 상기 합산값에 가중치 (1-w)를 곱한 후 더하여 상기 합계의 가중치 평균값을 구하여, 상기 평균값이 기준치 이하로 떨어진 순간부터 상기 최대치의 합계값의 변화가 일정 시간 이상 지속되는지 여부를 판단하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 다수의 카메라로부터 복수개 채널의 입력 영상을 획득하는 단계; 상기 복수개 채널의 입력 영상을 하나의 영상으로 조합하는 단계; 상기 조합된 하나의 영상에 대해 전처리를 행하는 단계; 상기 전처리된 영상을 바탕으로 상기 복수개 채널별 영상에 대하여 카메라 템퍼링을 감지하는 단계; 를 포함하는 카메라 템퍼링 감지 방법이 제공된다.
본 발명에 있어서, 상기 카메라 템퍼링을 감지하는 단계는, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율이 특정 기준값을 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라 템퍼링을 감지하는 단계는, 상기 영상에서 픽셀값 차이가 일정 시간 동안 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라 템퍼링을 감지하는 단계는, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 상기 영상의 수평 행 전체에 대한 상기 최대치의 합계를 구한 후, 특정 프레임까지의 상기 합계의 평균이 일정치 이하로 떨어지면 일정 시간 동안 상기 합계의 변화 추이가 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라 템퍼링을 감지하는 단계는, 상기 영상의 글로벌 모션 값을 합산하여 상기 글로벌 모션 값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면,다수의 카메라로부터 복수개 채널의 입력 영상을 획득하는 영상 입력부; 상기 복수개 채널의 입력 영상을 하나의 영상으로 조합하는 영상 조합부; 상기 조합된 하나의 영상에 대해 전처리를 행하는 영상 전처리부; 상기 전처리된 영상을 바탕으로 상기 복수개 채널별 영상에 대하여 카메라 템퍼링을 감지하는 영상 분석부; 를 포함하는 카메라 템퍼링 감지 시스템이 제공된다.
본 발명에 있어서, 상기 영상 분석부는, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율이 특정 기준값을 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 분석부는, 상기 영상에서 픽셀값 차이가 일정 시간 동안 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 분석부는, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 상기 영상의 수평 행 전체에 대한 상기 최대치의 합계를 구한 후, 특정 프레임까지의 상기 합계의 평균이 일정치 이하로 떨어지면 일정 시간 동안 상기 합계의 변화 추이가 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 분석부는, 상기 영상의 글로벌 모션 값을 합산하여 상기 글로벌 모션 값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 한다.
본 발명에 의하면 전경 비율 값이 기준치를 초과하거나, 영상에서 픽셀값의 차이가 변화를 보인 후 일정 시간 이상 지속되거나, 글로벌 모션 값이 기준치를 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단함으로써, 다양한 카메라 템퍼링 상황을 오차없이 검출해낼 수 있다.
또한, 본 발명은 다채널 영상 감시 환경에서 다채널의 영상을 하나로 조합하여 카메라 템퍼링을 검출함으로써 시스템의 자원을 효율적으로 사용할 수 있다.
도 1은 기존의 카메라 템퍼링 감지 기능을 제공하는 감시 카메라 시스템의 구성을 간략히 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 템퍼링 감지 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 분석부의 내부 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 픽셀 값 차이의 최대치를 구한 후, 최대치의 합계를 구하는 것을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 평균 최대치값의 변화 추이를 관찰할 수 있는 그래프를 예시적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 카메라의 각도에 따라 글로벌 모션 값을 산출하는 방법을 예시하는 도면이다.
도 7은 본 발명의 일 실시예에 따라 영상을 조합하여 영상을 분석하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 영상 분석부의 내부 구성요소에서 조합된 영상을 처리하는 방법을 간략히 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 카메라 템퍼링을 감지하는 과정을 간략히 나타낸 순서도이다.
도 10은 본 발명의 일 실시예에 따라 카메라 템퍼링을 감지하기 위한 구체적인 과정을 나타낸 순서도이다.
도 11은 본 발명의 일 실시예에 따라 픽셀값 차이 검출부가 카메라 탬퍼링이 발생하였는지 여부를 판단하는 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 기존의 카메라 템퍼링 감지 기능을 제공하는 감시 카메라 시스템의 구성을 간략히 나타내는 도면이다.
도 1의 (a)를 참조하면, 기존의 감시 카메라 시스템에서 촬상 대상의 영상을 획득하고 영상을 가공 및 출력하는 과정을 알 수 있다. 먼저 (a)와 같은 감시 카메라(1)에서는, 촬상 대상의 이미지를 카메라(1)에 내장된 이미지 센서와 같은 영상 검지 디바이스에서 전기적인 영상신호로 출력 및 변환한다. 그 후 감시 시스템은 카메라(1)로부터 획득한 전기적 영상신호를 디코더(2)에서 디코딩 하고, 마이크로프로세서 유닛(3)(Micro Processor Unit)에서 카메라 템퍼링을 감지하는 영상 분석을 행한다. 다음으로, 영상을 인코더(4)에서 인코딩하여 출력한다.
혹은, 도 1의 (b)와 같은 일반적인 DVR 감시 시스템에서는 복수개의 감시 카메라(1a, 1b, 1c,...)로부터 얻은 다채널의 영상을 디코더(2)에서 디코딩한다. 그 후 마이크로 프로세서(3a, 3b, 3c,...)에서 개별 채널의 영상에 대하여 카메라 템퍼링 감지 분석을 행한다.
마이크로 프로세서(3a, 3b, 3c,...)가 다채널의 영상을 분석 및 처리하기 위해서는, 각 채널별로 마이크로 프로세서(3a, 3b, 3c,...)가 할당되어 각 채널별 영상 분석 및 처리를 행하거나 혹은 다채널 영상 분석이 가능한 고성능의 마이크로 프로세서(3)를 사용하여야 한다. 그 후 인코더(4)는 영상 분석이 이루어진 영상을 인코딩하고, 인코딩된 영상을 출력한다.
도 2는 본 발명의 일 실시예에 따른 카메라 템퍼링 감지 시스템의 구성을 나타낸 도면이다.
도 2는 참조하면, 본 발명의 일 실시예에 따른 카메라 템퍼링 감지 시스템은 영상 입력부, 영상 조합부(200), 영상 전처리부(310) 및 영상 분석부(330)를 포함하는 영상 처리부(300), 영상 출력부(400)를 포함하는 것을 알 수 있다.
먼저, 카메라(10a, 10b, 10c,...)는 촬상 대상의 이미지를 얻을 수 있는 촬상 장치로서 본 발명의 일 실시예에 따르면 카메라(10a, 10b, 10c,...)는 복수대가 구비되어 다채널의 영상을 제공할 수 있다. 본 발명의 바람직한 실시예에 따르면, 본 발명의 카메라(10a, 10b, 10c,...)는 감시 시스템을 위한 것으로서 감시 대상이 되는 지점에 설치되는 cctv, 캠코더 등의 촬상 장치일 수 있다. 또한, 카메라는 촬상 결과물을 전기적인 영상 신호로 변환하는 이미지 센서(11a, 11b, 11c)를 포함한다.
다음으로, 영상 입력부(100)에서는 다수의 카메라(10a, 10b, 10c,...)로부터 제공된 입력 데이터를 아날로그 신호로부터 디지털 신호로 변환한다. 비록 도 3에서는 각 채널에 대응하는 영상 입력부(100)가 카메라(10)의 외부에 존재하는 것으로 나타나있지만, 영상 입력부(100)는 각 카메라(10) 내부에 이미지 센서(11)와 함께 구비될 수 있다. 또한, 영상 입력부(100)는 아날로그 입력 영상을 디지털 영상으로 변환하기 위해 디코더(100a)를 포함할 수 있다.
다음으로, 영상 조합부(200)는 다수개의 감시 카메라가 다수개의 채널 영상을 생성하는 경우에, 영상 입력부에서 전송받은 여러 채널의 영상을 하나의 영상으로 조합할 수 있다. 다수개의 채널 영상을 하나의 영상으로 조합하는 경우 후술할 영상 처리부(300)에서 카메라 템퍼링을 감지할 때 시스템의 자원을 효율적으로 사용할 수 있다. 영상 조합부(200)에서는 다채널의 영상을 입력 영상의 개수와 사용자가 지정한 다채널 영상 출력 방법의 설정에 따라 하나의 영상으로 조합한다.
다만, 카메라의 개수가 하나이거나 채널이 유일한 경우 혹은 다수개의 입력 영상을 처리하기에 시스템의 자원이 충분한 경우에는 영상 조합부(200)에서 영상을 조합하지 않고 각 채널 영상별로 영상 처리부(300)에서 카메라 템퍼링을 감지할 수도 있다.
다음으로, 영상 처리부(300)는 입력 영상에서 카메라 템퍼링이 발생하였는지 여부를 감지하는 역할을 한다. 영상 처리부(300)는 영상 전처리부(310) 및 영상 분석부(330)를 포함하며, 영상 분석부(330)는 배경 생성부(331), 전경 및 물체 검출부(332), 카메라 템퍼링 검출부(333)를 포함한다.
영상 전처리부(310)는 영상들에 대하여 영상 분석을 행하기 전에 필요한 전처리를 수행한다. 전처리 방법에는 영상의 크기 변환, 색상 공간 변환, 색상 차원의 변환 등의 방법이 사용될 수 있다. 상술한 바와 같이, 다채널의 영상이 입력되었을 때 영상 조합부(200)에서 하나로 조합된 영상에 대해 전처리를 행하는 경우 각 채널별로 모든 영상을 처리할 때보다 처리 속도를 높을 수 있다.
다음으로, 영상 분석부(330)는 전처리된 영상을 바탕으로 카메라 템퍼링 감지 분석을 수행하게 되며, 영상 분석부(330)를 구성하는 배경 생성부(331), 전경 및 물체 검출부(332), 카메라 템퍼링 검출부(333)에서 순차적으로 카메라 템퍼링을 감지한다. 영상 분석부(330)는 영상 조합부(200)에서 조합한 영상 전체에 대하여 카메라 템퍼링을 감지할 수 있지만, 본 발명의 다른 일 실시예에서는 각 채널 영상별로 카메라 템퍼링을 감지할 수도 있다.
배경 생성부(331)는 전처리된 영상을 이용하여 변화가 없는 영역, 즉 배경이라 판단되는 영역을 검출한다. 배경을 판단하는 방법으로는 영상 프레임간 차이 값, LBP 히스토그램, 가우시안 혼합 모델 등 다양한 방법이 이용될 수 있다.
전경 및 물체 검출부(332)는 전처리된 조합 영상을 이용해 생성된 배경 영상을 제외한 움직이는 영역에 대해 검출하고, 이중 실제로 움직이는 물체 영역을 판단 및 생성한다.
다음으로, 템퍼링 검출부(333)는 각 영상 채널 별로 이벤트 발생 여부를 판단하여 하나의 조합된 영상에서 각 채널 별로 해당하는 영역을 구분하여 검출한다. 템퍼링 검출은 각 채널 영상의 상세한 정보를 필요로 하므로, 각 채널 별로 검출하는 것을 특징으로 한다.
템퍼링 검출부(333)는 전경 비율 검출부(333a), 픽셀값 차이 검출부(333b), 글로벌 모션 검출부(333c)를 포함한다. 템퍼링 검출부(333)가 영상에서 템퍼링을 감지하는 구체적인 구성은 후술하기로 한다.
마지막으로, 영상 출력부(400)는 각 채널 별 영상 분석 결과를 하나의 통합 영상에 표시하여 출력한다. 영상 출력부(400)는 영상 자체를 출력할 뿐 아니라 영상 분석부(330)에서 유의한 카메라 템퍼링 결과를 검출한 경우에는 영상과 함께 사용자에게 알림을 제공할 수도 있다.
또한, 영상 출력부(400)는 인코더(410)와 송출부(420)를 포함한다. 인코더(410)는 영상을 출력 가능하도록 하기 위해 디코딩된 영상을 다시 인코딩하고, 송출부(420)는 인코딩된 영상을 외부 기기를 통해 사용자가 볼 수 있도록 출력 신호를 생성하여 송출한다.
도 3은 본 발명의 일 실시예에 따른 영상 분석부(330)의 내부 구성을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 분석부(330)는 전경 비율 검출부(333a), 픽셀 값 차이 검출부, 글로벌 모션 검출부(333c)를 포함한다.
먼저, 전경 비율 검출부(333a)는 배경 생성부(331) 및 전경 및 물체 검출부(332)에서 생성한 전경 영역의 결과를 이용하여 영상 대비 전경의 비율을 산출한다. 전경 영역에 해당하는 픽셀수 수를 F라 하고, 한 채널 영상의 전체 픽셀 수를 T라 하면 전체 영상 대비 전경의 비율(ratio)은 다음과 같은 [수학식 1]로 나타낼 수 있다.
[수학식 1]
Figure pat00001
이때, 전체 영상 대비 전경의 비율(ratio)이 기설정된 기준치 이상일 경우에는 카메라 각도의 극심한 변경 등의 변화가 일어났음을 뜻한다. 일반적으로 감시카메라에서 전경의 비율이 변하는 이유는 동물과 같은 움직이는 물체가 감시 범위 안에 등장하였거나, 바람의 영향 등으로 나뭇가지가 흔들리는 일이 발생한 경우이다. 이러한 이벤트의 발생은 영상 중에서 일부 영역에만 국한되는 것이 대부분이므로, 전경의 비율 변화도 크지 않다.
그러나, 카메라 템퍼링과 같이 카메라의 각도를 다른 방향으로 수정한다거나 카메라를 다른 물체를 사용하여 가리는 등의 경우에는, 전경의 비율은 영상 전체에 대해서 존재하는 것으로 감지되게 된다. 따라서, 전경 비율 검출부(333a)는 전경의 비율 변화가 극심한 정도(예시적으로, 90%)라고 관측되는 경우, 카메라 템퍼링이 일어났다고 판단할 수 있다.
다음으로, 픽셀값 차이 검출부(333b)는 영상의 픽셀 값에 변화가 있고, 이러한 변화가 일정 수준 이상의 값으로 지속되는 경우 카메라 템퍼링이 발생하였다고 감지한다.
구체적으로, 먼저 픽셀값 차이 검출부(333b)는 영상의 수평 행을 기준으로 인접한 픽셀간의 픽셀 값 차이의 최대치를 구한다. 특정 프레임에서 각 수평 행마다 구한 최대치를
Figure pat00002
이라 하면, 모든 행의 최대치의 합을
Figure pat00003
이라 둘 때,
Figure pat00004
은 다음과 같은 [수학식 2]로 표현될 수 있다.
[수학식 2]
Figure pat00005
이렇게 구한
Figure pat00006
값은 일정 프레임 간격으로 평균값에 현재의 값을 반영하여
Figure pat00007
의 평균값을 업데이트할 수 있다. 즉, 첫번째 프레임에서 최대치의 합을
Figure pat00008
이라 할 때, 두번째 프레임에서 최대치의 합은
Figure pat00009
이다. 이 경우, 두번째 프레임까지의 최대치의 합의 평균값은
Figure pat00010
Figure pat00011
에 일정 비율을 곱하여 평균한 값이라고 둘 수 있다.
이러한 방식으로
Figure pat00012
의 평균값을 모든 프레임에 대하여 산출한 결과는 아래와 같은 [수학식 3]으로 나타낼 수 있다.
[수학식 3]
Figure pat00013
Figure pat00014
Figure pat00015
즉,
Figure pat00016
은 n-1 프레임까지의 평균값과 n번째 프레임의 최대치의 합을 일정 가중치를 곱하여 합산한 값을 뜻한다.
Figure pat00017
값을 각 프레임에 대해 업데이트하면 시간의 변화에 따른 매 프레임에서 픽셀값 차이의 추이를 관찰할 수 있다.
만약,
Figure pat00018
이 기설정된 일정 기준치 이하로 떨어지면 일정 시간 동안의
Figure pat00019
의 변화 추이를 계속 관찰한다. 업데이트 중단 후 변화가 짧은 시간 동안 발생하였다가 사라지면 이것은 큰 물체가 순간적으로 지나가는 것과 같은 일시적인 변화라 볼 수 있으므로 다시 평균값 업데이트를 수행하고 관찰을 계속한다.
그러나, 사용자가 설정한 기설정된 기준 시간 이상 변화된 값이 지속되면, 이는 기존의 촬영하던 영상에서 캄라 각도변화, 화면 가림, 전원 꺼짐 등과 같은 큰 변화가 발생하여 지속되었다는 의미이므로 픽셀값 차이 검출부(333b)는 카메라 템퍼링이 발생한 것으로 판단한다.
도 4는 본 발명의 일 실시예에 따라 픽셀 값 차이의 최대치를 구한 후, 최대치의 합계를 구하는 것을 예시적으로 나타낸 도면이다.
도 4를 참조하면, 픽셀값 차이 검출부(333b)가 영상의 수평 행을 기준으로 인접한 픽셀간의 픽셀 값 차이를 산출하고 있는 것을 알 수 있다. 즉, 도 4의 (a)를 보면 영상의 수평 행에서 픽셀 값은 5, 6, 6, 10, 50,...등으로 나타나며, 아래에 픽셀값 차이 검출부(333b)가 인접한 픽셀값의 차를 1, 0, 4, 40,...으로 계산한 것을 알 수 있다. 도 4의 (a)의 수평 행에서 픽셀값 차이의 최대치는 40이므로, 해당 행의 픽셀값 차이의 최대치는 40이라 둘 수 있다.
또한, 도 4의 (b)도 이와 마찬가지로 영상의 수평 행에서 픽셀값이 30, 35, 40, 45, 40, 46, 39,...일 때, 픽셀값 차이 검출부(333b)가 계산한 인접한 필셀값의 차는 5, 5, 5, 5, 4, 7,...이다. 도 4의 (b)의 경우에 해당하는 수평행에서 픽셀값의 차이의 최대치가 7이다.
픽셀값 차이 검출부(333b)는 도 4와 같은 예시에서 각 픽셀값 차의 최대치의 합을 모든 수평행에 대해 합산하는 연산을 수행한다. n번째 프레임에 대해 특정 수평행의 픽셀값의 차이의 최대치를 구하여, 모든 수평행에 대해 최대치의 합을 구한 것이
Figure pat00020
이 된다.
도 5는 본 발명의 일 실시예에 따라 평균 최대치값의 변화 추이를 관찰할 수 있는 그래프를 예시적으로 나타낸 도면이다.
도 5를 참조하면, 그래프에서 가로축은 시간, 세로축은 픽셀 그래프에서 점선은
Figure pat00021
의 값을 나타내는 선이고, 실선은
Figure pat00022
의 값을 나타낸는 선인 것을 알 수 있다.
Figure pat00023
은 n프레임까지의
Figure pat00024
의 가중 평균값이므로 완만한 그래프 형태를 나타낸다.
그래프에서 나타난 바와 같이, 평균 최대치값
Figure pat00025
의 값이 일정 기준치 이하로 감소하면 픽셀값 차이 검출부(333b)는
Figure pat00026
값을 관찰하여 변화된 값이 일정 시간 이상 지속되는 경우 카메라 템퍼링이 감지되었다고 판단한다.
다음으로, 글로벌 모션 검출부(333c)에서는 영상에 대해 글로벌 모션 값(global motion vector)을 산출하고, 산출된 글로벌 모션 값을 합산하여 그 합산의 절대값이 기준치 이상인 경우에는 카메라 템퍼링이 발생한 것으로 판단한다. 글로벌 모션 값(global motion vector)은 다수의 영역에서 움직임 벡터를 추정하여 종합한 전역 움직임 벡터값을 지칭한다. 즉, 글로벌 모션 검출부(333c)에서는 움직임의 값에 큰 변화가 있거나 지속적인 변화가 발생할 경우 인위적 또는 비인위적으로 카메라를 조작한 것으로 간주하고 카메라 템퍼링이 발생한 것으로 판단한다.
영상으로부터 글로벌 모션 값을 구할때에는 영상의 에지(edge) 성분을 이용한 방법, 오버 플로우(over flow)값을 이용하는 방법 등 다양한 방법을 사용할 수 있다. 글로벌 모션 검출부(333c)는 글로벌 모션 값을 참조하여 상하좌우의 움직임 정도를 수치로 산출할 수 있다.
현재 위치를 기준인 원점으로 하여 일정 시간 t 동안 움직인 좌우방향의 글로벌 모션 값을
Figure pat00027
라 두고, 상하방향의 글로벌 모션 값을
Figure pat00028
라고 두면, t 시간 동안의 글로벌 모션 값의 합은 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
Figure pat00029
Figure pat00030
[수학식 4]를 참조하면,
Figure pat00031
,
Figure pat00032
의 값이 0에 수렴할수록 카메라 템퍼링의 가능성이 낮다고 판단할 수 있다. 즉, t=1에 글로벌 모션 값이 x1=-1 일때, t=2에 글로벌 모션 값이 x2=+1이면
Figure pat00033
의 값은 0이 된되고, 이 경우 카메라 템퍼링은 발생하지 않았다고 판단한다.
즉,
Figure pat00034
,
Figure pat00035
의 값이 0에 수렴할수록 강풍이나 눈, 비와 같은 환경요소에 의한 일시적 상하좌우 떨림에 의해 카메라의 위치가 변경되었을 가능성이 크다. 따라서 글로벌 모션 검출부(333c)는
Figure pat00036
혹은
Figure pat00037
의 값이 (+) 방향이나 (-) 방향으로 값이 커지는 경우에만 고의에 의한 카메라 조작으로 간주하여 카메라 템퍼링이 감지되었다고 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따라 카메라의 각도에 따라 글로벌 모션 값을 산출하는 방법을 예시하는 도면이다.
도 6을 참조하면, 글로벌 모션 검출부(333c)는 일정 시간 동안 동일한 카메라의 각도가 시간에 따라 변화하였을 때 각각의 카메라 각도를 글로벌 모션 값으로 수치화하여 산출할 수 있다. 도 6의 (b)가 올바른 기준 위치라고 둘 때, 카메라가 (b)의 각도를 가질 때는 글로벌 모션 값은 0이다. 이와 대조적으로, 글로벌 모션 검출부(333c)는 도 6의 (a) 경우와 같이 카메라가 왼쪽 방향으로 틀어진 경우 글로벌 모션 값을 -2로 둘 수 있고, 도 6의 (c) 경우와 같이 카메라가 오른쪽 방향으로 틀어진 경우 글로벌 모션 값을 +2로 둘 수 있다. 이 경우 일정 시간 t 동안 카메라의 위치가 (b), (a), (c)와 같이 변화하였다면 글로벌 모션 값의 합
Figure pat00038
는 0이 되므로, 카메라 템퍼링이 발생하지 않은 것으로 판단할 수 있다.
한편, 감시 카메라가 복수대인 경우 본 발명의 카메라 템퍼링을 검출하기 위해서는 다채널을 처리하기 위해 복수대의 영상 처리 장치가 필요하거나 혹은 하나의 장치에서 다채널을 처리할 수 있는 고성능 영상 처리 장치가 필요하다. 이에 반해, 본 발명의 일 실시예에 따른 카메라 템퍼링 감지 시스템은 다수개의 채널을 하나로 조합하여 영상을 처리할 수 있도록 한다.
도 7은 본 발명의 일 실시예에 따라 영상을 조합하여 영상을 분석하는 과정을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 카메라 템퍼링 감지 시스템에서 각 구성요소에 대응하는 다채널 영상의 상태가 아래에 나타나있음을 알 수 있다. 먼저, 도 7을 참조하면 영상 입력부(100)에 9개의 개별 영상이 입력되는 것을 알 수 있다. 영상들은 각각에 대응하는 카메라(10)에서 획득한 것으로, 하나의 카메라에서 얻은 영상은 하나의 채널을 점유할 수 있다. 영상 입력부(100)는 각각의 영상을 입력받은 후 디코딩한다.
다음으로, 영상 조합부(200)는 영상 입력부가 받은 각 채널의 영상을 하나의 영상으로 조합한다. 도 7에서는 9개의 영상을 하나로 조합하여 하나의 영상을 생성하였다. 영상을 조합하는 방식은 사용자의 입력에 따라 기설정된 규칙을 따를 수 있다. 조합되는 영상의 수가 많을수록 영상을 분석하기 위해 필요한 시스템의 자원이 감소하여 효율적으로 영상 분석을 행할 수 있다.
다음으로, 영상 조합부(200)에서 조합된 영상들은 카메라 템퍼링 감지를 위해 영상 처리부(300)로 전송된다. 먼저, 영상 전처리부(310)는 영상 조합부(200)에서 하나로 조합된 영상을 분석하기 위한 전처리를 수행한다. 이때, 영상 전처리부(310)는 조합된 영상에 대하여는 하나의 영상으로 취급하여 한꺼번에 전처리 과정을 수행할 수 있다. 도 7의 예를 들면, 영상 전처리부(310)는 9개 채널 영상을 하나의 영상으로 취급하여 전체 영상에 대해서 전처리를 수행한다. 영상 전처리부(310)가 영상 조합부(200)가 조합한 영상을 토대로 전처리를 수행하는 경우, 1번 내지 9번 영상을 채널별로 각각 전처리하는 경우보다 영상 처리부(300)의 자원을 덜 점유할 수 있다.
다음으로, 영상 분석부(330)에서는 전처리 된 조합 영상을 바탕으로 각 채널별로 카메라 템퍼링이 발생하였는지 여부를 판단한다. 도 7을 참조하면, 영상 분석부(330)는 각 채널별로 카메라 템퍼링을 감지한다.
카메라 템퍼링을 감지하는 영상 분석 기법은 일정 크기 이상의 영상에 대해서 적용할 수 있다. 그러나 본 발명의 일 실시예에 따라 영상 조합부(200)에서 조합한 하나의 영상에 대해 카메라 템퍼링을 검출하는 경우, 각 채널별 영상의 크기가 확보되지 않아 카메라 템퍼링 검출이 완벽히 이루어지지 않을 가능성이 존재한다. 따라서 영상 분석부(330)에서는 각 채널별로 카메라 템퍼링 검출을 수행하되, 시스템의 자원을 효율적으로 사용하기 위해 영상 전처리부(310), 영상 출력부(400) 등 다른 부들에서는 하나의 조합된 영상으로 각 역할을 수행할 수 있다.
다음으로, 영상 출력부(400)(400)는 조합된 영상을 다시 인코딩하여 송출부를 통해 외부 기기로 송출하는 역할을 한다. 인코딩 및 송출 과정 역시 조합된 영상의 상태로 이루어질 수 있다. 즉, 도 5의 (a)의 예에서 1번 내지 9번 영상은 한꺼번에 인코딩 및 송출 될 수 있다.
도 8은 본 발명의 일 실시예에 따라 영상 분석부(330)의 내부 구성요소에서 조합된 영상을 처리하는 방법을 간략히 나타낸 도면이다.
상술한 바와 같이 영상 분석부(330)는 영상 조합부(200)로부터 하나로 조합된 영상을 입력 받더라도 각 채널별로 카메라 템퍼링을 검출하는 역할을 수행할 수 있다. 그러나 영상 분석부(330)의 세부 구성요소에서, 영상의 크기가 확보되지 않아도 그 역할을 수행할 수 있는 구성요소가 있으므로 이러한 구성요소는 시스템 자원 절약을 위해 하나로 조합된 영상을 사용할 수 있다.
먼저, 영상 분석부(330)의 배경 생성부(331)와 전경 및 물체 검출부(332)는 영상의 상세한 정보가 없이도 각 역할을 수행할 수 있으므로 하나의 조합된 영상을 바탕으로 배경 영역을 검출하여 전경 영역을 생성한다. 그러나, 카메라 템퍼링 검출부(333)는 개별 영상의 크기가 확보되지 않는 경우 미세한 카메라 템퍼링 행위를 감지하지 못할 위험이 있다.
따라서 도 6에 도시된 바와 같이, 카메라 템퍼링 검출부(333)는 전경 비율을 검출하고 픽셀값 차이를 검출하며 글로벌 모션값을 산출하는 과정만 각 채널별 영상에 대해 행할 수 있다. 이 경우, 배경 생성부(331), 전경 및 물체 검출부(332), 카메라 템퍼링 검출부(333)가 모두 각 채널별로 영상 분석을 행하는 경우보다 시스템의 자원을 효율적으로 사용할 수 있다.
도 9는 본 발명의 일 실시예에 따라 카메라 템퍼링을 감지하는 과정을 간략히 나타낸 순서도이다.
도 9를 살펴보면, 먼저 영상 입력부는 외부의 촬상 장치로부터 복수개의 채널에 대한 영상을 수신한다(S1).
다음으로, 영상 조합부(200)는 사용자의 설정에 따라 전체 영상 중 일부 복수개의 영상를 하나로 조합하여 영상 처리부(300)로 전송한다(S2). 상술한 바와 같이, 복수개의 영상을 조합하는 S2 단계는 본 발명의 일 실시예에서 필수적인 단계가 아니며, 본 발명의 카메라 템퍼링 감지 방법은 모든 단계에 있어 조합되지 않은 채널별 영상에 대해 수행될 수 있다.
다음으로, 영상 처리부(300)의 영상 전처리부(310)는 카메라 템퍼링 검출을 위한 영상 전처리 단계를 거친다(S3).
다음으로, 배경 생성부(331)는 조합된 영상에 대하여 변화가 없는 영역의 값인 배경 영역의 값을 검출한다(S4).
다음으로, 전경 및 물체 검출부(332)는 조합된 영상에서 검출된 배경 영역의 값을 참조로 하여 실제로 움직이는 물체 영역으로 판단되는 전경 영역을 생성한다(S5).
다음으로, 카메라 템퍼링 검출부(333)는 각 채널별 영상에 대하여 전경 비율값, 픽셀값 차이, 글로벌 모션 값을 참조로 하여 카메라 템퍼링의 발생 여부를 판단한다(S6).
마지막으로, 영상 출력부(400)에서는 영상 분석 결과를 하나의 통합 영상에 표시하여 출력한다(S7).
도 10은 본 발명의 일 실시예에 따라 카메라 템퍼링을 감지하기 위한 구체적인 과정을 나타낸 순서도이다.
먼저, 카메라 템퍼링 검출부(333)는 카메라 템퍼링 검출을 수행할 영상을 입력 받는다(S61).
먼저, 전경 비율 검출부(333a)는 배경 생성부(331) 및 전경 및 물체 검출부(332)에서 생성한 전경 영역의 결과를 이용하여 영상 대비 전경의 비율을 산출하여 기준값을 초과하는지 판단한다(S62). 기준값을 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단하고(S65), 없는 경우 카메라 템퍼링은 없는 것으로 판단한다(S66).
또한, 픽셀값 차이 검출부(333b)는 영상의 픽셀값에 변화가 있고, 이러한 변화가 일정 시간 이상 지속되는지 여부를 판단한여(S63), 일정 시간 이상 지속되는 경우 카메라 템퍼링이 발생한 것으로 판단한다(S65). 지속되지 않는 경우 카메라 템퍼링은 없는 것으로 판단한다(S66).
또한, 글로벌 모션 검출부(333c)에서는 영상에 대해 글로벌 모션 값을 산출하여 합산하고, 글로벌 모션 값의 합계가 기준치를 초과하는지 판단하여(S64), 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단한다(S66). 초과하지 않는 경우는 카메라 템퍼링은 없는 것으로 판단한다(S66).
도 11은 본 발명의 일 실시예에 따라 픽셀값 차이 검출부(333b)가 카메라 탬퍼링이 발생하였는지 여부를 판단하는 순서도이다.
먼저, 픽셀값 차이 검출부(333b)는 영상의 수평행을 기준으로 인접한 픽셀 간의 픽셀값의 차이를 산출한다(S631).
다음으로, 해당 수평행에서 산출된 필셀값의 차이 중 최대치를 추출하고(S632), 모든 수평행에 대하여 추출된 최대치를 합산한다(S633).
다음으로, 이전 프레임과 현재 프레임의 최대치의 합산값에 가중치를 곱한 후 더하여 평균 최대치값을 산출하고, 평균 최대치값의 변화 추이를 관찰한다(S634).
다음으로, 평균 최대치값이 기준치 이하로 떨어지는지 판단하여(S635), 기준치 이하로 떨어지는 순간부터 일정 시간 동안 최대치의 합산값의 변화 추이를 관찰한다(S636).
다음으로, 최대치의 합산값의 변화된 값이 일정 시간 이상 지속되면 카메라 탬퍼링이 발생한 것으로 판단한다(S637).
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 카메라 100: 영상 입력부
110: 디코더 200: 영상 조합부
300: 영상 처리부 310: 영상 전처리부
330: 영상 분석부 331: 배경 생성부
332: 전경 및 물체 검출부 333: 카메라 템퍼링 검출부
333a: 전경 비율 검출부 333b: 픽셀값 차이 검출부
333c: 글로벌 모션 검출부 400: 영상 출력부
410: 인코더 420: 송출부

Claims (18)

  1. 연속적인 영상에서 전경 영역을 검출한 후, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율을 산출하는 단계;
    상기 영상에서, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 모든 수평 행에 대한 상기 최대치의 합계의 변화 추이를 모니터링하는 단계;
    상기 영상에서 글로벌 모션 값(global motion vector)을 산출하는 단계;를 포함하고,
    상기 전경 영역의 비율이 특정 기준값을 초과하거나, 상기 최대치의 합계가 일정 시간동안 변화된 값을 유지하거나, 상기 글로벌 모션 값의 합산값이 기준치를 초과하는 경우 카메라 템퍼링(camera tampering)이 발생한 것으로 판단하는 카메라 템퍼링 감지 방법.
  2. 제1항에 있어서,
    상기 전경 영역을 검출하기 위해, 상기 영상에서 움직임이 존재하는 영역을 전경 영역으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  3. 제1항에 있어서, 상기 합계의 변화 추이를 모니터링하는 단계는,
    상기 영상의 수평 행에서 인접한 위치의 픽셀값의 차이의 최대치를 구하는 단계;
    상기 영상의 모든 수평 행에 대하여 상기 최대치의 합계를 구하는 단계;
    n 프레임의 상기 합계에 가중치 w를 곱하고, n-1 프레임의 상기 합산값에 가중치 (1-w)를 곱한 후 더하여 상기 합계의 가중치 평균값을 구하는 단계;
    상기 평균값이 기준치 이하로 떨어진 순간부터 상기 최대치의 합계값의 변화가 일정 시간 이상 지속되는지 여부를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  4. 연속적인 영상에서 전경 영역을 검출한 후, 상기 영상에서 전체 영상의 크기 대비 상기 전경 영역의 비율을 산출하는 전경 비율 검출부;
    상기 영상에서, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 모든 수평 행에 대한 상기 최대치의 합계의 변화 추이를 모니터링하는 픽셀값 차이 검출부;
    상기 영상에서 글로벌 모션 값(global motion vector)을 산출하는 글로벌 모션 검출부;를 포함하고,
    상기 전경 영역의 비율이 특정 기준값을 초과하거나, 상기 최대치의 합계가 일정 시간동안 변화된 값을 유지하거나, 상기 글로벌 모션 값의 합산값이 기준치를 초과하는 경우 카메라 템퍼링(camera tampering)이 발생한 것으로 판단하는 카메라 템퍼링 감지 시스템.
  5. 제4항에 있어서,
    상기 전경 영역을 검출하기 위해, 상기 영상에서 움직임이 존재하는 영역을 전경 영역으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
  6. 제4항에 있어서, 상기 픽셀값 차이 검출부는,
    상기 영상의 수평 행에서 인접한 위치의 픽셀값의 차이의 최대치를 구하고, 상기 영상의 모든 수평 행에 대하여 상기 최대치의 합계를 구한 후, n 프레임의 상기 합계에 가중치 w를 곱하고, n-1 프레임의 상기 합산값에 가중치 (1-w)를 곱한 후 더하여 상기 합계의 가중치 평균값을 구하여, 상기 평균값이 기준치 이하로 떨어진 순간부터 상기 최대치의 합계값의 변화가 일정 시간 이상 지속되는지 여부를 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
  7. 카메라로부터 입력 영상을 획득하는 단계;
    상기 입력 영상에 대해 전처리를 행하는 단계;
    상기 전처리된 영상을 분석하여 일정 조건을 만족하는 경우 카메라 템퍼링을 감지하는 단계;
    를 포함하는 카메라 템퍼링 감지 방법.
  8. 제7항에 있어서, 상기 영상이 복수개의 채널로 구성되는 경우,
    상기 전처리를 행하는 단계 이후에 상기 복수개의 채널 영상을 하나로 조합하는 단계;를 더 포함하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  9. 제7항에 있어서
    상기 카메라 템퍼링을 감지하는 단계는,
    상기 영상에서 전체 영상의 크기 대비 전경 영역의 비율이 특정 기준값을 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  10. 제7항에 있어서,
    상기 카메라 템퍼링을 감지하는 단계는, 상기 영상에서 픽셀값 차이가 일정 시간 동안 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  11. 제7항에 있어서,
    상기 카메라 템퍼링을 감지하는 단계는, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 상기 영상의 수평 행 전체에 대한 상기 최대치의 합계를 구한 후, 특정 프레임까지의 상기 합계의 평균이 일정치 이하로 떨어지면 일정 시간 동안 상기 합계의 변화 추이가 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  12. 제7항에 있어서,
    상기 카메라 템퍼링을 감지하는 단계는, 상기 영상의 글로벌 모션 값을 합산하여 상기 글로벌 모션 값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  13. 카메라로부터 입력 영상을 획득하는 영상 입력부;
    상기 입력 영상에 대해 전처리를 행하는 영상 전처리부;
    상기 전처리된 영상을 바탕으로 일정 조건을 만족하는 경우 카메라 템퍼링을 감지하는 영상 분석부;
    를 포함하는 카메라 템퍼링 감지 시스템.
  14. 제13항에 있어서, 상기 영상이 복수개의 채널로 구성되는 경우,
    상기 복수개의 채널 영상을 하나로 조합하는 영상 조합부;를 더 포함하는 것을 특징으로 하는 카메라 템퍼링 감지 방법.
  15. 제13항에 있어서,
    상기 영상 분석부는, 상기 영상에서 전체 영상의 크기 대비 전경 영역의 비율이 특정 기준값을 초과하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
  16. 제13항에 있어서,
    상기 영상 분석부는, 상기 영상에서 픽셀값 차이가 일정 시간 동안 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
  17. 제13항에 있어서,
    상기 영상 분석부는, 수평 행의 인접 픽셀값 차이의 최대치를 구하여, 상기 영상의 수평 행 전체에 대한 상기 최대치의 합계를 구한 후, 특정 프레임까지의 상기 합계의 평균이 일정치 이하로 떨어지면 일정 시간 동안 상기 합계의 변화 추이가 변화된 값을 유지하는 경우 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
  18. 제13항에 있어서,
    상기 영상 분석부는, 상기 영상의 글로벌 모션 값을 합산하여 상기 글로벌 모션 값이 특정 기준값을 초과하는 경우에 카메라 템퍼링이 발생한 것으로 판단하는 것을 특징으로 하는 카메라 템퍼링 감지 시스템.
KR1020120026195A 2012-03-14 2012-03-14 카메라 템퍼링 감지 방법 및 시스템 Active KR101758685B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120026195A KR101758685B1 (ko) 2012-03-14 2012-03-14 카메라 템퍼링 감지 방법 및 시스템
US13/796,107 US9230176B2 (en) 2012-03-14 2013-03-12 Method of detecting camera tampering and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120026195A KR101758685B1 (ko) 2012-03-14 2012-03-14 카메라 템퍼링 감지 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130104579A true KR20130104579A (ko) 2013-09-25
KR101758685B1 KR101758685B1 (ko) 2017-07-14

Family

ID=49453388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120026195A Active KR101758685B1 (ko) 2012-03-14 2012-03-14 카메라 템퍼링 감지 방법 및 시스템

Country Status (2)

Country Link
US (1) US9230176B2 (ko)
KR (1) KR101758685B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887138B1 (en) * 2013-12-18 2016-03-02 Axis AB Camera tampering protection
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
US9922411B2 (en) * 2015-11-30 2018-03-20 Disney Enterprises, Inc. Saliency-weighted video quality assessment
ES2659049B1 (es) * 2016-09-13 2018-11-22 Davantis Technologies, S.L. Procedimiento, sistema, sistema informático y producto de programa informático para detectar un sabotaje de una cámara de video-vigilancia
JP6821398B2 (ja) * 2016-11-09 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20190088108A1 (en) * 2017-09-18 2019-03-21 Qualcomm Incorporated Camera tampering detection
EP3999967B1 (en) 2019-07-15 2023-12-27 Alarm.com Incorporated Notifications for camera tampering
US10977717B2 (en) * 2019-07-22 2021-04-13 Pickey Solutions Ltd. Hand actions monitoring device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960012935B1 (ko) 1993-09-23 1996-09-25 양승택 영상프레임간 평균절대차의 차분치를 이용한 장면전환 검출기 및 그 검출 방법
KR100480686B1 (ko) 1997-01-27 2005-05-16 엘지전자 주식회사 고선명영상의장면전환검출방법
KR100441963B1 (ko) 2001-03-26 2004-07-27 주식회사 코난테크놀로지 장면전환 검출방법
JP4035383B2 (ja) * 2001-10-22 2008-01-23 株式会社リコー 電子透かしの符号生成装置と符号生成方法、および電子透かしの復号装置と復号方法、並びに電子透かしの符号生成復号プログラムと、これを記録した記録媒体
KR100411347B1 (ko) 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
ES2370032T3 (es) * 2006-12-20 2011-12-12 Axis Ab Detección de la manipulación indebida de una cámara.
KR100853959B1 (ko) 2007-06-19 2008-08-25 주식회사 씨앤비텍 아이피티브이망을 이용한 다채널 영상의 원격 감시 시스템및 그 방법
JP5191240B2 (ja) 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
US8094714B2 (en) * 2008-07-16 2012-01-10 Sony Corporation Speculative start point selection for motion estimation iterative search
JP4670943B2 (ja) * 2008-11-27 2011-04-13 ソニー株式会社 監視装置、及び妨害検知方法
TWI365662B (en) * 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
JP5300590B2 (ja) 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
US8718379B2 (en) * 2009-09-15 2014-05-06 Texas Instruments Incorporated Method and apparatus for image capturing tampering detection
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR101758685B1 (ko) 2017-07-14
US9230176B2 (en) 2016-01-05
US20140078307A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
KR101758685B1 (ko) 카메라 템퍼링 감지 방법 및 시스템
US10277805B2 (en) Monitoring system and camera device
JP4803376B2 (ja) カメラ妨害検知方式
KR101223424B1 (ko) 비디오 모션 검출
US7733369B2 (en) View handling in video surveillance systems
US9235880B2 (en) Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
US20120120238A1 (en) Two layer video motion detection
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
KR101747214B1 (ko) 다채널 영상 분석 방법 및 시스템
KR101204259B1 (ko) 화재 검출 방법
KR101003208B1 (ko) 지능형 감시 시스템 및 방법
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
KR102107957B1 (ko) 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
JP2000184359A (ja) 監視装置及び監視システム
JP6253950B2 (ja) 画像監視システム
KR100887942B1 (ko) 실시간 이상현상 감지 시스템 및 그 제어방법
WO2013132711A1 (ja) 物体検知装置、物体検知方法及びプログラム
CN119583753A (zh) 一种数字视频装置控制方法及装置
KR101038726B1 (ko) 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템
US10769907B2 (en) Counter-flow detection in compressed video
EP3503028B1 (en) Setting of a motion trigger level
KR101248154B1 (ko) 가변크기 영역 기반의 객체 움직임 추정 방법 및 이를 실행하는 장치, 그리고 이를 실행하는 움직임 추정 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR100994418B1 (ko) 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법
JP2005166054A (ja) 動画像処理装置、及び映像監視システム
KR101425658B1 (ko) 감시카메라 시스템에 대한 해킹 및 오동작 감지 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120314

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150908

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120314

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160720

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20170120

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170523

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170707

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170710

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200625

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210628

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220620

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20250624

Start annual number: 9

End annual number: 9