KR102264252B1 - 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 - Google Patents

압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 Download PDF

Info

Publication number
KR102264252B1
KR102264252B1 KR1020210006754A KR20210006754A KR102264252B1 KR 102264252 B1 KR102264252 B1 KR 102264252B1 KR 1020210006754 A KR1020210006754 A KR 1020210006754A KR 20210006754 A KR20210006754 A KR 20210006754A KR 102264252 B1 KR102264252 B1 KR 102264252B1
Authority
KR
South Korea
Prior art keywords
block
object detection
moving object
server
detected
Prior art date
Application number
KR1020210006754A
Other languages
English (en)
Inventor
양은혜
Original Assignee
보은전자방송통신(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보은전자방송통신(주) filed Critical 보은전자방송통신(주)
Priority to KR1020210006754A priority Critical patent/KR102264252B1/ko
Application granted granted Critical
Publication of KR102264252B1 publication Critical patent/KR102264252B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템이 개시된다. 일 실시 예에 따른 압축 영상에서의 이동객체 검출방법은 이동객체 검출장치가 압축 영상의 복잡한 이미지 프로세싱 과정 없이 이동객체를 검출하고, 이동객체가 검출되었을 때에 한하여 영상 감시 서버의 영상처리 기능을 수행하도록 함에 따라, 시스템을 효율적으로 운용할 수 있다.

Description

압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 {Method for detecting moving objects in compressed image and video surveillance system thereof}
본 발명은 영상 감시 기술에 관한 것으로, 보다 상세하게는 블록 기반 인코딩 방식으로 압축된 영상을 처리하는 기술에 관한 것이다.
네트워크의 발전, IP 카메라의 확산, 영상 분석기술의 발전으로 지능형의 영상 감시 시스템이 빠르게 확산되고 있다.
영상 감시 시스템은 현장 단과 네트워크 및 중앙제어 단으로 구성된다. 중앙제어 단은 분석 서버, 녹화 서버 및 표출 서버 중 적어도 하나를 포함하는 영상 감시 서버를 포함한다. 분석 서버는 카메라 또는 녹화 영상을 분석한다. 녹화 서버는 카메라 영상을 녹화한다. 표출 서버는 카메라 또는 녹화 영상을 멀티 디스플레이에 표출하여 운영자가 모니터링할 수 있도록 한다. 현장 단은 CCTV 카메라 영상을 압축하여 중앙제어 단에 전송하고, 중앙제어 단은 압축된 CCTV 카메라 영상을 통합관리, 녹화, 녹화파일 관리, 영상 분석 등을 위해 사용할 수 있다.
일 실시 예에 따라, 이동객체 검출장치가 압축 영상의 복잡한 이미지 프로세싱 과정 없이 압축 스트림의 신택스 정보를 분석하여 이동객체를 검출하고, 이동객체가 검출되었을 때에 한하여 영상 감시 서버의 영상처리 기능을 수행하도록 함에 따라, 시스템을 효율적으로 운용할 수 있는 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템을 제안한다.
일 실시 예에 따른 압축 영상에서의 이동객체 검출방법은, 카메라로부터 압축 영상 스트림을 수신하여 압축 영상 프레임을 추출하는 단계와, 추출된 압축 영상 프레임을 대상으로 배경 블록의 특성을 학습하여 배경 블록 모델을 생성하는 단계와, 생성된 배경 블록 모델과 압축 영상 프레임에서 추출한 신택스 요소를 이용하여 압축 영상 프레임에서 이동객체를 검출하는 단계와, 이동객체가 검출되면 검출된 객체정보를 포함한 객체 검출 알림 메시지를 영상 감시 서버에 전송하여 영상 감시 서버가 이동객체 검출장치로부터 객체 검출 알림 메시지를 수신하는 경우에 각 서버의 영상처리 기능을 수행하도록 하는 단계를 포함한다.
이동객체를 검출하는 단계는, 압축 영상 프레임에서 배경 블록 모델에 부합하는 블록을 제외한 나머지 블록을 객체후보 블록으로 선별하는 단계와, 압축 영상 프레임 내 객체후보 블록의 점유율을 이용하여 객체 검출대상 프레임을 선별하는 단계와, 선별된 객체 검출대상 프레임을 엔트로피 복호화 하여 각 객체후보 블록의 신택스 요소를 추출하는 단계와, 추출된 신택스 요소로부터 각 객체후보 블록의 모션 변화량을 파악하고 파악된 각 객체후보 블록의 모션 변화량을 기준으로 객체 블록 맵을 생성하는 단계와, 생성된 객체 블록 맵에서 이웃하는 객체 블록들을 그룹화한 객체 블록 그룹을 생성하는 단계와, 생성된 객체 블록 그룹으로부터 객체정보를 생성하는 단계를 포함할 수 있다.
다른 실시 예에 따른 영상 감시 시스템은, 분석 서버, 녹화 서버 및 표출 서버 중 적어도 하나를 포함하는 영상 감시 서버와, 압축된 카메라 영상을 수신하여 이동객체를 검출하고 이동객체가 검출되면 검출된 객체정보를 포함하는 객체 검출 알림 메시지를 영상 감시 서버에 전송하는 이동객체 검출장치를 포함하며, 영상 감시 서버는 이동객체 검출장치로부터 객체 검출 알림 메시지를 수신하는 경우에 각 서버의 영상처리 기능을 수행한다.
객체정보는 객체 검출 여부 정보를 포함할 수 있고, 영상 감시 서버는 객체가 검출된 경우에 한하여 각각 분석 서버를 통해 영상을 분석하거나, 녹화 서버를 통해 영상을 녹화하거나, 표출 서버를 통해 영상을 표출할 수 있다.
녹화 서버는, 이동객체 검출장치로부터 이동객체가 검출된 경우에 한하여 영상을 녹화하고, 녹화 파일 삭제 시 이동객체가 검출된 영상은 제외하고 삭제하거나 후순위로 삭제할 수 있다.
객체정보는 객체 검출영역 정보를 포함하고, 분석 서버는 객체 검출영역 정보를 이용하여 모든 영상 프레임 중에서 객체 검출 영상 프레임에 대해서만 영상을 분석하며, 표출 서버는 객체 검출영역 정보를 이용하여 모든 영상 프레임 중에서 객체 검출 영상 프레임에 대해서만 영상을 복원한 후 표출할 수 있다.
이동객체 검출장치는, 압축 카메라 영상으로부터 신택스 요소를 추출 및 분석하여 이동객체를 검출할 수 있다.
이동객체 검출장치는, 압축 영상 스트림을 수신하여 압축 영상 프레임을 추출하는 압축 영상 스트림 수신부와, 추출된 압축 영상 프레임을 대상으로 배경 블록의 특성을 학습하여 배경 블록 모델을 생성하는 배경 모델 생성부와, 배경 모델 생성부를 통해 생성된 배경 블록 모델과 압축 영상 프레임에서 추출한 신택스 요소를 이용하여 압축 영상 프레임에서 이동객체를 검출하는 객체 검출부와, 이동객체가 검출되면 검출된 객체정보를 포함한 객체 검출 알림 메시지를 영상 감시 서버에 전송하는 객체 검출 알림 전송부를 포함할 수 있다.
이동객체 검출장치는, 사전에 설정된 관심객체 선별조건이 저장되는 설정 저장부를 더 포함할 수 있으며, 객체 검출 알림 전송부는 이동객체 검출 결과가 사전 설정된 관심객체 선별조건을 충족하는 경우, 영상 감시 서버에 객체 검출 알림 메시지를 전송할 수 있다.
배경 모델 생성부는, 기본 영역 학습 모드에서, 사전에 설정된 주기마다 압축 영상 프레임의 전체 영역을 대상으로 학습하여 배경 블록 모델을 생성할 수 있고, 지정 영역 학습 모드에서, 객체 검출부를 통해 검출된 객체정보를 획득하고 검출된 객체 영역을 제외한 나머지 영역에 대해서 학습을 진행하여 배경 블록 모델을 생성할 수 있다.
이동객체 검출장치는, 압축 영상 프레임에서 배경 블록 모델에 부합하는 블록을 제외한 나머지 블록을 객체후보 블록으로 선별하는 객체후보 블록 선별부와, 압축 영상 프레임 내 객체후보 블록의 점유율을 이용하여 객체 검출대상 프레임을 선별하는 객체 검출대상 프레임 선별부와, 선별된 객체 검출대상 프레임을 엔트로피 복호화 하여 각 객체후보 블록의 신택스 요소를 추출하는 신택스 요소 추출부와, 추출된 신택스 요소로부터 각 객체후보 블록의 모션 변화량을 파악하고 파악된 각 객체후보 블록의 모션 변화량을 기준으로 객체 블록 맵을 생성하는 객체 블록 맵 생성부와, 생성된 객체 블록 맵에서 이웃하는 객체 블록들을 그룹화한 객체 블록 그룹을 생성하는 객체 블록 그룹 생성부와, 생성된 객체 블록 그룹으로부터 객체정보를 생성하는 객체 정보 생성부를 포함할 수 있다.
객체후보 블록 선별부는, 대상영역에 포함된 모든 블록에 대하여 블록의 데이터 크기가 학습된 배경 모델의 평균 값을 기준으로 소정의 범위 내에 있는 경우 배경 블록으로 판단하고 그 외의 경우 객체후보 블록으로 지정할 수 있고, 데이터 크기에 대한 표준편차가 사전에 설정된 임계치 이상인 경우 배경모델의 평균 값을 보정한 후 보정된 배경모델의 평균 값을 기준으로 사용할 수 있다.
객체 블록 맵 생성부는, 연속된 프레임 동안의 모션 벡터를 누적하여 객체후보 블록 별 모션 변화량을 산출할 수 있고, 연속된 프레임에서 누적된 모션 변화량을 기준으로 객체후보 블록들 중에서 객체 블록을 선별하여 객체 블록 맵을 생성할 수 있으며, 객체후보 블록의 코딩 타입이 Intra-coded 픽쳐인 경우, 해당 블록과 이웃하는 블록들의 평균 모션 변화량을 산출하여 누적하고, 해당 블록과 이웃하는 블록들 중 객체 블록의 개수가 사전에 설정된 임계치 이상인 경우 객체 블록으로 추가 선별할 수 있다.
객체 블록 그룹 생성부는 생성된 객체 블록 그룹을 추가로 병합할 수 있다.
일 실시 예에 따른 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템에 따르면, 종래의 영상 감시 시스템에는 없는 이동객체 검출기능을 설계하여 이동객체를 검출할 수 있다. 특히, 입력되는 압축 영상 스트림에서 압축 영상을 복원하지 않고도 이동객체를 검출할 수 있다. 예를 들어, 압축된 카메라 영상의 복잡한 이미지 프로세싱 과정 없이 압축 영상 스트림에서 추출된 신택스(syntax) 정보만으로 이동객체를 검출할 수 있다.
영상 감시 시스템에서 영상 감시 서버의 영상처리 시 입력된 모든 압축 영상 스트림에 대해 수행하는 경우 높은 하드웨어 성능이 요구된다. 일 실시 예에 따른 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템은, 관심객체가 검출되었을 때에만 영상 감시 서버의 영상처리 기능(예를 들어, 영상 녹화, 녹화파일 보존, 영상분석)을 수행하도록 하여 상대적으로 낮은 하드웨어 성능을 요구할 수 있다.
예를 들어, 분석 서버의 영상분석 시, 이동객체가 검출된 영상만 분석할 수 있어서, 시스템의 구성비용을 절감할 수 있다. 종래에는 모든 영상 프레임에 대해 영상을 분석하므로 높은 하드웨어 성능이 요구되었다. 그러나 본 발명은 이동객체가 검출된 영상 프레임에 대해서만 영상을 분석할 수 있으므로, 상대적으로 낮은 하드웨어 성능이 요구된다.
녹화 서버의 영상녹화 시, 의미 없는 영상을 제외하고 관심객체가 검출된 영상만 녹화할 수 있어서, 저장공간을 효율적으로 활용할 수 있고, 시스템의 구성비용을 절감할 수 있다. 종래에는 상시녹화가 이루어지므로 의미 없는 영상도 녹화되었다. 그러나 본 발명은 이동객체가 검출될 때에만 녹화를 수행할 수 있으므로 이동객체가 있는 의미 있는 영상이 저장되어 저장공간을 효율적으로 활용할 수 있다.
녹화 서버의 녹화영상 파일 삭제 시, 중요하지 않은 영상은 삭제하고 관심객체가 포함된 영상 구간은 별도로 보관할 수 있어서, 저장공간을 효율적으로 확보할 수 있다. 종래에는 녹화영상 파일 삭제 시 오래된 파일 순으로 삭제되어 영상 중요도에 관계없이 삭제되었다. 그러나 본 발명은 파일 삭제 시 이동객체가 검출되면 삭제하지 않거나 후순위로 삭제함에 따라, 이동객체가 있어 영상 중요도가 높은 영상이 삭제되는 문제를 해결하고 저장공간을 효율적으로 활용할 수 있다.
표출 서버의 영상 표출 시, 이동객체가 검출된 영상 프레임만을 표출하여 시스템의 구성비용을 절감할 수 있다. 종래에는 모든 영상 프레임을 복원한 후 영상을 표출하였으므로 높은 하드웨어 성능이 요구되었다. 그러나 본 발명은 이동객체가 검출된 영상 프레임만 복원한 후 영상을 표출함에 따라, 상대적으로 낮은 하드웨어 성능이 요구된다.
도 1은 본 발명의 일 실시 예에 따른 지능형 영상 감시 시스템의 구성을 도시한 도면,
도 2는 일반적인 이미지 분석 기반 이동객체 검출 과정을 나타내는 도면,
도 3은 본 발명의 일 실시 예에 따른 압축 비트 스트림 분석 기반 이동객체 검출 프로세스를 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 이동객체 검출장치의 구성을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 도 4의 객체 검출부의 세부 구성을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 이동객체 검출방법의 흐름을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 학습을 통해 배경을 모델링하는 프로세스를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
본 발명의 이해를 돕기 위해 용어를 먼저 정의한다. 블록(block)은 영상 압축 및 복원을 위한 기본 처리 단위로, 프레임을 구성하는 블록들은 각각 16×16, 8×8 등의 일정 화소 크기 및 파티션 구조를 가지며, 코딩 타입, 파티션 타입 또는 모션 벡터, 잔여 데이터 등의 정보를 포함하는데, 이 정보들은 해당 블록의 모션 변화량을 유추하는데 유용하게 사용될 수 있다. 배경 블록은 배경에 해당하는 블록이다. 객체 블록은 객체에 해당하는 블록이다. 객체후보 블록은 객체 블록일 확률이 일정 수준 이상인 후보 블록이다.
도 1은 본 발명의 일 실시 예에 따른 지능형 영상 감시 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 지능형 영상 감시 시스템(1)은 현장 단(2-1, 2-2)과 네트워크(3) 및 중앙제어 단(4)으로 구성된다.
현장 단(2-1, 2-2)의 CCTV 카메라는 IP 카메라(20-2)와 비(非) IP 카메라를 포함하며, 비 IP 카메라는 예를 들어 HDMI/SDI 카메라(20-1)일 수 있다. 엔코더(22)는 비 IP 카메라의 인코딩 처리를 담당한다.
현장 단(2-1, 2-2)은 HDMI/SDI/IP 카메라 등 카메라의 종류에 상관없이 CCTV 카메라 영상을 압축하여 중앙제어 단(4)에 전송하고, 중앙제어 단(4)은 압축된 CCTV 카메라 영상을 통합관리, 녹화, 녹화파일 관리, 영상 분석, 표출 등을 위해 사용한다. 영상 압축에는 압축 효율 향상을 위하여 대체로 H.264, H.265 등의 표준 규약에 따른 블록 기반 인코딩 방식이 적용된다.
일 실시 예에 따른 중앙제어 단(4)은 영상 감시 서버(5)와 이동객체 검출장치(9)를 포함한다. 영상 감시 서버(5)는 통합관리 서버(6), 분석 서버(7-1), 녹화 서버(7-2) 및 표출 서버(7-3)를 포함할 수 있다. 중앙제어 단(4)은 시스템의 규모에 따라 다양한 형태로 존재할 수 있는데, 도 1에 도시된 바와 같이 여러 서버가 분리되어 있는 형태도 가능하고, 단일의 통합관리 서버(6)에 서버들이 서로 통합되어 구성되는 형태도 가능하다.
통합관리 서버(6)는 여러 종류의 서버들(7-1, 7-2, 7-3)을 통합관리 하면서, 원격지에 있는 현장 단(2-1, 2-2)의 카메라(20-1, 20-2)를 원격제어 한다. 분석 서버(7-1)는 CCTV 카메라 영상 또는 녹화영상을 분석한다. 녹화 서버(7-2)는 CCTV 카메라 영상을 녹화한다. 표출 서버(7-3)는 CCTV 카메라 영상을 복원하여 운영자가 고화질 멀티 뷰로 모니터링할 수 있도록 표출한다.
녹화 서버(7-2)는 카메라에서 송출되는 영상을 복원하지 않고 그대로 녹화 가능하지만, 분석 서버(7-1)나 표출 서버(7-3)는 압축된 CCTV 카메라 영상을 복원 및 전 처리하여 실시간으로 분석하거나 고화질 화면으로 디스플레이에 표출한다. 그런데 다수의 카메라 영상 스트림을 분석하거나 표출해야 하는 경우, 서버의 하드웨어 성능이 좋아야 하며, 이로 인한 시스템 구성 비용이 증가하는 문제가 발생한다.
다른 예로, 분석 서버(7-1)의 CCTV 카메라 영상이나 녹화영상 분석 시, 의미 없이 지속되는 정지화면을 반복해서 분석하는 경우, 분석 서버(7-1)의 하드웨어 자원을 소모하는 문제가 발생한다. 이로 인해 시스템 구성 비용도 함께 증가할 수 있다.
녹화 서버(7-2)를 통한 카메라 영상 녹화 시에는, 의미 없는 부분까지 함께 녹화 및 보관되어 저장공간을 낭비하거나, 저장공간이 부족하여 녹화영상 파일을 삭제하고자 할 때 영상의 중요도와 관계없이 파일이 삭제되는 경우가 많다.
영상 감시 시스템에서 녹화/분석/표출 등의 영상 처리시 입력된 모든 압축 영상 스트림에 대해 수행하는 경우, 높은 하드웨어 성능이 요구된다. 본 발명은 소프트웨어를 통해 압축 영상에서 이동객체를 검출하고, 이동객체가 검출될 때만 녹화/분석/표출 서버에서 영상처리를 수행하도록 하는 이동객체 검출방법을 제안한다.
이동객체 검출장치(9)는 압축된 CCTV 카메라 영상에서 이동객체를 검출하는 장치이다. 이동객체 검출장치(9)는 컴퓨터 프로그램 인스트럭션들로 구성된 소프트웨어에 의해 수행될 수 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하다.
도 1에서는 이동객체 검출장치(9)가 별도의 블록으로 분리되어 도시되고 있지만, 현장 단의 카메라(20-1, 20-2), 분석 서버(7-1), 녹화 서버(7-2) 등의 내부에 논리적인 모듈의 형태로 통합될 수도 있다.
이동객체 검출장치(9)는 이동객체를 검출하고, 이동객체가 검출되면 검출된 객체정보가 포함된 객체 검출 알림 메시지를 영상 감시 서버(5)에 전송한다. 예를 들어, 이동객체 검출장치(9)는 객체 검출 알림 메시지를 통합관리 서버(6)로 전송하고, 통합관리 서버(6)가 객체 검출 알림 메시지 수신에 따라 각 서버(7-1, 7-2, 7-3)를 제어할 수 있다. 다른 예로, 이동객체 검출장치(9)가 바로 각 서버(7-1, 7-2, 7-3)를 제어하는 형태도 가능하며, 이동객체 검출장치(9)가 각 서버(7-1, 7-2, 7-3) 내부에서 제어 모듈로 기능하는 경우도 가능하다.
이동객체 검출장치(9)는 검출된 객체정보가 사전에 설정된 관심객체 선별조건을 충족하는 경우, 영상 감시 서버(5)로 객체정보가 포함된 객체 검출 알림 메시지를 전송할 수 있다. 관심객체 선별조건에는 관심영역, 이동객체 출현 여부, 이동객체의 개수, 위치 및 크기 등의 옵션이 포함될 수 있으며, 사용자가 해당 설정을 변경하는 인터페이스를 제공할 수 있다.
통합관리 서버(6)는 이동객체 검출장치(9)로부터 객체 검출 알림을 수신했을 때, 그 내용을 분석 서버(7-1), 녹화 서버(7-2), 표출 서버(7-3) 등에 전달할 수 있다. 통합관리 서버(6)는 검출된 객체정보를 사용하여, 효과적인 메타데이터 기반 녹화 영상 검색 기능을 제공할 수 있다.
분석 서버(7-1)는 이동객체가 검출되었 때에만 영상을 분석할 수 있다. 분석 서버(7-1)는 모든 영상 프레임에 대하여 영상을 분석하는 것이 아니라, 이동객체가 검출된 영상 프레임에 대해서만 영상분석을 수행할 수 있다. 이에 따라, 상대적으로 낮은 하드웨어 성능이 요구되므로 성능 부담이 개선된다.
녹화 서버(7-2)는 이동객체가 검출되었을 때에만 영상을 녹화함에 따라, 저장 공간을 효율적으로 사용할 수 있다. 상시 녹화 모드인 경우에는 이동객체가 검출된 영상 프레임만을 녹화한 후 별도의 분리된 장소에 저장할 수 있다.
녹화 서버(7-2)는 추후 저장 공간의 부족으로 녹화영상 파일 정리가 필요할 때, 비(非) 관심 영상을 우선적으로 삭제하고, 이동객체가 검출된 영상은 삭제하지 않거나 후순위로 삭제함으로써, 이동객체가 포함된 중요 영상을 오래 보존할 수 있고, 중요 영상만 별도의 외부 저장 장치에 백업하기에도 용이하다.
표출 서버(7-3)는 이동객체가 검출되었을 때에만 영상을 복원하여 표출할 수 있다. 이때, 모든 영상 프레임에 대해서 영상을 표출하는 것이 아니라, 관심객체가 검출된 영상 프레임에 대해서만 복원 후 영상을 표출할 수 있다. 이에 따라, 상대적으로 낮은 하드웨어 성능이 요구되므로 성능 부담을 개선할 수 있다.
도 2는 일반적인 이미지 분석 기반 이동객체 검출 과정을 나타내는 도면이다.
도 2를 참조하면, 일반적인 이미지 프로세서(240)는 압축 영상 스트림을 수신(200)하면, 복잡한 이미지 프로세싱을 거친 후 최종적으로 객체를 검출한다(250). 복잡한 이미지 프로세싱은, 압축 영상 디코더(210)를 통해 압축 영상 스트림에서 영상 프레임을 추출하여 엔트로피 복호화(211), 역양자화(212), 역변환(213), 모션 보상(214), 디블록(215)의 복잡한 과정을 거친 영상 복원과, 분석 프로세스에서 발생하는 시스템 부담을 줄이기 위하여 다운 스케일, 리사이즈, 그레이 스케일 변환 등의 전 처리(220)와, 배경 제거, 이진화, 딥러닝 등을 활용한 영상 분석(230)을 포함한다.
이렇듯 모든 프레임에 대하여 복잡한 이미지 프로세싱을 거쳐 객체를 검출하므로, 본 발명의 개선된 방법에 비하여 처리 속도가 상대적으로 느리고 시스템에 높은 부하가 발생한다. 이에 비해, 일 실시 예에 따른 이동객체 검출장치는 입력되는 압축 영상 스트림에서 압축 영상을 복원하지 않고 이동객체 검출을 수행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 압축 비트 스트림 분석 기반 이동객체 검출 프로세스를 도시한 도면이다.
도 1 및 도 3을 참조하면, 이동객체 검출장치(9)는 압축 영상 스트림을 수신(300)하면, 수신된 압축 영상 스트림에서 압축 영상 프레임을 추출하여 엔트로피 복호화만 수행한다(310). 이때, 도 2의 나머지 복잡한 영상 복원 과정은 생략할 수 있다.
이어서, 이동객체 검출장치(9)는 압축 영상 프레임에서 신택스 요소를 추출(320)하고 추출된 신택스 요소를 분석(330)하여 객체를 검출한다(340). 압축 영상 프레임의 압축 비트 스트림 데이터에 포함된 코딩 단위 블록의 데이터 크기 및 신택스 요소를 활용하여 복잡한 영상분석 및 영상 이미지 처리 없이 객체를 검출할 수 있으므로, 도 2를 참조로 하여 전술한 종래의 방법에 비하여 성능 부담이 현저히 낮다.
도 4는 본 발명의 일 실시 예에 따른 이동객체 검출장치의 구성을 도시한 도면이다.
도 4를 참조하면, 이동객체 검출장치(9)는 압축 영상 스트림 수신부(90), 배경 모델 생성부(92), 객체 검출부(94), 객체 검출 알림 전송부(96) 및 설정 저장부(98)를 포함한다.
압축 영상 스트림 수신부(90)는 압축 영상 스트림에서 압축 영상 프레임을 추출하여 배경 모델 생성부(92)와 객체 검출부(94)로 전달한다.
배경 모델 생성부(92)는 압축 영상 프레임을 대상으로 배경 블록의 특성을 학습하여 배경 블록 모델을 생성한다. 배경 블록 학습은 미리 설정된 소정의 주기마다 이루어지는 기본 영역 학습과, 객체 검출 시 각 주기마다 최대 한 번씩 이루어질 수 있는 지정 영역 학습을 포함할 수 있다.
객체 검출부(94)는 배경 모델 생성부(92)를 통해 생성된 배경 블록 모델과 압축 영상 프레임에서 추출한 신택스 요소(Syntax element)를 이용하여 압축 영상 프레임에서 이동객체를 검출하고, 검출된 객체정보를 객체 검출 알림 전송부(96)에 전달한다.
설정 저장부(98)는 사전에 설정된 관심객체 선별조건이 저장된다. 관심객체 선별조건에는 관심영역, 이동객체 출현 여부, 이동객체의 개수, 위치 및 크기 등이 포함될 수 있다.
객체 검출 알림 전송부(96)는 객체 검출부(94)의 검출된 객체정보를 포함한 객체 검출 알림 메시지를 영상 감시 서버(5)에 전송한다. 이때, 객체 검출 알림 전송부(96)는 객체 검출부(94)의 객체 검출결과가 설정 저장부(98)에 사전 등록된 관심객체 선별조건을 충족하는 경우에 한하여, 영상 감시 서버(5)에 객체 검출 알림 메시지를 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 도 4의 객체 검출부의 세부 구성을 도시한 도면이다.
도 5를 참조하면, 객체 검출부(94)는 객체후보 블록 선별부(941), 객체 검출대상 프레임 선별부(942), 신택스 요소 추출부(943), 객체 블록 맵 생성부(944), 객체 블록 그룹 생성부(945) 및 객체정보 생성부(946)를 포함한다.
객체후보 블록 선별부(941)는 배경 블록 모델에 부합하는 블록을 제외한 나머지 블록을 객체후보 블록으로 선별한다.
객체 검출대상 프레임 선별부(942)는 프레임 내 객체후보 블록의 점유율을 이용하여 객체 검출대상 프레임을 선별한 후 신택스 요소 추출부(943)에 전달한다.
신택스 요소 추출부(943)는 객체후보 블록 선별부(941)로부터 수신된 객체 검출대상 프레임을 대상으로 부분 엔트로피 복호화만으로 각 객체후보 블록의 코딩 타입 및 모션 벡터 정보를 포함하는 신택스 요소를 추출하여 이를 객체 블록 맵 생성부(944)로 전달한다.
객체 블록 맵 생성부(944)는 신택스 요소 추출부(943)에서 추출된 신택스 요소로부터 각 객체후보 블록의 모션 변화량을 파악하고 파악된 각 객체후보 블록의 모션 변화량을 기준으로 최종 객체 블록 맵을 생성한 후 이를 객체 블록 그룹 생성부(945)로 전달한다.
객체 블록 그룹 생성부(945)는 객체 블록 맵 생성부(944)에서 생성된 객체 블록 맵에서 직접 이웃하는 객체 블록들을 그룹화한 객체 블록 그룹을 생성하여 객체정보 생성부(946)로 전달한다. 객체 블록 그룹 생성부(945)는 생성된 객체 블록 그룹을 병합하는 과정을 추가로 수행할 수 있다.
객체 검출 여부만 활용하는 경우에는, 대략적인 객체 검출영역 정보만으로도 객체 검출 여부를 판단할 수 있으므로, 객체 블록 그룹 생성부(945)의 객체 블록 그룹화 과정 중 ‘객체 블록 그룹 병합’ 과정이 생략된다. 따라서 성능 부담이 낮아져 보다 빠른 처리가 가능하다. 예를 들어, 녹화 서버(7-2)에서 이동객체가 검출되었을 때에만 녹화하거나, 표출 서버(7-3)에서 이동객체가 검출되었을 때에만 복원 후 화면에 영상을 표출할 수 있다.
다른 예로, 객체 검출영역 정보를 활용하는 경우에는, 조각화 되지 않은 보다 정확한 객체 검출영역 정보를 제공하기 위하여 객체 블록 그룹화 과정 중 ‘객체 블록 그룹 병합’ 과정이 추가로 수행할 수 있다. 예를 들어, 분석 서버(7-1)에 객체정보 전달 시 전체 영상 프레임 중에 이동객체가 검출된 영역에 해당하는 영상 이미지 부분만 잘라서 분석 서버(7-1)에 전달하거나, 이동객체가 검출된 영역에 대한 정보를 분석 서버(7-1)에 전달한다. 이에 따라, 분석 서버(7-1)는 이동객체가 검출된 영상 이미지만을 분석할 수 있다.
객체정보 생성부(946)는 객체 블록 그룹 생성부(945)로부터 수신된 각 객체 블록 그룹으로부터 아이디, 위치, 크기를 포함하는 객체정보를 생성하여 객체 검출 알림 전송부(96)로 전달한다.
도 6은 본 발명의 일 실시 예에 따른 이동객체 검출방법의 흐름을 도시한 도면이다.
도 1 및 도 4 내지 도 6을 참조하면, 이동객체 검출장치(9)는 일정 배경 블록의 특성을 학습하여 배경 블록 모델을 생성한다(601). 이어서, 학습된 배경 블록 모델을 기준으로 배경에 해당하는 블록을 제외한 나머지를 객체후보 블록으로 선별(602) 하고, 프레임 내 객체후보 블록의 점유율이 일정 수준 이상인 프레임에 대하여 추가 객체 검출을 진행한다(603). 이어서, 압축 영상 스트림의 신택스 정보에서 파악된 각 객체후보 블록의 모션 변화량을 이용하여 최종 객체 블록을 선별하여 객체 블록 맵을 생성한다(605). 객체 블록 맵에서 직접 이웃하는 객체 블록들의 면적이 일정 수준 이상인 경우, 해당 블록들을 그룹화하여 객체 블록 그룹을 생성한다(606). 이어서, 각 객체 블록 그룹에 대하여 아이디, 위치, 크기 정보 등을 포함하는 객체정보를 생성(607) 하고, 검출된 객체정보가 사전 등록된 관심객체 선별조건을 충족하는 경우(608), 영상 감시 서버(5)에 객체 검출 알림 메시지를 전송(609)함에 따라, 영상 감시 서버(5)가 객체가 검출되는 경우에 한하여 영상처리 기능을 수행할 수 있도록 한다.
이하, 이동객체 검출 방법에 대해 보다 상세히 후술한다.
이동객체 검출장치(9)는 배경 모델 생성부(92)를 통해 배경 블록의 특성을 학습하여 배경 블록 모델을 생성한다(601). 학습을 통한 배경 모델링 단계(601)에 대해서는 도 7을 참조로 하여 후술한다.
이어서, 이동객체 검출장치(9)는 객체후보 블록 선별부(941)를 통해 배경 블록 모델을 기준으로 배경에 해당하는 블록을 제외한 나머지를 객체후보 블록으로 선별한다(602). 예를 들어, 연속된 P-프레임이 N개(e.g. 3-5)개 이상 누적되었을 때, 최종 프레임에 대하여 객체후보 블록을 선별한다. 모든 블록에 대하여 블록의 데이터 크기가 배경 모델의 평균값을 기준으로 소정의 범위 이내에 있을 경우 배경 블록으로 판단하고, 그렇지 않을 경우 객체후보 블록으로 판단할 수 있다.
기본 영역 배경 모델을 기준으로 하는 경우, 학습 방법의 특성상 상대적으로 선별 정확도가 낮아질 수 있다. 예를 들어, 객체후보 블록이 배경 블록으로 분류되는 오류가 많아질 수 있다. 이 부분을 보상하기 위하여 객체후보 블록 선별부(941)는 데이터 크기에 대한 표준편차를 확인할 수 있다. 객체가 포함된 영상을 학습한 경우에는 표준편차가 상대적으로 증가하는 경향을 보일 것이므로, 표준편차가 사전에 설정된 임계치 이상인 경우에는 학습된 평균값을 일정 수준 차감한 후 그 값을 기준으로 사용하도록 할 수 있다.
이어서, 이동객체 검출장치(9)는 객체 검출대상 프레임 선별부(942)를 통해 객체 검출대상 프레임을 선별한다(603). 예를 들어, 객체 검출대상 프레임 선별부(942)는 객체후보 블록 선별이 완료된 후 프레임내 객체후보 블록의 점유율을 산출하고, 이 값이 사전에 설정된 임계치 이상인 경우 이동객체가 포함되어 있는 영상 프레임인 것으로 판단하여 해당하는 객체 검출대상 프레임을 선별한다. 이렇게 일체의 복호화 과정 없이 검출대상 프레임을 1차 선별함으로써, 어느 정도의 성능 부하 감소를 기대할 수 있다.
이어서, 이동객체 검출장치(9)는 신택스 요소 추출부(943)를 통해 N개의 프레임에 대한 엔트로피 복호화 후 각 블록에서 코딩 타입과 모션 벡터를 포함하는 신택스 요소를 추출한다(604).
이어서, 이동객체 검출장치(9)는 객체 블록 맵 생성부(944)를 통해 연속된 프레임에서 누적된 모션 변화량을 기준으로 객체 블록 맵을 생성한다(605). 모션 변화량 기반 객체 블록 맵 생성 단계(605)는, 세부적으로 모션 변화량 산출 단계와 객체 블록 맵 생성 단계를 포함하며, 블록 단위 노이즈 제거 단계를 더 포함할 수 있다.
예를 들어, 객체 블록 맵 생성부(944)는 모션 변화량 산출 단계에서, N개의 연속된 프레임 동안의 모션 벡터를 누적하여 객체후보 블록 별 모션 변화량을 산출한다. 이전 프레임의 객체후보 블록의 코딩 타입이 모션 벡터가 존재하지 않는 Intra-coded 픽쳐인 경우, 해당 블록과 이웃하는 8개 블록의 평균 모션 변화량을 산출하여 누적할 수 있다.
이어서, 객체 블록 맵 생성부(944)는 객체 블록 맵 생성 단계에서, 객체후보 블록 중 객체 블록을 선별하여 객체 블록 맵을 생성할 수 있다. 이때, 모션 변화량이 사전에 설정된 임계치 이상인 후보 블록을 객체 블록으로 선별할 수 있다. 남아 있는 객체후보 블록의 코딩 타입이 Intra-coded 픽쳐인 경우, 해당 블록과 직접적으로 이웃하는 8개의 블록 중 객체 블록의 개수가 사전에 설정된 임계치 이상인 경우 객체 블록으로 추가 선별할 수 있다.
이어서, 객체 블록 맵 생성부(944)는 블록 단위 노이즈 제거 단계에서, 객체 블록 맵을 대상으로 블록 단위 노이즈를 제거할 수 있다. 이를 위해, 객체 블록 맵에서 객체 블록의 점유율을 산출한다. 이 값이 너무 큰 경우 조명, 날씨 등의 외부 요인에 의한 노이즈를 포함하고 있을 수 있다. 따라서, 객체 블록의 점유율이 사전에 설정된 임계치 이상인 경우 Median Filter, Gaussian Filter 등의 노이즈 리덕션 알고리즘을 적용하여 노이즈를 제거한다. 이 과정은 주변 상황에 따라 생략하도록 사전에 설정할 수 있다.
이어서, 이동객체 검출장치(9)는 객체 블록 그룹 생성부(945)를 통해 객체 블록 맵으로부터 객체 블록 그룹을 생성한다(606). 예를 들어, 객체 블록 맵에서 가로/세로/대각선 방향으로 직접 이웃하는 객체 블록을 그룹화하고, 그 면적이 사전에 지정된 임계치보다 큰 경우 객체 블록 그룹을 생성한다.
객체 블록 그룹 생성 단계(606)에서, 객체 블록 그룹 병합 단계를 추가로 수행할 수 있다. 그룹 생성 과정까지만 진행하여도 이동객체 검출 여부를 확인할 수 있지만, 이동객체가 여러 그룹으로 조각화 되어 나타날 수 있다. 따라서, 보다 정확한 객체 크기 및 위치 정보가 필요한 경우라면, K-means와 같은 클러스터링 알고리즘을 적용하여 객체 블록 그룹을 병합해야 한다. 이동객체 검출 여부만 판별하는 등 정확한 객체 영역 정보가 필요하지 않은 경우에는 객체 블록 그룹 병합 단계를 생략할 수 있다.
이어서, 이동객체 검출장치(9)는 객체정보 생성부(946)를 통해 각 객체 블록 그룹에 대하여 아이디, 위치, 크기를 포함하는 객체정보를 생성한다(607).
이어서, 이동객체 검출장치(9)는 객체정보가 사전 등록된 관심객체 선별조건을 충족하는 경우(608), 객체 검출 알림 전송부(96)를 통해 영상 감시 서버(5)에 객체 검출 알림 메시지를 전송한다(609). 객체 검출 알림 메시지에는 선별 조건에 따라 객체 검출 여부만 포함되거나, 검출된 객체 개수, 크기 및 위치 정보가 추가될 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 학습을 통해 배경을 모델링하는 프로세스를 도시한 도면이다.
도 1, 도 4 및 도 7을 참조하면, 이동객체 검출장치(9)는 배경 모델 생성부(92)를 통해 임의의 P-프레임에 대하여 학습을 진행하며, 학습 모드는 크게 기본 영역과 지정 영역 모드로 분류될 수 있다.
기본 영역 학습 모드에서, 배경 모델 생성부(92)는 사전에 설정된 주기마다 P-프레임의 전체 영역을 대상으로 학습한다. 일반적으로 배경 영상의 변화가 빈번하게 일어나지 않으므로, 학습 주기를 5-6분에서 길게는 시간 단위로 설정할 수 있다. 임의의 영상 프레임을 학습하는 것이므로, 이동객체가 포함되어 있는 대상 영역을 학습하게 되는 경우도 발생한다. 이 경우 객체후보 블록 선별 정확도가 낮아질 수 있다. 따라서, 데이터 크기에 대한 표준편차를 추가로 산출하여 정확도 보정에 활용할 수 있도록 한다. 이 학습 모드에서 생성된 배경 블록 모델은 학습 모드, 배경 블록 평균 데이터 크기 및 표준편차를 포함할 수 있다.
지정 영역 학습 모드에서, 배경 모델 생성부(92)는 현재 배경 블록 모델이 기본 영역 모델일 때, 객체 검출부(94)를 통해 이동객체가 검출되었을 경우 객체정보를 습득하여 지정 영역 모드 학습을 실행할 수 있다. 지정 영역 학습은 학습 주기 동안 최대 1회 실행될 수 있다. 도 7에서는 2차 학습 주기에서 지정 영역 학습을 수행하는 것을 예로 도시하고 있다. 검출된 객체 영역을 제외한 나머지 영역에 대해서만 학습을 진행하도록 함으로써 보다 정확한 모델을 얻을 수 있다. 이 학습 모드에서 생성된 배경 블록 모델은 학습 모드, 배경 블록 평균 데이터 크기를 포함할 수 있다.
대상 영역에 포함된 모든 블록에 대하여 데이터 크기 평균을 산출하는데, 기본 영역 학습 모드에서는 데이터 크기에 대한 표준편차를 추가로 산출할 수 있다. 데이터 크기는 비트 스트림에 할당된 해당 블록의 데이터 크기를 의미하는 것으로, 일체의 복호화 과정 없이 비트 스트림 구문 분석만으로 추출된다.
학습이 완료될 때마다 학습 결과에 따라 배경 블록 모델이 교체될 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (14)

  1. 이동객체 검출장치를 이용한 압축 영상에서의 이동객체 검출방법에 있어서, 이동객체 검출장치가
    압축 영상 스트림을 수신하여 압축 영상 프레임을 추출하는 단계;
    추출된 압축 영상 프레임을 대상으로 배경 블록의 특성을 학습하여 배경 블록 모델을 생성하는 단계;
    생성된 배경 블록 모델과 압축 영상 프레임에서 추출한 신택스 요소를 이용하여 압축 영상 프레임에서 이동객체를 검출하는 단계; 및
    이동객체가 검출되면 검출된 객체정보를 포함한 객체 검출 알림 메시지를 영상 감시 서버에 전송하여 영상 감시 서버가 이동객체 검출장치로부터 객체 검출 알림 메시지를 수신하는 경우에 각 서버의 영상처리 기능을 수행하도록 하는 단계; 를 포함하고,
    이동객체를 검출하는 단계는
    압축 영상 프레임에서 배경 블록 모델에 부합하는 블록을 제외한 나머지 블록을 객체후보 블록으로 선별하는 단계;
    압축 영상 프레임 내 객체후보 블록의 점유율을 이용하여 객체 검출대상 프레임을 선별하는 단계;
    선별된 객체 검출대상 프레임을 엔트로피 복호화 한 후 각 객체후보 블록의 신택스 요소를 추출하는 단계;
    추출된 신택스 요소로부터 각 객체후보 블록의 모션 변화량을 파악하고 파악된 각 객체후보 블록의 모션 변화량을 기준으로 객체 블록 맵을 생성하는 단계;
    생성된 객체 블록 맵에서 이웃하는 객체 블록들을 그룹화한 객체 블록 그룹을 생성하는 단계; 및
    생성된 객체 블록 그룹으로부터 객체정보를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 압축 영상에서의 이동객체 검출방법.
  2. 삭제
  3. 분석 서버, 녹화 서버 및 표출 서버 중 적어도 하나를 포함하는 영상 감시 서버; 및
    압축된 영상을 수신하여 이동객체를 검출하고 이동객체가 검출되면 검출된 객체정보를 포함하는 객체 검출 알림 메시지를 영상 감시 서버에 전송하는 이동객체 검출장치; 를 포함하고,
    영상 감시 서버는 이동객체 검출장치로부터 객체 검출 알림 메시지를 수신하는 경우에 각 서버의 영상처리 기능을 수행하며,
    이동객체 검출장치는
    배경 블록 모델과 압축 영상 프레임에서 추출한 신택스 요소를 이용하여 압축 영상 프레임에서 이동객체를 검출하는 객체 검출부; 를 포함하며,
    객체 검출부는
    압축 영상 프레임에서 배경 블록 모델에 부합하는 블록을 제외한 나머지 블록을 객체후보 블록으로 선별하는 객체후보 블록 선별부;
    압축 영상 프레임 내 객체후보 블록의 점유율을 이용하여 객체 검출대상 프레임을 선별하는 객체 검출대상 프레임 선별부;
    선별된 객체 검출대상 프레임을 엔트로피 복호화 한 후 각 객체후보 블록의 신택스 요소를 추출하는 신택스 요소 추출부;
    추출된 신택스 요소로부터 각 객체후보 블록의 모션 변화량을 파악하고 파악된 각 객체후보 블록의 모션 변화량을 기준으로 객체 블록 맵을 생성하는 객체 블록 맵 생성부;
    생성된 객체 블록 맵에서 이웃하는 객체 블록들을 그룹화한 객체 블록 그룹을 생성하는 객체 블록 그룹 생성부; 및
    생성된 객체 블록 그룹으로부터 객체정보를 생성하는 객체 정보 생성부;
    를 포함하는 것을 특징으로 하는 영상 감시 시스템.
  4. 제 3 항에 있어서,
    객체정보는 객체 검출 여부 정보를 포함하고,
    영상 감시 서버는 이동객체가 검출된 경우에 한하여 각각 분석 서버를 통해 영상을 분석하거나, 녹화 서버를 통해 영상을 녹화하거나, 표출 서버를 통해 영상을 표출하는 것을 특징으로 하는 영상 감시 시스템.
  5. 제 3 항에 있어서, 녹화 서버는
    이동객체 검출장치로부터 이동객체가 검출된 경우에 한하여 영상을 녹화하고,
    녹화 파일 삭제 시 이동객체가 검출된 영상은 제외하고 삭제하거나 후순위로 삭제하는 것을 특징으로 하는 영상 감시 시스템.
  6. 제 3 항에 있어서,
    객체정보는 객체 검출영역 정보를 포함하고,
    분석 서버는 객체 검출영역 정보를 이용하여 모든 영상 프레임 중에서 객체 검출 영상 프레임에 대해서만 영상을 분석하며,
    표출 서버는 객체 검출영역 정보를 이용하여 모든 영상 프레임 중에서 객체 검출 영상 프레임에 대해서만 영상을 복원 후 표출하는 것을 특징으로 하는 영상 감시 시스템.
  7. 삭제
  8. 제 3 항에 있어서, 이동객체 검출장치는
    압축 영상 스트림을 수신하여 압축 영상 프레임을 추출하는 압축 영상 스트림 수신부;
    추출된 압축 영상 프레임을 대상으로 배경 블록의 특성을 학습하여 배경 블록 모델을 생성하는 배경 모델 생성부; 및
    이동객체가 검출되면 검출된 객체정보를 포함한 객체 검출 알림 메시지를 영상 감시 서버에 전송하는 객체 검출 알림 전송부;
    를 더 포함하는 것을 특징으로 하는 영상 감시 시스템.
  9. 제 8 항에 있어서, 이동객체 검출장치는
    사전에 설정된 관심객체 선별조건이 저장되는 설정 저장부; 를 더 포함하며,
    객체 검출 알림 전송부는
    이동객체 검출 결과가 사전 설정된 관심객체 선별조건을 충족하는 경우, 영상 감시 서버에 객체 검출 알림 메시지를 전송하는 것을 특징으로 하는 영상 감시 시스템.
  10. 제 8 항에 있어서, 배경 모델 생성부는
    기본 영역 학습 모드에서, 사전에 설정된 주기마다 압축 영상 프레임의 전체 영역을 대상으로 학습하여 배경 블록 모델을 생성하고,
    지정 영역 학습 모드에서, 객체 검출부를 통해 검출된 객체정보를 획득하고 검출된 객체 영역을 제외한 나머지 영역에 대해서 학습을 진행하여 배경 블록 모델을 생성하는 것을 특징으로 하는 영상 감시 시스템.
  11. 삭제
  12. 제 3 항에 있어서, 객체후보 블록 선별부는
    대상영역에 포함된 모든 블록에 대하여 블록의 데이터 크기가 학습된 배경 모델의 평균 값을 기준으로 소정의 범위 내에 있는 경우 배경 블록으로 판단하고 그 외의 경우 객체후보 블록으로 지정하고,
    데이터 크기에 대한 표준편차가 사전에 설정된 임계치 이상인 경우 배경모델의 평균 값을 보정한 후 보정된 배경모델의 평균 값을 기준으로 사용하는 것을 특징으로 하는 영상 감시 시스템.
  13. 제 3 항에 있어서, 객체 블록 맵 생성부는
    연속된 프레임 동안의 모션 벡터를 누적하여 객체후보 블록 별 모션 변화량을 산출하고,
    연속된 프레임에서 누적된 모션 변화량을 기준으로 객체후보 블록들 중에서 객체 블록을 선별하여 객체 블록 맵을 생성하며,
    객체후보 블록의 코딩 타입이 Intra-coded 픽쳐인 경우, 해당 블록과 이웃하는 블록들의 평균 모션 변화량을 산출하여 누적하고, 해당 블록과 이웃하는 블록들 중 객체 블록의 개수가 사전에 설정된 임계치 이상인 경우 객체 블록으로 추가 선별하는 것을 특징으로 하는 영상 감시 시스템.
  14. 제 3 항에 있어서, 객체 블록 그룹 생성부는
    생성된 객체 블록 그룹을 추가로 병합하는 것을 특징으로 하는 영상 감시 시스템.
KR1020210006754A 2021-01-18 2021-01-18 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템 KR102264252B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210006754A KR102264252B1 (ko) 2021-01-18 2021-01-18 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210006754A KR102264252B1 (ko) 2021-01-18 2021-01-18 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템

Publications (1)

Publication Number Publication Date
KR102264252B1 true KR102264252B1 (ko) 2021-06-14

Family

ID=76417390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210006754A KR102264252B1 (ko) 2021-01-18 2021-01-18 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템

Country Status (1)

Country Link
KR (1) KR102264252B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052338A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR20180135898A (ko) * 2016-03-17 2018-12-21 아비질론 코포레이션 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
KR20200058260A (ko) * 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052338A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR20180135898A (ko) * 2016-03-17 2018-12-21 아비질론 코포레이션 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
KR20200058260A (ko) * 2019-01-18 2020-05-27 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법

Similar Documents

Publication Publication Date Title
US7082210B2 (en) Moving object detector and image monitoring system
US9756348B2 (en) Method, device and system for producing a merged digital video sequence
US10373458B2 (en) Automatic threat detection based on video frame delta information in compressed video streams
KR101949676B1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
KR20080058171A (ko) 카메라 템퍼링 검출
KR102090785B1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
US20230093631A1 (en) Video search device and network surveillance camera system including same
CN105809710A (zh) 检测运动目标的系统和方法
KR102187376B1 (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
CN103187083B (zh) 一种基于时域视频融合的存储方法及其系统
CN111277800A (zh) 监控视频编码及播放方法、装置、电子设备及存储介质
KR102090775B1 (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR102264252B1 (ko) 압축 영상에서의 이동객체 검출방법 및 이를 수행하는 영상 감시 시스템
KR102177494B1 (ko) 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법
JP2010062792A (ja) 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR102061915B1 (ko) 압축영상에 대한 신택스 기반의 객체 분류 방법
KR102179077B1 (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
CN104462422A (zh) 对象的处理方法及装置
KR102178952B1 (ko) 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
JP6665913B2 (ja) 映像解析装置、監視装置、監視システムおよび映像解析方法
KR102090782B1 (ko) 압축영상에 대한 신택스 기반의 객체 월담 감지 방법
KR102585167B1 (ko) 압축영상에 대한 신택스 기반의 동일인 분석 방법
KR20190074898A (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant