KR102343029B1 - 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법 - Google Patents

모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법 Download PDF

Info

Publication number
KR102343029B1
KR102343029B1 KR1020210154880A KR20210154880A KR102343029B1 KR 102343029 B1 KR102343029 B1 KR 102343029B1 KR 1020210154880 A KR1020210154880 A KR 1020210154880A KR 20210154880 A KR20210154880 A KR 20210154880A KR 102343029 B1 KR102343029 B1 KR 102343029B1
Authority
KR
South Korea
Prior art keywords
image
moving object
motion vector
image analysis
compressed
Prior art date
Application number
KR1020210154880A
Other languages
English (en)
Inventor
이현우
성시완
이성진
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Priority to KR1020210154880A priority Critical patent/KR102343029B1/ko
Application granted granted Critical
Publication of KR102343029B1 publication Critical patent/KR102343029B1/ko
Priority to US17/698,292 priority patent/US20230145068A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명은 일반적으로 영상분석 시스템에서 압축영상(예: H.264 AVC, H.265 HEVC)에 대한 영상분석 처리를 효과적으로 수행할 수 있도록 해주는 기술에 관한 것이다. 특히, 본 발명은 CCTV 카메라 등에서 생성되는 압축영상을 분석 처리함에 있어서 파싱을 통해 얻어지는 모션벡터 정보를 기반으로 영상분석 프로세스를 분기 처리함으로써 압축영상의 영상분석에 소요되는 컴퓨팅 자원을 절감할 수 있는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 기술에 관한 것이다. 본 발명에 따르면 CCTV 카메라 등으로부터 전달되는 대량의 압축영상을 영상분석함에 있어서 영상 디코딩을 모든 프레임에 수행하는 것이 아니라 이동객체가 포함되어 있는 프레임에 선별적으로 적용함으로써 종래기술 대비하여 영상분석에 소요되는 컴퓨터 자원을 대폭 낮출 수 있는 장점이 있다. 특히, 종래기술 대비 1/5 정도의 컴퓨터 자원으로 압축영상을 처리할 수 있게 되어 영상분석 시스템의 수용 채널수를 대략 5배 정도로 증가시킬 수 있는 장점이 있다.

Description

모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법 {method of processing compressed video by use of branching by motion vector}
본 발명은 일반적으로 영상분석 시스템에서 압축영상(예: H.264 AVC, H.265 HEVC)에 대한 영상분석 처리를 효과적으로 수행할 수 있도록 해주는 기술에 관한 것이다.
특히, 본 발명은 CCTV 카메라 등에서 생성되는 압축영상을 분석 처리함에 있어서 파싱을 통해 얻어지는 모션벡터 정보를 기반으로 영상분석 프로세스를 분기 처리함으로써 압축영상의 영상분석에 소요되는 컴퓨팅 자원을 절감할 수 있는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 기술에 관한 것이다.
최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 그런데. CCTV 카메라의 설치 현황에 비해 관제 요원의 수는 매우 부족한 것이 현실이다. 이처럼 부족한 인원으로 영상 감시를 효과적으로 수행할 수 있도록 CCTV 영상을 분석하여 유의미한 객체가 검출되면 해당 영역에 무언가 추가 표시하는 것이 바람직하다.
최근에 설치되는 CCTV 카메라는 고해상도(예: Full HD) 및 고프레임(예: 초당 24프레임)의 제품이 채택되고 있기 때문에 네트워크 대역폭과 스토리지 공간의 부담을 고려하여 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 영상압축 기술이 채택되고 있다. CCTV 카메라 장치는 촬영 영상을 영상압축 기술에 따라 인코딩하여 생성한 압축영상을 제공하고, CCTV 영상을 활용하는 측에서는 해당 기술규격에 따라 역으로 압축영상에 대한 디코딩을 수행하고 영상을 분석하여 정보를 추출하였다.
[도 1]은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. [도 1]을 참조하면, 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 모션벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다. 이들 하드웨어 모듈이 압축영상에서 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 구문분석기(11)는 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형을 파싱해낸다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록이다.
[도 2]는 압축영상을 영상분석하는 일반적인 과정을 나타내는 순서도이다. [도 2]를 참조하면, 압축영상을 동영상 압축표준(예: H.264 AVC, H.265 HEVC)에 따라 디코딩하고(S10), 재생영상의 프레임 이미지들을 작은 이미지, 예컨대 320x240 정도로 다운스케일 리사이징한다(S20). 그리고 나서, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구하고 재생영상 분석을 통해 객체(object)를 추출해낸다(S30).
이처럼 압축영상을 영상분석하려면 압축영상 디코딩, 다운스케일 리사이징, 재생영상 분석을 수행한다. 이들은 복잡도가 매우 높은 프로세스이고, 그로 인해 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시 처리할 수 있는 용량이 상당히 제한된다. 현재 고성능의 영상분석 서버가 담당할 수 있는 최대 CCTV 채널은 통상 최대 16 채널이다. 다수의 CCTV 카메라가 설치됨에 따라 다수의 영상분석 서버가 필요하고, 이는 비용 증가와 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.
본 발명의 목적은 일반적으로 영상분석 시스템에서 압축영상(예: H.264 AVC, H.265 HEVC)에 대한 영상분석 처리를 효과적으로 수행할 수 있도록 해주는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 CCTV 카메라 등에서 생성되는 압축영상을 분석 처리함에 있어서 파싱을 통해 얻어지는 모션벡터 정보를 기반으로 영상분석 프로세스를 분기 처리함으로써 압축영상의 영상분석에 소요되는 컴퓨팅 자원을 절감할 수 있는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 영상분석 서버가 압축영상을 모션벡터 기반 분기처리를 이용하여 영상분석 처리하는 방법을 제시한다.
본 발명에 따른 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법은, 압축영상을 분석하여 일련의 이미지 프레임을 식별하는 제 1 단계; 일련의 이미지 프레임에 대하여 미리 설정된 선정규칙에 따라 순차적으로 영상분석 대상인 이미지 프레임을 선정하는 제 2 단계; 영상분석 플래그가 OFF인 경우, 압축영상에 대한 비트스트림 파싱을 통해 획득되는 모션벡터 정보의 누적치에 기초하여 해당 이미지 프레임에서 이동객체 영역의 검출 여부를 판단하는 제 3a 단계와, 제 3a 단계에서 이동객체 영역이 검출되지 않은 경우, 해당 이미지 프레임에 대한 영상분석을 스킵 처리하고 제 2 단계로 진행하는 제 3b 단계를 수행하는 제 3 단계; 영상분석 플래그가 ON이거나 제 3a 단계에서 이동객체 영역이 검출된 경우, 해당 이미지 프레임에 대해 영상분석을 수행하여 유효객체 검출 여부를 판단하는 제 4 단계; 제 4 단계에서 유효객체가 검출되지 않은 경우, 영상분석 플래그를 OFF 설정하고 제 2 단계로 진행하는 제 5 단계; 제 4 단계에서 유효객체가 검출된 경우, 영상분석 플래그를 ON 설정하고 제 2 단계로 진행하는 제 6 단계;를 포함하여 구성된다.
이때, 본 발명은 제 3 단계와 제 4 단계 사이에 수행되는, 해당 이미지 프레임이 GOP 후단의 미리 설정된 갯수 이내에 위치한 P 프레임인 경우 해당 이미지 프레임에 대한 영상분석을 스킵 처리하고 제 2 단계로 진행하는 단계;를 더 포함하여 구성될 수 있다.
본 발명에서 제 3a 단계는, 압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 단계; 압축영상의 이미지 프레임을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 단계; 복수의 영상 블록 중에서 미리 설정된 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 단계;를 포함하여 구성될 수 있다.
또한, 본 발명에서 제 3a 단계는, 이동객체 영역으로 마킹된 영상 블록을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 단계; 복수의 이웃 블록 중에서 인트라 픽쳐의 코딩유형을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 단계; 복수의 이웃 블록 중에서 미리 설정된 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 단계; 압축영상의 이미지 프레임에 대하여 이동객체 영역으로 마킹된 영상 블록으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 마킹하는 인터폴레이션을 수행하는 단계; 압축영상의 이미지 프레임에서 이동객체 영역으로 마킹된 영상 블록들이 서로 연결되어 뭉쳐진 덩어리를 압축영상에서 검출된 이동객체 영역으로 설정하는 단계;를 더 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 CCTV 카메라 등으로부터 전달되는 대량의 압축영상을 영상분석함에 있어서 영상 디코딩을 모든 프레임에 수행하는 것이 아니라 이동객체가 포함되어 있는 프레임에 선별적으로 적용함으로써 종래기술 대비하여 영상분석에 소요되는 컴퓨터 자원을 대폭 낮출 수 있는 장점이 있다. 특히, 종래기술 대비 1/5 정도의 컴퓨터 자원으로 압축영상을 처리할 수 있게 되어 영상분석 시스템의 수용 채널수를 대략 5배 정도로 증가시킬 수 있는 장점이 있다.
[도 1]은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
[도 2]는 압축영상을 영상분석하는 일반적인 과정을 나타내는 순서도.
[도 3]은 본 발명에 따른 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법의 전체 프로세스를 나타내는 순서도.
[도 4]는 본 발명에서 압축영상으로부터 모션벡터 기반으로 이동객체 영역을 검출하는 과정의 일 실시예를 나타내는 순서도.
[도 5]는 본 발명에서 압축영상으로부터 유효 움직임 영역을 검출하는 과정의 일 실시예를 나타내는 순서도.
[도 6]은 CCTV 압축영상에 대해 유효 움직임 영역 검출을 적용한 결과를 나타낸 도면.
[도 7]은 본 발명에서 이동객체 영역에 대한 바운더리 영역을 검출하는 과정의 구현 예를 나타내는 순서도.
[도 8]은 [도 6]의 CCTV 영상 이미지에 대해 바운더리 영역 검출을 적용한 결과를 나타낸 도면.
[도 9]는 [도 8]의 CCTV 영상 이미지에 대해 인터폴레이션을 적용한 결과를 나타낸 도면.
[도 10]은 본 발명에서 압축영상을 구성하는 일련의 이미지 프레임을 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 3]은 본 발명에 따른 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법의 전체 프로세스를 나타내는 순서도이다. 본 발명은 영상분석 시스템에서 영상분석 서버가 압축영상(예: H.264 AVC, H.265 HEVC)에 대한 영상분석 처리를 모션벡터 기반 분기처리를 이용하여 효과적으로 수행할 수 있도록 해주는 기술이다.
단계 (S1000) : 먼저, 영상분석 서버가 압축영상을 분석하여 일련의 이미지 프레임을 식별한다. 영상 압축에 관한 기술규격에 의하면 압축영상은 [도 10]과 같이 일련의 이미지 프레임으로 구성된다.
단계 (S1100) : 다음으로, 일련의 이미지 프레임에 대하여 미리 설정된 선정규칙에 따라 순차적으로 영상분석 대상인 이미지 프레임을 선정한다. 일련의 이미지 프레임을 하나씩 선정할 수도 있고, 초당 3~4 프레임 정도가 되도록 띄엄띄엄 이미지 프레임을 영상분석 대상으로 선정할 수도 있다. 이처럼 미리 설정되어 있는 선정규칙에 따라 영상분석 대상인 이미지 프레임을 순차적으로 선정한다.
단계 (S1200) : 영상분석 플래그(flag)가 ON 상태인지 여부를 확인한다. 본 발명에서 영상분석 플래그는 (S1800)과 (S1900)에서 ON 설정 또는 OFF 설정된다. 편의상 영상분석 플래그의 초기값(initial value)은 편의상 OFF라고 가정할 수 있다.
단계 (S1300, S1400) : 영상분석 플래그가 OFF인 경우, 압축영상에 대한 비트스트림 파싱을 통해 획득되는 모션벡터 정보의 누적치에 기초하여 해당 이미지 프레임에서 이동객체 영역의 검출 여부를 판단하는 과정을 수행한다. 이미지 프레임에서 모션벡터에 기초하여 이동객체 영역의 검출 여부를 판단하는 과정(S1300)은 [도 4]를 참조하여 구체적으로 후술한다.
(S1300)의 판단 결과 이동객체 영역이 검출되지 않은 경우에는 해당 이미지 프레임에는 중요한 정보가 없을 것으로 판단하여 해당 이미지 프레임에 대한 영상분석을 스킵 처리하고 (S1100)으로 진행한다. 이 경우, 그 이미지 프레임에 대해서는 영상분석 과정, 즉 디코딩, 다운스케일 리사이징, 차영상 획득, 재생영상 분석 작업을 수행하지 않고 단지 비트스트림 파싱 및 약간의 연산만 수행하므로 컴퓨팅 자원을 적게 사용한다.
단계 (S1500 ~ S1900) : (S1200)의 판단 결과 영상분석 플래그가 ON 상태인 경우에는 (S1300, S1400)을 거치지 않고 (S1500)으로 진행한다. 또한, (S1300)의 판단 결과 모션벡터에 기초하여 이동객체 영역이 검출된 경우에는 해당 이미지 프레임에 중요한 정보가 포함되어 있을 수 있으므로 (S1500)으로 진행한다.
(S1500)에서는 해당 이미지 프레임에 대해 영상분석을 수행하여 유효객체 검출 여부를 판단한다. 예를 들어, [도 2]에서 살펴보았던 디코딩, 다운스케일 리사이징, 차영상 획득, 재생영상 분석을 통해 해당 이미지 프레임에 객체가 존재하는지 여부를 판단하는 것이다. 이처럼 영상분석을 통해 추출되는 객체를 본 명세서에서는 (S1300)에서 검출된 이동객체 영역과 구분하기 위해 편의상 '유효객체'라고 부른다.
이때, 일 실시예로서 (S1500)의 영상분석은 (S1300)에서 검출된 이동객체 영역([도 9]에서 파란색 영역)에 대해서만 수행하는 것이 아니라 해당 이미지 프레임 전체에 대해서 영상분석을 수행하도록 구성할 수 있다. 이때, 이동객체 영역이 아주 작은 것이라도 발견되면 (S1500)에서 해당 이미지 프레임 전체에 대해 영상분석을 수행하도록 구성하는 것이 바람직하다. 다른 실시예로는 (S1300)에서 검출된 이동객체 영역에만 (S1500)의 영상분석(즉, 디코딩, 다운스케일 리사이징, 차영상 획득, 재생영상 분석)을 수행하도록 구성할 수도 있다. 후자의 경우가 영상분석 속도는 더 빠를 것이다.
그리고 나서, (S1500)의 영상분석에 의해 유효객체가 검출되었는지 여부를 판단한다(S1600). 만일 (S1500)의 영상분석에서 유효객체가 검출되었다면 영상분석 플래그를 ON 설정하고 (S1100)으로 진행한다. 즉, 영상분석을 통해 유효객체를 발견한 경우에는 재생영상에서 유효객체가 사라질 때까지 (S1500)의 영상분석 과정을 수행하는 것이다. 재생영상에서 유효객체가 사라졌다면 (S1500)의 영상분석에서 유효객체가 검출되지 않을 것이므로, 이 경우에는 영상분석 플래그를 OFF 설정하고 (S1100)으로 진행한다.
한편, 해당 이미지 프레임이 GOP 후단의 미리 설정된 갯수 이내에 위치한 P 프레임인 경우에는 해당 이미지 프레임에 대한 영상분석을 스킵(skip) 처리하고 (S1100)으로 진행한다.
[도 10]은 본 발명에서 압축영상을 구성하는 일련의 이미지 프레임을 나타내는 도면이다. I(Intra) 프레임은 단일 프레임으로 디코딩이 가능하며, P(Prediction 혹은 Inter) 프레임은 마지막 I 프레임과 바로 앞선 P프레임까지의 영상을 디코딩한 경우에만 디코딩이 가능하다. GOP(Group of Pictures)는 하나의 I 프레임(Key Frame)과 P 프레임들의 묶음이며, 압축영상을 온전히 디코딩하기위한 최소 단위이다.
영상분석은 일반적으로 모든 프레임을 분석하지 않고 초당 3~4 프레임정도만 분석한다. 만일 초당 입력영상이 초당 30 프레임이고 10 프레임마다 한번 분석한다고 가정하면, 현재 GOP(t)내에서 "I 프레임 영상분석 이후 10개의 P 프레임마다 영상분석을 수행하게 된다. 이때, 다음번 GOP(t+1)의 I 프레임을 분석하기 전까지 GOP 후단의 9개 이내에 위치한 P 프레임들, 즉 21~29번째 P 프레임은 영상분석할 필요가 없다. 이러한 영상분석 스킵 동작을 통해서도 컴퓨팅 자원을 절감할 수 있다. 한편, 구현 예에 따라서는 [도 10]에서 P 프레임 부분에 B 프레임이 섞여있을 수도 있다.
[도 4]는 본 발명에서 압축영상으로부터 모션벡터 기반으로 이동객체 영역의 검출 여부를 판단하는 과정의 일 실시예를 나타내는 순서도이다. [도 4]의 프로세스는 [도 3]에서 단계 (S1300)에 대응한다.
본 발명에서는 신택스 정보(syntax information)에 기초하여 압축영상으로부터 이동객체로 보이는 부분을 식별해내고 이들을 객체 단위영역으로 설정하는 방식이 사용된다. 즉, 영상 내용을 전혀 모르는 상태에서 신택스 정보에 근거하여 이동객체가 포함된 것으로 추정되는 이미지 덩어리를 추출하는 방식이다. 이를 위해, 압축영상을 디코딩할 필요없이 압축영상의 비트스트림을 파싱하여 각 영상 블록에 대한 신택스 정보를 통해 이동객체 영역을 빠르게 추출한다. 영상 블록으로는 매크로블록(Macro Block) 및 서브블록(Sub Block) 등의 어느 하나 혹은 이들의 조합을 채택할 수 있고, 신택스 정보로는 모션벡터(Motion Vector)와 코딩유형(Coding Type)이 바람직하다. 이렇게 얻어진 이동객체 영역은 본 명세서에 첨부된 여러 이미지에서 확인되는 바와 같이 영상 내에 존재하는 이동객체의 경계선을 정밀하게 반영하지는 못하지만 처리속도가 빠르면서도 신뢰도가 높은 장점이 있다.
단계 (S100) : 먼저, 압축영상의 모션벡터에 기초하여 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임을 검출하며, 이처럼 유효 움직임이 검출된 영상 영역을 이동객체 영역으로 설정한다.
이를 위해, H.264 AVC 및 H.265 HEVC 등의 동영상압축 표준에 따라서 압축영상의 코딩 유닛(coding unit)의 모션벡터와 코딩유형을 파싱한다. 이때, 코딩 유닛의 사이즈는 일반적으로 64x64 픽셀 내지 4x4 픽셀 정도이며 설계자의 선택에 따라 다양하게 설정될 수 있다. 각 영상 블록에 대해 미리 설정된 일정 시간(예: 500 msec) 동안 그 영상 블록에서 얻은 모션벡터를 누적시킨다. 초당 30 프레임의 압축영상이라면 15 프레임(즉, 500 msec)에 걸쳐 각 영상 블록에서 발생한 모션벡터를 누적 합산하는 것이다. 그리고, 그에 따른 모션벡터 누적값이 미리 설정된 제 1 임계치(예: 20)를 초과하는지 검사한다. 만일 그러한 영상 블록이 발견되면 해당 영상 블록에서 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 반면, 어느 영상 블록에서 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못하는 경우에는 영상 변화가 미미한 것으로 추정하고 그 영상 블록은 이동객체 영역으로 마킹하지 않는다.
본 발명에서는 압축영상에 이동객체 영역이 존재하는지 여부를 판단하므로 (S1300)은 (S100)에 의해서도 어느정도 목적을 달성할 수 있다. 하지만, 이동객체 영역을 좀더 정확하게 검출하기 위해서는 이하에서 기술하는 바운더리 영역을 살펴보는 과정과 인터폴레이션 과정을 더 수행하는 것이 바람직하다.
단계 (S200) : 앞의 (S100)에서 검출된 이동객체 영역에 대하여 그 주변 영역을 모션벡터와 코딩유형에 기초하여 검사함으로써 이들 이동객체 영역의 바운더리가 대략적으로 어디까지인지 확장해나간다. 이러한 과정을 통해서 앞서 (S100)에서 파편화된 영상 블록의 형태로 검출된 이동객체 영역을 서로 연결하여 유의미한 덩어리 형태를 만들어가는 결과를 얻는다.
앞의 (S100)에서는 엄격한 판단기준에 따라 영상 블록들을 선별함으로써 압축영상 내에서 이동객체에 대응하는 것이 확실해 보이는 영상 블록을 검출하여 이동객체 영역으로 마킹하였다. 이번의 (S200)에서는 이렇게 (S100)에서 이동객체 영역으로 마킹되었던 영상 블록 주변에 위치하는 다른 영상 블록들을 검사한다. 이들을 본 명세서에서는 편이상 '이웃 블록'이라고 부른다. 이들 이웃 블록에 대해서는 앞서 (S100)에 적용하였던 판단기준에 비해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.
압축영상에서 매크로블록이나 서브블록 등은 매우 작은 사이즈이다. 따라서 CCTV 영상과 같이 사람, 자동차, 동물 등을 촬영한 영상이라면 그 속성상 이동객체가 하나의 영상 블록에만 나타나기는 곤란하고 여러 영상 블록에 걸쳐서 나타날 것으로 예상한다. 즉, 이동객체가 찍힌 영상 블록 근방에 존재하는 영상 블록에는 이동객체가 찍혀있을 가능성이 그렇지 않은 영상 블록에 비해 상대적으로 높다고 예상한다. 그러한 기술적 사상을 반영하여 (S200)에서는 이동객체 영역 주변에 존재하는 이웃 블록에 대해 상대적으로 완화된 판단기준에 따라 이동객체 영역에 해당하는지 여부를 판단한다.
바람직하게는 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상이거나 코딩유형이 인트라 픽쳐(Intra Picture)일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹한다. 다른 실시예로는, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 제 2 임계치(예: 5) 이상이거나 코딩유형이 인트라 픽쳐일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 논리적으로 타당하다.
개념적으로는, 유효 움직임이 발견되어 이동객체 영역의 근방에서 어느 정도의 움직임이 있는 영상 블록이라면 이는 앞의 이동객체 영역과 한 덩어리일 가능성이 높기 때문에 이동객체 영역이라고 마킹하는 것이다. 또한, 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 모션벡터에 기초하여 이동객체 영역인지 여부를 판단하는 것이 불가능하다. 이에, 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정한다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.
단계 (S300) : 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션(interpolation)을 적용하여 이동객체 영역의 분할(fragmentation)을 정리한다. 앞의 과정에서는 영상 블록 단위로 이동객체 영역 여부를 판단하였기 때문에 실제로는 하나의 이동객체(예: 사람)임에도 불구하고 중간중간에 이동객체 영역으로 마킹되지 않은 영상 블록이 존재하여 여러 개의 이동객체 영역으로 분할되는 현상이 발생할 수 있다. 이렇게 중간중간에 비마킹 영상 블록이 존재하게 되면 이들이 다수의 개별적인 이동객체인 것처럼 간주될 수 있다. 이렇게 이동객체 영역이 파편화되면 이동객체의 식별이 부정확해질 있다. 그에 따라, 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸여 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이들은 이동객체 영역으로 추가로 마킹하는데, 이를 인터폴레이션(보간)이라고 부른다. 이를 통해, 여러 개로 분할되어 있는 이동객체 영역을 하나로 뭉쳐지도록 만들 수 있다.
[도 6], [도 8], [도 9]를 비교하면 바운더리 영역 검출 과정과 인터폴레이션 과정을 거치면서 이동객체 영역이 실제 영상의 상황을 제대로 반영하게 되어간다는 사실을 발견할 수 있다. [도 6]에서 붉은 색으로 마킹된 덩어리로 판단한다면 영상 속에 아주 작은 물체들이 다수 움직이는 것처럼 다루어질 것인데, 이는 실제와는 부합하지 않는다. 반면, [도 9]에서 파란 색으로 마킹된 덩어리로 판단한다면 어느 정도의 부피를 갖는 몇 개의 이동객체가 존재하는 것으로 다루어질 것이어서 실제 장면을 유사하게 반영한다.
단계 (S400) : 앞서의 과정 (S100) 내지 (S300)을 통하여 압축영상으로부터 하나이상의 이동객체 영역을 획득하였다. 각각의 단계 (S100) 내지 (S300)에서는 영상블록 단위로 이동객체 영역에 속하는지 여부를 판단하여 마킹하였으나, 최종적으로는 이들이 서로 연결되어 뭉쳐진 영상블록의 덩어리가 이동객체 영역(region of moving object)으로 다루어진다. 이동객체 영역은 [도 9]에 도시된 것과 같이 다수의 영상블록들이 뭉쳐진 덩어리로서, 신택스 정보(모션벡터)에 기초하여 그 안에 하나이상의 이동객체가 포함되어 있을 것으로 추정되는 영역이다.
[도 5]는 본 발명에서 압축영상으로부터 유효 움직임(effective movement) 영역을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 6]은 CCTV 압축영상에 대해 유효 움직임 영역 검출을 적용한 결과의 일 예를 나타내는 도면이다. [도 5]의 프로세스는 [도 4]에서 단계 (S100)에 대응한다.
단계 (S110) : 먼저, 압축영상의 코딩 유닛을 파싱하여 모션벡터 및 코딩유형을 획득한다. [도 1]에서 구문분석기(11)가 압축영상의 스트림에 대해 동영상압축 표준에 따라 구문분석(헤더 파싱) 및 모션벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상의 코딩 유닛에 대하여 모션벡터와 코딩유형을 파싱해낸다.
단계 (S120) : 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간(예: 500 ms) 동안 얻어지는 모션벡터들을 누적 합산하여 모션벡터 누적값을 획득한다. 이 단계는 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임, 예컨대 주행중인 자동차, 달려가는 사람, 서로 싸우는 군중들이 있다면 이를 검출하려는 의도를 가지고 제시되었다. 흔들리는 나뭇잎, 잠시 나타나는 고스트, 빛의 반사에 의해 약간씩 변하는 그림자 등은 비록 움직임은 있지만 실질적으로는 무의미한 객체이므로 검출되지 않도록 한다. 이를 위해, 미리 설정된 일정 시간(예: 500 msec) 동안 영상 블록 단위로 모션벡터를 누적시킨다.
단계 (S130, S140) : 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치(예: 20)와 비교하며, 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹한다. 만일 이처럼 일정 이상의 모션벡터 누적값을 갖는 영상 블록이 발견되면 해당 영상 블록에서 무언가 유의미한 움직임, 즉 유효 움직임이 존재하는 것으로 추정하는 것이다. 예컨대 영상관제 시스템에서 사람이 뛰어가는 정도로 관제 요원이 관심을 가질만한 가치가 있을 정도의 움직임을 선별하여 검출하려는 것이다. 반대로, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못할 정도로 작을 경우에는 영상에서의 변화가 그다지 크지않고 미미한 것으로 추정하고 검출 단계에서 무시한다.
[도 6]은 CCTV 압축영상에 대해 [도 5]에 제시한 유효 움직임 영역 검출을 적용한 결과의 일 예를 나타낸 것이다. [도 6]에서는 제 1 임계치 이상의 모션벡터 누적값을 갖는 영상 블록이 이동객체 영역으로 마킹되어 붉은 색으로 표시되었다. [도 6]을 살펴보면 보도블럭이나 도로, 그리고 그림자가 있는 부분 등은 이동객체 영역으로 표시되지 않은 반면, 걷고있는 사람들이나 주행중인 자동차 등이 이동객체 영역으로 표시되었다.
[도 7]은 본 발명에서 이동객체 영역에 대한 바운더리 영역(boundary area)을 검출하는 과정의 구현 예를 나타내는 순서도이고, [도 8]은 [도 6]의 CCTV 영상 이미지에 대해 [도 7]에 제시한 바운더리 영역 검출을 적용한 결과의 일 예를 나타내는 도면이다. [도 7]의 프로세스는 [도 4]에서 단계 (S200)에 대응한다.
앞서의 [도 6]을 살펴보면 이동객체에 해당되는 영상블록이 제대로 마킹되지 않았으며 일부에 대해서만 마킹이 이루어진 것을 발견할 수 있다. 즉, 걷고있는 사람이나 주행중인 자동차를 살펴보면 객체의 전부가 마킹되지 않고 그 일부의 영상블록만 마킹되었음을 발견할 수 있다. 또한, 하나의 이동객체에 대해 복수의 이동객체 영역이 형성된 것도 많이 발견된다. 이는 앞의 (S100)에서 채택한 이동객체 영역의 판단 기준이 일반 영역을 필터링 아웃하는 데에는 매우 유용하지만 상당히 엄격한 것이었음을 의미한다. 따라서, 앞서 (S100)에서 마킹된 이동객체 영역을 중심으로 그 주변의 영상블록들을 검토하고 일정 기준을 만족한다면 이동객체 영역을 추가로 마킹해줌으로써 결과적으로는 이동객체 영역의 바운더리를 검출하는 과정이 필요하다.
단계 (S210) : 먼저, 앞의 (S100)에 의해 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 그와 인접하는 영상 블록들을 식별한다. 이들은 본 명세서에서는 '이웃 블록(neighboring blocks)'이라고 부른다. 이들 이웃 블록은 (S100)에 의해서는 이동객체 영역으로 마킹되지 않은 부분인데, [도 7]의 프로세스에서는 이들에 대해 좀더 살펴봄으로써 이들 이웃 블록 중에서 이동객체 영역에 포함될만한 것이 있는지 확인한다.
단계 (S220, S230) : 복수의 이웃 블록에 대하여 해당 이미지 프레임에서 도출된 모션벡터 값을 미리 설정된 제 2 임계치와 비교하고, 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹한다. 실질적으로 의미를 부여할만한 유효 움직임이 인정된 이동객체 영역에 인접하여 위치하고 그 자신에 대해서도 어느 정도의 움직임이 발견되고 있다면 그 영상 블록은 촬영 영상(예: CCTV 영상)의 특성상 앞의 이동객체 영역과 한 덩어리일 가능성이 높다. 따라서, 이러한 이웃 블록도 이동객체 영역이라고 마킹한다.
이를 구현하는 제 1 실시예로서, 각각의 이웃 블록을 검사하여, 현재 프레임에서 검출된 모션벡터 값이 미리 설정된 제 2 임계치(예: 0) 이상인 경우에 해당 영상 블록도 이동객체 영역으로 마킹한다. 한편, 제 2 실시예로서, [도 7]에는 도시되어 있지 않으나, 이웃 블록에 대해 앞서 (S100)에서 산출하였던 모션벡터 누적값이 미리 설정된 제 2 임계치(예: 5) 이상인 경우에는 해당 영상 블록도 이동객체 영역으로 마킹할 수 있다. 이때, 제 2 임계치는 제 1 임계치에 비해 작은 값으로 설정되는 것이 타당하다.
단계 (S240) : 또한, 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 것을 이동객체 영역으로 마킹한다. 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 해당 이웃 블록이 이동객체 영역에 해당되는지 여부를 모션벡터에 기초하여 판단하는 것이 불가능하다. 이동객체 영역으로 이미 검출된 영상 블록에 인접하여 위치하는 인트라 픽쳐라면 기 추출된 이동객체 영역과 함께 한 덩어리를 이루는 것으로 추정하는 것이 바람직하다. 이동객체 영역이 아닌 영상 블록 하나가 이동객체 영역에 포함되었을 때의 손실은 별로 크지 않은 반면, 이동객체 영역이 파편화되었을 때의 손실은 크기 때문이다.
[도 8]은 [도 6]의 CCTV 영상 이미지에 대해 바운더리 영역 검출을 적용한 결과의 일 예를 나타낸 도면인데, 이상의 과정을 통해 이동객체 영역으로 마킹된 다수의 영상 블록을 파란 색으로 표시하였다. [도 6]과 [도 8]을 비교하면, 앞서 [도 6]에서 붉은 색으로 표시되었던 이동객체 영역의 근방으로 파란 색의 이동객체 영역은 좀더 확장되었으며 이를 통해 CCTV로 촬영된 실제 영상과 비교할 때 이동객체를 전부 커버할 정도가 되었다는 사실을 발견할 수 있다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (5)

  1. 영상분석 서버가 압축영상을 모션벡터 기반 분기처리를 이용하여 영상분석 처리하는 방법으로서,
    압축영상을 분석하여 일련의 이미지 프레임을 식별하는 제 1 단계;
    상기 일련의 이미지 프레임에 대하여 미리 설정된 선정규칙에 따라 순차적으로 영상분석 대상인 이미지 프레임을 선정하는 제 2 단계;
    영상분석 플래그가 OFF인 경우, 압축영상에 대한 비트스트림 파싱을 통해 획득되는 모션벡터 정보의 누적치에 기초하여 해당 이미지 프레임에서 이동객체 영역의 검출 여부를 판단하는 제 3a 단계와, 상기 제 3a 단계에서 이동객체 영역이 검출되지 않은 경우, 해당 이미지 프레임에 대한 영상분석을 스킵 처리하고 상기 제 2 단계로 진행하는 제 3b 단계를 수행하는 제 3 단계;
    상기 영상분석 플래그가 ON이거나 상기 제 3a 단계에서 이동객체 영역이 검출된 경우, 해당 이미지 프레임에 대해 영상분석을 수행하여 유효객체 검출 여부를 판단하는 제 4 단계;
    상기 제 4 단계에서 유효객체가 검출되지 않은 경우, 상기 영상분석 플래그를 OFF 설정하고 상기 제 2 단계로 진행하는 제 5 단계;
    상기 제 4 단계에서 유효객체가 검출된 경우, 상기 영상분석 플래그를 ON 설정하고 상기 제 2 단계로 진행하는 제 6 단계;
    를 포함하여 구성되는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법.
  2. 청구항 1에 있어서,
    상기 제 3 단계와 제 4 단계 사이에 수행되는,
    해당 이미지 프레임이 GOP 후단의 미리 설정된 갯수 이내에 위치한 P 프레임인 경우 해당 이미지 프레임에 대한 영상분석을 스킵 처리하고 상기 제 2 단계로 진행하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법.
  3. 청구항 2에 있어서,
    상기 제 3a 단계는,
    압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 단계;
    압축영상의 이미지 프레임을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 단계;
    상기 복수의 영상 블록 중에서 미리 설정된 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법.
  4. 청구항 3에 있어서,
    상기 제 3a 단계는,
    상기 이동객체 영역으로 마킹된 영상 블록을 중심으로 그 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 단계;
    상기 복수의 이웃 블록 중에서 인트라 픽쳐의 코딩유형을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 단계;
    상기 복수의 이웃 블록 중에서 미리 설정된 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 단계;
    압축영상의 이미지 프레임에 대하여 이동객체 영역으로 마킹된 영상 블록으로 둘러싸인 미리 설정된 갯수 이하의 비마킹 영상 블록을 이동객체 영역으로 마킹하는 인터폴레이션을 수행하는 단계;
    압축영상의 이미지 프레임에서 이동객체 영역으로 마킹된 영상 블록들이 서로 연결되어 뭉쳐진 덩어리를 상기 압축영상에서 검출된 이동객체 영역으로 설정하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법.
  5. 컴퓨터에 청구항 1 내지 4 중 어느 하나의 항에 따른 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.
KR1020210154880A 2021-11-11 2021-11-11 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법 KR102343029B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210154880A KR102343029B1 (ko) 2021-11-11 2021-11-11 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법
US17/698,292 US20230145068A1 (en) 2021-11-11 2022-03-18 Video analysis method of a compressed video by use of branching by motion vector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154880A KR102343029B1 (ko) 2021-11-11 2021-11-11 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법

Publications (1)

Publication Number Publication Date
KR102343029B1 true KR102343029B1 (ko) 2021-12-24

Family

ID=79176290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154880A KR102343029B1 (ko) 2021-11-11 2021-11-11 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법

Country Status (2)

Country Link
US (1) US20230145068A1 (ko)
KR (1) KR102343029B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021993A (ko) * 2017-08-24 2019-03-06 이노뎁 주식회사 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021993A (ko) * 2017-08-24 2019-03-06 이노뎁 주식회사 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR20200013340A (ko) * 2018-07-30 2020-02-07 이노뎁 주식회사 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법

Also Published As

Publication number Publication date
US20230145068A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US10277901B2 (en) Encoding a video stream having a privacy mask
EP1950971A2 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
KR102090785B1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
KR101949676B1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
JP2000224590A (ja) ビデオシ―ケンスの特徴抽出方法
KR102187376B1 (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
EP3175621B1 (en) Video-segment identification systems and methods
KR102090775B1 (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
US10412391B1 (en) Minimize number of encoded video stream frames for content recognition
KR102061915B1 (ko) 압축영상에 대한 신택스 기반의 객체 분류 방법
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR102177494B1 (ko) 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법
KR102179077B1 (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
KR102015084B1 (ko) 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR102343029B1 (ko) 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법
KR102080456B1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
KR102178952B1 (ko) 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
CN112532982B (zh) 使用跳过块掩码来减小来自监控摄像机的比特率
KR102015078B1 (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법
KR102153093B1 (ko) 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR102090782B1 (ko) 압축영상에 대한 신택스 기반의 객체 월담 감지 방법
JPH10112863A (ja) 動き被写体情報抽出方法及び装置
KR102585167B1 (ko) 압축영상에 대한 신택스 기반의 동일인 분석 방법
KR102594803B1 (ko) 압축영상에 대한 신택스 기반의 동일인 검색 방법

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant