WO2019039661A1 - 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 - Google Patents

압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 Download PDF

Info

Publication number
WO2019039661A1
WO2019039661A1 PCT/KR2017/013970 KR2017013970W WO2019039661A1 WO 2019039661 A1 WO2019039661 A1 WO 2019039661A1 KR 2017013970 W KR2017013970 W KR 2017013970W WO 2019039661 A1 WO2019039661 A1 WO 2019039661A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
image
object region
motion vector
compressed image
Prior art date
Application number
PCT/KR2017/013970
Other languages
English (en)
French (fr)
Inventor
이현우
배현성
이성진
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Priority to US16/641,198 priority Critical patent/US20200221115A1/en
Publication of WO2019039661A1 publication Critical patent/WO2019039661A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present invention relates generally to techniques for effectively extracting moving object regions from compressed images such as H.264 AVC and H.265 HEVC.
  • the present invention extracts a region in which a significant motion exists in a compressed image, that is, a moving object region, based on a syntax such as a motion vector and coding type information, thereby decoding a compressed video stream,
  • the present invention relates to a technique in which the efficiency of the extraction of the moving object region is much improved because the complicated image processing becomes unnecessary as compared with the conventional technique.
  • a typical image processing system encodes or decodes moving pictures according to the technical specifications of MPEG-1/2/4, H.264 AVC, and H.265 HEVC.
  • a compressed image is generated according to one of these technical specifications, and the apparatus for reproducing the moving image receives the compressed image, and if the compressed image is received, As shown in FIG.
  • a moving picture decoding apparatus includes a syntax analyzer 11, an entropy decoder 12, an inverse transformer 13, a motion vector calculator 14, a predictor 15, a deblocking filter 16).
  • Such hardware modules process compressed images sequentially, decompress them, and restore the original image data.
  • the parser 11 parses the motion vector and coding type information for the coding unit of the compressed image.
  • Such a coding unit is generally an image block such as a macroblock or a sub-block, but may be implemented not exactly in accordance with a technical standard.
  • image sensing system adopts compressed image for efficiency of storage space.
  • complicated image compression techniques of high compression ratio such as H.264 AVC and H.265 HEVC are adopted.
  • a compressed image is decoded to obtain a reproduced image, that is, a decompressed original image, and then the reproduced image is subjected to image processing.
  • FIG. 2 is a flowchart illustrating a process of extracting a moving object region from a compressed image in a conventional image analysis solution.
  • a compressed image is decoded according to H.264 AVC and H.265 HEVC (S10), and the frame images of the reproduced image are downscaled to a small image, for example, 320x240 (S20).
  • S10 H.264 AVC and H.265 HEVC
  • S20 320x240
  • downscaling is performed to reduce the processing burden in the subsequent process.
  • differential images are obtained for the resized frame images, and the moving object area is extracted through image analysis.
  • an object of the present invention is to extract a region in which a significant motion exists in a compressed image, that is, a moving object region, based on a syntax such as a motion vector and coding type information, thereby decoding a compressed video stream,
  • the present invention provides a technique in which the complex image processing becomes unnecessary as compared with the conventional technique, and the efficiency of the extraction of the moving object region is much improved.
  • a method for extracting a moving object region based on a syntax based on a compressed image including: a first step of parsing a motion vector and coding type information for a coding unit of a compressed image; A second step of acquiring a motion vector accumulation value for a predetermined time for each of a plurality of image blocks constituting a compressed image; A third step of comparing the accumulated value of the motion vector with a preset first threshold value for a plurality of image blocks; And marking the image block having the accumulated motion vector value exceeding the first threshold value as a moving object region.
  • the moving object region extracting method includes: a fifth step of identifying a plurality of adjacent image blocks (hereinafter, referred to as 'neighboring blocks') centered on an image block marked as a moving object region; A sixth step of comparing a motion vector value with a predetermined second threshold value for a plurality of neighboring blocks; A seventh step of marking a neighboring block having a motion vector value exceeding a second threshold as a moving object area; And marking a neighboring block having a coding type of an intra picture among the plurality of neighboring blocks as a moving object region.
  • a method for extracting a moving object region including: a ninth step of interpolating a plurality of moving object regions; And displaying the moving object region on the playback screen of the compressed image so as to be distinguished from the general image.
  • the image block includes macroblocks and subblocks
  • the accumulation time of the motion vector is set to 500 ms
  • the first threshold value is set to 20 or more
  • the second threshold value is set to 0 .
  • a computer-readable nonvolatile recording medium records a program for executing a syntax-based moving object region extraction method on a compressed image as described above in a computer.
  • a moving object region can be effectively extracted from a compressed image generated from a CCTV camera or the like.
  • the present invention extracts a moving object region based on a syntax without performing a complicated process such as decoding of a compressed image, downscaling resizing, differential image acquisition, image analysis, etc. Therefore, Improvement.
  • FIG. 1 is a block diagram showing a general configuration of a moving picture decoding apparatus
  • FIG. 2 is a flowchart showing a process of extracting a moving object region from a compressed image in the prior art
  • FIG. 3 is a flowchart showing the entire process of extracting a moving object region from a compressed image according to the present invention.
  • FIG. 4 is a flowchart showing an embodiment of a process of detecting valid motion from a compressed image in the present invention.
  • FIG. 5 is a diagram illustrating an example of a result of applying a valid motion region detection process according to the present invention to a CCTV monitoring screen.
  • Figures 6 and 7 are partially enlarged views of the main part of Figure 5;
  • FIG. 8 is a flowchart illustrating an example of a process of detecting a boundary region for a moving object region in the present invention.
  • FIG. 9 is a view showing an example of a result of applying a boundary region detection process according to the present invention to a compressed image.
  • Figs. 10 and 11 are partially enlarged views of the main part of Fig. 9; Fig.
  • FIG. 12 is a diagram illustrating an example of a result of summarizing a moving object region through interpolation in the present invention.
  • Figs. 13 and 14 are partially enlarged views of the main part of Fig. 12; Fig.
  • FIG. 3 is a flowchart showing the entire process of extracting a moving object region from a compressed image according to the present invention.
  • the moving object region extraction process according to the present invention can satisfactorily perform an image analysis server in a system for handling a series of compressed images, for example, a CCTV image control system.
  • a motion vector and a coding type information of each image block i.e., a macro block and a sub block, are bit-stream parsed without decoding a compressed image, And extracts a moving object area using the extracted area information.
  • the present invention is not limited to the case where an operation for decoding a compressed image is not performed.
  • Step S100 First, an effective motion that is substantially meaningful from the compressed image is detected based on the motion vector of the compressed image, and the image area in which the valid motion is detected is set as the moving object area.
  • the motion vector and coding type of the coding unit of the compressed image are parsed according to a moving picture compression standard such as H.264 AVC and H.265 HEVC.
  • the size of the coding unit is generally 64 x 64 pixels to 4 x 4 pixels and can be set to be flexible.
  • a predetermined time period e.g., 500 msec
  • Step S200 Next, the boundary region is detected based on the motion vector and the coding type for the moving object region detected in the previous step (S100). For this purpose, when a plurality of image blocks neighboring the image block marked as the moving object region are examined and the motion vector is generated over a second threshold value (for example, 0) or the coding type is an intra picture, Mark the block as a moving object area. In this process, the image block is substantially a block of the moving object area detected in step S100.
  • a second threshold value for example, 0
  • the coding type is an intra picture
  • the image block If an effective motion is found and the image block has some motion in the vicinity of the moving object area, it is marked as a moving object area because it is likely to be a lump with the previous moving object area.
  • the intra picture adjacent to the image block already detected as the moving object area maintains the setting of the previously extracted moving object area.
  • Step S300 Finally, interpolation is applied to the moving object region detected in the previous (S100) and (S200) to arrange the fragmentation of the moving object region.
  • the previous process since it is judged whether or not the moving object region is determined in units of image blocks, in reality, there is an image block which is not marked as the moving object region in the middle even though it is one moving object (for example, As shown in FIG. Accordingly, if there is one or a small number of unmarked image blocks surrounded by a plurality of image blocks marked as the moving object region, they are marked as a moving object region.
  • FIG. 4 is a flowchart illustrating an embodiment of a process for detecting valid motion from a compressed image in the present invention
  • FIG. 5 is a diagram illustrating an example of a result of applying the effective motion region detection process according to the present invention.
  • Step S110 First, the motion vector and coding type information are parsed for the coding unit of the compressed image.
  • the moving picture decoding apparatus performs parsing (header parsing) and motion vector computation according to a moving picture compression standard corresponding to H.264 AVC and H.265 HEVC, respectively, with respect to a stream of a compressed image.
  • the motion vector and the coding type are parsed for the coding unit of the compressed image.
  • Step S120 The motion vector accumulation value for a preset time (for example, 500 ms) is obtained for each of the plurality of image blocks constituting the compressed image.
  • This step is presented with the intent to detect any valid motion that is substantially meaningful from the compressed image, such as a running car, a runner, or a crowd fighting with each other.
  • Shaky leaves, ghosts that appear for a while, shadows that change slightly due to reflection of light, etc. are intended to prevent detection because they are objects that are moving but actually meaningless.
  • the motion vector accumulation value is obtained by accumulating the motion vectors in units of one or more image blocks for a preset predetermined time (for example, 500 msec).
  • the image block is used as a concept including a macro block and a sub-block.
  • Steps S130 and S140 The motion vector accumulation value is compared with a preset first threshold value (e.g., 20) for a plurality of image blocks, and an image block having a motion vector accumulation value exceeding the first threshold value, Lt; / RTI >
  • a preset first threshold value e.g. 20
  • a significant motion that is, a valid motion is detected in the corresponding image block, and is marked as a moving object region.
  • the degree of movement is such that the control personnel are worthy of interest.
  • the cumulative value for a predetermined time period is small enough to not exceed the first threshold value even if a motion vector occurs, the change in the image is estimated to be insignificant and insignificant, and ignored in the detection step.
  • Step S150 The moving object region is displayed on the reproduction screen of the compressed image so as to be distinguished from the general image.
  • FIG. 5 is a diagram illustrating an example of a result of applying a valid motion region detection process to a CCTV monitoring screen.
  • a plurality of image blocks indicating a cumulative motion vector value exceeding a first threshold value are marked as a moving object region, Line box.
  • Figs. 6 and 7 are enlarged views of main parts in Fig. 5.
  • Fig. 5 to 7 the sidewalk block, the road, and the shadowed portion are not displayed as the moving object area, while the walking people and the traveling car are displayed as the moving object area.
  • the moving object region is represented by a thick line block, but it is more preferable that the CCTV monitor screen expresses the moving object region in a color that the controller can identify immediately.
  • FIG. 8 is a flowchart illustrating an embodiment of a process of detecting a boundary region for a moving object region in the present invention.
  • the moving object is not properly marked and only a part of the moving object is marked.
  • you look at the image of a person walking or a car in motion you can find that not all of the objects are marked, but only some of the blocks are marked.
  • Step S210 First, a plurality of adjacent image blocks are identified centering on the image block marked as the moving object region by the previous step (S100). These are referred to herein as " neighboring blocks ". These neighboring blocks are portions that are not marked as a moving object area by step S100. The neighboring blocks will be examined in more detail in accordance with the process of FIG. 8 to check whether there is any one of these neighboring blocks that can be included in the boundary of the moving object area.
  • Step S220 S230: The motion vector value is compared with a preset second threshold value (e.g., 0) for a plurality of neighboring blocks, and a neighboring block having a motion vector value exceeding the second threshold value is marked as a moving object region do. If there is a motion that is located adjacent to the recognized moving object region, which is substantially effective, the moving image block is likely to be a lump of the moving object region ahead of the moving object region. Therefore, this neighboring block is also marked as a moving object area.
  • a preset second threshold value e.g., 0
  • Step S240 Also, among the plurality of neighboring blocks, a neighboring block whose coding type is an intra picture is marked as a moving object area.
  • a neighboring block whose coding type is an intra picture is marked as a moving object area.
  • the intra picture adjacent to the image block already detected as the moving object region is safer to maintain the setting of the extracted moving object region.
  • Step S250 The moving object region is displayed on the reproduction screen of the compressed image so as to be distinguished from the general image.
  • FIG. 9 is a diagram showing an example of a result applied to the boundary region detection process according to the present invention.
  • a plurality of image blocks marked as a moving object region are displayed as thick line boxes on a monitor screen.
  • the moving object area is further expanded in FIGS. 10 and 11 to cover the entire moving object Can be found.
  • FIG. 12 is a diagram illustrating an example of a result of summarizing a moving object region through interpolation in the present invention
  • FIGS. 13 and 14 are enlarged views of main parts in FIG.
  • Step S300 is a process of organizing the division of the moving object region by applying interpolation to the moving object region detected in the previous steps S100 and S200.
  • a non-marking image block is found between moving object areas indicated by blocks. If there are non-marking image blocks in the middle, it is difficult to judge whether they are objects to be considered as individual moving objects or as a mass. In particular, since it is displayed mottled on the monitor screen of the CCTV video control system, it is difficult for the control personnel to grasp it immediately.
  • the present invention can be embodied in the form of computer readable code on a computer-readable non-volatile recording medium.
  • a non-volatile recording medium includes all kinds of storage devices for storing computer-readable data such as a hard disk, an SSD, a CD-ROM, a NAS, a magnetic tape, a web disk, a cloud disk, And the code may be distributed and stored in the storage device of the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 이동객체 영역을 효과적으로 추출하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 압축영상에서 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 모션벡터와 코딩유형 정보와 같은 신택스(syntax)에 기초하여 추출함으로써 압축영상 스트림을 디코딩하고 영상분석 처리를 수행하는 종래기술에 비해 복잡한 이미지 프로세싱이 불필요하게 되어 이동객체 영역 추출의 효율이 훨씬 개선된 기술에 관한 것이다. 본 발명에 따르면 CCTV 카메라 등으로부터 생성되는 압축영상으로부터 효과적으로 이동객체 영역을 추출할 수 있는 장점이 있다. 본 발명은 압축영상의 디코딩, 다운스케일 리사이징, 차영상 획득, 영상 분석 등과 같은 복잡한 과정을 수행할 필요없이 신택스에 기초하여 이동객체 영역을 추출하므로 기존의 영상분석 서버에 비해 약 20배 정도의 성능 향상을 제공한다.

Description

압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 이동객체 영역을 효과적으로 추출하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 압축영상에서 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 모션벡터와 코딩유형 정보와 같은 신택스(syntax)에 기초하여 추출함으로써 압축영상 스트림을 디코딩하고 영상분석 처리를 수행하는 종래기술에 비해 복잡한 이미지 프로세싱이 불필요하게 되어 이동객체 영역 추출의 효율이 훨씬 개선된 기술에 관한 것이다.
일반적인 영상처리 시스템은 MPEG-1/2/4, H.264 AVC, H.265 HEVC 등의 기술규격에 따라 동영상을 인코딩 또는 디코딩한다. 동영상 데이터를 생성하는 카메라 장치에서는 이들 기술규격 중 어느 하나에 따라 압축영상을 생성하여 제공하며, 동영상을 재생하는 장치에서는 이러한 압축영상을 전달받으면 그 압축영상을 인코딩할 때 적용했던 기술규격에 따라 역으로 디코딩을 수행한다.
도 1은 H.264 AVC 기술규격에 따른 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도이다. 도 1을 참조하면, H.264 AVC에 따른 동영상 디코딩 장치는 구문분석기(11), 엔트로피 디코더(12), 역 변환기(13), 모션벡터 연산기(14), 예측기(15), 디블로킹 필터(16)를 포함하여 구성된다.
이들 하드웨어 모듈이 압축영상을 순차적으로 처리함으로써 압축을 풀고 원래의 영상 데이터를 복원해낸다. 이때, 구문분석기(11)는 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형 정보를 파싱해낸다. 이러한 코딩 유닛(coding unit)은 일반적으로는 매크로블록이나 서브 블록과 같은 영상 블록인데, 기술규격에 따라서는 정확히 일치하지 않게 구현될 수도 있다.
한편, 최근에는 범죄예방이나 사후증거 확보 등을 위해 CCTV를 이용하는 영상관제 시스템을 구축하는 것이 일반적이다. 지역별로 다수의 CCTV 카메라를 설치해둔 상태에서 이들 CCTV 카메라가 생성하는 영상을 모니터에 표시하고 스토리지 장치에 저장해두는 것이다. 범죄나 사고가 발생하는 장면을 관제 요원이 발견하게 되면 그 즉시 적절하게 대처하는 한편, 필요에 따라서는 사후증거 확보를 위해 스토리지에 저장되어 있는 영상을 검색하는 것이다.
그런데. CCTV 카메라의 설치 현황에 비해 관제 요원의 수는 매우 부족한 것이 현실이다. 이처럼 제한된 인원으로 영상 감시를 효과적으로 수행하려면 CCTV 영상을 모니터 화면에 단순 표시하는 것만으로는 충분하지 않으며. 각각의 CCTV 영상에서 움직임을 감지하여 실시간으로 추가 표시하는 것이 바람직하다. 관제 요원은 움직임이 있는 CCTV 영상을 중심으로 감시를 수행하는 것이다.
그런데 영상감지 시스템에서는 스토리지 공간의 효율을 위해 압축영상을 채택하고 있다. 특히 최근에는 CCTV 카메라의 설치 대수가 급속하게 증가하고 고화질 카메라가 주로 설치됨에 따라 H.264 AVC 및 H.265 HEVC 등과 같은 고압축율의 복잡한 영상압축 기술이 채택되고 있다. 압축영상에서 움직임 유무를 판단하기 위해 종래에는 압축영상을 디코딩하여 재생영상, 즉 압축이 풀려있는 원래 영상을 얻은 후에, 그 재생영상을 이미지 처리하였다.
도 2는 기존의 영상분석 솔루션에서 압축영상으로부터 이동객체 영역을 추출하는 과정을 나타내는 순서도이다.
도 2를 참조하면, 종래기술에서는 압축영상을 H.264 AVC 및 H.265 HEVC 등에 따라 디코딩하고(S10), 재생영상의 프레임 이미지들을 작은 이미지, 예컨대 320x240 정도로 다운스케일 리사이징을 한다(S20). 이때, 다운스케일 리사이징을 하는 이유는 이후 과정에서의 프로세싱 부담을 그나마 줄이기 위한 것이다. 그리고 나서, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구한 후에 영상 분석을 통해 이동객체 영역을 추출해낸다.
종래기술에서 이동객체를 추출하려면 복잡도가 매우 높은 과정인 압축영상 디코딩, 다운스케일 리사이징, 영상 분석을 수행해야 한다. 이로 인해, 종래의 영상관제 시스템에서는 한 대의 영상분석 서버가 동시에 분석할 수 있는 능력이 16 채널로 제한되어 있었다. 일반적으로 다수의 CCTV 카메라가 설치되므로 영상관제 시스템을 구축하기 위해서는 다수의 영상분석 서버가 필요하였고, 비용 증가 및 물리적 공간 확보의 어려움이라는 문제점을 유발하였다.
본 발명의 목적은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상에서 이동객체 영역을 효과적으로 추출하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 압축영상에서 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 모션벡터와 코딩유형 정보와 같은 신택스(syntax)에 기초하여 추출함으로써 압축영상 스트림을 디코딩하고 영상분석 처리를 수행하는 종래기술에 비해 복잡한 이미지 프로세싱이 불필요하게 되어 이동객체 영역 추출의 효율이 훨씬 개선된 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명에 따른 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법은, 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형 정보를 파싱하는 제 1 단계; 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간 동안의 모션벡터 누적값을 획득하는 제 2 단계; 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계; 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계;를 포함하여 구성된다.
또한, 본 발명에 따른 이동객체 영역 추출 방법은, 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 5 단계; 복수의 이웃 블록에 대하여 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 6 단계; 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 제 7 단계; 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐(Intra Picture)인 이웃 블록을 이동객체 영역으로 마킹하는 제 8 단계;를 더 포함하여 구성될 수 있다.
또한, 본 발명에 따른 이동객체 영역 추출 방법은, 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하는 제 9 단계; 압축영상의 재생 화면에 이동객체 영역을 일반 영상과 구별되도록 표시하는 제 10 단계;를 더 포함하여 구성될 수 있다.
본 발명에서 영상 블록은 매크로블록과 서브블록을 포함하여 구성되고, 모션벡터의 누적 시간은 500 ms로 설정되고, 제 1 임계치는 20 이상으로 설정되고, 제 2 임계치는 0으로 설정되는 것이 바람직하다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 비휘발성 기록매체는 컴퓨터에 이상과 같은 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법을 실행시키기 위한 프로그램을 기록한 것이다.
본 발명에 따르면 CCTV 카메라 등으로부터 생성되는 압축영상으로부터 효과적으로 이동객체 영역을 추출할 수 있는 장점이 있다. 본 발명은 압축영상의 디코딩, 다운스케일 리사이징, 차영상 획득, 영상 분석 등과 같은 복잡한 과정을 수행할 필요없이 신택스에 기초하여 이동객체 영역을 추출하므로 기존의 영상분석 서버에 비해 약 20배 정도의 성능 향상을 제공한다.
도 1은 동영상 디코딩 장치의 일반적인 구성을 나타내는 블록도.
도 2는 종래기술에서 압축영상으로부터 이동객체 영역을 추출하는 과정을 나타내는 순서도.
도 3은 본 발명에 따라 압축영상에서 이동객체 영역을 추출하는 과정의 전체 프로세스를 나타내는 순서도.
도 4는 본 발명에서 압축영상으로부터 유효 움직임을 검출하는 과정의 구현 예를 나타내는 순서도.
도 5는 CCTV 모니터링 화면에 본 발명에 따른 유효 움직임 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면.
도 6 및 도 7은 도 5의 주요 부분에 대한 부분 확대 도면.
도 8은 본 발명에서 이동객체 영역에 대한 바운더리 영역을 검출하는 과정의 구현 예를 나타내는 순서도.
도 9는 압축영상에 대해 본 발명에 따른 바운더리 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면.
도 10 및 도 11은 도 9의 주요 부분에 대한 부분 확대 도면.
도 12는 본 발명에서 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면.
도 13 및 도 14는 도 12의 주요 부분에 대한 부분 확대 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
도 3은 본 발명에 따라 압축영상에서 이동객체 영역을 추출하는 과정의 전체 프로세스를 나타내는 순서도이다. 본 발명에 따른 이동객체 영역 추출 프로세스는 일련의 압축영상을 다루는 시스템, 예컨대 CCTV 영상관제 시스템에서 영상분석 서버가 양호하게 수행할 수 있다.
본 발명은 압축영상을 디코딩할 필요없이 각 영상 블록, 즉 매크로블록(Macro Block) 및 서브블록(Sub Block) 등의 모션벡터(Motion Vector)와 코딩유형(Coding Type) 정보를 비트스트림 파싱한 후 이를 이용하여 이동객체 영역을 추출하는 것이 특징이다. 다만, 본 발명이 적용된 장치라면 압축영상을 디코딩하는 동작을 수행하지 않아야 하는 것으로 한정되지는 않는다.
이하, 도 3을 참조하여 본 발명에 따른 이동객체 추출 과정의 개념을 살펴본다.
단계 (S100) : 먼저, 압축영상의 모션벡터에 기초하여 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임을 검출하며, 이처럼 유효 움직임이 검출된 영상 영역을 이동객체 영역으로 설정한다.
이를 위해, H.264 AVC 및 H.265 HEVC 등의 동영상압축 표준에 따라서 압축영상의 코딩 유닛(coding unit)의 모션벡터와 코딩유형을 파싱한다. 이때, 코딩 유닛의 사이즈는 일반적으로 64x64 픽셀 내지 4x4 픽셀 정도이며 플렉서블(flexible)하게 설정될 수 있다.
각 영상 블록에 대해 미리 설정된 일정 시간(예: 500 msec) 동안 모션벡터를 누적시키고, 그에 따른 모션벡터 누적값이 미리 설정된 제 1 임계치(예: 20)을 초과하는지 검사한다. 만일 그러한 영상 블록이 발견되면 해당 영상 블록에서 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 그에 따라, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못하는 경우에는 영상 변화가 미미한 것으로 추정하고 무시한다.
단계 (S200) : 다음으로, 앞의 (S100)에서 검출된 이동객체 영역에 대하여 모션벡터와 코딩유형에 기초하여 바운더리 영역이 어디까지인지 검출한다. 이를 위해, 이동객체 영역으로 마킹된 영상 블록을 중심으로 인접한 복수의 영상 블록을 검사하여 모션벡터가 제 2 임계치(예: 0) 이상 발생하였거나 코딩유형이 인트라 픽쳐(Intra Picture)일 경우에는 해당 영상 블록도 이동객체 영역으로 마킹한다. 이러한 과정을 통해서는 실질적으로는 해당 영상 블록이 앞서 (S100)에서 검출된 이동객체 영역과 한 덩어리를 이루는 형태로 되는 결과가 된다.
유효 움직임이 발견되어 이동객체 영역의 근방에서 어느 정도의 움직임이 있는 영상 블록이라면 이는 앞의 이동객체 영역과 한 덩어리일 가능성이 높기 때문에 이동객체 영역이라고 마킹한다. 또한, 인트라 픽쳐의 경우에는모션벡터가 존재하지 않기 때문에 모션벡터에 기초한 판정이 불가능하다. 이에, 이동객체 영역으로 이미 검출된 영상 블록에 인접 위치하는 인트라 픽쳐는 일단 기 추출된 이동객체 영역의 설정을 그대로 유지해준다.
단계 (S300) : 마지막으로, 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션(interpolation)을 적용하여 이동객체 영역의 분할(fragmentation)을 정리한다. 앞의 과정에서는 영상 블록 단위로 이동객체 영역 여부를 판단하였기 때문에 실제로는 하나의 이동객체(예: 사람)임에도 불구하고 중간중간에 이동객체 영역으로 마킹되지 않은 영상 블록이 존재하여 여러 개의 이동객체 영역으로 분할되는 현상이 발생할 수 있다. 그에 따라, 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸여 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이는 이동객체 영역으로 마킹한다.
도 4는 본 발명에서 압축영상으로부터 유효 움직임을 검출하는 과정의 구현 예를 나타내는 순서도이고, 도 5는 본 발명에 따른 유효 움직임 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다.
단계 (S110) : 먼저, 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형 정보를 파싱한다. 도 1을 참조하면, 동영상 디코딩 장치는 압축영상의 스트림에 대해 H.264 AVC 및 H.265 HEVC 등의 각각에 대응하는 동영상압축 표준에 따라서 구문분석(헤더 파싱) 및 모션벡터 연산을 수행한다. 이러한 과정을 통하여 압축영상의 코딩 유닛에 대하여 모션벡터와 코딩유형을 파싱해낸다.
단계 (S120) : 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간(예: 500 ms) 동안의 모션벡터 누적값을 획득한다.
이 단계는 압축영상으로부터 실질적으로 의미를 인정할만한 유효 움직임, 예컨대 주행중인 자동차, 달려가는 사람, 서로 싸우는 군중들이 있다면 이를 검출하려는 의도를 가지고 제시되었다. 흔들리는 나뭇잎, 잠시 나타나는 고스트, 빛의 반사에 의해 약간씩 변하는 그림자 등은 비록 움직임은 있지만 실질적으로는 무의미한 객체이므로 검출되지 않도록 하려는 의도가 있다.
이를 위해, 미리 설정된 일정 시간(예: 500 msec) 동안 하나이상의 영상 블록 단위로 모션벡터를 누적시켜 모션벡터 누적값을 획득한다. 이때, 영상 블록은 매크로블록과 서브블록을 포함하는 개념으로 사용된 것이다.
단계 (S130, S140) : 복수의 영상 블록에 대하여 모션벡터 누적값을 미리 설정된 제 1 임계치(예: 20)와 비교하며, 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹한다.
만일 이처럼 일정 이상의 모션벡터 누적값을 갖는 영상 블록이 발견되면 해당 영상 블록에서 무언가 유의미한 움직임, 즉 유효 움직임이 발견된 것으로 보고 이동객체 영역으로 마킹한다. 예컨대 영상관제 시스템에서 사람이 뛰어가는 정도로 관제 요원이 관심을 가질만한 가치가 있을 정도의 움직임을 선별하여 검출하려는 것이다. 반대로, 모션벡터가 발생하였더라도 일정 시간동안의 누적값이 제 1 임계치를 넘지 못할 정도로 작을 경우에는 영상에서의 변화가 그다지 크지않고 미미한 것으로 추정하고 검출 단계에서 무시한다.
단계 (S150) : 압축영상의 재생 화면에 이동객체 영역을 일반 영상과 구별되도록 디스플레이 제공한다. 도 5는 CCTV 모니터링 화면에 유효 움직임 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면으로서, 제 1 임계치를 초과하는 모션벡터 누적값을 나타낸 다수의 영상 블록이 이동객체 영역으로 마킹되어 모니터 화면에 두꺼운 라인의 박스로 표시되었다. 도 6 및 도 7은 도 5에서 주요 부분을 확대하여 표시한 도면이다. 도 5 내지 도 7을 살펴보면 보도블럭이나 도로, 그리고 그림자가 있는 부분 등은 이동객체 영역으로 표시되지 않은 반면, 걷고있는 사람들이나 주행중인 자동차 등이 이동객체 영역으로 표시되었다. 한편, 본 명세서에서는 두꺼운 라인의 블록으로 이동객체 영역을 표현하였으나, CCTV 모니터 화면에서는 관제요원이 즉각 식별할 수 있는 색깔로 표현하는 것이 더 바람직하다.
도 8은 본 발명에서 이동객체 영역에 대한 바운더리 영역을 검출하는 과정의 구현 예를 나타내는 순서도이고, 도 9는 압축영상에 대해 바운더리 영역 검출 과정이 적용된 결과의 일 예를 나타내는 도면이다. 이때, 도 10 및 도 11은 도 9에서 주요 부분을 확대하여 표시한 도면이다.
도 5 내지 도 7을 살펴보면 이동객체가 제대로 마킹되지 않았으며 일부에 대해서만 마킹이 이루어진 것을 발견할 수 있다. 즉, 걷고있는 사람이나 주행중인 자동차에 대한 이미지를 살펴보면 객체의 전부가 마킹된 것이 아니라 일부 블록만 마킹이 되어있다는 것을 발견할 수 있다. 또한, 하나의 이동객체에 대해 복수의 이동객체 영역이 마킹된 것도 많이 발견된다. 이는 앞의 (S100)에서 채택한 이동객체 영역의 판단 기준이 일반 영역을 필터링 아웃하는 데에는 매우 유용하지만 상당히 엄격한 것이었다는 것을 의미한다.
따라서, 이동객체 영역을 중심으로 그 주변을 살펴봄으로써 이동객체의 바운더리를 검출하는 과정이 필요하다.
단계 (S210) : 먼저, 앞의 (S100)에 의해 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 인접하는 복수의 영상 블록을 식별한다. 이들은 본 명세서에서는 편이상 '이웃 블록'이라고 부른다. 이들 이웃 블록은 (S100)에 의해서는 이동객체 영역으로 마킹되지 않은 부분인데, 도 8의 프로세스에 따라 이들에 대해 좀더 살펴봄으로써 이들 이웃 블록 중에서 이동객체 영역의 바운더리에 포함될만한 것이 있는지 확인하려는 것이다.
단계 (S220, S230) : 복수의 이웃 블록에 대하여 모션벡터 값을 미리 설정된 제 2 임계치(예: 0)와 비교하고, 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹한다. 실질적으로 의미를 부여할만한 유효 움직임이 인정된 이동객체 영역에 인접하여 위치하고 어느 정도의 움직임도 발견되고 있다면 그 영상 블록은 촬영 영상의 특성상 앞의 이동객체 영역과 한 덩어리일 가능성이 높다. 따라서, 이러한 이웃 블록도 이동객체 영역이라고 마킹한다.
단계 (S240) : 또한, 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐인 이웃 블록을 이동객체 영역으로 마킹한다. 인트라 픽쳐의 경우에는 모션벡터가 존재하지 않기 때문에 해당 이웃 블록에 움직임이 존재하는지 여부를 모션벡터에 기초하여 판단하는 것이 원천적으로 불가능하다. 이 경우에 이동객체 영역으로 이미 검출된 영상 블록에 인접 위치하는 인트라 픽쳐는 일단 기 추출된 이동객체 영역의 설정을 그대로 유지해주는 편이 안전하다.
단계 (S250) : 압축영상의 재생 화면에 이동객체 영역을 일반 영상과 구별되도록 디스플레이 제공한다. 도 9는 본 발명에서 바운더리 영역 검출 과정까지 적용된 결과의 일 예를 나타내는 도면인데, 이상의 과정을 통해 이동객체 영역으로 마킹된 다수의 영상 블록이 모니터 화면에 두꺼운 라인의 박스로 표시되었다. 도 10 및 도 11을 살펴보면, 앞서 도 6 및 도 7에서 박스 표시되었던 이동객체 영역의 근방으로 도 10 및 도 11에서는 이동객체 영역이 좀더 확장되었으며 이를 통해 이동객체를 전부 커버할 정도가 되었다는 사실을 발견할 수 있다.
도 12는 본 발명에서 인터폴레이션을 통해 이동객체 영역을 정리한 결과의 일 예를 나타내는 도면이고, 도 13 및 도 14는 도 12에서 주요 부분을 확대하여 표시한 도면이다.
단계 (S300)은 앞의 (S100)과 (S200)에서 검출된 이동객체 영역에 인터폴레이션을 적용하여 이동객체 영역의 분할을 정리하는 과정이다. 도 9 내지 도 11을 살펴보면 블록으로 표시된 이동객체 영역 사이사이에 비마킹 영상 블록이 발견된다. 이렇게 중간중간에 비마킹 영상 블록이 존재하게 되면 이들이 여러 개의 개별적인 이동객체인지 아니면 한 덩어리로 간주해야 할 대상인지 판단하기 어렵다. 특히, CCTV 영상관제 시스템의 모니터 화면 상에 얼룩덜룩하게 표시되므로 관제 요원이 즉각적으로 파악하기가 곤란하다는 단점도 있다.
그에 따라, 본 발명에서는 이동객체 영역으로 마킹된 복수의 영상 블록으로 둘러싸여 하나 혹은 소수의 비마킹 영상 블록이 존재한다면 이는 이동객체 영역으로 마킹하는데, 이를 인터폴레이션이라고 부른다. 도 9 내지 도 11과 대비하여 도 12 내지 도 14를 살펴보면, 이동객체 영역 사이사이에 존재하던 비마킹 영상 블록이 모두 이동객체 영역이라고 마킹되었다. 이를 통해, 관제 요원이 참고하기에 좀더 직관적이고 정확한 이동객체 검출 결과를 도출할 수 있게 되었다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체는 컴퓨터가 읽을 수 있는 데이터를 저장하는 모든 종류의 스토리지 장치를 포함하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로 구현될 수도 있다.

Claims (6)

  1. 압축영상의 코딩 유닛에 대해 모션벡터 및 코딩유형 정보를 파싱하는 제 1 단계;
    상기 압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간 동안의 모션벡터 누적값을 획득하는 제 2 단계;
    상기 복수의 영상 블록에 대하여 상기 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계;
    상기 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계;
    를 포함하여 구성되는 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
  2. 청구항 1에 있어서,
    상기 제 4 단계 이후에 수행되는,
    상기 이동객체 영역으로 마킹된 영상 블록을 중심으로 하여 인접하는 복수의 영상 블록(이하, '이웃 블록'이라 함)을 식별하는 제 5 단계;
    상기 복수의 이웃 블록에 대하여 모션벡터 값을 미리 설정된 제 2 임계치와 비교하는 제 6 단계;
    상기 제 2 임계치를 초과하는 모션벡터 값을 갖는 이웃 블록을 이동객체 영역으로 마킹하는 제 7 단계;
    를 더 포함하여 구성되는 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
  3. 청구항 2에 있어서,
    상기 제 7 단계 이후에 수행되는,
    상기 복수의 이웃 블록 중에서 코딩유형이 인트라 픽쳐(Intra Picture)인 이웃 블록을 이동객체 영역으로 마킹하는 제 8 단계;
    를 더 포함하여 구성되는 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
  4. 청구항 3에 있어서,
    상기 제 8 단계 이후에 수행되는,
    상기 복수의 이동객체 영역에 대하여 인터폴레이션을 수행하는 제 9 단계;
    상기 압축영상의 재생 화면에 상기 이동객체 영역을 일반 영상과 구별되도록 표시하는 제 10 단계;
    를 더 포함하여 구성되는 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
  5. 청구항 4에 있어서,
    상기 영상 블록은 매크로블록과 서브블록을 포함하여 구성되는 것을 특징으로 하는 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법.
  6. 컴퓨터에 청구항 1 내지 5 중 어느 하나의 항에 따른 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 비휘발성 기록매체.
PCT/KR2017/013970 2017-08-24 2017-12-01 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 WO2019039661A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/641,198 US20200221115A1 (en) 2017-08-24 2017-12-01 Syntax-based Method of Extracting Region of Moving Object in Compressed Video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0107580 2017-08-24
KR1020170107580A KR102090775B1 (ko) 2017-08-24 2017-08-24 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법

Publications (1)

Publication Number Publication Date
WO2019039661A1 true WO2019039661A1 (ko) 2019-02-28

Family

ID=65440076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013970 WO2019039661A1 (ko) 2017-08-24 2017-12-01 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법

Country Status (3)

Country Link
US (1) US20200221115A1 (ko)
KR (1) KR102090775B1 (ko)
WO (1) WO2019039661A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345258B1 (ko) * 2020-03-13 2021-12-31 주식회사 핀텔 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램
KR102343029B1 (ko) * 2021-11-11 2021-12-24 이노뎁 주식회사 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법
KR102585167B1 (ko) * 2022-12-13 2023-10-05 이노뎁 주식회사 압축영상에 대한 신택스 기반의 동일인 분석 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
JP2002262296A (ja) * 2001-02-28 2002-09-13 Mitsubishi Electric Corp 移動物体検出装置、および画像監視システム
KR20090062049A (ko) * 2007-12-12 2009-06-17 삼성전자주식회사 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
KR20150140448A (ko) * 2014-06-05 2015-12-16 주식회사 에스원 영상 감시 시스템에서의 활성영상 저장방법 및 장치
KR101585022B1 (ko) * 2014-10-02 2016-01-14 주식회사 에스원 영상 감시 시스템에 있어서 움직임 감지를 위한 스트리밍 정보 분석 시스템 및 움직임 감지를 위한 스트리밍 정보 분석 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211166A (ja) * 2005-01-27 2006-08-10 Victor Co Of Japan Ltd 監視システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
JP2002262296A (ja) * 2001-02-28 2002-09-13 Mitsubishi Electric Corp 移動物体検出装置、および画像監視システム
KR20090062049A (ko) * 2007-12-12 2009-06-17 삼성전자주식회사 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
KR20150140448A (ko) * 2014-06-05 2015-12-16 주식회사 에스원 영상 감시 시스템에서의 활성영상 저장방법 및 장치
KR101585022B1 (ko) * 2014-10-02 2016-01-14 주식회사 에스원 영상 감시 시스템에 있어서 움직임 감지를 위한 스트리밍 정보 분석 시스템 및 움직임 감지를 위한 스트리밍 정보 분석 방법

Also Published As

Publication number Publication date
KR102090775B1 (ko) 2020-03-18
KR20190021993A (ko) 2019-03-06
US20200221115A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2019124635A1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
KR102090785B1 (ko) 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법
US10277901B2 (en) Encoding a video stream having a privacy mask
US20120275524A1 (en) Systems and methods for processing shadows in compressed video images
KR102187376B1 (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
WO2019039661A1 (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
WO2020171388A2 (ko) 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법
KR102061915B1 (ko) 압축영상에 대한 신택스 기반의 객체 분류 방법
WO2020027511A1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
WO2019124636A1 (ko) 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법
KR102179077B1 (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
WO2019124633A1 (ko) 압축영상에 대한 신택스 기반의 객체 월담 감지 방법
WO2019124632A1 (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법
JP4243034B2 (ja) 符号化装置
CN115914676A (zh) 一种超高清视频信号的实时监测比对方法及系统
KR102178952B1 (ko) 압축영상에 대한 신택스 기반의 mrpn-cnn을 이용한 객체 분류 방법
KR102343029B1 (ko) 모션벡터 기반 분기처리를 이용한 압축영상의 영상분석 처리 방법
JP2000209570A (ja) 移動物体監視装置
KR101946256B1 (ko) 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법
KR102153093B1 (ko) 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR102585167B1 (ko) 압축영상에 대한 신택스 기반의 동일인 분석 방법
KR102594803B1 (ko) 압축영상에 대한 신택스 기반의 동일인 검색 방법
JPH11341476A (ja) 監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17922725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17922725

Country of ref document: EP

Kind code of ref document: A1