KR101496287B1 - Video synopsis system and video synopsis method using the same - Google Patents

Video synopsis system and video synopsis method using the same Download PDF

Info

Publication number
KR101496287B1
KR101496287B1 KR20140155868A KR20140155868A KR101496287B1 KR 101496287 B1 KR101496287 B1 KR 101496287B1 KR 20140155868 A KR20140155868 A KR 20140155868A KR 20140155868 A KR20140155868 A KR 20140155868A KR 101496287 B1 KR101496287 B1 KR 101496287B1
Authority
KR
South Korea
Prior art keywords
image
unit
information
background
time
Prior art date
Application number
KR20140155868A
Other languages
Korean (ko)
Inventor
이명수
Original Assignee
(주) 강동미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 강동미디어 filed Critical (주) 강동미디어
Priority to KR20140155868A priority Critical patent/KR101496287B1/en
Application granted granted Critical
Publication of KR101496287B1 publication Critical patent/KR101496287B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00711Recognising video content, e.g. extracting audiovisual features from movies, extracting representative key-frames, discriminating news vs. sport content
    • G06K9/00744Extracting features from the video content, e.g. video "fingerprints", or characteristics, e.g. by automatic extraction of representative shots or key frames
    • G06K9/00751Detecting suitable features for summarising video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/74Arrangements for recognition using optical reference masks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

The present invention relates to a video synopsis system. The video synopsis system includes: an image recording unit which records an image on the front; a recording time setting unit which sets the time for the image recording unit to record the image on the front; an object extraction unit which separates the image input from the image recording unit into a background image and a foreground image to extract the objects included in the input image based on a background model built through Gaussian mixture modeling; and an object tracking unit (5) which uses a Kalman filter and the object information extracted from the background model and tracks the object in the image.

Description

비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법{VIDEO SYNOPSIS SYSTEM AND VIDEO SYNOPSIS METHOD USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a video synopsis system and a video synopsis method using the same,
본 발명은 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법에 관한 것으로, 보다 상세하게는, 일정 시간 동안 촬영된 영상 중 이벤트 영상을 추출하고 이를 간추려 축약한 다음 정해진 시간내에 축약된 동영상을 출력하는 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video synopsis system and a video synopsis method using the video synopsis system. More particularly, the present invention relates to a video synopsis system for extracting an event image among images captured for a predetermined period of time, And a video synopsis method using the same.
범죄 예방 및 사후 처리를 위해 다수의 CCTV가 매년 증설되고 있는 상황에서 제한된 감시 요원으로 모든 CCTV를 감시하는 것은 불가능하다.It is impossible to monitor all CCTVs with limited surveillance personnel in the situation where a large number of CCTVs are being installed every year for crime prevention and post-processing.
이러한 이유로 지능형 영상 분석 시스템과 비디오 색인 시스템이 개발되어 불편한 점을 일정 부분 해결하였으나, 상기와 같은 기술은 결과물을 텍스트 형태로 제공하거나 한 장의 이미지 형태로 제공하기 때문에 문제의 동영상을 효과적으로 분석하는데 한계가 있다.For this reason, the intelligent image analysis system and the video index system have been developed to solve some inconveniences. However, since the above techniques provide the results in the form of a text or a single image, have.
한편, 본 발명의 선행 기술로는 공개 특허 "10-2009-0117771"호의 "비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템"이 있는데, 상기 발명은 소스 비디오로부터 시놉시스 비디오를 생성하기 위한 컴퓨터 실행 방법으로서, 상기 소스 비디오에서 각각의 다른 시간으로부터 도출된 적어도 3개의 포인트들이 시놉시스 비디오에서 동시에 디스플레이 되도록 하나 이상의 제한된 정의에 따라 적어도 3개의 다른 소스 객체들을 선택하는 단계와, 시간적 샘플링에 의해 각 선택된 소스 객체로부터 하나 이상의 시놉시스 객체를 샘플링하는 단계, 상기 시놉시스 비디오에서 디스플레이를 시작하기 위해 각 시놉시스 객체에 대한 각각의 시간을 설정하는 단계, 상기 시놉시스 객체들 또는 각 시간에서 도출된 객체들을 디스플레이함으로써 상기 시놉시스 비디오를 디스플레이하는 단계를 포함한다.On the other hand, the prior art of the present invention is a " video indexing and video synopsis method and system " disclosed in the patent document "10-2009-0117771 ", which is a computer executing method for generating synopsis video from source video, Selecting at least three different source objects according to one or more limited definitions so that at least three points derived from each other time in the source video are simultaneously displayed in the synopsis video; Comprising: sampling a synopsis object; setting each time for each synopsis object to start a display in the synopsis video; displaying the synopsis objects, or objects derived at each time, And < / RTI >
하지만, 상기 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템은 영상 내 특이 물체가 나타났을 때 해당 물체가 나타난 영상만을 추출할 수 없고, 영상 속 물체의 이동 경로를 추적할 수 없기 때문에 감시를 위한 비디오 시놉시스 시스템으로는 적합하지 않다.
However, since the video indexing and video synopsis method and system can not extract only the image in which the object appears when a specific object in the image is displayed, and can not track the moving path of the object in the image, the video synopsis system Lt; / RTI >
대한민국 공개특허 10-2008-0082963 (2008.09.12)Korean Patent Publication No. 10-2008-0082963 (September 12, 2008) 대한민국 공개특허 10-2009-0117771 (2009.11.12)Korean Patent Publication No. 10-2009-0117771 (Nov. 12, 2009)
이에 본 발명은 상기 문제점을 해결하기 위하여 일정 시간 동안 촬영된 영상 중 특이 물체가 나타난 영상만을 추출하고 상기 추출된 영상을 간추려 축약한 다음, 동영상으로 출력함으로써 감시 요원의 감시 시간과 수고를 덜어 줄 수 있는 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법을 제공하는데 본 발명의 목적이 있다.
Accordingly, in order to solve the above problem, the present invention extracts only an image in which a specific object is displayed among the images photographed for a predetermined time, shrinks the extracted image in a short time, and outputs it as a moving image, And a video synopsis method using the video synopsis system according to the present invention.
상기 목적을 달성하기 위한 본 발명은 전방 영상을 촬영하는 영상 촬영부와, 상기 영상 촬영부가 전방 영상을 촬영하는 시간대를 설정하는 촬영 시간 설정부, 상기 영상 촬영부를 통해 입력된 영상을 배경 영상(background Image)과 전경 영상(Foreground Image)으로 분리하고 가우시안 혼합 모델링(Gaussian Mixture Modeling)을 이용한 배경 모델링을 통해 입력 영상 중에 포함된 물체를 추출하는 물체 추출부, 상기 배경 모델링 결과 추출된 물체 정보와 칼만 필터를 이용하여 영상 내 물체를 추적하는 물체 추적부, 상기 물체 추적부를 통해 도출된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 통합 관리하는 데이터 저장부, 상기 데이터 저장부에 저장된 물체의 크기와 물체의 외곽에 그려지는 사각형의 정보인 Rect(Rectangle) 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 축약한 다음 영상 출력을 위한 물체의 출력 시간을 재조정하는 영상 축약부, 상기 물체 추적 결과를 이용하여 각각의 물체가 이동하는 영역을 마스킹(Masking) 처리하고 추출된 물체마다 물체 이동 영역에 대한 마스킹 맵(Masking map)을 작성한 다음 순차적으로 검출된 물체에 대하여 마스킹 맵이 겹쳐지는지 확인하며 만약 마스킹 맵이 겹쳐진 갯수가 정해진 한도를 넘지 않을 때 검출된 물체를 출력하는 마스킹부, 및 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 화면 출력부로 이루어질 수 있다.
According to another aspect of the present invention, there is provided an image processing apparatus including an image capturing unit for capturing a forward image, a capturing time setting unit for setting a time period for capturing a forward image, An object extracting unit for extracting an object included in the input image through background modeling using a Gaussian Mixture Modeling and separating the object image into a foreground image and a foreground image, The size of the object derived through the object tracking unit, the Rect information, the time information of the object, the image frame information of the object, the tracking information of the object, A data storage unit for collectively managing foreground images of the image, a size of the object stored in the data storage unit, Rect (Rectangle) information which is information of a rectangle to be drawn, time information of an object photographed, image frame information of an object, tracking information of an object, and a foreground image of a photographed image, A masking unit for masking an area in which each object moves using the object tracking result, a masking map for an object moving area for each object extracted, and sequentially detecting A masking unit for checking whether a masking map is overlapped with an object to be masked and outputting a detected object when the number of overlapping masking maps does not exceed a predetermined limit, And a screen output unit for outputting an object corresponding to the output frame number and superimposing the object on the background image .
이러한 구조로 이루어진 본 발명에 따른 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법은 일정 시간 동안 촬영된 비디오 영상으로부터 촬영 영상 감시자가 꼭 확인해야 할 특이 물체를 추출 및 추적할 수 있다.A video synopsis system and a video synopsis method using the same according to the present invention having such a structure can extract and track a specific object to be checked by a shot image monitor from a video image shot for a predetermined time.
또한, 추출 및 추적된 물체를 배경 영상에 오버랩 시킨 다음 축약된 동영상을 사용자에게 제공하기 때문에 사용자가 녹화 영상을 처음부터 끝까지 시청하지 않아도 되어 감시자의 시간을 절약할 수 있고, 특이 상황을 재빨리 파악할 수 있다.In addition, since the extracted and tracked object is overlapped with the background image and the reduced video is provided to the user, it is possible to save the watcher's time because the user does not need to watch the recorded video from the beginning to the end, have.
또, 본 발명은 영상 내 물체가 나타난 시간과 물체의 위치를 마스크로 표시하기 때문에 상황 판단이 쉽고 영상 식별이 간편하다는 장점이 있다.
In addition, since the present invention displays the time of an object in an image and the position of an object with a mask, it is advantageous in that the situation can be easily determined and the image can be easily identified.
도면 1은 본 발명의 제어 블록도,
도면 2a는 본 발명의 일 실시 예를 설명하기 위해 135번째 프레임에 대한 영상을 도시한 도면,
도면 2b는 본 발명의 일 실시 예를 설명하기 위해 135번째 프레임에 대한 영상에서 배경 모델링을 통해 전경 영상을 분리한 도면,
도면 3a는 본 발명의 일 실시 예를 설명하기 위해 260번째 프레임에 대한 영상을 도시한 도면,
도면 3b는 본 발명의 일 실시 예를 설명하기 위해 260번째 프레임에 대한 영상에서 배경 모델링을 통해 전경 영상을 분리한 도면,
도면 4a는 본 발명의 일 실시 예를 설명하기 위해 375번째 프레임에 대한 영상을 도시한 도면,
도면 4b는 본 발명의 일 실시 예를 설명하기 위해 375번째 프레임에 대한 영상에서 배경 모델링을 통해 전경 영상을 분리한 도면,
도면 5a는 본 발명의 배경 영상을 도시한 도면,
도면 5b는 본 발명을 통해 비디오를 축약한 결과 영상을 도시한 도면,
1 is a control block diagram of the present invention,
FIG. 2A is a diagram illustrating an image for a 135th frame to illustrate an embodiment of the present invention,
FIG. 2B is a diagram illustrating a foreground image separated by background modeling in an image of a 135th frame in order to illustrate an embodiment of the present invention. FIG.
3A illustrates an image for a 260th frame to illustrate an embodiment of the present invention,
FIG. 3B is a diagram illustrating a foreground image separated by background modeling in an image of a 260th frame to illustrate an embodiment of the present invention.
4A is a diagram illustrating an image for a 375th frame to illustrate an embodiment of the present invention,
4B is a diagram illustrating a foreground image separated from the image of the 375th frame through background modeling to illustrate an embodiment of the present invention,
5A is a diagram showing a background image of the present invention,
FIG. 5B is a diagram showing a video image obtained by shortening a video through the present invention,
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 따른 비디오 시놉시스 시스템은 도면 1 내지 도면 5b에 도시한 바와 같이, 전방 영상을 촬영하는 영상 촬영부(1)와, 상기 영상 촬영부(1)가 전방 영상을 촬영하는 시간대를 설정하는 촬영 시간 설정부(2), 상기 영상 촬영부(1)를 통해 입력된 영상을 배경 영상(background Image)과 전경 영상(Foreground Image)으로 분리하고 가우시안 혼합 모델링(Gaussian Mixture Modeling)을 이용한 배경 모델링을 통해 입력 영상 중에 포함된 물체를 추출하는 물체 추출부(3), 상기 배경 모델링 결과 추출된 물체 정보와 칼만 필터를 이용하여 영상 내 물체를 추적하는 물체 추적부(5), 상기 물체 추적부(5)를 통해 도출된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 통합 관리하는 데이터 저장부(7), 상기 데이터 저장부(7)에 저장된 물체의 크기와 물체의 외곽에 그려지는 사각형의 정보인 Rect(Rectangle) 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 축약한 다음 영상 출력을 위한 물체의 출력 시간을 재조정하는 영상 축약부(9), 상기 물체 추적 결과를 이용하여 각각의 물체가 이동하는 영역을 마스킹(Masking) 처리하고 추출된 물체마다 물체 이동 영역에 대한 마스킹 맵(Masking map)을 작성한 다음 순차적으로 검출된 물체에 대하여 마스킹 맵이 겹쳐지는지 확인하며 만약 마스킹 맵이 겹쳐진 갯수가 정해진 한도를 넘지 않을 때 검출된 물체를 출력하는 마스킹부(11), 및 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 화면 출력부(13)로 이루어질 수 있다.As shown in FIGS. 1 to 5B, the video synopsis system according to the present invention includes a video capturing section 1 for capturing a forward video, a video capturing section 1 for setting a time period when the video capturing section 1 captures a forward video, A time setting unit 2, a background image by dividing the image inputted through the image photographing unit 1 into a background image and a foreground image, and performing background modeling using Gaussian Mixture Modeling An object tracking unit 5 for tracking an object in the image using the extracted object information and the Kalman filter as a result of the background modeling, an object tracking unit 5 for tracking the object in the image, And information on the size and Rect of the object derived through the image capturing, the time information of the time the object was captured, the image frame information of the object, the tracking information of the object, and the foreground image of the captured image (Rectangle) information, which is information of a rectangle drawn on the outer periphery of the object, the time information on the time the object was photographed, the image frame information on which the object was photographed, (9) for rearranging the output time of the object for outputting the image after shortening the foreground image of the photographed image, a masking section for masking an area where each object moves using the object tracking result, ), Creates a masking map for the object moving region for each extracted object, checks whether the masking map overlaps sequentially with respect to the detected object, and detects if the number of overlapping masking maps does not exceed the predetermined limit A masking unit 11 for outputting an object, and a background image created in accordance with each time zone, on the screen in accordance with the output frame number, And a screen output unit 13 for outputting an overlapping object over the background image.
상기 전경 영상에는 검지된 특정 물체가 공백으로 표시되고, 공백을 제외한 나머지 영상은 흑색으로 처리되며, 상기 물체 추적부(5)로 전달되는 전경 영상에는 전경 영상 내 특정 물체가 위치한 픽셀 좌표(X,Y)가 포함된다.In the foreground image, the detected specific object is displayed as blank, the remaining image except for the blank is processed in black, and the foreground image transmitted to the object tracking unit 5 includes pixel coordinates (X, Y).
상기 물체 추출부(3)는 GMM(Gaussian Mixture Model) 알고리즘을 사용하여 물체 영상을 추출하고, 상기 물체 영상에서 추출된 물체의 크기가 일정치 보다 미만인 경우(설정값 미만인 경우)에 1인이라고 판단하며, 상기 물체의 크기가 일정치 이상인 경우(설정값 이상인 경우)에 2인 이상 또는 차량 영상이라고 판단한다. The object extracting unit 3 extracts an object image using a GMM (Gaussian Mixture Model) algorithm, and when the size of the object extracted from the object image is less than a predetermined value (in the case of less than a set value) . If the size of the object is equal to or greater than a predetermined value (the set value is equal to or greater than the set value)
이때, 상기 물체 추출부(3)는 상기 물체의 크기가 일정치 이상인 경우에, 물체 에지의 윤곽 분석을 수행한 후에 소벨 에지(Sobel edge)를 사용하여 에지맵(Edge map)을 획득하고, 수평 투영법(Horizontal projection)과 수직 투영법(Vertical projection)을 적용하여 산출된 투영 결과 그래프를 통해 정점(Peak)과 최하점(Valley) 성분을 분석하여 차량 영상인지, 사람 영상인지를 구분할 수 있다.At this time, when the size of the object is equal to or larger than a predetermined value, the object extracting unit 3 obtains an edge map using the Sobel edge after analyzing the outline of the object edge, It is possible to distinguish between vehicle image and human image by analyzing a peak and a valley component through a projection result graph obtained by applying a horizontal projection and a vertical projection.
그리고, 상기 물체 추출부(3)는 사람 영상이라고 판단된 경우에 수평 투영법의 정점과 최하점의 개수를 참조하여 인원 수를 확인할 수 있다.If it is determined that the image is a human image, the object extracting unit 3 can confirm the number of people by referring to the number of vertexes and the lowest point of the horizontal projection method.
상기 물체 추적부(5)는 각 프레임에서 배경과의 차이를 통해 물체가 나타난다면 추적 과정은 각 프레임 사이의 물체를 링크시키는 것으로 추적 과정을 완성시킬 수 있다. If an object appears through the difference from the background in each frame, the object tracking unit 5 can complete the tracking process by linking objects between the frames.
상기 물체 추적부(5)는 칼만 필터와 물체 추출부(3)에서 배경 모델링 결과 검출된 물체의 블랍(Blob) 정보를 바탕으로 물체간의 병합(merging) 또는 분리(demerging)와 물체의 사라짐(disappearing)이나 새로 나타남(New), 다시 나타남(reappearing)을 판단하여 영상 내 물체를 추적한다.The object tracking unit 5 performs a merging or demerging of objects based on the blob information of the object detected as a result of the background modeling in the Kalman filter and the object extracting unit 3 and the disappearing ), New (New), and reappearing (reappearing).
상기 물체 추적부(5)의 물체 추적 절차는 다음과 같다.The object tracking procedure of the object tracking unit 5 is as follows.
상기 칼만 필터를 이용하여 소정 프레임 내 물체의 개수를 계수한 다음, 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위를 넘으면, 물체가 사라짐(disappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 감소하고 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하며, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단한다.Counts the number of objects in a predetermined frame using the Kalman filter and then determines that the object is disappearing when the number of the counted objects decreases in the next frame and the position of the object exceeds a predetermined threshold value range, It is determined that merging is performed when the number of the counted objects decreases in the next frame and the position of the object is within a predetermined threshold value. If the number of the counted objects increases in the next frame and the position of the object is within a predetermined threshold value range It is judged to be reappearing.
또한, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고, 상기 물체의 위치가 소정 임계치 범위를 벗어나면, 분리(demerging)로 판단하며, 상기 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면, 새로 나타남(New)으로 판단한다.If the number of the counted objects is increased in the next frame and the position of the object is out of the predetermined threshold range, it is determined that the number of the counted objects is demerging, If it increases, it is judged that it is new (New).
상기 데이터 저장부(7)에 저장된 물체의 외곽에 그려지는 사각형의 정보인 Rect(Rectangle) 정보는 영상 내 물체에 사각형을 그렸을 때, 사각형의 왼쪽 위 모퉁이 오른쪽 아래 모퉁이의 좌표를 정의한다.Rect (Rectangle) information, which is information of a rectangle drawn on the outline of an object stored in the data storage unit 7, defines the coordinates of the lower right corner of the upper left corner of the rectangle when a rectangle is drawn on the object in the image.
또, 상기 영상 축약부(9)는 배경 모델링을 통해 생성된 배경 영상 위에 전경 영상을 덮어 씌워 영상을 축약하고, 상기 화면 출력부(13)는 데이터 저장부(7)에 저장된 출력 프레임 번호별 전경 영상을 마스크로 사용하여 물체를 출력하는데, 이는 물체의 정확한 블랍(Blob)만을 출력하기 위함이다.In addition, the image reducing unit 9 overlaps the foreground image on the background image generated through the background modeling to reduce the image, and the screen output unit 13 outputs the foreground image by the output frame number stored in the data storage unit 7 We use an image as a mask to output an object, which is to output only the correct blob of the object.
또, 상기 화면 출력부(13)는 영상 중에 포함된 어느 한 공간에 여러 개의 물체가 겹칠 경우 어느 한 공간에 여러 개의 물체가 겹쳐진 영상의 RGB 버퍼를 HSI 버퍼로 변환하고, 상기 HSI 버퍼 중 I값을
Figure 112014108254953-pat00001
식을 이용하여 바꾼 다음, 상기 HSI 버퍼를 RGB 버퍼로 변환하며 RGB 버퍼를 어느 한 공간에 여러 개의 물체가 겹쳐진 영상에 적용한 다음 출력한다.
The screen output unit 13 converts an RGB buffer of an image in which a plurality of objects are overlapped in a certain space into an HSI buffer when a plurality of objects overlap in a space included in the image, of
Figure 112014108254953-pat00001
Then, the HSI buffer is converted into an RGB buffer, and an RGB buffer is applied to an image in which a plurality of objects are superimposed on one space and then output.
한편, 본 발명에 따른 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법은 상기 영상 촬영부(1)가 전방 영상을 촬영하는 시간대를 촬영 시간 설정부(2)에서 설정하는 단계와, 상기 영상 촬영부(1)가 전방 영상을 촬영하는 단계, 상기 물체 추출부(3)가 영상 촬영부(1)를 통해 입력된 영상을 배경 영상(background Image)과 전경 영상(Foreground Image)으로 분리하고 가우시안 혼합 모델링(Gaussian Mixture Modeling)을 이용한 배경 모델링을 통해 입력 영상 중에 포함된 물체를 추출하는 단계, 상기 물체 추적부(5)가 배경 모델링 결과 추출된 물체 정보와 칼만 필터를 이용하여 영상 내 물체를 추적하는 단계, 상기 데이터 저장부(7)가 물체 추적부(5)를 통해 도출된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 통합 관리하는 단계, 상기 영상 축약부(9)가 데이터 저장부(7)에 저장된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 축약한 다음 영상 출력을 위한 물체의 출력 시간을 재조정하는 단계, 상기 마스킹부(11)가 물체 추적 결과를 이용하여 각각의 물체가 이동하는 영역을 마스킹(Masking) 처리하고 추출된 물체마다 물체 이동 영역에 대한 마스킹 맵(Masking map)을 작성한 다음 순차적으로 검출된 물체에 대하여 마스킹 맵이 겹쳐지는지 확인하며 만약 마스킹 맵이 겹쳐진 갯수가 정해진 한도를 넘지 않을 때 검출된 물체를 출력하는 단계, 및 상기 화면 출력부(13)가 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 단계로 이루어질 수 있다.Meanwhile, a video synopsis system and a video synopsis method using the same according to the present invention include the steps of setting a time zone in which the front image is photographed by the image photographing unit 1 in the photographing time setting unit 2, The object extracting unit 3 separates the image input through the image photographing unit 1 into a background image and a foreground image and performs a Gaussian mixture modeling The method includes the steps of extracting an object included in an input image through background modeling using a mixture modeling method, tracking the object in the image using the object information extracted from the background modeling result and the Kalman filter, The data storage unit 7 stores the size and Rect information of the object derived through the object tracking unit 5, the time information of the object, the image frame information of the object, And the foreground image of the photographed image, the size and Rect information of the object stored in the data storage unit 7, the time information of the object photographed, The method comprising the steps of: reconstructing the output time of the object for outputting the image after reducing the foreground image of the photographed image after the masking unit 11 has moved the object, A masking map for an object moving region is created for each extracted object and then a masking map is overlapped with the sequentially detected object. If the number of overlapping masking maps is set to a predetermined limit And outputting the detected object when the number of frames is not exceeded, and outputting a background image created by the screen output unit 13 according to each time zone, Output and can be made of a step of outputting the object to be overlaid matdaeeung and the transmission frame number over a background image.
상기 영상 축약부(9)가 데이터 저장부(7)에 저장된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 축약한 다음 영상 출력을 위한 물체의 출력 시간을 재조정하는 단계는 배경 모델링을 통해 생성된 배경 영상 위에 전경 영상을 덮어 씌워 영상을 축약한다. The image reduction unit 9 may be configured to reduce the size and Rect information of the object stored in the data storage unit 7, time information of the object photographed, image frame information of the object, tracking information of the object, The step of rearranging the output time of the object for outputting the image is performed by overlaying the foreground image on the background image generated by the background modeling to shorten the image.
또한, 상기 화면 출력부(13)가 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 단계는 데이터 저장부(7)에 저장된 출력 프레임 번호별 전경 영상을 마스크로 사용하여 물체를 출력한다.The step of outputting the background image created by the screen output unit 13 according to each time zone on the screen in accordance with the output frame number and superimposing the object corresponding to the output frame number on the background image may be performed by the data storage unit 7, And outputs the object by using the foreground image according to the output frame number stored in the frame as a mask.
또, 상기 화면 출력부(13)가 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 단계는 영상 중에 포함된 어느 한 공간에 여러 개의 물체가 겹칠 경우 어느 한 공간에 여러 개의 물체가 겹쳐진 영상의 RGB 버퍼를 HSI 버퍼로 변환하고, 상기 HSI 버퍼 중 I값을
Figure 112014108254953-pat00002
식을 이용하여 바꾼 다음, 상기 HSI 버퍼를 RGB 버퍼로 변환하며 RGB 버퍼를 어느 한 공간에 여러 개의 물체가 겹쳐진 영상에 적용한 다음 출력한다.
The step of outputting the background image created by the screen output unit 13 according to each time zone on the screen in accordance with the output frame number and superimposing the object corresponding to the output frame number on the background image, When multiple objects overlap each other, an RGB buffer of an image in which a plurality of objects are overlapped in one space is converted into an HSI buffer, and an I value of the HSI buffer
Figure 112014108254953-pat00002
Then, the HSI buffer is converted into an RGB buffer, and an RGB buffer is applied to an image in which a plurality of objects are superimposed on one space and then output.
이러한 구조로 이루어진 본 발명에 따른 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법은 일정 시간 동안 촬영된 비디오 영상으로부터 촬영 영상 감시자가 꼭 확인해야 할 특이 물체를 추출 및 추적할 수 있다.A video synopsis system and a video synopsis method using the same according to the present invention having such a structure can extract and track a specific object to be checked by a shot image monitor from a video image shot for a predetermined time.
또한, 추출 및 추적된 물체를 배경 영상에 오버랩 시킨 다음 축약된 동영상을 사용자에게 제공하기 때문에 사용자가 녹화 영상을 처음부터 끝까지 시청하지 않아도 되어 감시자의 시간을 절약할 수 있고, 특이 상황을 재빨리 파악할 수 있다.In addition, since the extracted and tracked object is overlapped with the background image and the reduced video is provided to the user, it is possible to save the watcher's time because the user does not need to watch the recorded video from the beginning to the end, have.
또, 본 발명은 영상 내 물체가 나타난 시간과 물체의 위치를 마스크로 표시하기 때문에 상황 판단이 쉽고 영상 식별이 간편하다는 장점이 있다.
In addition, since the present invention displays the time of an object in an image and the position of an object with a mask, it is advantageous in that the situation can be easily determined and the image can be easily identified.
1. 영상 촬영부 2. 촬영 시간 설정부
3. 물체 추출부 5. 물체 추적부
7. 데이터 저장부 9. 영상 축약부
11. 마스킹부 13. 화면 출력부
1. Video recording section 2. Recording time setting section
3. Object extraction unit 5. Object tracking unit
7. Data storage 9. Video reduction
11. Masking part 13. Screen output part

Claims (6)

  1. 전방 영상을 촬영하는 영상 촬영부(1)와;
    상기 영상 촬영부(1)가 전방 영상을 촬영하는 시간대를 설정하는 촬영 시간 설정부(2);
    상기 영상 촬영부(1)를 통해 입력된 영상을 배경 영상(background Image)과 전경 영상(Foreground Image)으로 분리하고 가우시안 혼합 모델링(Gaussian Mixture Modeling)을 이용한 배경 모델링을 통해 입력 영상 중에 포함된 물체를 추출하는 물체 추출부(3),
    상기 배경 모델링 결과 추출된 물체 정보와 칼만 필터를 이용하여 영상 내 물체를 추적하는 물체 추적부(5);
    상기 물체 추적부(5)를 통해 도출된 물체의 크기와 물체의 외곽에 그려지는 사각형의 정보인 Rect(Rectangle) 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 통합 관리하는 데이터 저장부(7);
    상기 데이터 저장부(7)에 저장된 물체의 크기와 Rect 정보, 물체가 촬영된 시간 정보, 물체가 촬영된 영상 프레임 정보, 물체의 추적 정보, 및 촬영된 영상의 전경 영상을 축약한 다음 영상 출력을 위한 물체의 출력 시간을 재조정하는 영상 축약부(9);
    상기 물체 추적 결과를 이용하여 각각의 물체가 이동하는 영역을 마스킹(Masking) 처리하고 추출된 물체마다 물체 이동 영역에 대한 마스킹 맵(Masking map)을 작성한 다음 순차적으로 검출된 물체에 대하여 마스킹 맵이 겹쳐지는지 확인하며 만약 마스킹 맵이 겹쳐진 갯수가 정해진 한도를 넘지 않을 때 검출된 물체를 출력하는 마스킹부(11);
    및 각각의 시간대에 따라 만들어진 배경 영상을 출력 프레임 번호에 맞춰 화면에 출력하고 출력 프레임 번호와 맞대응되는 물체를 배경 영상 위에 겹쳐 출력하는 화면 출력부(13)로 이루어지고,
    상기 영상 축약부(9)는 배경 모델링을 통해 생성된 배경 영상 위에 전경 영상을 덮어 씌워 영상을 축약하고,
    상기 화면 출력부(13)는 데이터 저장부(7)에 저장된 출력 프레임 번호별 전경 영상을 마스크로 사용하여 물체를 출력하는 것을 특징으로 하는 비디오 시놉시스 시스템.
    An image capturing unit (1) for capturing a forward image;
    A photographing time setting unit (2) for setting a time period when the image photographing unit (1) photographs a forward image;
    The image input through the image photographing unit 1 is divided into a background image and a foreground image and background objects are modeled using Gaussian Mixture Modeling to obtain an object included in the input image An object extracting unit 3 for extracting,
    An object tracking unit 5 for tracking an object in the image using the object information extracted as the background modeling result and the Kalman filter;
    Rect (Rectangle) information, which is information of a rectangle drawn on the outer periphery of the object, the time information of the object, the image frame information of the object, the tracking information of the object A data storage unit 7 for collectively managing the foreground images of the photographed images;
    The size and Rect information of the object stored in the data storage unit 7, the time information of the object, the image frame information of the object, the tracking information of the object, and the foreground image of the captured image, An image reducing unit 9 for re-adjusting the output time of an object;
    A masking map is created for an object moving region for each extracted object, and then a masking map is superimposed on the sequentially detected object, A masking unit 11 for outputting a detected object when the number of overlapping masking maps does not exceed a predetermined limit;
    And a screen output unit (13) for outputting a background image created in accordance with each time zone on a screen in accordance with an output frame number, and superimposing an object corresponding to the output frame number on a background image,
    The image reduction unit 9 overlaps the foreground image on the background image generated through the background modeling to reduce the image,
    Wherein the screen output unit (13) outputs an object using a foreground image according to an output frame number stored in the data storage unit (7) as a mask.
  2. 삭제delete
  3. 삭제delete
  4. 삭제delete
  5. 삭제delete
  6. 삭제delete
KR20140155868A 2014-11-11 2014-11-11 Video synopsis system and video synopsis method using the same KR101496287B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140155868A KR101496287B1 (en) 2014-11-11 2014-11-11 Video synopsis system and video synopsis method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140155868A KR101496287B1 (en) 2014-11-11 2014-11-11 Video synopsis system and video synopsis method using the same

Publications (1)

Publication Number Publication Date
KR101496287B1 true KR101496287B1 (en) 2015-02-26

Family

ID=52594552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140155868A KR101496287B1 (en) 2014-11-11 2014-11-11 Video synopsis system and video synopsis method using the same

Country Status (1)

Country Link
KR (1) KR101496287B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805018B1 (en) 2016-07-08 2017-12-06 한양대학교 산학협력단 Apparatus, method and computer readable medium having computer program for compact video
CN107545583A (en) * 2017-08-21 2018-01-05 中国科学院计算技术研究所 A kind of target following acceleration method and system based on gauss hybrid models

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364582B1 (en) 2000-04-28 2002-12-16 주식회사 네트웍코리아 System tracking and watching multi moving object
KR20140040342A (en) * 2012-09-25 2014-04-03 삼성테크윈 주식회사 Method and system for analyzing surveillance image
KR20140126936A (en) * 2013-04-24 2014-11-03 정영규 Apparatus and method for privacy masking tool that provides real-time video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364582B1 (en) 2000-04-28 2002-12-16 주식회사 네트웍코리아 System tracking and watching multi moving object
KR20140040342A (en) * 2012-09-25 2014-04-03 삼성테크윈 주식회사 Method and system for analyzing surveillance image
KR20140126936A (en) * 2013-04-24 2014-11-03 정영규 Apparatus and method for privacy masking tool that provides real-time video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805018B1 (en) 2016-07-08 2017-12-06 한양대학교 산학협력단 Apparatus, method and computer readable medium having computer program for compact video
WO2018008871A1 (en) * 2016-07-08 2018-01-11 한양대학교 산학협력단 Compact video generation device and method, and recording medium in which computer program is recorded
CN109661808A (en) * 2016-07-08 2019-04-19 汉阳大学校产学协力团 Simplify the recording medium of video-generating device, method and logger computer program
CN107545583A (en) * 2017-08-21 2018-01-05 中国科学院计算技术研究所 A kind of target following acceleration method and system based on gauss hybrid models
CN107545583B (en) * 2017-08-21 2020-06-26 中国科学院计算技术研究所 Target tracking acceleration method and system based on Gaussian mixture model

Similar Documents

Publication Publication Date Title
KR101870902B1 (en) Image processing apparatus and image processing method
KR101984496B1 (en) Apparatus for and method of processing image based on object region
JP5722381B2 (en) Video analysis
US9202125B2 (en) Video processing apparatus, video processing method, and recording medium
JP5484184B2 (en) Image processing apparatus, image processing method, and program
JP2020074515A (en) Image processing system, method for processing image, and program which take personal information into consideration
JP6007523B2 (en) Generating device, generating program, and generating method
JP5754990B2 (en) Information processing apparatus, information processing method, and program
KR101496287B1 (en) Video synopsis system and video synopsis method using the same
KR20170053807A (en) A method of detecting objects in the image with moving background
KR20160037480A (en) Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same
JP2007164690A (en) Image processor and image processing method
KR100885418B1 (en) System and method for detecting and tracking people from overhead camera video
JP2010057105A (en) Three-dimensional object tracking method and system
JP5865710B2 (en) Image processing device
KR101821989B1 (en) Method of providing detection of moving objects in the CCTV video data by reconstructive video processing
US20190246048A1 (en) Image processing apparatus, image processing method, and storage medium
JP2004310396A (en) Image processing apparatus
CN109508576B (en) Abnormal driving behavior detection method and device and electronic equipment
KR101884611B1 (en) Method of extracting objects-of-Interest out of CCTV video using metadate filtering of moving objects
EP3182328A1 (en) A method, apparatus or computer program for controlling image processing of a captured image of a scene to adapt the captured image
US10593045B2 (en) Information processing apparatus and method of controlling the same
KR101373405B1 (en) Object detection method and apparatus for plant images
JP6350331B2 (en) Tracking device, tracking method, and tracking program
KR20200014694A (en) Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180614

Year of fee payment: 4