KR20140126936A - Apparatus and method for privacy masking tool that provides real-time video - Google Patents

Apparatus and method for privacy masking tool that provides real-time video Download PDF

Info

Publication number
KR20140126936A
KR20140126936A KR1020130045222A KR20130045222A KR20140126936A KR 20140126936 A KR20140126936 A KR 20140126936A KR 1020130045222 A KR1020130045222 A KR 1020130045222A KR 20130045222 A KR20130045222 A KR 20130045222A KR 20140126936 A KR20140126936 A KR 20140126936A
Authority
KR
South Korea
Prior art keywords
masking
image
privacy
tool
detected
Prior art date
Application number
KR1020130045222A
Other languages
Korean (ko)
Other versions
KR101484844B1 (en
Inventor
정영규
Original Assignee
정영규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정영규 filed Critical 정영규
Priority to KR20130045222A priority Critical patent/KR101484844B1/en
Publication of KR20140126936A publication Critical patent/KR20140126936A/en
Application granted granted Critical
Publication of KR101484844B1 publication Critical patent/KR101484844B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to an apparatus and method for supplying a privacy masking tool to a real-time video and, more particularly, to a masking method for tracking an object in real time by using a semiautomatic privacy masking tool. The apparatus for supplying the privacy masking tool displays and searches a panorama image to supply a masked object region to a masking time line with a frame unit by masking the detected part of the video which is played and tracking the detected object in real time. The privacy masking video which is finally masked is stored as a moving picture. Also, the apparatus for supplying the privacy masking tool provides an interaction interface to perform stopping and re-masking in a masking process by the operation of a user.

Description

실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PRIVACY MASKING TOOL THAT PROVIDES REAL-TIME VIDEO}[0001] APPARATUS AND METHOD FOR PRIVACY MASKING TOOL THAT PROVIDES REAL-TIME VIDEO [0002]

본 발명은 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법에 관한 것으로, 프라이버시 마스킹 툴을 이용하여 객체를 추적하고 마스킹하는 방법에 관한 것이다.The present invention relates to an apparatus and method for providing a privacy masking tool to an image, and a method for tracking and masking an object using a privacy masking tool.

시민들의 안전을 위해 설치된 감시용 카메라가 악용되는 사례가 늘면서 감시용 카메라에 촬영된 영상에서 실시간으로 사람 얼굴을 추적하고 모자이크 처리하여 사생활을 보호하는 기술이 개발되고 있다. 하지만 감시용 카메라 영상에서 통계기반의 객체 검출 및 추적 시스템의 성능개선에 가장 큰 어려움 중 하나는 검출하려는 객체에 대해서 확률적인 의미를 갖는 템플릿데이터를 수집하기가 매우 어렵다는 것이다.As surveillance cameras installed for the safety of citizens have been abused, technologies for protecting privacy by tracking and mosaicing human faces in real time from surveillance cameras have been developed. However, one of the biggest difficulties in improving the performance of object-based object detection and tracking system in surveillance camera images is that it is very difficult to collect template data with probabilistic meaning for the objects to be detected.

감시용 카메라에서의 프라이버시 마스킹 설정 방법에 관련하여 한국공개특허 제2006-0022725호는, 사용자가 정보를 설정한 화면상 특정 위치에 가상 마스킹 블록을 감시용 비디오 영상에 중첩 표시한다. 감시용 카메라에 구비되어 있는 입력수단을 통한 사용자의 프라이버시 마스킹 블록 수정시, 수정된 마스킹 블록에 대한 정보를 저장한다. 상기 저장된 정보를 갖는 프라이버시 마스킹 블록을 감시용 비디오 영상에 중첩 표시하는 프라이버시 마스킹 설정방법을 제안하고 있다. Korean Patent Laid-Open Publication No. 2006-0022725 discloses a method of setting a privacy masking in a surveillance camera, in which a user superimposes a virtual masking block on a surveillance video image at a specific position on a screen on which information is set. When the privacy masking block is modified by the user through the input means provided in the surveillance camera, information on the modified masking block is stored. And the privacy masking block having the stored information is superimposed on the video image for surveillance.

하지만 종래의 프라이버시 마스킹 툴은 초당 30프레임으로 재생되고, 영상에서 어느 부분에서 마스킹이 이루어지지 않았는지 알기가 매우 어렵다. 따라서 프라이버시 마스킹 툴의 객체 검출 및 추적 알고리즘의 성능을 개선하여 객체를 검출하고 검출된 객체를 추적하여 마스킹하는 기술이 필요하다. However, the conventional privacy masking tool is reproduced at 30 frames per second, and it is very difficult to know which part of the image has not been masked. Therefore, there is a need for a technique of detecting an object and tracking and masking the detected object by improving the performance of the object detection and tracking algorithm of the privacy masking tool.

본 발명은 프라이버시 마스킹 툴을 이용해서 한 프레임도 빠짐없이 객체영역을 마스킹하는 장치 및 방법을 제공한다.The present invention provides an apparatus and method for masking an object area without missing a frame using a privacy masking tool.

본 발명은 실시간으로 마스킹 위치를 모니터링하여 프라이버시 재마스킹을 제공하는 장치 및 방법을 제공한다.The present invention provides an apparatus and method for monitoring masking locations in real time to provide privacy remasking.

본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치에 있어서 객체를 검출하고 검출된 부분에 마스킹을 수행하는 동영상 플레이 출력부; 상기 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하는 실시간 객체추적 표시부; 및 상기 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하는 파노라마 영상표시 및 검색부를 포함하고, 상기 동영상 플레이 출력부는 상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 것을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.An apparatus for providing a privacy masking tool according to an exemplary embodiment of the present invention includes a video play output unit for detecting an object and performing masking on a detected part; A real time object tracking display unit for tracking the detected object in real time and displaying the tracked object area; And a panorama image display and search unit for displaying a panorama image providing the masked object region in units of frames according to a masking time line and searching for an image in which an object tracking error is found according to a user's selection, And the output unit outputs the selected image upon detection of the object tracking error, and re-masking the output image according to the user's command.

일측에 따르면, 상기 재마스킹은 상기 마스킹되는 객체 영역을 수정하고, 수정된 객체 영역이 마스킹되어 저장됨으로써 수행되는 것을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.According to one aspect, the re-masking is performed by modifying the masked object region and storing the modified object region in a masked manner.

또 다른 일측에 따르면, 상기 동영상 플레이 출력부, 상기 실시간 객체추적 표시부 및 상기 파노라마 영상표시 및 검색부는 마스킹 중 정지 및 재마스킹 기능을 포함하는 인터렉션 마스킹 인터페이스를 통해 구현되는 것을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.According to another aspect of the present invention, the motion picture outputting unit, the real time object tracking display unit, and the panorama image displaying and searching unit are implemented through an interaction masking interface including a stop and remasking function during masking. Providing a device that provides

또 다른 일측에 따르면, 상기 인터렉션 마스킹 인터페이스는 상기 파노라마 영상표시 및 검색부를 통해 표시되는 상기 파노라마 영상에 기초하여 마스킹을 하는 중에 상기 객체 추적 오류가 발견될 경우 상기 사용자의 선택에 따라 상기 마스킹을 정지시키는 정지버튼을 포함하고, 상기 정지버튼이 선택된 후 상기 동영상 플레이 출력부를 통해 표시되는 상기 출력된 영상에 대해 상기 사용자의 명령에 따라 마스킹 상자를 이동시키며, 상기 인터렉션 마스킹 인터페이스를 통한 상기 마스킹 상자의 이동에 따라 상기 재마스킹이 수행되는 것을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.According to another aspect of the present invention, when the object tracking error is detected during masking based on the panorama image displayed through the panorama image display and search unit, the interaction masking interface stops the masking according to the user's selection Wherein the masking box is moved in accordance with a user's command on the output image displayed through the motion picture output unit after the stop button is selected and the movement of the masking box through the interaction masking interface And the re-masking is performed in accordance with the masking information.

또 다른 일측에 따르면, 상기 재마스킹이 수행되는 도중에도 또 다른 실시간 영상에 대해서 실시간 객체추적 및 마스킹이 동시에 수행되는 것을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.According to another aspect of the present invention, there is provided an apparatus for providing a privacy masking tool, wherein real-time object tracking and masking are simultaneously performed on another real-time image while the re-masking is being performed.

또 다른 일측에 따르면, 상기 프라이버시 마스킹 툴은 대용량 영상을 분석하여 객체를 검출하고, 검출된 객체를 복수 개의 단위로 클러스터링하여 객체를 검출하고 추적하는 프라이버시 마스킹 툴을 제공하는 장치를 제공한다.According to another aspect of the present invention, the privacy masking tool provides an apparatus for providing a privacy masking tool that detects an object by analyzing a large-capacity image and clusters the detected object in a plurality of units to detect and track the object.

본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 방법에 있어서 객체를 검출하고 검출된 부분에 마스킹을 수행하는 단계; 상기 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하는 단계; 상기 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하는 단계; 및 상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계를 포함하는 프라이버시 마스킹 툴을 제공하는 방법을 제공한다.A method of providing a privacy masking tool according to an embodiment of the present invention includes: detecting an object and performing masking on a detected part; Displaying the tracked object area by tracking the detected object in real time; Displaying a panorama image providing the masked object region on a frame-by-frame basis according to a masking time line, and searching for an image in which an object tracking error is found according to a user's selection; And outputting a selected image upon detection of the object tracking error, and re-masking the output image according to the user's command.

일측에 따르면, 프라이버시 마스킹 툴을 제공하는 방법은 마스킹을 수행하기 위해 객체를 마스킹 상자로 지정하는 단계; 상기 마스킹 상자로 지정한 상기 객체 영역이 마스킹을 수행하는 단계; 상기 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 상기 마스킹 타임라인에서 상기 마스킹이 수행된 객체 영역을 추적하여 오류를 확인하는 단계; 및 상기 마스킹이 수행된 영상들을 단일의 영상으로 제작 혹은 전체 영상을 최종 영상으로 제작되는 단계를 포함하는 프라이버시 마스킹 툴을 제공하는 방법을 제공한다. According to one aspect, a method of providing a privacy masking tool includes: designating an object as a masking box to perform masking; Performing masking on the object area specified by the masking box; Displaying a panorama image providing the masked object area on a frame-by-frame basis according to a masking time line, tracking an object area in which the masking is performed in the masking time line to check for an error; And generating the masked images as a single image or the entire image as a final image.

또 다른 일측에 따르면, 상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계는 마스킹 타임라인에 있는 상기 객체 추적 오류가 있는 프레임을 선택하여 동영상이 플레이되는 출력부로 되돌아가는 단계; 상기 동영상이 플레이되는 출력부에서 사용자의 명령에 의해 마스킹 상자를 삭제하는 단계; 및 마스킹을 수행하기 위해 객체를 마스킹 상자로 재설정하여 상기 객체 영역이 마스킹되어 저장됨으로써 수행되는 단계를 포함하는 프라이버시 마스킹 툴을 제공하는 방법을 제공한다.According to another aspect of the present invention, the step of outputting a selected image by detecting the object tracking error and performing re-masking on the output image in response to the user's command may include: And returning to an output unit where the moving picture is played; Deleting the masking box by an instruction from the user at an output unit where the moving picture is played; And resetting the object to a masking box to perform masking so that the object area is masked and stored.

또 다른 일측에 따르면, 상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계는 상기 재마스킹이 수행되는 도중에도 또 다른 실시간 영상에 대해서 실시간 객체 추적 및 마스킹이 동시에 수행되는 단계를 포함하는 프라이버시 마스킹 툴을 제공하는 방법을 제공한다.According to another aspect of the present invention, the step of outputting a selected image by detecting the object tracking error and re-masking the output image in response to the user's command may further include the step of, Wherein the real-time object tracking and masking are simultaneously performed for the real-time object tracking and masking tool.

본 발명은 영상에서 객체를 추적하고, 추적한 객체를 마스킹하여 마스킹 타임라인에 파노라마 영상으로 표시함으로써 한 프레임도 빠짐없이 객체 영역을 마스킹 할 수 있다. The present invention can track an object in an image, mask the tracked object, and display it as a panorama image on a masking timeline, thereby masking the object area without missing one frame.

본 발명은 실시간으로 재생되고 있는 영상에서 마스킹을 수행하는 중에 객체추적 오류를 발견하면 마스킹 정지 및 프라이버시 재마스킹을 할 수 있다. The present invention can perform masking stop and privacy re-masking when an object tracking error is detected during masking in an image being reproduced in real time.

도 1은 본 발명의 일실시예에 따른 프라이버시 마스킹 툴의 화면 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치에 관한 블록도이다.
도 3은 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치 및 방법을 설명하기 위한 실제화면이다.
도 4는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치의 기능을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 프라이버시 마스킹 처리 동작을 나타낸 흐름도이다.
도 6은 본 발명의 일실시예에 따른 영상 빅데이터 기반에서 객체 템플릿 자동 수집 및 추적 알고리즘을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 영상 빅데이터 기반에서 실시간 템플릿 생성을 나타낸 도면이다. 1 is a block diagram showing a screen configuration of a privacy masking tool according to an embodiment of the present invention.
2 is a block diagram of an apparatus for providing a privacy masking tool in accordance with an embodiment of the present invention.
3 is an actual screen for explaining an apparatus and method for providing a privacy masking tool according to an embodiment of the present invention.
FIG. 4 is a functional block diagram of an apparatus for providing a privacy masking tool according to an exemplary embodiment of the present invention. Referring to FIG.
5 is a flowchart illustrating a privacy masking processing operation according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an object template automatic collection and tracking algorithm based on a video big data according to an exemplary embodiment of the present invention.
FIG. 7 is a diagram illustrating real-time template generation based on a video big data based on an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 프라이버시 마스킹 툴의 화면 구성을 나타낸 블록도이다. 1 is a block diagram showing a screen configuration of a privacy masking tool according to an embodiment of the present invention.

프라이버시 마스킹 툴의 화면은 동영상 플레이 출력 인터페이스(110), 실시간 객체추적 표시 인터페이스(120), 파노라마 영상표시 및 검색 인터페이스(130)를 포함할 수 있다. 도 1에 도시된 바와 같이, 동영상 플레이 출력 인터페이스 (110)는 현재 플레이되고 있는 영상에서 객체를 검출하고 검출된 부분에 마스킹을 수행하기 위한 인터페이스일 수 있고, 실시간 객체추적 표시 인터페이스(120)는 동영상 플레이 출력 인터페이스(110)에서 출력되는 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하기 위한 인터페이스일 수 있다. 파노라마 영상표시 및 검색 인터페이스(130)는 마스킹되는 객체 영역을 마스킹 타임라인에 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하기 위한 인터페이스일 수 있다. The screen of the privacy masking tool may include a video play output interface 110, a real time object tracking display interface 120, a panorama image display and a search interface 130. As shown in FIG. 1, the moving image playback output interface 110 may be an interface for detecting an object in a currently played image and performing masking on the detected portion, And an interface for displaying the tracked object area by tracking the object output from the play output interface 110 in real time. The panorama image display and search interface 130 may be an interface for displaying a panorama image providing a masked object area on a masking time line basis on a frame basis and searching for an image in which an object tracking error is detected according to a user's selection .

파노라마 영상표시 및 검색 인터페이스(130)를 통해 표시되는 파노라마 영상에 기초하여 실시간으로 마스킹을 하는 중에 객체추적 오류가 발견될 경우 도 3에서 도시한 화면과 같이, 사용자가 마스킹을 정지시키는 정지버튼을 눌러 동영상 플레이 출력 인터페이스(110)로 이동시킬 수 있다. 사용자에 의해 정지버튼이 선택된 후 동영상 플레이 출력 인터페이스(110)를 통해 표시되는 출력된 영상에 대하여 사용자는 마스킹을 수행하려는 객체에 마스킹 상자를 이동시켜 마스킹을 재수행할 수 있다. When an object tracking error is detected during real-time masking based on the panoramic image displayed through the panoramic image display and search interface 130, as shown in the screen of FIG. 3, the user presses the stop button for stopping the masking To the video play output interface 110. The user can re-execute the masking operation by moving the masking box to the object to be masked with respect to the output image displayed through the video play output interface 110 after the stop button is selected by the user.

도 2는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치에 관한 블록도이다. 2 is a block diagram of an apparatus for providing a privacy masking tool in accordance with an embodiment of the present invention.

도 2는 도 1에서 설명한 마스킹 툴의 화면을 포함하고 있는 마스킹 툴을 제공하는 장치(200)에 관한 블록도를 나타낸 것으로, 프라이버시 툴을 제공하는 장치(200)는 동영상 플레이 출력부(210), 실시간 객체추적 표시부(220), 파노라마 영상표시 및 검색부(230)로 구성될 수 있다. FIG. 2 shows a block diagram of an apparatus 200 for providing a masking tool including a screen of the masking tool described with reference to FIG. 1. The apparatus 200 for providing a privacy tool includes a video play output 210, A real time object tracking display unit 220, and a panorama image display and search unit 230.

동영상 플레이 출력부(210)는 현재 플레이되고 있는 영상에서 객체를 검출하고 검출된 부분에 마스킹을 수행할 수 있다. 이때, 동영상 플레이 출력부(210)는 사용자에 의해 직접 마스킹이 수행될 수 있다. 도 4-a에서 도시한 바와 같이, 동영상 플레이 출력부(210)는 객체를 검출하고 검출된 부분에 마스킹이 수행되고 있다. 실시간 객체추적 표시부(220)는 동영상 플레이 출력부(210)에서 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시할 수 있다. 도 4-b를 참고하면, 실시간 객체추적 표시부(220)는 동영상 플레이 출력부(210)에서 검출된 객체가 세 개의 객체이므로, 실시간 객체추적 표시부(220)에 세 개의 검출된 객체를 표시할 수 있다. The video play output unit 210 may detect the object in the currently playing image and perform masking on the detected part. At this time, the moving picture output unit 210 can directly perform masking by the user. As shown in FIG. 4-a, the moving picture play output unit 210 detects an object and performs masking on the detected portion. The real-time object tracking display unit 220 can display the tracked object area by tracking the object detected by the moving-image play output unit 210 in real time. Referring to FIG. 4B, the real-time object tracking display unit 220 displays three detected objects in the real-time object tracking display unit 220 because the object detected by the moving-image playout unit 210 is three objects. have.

도 4-c에서 도시한 바와 같이, 파노라마 영상표시 및 검색부(230)는 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색할 수 있다. 4C, the panorama image display and search unit 230 displays a panorama image providing a masked object area in units of frames according to a masking time line, and displays an object tracking error You can search for found images.

또한 동영상 플레이 출력부(210)는 객체 추적 오류가 발견될 경우, 파노라마 영상표시 및 검색부(230)에서 객체 추적 오류가 발견된 영상을 선택하고, 선택한 객체 추적 오류가 발견된 영상이 출력될 수 있다. 사용자의 명령에 따라 출력된 영상에 대한 재마스킹을 수행한다. 객체 오류 발견되어 재마스킹이 수행되는 마스킹 처리 방법은 도 5에서 상세히 설명한다.When the object tracking error is found, the video play output unit 210 selects an image in which the object tracking error is detected in the panoramic image display and search unit 230, have. And performs re-masking on the output image according to the user's command. A masking processing method in which an object error is detected and re-masking is performed will be described in detail with reference to FIG.

마스킹 툴을 제공하는 장치에서 동영상 플레이 출력부(210), 실시간 객체추적 표시부(220), 파노라마 영상표시 및 검색부(230)는 마스킹 중 정지 및 재마스킹을 포함하는 인터렉션 마스킹 인터페이스를 통해 구현된다. 도 3에 도시된 바와 같이, 파노라마 영상표시 및 검색 인터페이스를 통해 표시되는 파노라마 영상에 기초하여 마스킹을 하는 중에 객체 추적 오류가 발견될 경우 사용자의 선택에 따라 마스킹을 정지시키는 정지버튼을 포함한다. 정지버튼이 선택된 후 동영상 플레이 출력 인터페이스를 통해 표시되는 출력된 영상에 대해 사용자의 명령에 따라 마스킹 상자를 이동시키며, 인터렉션 마스킹 인터페이스를 통한 마스킹 상자의 이동에 의해 재마스킹이 수행될 수 있다. 따라서 실시간으로 재생되고 있는 영상에서 마스킹을 수행하는 중에 객체추적 오류를 발견하여 재마스킹을 수행할 수 있다. In the apparatus for providing a masking tool, the video play output unit 210, the real time object tracking display unit 220, and the panorama image display and search unit 230 are implemented through an interaction masking interface including stopping and re-masking during masking. As shown in FIG. 3, includes a stop button for stopping masking according to a user's selection when an object tracking error is detected during masking based on the panorama image displayed through the panorama image display and search interface. After the stop button is selected, the masking box is moved according to a user's command on the output image displayed through the video play output interface, and re-masking can be performed by movement of the masking box through the interaction masking interface. Therefore, it is possible to perform re-masking by detecting an object tracking error while performing masking on an image being reproduced in real time.

프라이버시 툴을 제공하는 장치(200)는 도 6에 도시한 바와 같이, 대용량 영상에서도 동영상 플레이 출력부(210), 실시간 객체추적 표시부(220), 파노라마 영상표시 및 검색부(230)를 포함할 수 있으며, 프라이버시 마스킹 처리는 프라이버시 마스킹을 제공하는 인터페이스에 의해 수행될 수 있다. 6, the apparatus 200 for providing a privacy tool may include a video play output unit 210, a real time object tracking display unit 220, and a panorama image display and search unit 230, even in a large- And the privacy masking process may be performed by an interface that provides privacy masking.

도 3은 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치 및 방법을 설명하기 위한 실제화면이다.3 is an actual screen for explaining an apparatus and method for providing a privacy masking tool according to an embodiment of the present invention.

도 3에서 프라이버시 마스킹 툴의 화면은 동영상 플레이 출력 인터페이스(310), 실시간 객체추적 표시 인터페이스(320), 파노라마 영상표시 및 검색 인터페이스(330)를 포함할 수 있다. 동영상 플레이 출력 인터페이스(310), 실시간 객체추적 표시 인터페이스(320) 및 파노라마 영상표시 및 검색 인터페이스(330)는 마스킹 중 정지 및 재마스킹 기능을 포함하는 인터렉션 마스킹 인터페이스를 통해 구현될 수 있다. In FIG. 3, the screen of the privacy masking tool may include a video play output interface 310, a real time object tracking display interface 320, a panorama image display and a search interface 330. The video play output interface 310, the real time object tracking display interface 320, and the panorama image display and search interface 330 may be implemented through an interaction masking interface that includes stop and re-masking functions during masking.

마스킹 툴을 제공하는 장치 및 방법을 설명하기 위한 실제화면에 있어서, 사용자의 조작을 통해 마스킹 동작이 수행될 수 있도록, 정지, 재생, 빨리감기, 되감기 등의 조작버튼(340)을 포함할 수 있다. 마스킹 타임라인(350)에서는 프레임 단위의 파노라마 영상을 표시하는데, 프레임을 사용자의 필요에 따른 시간단위로 파노라마 영상을 표시할 수 있다. 예를 들어, 사용자가 5초 단위로 프레임을 저장하고 싶다면 5초를 지정하고, 마스킹되는 객체 영역을 마스킹 타임라인(350)에 따라 5초 단위의 프레임을 제공하는 파노라마 영상을 표시할 수 있다. An actual screen for explaining an apparatus and a method for providing a masking tool may include operation buttons 340 such as stop, play, fast forward, rewind, and the like so that a masking operation can be performed through a user's operation . The masking time line 350 displays a panorama image in units of frames, and can display the panorama image in units of time according to the user's need for the frame. For example, if the user wishes to store a frame in units of 5 seconds, 5 seconds may be designated and a masked time-line 350 may be used to display a panorama image providing a frame of 5 seconds.

또한, 인터렉션 마스킹 인터페이스는 파노라마 영상표시 및 검색 인터페이스(330)를 통해 표시되는 파노라마 영상에 기초하여 마스킹이 수행되는 중에 객체영역 오류를 발견하면, 사용자는 정지버튼을 눌러 재생되고 있는 영상을 정지시킬 수 있고, 정지버튼이 선택된 후 동영상 플레이 출력 인터페이스(310)를 통해 표시되는 출력된 영상에 대하여 사용자는 마스킹 하려는 객체에 마스킹 상자를 이동시킨 후, 일정시간 동안 자동 마스킹을 함으로써 재마스킹이 수행될 수 있다. In addition, if the interface masking interface detects an object area error during masking based on the panorama image displayed through the panorama image display and search interface 330, the user can stop the image being played by pressing the stop button After the stop button is selected, the user can perform re-masking by moving the masking box to an object to be masked and then performing automatic masking for a predetermined time with respect to the output image displayed through the video play output interface 310 .

조작버튼(340) 중 빨리감기 기능은 마스킹이 수행되고 있는 영상이 오류 없이 수행되고 있다면 속도를 높여 영상을 재생할 수 있고, 되감기 기능은 이미 수행된 영상을 확인하고 싶을 때 사용자가 원하는 영상의 위치로 되돌릴 수 있다. The fast forwarding function among the operation buttons 340 can reproduce an image by increasing the speed if the image on which masking is being performed is error-free, and the rewind function is a function for, Can be reversed.

마스킹 툴을 제공하는 방법은 동영상 플레이 출력부에서 객체를 검출하고 검출된 부분에 마스킹을 수행하는 단계, 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하는 단계, 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하는 단계 및 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 사용자의 명령에 따라 출력된 영상에 대한 재마스킹을 수행하는 단계를 포함한다. 프라이버시 마스킹 처리 동작은 도 5에서 흐름도를 통해 상세하게 설명하도록 한다. A method of providing a masking tool includes the steps of detecting an object in a moving picture playout unit and performing masking on the detected portion, displaying the tracked object region by tracking the detected object in real time, Displaying a panorama image provided on a frame-by-frame basis according to a line, searching for an image in which an object tracking error is found according to a user's selection, outputting a selected image upon detection of an object tracking error, And re-masking the image. The privacy masking processing operation will be described in detail with reference to the flowchart in FIG.

도 4는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 장치의 기능을 나타낸 도면이다. FIG. 4 is a functional block diagram of an apparatus for providing a privacy masking tool according to an exemplary embodiment of the present invention. Referring to FIG.

도 4-a는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 동영상 플레이 출력부를 나타낸 것으로, 도 3에서 도시한 바와 같이, 동영상 플레이 출력부는 마스킹 하려는 객체(410,420,430)를 검출하고 검출된 객체(410,420,430)부분에 마스킹 상자로 지정하여 마스킹을 수행할 수 있다. FIG. 4A illustrates a moving picture play output unit that provides a privacy masking tool according to an embodiment of the present invention. As shown in FIG. 3, a moving picture play output unit detects an object 410, 420, and 430 to be masked, Masking can be performed by designating a masking box in the portions 410, 420, and 430 of FIG.

도면 4-b는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 실시간 객체추적 표시부를 나타낸 것으로, 실시간 객체추적 표시부는 동영상 플레이 출력부에서 검출된 객체(410,420,430) 영역을 표시할 수 있다. 만약 검출된 객체가 한 명이면, 하나의 객체, 검출된 사람이 두 명이면, 두 개의 객체를 실시간 객체추적 표시부에 나타낼 수 있다. 따라서 도면 4-a의 동영상 플레이 출력부에서 객체(410,420,430)를 검출하고 마스킹을 수행한 부분이 세 개의 영역이므로, 도면 4-b의 실시간 객체 추적 표시부에서는 세 개의 검출된 객체(410,420,430)를 표시하게 된다. 4B illustrates a real-time object tracking display unit that provides a privacy masking tool according to an embodiment of the present invention. The real-time object tracking display unit may display the regions 410, 420, and 430 detected in the video play output unit. If one object is detected, and two objects are detected, two objects can be displayed on the real-time object tracking display unit. Therefore, since the object 410, 420, and 430 are detected and masked in the moving image playback output unit of FIG. 4A, the real-time object tracking display unit of FIG. 4B displays three detected objects 410, 420 and 430 do.

도면 4-c는 본 발명의 일실시예에 따른 프라이버시 마스킹 툴을 제공하는 파노라마 영상표시 및 검색부를 나타낸 것으로, 현재 동영상 플레이 출력부에서 마스킹이 수행되고 있는 객체 영역을 마스킹 타임라인에 프레임 단위로 파노라마 영상을 표시할 수 있다. 파노라마 영상표시 및 검색부는 파노라마 영상을 클릭할 경우, 실제 영상인 동영상 플레이 출력부로 이동하는 기능을 포함할 수 있다. FIG. 4C illustrates a panorama image display and search unit for providing a privacy masking tool according to an embodiment of the present invention. The object region in which the masking is currently being performed in the video play output unit is divided into a panorama image Images can be displayed. The panorama image display and search unit may include a function of moving to a moving image play output unit which is an actual image when the panorama image is clicked.

인터렉션 인터페이스를 통한 마스킹 툴을 제공하는 장치에 관해서는 도 3에서 설명한 바, 생략하기로 한다. 또한 도 5에서 프라이버시 마스킹 툴을 제공하는 장치에서 프라이버시 마스킹을 처리하는 동작을 상세히 설명한다. An apparatus for providing a masking tool through the interaction interface has been described with reference to FIG. 3 and will not be described here. The operation of processing the privacy masking in the apparatus for providing the privacy masking tool in Fig. 5 will be described in detail.

도 5는 본 발명의 일실시예에 따른 프라이버시 마스킹 처리 동작을 나타낸 흐름도이다. 5 is a flowchart illustrating a privacy masking processing operation according to an embodiment of the present invention.

프라이버시 마스킹 툴을 제공하는 장치가 반자동 마스킹을 수행하는 과정에 있어서, 마스킹 상자와 마스킹 타임라인과의 관계를 전체 수행과정으로 나타낸 흐름도이며, 프라이버시 마스킹 툴을 제공하는 방법은 프라이버시 마스킹 툴을 제공하는 장치에 의해 수행될 수 있다. 프라이버시 마스킹 툴을 제공하는 장치는 도 2에서 설명한 바와 같이 동일하게 적용될 수 있는바, 이와 중복된 내용에 대한 설명은 생략한다. A method for providing a privacy masking tool is a method for providing a privacy masking tool in which a relation between a masking box and a masking time line is shown as an entire process in a process of performing a semi-automatic masking, Lt; / RTI > The apparatus for providing the privacy masking tool can be applied in the same manner as described with reference to FIG. 2, and a description thereof will be omitted.

단계(510)에서 마스킹 툴을 제공하는 장치는 현재 플레이되고 있는 영상에서 객체를 검출하고 마스킹을 수행하기 위한 객체를 마스킹 상자로 지정하여 일정시간 동안 마스킹을 수행한다. 이때, 사용자는 동영상 플레이 출력부에서 마스킹을 수행하기 위한 객체를 마스킹 상자로 지정하여 마스킹을 수행할 수 있도록 한다. In step 510, the apparatus for providing a masking tool detects an object in an image currently being played, designates an object for masking as a masking box, and performs masking for a predetermined period of time. At this time, the user can perform masking by designating the object for masking in the motion picture output unit as a masking box.

단계(520)에서 마스킹 툴을 제공하는 장치는 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하고, 마스킹되는 객체 영역을 마스킹 타임라인에 프레임 단위의 파노라마 영상을 나타낸다. 만약, 객체를 실시간으로 추적하여 추적된 객체가 한 명이면, 하나의 객체, 검출된 객체가 두 명이면, 두 개의 객체를 실시간 객체추적 표시부에 표시한다. 단계(520)을 통해 마스킹 툴을 제공하는 장치는 실시간으로 재생되고 있는 영상에서 마스킹을 수행할 수 있다. The apparatus for providing the masking tool in step 520 displays the tracked object area by tracking the object in real time, and displays the panorama image in units of frames on the masking timeline on the masked object area. If one object is traced and two objects are detected, two objects are displayed on the real-time object tracking display unit by tracking the object in real time. The apparatus for providing the masking tool through step 520 may perform masking on an image being reproduced in real time.

단계(530)에서 마스킹 툴을 제공하는 장치는 마스킹 타임라인에 프레임 단위의 파노라마 영상을 사용자의 조작에 의해 객체추적 오류가 있는지 검색한다. 만약, 객체 추적 오류가 없다면 단계(560)의 마스킹 툴을 제공하는 장치에서 마스킹 된 영상들을 모아서 단일의 영상으로 제작하거나 전체 영상을 최종 영상으로 제작하고, 객체 추적 오류가 있다면 단계(540)로 넘어가 마스킹 타임라인에서 객체 추적 오류가 있는 프레임을 선택한다. In step 530, the apparatus for providing the masking tool searches the masking timeline for a frame-by-frame panorama image to see if there is an object tracking error by the user's operation. If there is no object tracking error, the apparatus for providing the masking tool of step 560 collects the masked images to produce a single image or the entire image as a final image. If there is an object tracking error, the process proceeds to step 540 On the masking timeline, select the frame with object tracking errors.

단계(540)에서 마스킹 툴을 제공하는 장치는 객체추적 오류가 발견되었으면, 사용자는 마스킹 타임라인에 있는 객체추적 오류가 있는 프레임을 선택하고, 선택된 프레임은 동영상이 플레이되는 출력부로 되돌아간다. 단계(540)을 통해 실시간으로 재생되고 있는 영상에서 마스킹을 수행하는 중에 객체추적 오류를 발견하면 마스킹 정지 및 프라이버시 재마스킹을 수행할 수 있다.If the object tracking error is found in step 540, the device selects the frame with object tracking error in the masking timeline, and the selected frame returns to the output where the moving image is played. If an object tracking error is detected during masking in an image being reproduced in real time through step 540, masking stop and privacy remasking can be performed.

단계(550)에서 마스킹 툴을 제공하는 장치는 동영상이 플레이되는 출력부에서 객체추적 오류가 있는 영상의 마스킹 상자를 삭제한다. 객체추적 오류가 있는 영상의 마스킹 상자를 삭제하여 재마스킹을 수행하기 위한 것으로, 객체추적 오류가 있는 영상의 마스킹을 삭제한 후, 단계(510)로 돌아가 마스킹을 수행하기 위한 객체를 마스킹 상자로 재지정하여 마스킹을 수행한다. 이때, 현재 프레임 이후의 모든 프레임에 마스킹 상자가 사라진다. The device providing the masking tool in step 550 deletes the masking box of the image with object tracking error at the output where the moving image is played. Masking of an image having an object tracking error is deleted to perform re-masking. After masking of an image with an object tracking error is deleted, the process returns to step 510 to return the object for masking to the masking box And masking is performed. At this time, the masking box disappears in all the frames after the current frame.

단계(560)에서 마스킹 툴을 제공하는 장치는 마스킹된 영상들을 단일의 영상으로 제작하거나 혹은 전체 영상을 최종 영상으로 제작한다. 마스킹 툴을 제공하는 장치가 마스킹 타임라인에 프레임 단위의 파노라마 영상에서 객체추적 오류가 발견되지 않았다면, 중간 중간 마스킹된 영상들을 모아서 하나의 영상으로 만들거나 전체적으로 마스킹된 영상을 최종 영상으로 만든다. In step 560, the masking tool provides the masked images as a single image or the entire image as a final image. If the masking tool does not detect an object tracking error on the frame-by-frame panorama image in the masking time line, the intermediate masked images are collected into one image or the entire masked image is converted into a final image.

이와 같이, 본 발명의 실시예들에 따르면, 객체를 추적하고, 추적한 객체를 마스킹하여 마스킹 타임라인에 파노라마 영상으로 표시함으로써 프라이버시 툴을 이용해서 한 프레임도 빠짐없이 객체 영역을 마스킹을 수행할 수 있다. 더욱이, 본 발명의 실시예들에 따르면, 실시간으로 재생되고 있는 영상에서 마스킹을 수행하는 중에 객체추적 오류를 발견하여 마스킹 정지 및 프라이버시 재마스킹을 함으로써 인터렉션 인터페이스를 통해 구현될 수 있다. As described above, according to the embodiments of the present invention, the object is tracked, the tracked object is masked and displayed as a panorama image on the masking timeline, so that the masking of the object area can be performed without leaving a frame by using the privacy tool have. Furthermore, according to embodiments of the present invention, object tracking errors can be detected during masking in an image being played back in real time, and masking can be stopped and privacy remasking can be performed through the interaction interface.

도 6은 본 발명의 일실시예에 따른 영상 빅데이터 기반에서 객체 템플릿 자동 수집 및 추적 알고리즘을 나타낸 도면이다. FIG. 6 is a diagram illustrating an object template automatic collection and tracking algorithm based on a video big data according to an exemplary embodiment of the present invention.

영상 빅데이터 기반에서 객체 템플릿 자동 수집 및 추적 알고리즘은 마스킹 툴을 제공하는 장치에 의해 수행될 수 있고, 도 2내지 도 3에서 이미 설명한 것이 동일하게 적용될 수 있는바, 이와 중복된 내용에 대한 설명은 생략한다. The object template automatic collection and tracking algorithm based on the image big data base can be performed by an apparatus for providing a masking tool and the same description as already described with reference to FIGS. 2 to 3 can be similarly applied. It is omitted.

프라이버시 마스킹 툴을 제공하는 장치는 영상 빅데이터에서 객체를 검출(610)한다. 프라이버시 마스킹 툴의 객체 검출 및 추적 알고리즘의 성능을 개선시키기 위하여 오프라인에서 대용량 영상을 분석한다. 프라이버시 마스킹 툴을 제공하는 장치는 빅데이터에서 검출한 객체를 복수개의 단위로 클러스터링(620)한다. 객체의 특징이 동일한 객체는 동일한 특징분포를 형성하여 템플릿을 자동으로 수집하고, 클러스터링하는 방법을 통해서 객체검출 및 추적 알고리즘의 성능을 개선시킬 수 있다. 도 7에서 실시간 템플릿 생성에 대해 자세히 설명한다.The apparatus for providing the privacy masking tool detects (610) an object in the image big data. In order to improve the performance of the object detection and tracking algorithm of the privacy masking tool, large - scale images are analyzed offline. An apparatus for providing a privacy masking tool clusters (620) objects detected in the Big Data in a plurality of units. Objects with the same characteristics of objects can have the same feature distribution, so that the performance of the object detection and tracking algorithm can be improved by automatically collecting and clustering templates. The real-time template generation will be described in detail with reference to FIG.

프라이버시 마스킹 툴을 제공하는 장치는 검출된 객체를 복수개의 단위로 클러스터링한 후, 자동 객체 추적엔진(630)을 통하여 일정시간 동안 자동 객체 추적을 실시한다. 본 발명은 자동 객체 추적을 통하여 영상 기반에서 한 프레임도 빠짐없이 대상객체의 얼굴을 가릴 수 있고, 실시간으로 재생되고 있는 영상에서 마스킹을 수행하는 중에도 객체추적 오류를 발견할 수 있다. The apparatus for providing a privacy masking tool clusters the detected objects into a plurality of units, and then performs automatic object tracking for a predetermined period of time through the automatic object tracking engine 630. The present invention can obscure a face of a target object without missing a frame in an image based on automatic object tracking and can detect an object tracking error even while performing masking in an image being reproduced in real time.

프라이버시 마스킹 툴을 제공하는 장치는 프라이버시 마스킹 UI(640)를 이용하여 프라이버시 마스킹을 수행할 수 있고, 사용자에 의해 조작을 할 수 있다. 사용자의 조작을 통해 마스킹 동작이 수행될 수 있도록, 정지, 재생, 빨리감기, 되감기 등의 조작버튼을 포함할 수 있고, 마스킹 타임라인에서는 프레임을 사용자의 필요에 따른 시간 단위로 파노라마 영상을 표시할 수 있다.  An apparatus for providing a privacy masking tool can perform privacy masking using a privacy masking UI 640 and can perform operations by a user. And may include operation buttons such as stop, play, fast forward, rewind, and so on so that a masking operation can be performed through a user's operation. In the masking time line, a frame is displayed in a time unit according to a user's need .

프라이버시 마스킹 툴을 제공하는 장치는 사용자의 조작에 의한 프라이버시 마스킹 UI(640)를 통해 수행된 최종 영상을 비디오 이미지(650)로 출력할 수 있고, 마스킹 하려는 객체가 잘못 지정되었다면, 사용자는 마스킹 UI(640)로 돌아가 정지버튼을 눌러 재생되고 있는 영상을 정지시킬 수 있고, 정지버튼이 선택된 후 동영상 플레이 출력부를 통해 표시되는 출력된 영상에 대하여 사용자는 마스킹 하려는 객체에 마스킹 상자를 이동시킨 후, 일정시간 동안 마스킹 하려는 객체의 마스킹 상자를 재지정하여 마스킹을 수행할 수 있다. The device providing the privacy masking tool may output the final image performed through the privacy masking UI 640 by the user's operation to the video image 650. If the object to be masked is designated incorrectly, 640, and stop the playback of the image by pressing the stop button. After the stop button is selected, the user moves the masking box to the object to be masked with respect to the output image displayed through the video play output unit, The masking box of the object to be masked can be reassigned to perform masking.

따라서 본 발명의 일실시예에 따른 프라이버시 마스킹 툴의 객체검출 및 추적 알고리즘의 성능개선을 위해서 오프라인에서 대용량 영상을 분석하여 객체를 검출하고 검출된 객체를 몇 개의 단위로 클러스터링하는 방법을 통해서 실제 비디오 이미지가 입력되었을 때보다 효과적으로 객체를 검출하고 추적할 수 있다.Accordingly, in order to improve the performance of the object detection and tracking algorithm of the privacy masking tool according to an embodiment of the present invention, an object is detected by analyzing a large-capacity image in an offline manner, and a method of clustering the detected object in units of several units, The object can be detected and tracked more effectively than when it is input.

도 7은 본 발명의 일실시예에 따른 영상 빅데이터 기반에서 실시간 템플릿 생성을 나타낸 도면이다. FIG. 7 is a diagram illustrating real-time template generation based on a video big data based on an embodiment of the present invention.

도 7은 영상 빅데이터 기반에서 객체 템플릿 자동 수집 및 추적 알고리즘을 기반으로, 영상 빅데이터 기반에서 클러스터링을 통해 객체 템플릿 생성을 설명한다.  7 illustrates creation of an object template through clustering based on an image big data base, based on an object template automatic collection and tracking algorithm based on the image big data.

본 발명의 일실시예에 따른 프라이버시 마스킹 툴의 객체검출 및 추적 알고리즘의 성능개선을 위해서 오프라인에서 대용량 영상을 분석하여 객체를 검출하고 검출된 객체를 몇 개의 단위로 클러스터링하는 방법을 통해서 실제 비디오 이미지가 입력되었을 때보다 효과적으로 객체를 검출하고 추적할 수 있다. 실시간 템플릿 생성은 도 7에 도시된 도면과 같이 동일한 특징의 객체는 동일한 분포를 형성하며, 이러한 특성을 이용하여 대용량 템플릿을 자동으로 수집할 수 있다. 예를 들어, 빅데이터 영상에서 정면으로 서있는 객체들, 옆으로 서있는 사람들의 객체들을, 손을 들고 서있는 객체들을 객체별로 각각 수집하여 템플릿을 생성할 수 있다. 생성한 템플릿은 동일한 특징을 가지고 있기 때문에, 동일한 특징 분포를 형성할 수 있고, 이러한 특성을 이용하여 대용량 템플릿을 자동으로 수집할 수 있다. 따라서 대용량 영상에서 객체에 대하여 확률적인 의미를 갖는 템플릿 데이터를 수집하여 성능을 개선시킬 수 있다.
In order to improve the performance of the object detection and tracking algorithm of the privacy masking tool according to an embodiment of the present invention, an object is detected by analyzing a large-capacity image in an offline manner, and a method of clustering the detected object in units of several units, Objects can be detected and tracked more effectively than when they are entered. In real-time template generation, objects having the same characteristics form the same distribution as shown in FIG. 7, and a large-capacity template can be automatically collected using these characteristics. For example, you can create a template by collecting objects standing in front of a big data image, objects of people standing next to each other, and objects standing by hand, each by object. Since the generated templates have the same characteristics, the same feature distribution can be formed, and a large-capacity template can be automatically collected using these characteristics. Therefore, it is possible to improve the performance by collecting template data having a stochastic meaning for an object in a large-capacity image.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.　 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.　 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

210: 동영상 플레이 출력부
220: 실시간 객체추적 표시부
230: 파노라마 영상표시 및 검색부210: Video play output section
220: Real-time object tracking display
230: Panorama image display and search unit

Claims (10)

프라이버시 마스킹 툴을 제공하는 장치에 있어서,
객체를 검출하고 검출된 부분에 마스킹을 수행하는 동영상 플레이 출력부;
상기 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하는 실시간 객체추적 표시부; 및
상기 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하는 파노라마 영상표시 및 검색부
를 포함하고,
상기 동영상 플레이 출력부는 상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 것
을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치.An apparatus for providing a privacy masking tool,
A video play output unit for detecting an object and performing masking on the detected part;
A real time object tracking display unit for tracking the detected object in real time and displaying the tracked object area; And
A panorama image display unit for displaying the panorama image providing the masked object area in units of frames according to the masking time line and a panorama image display unit for searching for an image in which an object tracking error is detected according to a user's selection,
Lt; / RTI >
The video play output unit outputs the selected image after the object tracking error is detected, and re-masking the output image according to the user's command
Wherein the privacy masking tool is a device for providing a privacy masking tool. 제1항에 있어서,
상기 재마스킹은 상기 마스킹되는 객체 영역을 수정하고, 수정된 객체 영역이 마스킹되어 저장됨으로써 수행되는 것
을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치.The method according to claim 1,
Wherein the re-masking is performed by modifying the masked object area and storing the modified object area in a masked manner
Wherein the privacy masking tool is a device for providing a privacy masking tool. 제1항 또는 제2항에 있어서,
상기 동영상 플레이 출력부, 상기 실시간 객체추적 표시부 및 상기 파노라마 영상표시 및 검색부는 마스킹 중 정지 및 재마스킹 기능을 포함하는 인터렉션 마스킹 인터페이스를 통해 구현되는 것
을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치.3. The method according to claim 1 or 2,
Wherein the motion picture output unit, the real time object tracking display unit, and the panorama image display and retrieval unit are implemented through an interaction masking interface including a stop and remasking function during masking
Wherein the privacy masking tool is a device for providing a privacy masking tool. 제3항에 있어서,
상기 인터렉션 마스킹 인터페이스는,
상기 파노라마 영상표시 및 검색부를 통해 표시되는 상기 파노라마 영상에 기초하여 마스킹을 하는 중에 상기 객체 추적 오류가 발견될 경우 상기 사용자의 선택에 따라 상기 마스킹을 정지시키는 정지버튼을 포함하고,
상기 정지버튼이 선택된 후 상기 동영상 플레이 출력부를 통해 표시되는 상기 출력된 영상에 대해 상기 사용자의 명령에 따라 마스킹 상자를 이동시키며,
상기 인터렉션 마스킹 인터페이스를 통한 상기 마스킹 상자의 이동에 따라 상기 재마스킹이 수행되는 것
을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치.The method of claim 3,
The interaction masking interface comprises:
And a stop button for stopping the masking according to the selection of the user when the object tracking error is detected during masking based on the panorama image displayed through the panorama image display and search unit,
Moving the masking box according to the user's command on the output image displayed through the motion-picture playback output unit after the stop button is selected,
Wherein the re-masking is performed in accordance with movement of the masking box through the interaction masking interface
Wherein the privacy masking tool is a device for providing a privacy masking tool. 제1항 또는 제2항에 있어서,
상기 재마스킹이 수행되는 도중에도 또 다른 실시간 영상에 대해서 실시간 객체 추적 및 마스킹이 동시에 수행되는 것
을 특징으로 하는 프라이버시 마스킹 툴을 제공하는 장치.3. The method according to claim 1 or 2,
Real-time object tracking and masking are simultaneously performed on another real-time image while the re-masking is being performed
Wherein the privacy masking tool is a device for providing a privacy masking tool. 제1항에 있어서,
상기 프라이버시 마스킹 툴은,
대용량 영상을 분석하여 객체를 검출하고, 검출된 객체를 복수 개의 단위로 클러스터링하여 객체를 검출하고 추적하는,
프라이버시 마스킹 툴을 제공하는 장치.The method according to claim 1,
Wherein the privacy masking tool comprises:
Detecting objects by analyzing a large-capacity image, and detecting and tracking the objects by clustering the detected objects into a plurality of units,
A device that provides a privacy masking tool. 프라이버시 마스킹 툴을 제공하는 방법에 있어서,
객체를 검출하고 검출된 부분에 마스킹을 수행하는 단계;
상기 검출된 객체를 실시간으로 추적하여 추적된 객체 영역을 표시하는 단계;
상기 마스킹되는 객체 영역을 마스킹 타임라인에 따라 프레임 단위로 제공하는 파노라마 영상을 표시하고, 사용자의 선택에 따라 객체 추적 오류가 발견되는 영상을 검색하는 단계; 및
상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계
를 포함하는 프라이버시 마스킹 툴을 제공하는 방법.A method for providing a privacy masking tool,
Detecting an object and performing masking on the detected portion;
Displaying the tracked object area by tracking the detected object in real time;
Displaying a panorama image providing the masked object region on a frame-by-frame basis according to a masking time line, and searching for an image in which an object tracking error is found according to a user's selection; And
Masking the output image according to an instruction of the user to output the selected image after the object tracking error is detected,
Gt; a < / RTI > privacy masking tool. 제7항에 있어서,
상기 객체를 검출하고 검출된 부분에 마스킹을 수행하는 단계는,
마스킹을 수행하기 위해 객체를 마스킹 상자로 지정하는 단계; 및
상기 마스킹 상자로 지정한 상기 객체 영역이 마스킹을 수행하는 단계
를 포함하고,
상기 객체 추적 오류가 발견되는 영상을 검색하는 단계는,
상기 마스킹 타임라인에서 상기 마스킹이 수행된 객체 영역을 추적하여 오류를 확인하는 단계를 포함하고,
상기 마스킹이 수행된 영상들을 단일의 영상으로 제작 혹은 전체 영상을 최종 영상으로 제작하는 단계
를 더 포함하는 프라이버시 마스킹 툴을 제공하는 방법.8. The method of claim 7,
Wherein detecting the object and performing masking on the detected portion comprises:
Designating an object as a masking box to perform masking; And
And masking the object region designated by the masking box
Lt; / RTI >
Wherein the step of searching for an image in which the object tracking error is found comprises:
And tracking the masked object region in the masking time line to identify an error,
The masked images are formed into a single image or the whole image is made into a final image
Further comprising the steps < RTI ID = 0.0 > of: < / RTI > 제7항에 있어서,
상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계는,
상기 마스킹 타임라인에 있는 상기 객체 추적 오류가 있는 프레임을 선택하여 동영상이 플레이되는 출력부로 되돌아가는 단계;
상기 동영상이 플레이되는 출력부에서 사용자의 명령에 의해 마스킹 상자를 삭제하는 단계; 및
마스킹을 수행하기 위해 객체를 마스킹 상자로 재설정하여 상기 객체 영역이 마스킹되어 저장됨으로써 수행되는 단계
를 포함하는 프라이버시 마스킹 툴을 제공하는 방법.8. The method of claim 7,
Wherein the object tracking error is detected and the selected image is output, and the re-masking of the output image is performed according to the user's command,
Selecting a frame with the object tracking error in the masking timeline and returning to an output where the moving image is played;
Deleting the masking box by an instruction from the user at an output unit where the moving picture is played; And
A step performed by resetting the object to a masking box to perform masking so that the object area is masked and stored
Gt; a < / RTI > privacy masking tool. 제7항에 있어서,
상기 객체 추적 오류가 발견되어 선택된 영상을 출력하고, 상기 사용자의 명령에 따라 상기 출력된 영상에 대한 재마스킹을 수행하는 단계는,
상기 재마스킹이 수행되는 도중에도 또 다른 실시간 영상에 대해서 실시간 객체 추적 및 마스킹이 동시에 수행되는 단계
를 포함하는 프라이버시 마스킹 툴을 제공하는 방법.8. The method of claim 7,
Wherein the object tracking error is detected and the selected image is output, and the re-masking of the output image is performed according to the user's command,
The real-time object tracking and masking are simultaneously performed on another real-time image while the re-masking is being performed
Gt; a < / RTI > privacy masking tool.
KR20130045222A 2013-04-24 2013-04-24 Apparatus and method for privacy masking tool that provides real-time video KR101484844B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130045222A KR101484844B1 (en) 2013-04-24 2013-04-24 Apparatus and method for privacy masking tool that provides real-time video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130045222A KR101484844B1 (en) 2013-04-24 2013-04-24 Apparatus and method for privacy masking tool that provides real-time video

Publications (2)

Publication Number Publication Date
KR20140126936A true KR20140126936A (en) 2014-11-03
KR101484844B1 KR101484844B1 (en) 2015-01-21

Family

ID=52451433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130045222A KR101484844B1 (en) 2013-04-24 2013-04-24 Apparatus and method for privacy masking tool that provides real-time video

Country Status (1)

Country Link
KR (1) KR101484844B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496287B1 (en) * 2014-11-11 2015-02-26 (주) 강동미디어 Video synopsis system and video synopsis method using the same
CN108024113A (en) * 2017-12-15 2018-05-11 东华大学 A kind of adaptive compression domain small target tracking method of target accounting
CN108805810A (en) * 2018-05-30 2018-11-13 链家网（北京）科技有限公司 A kind of house panorama sketch privacy processing method and processing device
KR101995193B1 (en) * 2018-01-26 2019-07-02 주식회사 아이디스 Protecting region processing apparatus
KR20190096116A (en) * 2018-02-08 2019-08-19 한화테크윈 주식회사 Security method for biometric information
KR20200034468A (en) * 2018-09-21 2020-03-31 김승진 Integrated space information management platform using virtual reality video and operation method thereof
KR102183689B1 (en) * 2020-03-30 2020-11-30 에스큐아이소프트 주식회사 Real-time image object masking processing system and masking processing method using the same
KR102259457B1 (en) * 2020-08-21 2021-06-02 (주)와토시스 Method for de-identifying personal information, method for veryfying de-identified information and system thereof
KR102436602B1 (en) * 2021-12-30 2022-08-29 (주)와토시스 Method and device for de-identifying personal information in image data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100877747B1 (en) * 2006-10-18 2009-01-12 포스데이타 주식회사 Digital Video Recorder and, apparatus and method for protectiong input image of the same
US8610787B2 (en) 2007-06-22 2013-12-17 Panasonic Corporation Camera device including privacy protection method
JP5143172B2 (en) 2010-03-19 2013-02-13 三洋電機株式会社 Imaging apparatus and image reproduction apparatus

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496287B1 (en) * 2014-11-11 2015-02-26 (주) 강동미디어 Video synopsis system and video synopsis method using the same
CN108024113A (en) * 2017-12-15 2018-05-11 东华大学 A kind of adaptive compression domain small target tracking method of target accounting
CN108024113B (en) * 2017-12-15 2021-05-11 东华大学 Target ratio self-adaptive compressed domain small target tracking method
KR101995193B1 (en) * 2018-01-26 2019-07-02 주식회사 아이디스 Protecting region processing apparatus
KR20190096116A (en) * 2018-02-08 2019-08-19 한화테크윈 주식회사 Security method for biometric information
CN108805810A (en) * 2018-05-30 2018-11-13 链家网（北京）科技有限公司 A kind of house panorama sketch privacy processing method and processing device
CN108805810B (en) * 2018-05-30 2020-01-10 贝壳找房(北京)科技有限公司 House panoramic image privacy processing method and device
KR20200034468A (en) * 2018-09-21 2020-03-31 김승진 Integrated space information management platform using virtual reality video and operation method thereof
KR102183689B1 (en) * 2020-03-30 2020-11-30 에스큐아이소프트 주식회사 Real-time image object masking processing system and masking processing method using the same
KR102259457B1 (en) * 2020-08-21 2021-06-02 (주)와토시스 Method for de-identifying personal information, method for veryfying de-identified information and system thereof
WO2022039319A1 (en) * 2020-08-21 2022-02-24 (주)와토시스 Personal information de-identification method, verification method, and system
KR102436602B1 (en) * 2021-12-30 2022-08-29 (주)와토시스 Method and device for de-identifying personal information in image data

Also Published As

Publication number Publication date
KR101484844B1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
KR101484844B1 (en) Apparatus and method for privacy masking tool that provides real-time video
US10902676B2 (en) System and method of controlling a virtual camera
US11676389B2 (en) Forensic video exploitation and analysis tools
EP3369038B1 (en) Tracking object of interest in an omnidirectional video
US9324374B2 (en) Method and system for automatic generation of clips from a plurality of images based on an inter-objects relationship score
WO2018080848A1 (en) Curated photogrammetry
JP2009075802A (en) Personal activity retrieving apparatus
US20160381339A1 (en) Image information processing method, apparatus, and program utilizing a position sequence
WO2014045843A1 (en) Image processing system, image processing method, and program
US10146870B2 (en) Video playback method and surveillance system using the same
WO2022002151A1 (en) Implementation method and apparatus for behavior analysis of moving target, and electronic device
KR20150026178A (en) Apparatus for Providing Video Synopsis Computer-Readable Recording Medium with Program therefore
JPWO2014045670A1 (en) Image processing system, image processing method, and program
JP3372096B2 (en) Image information access device
JP2007072789A (en) Image structuring method, device, and program
CN108369640A (en) For control scene capture images image procossing to adjust the method, apparatus or computer program of capture images
JP2011155477A (en) Video processing apparatus, video processing method, and program
JP6853528B2 (en) Video processing programs, video processing methods, and video processing equipment
Fassold et al. Towards automatic cinematography and annotation for 360° video
KR20190078800A (en) Annotation method for interactive 360 video using cubic projection
JP5850188B2 (en) Image display system
KR101362630B1 (en) Method for chasing object moving path in digital video recorder
KR20150102301A (en) Method and Apparatus for Protection of Video Privacy using automatic multi-object detector based on human type
JP5554214B2 (en) Minutes system and program
JP2006352879A (en) Method of identifying and visualizing event in video frame, and system for generating timeline of event in video stream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181205

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 6