KR20180099327A - Method and apparatus for masking and unmasking of video data - Google Patents

Method and apparatus for masking and unmasking of video data Download PDF

Info

Publication number
KR20180099327A
KR20180099327A KR1020170026638A KR20170026638A KR20180099327A KR 20180099327 A KR20180099327 A KR 20180099327A KR 1020170026638 A KR1020170026638 A KR 1020170026638A KR 20170026638 A KR20170026638 A KR 20170026638A KR 20180099327 A KR20180099327 A KR 20180099327A
Authority
KR
South Korea
Prior art keywords
masking
image data
processor
area
shuffling
Prior art date
Application number
KR1020170026638A
Other languages
Korean (ko)
Inventor
김건우
오선호
최범석
한승완
한종욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170026638A priority Critical patent/KR20180099327A/en
Publication of KR20180099327A publication Critical patent/KR20180099327A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H04N21/44055—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption by partially decrypting, e.g. decrypting a video stream that has been partially encrypted

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Provided is an apparatus for transmitting images through the following steps: masking a masking portion of image data by using an encrypted table; encoding the masked image data; and transmitting the encoded image data via wired and wireless communications units.

Description

영상 데이터의 마스킹 및 언마스킹 방법 및 장치{METHOD AND APPARATUS FOR MASKING AND UNMASKING OF VIDEO DATA}METHOD AND APPARATUS FOR MASKING AND UNMASKING OF VIDEO DATA FIELD OF THE INVENTION [0001]

본 기재는 영상 데이터를 마스킹 및 언마스킹하는 장치 및 방법에 관한 것이다. The present disclosure relates to an apparatus and method for masking and unmasking image data.

영상 데이터의 프라이버시 마스킹(privacy masking)은 코덱(codec)에 종속되어 수행된다. 예를 들어, 영상 데이터는 코덱에 의해 인코딩된 이후에 인코딩된 정보를 역-파싱하여 프라이버시 마스킹되거나, 인코더에 통합된 프라이버시 마스킹 기능이 영상 데이터에 적용될 수 있다. 그리고 원래 영상을 복원하는 프라이버시 언마스킹(privacy unmasking)은 마스킹 과정의 역순으로 진행되므로, 디코더의 앞부분에서 수행되거나, 또는 디코더에 통합된다. Privacy masking of the image data is performed depending on the codec. For example, the image data may be privacy masked by decoding the encoded information after being encoded by the codec, or a privacy masking function incorporated into the encoder may be applied to the image data. Privacy unmasking, which restores the original image, is performed in the reverse order of the masking process and therefore is performed at the beginning of the decoder or integrated into the decoder.

본질적으로, 프라이버시 마스킹과 같이 영상의 일부 영역을 안전하게 비시각화하는 기술은 대상 영역 내에 포함된 RGB 값의 무결성을 요구하고 있는데 반해, 코덱은 손실 압축(lossy compression)에 관한 기술이기 때문에, 두 기능을 수행하는 모듈간 충돌이 불가피하다. 그리고, 종래와 같이 프라이버시 마스킹 기술이 코덱에 종속되는 경우, 새로운 프라이버시 마스킹 기술을 적용하기 위해서 코덱이 수정되거나, 또는 코덱 종류에 따라서 다양한 파싱 기술을 적용해야 하는 불편함이 있다. In essence, since the technique of safely non-visualizing some areas of an image, such as privacy masking, requires the integrity of the RGB values contained within the object area, while the codec is a technique for lossy compression, Collision between modules to be performed is inevitable. When the privacy masking technique is dependent on the codec as in the prior art, there is an inconvenience that the codec needs to be modified to apply the new privacy masking technique or various parsing techniques must be applied according to the codec type.

한 실시예는 인코딩 이전에 영상 데이터를 마스킹하여 영상을 송신하는 장치를 제공한다.One embodiment provides an apparatus for transmitting an image by masking image data prior to encoding.

다른 실시예는 디코딩 이후에 영상 데이터를 언마스킹하는 영상 수신 장치를 제공한다.Another embodiment provides an image receiving apparatus for unmasking image data after decoding.

또 다른 실시예는 인코딩 이전에 영상 데이터를 마스킹하는 방법을 제공한다.Yet another embodiment provides a method of masking image data prior to encoding.

한 실시예에 따르면, 영상을 송신하는 장치가 제공된다. 영상 송신 장치는, 프로세서, 메모리, 및 유무선 통신부를 포함하고, 프로세서는 메모리에 저장된 프로그램을 실행하여, 암호화 테이블을 사용하여 영상 데이터의 마스킹 영역(masking area)을 마스킹하는 단계, 마스킹된 영상 데이터를 인코딩하는 단계, 그리고 유무선 통신부를 통해 인코딩된 영상 데이터를 송신하는 단계를 수행한다.According to one embodiment, an apparatus for transmitting an image is provided. The image transmitting apparatus includes a processor, a memory, and a wired / wireless communication unit, the processor executing a program stored in the memory to mask the masking area of the image data using the encryption table, And transmitting the encoded image data through the wired / wireless communication unit.

상기 영상 송신 장치에서 프로세서는 마스킹하는 단계를 수행할 때, 마스킹 영역과 동일한 크기의 셔플링 테이블을 생성하는 단계, 그리고 셔플링 테이블을 사용하여 마스킹 영역을 마스킹하는 단계를 수행할 수 있다. In the image transmitting apparatus, when performing the masking step, the processor can perform a step of creating a shuffling table having the same size as the masking area, and masking the masking area using the shuffling table.

상기 영상 송신 장치에서 프로세서는 송신하는 단계를 수행할 때, 셔플링 테이블에 관한 정보를 송신하는 단계를 수행할 수 있다.In the video transmitting apparatus, the processor may perform the step of transmitting information regarding the shuffling table when performing the transmitting step.

상기 영상 송신 장치에서 프로세서는 마스킹하는 단계를 수행할 때, 영상 데이터와 동일한 크기의 셔플링 테이블에서 마스킹 영역에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고 서브 셔플링 테이블을 사용하여 마스킹 영역을 마스킹하는 단계를 수행할 수 있다. Selecting a sub-shuffling table corresponding to a masking area in a shuffling table having the same size as that of the image data when performing a masking process in the image transmitting apparatus; A masking step can be performed.

상기 영상 송신 장치에서 프로세서는 마스킹하는 단계를 수행할 때, XOR 테이블을 사용하여 마스킹 영역에 포함된 각 픽셀의 색상값을 변경하는 단계를 수행할 수 있다.In the image transmitting apparatus, when performing the masking step, the processor may perform a step of changing a color value of each pixel included in the masking area using the XOR table.

상기 영상 송신 장치에서 프로세서는 프로그램을 실행하여, 영상 데이터에서 마스킹 영역을 결정하는 단계를 더 수행할 수 있다.In the image transmitting apparatus, the processor may further execute a program to determine a masking area in the image data.

다른 실시예에 따르면, 영상을 수신하는 장치가 제공된다. 상기 영상 수신 장치는, 프로세서, 메모리, 및 유무선 통신부를 포함하고, 프로세서는 메모리에 저장된 프로그램을 실행하여, 유무선 통신부를 통해서, 인코딩된 영상 데이터와, 인코딩된 영상 데이터의 마스킹 영역의 위치 정보를 수신하는 단계, 인코딩된 영상 데이터를 디코딩하는 단계, 그리고 위치 정보를 바탕으로 디코딩된 영상 데이터에서 마스킹 영역을 언마스킹(unmasking)하는 단계를 수행한다.According to another embodiment, an apparatus for receiving an image is provided. The image receiving apparatus includes a processor, a memory, and a wired / wireless communication unit. The processor executes a program stored in a memory to receive encoded image data and position information of a masked area of the encoded image data through a wired / wireless communication unit Decoding the encoded image data, and unmasking the masked area in the decoded image data based on the position information.

상기 영상 수신 장치에서 프로세서는 수신하는 단계를 수행할 때, 마스킹 영역을 마스킹하기 위해 사용된 셔플링 테이블에 관한 정보를 수신하는 단계를 수행하고, 프로세서는 언마스킹하는 단계를 수행할 때, 셔플링 테이블에 관한 정보에 기반하여 디코딩된 영상 데이터에서 마스킹 영역을 언마스킹하는 단계를 수행할 수 있다.Wherein the processor in the image receiving apparatus performs the step of receiving information regarding the shuffling table used for masking the masking area when performing the receiving step and wherein when the processor performs the unmasking step, And unmasking the masked area in the decoded image data based on the information on the table.

상기 영상 수신 장치에서 프로세서는 언마스킹하는 단계를 수행할 때, 영상 데이터와 동일한 크기의 셔플링 테이블에서 위치 정보에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고 서브 셔플링 테이블을 사용하여 디코딩된 영상 데이터에서 마스킹 영역을 언마스킹하는 단계를 수행할 수 있다. The processor of the image receiving apparatus selects a sub-shuffling table corresponding to the position information in the shuffling table of the same size as the image data when performing the unmasking step, And unmasking the masking area in the image data.

상기 영상 수신 장치에서 프로세서는 언마스킹하는 단계를 수행할 때, XOR 테이블을 사용하여 마스킹 영역에 포함된 각 픽셀의 색상값을 복원하는 단계를 수행할 수 있다.The processor of the image receiving apparatus may perform a step of restoring a color value of each pixel included in the masking area using the XOR table when unmasking.

또 다른 실시예에 따르면, 영상을 마스킹(masking)하는 방법이 제공된다. 상기 마스킹 방법은, 영상 데이터에서 마스킹 영역(masking area)을 결정하는 단계, 암호화 테이블을 사용하여 마스킹 영역을 마스킹하는 단계, 그리고 마스킹된 영상 데이터를 인코딩하는 단계를 포함한다.According to yet another embodiment, a method of masking an image is provided. The masking method includes the steps of determining a masking area in the image data, masking the masking area using the encryption table, and encoding the masked image data.

상기 마스킹 방법에서 마스킹하는 단계는, 마스킹 영역과 동일한 크기의 셔플링 테이블을 생성하는 단계, 그리고 셔플링 테이블을 사용하여 마스킹 영역을 마스킹하는 단계를 포함할 수 있다. The masking in the masking method may include creating a shuffling table of the same size as the masking area, and masking the masking area using the shuffling table.

상기 마스킹 방법에서 마스킹하는 단계는, 영상 데이터와 동일한 크기의 셔플링 테이블에서 마스킹 영역에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고 서브 셔플링 테이블을 사용하여 마스킹 영역을 마스킹하는 단계를 포함할 수 있다.Wherein masking in the masking method includes selecting a sub-shuffling table corresponding to a masking area in a shuffling table of the same size as the image data, and masking the masking area using the sub-shuffling table .

상기 마스킹 방법에서 마스킹하는 단계는, XOR 테이블을 사용하여 마스킹 영역에 포함된 각 픽셀의 색상값을 변경하는 단계를 포함할 수 있다.The masking in the masking method may include changing the color value of each pixel included in the masking area using an XOR table.

영상 데이터의 인코딩 이전에 마스킹을 수행하고, 영상 데이터의 디코딩 이후에 언마스킹을 수행함으로써, 코덱에 종속되지 않고 마스킹 및 언마스킹이 수행될 수 있다. Masking and unmasking can be performed without depending on the codec by performing masking before encoding the image data and performing unmasking after decoding the image data.

도 1은 한 실시예에 따른 영상 데이터의 마스킹 시스템을 나타낸 블록도이다.
도 2는 한 실시예에 따른 프라이버시 마스킹 방법을 나타낸 개념도이다.
도 3은 한 실시예에 따른 프라이버시 마스킹 방법을 나타낸 흐름도이다.
도 4는 한 실시예에 따른 프라이버시 언마스킹 방법을 나타낸 흐름도이다.
도 5는 다른 실시예에 따른 영상 데이터의 마스킹 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a masking system for image data according to an exemplary embodiment of the present invention.
2 is a conceptual diagram illustrating a privacy masking method according to an embodiment.
3 is a flowchart illustrating a privacy masking method according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a privacy unmasking method according to an embodiment of the present invention.
5 is a block diagram illustrating a masking system of image data according to another embodiment.

아래에서는 첨부한 도면을 참고로 하여 본 기재의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 기재는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 기재를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present disclosure can be embodied in various different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention in the drawings, parts not related to the description are omitted, and like reference numerals are given to similar parts throughout the specification.

도 1은 한 실시예에 따른 영상 데이터의 마스킹 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a masking system for image data according to an exemplary embodiment of the present invention.

도 1을 참조하면, 한 실시예에 따른 영상 데이터의 마스킹 시스템은, 송신 장치(100) 및 수신 장치(200)를 포함한다. 송신 장치(100)는 마스킹 프로세서(110) 및 인코더(encoder)(120)를 포함하고, 수신 장치(200)는 디코더(210) 및 언마스킹 프로세서(220)를 포함한다.Referring to FIG. 1, a masking system for image data according to an embodiment includes a transmitting apparatus 100 and a receiving apparatus 200. The transmitting apparatus 100 includes a masking processor 110 and an encoder 120 and the receiving apparatus 200 includes a decoder 210 and an unmasking processor 220.

마스킹 프로세서(110)는, 입력된 영상의 RAW 데이터에서 마스킹이 수행될 영역(마스킹 영역(masking area))을 결정하고, 마스킹 영역에 대한 마스킹을 수행한다.The masking processor 110 determines an area (masking area) to be masked in the RAW data of the input image, and performs masking on the masking area.

인코더(120)는 코덱을 이용하여 마스킹된 영상 데이터를 인코딩하며, 디코더(210)는 인코딩 및 마스킹이 수행된 영상 데이터를 디코딩한다. 한 실시예에 따르면, 디코더(210)는 언마스킹이 수행되기 이전에 인코딩 및 마스킹이 수행된 영상 데이터를 디코딩한다.The encoder 120 encodes the masked image data using a codec, and the decoder 210 decodes the encoded and masked image data. According to one embodiment, the decoder 210 decodes the encoded and masked image data before unmasking is performed.

언마스킹 프로세서(220)는 디코딩된 영상의 마스킹 영역에 관한 위치 정보를 바탕으로 마스킹 영역에 대한 언마스킹을 수행한다. The unmasking processor 220 performs unmasking on the masking area based on the positional information on the masking area of the decoded image.

또한, 송신 장치(100) 및 수신 장치(200)는 각각 유무선 통신부(wired/wireless communication unit)(130, 230)를 포함하고, 유무선 통신부(130, 230)를 통해 영상 데이터를 송신하고 수신할 수 있다.The transmitting apparatus 100 and the receiving apparatus 200 may include wired / wireless communication units 130 and 230 and may transmit and receive image data through the wired / wireless communication units 130 and 230, respectively. have.

도 2는 한 실시예에 따른 프라이버시 마스킹 방법을 나타낸 개념도이고, 도 3은 한 실시예에 따른 프라이버시 마스킹 방법을 나타낸 흐름도이다.FIG. 2 is a conceptual diagram illustrating a privacy masking method according to an embodiment, and FIG. 3 is a flowchart illustrating a privacy masking method according to an embodiment.

도 3을 참조하면, 먼저, 마스킹 프로세서(110)로 영상의 RAW 데이터가 입력된다(S110). 이때, 영상의 RAW 데이터는 RGB 데이터 또는 YUV 데이터일 수 있다. 그리고 마스킹 프로세서(110)는 영상에서 마스킹 영역을 결정한다(S120). 도 2를 참조하면, 서있는 사람의 영상에서 얼굴 영역이 마스킹 영역이다. 이때, 마스킹 영역은 사생활 보호 등의 목적으로 육안으로 형태를 알아볼 수 없도록 마스킹이 수행된 영역이고, 마스킹 영역의 위치는 지능형 영상 분석 모듈 등에 의해서 결정될 수 있다. 마스킹 영역은 영상 내에서 사생활로서 가려져야 할 부분, 예를 들어, 사람의 얼굴, 주택의 주소, 차량의 번호판 등이 될 수 있다. Referring to FIG. 3, RAW data of an image is input to the masking processor 110 (S110). At this time, the RAW data of the image may be RGB data or YUV data. Then, the masking processor 110 determines a masking area in the image (S120). Referring to FIG. 2, in the image of the standing person, the face region is the masking region. In this case, the masking area is an area in which masking is performed so that the shape can not be visually recognized for the purpose of protecting privacy, etc., and the position of the masking area can be determined by an intelligent image analysis module or the like. The masking area may be a part of the image that should be hidden as privacy, for example, a face of a person, an address of a house, a license plate of a vehicle, and the like.

이후, 마스킹 프로세서(110)는 마스킹 영역을 마스킹한다(S130). 이때, 마스킹 프로세서(110)는 마스킹을 위해서 암호화 테이블을 사용한다. 암호화 테이블은 셔플링 테이블(shuffling table) 또는 XOR 테이블을 포함한다. Thereafter, the masking processor 110 masks the masking area (S130). At this time, the masking processor 110 uses an encryption table for masking. The encryption table includes a shuffling table or an XOR table.

한 실시예에 따르면, 마스킹 프로세서(110)는 셔플링 테이블을 사용하여 마스킹을 수행한다. 이때, 마스킹 영역 내의 픽셀은 셔플링 테이블에 따라서 미리 정해진 위치로 이동되고, 따라서 마스킹 영역 전체의 색상 정보가 유지될 수 있다. 마스킹 프로세서(110)는 전체 영상의 크기와 동일한 크기의 셔플링 테이블에서 마스킹 영역에 대응하는 크기의 서브 셔플링 테이블을 선택할 수도 있고, 마스킹 영역과 동일한 크기의 셔플링 테이블을 각 마스킹 영역 마다 생성할 수도 있다. 이때 송신 장치(100)는 유무선 통신부를 통해서 각 마스킹 영역에 대응하는 셔플링 테이블에 관한 정보를 송신하여, 수신 장치(200)로 하여금 언마스킹에 사용할 수 있도록 한다.According to one embodiment, the masking processor 110 performs masking using a shuffling table. At this time, the pixels in the masking area are shifted to predetermined positions along the shuffling table, so that the color information of the entire masking area can be maintained. The masking processor 110 may select a sub-shuffling table having a size corresponding to the masking area in the shuffling table having the same size as the size of the entire image, or generate a shuffling table of the same size as the masking area for each masking area It is possible. At this time, the transmitting apparatus 100 transmits information about the shuffling table corresponding to each masking area through the wired / wireless communication unit so that the receiving apparatus 200 can use it for unmasking.

다른 실시예에 따르면, 마스킹 프로세서(110)는 XOR 테이블을 사용하여 마스킹을 수행한다. , 이때, 마스킹 프로세서(110)는 XOR 테이블에 따라서 마스킹 영역에 포함된 각 픽셀의 색상값(RGB 값 또는 YUV 값 등)을 변경한다. 따라서, XOR 테이블을 사용하여 마스킹을 수행하면, 마스킹 영역의 비식별화의 측면에서 셔플링 방식에 비해 더 안전하다(즉, 영상 데이터에 대한 마스킹이 더 높은 난이도로 수행될 수 있다). XOR 테이블이 사용되는 경우, 원본 영상이 복원될 때 시스템의 성능 또는 요구 사항에 따라서 복원률의 차이가 발생할 수 있다.According to another embodiment, the masking processor 110 performs masking using an XOR table. At this time, the masking processor 110 changes the color value (RGB value or YUV value) of each pixel included in the masking area according to the XOR table. Therefore, performing masking using the XOR table is safer than the shuffling scheme in terms of non-identification of the masked area (i.e., masking for image data can be performed with higher difficulty). When an XOR table is used, a difference in recovery rate may occur depending on the performance or requirements of the system when the original image is restored.

도 2를 참조하면, 셔플링 테이블에 따른 마스킹 영역 내의 각 픽셀의 이동을 알 수 있다. 예를 들어, 셔플링 테이블에 따라 0번 픽셀은 331번 픽셀로 이동되고 98번 픽셀은 29번 픽셀로 이동될 수 있다. 한 실시예에 따르면, 하나의 영상에 복수의 마스킹 영역이 존재하면, 각 마스킹 영역에 대응하는 셔플링 테이블(또는 XOR 테이블)이 개별적으로 존재할 수 있다. 이때 각 셔플링 테이블은 미리 결정된 마스킹 영역의 크기와 동일할 수 있다.Referring to FIG. 2, movement of each pixel in the masking area according to the shuffling table can be known. For example, according to the shuffling table, pixel 0 can be moved to pixel 331 and pixel 98 can be moved to pixel 29. According to one embodiment, if there are a plurality of masking areas in one image, a shuffling table (or XOR table) corresponding to each masking area may exist separately. At this time, each shuffling table may be the same size as the predetermined masking area.

이후, 인코더(120)는 마스킹 영역에 대한 마스킹이 수행된 영상 데이터를 코덱을 이용하여 인코딩한다(S140). 이때 인코더(120)는, H.264, H.265, MPEG-4, JPEG 등 이미 알려진 상용 코덱을 이용하여 인코딩을 수행할 수 있다. 이후, 송신 장치(100)는 마스킹 및 인코딩이 수행된 영상 데이터를 전송한다.Thereafter, the encoder 120 encodes the masked image data using the codec (S140). At this time, the encoder 120 can perform encoding using a known commercial codec such as H.264, H.265, MPEG-4, JPEG, or the like. Thereafter, the transmitting apparatus 100 transmits the masked and encoded image data.

도 4는 한 실시예에 따른 프라이버시 언마스킹 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a privacy unmasking method according to an embodiment of the present invention.

도 4를 참조하면, 먼저 수신 장치(200)는 마스킹이 수행된, 인코딩된 영상 데이터 및 인코딩된 영상 데이터의 마스킹 영역에 관한 위치 정보가 수신한다(S210). 그리고 디코더(210)가 먼저 인코딩된 영상 데이터를 디코딩한다(S220). 이후, 언마스킹 프로세서(220)가 위치 정보를 바탕으로 디코딩된 영상 데이터에서 마스킹 영역을 결정하고(S230), 마스킹 영역을 언마스킹한다(S240). 이때 언마스킹 프로세서(220)는 송신 장치(100)에서 마스킹을 위해 사용한 암호화 테이블과 동일한 테이블을 사용하여 언마스킹을 수행할 수 있고, 마스킹을 위해 사용된 암호화 테이블에 관한 정보는 위치 정보와 함께 수신될 수 있다. 언마스킹 프로세서(220)가 마스킹 영역에 대한 언마스킹을 수행하면 본래 영상이 복원될 수 있다.Referring to FIG. 4, the receiving apparatus 200 receives the encoded image data and the positional information on the masked region of the encoded image data, in which the masking has been performed, in operation S210. Then, the decoder 210 decodes the encoded image data first (S220). Thereafter, the unmasking processor 220 determines a masking area in the decoded image data based on the positional information (S230), and unmasks the masking area (S240). At this time, the unmasking processor 220 may perform unmasking using the same table as the encryption table used for masking in the transmitting apparatus 100, and information on the encryption table used for masking may be received . When the unmasking processor 220 performs unmasking on the masking area, the original image can be restored.

마스킹 영역이 전체 영상의 크기와 동일한 크기의 셔플링 테이블에서 선택된 서브 셔플링 테이블을 사용하여 마스킹된 경우, 수신 장치(200)는 미리 공유된 셔플링 테이블에서 마스킹 영역의 위치 정보를 바탕으로 서브 셔플링 테이블을 결정할 수 있다. 또는 마스킹 영역이 마스킹 영역 마다 생성된 셔플링 테이블을 사용하여 마스킹된 경우, 수신 장치(200)는 각 마스킹 영역에 대응하는 셔플링 테이블에 관한 정보를 수신하여, 마스킹 영역의 언마스킹에 사용할 수 있다.When the masking area is masked using a sub-shuffling table selected from a shuffling table of the same size as the size of the entire image, the receiving device 200 may use the position information of the masking area in the pre- The ring table can be determined. Or when the masking area is masked using the shuffling table generated for each masking area, the receiving device 200 can receive information about the shuffling table corresponding to each masking area and use it for unmasking the masking area .

위에서 설명한 바와 같이, 마스킹 프로세서는 영상 데이터의 인코딩 이전에 마스킹을 수행하고, 언마스킹 프로세서는 영상 데이터의 디코딩 이후에 언마스킹을 수행하므로, 코덱에 종속되지 않고 마스킹 및 언마스킹이 수행될 수 있다. 따라서, 종래 IP 카메라, 차량용 블랙박스, 스마트폰 등에 쉽게 적용될 수 있다.As described above, the masking processor performs masking before encoding the image data, and the unmasking processor performs unmasking after decoding the image data, so masking and unmasking can be performed without depending on the codec. Therefore, it can be easily applied to IP cameras, automobile black boxes, smart phones, and the like.

도 5는 다른 실시예에 따른 영상 데이터의 마스킹 시스템을 나타낸 블록도이다.5 is a block diagram illustrating a masking system of image data according to another embodiment.

도 5를 참조하면, 다른 실시예에 따른 영상 데이터의 마스킹 시스템은, 송신 장치(510) 및 수신 장치(520)를 포함한다. Referring to FIG. 5, the masking system of image data according to another embodiment includes a transmitting apparatus 510 and a receiving apparatus 520.

송신 장치(510)는, 프로세서(processor)(511), 메모리(memory)(512), 그리고 유무선 통신부(communication unit)(513)를 포함한다. 메모리(512)는 프로세서(511)와 연결되어 프로세서(511)를 구동하기 위한 다양한 정보 또는 프로세서(511)에 의해 실행되는 적어도 하나의 프로그램을 저장할 수 있다. 유무선 통신부(513)는 프로세서(511)와 연결되어 유무선 신호를 송수신 할 수 있다. 프로세서(511)는 본 기재의 실시예에서 제안한 기능, 과정, 또는 방법을 구현할 수 있다. 즉, 다른 실시예에 따른 송신 장치(510)의 동작은 프로세서(511)에 의해 구현될 수 있다.The transmitting apparatus 510 includes a processor 511, a memory 512, and a wired / wireless communication unit 513. The memory 512 may be coupled to the processor 511 to store various information for driving the processor 511 or at least one program to be executed by the processor 511. [ The wired / wireless communication unit 513 is connected to the processor 511 and can transmit and receive wired / wireless signals. The processor 511 may implement the functions, processes, or methods proposed in the embodiments of the present disclosure. That is, the operation of the transmitting apparatus 510 according to another embodiment may be implemented by the processor 511. [

수신 장치(520)는, 프로세서(521), 메모리(522), 그리고 유무선 통신부(523)를 포함한다. 메모리(522)는 프로세서(521)와 연결되어 프로세서(521)를 구동하기 위한 다양한 정보 또는 프로세서(521)에 의해 실행되는 적어도 하나의 프로그램을 저장할 수 있다. 유무선 통신부(523)는 프로세서(521)와 연결되어 무선 신호를 송수신 할 수 있다. 프로세서(521)는 본 기재의 실시예에서 제안한 기능, 단계, 또는 방법을 구현할 수 있다. 즉, 다른 실시예에 따른 수신 장치(520)의 동작은 프로세서(521)에 의해 구현될 수 있다.The receiving apparatus 520 includes a processor 521, a memory 522, and a wired / wireless communication unit 523. The memory 522 may be coupled to the processor 521 to store various information for driving the processor 521 or at least one program executed by the processor 521. [ The wired / wireless communication unit 523 may be connected to the processor 521 to transmit / receive a wireless signal. The processor 521 may implement the functions, steps, or methods suggested in the embodiments of the present disclosure. That is, the operation of the receiving apparatus 520 according to another embodiment may be implemented by the processor 521. [

본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.In an embodiment of the present disclosure, the memory may be located inside or outside the processor, and the memory may be connected to the processor through various means already known. The memory may be any type of volatile or nonvolatile storage medium, e.g., the memory may include read-only memory (ROM) or random access memory (RAM).

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (14)

영상을 송신하는 장치로서,
프로세서, 메모리, 및 유무선 통신부를 포함하고,
상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여,
암호화 테이블을 사용하여 영상 데이터의 마스킹 영역(masking area)을 마스킹하는 단계,
상기 마스킹된 영상 데이터를 인코딩하는 단계, 그리고
상기 유무선 통신부를 통해 상기 인코딩된 영상 데이터를 송신하는 단계
를 수행하는, 영상 송신 장치.An apparatus for transmitting an image,
A processor, a memory, and a wired / wireless communication unit,
Wherein the processor executes a program stored in the memory,
Masking the masking area of the image data using the encryption table,
Encoding the masked image data, and
Transmitting the encoded image data through the wired / wireless communication unit
To the video transmission apparatus. 제1항에서,
상기 프로세서는 상기 마스킹하는 단계를 수행할 때,
상기 마스킹 영역과 동일한 크기의 셔플링 테이블을 생성하는 단계, 그리고
상기 셔플링 테이블을 사용하여 상기 마스킹 영역을 마스킹하는 단계
를 수행하는, 영상 송신 장치.The method of claim 1,
The processor, when performing the masking step,
Creating a shuffling table of the same size as the masking area, and
Masking the masking area using the shuffling table
To the video transmission apparatus. 제2항에서,
상기 프로세서는 상기 송신하는 단계를 수행할 때,
상기 셔플링 테이블에 관한 정보를 송신하는 단계
를 수행하는, 영상 송신 장치.3. The method of claim 2,
The processor, when performing the transmitting step,
Transmitting information about the shuffling table
To the video transmission apparatus. 제1항에서,
상기 프로세서는 상기 마스킹하는 단계를 수행할 때,
상기 영상 데이터와 동일한 크기의 셔플링 테이블에서 상기 마스킹 영역에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고
상기 서브 셔플링 테이블을 사용하여 상기 마스킹 영역을 마스킹하는 단계
를 수행하는, 영상 송신 장치. The method of claim 1,
The processor, when performing the masking step,
Selecting a sub-shuffling table corresponding to the masking area in a shuffling table of the same size as the image data, and
Masking the masking area using the sub-shuffling table
To the video transmission apparatus. 제1항에서,
상기 프로세서는 상기 마스킹하는 단계를 수행할 때,
XOR 테이블을 사용하여 상기 마스킹 영역에 포함된 각 픽셀의 색상값을 변경하는 단계
를 수행하는, 영상 송신 장치.The method of claim 1,
The processor, when performing the masking step,
Changing a color value of each pixel included in the masking area using an XOR table
To the video transmission apparatus. 제1항에서,
상기 프로세서는 상기 프로그램을 실행하여,
상기 영상 데이터에서 상기 마스킹 영역을 결정하는 단계
를 더 수행하는, 영상 송신 장치.The method of claim 1,
The processor executes the program,
Determining the masking area in the image data
And further performs the image processing. 영상을 수신하는 장치로서,
프로세서, 메모리, 및 유무선 통신부를 포함하고,
상기 프로세서는 상기 메모리에 저장된 프로그램을 실행하여,
상기 유무선 통신부를 통해서, 인코딩된 영상 데이터와, 상기 인코딩된 영상 데이터의 마스킹 영역의 위치 정보를 수신하는 단계,
상기 인코딩된 영상 데이터를 디코딩하는 단계, 그리고
상기 위치 정보를 바탕으로 상기 디코딩된 영상 데이터에서 상기 마스킹 영역을
언마스킹(unmasking)하는 단계
를 수행하는, 영상 수신 장치.An apparatus for receiving an image,
A processor, a memory, and a wired / wireless communication unit,
Wherein the processor executes a program stored in the memory,
Receiving encoded image data and position information of a masked area of the encoded image data through the wired / wireless communication unit,
Decoding the encoded image data, and
And the masking area is determined from the decoded image data based on the position information
The unmasking step
To the image receiving apparatus. 제7항에서,
상기 프로세서는 상기 수신하는 단계를 수행할 때,
상기 마스킹 영역을 마스킹하기 위해 사용된 셔플링 테이블에 관한 정보를 수신하는 단계
를 수행하고,
상기 프로세서는 상기 언마스킹하는 단계를 수행할 때,
상기 셔플링 테이블에 관한 정보에 기반하여 상기 디코딩된 영상 데이터에서 상기 마스킹 영역을 언마스킹하는 단계
를 수행하는, 영상 수신 장치.8. The method of claim 7,
The processor, when performing the receiving step,
Receiving information about the shuffling table used to mask the masking area
Lt; / RTI >
The processor, when performing the unmasking step,
Masking the masked area in the decoded image data based on information about the shuffling table
To the image receiving apparatus. 제7항에서,
상기 프로세서는 상기 언마스킹하는 단계를 수행할 때,
상기 영상 데이터와 동일한 크기의 셔플링 테이블에서 상기 위치 정보에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고
상기 서브 셔플링 테이블을 사용하여 상기 디코딩된 영상 데이터에서 상기 마스킹 영역을 언마스킹하는 단계
를 수행하는, 영상 수신 장치.8. The method of claim 7,
The processor, when performing the unmasking step,
Selecting a sub-shuffling table corresponding to the position information in a shuffling table of the same size as the image data, and
Masking the masked area in the decoded image data using the sub-shuffling table
To the image receiving apparatus. 제7항에서,
상기 프로세서는 상기 언마스킹하는 단계를 수행할 때,
XOR 테이블을 사용하여 상기 마스킹 영역에 포함된 각 픽셀의 색상값을 복원하는 단계
를 수행하는, 영상 수신 장치.8. The method of claim 7,
The processor, when performing the unmasking step,
Restoring a color value of each pixel included in the masking area using an XOR table
To the image receiving apparatus. 영상을 마스킹(masking)하는 방법으로서,
영상 데이터에서 마스킹 영역(masking area)을 결정하는 단계,
암호화 테이블을 사용하여 상기 마스킹 영역을 마스킹하는 단계, 그리고
상기 마스킹된 영상 데이터를 인코딩하는 단계
를 포함하는 마스킹 방법.A method of masking an image,
Determining a masking area in the image data,
Masking the masking area using an encryption table, and
Encoding the masked image data
/ RTI > 제11항에서,
상기 마스킹하는 단계는,
상기 마스킹 영역과 동일한 크기의 셔플링 테이블을 생성하는 단계, 그리고
상기 셔플링 테이블을 사용하여 상기 마스킹 영역을 마스킹하는 단계
를 포함하는, 마스킹 방법.12. The method of claim 11,
Wherein the masking comprises:
Creating a shuffling table of the same size as the masking area, and
Masking the masking area using the shuffling table
/ RTI > 제11항에서,
상기 마스킹하는 단계는,
상기 영상 데이터와 동일한 크기의 셔플링 테이블에서 상기 마스킹 영역에 대응하는 서브 셔플링 테이블을 선택하는 단계, 그리고
상기 서브 셔플링 테이블을 사용하여 상기 마스킹 영역을 마스킹하는 단계
를 포함하는, 마스킹 방법.12. The method of claim 11,
Wherein the masking comprises:
Selecting a sub-shuffling table corresponding to the masking area in a shuffling table of the same size as the image data, and
Masking the masking area using the sub-shuffling table
/ RTI > 제11항에서,
상기 마스킹하는 단계는,
XOR 테이블을 사용하여 상기 마스킹 영역에 포함된 각 픽셀의 색상값을 변경하는 단계
를 포함하는, 마스킹 방법.12. The method of claim 11,
Wherein the masking comprises:
Changing a color value of each pixel included in the masking area using an XOR table
/ RTI >
KR1020170026638A 2017-02-28 2017-02-28 Method and apparatus for masking and unmasking of video data KR20180099327A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170026638A KR20180099327A (en) 2017-02-28 2017-02-28 Method and apparatus for masking and unmasking of video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170026638A KR20180099327A (en) 2017-02-28 2017-02-28 Method and apparatus for masking and unmasking of video data

Publications (1)

Publication Number Publication Date
KR20180099327A true KR20180099327A (en) 2018-09-05

Family

ID=63594433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170026638A KR20180099327A (en) 2017-02-28 2017-02-28 Method and apparatus for masking and unmasking of video data

Country Status (1)

Country Link
KR (1) KR20180099327A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399199B1 (en) * 2022-02-17 2022-05-18 주식회사 명광 Realtime security system for transmitting video data and method of the same
US20220189036A1 (en) * 2020-12-11 2022-06-16 Electronics And Telecommunications Research Institute Contour-based privacy masking apparatus, contour-based privacy unmasking apparatus, and method for sharing privacy masking region descriptor
KR102679277B1 (en) * 2023-03-06 2024-07-01 (주)와토시스 Method for de-identifying personal information area in video data
US12141988B2 (en) 2020-12-11 2024-11-12 Electronics And Telecommunications Research Institute Contour-based privacy masking apparatus, contour-based privacy unmasking apparatus, and method for sharing privacy masking region descriptor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220189036A1 (en) * 2020-12-11 2022-06-16 Electronics And Telecommunications Research Institute Contour-based privacy masking apparatus, contour-based privacy unmasking apparatus, and method for sharing privacy masking region descriptor
KR20220083433A (en) * 2020-12-11 2022-06-20 한국전자통신연구원 Apparatus for Privacy Masking based on Contour, Apparatus for Privacy Unmasking based on Contour and Method for Sharing Privacy Masking Area Descriptor
US12141988B2 (en) 2020-12-11 2024-11-12 Electronics And Telecommunications Research Institute Contour-based privacy masking apparatus, contour-based privacy unmasking apparatus, and method for sharing privacy masking region descriptor
KR102399199B1 (en) * 2022-02-17 2022-05-18 주식회사 명광 Realtime security system for transmitting video data and method of the same
KR102679277B1 (en) * 2023-03-06 2024-07-01 (주)와토시스 Method for de-identifying personal information area in video data

Similar Documents

Publication Publication Date Title
CN108206953B (en) Encoding privacy-mask images
KR102090696B1 (en) Image receiving device, image reconstructing method thereof, method for image masking and reconstructing of image system
CN106341664B (en) data processing method and device
EP3429212A1 (en) A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
CN105391972B (en) Image communication apparatus, image transmission apparatus, and image reception apparatus
CN103262097A (en) Augmented reality processing based on eye capture in handheld device
CN109640089B (en) Image coding and decoding method and device
EP3796655B1 (en) Video privacy mask in forward predicted video frame
KR20180099327A (en) Method and apparatus for masking and unmasking of video data
US11924424B2 (en) Method and device for transmitting block division information in image codec for security camera
CN110463206A (en) Image filtering method and device
CN114979625A (en) Video quality evaluation method, device, equipment, storage medium and program product
CN112543330B (en) Encoding method, system and storage medium for fuzzy privacy masking
CN108600755B (en) Image frame coding method and device
US11399142B2 (en) System and method of processing masking region
CN118678069A (en) Image processing method and device
US11082711B2 (en) Image coding device, image coding method, and image falsification identification program
US10536726B2 (en) Pixel patch collection for prediction in video coding system
US9986260B2 (en) Census transform data compression methods and systems
US11146826B2 (en) Image filtering method and apparatus
CN111432242B (en) Encrypted video call method, device, equipment and storage medium
KR102561306B1 (en) Apparatus and method for processing image
CN103152570B (en) A kind of video bit stream coding/decoding method and device
JP2014514808A (en) Method for reconstructing and encoding image blocks
JP6659495B2 (en) Imaging device and transmission method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application