KR102410539B1 - 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법 - Google Patents

압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법 Download PDF

Info

Publication number
KR102410539B1
KR102410539B1 KR1020160003837A KR20160003837A KR102410539B1 KR 102410539 B1 KR102410539 B1 KR 102410539B1 KR 1020160003837 A KR1020160003837 A KR 1020160003837A KR 20160003837 A KR20160003837 A KR 20160003837A KR 102410539 B1 KR102410539 B1 KR 102410539B1
Authority
KR
South Korea
Prior art keywords
bitstream
video
blocks
encryption
image
Prior art date
Application number
KR1020160003837A
Other languages
English (en)
Other versions
KR20170084601A (ko
Inventor
이현규
조성봉
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020160003837A priority Critical patent/KR102410539B1/ko
Publication of KR20170084601A publication Critical patent/KR20170084601A/ko
Priority to KR1020220072218A priority patent/KR102575244B1/ko
Application granted granted Critical
Publication of KR102410539B1 publication Critical patent/KR102410539B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23895—Multiplex stream processing, e.g. multiplex stream encrypting involving multiplex stream encryption
    • H04N21/23897—Multiplex stream processing, e.g. multiplex stream encrypting involving multiplex stream encryption by partially encrypting, e.g. encrypting only the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 전체를 재차 인코딩 하지 않고도 영상 분석에 의해 도출된 일부 영역에 해당하는 압축된 데이터만 암호화하는 마스킹 기술에 관한 것이다.
압축된 비트스트림을 수신하고, 상기 압축된 비트스트림에 포함되는 영상 중 적어도 일부의 영역에 암호화를 적용한 보안 비트스트림을 생성하는 프라이버시 영역 암호화 장치는, 상기 수신된 압축된 비트스트림을 디코딩하여 복원된 비디오를 생성하는 비디오 디코더와, 상기 복원된 비디오를 분석하여 프라이버시 영역을 설정하는 영상 분석부와, 상기 복원된 비디오에서 상기 프라이버시 영역에 속하는 블록들을 암호화하는 암호화부와, 상기 압축된 비트스트림 중에서 상기 암호화된 블록들에 대응되는 위치의 블록들을, 상기 암호화된 블록들로 교체함으로써 상기 보안 비트스트림을 생성하는 비트스트림 재생성부를 포함한다.

Description

압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법{Apparatus and method for encrypting privacy areas from compressed video}
본 발명은 촬영된 비디오 영상 중에서 보안 영역을 마스킹하는 기술에 관한 것으로, 보다 상세하게는 영상 전체를 새로 인코딩 하지 않고 영상 분석에 의해 도출된 일부 영역에 해당하는 압축된 데이터만 암호화하는 마스킹 기술에 관한 것이다.
일반적으로 CCTV 카메라는 빌딩, 공공장소, 야외, 도로 등 광범위한 영역을 대상으로 하므로 그 촬영된 영상으로 인한 사생활 침해 우려가 높은 편이다. 특히, 은행, 우체국 같이 비밀번호나 주소, 이름 같은 민감한 정보를 다루는 곳에 FHD, UHD 등 고해상도 카메라가 설치되어 있을 경우 개인정보가 노출될 위험이 높다. 따라서, CCTV 영상물에서 개인정보와 관련된 부분의 정보를 삭제하거나 그 부분을 암호화하여 개인의 사상활 침해를 방지하려는 기술들이 개발되어 활용되고 있다.
이와 같이 종래의 촬영 영상에서 프라이버시를 보호하는 방법은 크게 프라이버시 마스킹 방법과 프라이버시 영역만을 암호화하는 방법으로 나뉘어진다. 먼저, 프라이버시 마스킹 방법으로는, Privacy Masking 영역 정보를 이용하여 재생기에서 원본 영상을 오버레이 처리함으로써 해당 영역을 보지 못하게 하는 방법, 원본 영상에 프라이버시 영역을 덮어써서 해당 영역을 아예 제거하는 방법, 원본 영상에 프라이버시 영역을 덮어 쓰고 해당 영역에 관한 정보를 별도로 제공하는 방법 등이 있다.
상기 오버레이 처리를 통해 해당 영역을 보지 못하게 하는 방법은, 오버레이를 재생기에서 처리하므로 마스킹 효과를 구현하기 위해서는 전용 재생기를 사용해야만 한다는 제약이 있다. 그리고, 원본 영상에서 프라이버시 영역을 제거하는 방법은, 프라이버시 영역이 완전 제거되므로 범죄 수사 등 필요한 경우에도 해당 영역을 확인할 수 없는 문제가 있다. 또한, 덮어 쓰기로 제거된 영역에 관한 별도의 정보를 제공하는 방법은 카메라에서 영상 압축을 수행하기 이전에 프라이버시 영역이 확정되어야 하므로 미리 정의된 영역만 사용할 수 있다는 한계가 있다. 만약, 동적으로 변동되는 프라이버시 영역을 감지하고자 한다면, 영상 분석이 선행되어야 하므로 카메라에 과도한 연산 부하가 발생하게 될 것이다.
한편, 프라이버시 영역을 암호화하는 방법으로는, 압축된 비디오의 헤더 부분을 암호화하여 영상을 보지 못하게 하는 방법, 압축된 비디오를 전부 암호화 하여 영상 자체를 보지 못하게 하는 방법, 압축된 영상의 주파수 데이터 일부만 암호화는 방법 등이 있다. 그러나, 이러한 방법들 모두는 암호화된 데이터를 보기 위해 암호를 알아야 하고 전용의 재생기가 반드시 필요하기 때문에, 일반적인 상황에서는 영상을 조금도 볼 수 없다는 제약이 있다.
비디오 영상 중 프라이버시 영역은 일부에 해당하므로, 일반 사용자가 전용 재생기와 암호 없이도 해당 비디오 영상을 확인할 수 있게 할 필요가 있다. 통상, 프라이버시 영역 판단을 위한 영상 분석은 카메라 단에서 수행한다는 것은 현실적으로 가능하지 않으며, 서버와 같은 고성능 기기에서나 수행될 수 있는 태스크이다. 왜냐하면, 연산 부하 대비 비용의 관점에서 볼 때, 카메라 단에 고성능 칩을 장착하는 것보다 PC나 서버와 같은 범용 인프라를 활용하는 것이 훨씬 더 유리하기 때문이다.
따라서, 서버 단에서 활자 정보를 OCR(Optical Character Recognition) 처리로 검출하고 해당 영역만 동적으로 마스킹하는 후처리 요구가 발생한다. 그러나, 이러한 후처리 방식이라 하더라도, 만약 영상을 재차 인코딩해야 한다면 시스템 부하가 커지고, 화질의 열화가 발생한다는 문제를 피할 수 없게 된다.
이러한 제약 조건에서, 일반적인 사용자도 프라이버시 영역을 제외한 나머지 비디오 영상은 쉽게 볼 수 있게 하고, 권한을 갖는 자가 프라이버시 영역을 확인할 필요가 있으면 전용 재생기와 암호를 통해 비디오 영상의 전체 영역을 볼 수 있게 하는 2원화된 구조가 필요하다. 즉, 일반 사용과 특수 권한을 분리하여 일반 사용에도 불편이 없고, 특수 권한을 가진 자는 완전한 사용이 가능하도록 해야 한다는 것이다.
한국등록특허공보 제1559647호
이상의 필요성을 고려하여 본 발명이 해결하고자 하는 과제는, 영상 전체를 새로 인코딩 하지 않고 영상 분석에 의해 도출된 일부 영역에 해당하는 압축된 데이터만 암호화하여 마스킹 목적을 달성하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 소정 크기의 블록 단위로 비디오 압축을 수행하는 통상의 비디오 압축 기술의 속성을 고려하여, 이미 압축된 비디오 데이터의 특정한 블록 영역에 프라이버시 마스킹을 적용함으로써, 비디오 압축과 암호화가 분리되어 적용되던 종래 기술의 한계를 극복하고자 하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른, 압축된 비트스트림을 수신하고, 상기 압축된 비트스트림에 포함되는 영상 중 적어도 일부의 영역에 암호화를 적용한 보안 비트스트림을 생성하는 프라이버시 영역 암호화 장치는, 상기 수신된 압축된 비트스트림을 디코딩하여 복원된 비디오를 생성하는 비디오 디코더; 상기 복원된 비디오를 분석하여 프라이버시 영역을 설정하는 영상 분석부; 상기 복원된 비디오에서 상기 프라이버시 영역에 속하는 블록들을 암호화하는 암호화부; 및 상기 압축된 비트스트림 중에서 상기 암호화된 블록들에 대응되는 위치의 블록들을, 상기 암호화된 블록들로 교체함으로써 상기 보안 비트스트림을 생성하는 비트스트림 재생성부를 포함한다.
본 발명에 따르면, 범용 재생기 에서도 마스킹된 영상을 볼 수 있게 함과 동시에, 필요시 암호를 이용하여 전용 재생기를 통해 마스킹이 해제된 전체 영상을 볼 수 있는 장점이 있다.
또한, 본 발명에 따르면, 영상 압축 이전에 카메라에서 마스킹 영역을 확정할 필요가 없고, 영상 압축 이후 단계에서도 마스킹을 적용할 수 있으면서도, 마스킹 적용 후에도 전체 영상을 재인코딩 할 필요가 없다. 따라서, 이러한 재인코딩 단계의 제거를 통해 전체적으로 처리 속도의 향상 및 영상 품질의 유지가 가능하다.
또한, 본 발명에 따르면, 영상분석을 처리할 수 있는 고급 카메라를 요하지 않음과 동시에, 서버 단에서 영상분석의 신뢰성이 높여 동적 마스킹을 적용할 수가 있는 장점도 있다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시한 블록도이다.
도 4는 비디오 영상이 블록 단위로 분할된 예를 보여주는 도면이다.
도 5는 H.264에서 사용되는 4x4 블록에 대한 인트라 예측 방식을 보여주는 도면이다.
도 6은 프라이버시 영역에 포함되는 8x8 블록에 대해서 선택적으로 암호화가 적용되는 예를 보여주는 도면이다.
도 7은 압축된 비트스트림이 보안 비트스트림으로 재생성되는 개념을 보여주는 도면이다.
도 8은 프라이버시 영역이 블라인드 된 복원 영상을 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템을 도시한 블록도이다. 상기 시스템은 기본적으로, 네트워크 카메라(190)와, 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치(290)로 이루어진다.
네트워크 카메라(190)는 피사체를 촬영하여 획득된 영상 신호를 인코딩하여 압축된 비디오(압축된 비트스트림)를 생성하여, 프라이버시 영역 암호화 장치(290)에 제공한다.
구체적으로, 네트워크 카메라(190)는 피사체로부터 영상 신호를 획득하는 촬상 소자(105)와, 상기 영상 신호를 인코딩하여 압축된 비트스트림을 생성하는 비디오 인코더(100)와, 상기 압축된 비트스트림을 네트워크를 통해 프라이버시 영역 암호화 장치(290)로 전송하거나 프라이버시 영역 암호화 장치(290)로부터 촬영과 관련된 제어 명령을 수신하는 송수신부(115)를 포함하여 구성될 수 있다.
촬상 소자(105)는 피사체로부터 영상 신호를 수신하는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 영상 획득 소자로 구성될 수 있다. 또한, 상기 영상 신호는 RGB, YUV 등 3가지 색성분으로 표현되는 디지털 신호일 수 있다.
비디오 인코더(100)는 MPEG-2, MPEG-4, H.264, HEVC(H.265) 등 다양한 비디오 코딩 표준에 따라, 상기 영상 신호로부터 압축된 비트스트림을 생성한다. 도 2는 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시한 블록도이다.
도 2를 참조하면, 비디오 인코더(100)는 픽쳐 분할부(110), 감산기(111), 변환부(120), 양자화부(130), 스캐닝부(131), 엔트로피 부호화부(140), 픽쳐 복원부(150) 및 예측부(160)를 포함한다.
픽쳐 분할부(110)는 입력되는 비디오 신호를 분석하여 픽쳐를 소정 크기의 블록으로 분할한다. 이러한 분할의 단위는 H.264와 같이, 16x16, 8x8, 4x4를 포함한 가변적 블록 크기일 수 있으나, HEVC에서와 같이 보다 크고 다양한 블록 크기를 가질 수도 있다.
감산부(111)는 상기 분할된 원본 블록에서, 예측부(160)에서 제공되는 예측 블록을 차감하여 잔차 블록을 생성한다.
변환부(120)는 상기 잔차 블록을 공간적 변환하여 주파수 성분을 갖는 변환 계수들을 생성한다. 상기 공간적 변환은 통상 DCT(discrete cosine transform), DST(discrete sine transform), WT(wavelet transform) 등이 사용될 수 있다.
양자화부(130)는 상기 변환 계수들을 양자화하기 위한 양자화 스텝 사이즈를 부호화 단위별로 결정한다. 그리고, 결정된 양자화 스텝 사이즈에 따라 상기 변환 블록의 계수들을 양자화하여 양자화 계수를 생성한다.
스캐닝부(131)는 상기 양자화 계수들(2차원 배열)을 소정의 방식(지그재그, 수평, 수직 스캔 등)스캐닝하여 1차원의 양자화 계수들로 변환한다.
엔트로피 부호화부(140)는 스캐닝부(131)에서 스캐닝된 1차원의 양자화 계수들과, 예측부(160)에서 제공되는 예측 정보들을 엔트로피 부호화(무손실 부호화)하여 압축된 비트스트림을 생성한다. 상기 예측 정보란, 인트라 예측 또는 인터 예측에 따른 정보들을 의미하며, 구체적으로 인트라 예측에서의 모드 정보나 인터 예측에서의 모션 벡터 및 참조 픽쳐 정보 등을 의미한다.
한편, 통상의 폐루프(closed-loop) 부호화 방식에 따르면, 원본 자체를 참조 픽쳐로 이용하지 않고, 변환 및 양자화를 거친 후 다시 역양자화 및 역변환을 거쳐서 픽쳐를 복원하고 이 복원된 픽쳐를 다른 픽쳐 또는 같은 픽쳐의 참조로 사용하게 된다. 같은 픽쳐의 다른 부분을 참조로 이용하는 것을 인트라 예측이라고 하고, 다른 픽쳐를 참조로 이용하는 것을 인터 예측이라고 한다.
픽쳐 복원부(150)는 상기 변환 및 양자화를 거쳐 얻어진 2차원의 양자화 계수들에 대해, 다시 역양자화 및 역변환을 수행하여 복원된 픽쳐(또는 픽쳐의 일부)를 얻는다. 이렇게 복원된 픽쳐는 예측부(160)에 제공되며, 예측부(160)는 R-D(rate-distortion) 코스트 관점에서 인트라 예측과 인터 예측 중에서 유리한 예측 방식에 의해 참조 픽쳐를 생성하고 이를 감산기(111)에 제공한다.
다시 도 1을 참조하면, 비디오 인코더(100)에 의해 생성된 압축된 비트스트림은 송수신부(115)에 의해 프라이버시 영역 암호화 장치(290)로 전송된다. 송수신부(115)는 이더넷(Ethernet), USB(universal serial bus), PLC(power line communication)와 같은 유선 통신 방식을 지원하는 유선 어댑터일 수도 있고, WLAN(wireless LAN), LTE(Long Term Evolution), 블루투스(Blutooth)와 같은 무선 통신 방식을 지원하는 무선 어댑터일 수도 있다.
한편, 상기 압축된 비트스트림을 수신한 프라이버시 영역 암호화 장치(290)는, 송수신부(205), 비디오 디코더(200), 영상 분석부(215), 암호화부(235) 및 비트스트림 재생성부(245)를 포함하여 구성될 수 있다.
송수신부(205)는 상기 압축된 비트스트림을 네트워크를 통해 네트워크 카메라(190)로부터 수신하거나, 네트워크 카메라(190)에 촬영과 관련된 제어 명령을 전송한다. 송수신부(205)는 네트워크 카메라(190)의 송수신부(115)와 마찬가지로, 이더넷, USB, PLC와 같은 유선 통신 방식을 지원하는 유선 어댑터이거나, WLAN, LTE, 블루투스와 같은 무선 통신 방식을 지원하는 무선 어댑터일 수 있다.
비디오 디코더(200)는 송수신부(205)를 통하여 제공된 압축된 비트스트림을 디코딩하여 복원된 비디오를 생성한다. 이를 위해, 비디오 디코더(200)는 도 3에 도시된 바와 같이, 엔트로피 복호화부(210), 역스캐닝부(220), 역양자화부(230), 역변환부(240), 가산기(241), 후처리부(250) 및 예측부(260)를 포함할 수 있다.
엔트로피 복호부(210)는, 상기 압축된 비트스트림을 복호하여, 예측 정보와 양자화 계수 정보로 분리한다. 엔트로피 복호부(210)는 복호된 예측 정보를 예측부(260)에 공급하며, 복호된 양자화 계수 정보를 역스캐닝부(220)로 공급한다. 상기 예측 정보란, 인트라 예측 또는 인터 예측에 따른 정보들을 의미하며, 구체적으로 인트라 예측에서의 모드 정보나 인터 예측에서의 모션 벡터 및 참조 픽쳐 정보 등을 의미한다.
역스캐닝부(220)는 상기 양자화 계수 정보를 2차원 배열의 역양자화 블록으로 변환한다. 이 때, 상기 변환을 위해 복수개의 역스캐닝 패턴(예: 지그재그, 수직, 수평 스캔) 중에 하나가 선택되는데 그것은 비디오 인코더(100)에서 수행된 스캐닝 패턴에 대응되는 것이다.
역양자화부(230)는 현재 부호화 단위의 양자화 스텝 사이즈를 결정한다. 상기 스텝 사이즈는 비디오 인코더(100)의 양자화부(130)에서 결정된 양자화 스텝 사이즈와 동일하다.
역양자화부(230)는 결정된 양자화 스텝 사이즈를 이용하여 역양자화 계수, 즉 변환 계수를 복원하고, 역변환부(240)는 상기 변환 계수를 역 공간적 변환하여 잔차 블록을 복원한다.
예측부(260)는 엔트로피 복호화부(210)로부터 수신된 예측 정보에 기초하여 현재 블록의 인트라 예측 모드 또는 인터 예측 모드에 따라 예측 블록을 생성한다.
가산부(241)는 역변환부(240)에 의해 복원된 잔차 블록과 예측부(260)에 의해 생성되는 예측 블록을 가산함으로써, 영상 블록을 복원한다.
마지막으로, 픽쳐 저장부(250)는 가산부(241)에서 복원된 영상 블록들을 조합하여 완성된 픽쳐들을 생성하며, 이러한 완성된 픽쳐들은 복원된 비디오를 구성한다.
다시, 도 1을 참조하면, 이와 같이 비디오 디코더(200)에 의해 복원된 비디오 영상은 영상 분석부(215)에 제공되며, 영상 분석부(215)는 상기 비디오 영상을 분석하여 프라이버시 영역을 설정한다. 이러한 프라이버스 영역의 선별은 사용자가 영상을 직접 확인하여 이루어질 수도 있으나, 영상 분석을 통해 자동으로 수행하는 것이 바람직하다. 자동으로 영상 분석을 수행하기 위해서는 OCR과 같은 영상에 기초한 문자 인식이 수행되어야 하고, 수행된 문자 인식을 기초로 차량번호, 전화번호, 주민번호 등과 같은 프라이버시 정보인지가 판별되어야 한다. 영상 분석을 통해 특정 영역이 프라이버시 정보를 포함하고 있는지를 판별하는 알고리즘은 종래에 알려진 다양한 기술이 적용될 수 있으므로 보다 구체적인 설명은 생략하는 것으로 한다.
다만, 영상 분석부(215)는 이러한 프라이버시 영역의 결정에 있어서는 기존의 비디오 인코더(100)에서 분할된 블록의 정보를 이용한다. 영상 분석부(215)는 압축된 비트스트림(195)의 헤더로부터 이러한 블록 분할에 관한 정보를 얻을 수 있다.
도 4는 비디오 영상이 블록 단위로 분할된 예를 보여준다. H.264, HEVC 등과 같은 가변 블록 크기를 이용하는 비디오 코딩 표준에서는, 이와 같이 영상의 복잡도에 따라 블록의 크기가 가변되는 기술을 채택하고 있다. 즉, 도 4에서 배경과 같이 영상이 단조로운 영역은 다소 큰 블록 크기가 할당되고, 사물의 가장자리와 같이 영상이 복잡한 영역은 다소 작은 블록 크기가 할당된다. 통상 프라이버스 영역은 단조로운 영역보다는 복잡한 영역일 가능성이 높으므로 보다 세밀한 단위의 영역 설정이 가능할 수 있다.
아무튼, 본 발명에서는 압축된 비트스트림을 복원한 후 다시 인코딩하는 과정을 거치지 않기 때문에, 영상 분석부(215)가 프라이버시 영역을 결정할 때, 이와 같이 비디오 인코딩에 사용된 블록 정보를 그대로 이용하는 것이 필요하다. 따라서, 본 발명에서 프라이버시 영역은 적어도 하나 이상의 부호화 블록들을 포함한다고 볼 수 있다.
이상과 같이 영상 분석부(215)가 복원된 비디오 영상에서 프라이버시 영역을 결정하면, 상기 프라이버시 영역에 해당하는 블록들의 영상(픽셀값)이 암호화부(235)에 제공된다. 암호화부(235)는 상기 프라이버스 영역에 해당하는 블록들의 영상에 대해서만 암호화를 적용한다. 이러한 암호화 알고리즘으로는 이미 알려져 있는 다양한 방식이 이용될 수 있다. 예를 들어, DES, 3DES, RC4, AES, SEED와 같은 대칭키 암호화 알고리즘이 사용될 수도 있고, RSA, ECC, DSA, KCDSA, PKI와 같은 비대칭키 암호화 알고리즘이 사용될 수도 있다.
다만, 비디오 코딩의 특성으로 인해 특정 블록의 암호화에 있어서 추가로 고려할 점이 있다. 만약, 특정 블록 전체를 그대로 암호화하는 경우, 그 블록을 참조로 해야 하는 다른 인트라 예측 블록이 있다면 비디오 복원시 에러가 누적되는 문제가 발생한다. 이렇게 되면 프라이버시 영역으로 설정된 영역뿐만 아니라 그와 상관없는 영역까지 제대로 복원이 되지 않게 된다. 즉, 블록간 의존성 파괴에 따른 에러 전파의 문제를 해결할 필요가 있다.
도 5는 H.264에서 사용되는 4x4 블록에 대한 인트라 예측 방식을 보여주는 도면이다. 여기서, 미리 복원된 인접 블록(좌측 블록, 상측 블록, 좌상측 블록)에 속하는 참조 샘플들(A 내지 M)을 이용하여 현재 블록에 대한 예측 블록(a 내지 p를 포함하는 영역)이 생성된다. H.264는 총 9개의 인트라 예측 모드를 제공하는데, 그 9개의 방향성에 따라 참조 샘플들이 다른 방식으로 참조되어 예측 블록이 생성된다. 만약, 현재 블록이 인트라 예측 방식으로 부호화되었다고 할 때, 이러한 주변의 참조 샘플들이 없으면, 현재 블록은 설령 프라이버스 영역에 속하지 않는다고 하더라도 제대로 복원될 수가 없다.
따라서, 본 발명에서는 특정 블록에 대해 암호화를 적용한다고 하더라도 블록 전체를 암호화하기 보다는, 상기 블록에 속하는 우측 및 하측의 경계에 인접한 픽셀 값들에 대해서는 암호화를 적용하지 않는 것이 바람직하다.
도 6은 프라이버시 영역에 포함되는 8x8 블록에 대해서 선택적으로 암호화가 적용되는 예를 보여주는 도면이다. 도 6과 같이, 하나의 블록에 총 64개의 픽셀값이 포함되어 있다고 할 때, 암호화부(235)는 블록의 우측과 하측의 경계에 인접한 15개의 픽셀들(65)은 제외하고, 나머지 49개의 픽셀들(60)에 대해서만 암호화를 적용할 수 있다. 이 때, 경계픽셀의 원본 값을 유지하기 위해 상기 8x8 블록은 PCM 모드로 대체하여, 나머지 픽셀값들(60)은 암호화되고, 우측과 하측 경계의 인접 픽셀값들(65)은 원본 값으로 저장된다. 상기 PCM 모드란 비디오 인코더(100)의 변환부(120)에서 주파수 데이터로 변환하는 공간적 변환 과정을 거치지 않은 데이터, 즉 공간 영역에서의 데이터를 의미한다. 여기서, 인접 픽셀값들(65)은 원본 값으로 저장됨에 비해, 나머지 픽셀값들(60)은 암호화만 적용될 수도 있지만, 이러한 암호화 전에 압축(비디오 인코딩)이 적용될 수도 있을 것이다.
다시 도 1을 참조하면, 비트스트림 재생성부(245)는 압축된 비트스트림 중에서, 영상 분석부(215)에 의해 프라이버시 영역으로 설정된 블록들로서 암호화부(235)에 의해 암호화된 블록들을, 상기 압축된 비트스트림의 해당 위치에 대체하여 삽입함으로서 보안 비트스트림(255)을 생성한다. 도 7을 참조하면, 원래의 압축된 비트스트림(190)이 다수의 코딩 블록(310 내지 380)으로 구성되어 있다. 여기서, 코딩 블록(320, 350, 370)이 프라이버시 영역에 속한다고 하면, 이 코딩 블록들(320, 350, 370)은 암호화부(235)에 의해 암호화되어 암호화된 코딩 블록들(325, 355, 375)로 변환될 것이다. 이 때, 비트스트림 재생성부(245)는 상기 암호화된 코딩 블록들(325, 355, 375)을 기존의 코딩 블록들(320, 350, 370)을 대체하여 삽입함으로써 보안 비트스트림(255)을 생성한다.
이와 같이 생성된 보안 비트스트림(255)은 암호화 해제 권한이 있는지 여부에 따라 서로 다른 영상으로 복원될 수 있다. 만약, 이러한 권한이 없는 일반 사용자가 상기 보안 비트스트림(255)으로부터 영상을 복원하면, 도 7에서 암호화된 코딩 블록들(325, 355, 375)은 복원이 불가능한 깨진 블록으로 표시될 것이다. 따라서, 일반 사용자는 도 8과 같이 프라이버시 영역이 블라인드 된 영상을 볼 수 있을 것이다. 하지만, 상기 프라이버시 영역 이외에는 모든 영역이 제대로 보여지므로 일반 사용자도 복원된 비디오 영상의 내용을 파악하는 데에는 별 지장이 없다.
한편, 암호화 해제 권한이 있는 관리자라면 상기 보안 비트스트림(255)에서 암호화된 코딩 블록(325, 355, 375)도 정상적으로 복원이 가능하므로 도 8에 표시된 블라인드가 제거된 완전한 영상을 볼 수 있게 된다.
지금까지 도 1 내지 도 3의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
100: 비디오 인코더 105: 촬상 소자
110: 픽쳐 분할부 111: 감산기
120: 변환부 130: 양자화부
131: 스캐닝부 140: 엔트로피 부호화부
150: 픽쳐 복원부 160, 260: 예측부
115, 205: 송수신부 190: 네트워크 카메라
195: 압축된 비트스트림 200: 비디오 디코더
210: 엔트로피 복호화부 220: 역스캐닝부
230: 역양자화부 240: 역변환부
241: 가산기 250: 픽쳐 저장부
215: 영상 분석부 235: 암호화부
245: 비트스트림 재생성부 255: 보안 비트스트림

Claims (6)

  1. 압축된 비트스트림을 수신하고, 상기 압축된 비트스트림에 포함되는 영상 중 적어도 일부의 영역에 암호화를 적용한 보안 비트스트림을 생성하는 프라이버시 영역 암호화 장치로서,
    상기 수신된 압축된 비트스트림을 디코딩하여 복원된 비디오를 생성하는 비디오 디코더;
    상기 복원된 비디오를 분석하여 프라이버시 영역을 설정하는 영상 분석부;
    상기 복원된 비디오에서 상기 프라이버시 영역에 속하는 블록들을 암호화하는 암호화부; 및
    상기 압축된 비트스트림 중에서 상기 암호화된 블록들에 대응되는 위치의 블록들을, 상기 암호화된 블록들로 교체함으로써 상기 보안 비트스트림을 생성하는 비트스트림 재생성부를 포함하되,
    상기 암호화부는 상기 프라이버시 영역에 속하는 블록들을 암호화함에 있어서, 상기 블록들의 우측 및 하측 경계에 인접한 픽셀값들을 제외한 나머지 픽셀값들을 암호화하는, 프라이버시 영역 암호화 장치.
  2. 제1항에 있어서,
    상기 프라이버시 영역에 속하는 블록들의 크기는, 상기 압축된 비트스트림에 포함되는 압축된 블록들의 크기와 동일한, 프라이버시 영역 암호화 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 암호화부는 상기 나머지 픽셀값들을 암호화하기 전에, 상기 나머지 픽셀값들에 대해 비디오 인코딩을 수행하는, 프라이버시 영역 암호화 장치.
  5. 제1항에 있어서,
    상기 우측 및 하측 경계에 인접한 값들은, PCM 모드에 따라 공간적 변환이 적용되지 않은 값들인, 프라이버시 영역 암호화 장치.
  6. 제1항에 있어서, 상기 보안 비트스트림은,
    암호화 해제 권한이 없는 사용자는 상기 보안 비트스트림으로부터 프라이버시 마스킹이 적용된 비디오 영상을 볼 수 있고, 암호화 해제 권한이 있는 사용자는 상기 보안 비트스트림으로부터 프라이버시 마스킹이 적용되지 않은 안전한 비디오 영상을 볼 수 있도록, 암호화된 블록들과 암호화되지 않은 블록들을 함께 포함하는, 프라이버시 영역 암호화 장치.
KR1020160003837A 2016-01-12 2016-01-12 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법 KR102410539B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160003837A KR102410539B1 (ko) 2016-01-12 2016-01-12 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법
KR1020220072218A KR102575244B1 (ko) 2016-01-12 2022-06-14 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160003837A KR102410539B1 (ko) 2016-01-12 2016-01-12 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220072218A Division KR102575244B1 (ko) 2016-01-12 2022-06-14 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170084601A KR20170084601A (ko) 2017-07-20
KR102410539B1 true KR102410539B1 (ko) 2022-06-16

Family

ID=59443490

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160003837A KR102410539B1 (ko) 2016-01-12 2016-01-12 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법
KR1020220072218A KR102575244B1 (ko) 2016-01-12 2022-06-14 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220072218A KR102575244B1 (ko) 2016-01-12 2022-06-14 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법

Country Status (1)

Country Link
KR (2) KR102410539B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102544626B1 (ko) 2019-01-23 2023-06-19 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법
KR102100582B1 (ko) * 2019-02-01 2020-04-13 순천향대학교 산학협력단 영상보안시스템에서 형태보존암호 기술을 이용한 프라이버시 마스킹 방법 및 이를 수행하기 위한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075842A1 (en) * 2008-06-03 2011-03-31 Thales Method and System Making It Possible to Visually Encrypt the Mobile Objects Within A Compressed Video Stream

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101151107B1 (ko) * 2008-08-12 2012-06-01 에스케이플래닛 주식회사 영상 암호화 시스템 및 방법
KR101559647B1 (ko) * 2014-01-06 2015-10-13 재단법인 다차원 스마트 아이티 융합시스템 연구단 이벤트 영상을 부분적으로 암호화하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110075842A1 (en) * 2008-06-03 2011-03-31 Thales Method and System Making It Possible to Visually Encrypt the Mobile Objects Within A Compressed Video Stream

Also Published As

Publication number Publication date
KR102575244B1 (ko) 2023-09-06
KR20170084601A (ko) 2017-07-20
KR20220085760A (ko) 2022-06-22

Similar Documents

Publication Publication Date Title
JP7104827B2 (ja) 映像サンプルのブロックをデブロックする方法
ES2866894T3 (es) Predicción de coeficientes de filtro a partir de filtros fijos para codificación de video
Shahid et al. Visual protection of HEVC video by selective encryption of CABAC binstrings
KR102575244B1 (ko) 압축된 비디오로부터 프라이버시 영역을 암호화하는 장치 및 방법
EP3777189A1 (en) Block-level super-resolution based video coding
US10277901B2 (en) Encoding a video stream having a privacy mask
MX2013013050A (es) Tipo de offset y metodo de señalizacion de coeficientes para offset adaptable a muestras.
JP5547301B2 (ja) 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
MX2013014932A (es) Seleccion de candidatos unificados de modo de fusion y miodo de prediccion de vector de movimiento adaptable.
MX2014012291A (es) Procesamiento paralelo de frente de onda para codificacion de video.
US10887608B2 (en) Methods and apparatuses for encoding and decoding digital light field images
Sallam et al. Efficient HEVC selective stream encryption using chaotic logistic map
BR112014009416B1 (pt) Desblocagem de vídeo em modo de codificação intra pcm (ipcm) e sem perda
MX2013010766A (es) Modo de fusion bi-predictivo basado en vecinos uni-predictivos en dodificacion de video.
Horng et al. A low cost fragile watermarking scheme in H. 264/AVC compressed domain
EP3114837B1 (en) Flicker detection and mitigation in video coding
Fallahpour et al. A high capacity data hiding algorithm for H. 264/AVC video
Ruchaud et al. Privacy protecting, intelligibility preserving video surveillance
Dubois et al. Smart selective encryption of H. 264/AVC videos using confidentiality metrics
Chen et al. A data hiding scheme with high quality for H. 264/AVC video streams
Ruchaud et al. JPEG‐based scalable privacy protection and image data utility preservation
Ait Sadi et al. Content fragile watermarking for H. 264/AVC video authentication
EP3602478A1 (en) Video watermarking
Unterweger et al. Slice groups for post-compression region of interest encryption in H. 264/AVC and its scalable extension
Gerhardt et al. Selective face encryption in H. 264 encoded videos

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant