KR102219661B1 - 대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치 - Google Patents

대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102219661B1
KR102219661B1 KR1020190134540A KR20190134540A KR102219661B1 KR 102219661 B1 KR102219661 B1 KR 102219661B1 KR 1020190134540 A KR1020190134540 A KR 1020190134540A KR 20190134540 A KR20190134540 A KR 20190134540A KR 102219661 B1 KR102219661 B1 KR 102219661B1
Authority
KR
South Korea
Prior art keywords
sequence
image frames
encoded
privacy
coded
Prior art date
Application number
KR1020190134540A
Other languages
English (en)
Other versions
KR20200077394A (ko
Inventor
위안 송
에드팜 빅토르
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20200077394A publication Critical patent/KR20200077394A/ko
Application granted granted Critical
Publication of KR102219661B1 publication Critical patent/KR102219661B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

프라이버시가 보호되어야 하는 대상을 나타내는 이미지 프레임의 시퀀스를 인코딩하기 위한 방법이 제공된다. 이미지 프레임의 상기 시퀀스의 제1 및 제2 버전이 생성된다. 상기 시퀀스의 제2 버전이 아닌 제1 버전의 이미지 프레임은 본 발명에서 설명되는 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공된다. 상기 시퀀스의 제1 버전은 인트라-코딩된 이미지 프레임 및 인터-코딩된 이미지 프레임의 제1 인코딩된 시퀀스로서 인코딩된다. 상기 시퀀스의 제2 버전은 인터-코딩된 이미지 프레임의 제2 인코딩된 시퀀스로서 인코딩된다. 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용함으로써 인코딩된다. 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임은 암호화되고, 그 후 상기 제1 및 제2 인코딩된 시퀀스가 하나의 출력 시퀀스로 병합된다.

Description

대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치{METHODS AND DEVICES FOR ENCODING AND DECODING A SEQUENCE OF IMAGE FRAMES IN WHICH THE PRIVACY OF AN OBJECT IS PROTECTED}
본 발명은 비디오 인코딩 및 디코딩 분야에 관한 것이다. 특히, 본 발명은 프라이버시가 보호되어야 하는 대상을 나타내는 이미지 프레임 시퀀스의 인코딩 및 디코딩에 관한 것이다.
비디오 카메라는 일반적으로 상점, 주차장, 기차역 등과 같은 공공 장소의 감시에 사용된다. 캡처된 비디오는 일반인의 안전을 보호하는데 바람직하게 사용될 수 있다. 그러나, 캡처된 비디오가 갖는 단점은 거기에 묘사된 사람들의 무결성(integrity)을 침해할 수 있다는 것이다. 최근에, 규정을 통해 수집 및 저장될 수 있는 개인 데이터를 제한함으로써 사람들의 무결성을 보호하기 위한 노력이 이루어지고 있다. 이러한 개인 데이터에는 개인을 식별할 수 있는 비디오가 포함된다.
비디오 카메라 제조업체는 사람 또는 다른 대상의 프라이버시를 캡처된 비디오에서 보호할 수 있는 다양한 해결책을 개발하고 있다. 일반적인 접근법은 비디오를 분석하여 보호해야 할 대상을 찾는 것이다. 대상은 얼굴, 사람, 스크린, 자동차 등일 수 있다. 이들 대상은 비디오로부터 대상을 식별하는 것을 불가능하게 하는 소위 프라이버시 마스크(privacy mask)로 덮힌다. 그러나, 사건이 발생하는 경우, 경찰이나 전담 보안 직원과 같은 권한이 있는 사용자는 프라이버시 마스크없이 비디오를 시청하여 가해자, 피해자 및 증인을 식별할 수 있는 것이 바람직하다. 따라서, 일반 사용자는 프라이버시 마스크된 비디오만 볼 수 있어야 하고 승인된 사용자는 마스크되지 않은 비디오를 볼 수 있어야 한다. 일반 사용자는 보안 직원일 수 있지만, 승인된 사용자는 보고된 사건을 조사하는 경찰관, 전담 수석 보안 직원 또는 특정 사건을 처리하기 위해 보안 교육을 받은 보안 직원일 수 있다.
이러한 요구를 충족시키기 위해, 비디오 카메라는 캡처된 비디오로부터 2개의 분리된 스트림을 생성할 수 있다. 제1 스트림에서 대상은 프라이버시 마스크를 제공받을 수 있는 반면, 제2 스트림에서는 프라이버시 마스크가 제공되지 않는다. 권한이 없는 사용자가 제2 스트림을 보지 못하도록, 암호화 키(encryption key)를 소유한 사용자만 볼 수 있도록 암호화될 수 있다.
두개의 분리된 스트림을 사용하는 접근법에는 몇가지 단점이 있다. 예를 들어, 하나 대신 두개의 스트림을 갖는 것은 비트 전송률에 부정적인 영향을 미치며 수신 측에 더 많은 저장 공간이 필요하다. 또한, 두개의 분리된 스트림은 쌍으로 함께 속해 있으며, 수신 측에서 처리하는 동안 두개의 분리된 스트림 사이의 연관성을 유지하기 위한 노력이 이루어져야 한다. 예를 들어, 이러한 노력은 두개의 스트림을 저장하는 동안 이루어져야 한다. 또한, 수신 측에서의 비디오 관리 시스템은 일반적으로 하나가 아닌 두개의 분리된 스트림을 수신하도록 구체적으로 설계되어야 한다. 일반적으로, 비디오 관리 시스템은 다양한 설정이 가능한 카메라로부터 비디오를 처리하는데 사용된다. 분리된 스트림 수신을 지원하는 일부 비디오 관리 시스템이 있을 수 있지만, 사용 가능한 비디오 관리 시스템의 대부분은 하나의 스트림만 처리하도록 설계된다. 따라서 개선의 여지가 있다.
상기를 고려하여, 본 발명의 목적은 상기 단점을 완화하고 인가된 사용자가 원본 비디오를 시청할 수 있게 하는 비디오를 제공하는 반면, 일반 사용자는 프라이버시 마스크된 비디오를 시청하는 것이 가능하다.
제1 양태에 따르면, 상기 목적은 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임 시퀀스를 인코딩하는 방법에 의해 달성되며,
인코딩될 이미지 프레임 시퀀스를 수신하는 단계 - 상기 이미지 프레임 시퀀스는 프라이버시가 보호되어야 하는 대상을 묘사함 -;
상기 이미지 프레임 시퀀스의 제1 및 제2 버전(version)을 생성하는 단계 - 상기 시퀀스의 제2 버전이 아닌 제1 버전의 이미지 프레임에는 상기 이미지 프레임 시퀀스에서 묘사된 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공됨 -;
상기 이미지 프레임 시퀀스의 제1 버전을 인트라-코딩된 이미지 프레임 및 인터-코딩된 이미지 프레임의 제1 인코딩된 시퀀스로서 인코딩하는 단계;
상기 이미지 프레임 시퀀스의 제2 버전을 인터-코딩된 이미지 프레임의 제2 인코딩된 시퀀스로서 인코딩하는 단계 - 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용함으로써 인코딩됨 -;
상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 암호화하는 단계; 및
상기 제1 및 제2 인코딩된 시퀀스의 이미지 프레임을 인터리빙(interleaving)함으로써 상기 제1 및 제2 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합(merge)하는 단계를 포함한다.
상기 묘사된 대상은 하나 이상의 정지되거나 움직이는 물체일 수 있다. 상기 대상의 프라이버시를 보호해야 하는 이유는 EU 일반 데이터 보호 규정(EU General Data Protection Regulation)과 같은 규정 때문일 수 있다.
본 발명에서 사용되는 바와 같이, 프라이버시 마스크는 특정 영역을 시야에서 제한하는 전자적으로 적용된 마스크이다. 그런 방식으로, 제한된 영역은 비공개로 유지된다.
본 발명에서 사용된 바와 같이, 인트라-코딩된 프레임은 그 자체를 참조함으로써 인코딩되는 이미지 프레임을 나타낸다. 따라서 인트라-코딩된 프레임은 독립적이다. 인트라-코딩된 프레임은 I-프레임이라고도 한다.
본 발명에서 사용되는 바와 같이, 인터-코딩된 프레임은 하나 이상의 다른 이미지 프레임을 참조함으로써 인코딩되는 이미지 프레임을 나타낸다. 하나 이상의 다른 이미지 프레임은 일반적으로 이전에 인트라-코딩된 프레임 또는 이전에 인터-코딩된 프레임과 같은 이전에 인코딩된 프레임의 디코딩된 버전이다. 인터-코딩된 프레임의 예는 P-프레임 및 B-프레임이다.
인코딩 전에, 수신된 이미지 프레임 시퀀스에 대해 상이한 유형의 처리가 수행될 수 있다. 처리 결과, 이미지 프레임 시퀀스의 제1 및 제2 버전이 생성된다. 본 발명에서 사용되는 바와 같이, 수신된 이미지 프레임 시퀀스의 버전은 수신된 이미지 프레임 시퀀스로부터 유래되거나 이를 기초로 생성된 이미지 프레임 시퀀스를 나타낸다. 이미지 프레임 시퀀스의 버전은 이미지 프레임 시퀀스와 동일할 수 있다. 그러나 이미지 프레임 시퀀스와 다를 수도 있다. 예를 들어, 수신된 이미지 프레임 시퀀스의 제1 버전은 수신된 이미지 프레임 시퀀스와 상이하고, 이는 대상이 제1 버전에서 프라이버시 마스크에 의해 보호되기 때문이다. 수신된 이미지 프레임 시퀀스의 제2 버전은 일부 실시 형태들에서 수신된 이미지 프레임 시퀀스와 동일하다. 다른 실시 형태들에서, 제2 버전은 수신된 이미지 프레임 시퀀스의 변경된 버전일 수 있다.
이러한 배치로, 이미지 시퀀스의 두개의 버전이 처리된다. 시퀀스의 제1 버전에서, 보호될 묘사된 대상에는 프라이버시 마스크가 제공된다. 그런 다음 제1 버전과 제2 버전이 인코딩된다. 그러나, 두개의 버전은 서로 독립적으로 인코딩되지 않는다. 보다 상세하게, 제2 버전(프라이버시 마스크가 없는 버전)에 대해 분리된 인트라-코딩된 프레임이 인코딩되지 않는다. 대신, 제2 버전은 인코딩된 제1 버전의 인트라-프레임을 공유한다. 특히, 제2 버전은 인터-코딩된 프레임만을 사용하여 인코딩된다. 이들 인터-코딩된 프레임은 인코딩된 제1 버전의 인트라-코딩된 프레임을 시작점으로하여 인코딩된다. 이러한 방식으로, 인트라-코딩된 프레임은 제2 버전에 대해 인코딩되지 않는다. 인트라-코딩된 프레임은 인터-코딩된 프레임보다 비트 전송률(bitrate)의 측면에서 상당히 비싸기 때문에, 이미지 시퀀스의 인코딩된 제1 및 제2 버전의 총 비트 전송률은 서로 독립적으로 두개의 버전을 인코딩하는 것에 비해 상당히 낮다. 테스트에 따르면 총 비트 전송률이 30% 감소할 수 있다. 비트 전송률을 더 줄이기 위해, 이미지 프레임 시퀀스의 제1 버전(프라이버시 마스크가 있는 버전)을 인코딩할 때 이미지 프레임 시퀀스의 제2 버전(프라이버시 마스크가 없는 버전)을 인코딩할 때보다 높은 압축률(compression)이 사용될 수 있다. 설계에 의해, 프라이버시 마스크가 있는 버전은 감시 관점에서 관심이 있는 세부 정보가 적으므로 더 크게 압축될 수 있다.
인코딩 후, 이미지 시퀀스의 인코딩된 제2 버전이 암호화된다. 이런 방식에서, 권한이 부여된 사용자만이 인코딩된 제2 버전에서 보호된 대상을 볼 수 있다.
또한, 하나의 스트림(단일 출력 시퀀스)은 두개의 분리된 스트림 대신 출력으로 제공된다. 단일 스트림에서, 프라이버시 마스크를 포함하는 인코딩된 프레임들 및 프라이버시 마스크를 포함하지 않는 암호화된 인코딩된 프레임들은 인터리빙에 의해 결합된다. 따라서, 수신 측은 두개의 분리된 스트림을 수신하도록 특별하게 적용될 필요가 없고 두개의 분리된 스트림을 쌍으로 처리할 필요도 없다.
제2 인코딩된 시퀀스의 이미지 프레임은 출력 시퀀스에서 감춰질 수 있다. 이는 표준화된 이미지 디코더에 의해 디코딩되는 것을 방지하는 표시(indication)로 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 제공함으로써 달성될 수 있다. 이러한 방식으로, 표준화된 디코더는 제2 인코딩된 시퀀스의 이미지 프레임을 무시할 수 있고, 따라서 제1 인코딩된 시퀀스의 인트라-코딩되고 인터-코딩된 프레임만을 디코딩할 것이다. 따라서, 표준화된 디코더는 프라이버시 마스크에 의해 대상이 보호되는 이미지 시퀀스의 버전을 디코딩할 것이다. 그러나, 감춰진 이미지 프레임을 디코딩하기 위해, 맞춤화된 디코더가 요구된다.
표준화된 디코더는 표준화된 비디오 코딩 포맷인 비디오를 디코딩하도록 구성된 디코더를 의미한다. H.264/AVC/MPEG-4 Part 10 및 H.265/HEVC/MPEG-H Part 2는 이러한 표준의 예이다.
상기 표시는 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임의 헤더(header)에 제공될 수 있다. 이러한 방식으로, 디코더는 프레임을 디코딩할 필요없이 정보에 쉽게 액세스할 수 있다.
상기 표시는 예를 들어, 헤더에서 플래그(flag)를 설정함으로써 상이한 방식으로 구현될 수 있다. 숨겨진 이미지 프레임을 표시하는 편리한 방법은 현재 표준에 따라 특정되지 않은 헤더에서 비트 또는 비트 조합을 사용하는 것이다. 예를 들어, H.264 및 H.265 표준에서, 네트워크 추상 계층(NAL) 유닛에는 NAL 유닛의 유형을 포함하는 헤더 정보가 제공된다. 상기 표시는 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임과 연관된 NAL 유닛의 NAL 유닛 타입의 값을 설정함으로써 제공될 수 있다. 상기 값은 NAL 유닛이 표준화된 디코더에 의해 디코딩되지 않아야 함을 나타내도록 설정될 수 있다. 따라서, 이러한 방식으로 표시를 제공함으로써, 표준화된 디코더는 NAL 유닛과 연관된 인터-코딩된 이미지 프레임을 자동으로 무시할 것이다. 그러나 맞춤화된 디코더는 표시에 기초하여 이들 인터-코딩된 프레임을 식별하도록 특별히 설계될 수 있다.
전술한 바와 같이, 표준화된 디코더는 제2 인코딩된 시퀀스의 인터-코딩된 프레임을 무시할 수 있는 반면, 맞춤화된 디코더는 대신 제2 인코딩된 시퀀스의 인터-코딩된 프레임을 식별 및 디코딩할 수 있다. 제2 인코딩된 시퀀스는 인트라-코딩된 프레임을 제1 인코딩된 시퀀스와 공유하기 때문에, 맞춤화된 디코더는 제2 인코딩된 시퀀스의 인터-코딩된 프레임을 디코딩하기 위해 제1 인코딩된 시퀀스의 인트라-코딩된 프레임을 디코딩할 필요가 있다. 그러나, 제1 인코딩된 시퀀스의 디코딩된 인트라-코딩된 프레임은 프라이버시 마스크를 포함하기 때문에 맞춤화된 디코더에 표시되지 않아야 한다(맞춤화된 디코더의 역할은 프라이버시 마스크가 없는 시퀀스를 디코딩하는 것이다).
제1 인코딩된 시퀀스의 인트라-코딩된 프레임이 맞춤화된 디코더에서 디스플레이되는 것을 피하는 몇가지 방법이 있다.
제1 접근법에서, 맞춤화된 디코더는 디스플레이하도록 의도된 최종 디코딩된 시퀀스에 인트라-코딩된 프레임을 포함하지 않도록 구체적으로 설계된다.
제2 접근법에서, 제1 인코딩된 시퀀스의 인트라-코딩된 프레임은 인코딩 동안 디스플레이되지 않아야 한다는 표시를 제공받는다. 이러한 방식으로, 맞춤화된 디코더는 인트라-코딩된 프레임을 보여주지 않을 것이다. 그러나, 이 접근법의 단점은 표준화된 디코더가 인트라-코딩된 프레임을 나타내지 않는다는 것이다. 이러한 단점을 처리하기 위해, 상기 방법은 각각의 인트라-코딩된 이미지 프레임 뒤에 빈 인터-코딩된 이미지 프레임을 제1 인코딩된 시퀀스에 추가하는 단계를 더 포함할 수 있다. 디코딩되고 디스플레이될 때, 빈 인터-코딩된 이미지 프레임은 인트라-코딩된 이미지 프레임의 사본으로 표시될 것이다.
이미지 프레임의 시퀀스는 프라이버시가 보호되어야 하는 상이한 유형의 대상을 묘사할 수 있다. 예를 들어, 한 유형의 대상은 사람일 수 있고, 다른 유형은 번호판일 수 있으며, 또 다른 유형은 특정 건물일 수 있다. 다른 예에서, 한 유형의 대상은 제1 카테고리의 사람(가게에서의 고객과 같은)이고 다른 유형의 대상은 제2 카테고리의 사람(가게에서의 직원과 같은)이다. 이러한 상황에서, 시퀀스의 제1 버전의 이미지 프레임에는 프라이버시가 보호되어야 하는 모든 유형의 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공될 수 있고, 시퀀스의 제2 버전의 이미지 프레임은 프라이버시를 보호되어야 하는 제1 유형의 대상을 제외한 모든 프라이버시를 보호하기 위해 프라이버시 마스크가 제공된다. 이를 통해 제1 유형의 대상은 볼 수 있지만 다른 유형의 대상은 볼 수 없도록 사용자에게 권한 부여(authorization)가 제공된다.
상기 접근법은 상이한 사용자에게 상이한 대상 유형에 대한 권한을 부여할 수 있도록 확장될 수 있다. 보다 구체적으로, 상기 방법은:
상기 이미지 프레임 시퀀스의 제3 버전을 생성하는 단계 - 상기 시퀀스의 제3 버전의 이미지 프레임에는 프라이버시가 보호되어야 하는 제2 유형의 대상을 제외한 모든 프라이버시를 보호하기 위해 프라이버시 마스크가 제공됨 -,
상기 이미지 프레임 시퀀스의 제3 버전을 인터-코딩된 이미지 프레임의 제3 인코딩된 시퀀스로서 인코딩하는 단계 - 상기 제3 인코딩된 시퀀스의 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용함으로써 인코딩됨 -,
상기 제3 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 암호화하는 단계, 및
상기 제1, 제2 및 제3 인코딩된 시퀀스의 이미지 프레임을 인터리빙함으로써 상기 제1 및 제2 인코딩된 시퀀스를 갖는 상기 제3 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합하는 단계를 포함한다.
이러한 접근법을 사용하면, 이미지 프레임 시퀀스의 제3 버전이 생성된다. 제3 버전에서, 프라이버시 마스크가 제공되어 제2 유형의 대상을 제외한 모든 대상의 프라이버시를 보호한다. 이어서, 제3 버전의 시퀀스는 제1 인코딩된 시퀀스의 인트라-코딩된 프레임을 사용함으로써, 시퀀스의 제2 버전과 유사한 방식으로 인코딩된다. 제2 인코딩된 시퀀스의 이미지 프레임들로부터, 권한 부여된 사용자는 제2 유형의 대상을 해독, 디코딩 및 디스플레이할 수 있다. 제3 인코딩된 시퀀스의 이미지 프레임들로부터, 권한 부여된 사용자는 제3 유형의 대상을 해독, 디코딩 및 디스플레이할 수 있다.
제2 인코딩된 시퀀스는 일반적으로 인터-코딩된 이미지 프레임만을 포함한다. 이들 인터-코딩된 이미지 프레임은 연속적인 인터-코딩된 이미지 프레임의 서브-시퀀스로 배치될 수 있다. 서브-시퀀스는 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 인코딩을 위한 시작점으로 사용하여 인코딩될 수 있다. 예를 들어, 서브-시퀀스의 제1 인터-코딩된 프레임은 인트라-코딩된 이미지 프레임의 디코딩된 버전을 참조하여 인코딩될 수 있다. 서브-시퀀스의 다음 인터-코딩된 프레임은 제1 인터-코딩된 이미지 프레임의 디코딩된 버전 등을 참조하여 인코딩될 수 있다.
제2 양태에 따르면, 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임 시퀀스를 인코딩하기 위한 장치가 제공되며,
인코딩될 이미지 프레임의 시퀀스를 수신하도록 구성된 리시버(receiver) - 상기 이미지 프레임 시퀀스는 프라이버시가 보호되어야 하는 대상을 묘사함 -;
상기 이미지 프레임 시퀀스의 제1 버전을 생성하도록 구성된 프라이버시 마스커(privacy masker) - 상기 시퀀스의 제1 버전의 이미지 프레임에는 이미지 프레임 시퀀스에 묘사된 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공됨 -;
상기 이미지 프레임 시퀀스의 제1 버전을 인트라-코딩된 이미지 프레임 및 인터-코딩된 이미지 프레임의 제1 인코딩된 시퀀스로서 인코딩하고, 이미지 프레임 시퀀스의 제2 버전을 인터-코딩된 이미지 프레임의 제2 인코딩된 시퀀스로서 인코딩하도록 구성된 인코더 - 상기 이미지 프레임 시퀀스의 제2 버전의 이미지 프레임에는 상기 이미지 프레임 시퀀스에서 묘사된 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공되지 않으며, 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용하여 인코딩됨 -;
상기 제2 인코딩된 시퀀스의 인터-코딩된 프레임을 암호화하도록 구성된 암호화기(encrypter); 및
상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스의 이미지 프레임을 인터리빙함으로써 상기 제1 및 제2 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합(merge)하도록 구성된 인터리버(interleaver)를 포함한다.
제3 양태에 따르면,
프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임 시퀀스를 캡처하도록 구성된 이미지 센서, 및
상기 이미지 센서에 의해 캡처된 이미지 프레임 시퀀스를 수신하고 상기 수신된 이미지 프레임 시퀀스를 하나의 출력 시퀀스로 인코딩하도록 배치된 제2 양태에 따른 장치를 포함하는 카메라가 제공된다.
제4 양태에 따르면, 프로세서에 의해 실행될 때, 제1 양태의 방법을 수행하도록 적용된 컴퓨터 코드 명령어가 저장된 (비-일시적) 컴퓨터 판독 가능 매체가 제공된다.
제2, 제3 및 제4 양태는 일반적으로 제1 양태와 동일한 특징 및 이점을 가질 수 있다.
제5 양태에 따르면, 대상의 프라이버시가 보호되는 인코딩된 이미지 프레임 시퀀스를 디코딩하기 위한 방법이 제공되며,
인코딩된 이미지 프레임 시퀀스를 수신하는 단계
- 상기 인코딩된 이미지 프레임 시퀀스는 제1 및 제2 인코딩된 이미지 프레임 시퀀스의 인터리빙된 이미지 프레임을 포함하고,
상기 제2 인코딩된 이미지 프레임 시퀀스는 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용하여 인코딩된 인터-코딩된 이미지 프레임을 포함하며,
대상의 프라이버시는 상기 제1 인코딩된 시퀀스의 이미지 프레임에서 프라이버시 마스크에 의해 그리고 상기 제2 인코딩된 시퀀스에서의 암호화에 의해 보호됨 -;
상기 인코딩된 이미지 프레임 시퀀스로부터 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임 및 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 추출하는 단계,
상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 해독하는 단계;
상기 제1 인코딩된 시퀀스의 인트라-코딩된 프레임 및 상기 제2 인코딩된 시퀀스의 해독된 인터-코딩된 이미지 프레임을 디코딩하는 단계 - 상기 해독된 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 디코딩된 인트라-코딩된 프레임을 사용함으로써 디코딩됨 -; 및
상기 제2 인코딩된 시퀀스의 디코딩되고, 해독되며, 인터-코딩된 이미지 프레임으로부터 디스플레이를 위해 디코딩된 시퀀스를 형성하는 단계를 포함한다.
상기 디코딩 방법은 맞춤화된 디코더에서 수행될 수 있다. 따라서 상기 맞춤화된 디코더는 상기 제1 인코딩된 시퀀스의 인트라-코딩된 프레임 및 상기 제2 인코딩된 시퀀스의 인터-코딩된 프레임을 디코딩할 수 있다. 그러나, 상기 맞춤화된 디코더는 디스플레이를 위해 최종 시퀀스에서 디코딩된 인터-코딩된 프레임만을 포함한다.
전술한 바와 같이, 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임에는 표준화된 디코더에 의해 디코딩되는 것을 방지하는 표시가 제공될 수 있다. 추출 단계에서, 상기 표시는 상기 인코딩된 이미지 프레임 시퀀스의 인터-코딩된 이미지 프레임을 식별하는데 사용될 수 있다. 따라서 표시는 상기 수신된 인코딩된 시퀀스로부터 추출할 프레임을 상기 디코더에 표시한다(signal).
상기 수신된 인코딩된 시퀀스에서의 프레임은 이들의 디스플레이를 위한 시점(time point)를 나타내는 타임 스탬프(time stamp)와 연관된다. 구체적으로, 상기 제1 인코딩된 시퀀스의 인트라-코딩된 프레임 및 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임에는 이들의 디스플레이를 위한 시점을 나타내는 타임 스탬프가 제공된다. 그러나, 상기 디코더는 디스플레이 시퀀스에서 인트라-코딩된 프레임을 포함하지 않기 때문에, 인트라-코딩된 프레임이 있어야 하는 디스플레이 시퀀스에서 타임 스탬프 사이에 갭(gap)이 있을 것이다. 이 문제를 해결하기 위해, 상기 방법은 디스플레이를 위해 상기 디코딩된 시퀀스에 포함되지 않은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 프레임을 보상하기 위해 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임의 타임 스탬프를 조정하는 단계를 더 포함할 수 있다.
제6 양태에 따르면, 대상의 프라이버시가 보호되는 인코딩된 이미지 프레임 시퀀스를 디코딩하기 위한 장치가 제공되며:
인코딩된 이미지 프레임 시퀀스를 수신하도록 구성된 리시버
- 상기 인코딩된 이미지 프레임 시퀀스는 제1 및 제2 인코딩된 이미지 프레임 시퀀스의 인터리빙된 이미지 프레임을 포함하고,
상기 제2 인코딩된 이미지 프레임 시퀀스는 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용하여 인코딩된 인터-코딩된 이미지 프레임을 포함하며,
상기 대상의 프라이버시는 상기 제1 인코딩된 시퀀스의 이미지 프레임에서 프라이버시 마스크에 의해 그리고 상기 제2 인코딩된 시퀀스에서의 암호화에 의해 보호됨 -,
상기 인코딩된 이미지 프레임 시퀀스로부터, 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임 및 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 추출하도록 구성된 프레임 추출기(frame extractor),
상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임을 해독하도록 구성된 해독기(decrypter),
상기 제1 인코딩된 시퀀스의 인트라-코딩된 프레임 및 상기 제2 인코딩된 시퀀스의 해독된 인터-코딩된 이미지 프레임을 디코딩하고(상기 해독된 인터-코딩된 이미지 프레임은 상기 제1 인코딩된 시퀀스의 디코딩된 인트라-코딩된 프레임을 사용하여 디코딩됨), 상기 제2 인코딩된 시퀀스의 디코딩되며, 해독되고, 인터-코딩된 이미지 프레임으로부터 디스플레이하기 위한 디코딩된 시퀀스를 형성하도록 구성된 디코더(decoder)를 포함한다.
제6 양태는 일반적으로 제5 양태와 동일한 특징 및 이점을 가질 수 있다. 또한, 본 발명은 달리 명시되지 않는 한 모든 가능한 특징의 조합에 관한 것이다.
본 발명의 상기 목적, 특징 및 이점 뿐만 아니라 추가 목적, 특징 및 이점은 첨부된 도면을 참조하여, 본 발명의 실시 형태들의 하기 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이며, 동일한 참조 번호는 동일한 요소에 사용될 것이다.
도 1은 본 발명의 실시 형태들이 구현될 수 있는 시스템을 개략적으로 도시한다.
도 2는 실시 형태들에 따른 인코딩 장치를 개략적으로 도시한다.
도 3은 실시 형태들에 따른 인코딩 방법의 흐름도이다.
도 4는 추가 실시 형태들에 따른 인코딩 장치를 개략적으로 도시한다.
도 5는 추가 실시 형태들에 따른 인코딩 장치를 개략적으로 도시한다.
도 6은 실시 형태들에 따른 디코딩 방법의 흐름도이다.
도 7은 실시 형태들에 따른 맞춤화된 디코딩 장치를 개략적으로 도시한다.
도 8은 표준화된 디코딩 장치의 작동을 개략적으로 도시한다.
도 1은 비디오 카메라(11) 및 클라이언트 장치(client device, 12)를 포함하는 시스템(1)을 도시한다. 비디오 카메라(11)는 예를 들어 유선 또는 무선 네트워크를 통해 클라이언트 장치(12)와 통신하도록 배치된다. 비디오 카메라(11)는 모니터링 카메라일 수 있다.
카메라(11)는 이미지 센서(111) 및 인코딩 장치(113)를 포함한다. 카메라(11)는 또한 처리 장치(112)를 포함할 수 있다. 처리 장치(112) 및 인코딩 장치(113)는 카메라(11)의 이미지 처리 파이프라인(114)의 부분일 수 있다.
이미지 센서(111)는 이미지 프레임의 시퀀스(115), 즉 비디오를 캡처하도록 배치된다. 이미지 프레임 시퀀스(115)는 프라이버시가 보호되어야 하는 하나 이상의 대상을 묘사할 수 있다. 예를 들어, 묘사된 하나 이상의 대상은 사람, 자동차의 번호판, 건물, 표지판 등일 수 있다.
이미지 센서(111)는 이미지 프레임 시퀀스(115)를 이미지 처리 파이프라인(114)의 처리 장치(112)로 전달할 수 있으며, 당업계에서 공지된 바와 같이 이미지 처리된다. 처리 결과로서, 처리 장치(112)는 처리된 이미지 프레임 시퀀스(116)를 인코딩 장치(113)에 제공한다.
하기에서 더욱 상세히 설명될 인코딩 장치(113)는 이미지 프레임 시퀀스(116)를 수신하고 인코딩된 이미지 프레임의 하나의 출력 시퀀스(117)로 인코딩한다. 간단히 말하면, 출력 시퀀스(117)는 하나 이상의 대상이 프라이버시 마스크에 의해 보호되는 인코딩된 이미지 프레임 및 하나 이상의 대상이 암호화에 의해 보호되는 인코딩된 이미지 프레임 모두를 포함한다.
클라이언트 장치(12)는 표준화된 디코딩 장치(standardized decoding device, 121), 맞춤화된 디코딩 장치(customized decoding device, 122) 또는 모두를 포함할 수 있다. 표준화된 디코딩 장치(121)는 H.264 또는 H.265와 같은 표준을 준수하며, 표준의 사양에 따라 비디오를 디코딩한다. 대조적으로, 맞춤화된 디코더(122)는 하나 이상의 대상이 프라이버시 마스크에 의해 보호되는 인코딩된 이미지 프레임 및 하나 이상의 대상이 암호화에 의해 보호되는 인코딩된 이미지 프레임 모두를 포함하는 이미지 프레임의 인코딩된 시퀀스(117)를 디코딩하도록 구체적으로 설계된다.
클라이언트 장치(12)는 또한 디코딩된 비디오를 디스플레이하기 위한 디스플레이(display, 123)를 포함할 수 있다. 대안으로, 클라이언트 장치(12)는 디코딩된 비디오를 외부 디스플레이로 전송할 수 있다.
표준화된 디코딩 장치(121) 및/또는 맞춤화된 디코딩 장치(122)는 이미지 프레임의 인코딩된 시퀀스(117)를 수신한다. 하기에서 더욱 상세히 설명될 바와 같이, 표준화된 디코딩 장치(121)는 하나 이상의 대상이 암호화에 의해 보호되는 인코딩된 이미지 프레임을 무시한다. 대신, 하나 이상의 대상이 프라이버시 마스크에 의해 보호되는 이미지 프레임을 디코딩할 것이다. 따라서, 표준화된 디코딩 장치(121)는 하나 이상의 대상이 프라이버시 마스크에 의해 보호되는 이미지 프레임만을 디코딩한다. 따라서, 표준화된 디코딩 장치(121)는 하나 이상의 대상이 프라이버시 마스크에 의해 보호되는 이미지 프레임의 디코딩된 시퀀스(124)를 생성한다.
반대로, 맞춤화된 디코딩 장치(122)는 하나 이상의 대상이 보이는 이미지 프레임의 디코딩된 시퀀스(125)를 생성한다.
인코딩 장치(113)는 도 2에 더욱 상세히 도시된다. 이는 리시버(201), 프라이버시 마스커(202), 인코더(203), 암호화기(204) 및 인터리버(205)를 포함한다.
인코딩 장치(113)는 따라서 장치(113)의 기능을 구현하도록 구성된 다양한 컴포넌트(201, 202, 203, 204, 205)를 포함한다. 특히, 각각의 예시된 컴포넌트는 장치(113)의 기능에 해당한다. 일반적으로, 장치(113)는 컴포넌트(201, 202, 203, 204, 205), 보다 구체적으로는 이들의 기능을 구현하도록 구성된 회로를 포함할 수 있다.
하드웨어 구현에서, 컴포넌트(201, 202, 203, 204, 205) 각각은 컴포넌트의 기능을 제공하도록 전용적이고 구체적으로 설계된 회로에 해당할 수 있다. 회로는 하나 이상의 애플리케이션 특정 집적 회로 또는 하나 이상의 필드 프로그래밍 가능한 게이트 어레이와 같은 하나 이상의 집적 회로의 형태일 수 있다. 예로서, 인코더(203)는 사용시, 이미지 프레임 시퀀스의 제1 및 제2 버전을 인코딩하는 회로를 포함할 수 있다.
소프트웨어 구현에서, 회로는 대신 비-휘발성 메모리와 같은 (비-일시적) 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어와 관련하여 장치(104)가 본 발명에 개시된 임의의 방법을 수행하게 하는 마이크로프로세서와 같은 프로세서의 형태일 수 있다. 비-휘발성 메모리의 예는 판독 전용 메모리, 플래시 메모리, 강유전성 RAM, 자기 컴퓨터 저장 장치, 광 디스크 등을 포함한다. 따라서 소프트웨어의 경우, 컴포넌트(201, 202, 203, 204, 205)는 프로세서에 의해 실행될 때, 장치(113)가 컴포넌트의 기능을 수행하게 하는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 코드 명령어의 일부에 각각 해당할 수 있다.
하드웨어 및 소프트웨어 구현의 조합을 갖는 것이 또한 가능하다는 것을 이해할 것이며, 이는 일부 컴포넌트(201, 202, 203, 204, 205)의 기능이 하드웨어에서 구현되고 다른 컴포넌트는 소프트웨어에서 구현됨을 의미한다.
프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임 시퀀스를 인코딩할 때 인코딩 장치(113)의 작동이 도 2 및 도 3의 흐름도를 참조하여 설명될 것이다.
단계 E02에서, 리시버(201)는 이미지 프레임 시퀀스(116)를 수신한다. 이미지 프레임 시퀀스(116)의 이미지 프레임은 순차적으로 수신되고, 인코딩 장치(113)는 이미지 프레임이 수신될 때마다 이미지 프레임을 하나씩 처리한다. 이미지 프레임 시퀀스는 수신기 블록(receiver block, 201)에서 화이트 박스의 시퀀스로서 도시된다.
리시버(201)는 이미지 프레임 시퀀스(116)를 프라이버시 마스커(202)로 전달한다. 프라이버시 마스커(202)는 단계 E04에서, 이미지 프레임 시퀀스(216)의 제1 버전(216a)을 생성한다. 시퀀스의 제1 버전(216a)에서, 이미지 프레임은 수신된 시퀀스(116)의 이미지 프레임에 묘사된 하나 이상의 대상을 보호하기 위해 하나 이상의 프라이버시 마스크가 제공된다. 이렇게 하기 위해, 프라이버시 마스커(202)는 프라이버시가 수신된 시퀀스(116)의 이미지 프레임에서 보호되어야 하는 하나 이상의 대상을 먼저 검출할 수 있다. 이를 위해, 프라이버시 마스커(202)는 대상 검출을 위한 임의의 알려진 방법을 사용할 수 있다. 예를 들어, 하나 이상의 대상이 인간인 경우, 이미지에서 인간을 검출하기 위한 임의의 공지된 방법이 사용될 수 있다. 하나 이상의 대상이 움직이는 대상인 경우, 프라이버시 마스커(202)는 수신된 이미지 프레임 시퀀스(116)에서 이미지 프레임들 사이의 모션을 연구함으로써 대상이 검출되도록 하는 모션 검출 또는 추적 방법을 사용할 수 있다.
예로서, 프라이버시 마스커(202)는 배경 이미지를 저장하거나 액세스할 수 있다. 배경 이미지는 임의의 전경 물체가 없는 장면에서 배경을 묘사한다. 프라이버시 마스커(202)는 이미지 프레임을 배경 이미지와 비교함으로써 이미지 프레임 시퀀스(116)에서 하나 이상의 대상을 검출할 수 있다. 이러한 방식으로, 프라이버시 마스커(202)는 하나 이상의 대상에 해당하는 이미지 프레임에서 이들 픽셀을 식별할 수 있다. 프라이버시 마스커(202)는 이미지 프레임 시퀀스(116)에 기초하여 배경 이미지를 추가로 업데이트할 수 있다. 예를 들어, 프라이버시 마스커(202)는 배경 이미지에서의 픽셀과 하나 이상의 대상에 해당하지 않는 이미지 프레임에서의 픽셀의 가중 평균을 형성할 수 있다. 그런 다음, 업데이트된 배경 이미지는 시퀀스(116)에서의 후속 이미지 프레임에서 하나 이상의 대상을 검출할 때 사용될 수 있다.
하나 이상의 대상이 검출되면, 프라이버시 마스커(202)는 하나 이상의 프라이버시 마스크를 사용하여 이미지 프레임 시퀀스(116)에서 하나 이상의 대상을 감춤(concealing)으로써 이미지 시퀀스의 제1 버전(216a)을 생성할 수 있다. 대안으로, 프라이버시 마스커(202)는 하나 이상의 대상을 검출하는데 사용되었던 배경 이미지에 하나 이상의 프라이버시 마스크를 추가함으로써 이미지 시퀀스의 제1 버전(216a)을 생성할 수 있다. 프라이버시 마스크는 검출된 하나 이상의 대상에 해당하는 픽셀 위치를 커버하도록 추가될 수 있다.
프라이버시 마스크는 일반적으로 대상이 보이는 것을 방지하는 임의의 것일 수 있다. 대상에 해당하는 이미지 데이터를 교체하거나 커버하는데 사용될 수 있다. 프라이버시 마스크는 예를 들어, 커버된 대상의 세부 사항이 보이지 않도록 영역에 균일한 컬러를 추가할 수 있다. 대안으로, 마스크는 미세한 세부 사항이 보이지 않도록 이미지의 영역을 흐리게 하거나 픽셀화할 수 있다. 프라이버시 마스크는 마스크를 통해 장면을 볼 수 없도록 단단할 수 있다. 프라이버시 마스크는 직사각형의 형상을 가질 수 있다. 그러나, 바람직하게 프라이버시 마스크는 대상의 몸짓(gesture) 또는 포즈(pose)와 같은 움직임이 보여지도록 대상의 윤곽을 따른다. 예를 들어, 사용자는 특정 영역 내에 얼마나 많은 사람이 있는지, 사람이 달리고 있는지, 싸움을 하는지, 공격적으로 행동하는지 확인할 수 있다. 프라이버시 마스크가 배경 이미지에 추가되는 경우, 프라이버시 마스크는 대상 뒤의 배경이 마스크를 통해 빛나도록 투명할 수 있다.
프라이버시 마스커(202)는 이미지 프레임 시퀀스의 제1 버전(216a)을 인코더(203)로 전달한다. 이미지 프레임 시퀀스의 제1 버전(216a)은 프라이버시 마스크 블록(202)에서 점선 패턴을 갖는 박스의 시퀀스로서 도시된다.
리시버(201)는 수신된 이미지 프레임 시퀀스(116)를 이미지 프레임 시퀀스의 제2 버전(216b)으로서 인코더(203)로 추가로 전달한다. 도 2의 실시 형태에서, 이미지 프레임 시퀀스의 제2 버전(216b)은 수신된 이미지 프레임 시퀀스(116)와 동일하다. 따라서, 단계 E04에서, 인코딩 장치(113)는 수신된 이미지 프레임 시퀀스(116)와 동일한 수신된 이미지 프레임 시퀀스(116)의 제2 버전(216b)을 생성한다.
그런 다음, 단계 E06에서, 인코더(203)는 이미지 프레임 시퀀스의 제1 버전(216a)을 인코딩하여 제1 인코딩된 시퀀스(207)를 생성한다. 인코더(203)는 예를 들어, H.265 표준의 H.264에 따라 인트라-코딩된 프레임(I-프레임) 및 인터-코딩된 프레임(P-프레임)을 사용하여 시퀀스의 제1 버전(216a)에서 이미지 프레임을 인코딩한다. 이미지 프레임은 어떤 프레임이 인트라-코딩되어야 하고 어떤 프레임이 인터-코딩되어야 하는지를 규정하는 연속적인 GOP(group of pictures)로서 인코딩될 수 있다. 일반적으로, 각각의 GOP는 인트라-코딩된 프레임에 이어서 하나 이상의 인터-코딩된 프레임의 시퀀스에 의해 시작된다. 예로서, 제1 인코딩된 시퀀스(207)의 GOP의 일부는 인코더 블록(203)에서 상단에 도시된다. GOP에서의 제1 프레임은 인트라-코딩되고(I로 표시됨), 제2 프레임은 인트라-코팅된 프레임을 참고하여 인터-인코딩되며(P로 표시됨), 제3 프레임은 제2 프레임을 참조하여 인터-코딩된다.
단계 E08에서, 인코더(203)는 또한 이미지 프레임 시퀀스의 제2 버전(216b)을 제2 인코딩된 시퀀스(208)로서 인코딩한다. 제2 인코딩된 시퀀스(208)는 인터-코딩된 이미지 프레임만을 포함한다. 시퀀스의 제2 버전(216b)을 인코딩할 때, 인코더(203)는 시퀀스의 제1 프라이버시 마스크된 버전(206)의 인트라-코딩된 프레임을 사용한다. 제2 인코딩된 시퀀스(208)는 연속적인 인터-코딩된 이미지 프레임의 서브-시퀀스를 포함한다. 이들 서브-시퀀스 각각은 제1 인코딩된 시퀀스(207)에서 인트라-코딩된 프레임과 연관된다. 제1 인코딩된 시퀀스(207)에서의 인트라-코딩된 프레임은 제2 인코딩된 시퀀스(208)의 프레임의 연관된 서브-시퀀스를 인코딩하기 위한 시작점, 즉 시작 기준 프레임(start reference frame)으로서 사용된다. 제1 인코딩된 시퀀스(207)에서의 인트라-코딩된 프레임은 제2 인코딩된 시퀀스(208)의 연관된 서브-시퀀스에서의 제1 인터-코딩된 프레임에 대한 기준 프레임으로서 사용되지만, 제2 인코딩된 시퀀스(208)의 연관된 서브-시퀀스에서 후속하는 인터-코딩된 프레임에 대한 기준 프레임으로서 사용될 수도 있다. 제2 인코딩된 시퀀스(208)의 인터-코딩된 프레임의 서브-시퀀스는 인코더 블록(203)의 하단에 도시된다. 도시된 서브-시퀀스는 인코더 블록(203)의 상단에 도시된 GOP의 인트라-코딩된 프레임과 연관된다. 서브-시퀀스의 제1 인터-코딩된 프레임은 인트라-코딩된 프레임을 참조하여 인코딩되는 반면, 서브-시퀀스의 후속 인터-코딩된 프레임은 서브-시퀀스의 이전 프레임을 참조하여 인코딩된다.
제1 인코딩된 시퀀스(207)의 인트라-코딩된 프레임 및 인트라-코딩된 프레임과 연관된 서브-시퀀스의 제1 인터-코딩된 프레임은 캡처된 비디오에서 동일한 프레임에 해당한다는 점에 유의해야 한다. 이 둘의 차이는 첫번째로 마스크되는 대상이 다른 대상에서 마스크되지 않는다는 것이다. 따라서, 인트라-코딩된 프레임을 다시 참조함으로써, 제2 인코딩된 시퀀스의 인터-코딩된 프레임에 의해 운반되는 유일한 정보가 제1 인코딩된 시퀀스에서 프라이버시 마스크되는 하나 이상의 대상이다.
인코더(203)는 제1 인코딩된 시퀀스(207)를 인터리버(205)로 전달하고, 제2 인코딩된 시퀀스(208)를 암호화기(204)로 전달한다.
암호화기(204)는 단계 E10에서, 제2 인코딩된 시퀀스(208)의 인터-코딩된 이미지 프레임을 암호화하여 인터리버(205)로 전달되는 암호화 및 인코딩된 제2 시퀀스(209)를 생성한다. 구체적으로, 암호화기(204)는 인터-코딩된 이미지 프레임, 즉 이들 프레임에 의해 전달되는 인코딩된 데이터의 페이로드(payload)를 인코딩한다. 이러한 목적을 위해, 임의의 공지된 암호화 방식이 사용될 수 있다. 예를 들어, AES256 등과 같은 대칭 암호화 알고리즘이 사용될 수 있다. 제2 인코딩된 시퀀스(208)의 인터-코딩된 프레임은 제1 인코딩된 시퀀스(207)에서 프라이버시 마스크되는 하나 이상의 대상에 관한 정보를 포함하기 때문에, 암호화는 하나 이상의 대상만이 암호화됨을 의미한다. 암호화된 제2 인코딩된 시퀀스(209)는 암호화 블록(204)의 하단에 점선 패턴을 갖는 시퀀스 박스로 도시된다. 도 2에 도시된 바와 같이, 암호화는 인코딩 후에 바람직하게 이루어진다. 그렇지 않으면, 인코딩으로 인해 암호화가 손상될 위험이 있다.
인터리버(205)는 단계 E12에서, 제1 및 제2 인코딩된 시퀀스(207, 209)를 병합하여 인코딩된 프레임의 하나의 출력 시퀀스(117)를 생성한다. 그렇게 하기 위해, 인터리버(205)는 제1 및 제2 인코딩된 시퀀스(207, 209)의 프레임들을 인터리빙한다. 예를 들어, 인터리버 블록(205)에 도시된 바와 같이, 인터리버(205)는 출력 시퀀스(117)에서 제1 인코딩된 시퀀스(207) 및 제2 인코딩된 시퀀스(209)로부터의 프레임을 교대로 포함할 수 있다. 단계 E10 및 E12는 역순으로 수행될 수 있는 것으로 이해된다. 다시 말해, 제2 인코딩된 시퀀스로부터 유래하는 인터-코딩된 프레임은 이들이 제1 인코딩된 시퀀스의 프레임과 인터리빙된 후에 암호화될 수 있다.
표준화된 디코딩 장치(121)가 이들 프레임을 무시하도록 제2 인코딩된 시퀀스(209)의 인터-코딩된 프레임은 출력 시퀀스(117)에서 감춰질 수 있다. 프레임을 감추기 위해, 인코더(203)는 제2 인코딩된 시퀀스(208)의 이미지 프레임을 표준화된 디코딩 장치(121)에 의해 디코딩되는 것을 방지하는 표시로 제공할 수 있다. 표시는 표준화된 디코딩 장치(121)가 관련된 프레임을 무시하도록 하는 임의의 유형의 표시일 수 있다. 표시는 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임의 헤더(header)에 제공될 수 있다. 보다 상세하게, 코딩된 비디오 데이터, 즉 인트라-코딩 및 인터-코딩된 이미지 프레임은 출력 시퀀스(117)에서 NAL 유닛으로 구성될 수 있다. H.264 및 H.265 표준에서, NAL 유닛은 NAL 유닛에서 데이터 유형을 포함하는 헤더 정보로 제공된다. 헤더 정보는 헤더에 의해 특정된 유형의 페이로드 데이터가 뒤따른다. 예를 들어, NAL 유닛이 인트라-코딩된 프레임의 데이터를 전달하는 경우, 헤더 정보는 데이터가 인트라-코딩된 프레임임을 특정할 수 있다. 표시는 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임과 연관된 NAL 유닛의 유닛 유형의 NAL 값을 설정함으로써 제공될 수 있다. 값은 NAL 유닛이 표준화된 디코더에 의해 디코딩되지 않아야 함을 나타내도록 설정될 수 있다. 보다 구체적으로, 32개의 가능한 값을 제공하는 5개의 비트가 H.264에 따라 NAL 유닛의 유형을 나타내도록 설정될 수 있다. 이들 값 중 일부(값 0 또는 24-31 범위의 값)는 표준에서 특정되지 않으며 디코딩 프로세스에 영향을 미치지 않는다. 따라서, NAL 유닛 유형을 이들 값 중 하나로 설정함으로써, 표준화된 디코더(121)는 이들 NAL 유닛과 연관된 인터-코딩된 이미지 프레임을 자동으로 무시할 것이다. 그러나 맞춤화된 디코더는 하기에서 더욱 상세히 설명될 바와 같이 표시에 기초하여 이들 인터-코딩된 프레임을 식별하도록 특별히 설계될 수 있다.
일부 실시 형태들에서, 인코더(203)는 H.265 표준에 의해 지원되는 바와 같이 제1 인코딩된 시퀀스(207)의 인트라-코딩된 프레임을 디스플레이되지 않는 프레임으로 설정할 수 있다. 이는 표준화된 디코더(121) 또는 맞춤화된 디코더(122)가 디스플레이(123)로 전송되는 디코딩된 출력 시퀀스(124, 125)에서 인트라-코딩된 프레임의 디코딩된 버전을 포함하지 않을 것이라는 것을 의미한다. 그러나, 표준화된 디코딩 장치(121)가 여전히 인트라-코딩된 프레임의 콘텐츠(content)를 여전히 디스플레이하는 것이 바람직할 수 있기 때문에, 인코더(203)는 제1 인코딩된 시퀀스(207)에서 각각의 인트라-코딩된 이미지 프레임 후에 빈 인터-코딩된 프레임을 추가할 수 있다. 이러한 빈 프레임은 P-스킵 프레임(P-skip frame)으로서 구현될 수 있다. 빈 프레임은 이전 인트라-코딩된 프레임과 동일한 타임 스탬프(time stamp)가 제공될 수 있다.
도 4는 프라이버시가 검출될 장면에서 상이한 유형의 대상이 있을 때 유용할 수 있는 대안적인 실시 형태를 도시한다. 도 4에 도시된 인코딩 장치(413)는 인코딩 장치(413)가 이미지 프레임 시퀀스의 제2 버전(416b)을 생성하는 프라이버시 마스커(402)를 포함한다는 점에서 도 2와는 다르다. 프라이버시 마스커(402)는 프라이버시 마스커(202)와 유사하게 작동하고 이미지 프레임 시퀀스의 제2 버전(416b)의 이미지 프레임에 프라이버시 마스크를 제공한다. 그러나, 프라이버시 마스커(202)는 프라이버시 마스크를 사용하여 제1 버전(216a)의 이미지 프레임에서 상이한 유형의 대상을 모두 보호하지만, 프라이버시 마스커(402)는 제1 유형의 대상에 프라이버시 마스크를 제공하는 것을 억제한다. 따라서, 프라이버시 마스커(402)의 출력인 시퀀스의 제2 버전(416b)의 이미지 프레임에는 제1 유형의 대상을 제외한 모든 것이 감춰진다. 이는 점선 패턴으로 부분적으로 채워지는 프라이버시 마스크 블록(402)에서 시퀀스의 박스에 의해 도시된다.
도 5는 동일한 주제에 대한 또 다른 실시 형태를 도시한다. 도 5의 인코딩 장치(513)는 프라이버시 마스커(402)가 이미지 프레임 시퀀스의 제3 버전(516b)을 추가로 생성한다는 점에서 도 4의 인코딩 장치(413)와 상이하다. 프라이버시 마스커(402)는 시퀀스의 제3 버전(516b)의 이미지 프레임에 프라이버시 마스크를 제공한다. 보다 상세하게, 프라이버시 마스커는 프라이버시 마스크를 갖는 제2 유형의 대상을 제외한 모든 것을 숨긴다. 따라서 상이한 유형의 대상은 프라이버시 마스커(402)의 출력인 제2 버전(416b) 및 제3 버전(516b)에서 보인다. 그렇지 않으면 인코딩 장치(513)는 제2 버전(416b)과 동일한 방식으로 제3 버전(516b)을 처리한다. 따라서, 최종 출력 스트림(117)에서, 제1 인코딩된 시퀀스(207), 제2 인코딩된 시퀀스(209) 및 제3 인코딩 시퀀스(509)의 인코딩된 프레임이 교대(alternate)된다.
도 5의 실시 형태는 이미지 시퀀스의 3개 이상의 버전이 생성되고, 상이한 유형의 대상이 제2 버전, 제3 버전, 제4 버전 등 중 상이한 하나에서 마스크되는 경우를 일반화하는 것으로 이해된다. 또한 상이한 수의 대상 유형이 상이한 버전의 이미지 시퀀스에서 마스크되는 실시 형태가 있음을 이해한다. 제1 버전에서, 모든 대상 유형이 마스크되고, 제2 버전에서, 하나의 대상 유형을 제외한 모두가 마스크되며, 제3 버전에서, 두개의 대상 유형을 제외한 모두가 마스크된다.
맞춤화된 디코딩 장치(122)의 작동은 이제 맞춤화된 디코딩 장치(122)를 보다 상세히 도시하는 도 6 및 도 7의 흐름도를 참조하여 설명될 것이다. 인코딩 장치(113)와 유사하게, 디코딩 장치(122)의 상이한 컴포넌트(701, 702, 703, 704, 705)는 도 2와 관련하여 위에서 설명된 바와 같이 소프트웨어 및/또는 하드웨어에서 구현될 수 있다.
단계 D02에서, 디코딩 장치(122)의 리시버(701)는 인코딩 장치(113)에 의해 생성된 이미지 프레임의 인코딩된 시퀀스(117)를 수신한다. 이미지 프레임의 인코딩된 시퀀스(117)는 프레임 추출기(frame extractor, 702)로 전달된다.
프레임 추출기(702)는 단계 D04에서, 제1 인코딩된 시퀀스(207)의 인트라-코딩된 프레임 및 제2 인코딩된 시퀀스(209)의 인터-코딩된 프레임을 추출한다. 다시 말해, 프레임 추출기(702)는 이미지 프레임의 수신된 시퀀스의 제2 버전(216b)(또는 도 4 및 5의 실시 형태들에서 제2 및 제3 버전(416b, 516b))을 재구성하는데 요구되는 이들 프레임들을 추출한다. 이미지 프레임의 인코딩된 시퀀스(117)가 또한 추가 인코딩된 시퀀스(509)의 인터-코딩된 이미지 프레임을 포함하고, 프레임 추출기(702)는 이들 인터-코딩된 프레임들도 추출하는 도 5에서 도시된다.
이미지 프레임의 인코딩된 시퀀스(117)로부터 프레임들을 추출할 때, 프레임 추출기(702)는 프레임의 유형을 특정하는 헤더 정보를 사용할 수 있다. 헤더 정보는 프레임이 인트라-코딩된 프레임 또는 인터-코딩된 프레임인지를 특정할 수 있다. 예를 들어, 프레임의 유형은 NAL 유닛 유형을 통해 표시될 수 있다. 따라서, 프레임 추출기(702)는 인트라-코딩된 프레임으로 특정된 모든 프레임을 추출할 수 있다. 제2 인코딩된 시퀀스(209)의 인터-코딩된 프레임을 제1 인코딩된 시퀀스(207)의 인터-코딩된 프레임과 구별하기 위해, 프레임 추출기(702)는 프레임이 표준화된 디코더(121)에 의해 디코딩되어서는 안된다는 것을 나타내는 전술한 표시를 사용할 수 있다. 구체적으로, 프레임 추출기(702)는 이러한 표시를 포함하는 인터-코딩된 프레임을 식별하고 시퀀스(117)로부터 프레임을 추출할 수 있다.
추출된 프레임(706)은 해독기(703)로 전달된다. 해독기(703)는 단계 D06에서, 추출된 인터-코딩된 프레임의 페이로드를 해독한다. 특히, 이는 해독기(703)에 인코딩 장치(113)의 암호화기(204)에 의해 사용되는 암호화 키와 일치하는 해독 키가 제공될 것을 요구한다. 따라서, 그 해독 키를 소유한 사용자만이 인터-코딩된 프레임을 해독할 수 있다.
다음으로, 단계 D08에서 디코더(704)는 인트라-코딩된 프레임 및 해독된 인터-코딩된 프레임의 시퀀스(707)를 디코딩한다. 이와 관련하여 디코더(704)는 표준 H.264 또는 H.265 디코더로서 작동할 수 있다. 따라서 디코더(704)는 디코딩된 프레임의 시퀀스(708)를 생성한다. 인트라-코딩된 프레임에 해당하는 디코딩된 프레임(708) 중 일부에서, 대상의 프라이버시를 보호하는 프라이버시 마스크가 존재하고, 인터-코딩된 프레임에 해당하는 다른 것들에서, 적어도 하나의 유형의 대상은 프라이버시 마스크가 제공되지 않는다. 후자 프레임들, 즉 프라이버시 마스크가 없는 프레임들만이 디스플레이되어야 하기 때문에, 디코더(704)는 단계 D10에서, 해독되고 디코딩되며 인터-코딩된 프레임에 해당하는 프레임들만을 포함하는 디스플레이 시퀀스(125)를 형성한다. 따라서, 최종 디스플레이 시퀀스(125)에서 하나 이상의 대상이 보인다.
일반적으로, 인트라-코딩된 프레임 및 인터-코딩된 프레임의 시퀀스(707)의 프레임은 타임 스탬프와 관련된다. 타임 스탬프는 프레임이 디스플레이될 시점을 나타낸다. 이러한 타임 스탬프는 디스플레이 시퀀스(125)에서 인트라-코딩된 프레임에 해당하는 프레임의 비-포함을 보상하도록 조정되는 것이 바람직하다. 이러한 조정이 없이 디스플레이 시퀀스(125)가 재생될 때 인트라-코딩된 프레임의 시점 주위로 점프할 것이다. 이는 인터-코딩된 프레임의 타임 스탬프를 시간적으로 시프팅(shifting) 및 스트레칭(stretching)함으로써 달성될 수 있다. 구체적으로, 인터-코딩된 프레임의 타임 스탬프는 시간에 따라 균일하게 분포되도록 시간적으로 삽입(interpolate)될 수 있다. 예로서, 시퀀스(707)가 하기에 따라 타임 스탬프를 갖는 프레임을 포함한다고 가정한다:
프레임: I P P P I P P P
타임 스탬프: 0 1 2 3 4 5 6 7 (다음 8)
인트라-코딩된 프레임이 제거될 때, 타임 스탬프는 하기에 따라 시프팅되고 스트레칭될 수 있다:
프레임: P P P P P P
타임 스탬프: 0 1.3 2.7 4 5.3 6.7 (다음 8)
따라서, GOP의 제1 인터-코딩된 프레임의 타임 스탬프는 GOP를 시작하는 인트라-코딩된 프레임의 타임 스탬프가 제공되도록 시프팅될 수 있다. GOP의 다른 인터-코딩된 프레임의 타임 스탬프는 GOP를 시작하는 인트라-코딩된 프레임의 타임 스탬프와 다음 GOP의 인트라-코딩된 프레임에 의해 스팬(span)된 시간 간격에 걸쳐 균일하게 분포되도록 삽입될 수 있다.
도 8은 표준화된 디코더(121)는 이미지의 인코딩된 시퀀스(117)를 처리하는 방법을 도시한다. 표준화된 디코더(121)는 이미지의 인코딩된 시퀀스(117)를 수신한다. 수신된 시퀀스(117)를 판독할 때, 표준화된 디코더(121)는 제2 인코딩된 시퀀스(도 8에서 점선 프레임)에 해당하는 인터-코딩된 프레임을 무시한다. 구체적으로, 표준화된 디코더(121)는 이들 프레임이 표준화된 디코더에 의해 디코딩되어서는 안된다는 표시로 인해 이들 프레임을 무시한다. 따라서, 표준화된 디코더(121)는 제1 인코딩된 시퀀스(207)에 해당하는 프레임들을 디코딩하도록 진행하고, 따라서 본래 이미지 시퀀스의 프라이버시 마스크된 제1 버전(216b)에 해당하는 디스플레이 시퀀스(124)를 생성할 것이다. 따라서, 디스플레이 시퀀스(124)에서 하나 이상의 대상은 프라이버시 마스크에 의해 보호된다.
당업자는 전술한 실시 형태를 여러 방식으로 변경할 수 있고 상기 실시 형태들에 도시된 바와 같이 본 발명의 이점을 여전히 이용할 수 있음을 이해할 것이다. 따라서, 본 발명은 도시된 실시 형태들로 제한되지 않고 첨부된 청구 범위에 의해서만 정의되어야 한다. 또한, 당업자가 이해하는 바와 같이, 도시된 실시 형태들이 결합될 수 있다.

Claims (14)

  1. 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법으로서,
    인코딩될 이미지 프레임들의 시퀀스를 수신하는 단계 - 상기 이미지 프레임들의 시퀀스는 프라이버시가 보호되어야 하는 상이한 유형의 대상을 묘사함 -;
    상기 이미지 프레임들의 시퀀스의 제1 버전 및 제2 버전을 생성하는 단계
    - 상기 이미지 프레임들의 시퀀스의 제1 버전을 생성할 때, 상기 제1 버전의 이미지 프레임들에는 프라이버시가 보호되어야 하는 모든 유형의 대상의 프라이버시를 보호하기 위해 프라이버시 마스크가 제공됨 -;
    상기 이미지 프레임들의 시퀀스의 제1 버전을 인트라-코딩된 이미지 프레임들 및 인터-코딩된 이미지 프레임들의 제1 인코딩된 시퀀스로서 인코딩하는 단계;
    상기 이미지 프레임들의 시퀀스의 제2 버전을 인터-코딩된 이미지 프레임들의 제2 인코딩된 시퀀스로서 인코딩하는 단계 - 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임들을 사용하여 인코딩됨 -;
    상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들을 암호화하는 단계; 및
    상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스의 이미지 프레임들을 인터리빙함으로써 상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합하는 단계;를 포함하고,
    상기 이미지 프레임들의 시퀀스의 제2 버전을 생성할 때, 상기 시퀀스의 제2 버전의 이미지 프레임들에는 프라이버시가 보호되어야 하는 제1 유형의 대상을 제외한 모든 프라이버시를 보호하기 위해 프라이버시 마스크가 제공되는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  2. 제1항에 있어서,
    상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들에 표준화된 이미지 디코더에 의해 디코딩되는 것을 방지하는 표시가 제공되는 단계를 더 포함하는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  3. 제2항에 있어서,
    상기 표시는 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들의 헤더에 제공되는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  4. 제2항에 있어서,
    상기 표시는 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들과 연관된 유닛 유형의 네트워크 추상 계층(NAL) 유닛의 값을 설정함으로써 제공되며, 상기 NAL 유닛의 값은 상기 NAL 유닛이 표준화된 디코더에 의해 디코딩되지 않아야 함을 나타내는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  5. 제1항에 있어서,
    상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임들에 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임들이 디스플레이되어서는 안된다는 표시를 제공하는 단계; 및
    상기 인트라-코딩된 이미지 프레임들 각각의 후의 P-스킵 프레임을 상기 제1 인코딩된 시퀀스에 추가하는 단계를 더 포함하는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  6. 제5항에 있어서,
    상기 이미지 프레임들의 시퀀스의 제3 버전을 생성하는 단계 - 상기 시퀀스의 제3 버전의 이미지 프레임들은 프라이버시가 보호되어야 하는 제2 유형의 대상을 제외한 모든 프라이버시를 보호하기 위해 프라이버시 마스크가 제공됨 -;
    상기 이미지 프레임들의 시퀀스의 제3 버전을 인터-코딩된 이미지 프레임들의 제3 인코딩된 시퀀스로서 인코딩하는 단계 - 상기 제3 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임들을 사용하여 인코딩됨 -;
    상기 제3 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들을 암호화하는 단계; 및
    상기 제1, 제2 및 제3 인코딩된 시퀀스의 이미지 프레임들을 인터리빙함으로써 상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스를 갖는 상기 제3 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합하는 단계를 더 포함하는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  7. 제1항에 있어서,
    상기 제2 인코딩된 시퀀스는 인코딩을 위한 시작점으로서 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임을 사용하여 인코딩되는 연속적인 인터-코딩된 이미지 프레임들의 서브-시퀀스를 포함하는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하는 방법.
  8. 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하기 위한 장치로서,
    인코딩될 이미지 프레임들의 시퀀스를 수신하도록 구성된 리시버 - 상기 이미지 프레임들의 시퀀스는 프라이버시가 보호되어야 하는 상이한 유형의 대상을 묘사함 -;
    상기 이미지 프레임들의 시퀀스의 제1 버전을 생성하도록 구성된 제1 프라이버시 마스커 - 상기 제1 프라이버시 마스커는 상기 제1 버전의 이미지 프레임들을 생성할 때, 프라이버시가 보호되어야 하는 모든 상이한 유형의 대상을 보호하기 위해 상기 시퀀스의 제1 버전의 이미지 프레임들에 프라이버시 마스크가 제공되도록 구성됨 -;
    상기 이미지 프레임들의 시퀀스의 제1 버전을 인트라-코딩된 이미지 프레임들 및 인터-코딩된 이미지 프레임들의 제1 인코딩된 시퀀스로서 인코딩하고, 상기 이미지 프레임들의 시퀀스의 제2 버전을 인터-코딩된 이미지 프레임들의 제2 인코딩된 시퀀스로서 인코딩하도록 구성된 인코더 - 상기 제2 인코딩된 시퀀스의 인터-코딩된 이미지 프레임들은 상기 제1 인코딩된 시퀀스의 인트라-코딩된 이미지 프레임들을 사용하여 인코딩됨 -;
    상기 제2 인코딩된 시퀀스의 인터-코딩된 프레임들을 암호화하도록 구성된 암호화기; 및
    상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스의 이미지 프레임들을 인터리빙함으로써 상기 제1 인코딩된 시퀀스 및 상기 제2 인코딩된 시퀀스를 하나의 출력 시퀀스로 병합하도록 구성된 인터리버를 포함하고,
    상기 이미지 프레임들의 시퀀스의 제2 버전을 생성하도록 구성된 제2 프라이버시 마스커를 포함하며, 상기 제2 프라이버시 마스커는 상기 제2 버전의 이미지 프레임들을 생성할 때, 프라이버시가 보호되어야 하는 제1 유형의 대상을 제외한 모든 프라이버시를 보호하기 위해 상기 제2 버전의 이미지 프레임들에 프라이버시 마스크가 제공되도록 구성되는 것을 특징으로 하는 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 인코딩하기 위한 장치.
  9. 프라이버시가 보호되어야 하는 대상을 묘사하는 이미지 프레임들의 시퀀스를 캡처하도록 구성된 이미지 센서, 및
    상기 이미지 센서에 의해 캡처된 이미지 프레임들의 시퀀스를 수신하고 상기 수신된 이미지 프레임들의 시퀀스를 하나의 출력 시퀀스로 인코딩하도록 배치된 제8항에 따른 장치를 포함하는 카메라.
  10. 프로세서에 의해 실행될 때, 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 적용된 컴퓨터 코드 명령어가 저장된 비-일시적 컴퓨터 판독 가능 매체.

  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020190134540A 2018-12-20 2019-10-28 대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치 KR102219661B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214316.4A EP3672244B1 (en) 2018-12-20 2018-12-20 Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
EP18214316.4 2018-12-20

Publications (2)

Publication Number Publication Date
KR20200077394A KR20200077394A (ko) 2020-06-30
KR102219661B1 true KR102219661B1 (ko) 2021-02-23

Family

ID=64746300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134540A KR102219661B1 (ko) 2018-12-20 2019-10-28 대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10964182B2 (ko)
EP (1) EP3672244B1 (ko)
JP (1) JP6964647B2 (ko)
KR (1) KR102219661B1 (ko)
CN (1) CN111355964B (ko)
TW (1) TWI712311B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3996367B1 (en) * 2020-11-05 2023-07-26 Axis AB Method and image-processing device for video processing
EP4020998A1 (en) * 2020-12-23 2022-06-29 Axis AB Encoding of modified video
US20220279244A1 (en) * 2021-03-01 2022-09-01 Charter Communications Operating, Llc Blurred viewer monitoring and advertisement system
CN113489991B (zh) * 2021-06-30 2023-04-07 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质
CN113489990B (zh) * 2021-06-30 2023-05-02 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及存储介质
DE102022202943A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung mit Zugriffsberechtigung, Verfahren, Computerprogramm und Speichermedium
DE102022202941A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung, Verfahren zur Überwachung, Computerprogramm und Datenträger
CN115426507B (zh) * 2022-07-29 2023-12-05 宁波星巡智能科技有限公司 基于目标检测的隐私视频传输、播放方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
US20160295219A1 (en) * 2013-09-20 2016-10-06 Vid Scale, Inc. Systems and methods for providing 3d look-up table coding for color gamut scalability

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179712A1 (en) 2001-07-24 2004-09-16 Gerrit Roelofsen Method and sysem and data source for processing of image data
JP4402998B2 (ja) * 2004-03-29 2010-01-20 三菱電機株式会社 マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
EP1831849A1 (en) 2004-12-27 2007-09-12 Emitall Surveillance S.A. Efficient scrambling of regions of interest in an image or video to preserve privacy
US8867853B2 (en) 2011-06-28 2014-10-21 Stoplift, Inc. Image processing to prevent access to private information
EP2874396A1 (en) 2013-11-15 2015-05-20 Everseen Ltd. Method and system for securing a stream of data
DE102013226802A1 (de) 2013-12-20 2015-06-25 Siemens Aktiengesellschaft Schutz von Privatsphäre in einem Videostrom mittels einer redundanten Slice
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
CN108289202A (zh) * 2018-01-29 2018-07-17 北京大椽科技有限公司 一种智能网络监控方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2972886A1 (fr) * 2011-03-17 2012-09-21 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
US20160295219A1 (en) * 2013-09-20 2016-10-06 Vid Scale, Inc. Systems and methods for providing 3d look-up table coding for color gamut scalability

Also Published As

Publication number Publication date
EP3672244A1 (en) 2020-06-24
US10964182B2 (en) 2021-03-30
TW202032981A (zh) 2020-09-01
JP6964647B2 (ja) 2021-11-10
US20200202689A1 (en) 2020-06-25
KR20200077394A (ko) 2020-06-30
JP2020120370A (ja) 2020-08-06
CN111355964A (zh) 2020-06-30
CN111355964B (zh) 2021-08-13
EP3672244B1 (en) 2020-10-28
TWI712311B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
KR102219661B1 (ko) 대상의 프라이버시가 보호되는 이미지 프레임의 시퀀스를 인코딩 및 디코딩하기 위한 방법 및 장치
Zhang et al. Hiding privacy information in video surveillance system
KR101271461B1 (ko) 감시영상의 프라이버시 정보 보호 장치 및 방법
US20080267403A1 (en) System and method for privacy enhancement via adaptive cryptographic embedding
US10277901B2 (en) Encoding a video stream having a privacy mask
CN106341664B (zh) 一种数据处理方法及装置
KR20130067530A (ko) 영상 보안 전송 장치 및 방법과 그 수신 장치 및 방법
JP4825449B2 (ja) 映像配信システム
KR101460552B1 (ko) 프라이버시 영역의 마스킹 및 복원 방법
Guo et al. An efficient motion detection and tracking scheme for encrypted surveillance videos
KR101381343B1 (ko) 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
Carrillo et al. Compression independent object encryption for ensuring privacy in video surveillance
CN112543327B (zh) 对视频流提供隐私屏蔽的方法、编码器系统和存储介质
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
Ruchaud et al. Privacy protecting, intelligibility preserving video surveillance
US20230269422A1 (en) Selective video modification
JP4654330B2 (ja) 映像変更装置、映像変更方法および映像変更プログラム
US11463240B2 (en) Methods and image processing devices for encoding and decoding private data
Ruchaud et al. ASePPI: Robust Privacy Protection Against De-Anonymization Attacks.
US20160337673A1 (en) Protection of privacy in a video stream by means of a redundant slice
KR20090101332A (ko) 감시 카메라 시스템에서의 위변조 방지와 내용 유포 방지, 화질 개선을 위한 워터마킹과 암호화 기법
Ruchaud et al. ASePPI, an adaptive scrambling enabling privacy protection and intelligibility in H. 264/AVC
Fujiyoshi et al. A scrambling method for Motion JPEG videos enabling moving objects detection from scrambled videos
Yabuta et al. Privacy protection by masking moving objects for security cameras
Jean-Luc Dugelay ASePPI: Robust Privacy Protection Against De-Anonymization Attacks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant