KR102188002B1 - 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법 - Google Patents

프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법 Download PDF

Info

Publication number
KR102188002B1
KR102188002B1 KR1020170165075A KR20170165075A KR102188002B1 KR 102188002 B1 KR102188002 B1 KR 102188002B1 KR 1020170165075 A KR1020170165075 A KR 1020170165075A KR 20170165075 A KR20170165075 A KR 20170165075A KR 102188002 B1 KR102188002 B1 KR 102188002B1
Authority
KR
South Korea
Prior art keywords
image
privacy mask
encoding
pixels
quantization parameter
Prior art date
Application number
KR1020170165075A
Other languages
English (en)
Other versions
KR20180071945A (ko
Inventor
빅토르 에드팜
송 유안
씽 다니엘쏜 판
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20180071945A publication Critical patent/KR20180071945A/ko
Application granted granted Critical
Publication of KR102188002B1 publication Critical patent/KR102188002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/04—Masking or blinding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

프라이버시 마스크를 포함하는 디지털 이미지(20)를 인코딩하는 방법이 개시된다. 본 방법에 따르면, 디지털 이미지의 픽셀들을 나타내는 정보가 수신된다. 그 픽셀은 인코딩 유닛(22)으로 그룹화된다. 또한, 프라이버시 마스크가 이미지상에 적용되는 프라이버시 마스크 영역(21)을 나타내는 정보가 수신된다. 적어도 부분적으로 프라이버시 마스크 영역 내에 위치하는 모든 인코딩 유닛이 식별되고, 프라이버시 마스크 영역은 그 식별된 인코딩 유닛(23)과 정렬되도록 확장된다. 각각의 인코딩 유닛(22)에 대해, 이미지(20)를 인코딩하기 위해 사용될 각각의 양자화 파라미터가 결정된다. 프라이버시 마스크는 이미지의 확장된 프라이버시 마스크 영역(24)에 적용되고, 그 적용된 프라이버시 마스크(24)를 갖는 이미지(20)는 결정된 양자화 파라미터를 이용하여 인코딩된다. 디지털 이미지 인코딩 시스템뿐만 아니라 그러한 시스템을 포함하는 카메라 및 그 방법을 수행하기 위한 컴퓨터 프로그램 제품이 개시된다.

Description

프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법{METHOD OF ENCODING AN IMAGE INCLUDING A PRIVACY MASK}
본 발명은 프라이버시 마스크를 포함하는 디지털 이미지의 인코딩에 관한 것이다.
모니터링 카메라는 다양한 환경을 모니터링하기 위해 실내 및 실외의 다양한 응용분야에서 사용된다. 캡쳐된 장면을 묘사하는 이미지는, 예를 들어, 운영자(operator) 또는 가드(guard)에 의해 모니터링될 수 있다. 특정 상황에서 인간적인 자존심(personal integrity)을 위해 이미지의 일부를 가릴 필요가 있는 경우와 같이 캡처한 이미지의 일부를 다른 부분과 다르게 처리해야 할 필요가 있을 수 있다. 예를 들어, 카메라가 빌딩 내부나 버스 또는 기차 안에 배치되어 있고 외부 환경이 카메라가 수행한 모니터링에서 배제될 때 발생할 수 있다. 또 다른 예로서 창문이 있는 건물이 모니터링될 때 창문을 통해 건물 내부를 모니터링하는 것을 회피할 필요가 있다.
이러한 경우에, 프라이버시 마스크는 감시 장비의 셋업 동안 운영자에 의해 정의될 수 있다. 프라이버시 마스크는 정적 또는 동적일 수 있다. 정적 프라이버시 마스크는 일반적으로 그래픽 사용자 인터페이스에서 이미지에 마스킹될 영역을 표시하는 운영자에 의해 생성된다. 정적 프라이버시 마스크는 운영자가 이동시키거나 제거하기로 결정할 때까지 그대로 유지된다. 동적 프라이버시 마스크는 시간이 지남에 따라 변경될 수 있다. 동적 프라이버시 마스크와 마찬가지로, 운영자는 마스킹이 요구되는 이미지 영역을 표시할 수 있다. 또한 운영자는 프라이버시 마스크가 적용되어야 하는지를 결정하는 설정값을 입력할 수 있다. 예를 들어, 운영자는 이미지 내의 창문 주위에 직사각형을 그릴 수 있으며, 표시된 영역 내에서 얼굴이 검출되면 해당 얼굴이 마스킹되도록 설정할 수 있다. 이러한 동적 프라이버시 마스크는 프라이버시 마스크에 대해 설정된 조건이 만족되지 않는 한 유용할 수 있으며, 뷰(view)를 차단하는 마스크는 없지만 예를 들어 얼굴 검출 알고리즘, 객체 검출 알고리즘 또는 모션 검출 알고리즘이 상기 조건이 만족됨을 검출하면 프라이버시 마스크가 적용된다.
프라이버시 마스크는 이미지에 중첩되어 적용될 수 있다. 일부 프라이버시 마스크는 검정색 또는 착색된 불투명한 영역의 형태를 가진다. 다른 프라이버시 마스크는 이미지 데이터가 프라이버시 마스크 영역을 통해 번지(smeared)게 하거나, 또는 프라이버시 마스크 내의 이미지가 픽셀화 블록으로 분할되고 그 픽셀화 블록의 모든 픽셀이 동일한 값으로 주어지는 픽셀화를 통해 흐림(blurring) 형태로 처리하며, 이로 인해 상기 이미지가 프라이버시 마스크 영역 내에서 블록키(blocky)하게 보이게 된다. 프라이버시 마스크는 많은 경우 직사각형이거나 다른 다각형일 수도 있고, 폐색(occlude)할 영역의 모양에 더 가까운 다른 모양을 가질 수도 있다.
카메라가 이미지들을 캡처할 때 이미지들은 보거나 저장될 수 있는 컨트롤 센터와 같은 사용 사이트로 일반적으로 전송된다. 이들은 소위 말하는 "에지 저장소" 즉, 카메라에서의 저장소에 저장될 수 있으며, SD 카드와 같은 카메라의 보드 또는 NAS와 같은 카메라와 연결된 에지 저장소에 저장될 수도 있다. 전송 또는 에지 저장 전에, 이미지들은 대역폭 및 저장공간을 절약하기 위해 인코딩된다. 인코딩은 H.264 표준 또는 다른 인코딩 표준에 따라 다양한 방식으로 수행될 수 있다. 전부는 아니지만, 대부분의 비디오 인코딩은 손실이 있으며, 이는 원본 이미지에 있는 정보가 인코딩 중에 손실되고 디코딩시 회복될 수 없음을 의미한다. 원본 이미지를 나타내는데 필요한 비트 수를 줄이는 것과 결과 이미지 품질 간에는 트레이드 오프(trade-off)가 있다. 가용 비트를 가능한 효율적으로 사용하는 인코딩 방식을 개발하려는 노력이 이루어지고 있다.
대부분의 비디오 압축 표준은 방송 및 영화 촬영용으로 원래 개발되었지만 요구 사항이 다른 다양한 분야에서도 사용된다. 이러한 분야 중 하나는 모니터링 또는 감시분야이며, 모니터링 또는 감시 용도로 인코딩을 최적화하기 위한 노력이 이루어졌다. 모니터링 응용분야에 특히 유용한 인코딩 방법의 예는 출원인의 EP 3 021 583에 개시되어 있다. 이러한 인코딩 방법이 상당한 효율성 개선을 가능하게 하지만, 인코딩을 더욱 개선하고자 하는 욕구가 여전히 남아있다. 예를 들어, 프라이버시 마스크를 포함하는 이미지에서, 비트는 항상 가장 중요한 이미지나 이미지의 가장 중요한 부분에 소비되지 않을 수도 있다. 또한 인코딩 및 디코딩된 이미지에 시각적 잡음들(visual artefacts)이 있을 수 있다.
본 발명의 목적은 이용 가능한 대역폭 및 저장소의 효율적인 사용을 가능하게 하는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하는 방법을 제공하는 것이다.
다른 목적은 성가신 시각적 잡음들(annoying visual artefacts)을 감소시키는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하는 방법을 제공하는 것이다.
또 다른 목적은 프라이버시 마스크에 의해 폐색(occluded)되어야 하는 이미지 정보에 액세스할 수 없도록 보장하는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 이미지를 표현하기 위해 유효 비트를 효율적으로 사용할 수 있는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템을 제공하는 것이다.
또한 본 발명의 목적은 인코딩 및 디코딩된 이미지에서 시각적 잡음들을 감소시키는 것을 가능하게 하는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템을 제공하는 것이다.
추가적인 목적은 프라이버시 마스크에 의해 제공되는 보호와 관련하여 개선된 보안을 가능하게 하는 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템을 제공하는 것이다.
제1 양태에 따르면, 이들 및 다른 목적은 전체 또는 적어도 일부분에서, 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하는 방법에 의해 달성되며, 상기 방법은, 디지털 이미지의 픽셀들을 나타내는 정보를 수신하는 단계, 상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하는 단계, 프라이버시 마스크가 상기 이미지 상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하는 단계, 적어도 부분적으로 프라이버시 마스크 영역 내에 위치하는 모든 인코딩 유닛을 식별하는 단계, 각 인코딩 유닛에 대해, 상기 식별된 인코딩 유닛과 정렬되도록 프라이버시 마스크 영역을 확장하는 단계, 이미지를 인코딩하기 위해 사용될 각각의 양자화 파라미터를 결정하는 단계, 상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하는 단계, 상기 결정된 양자화 파라미터들을 이용하여 상기 적용된 프라이버시 마스크를 갖는 상기 이미지를 인코딩하는 단계를 포함한다. 이러한 방식으로, 프라이버시 마스크에 의해 차단될 모든 이미지 데이터가 적절한 방식으로 인코딩될 수 있음을 보장할 수 있다. 예를 들어, 프라이버시 마스크에 의해 커버되는 영역에 대해 하나의 양자화 파라미터를 설정하는 것이 가능하고, 나머지 이미지에 대해 다른 양자화 파라미터를 설정하는 것이 가능하다. 초기에 부분적으로 프라이버시 마스크 영역 내에 있는 블록 부분의 이미지 데이터가 프라이버시 마스크에 의해 차단될 것으로 예상되는 정보에 비의도적으로 액세스하지 않도록 보장하는 것도 가능하다. 이는 적어도 이론적으로, 인코딩 유닛에 대한 양자화 파라미터의 결정이 이미지 분석 또는 이미지 통계에 기초하여 이루어지는 인코딩 방식에서 일어날 수 있다. 초기 프라이버시 마스크 영역의 부분적 내부 및 부분적 외부의 인코딩 유닛에 대한 양자화 파라미터가 그 인코딩 유닛 내의 이미지 데이터의 분석에 기초하는 것이라면, 초기 프라이버시 마스크에 의해 자체적으로 커버되는 이미지 데이터는 초기 프라이버시 마스크 외부에 있는 동일한 인코딩 유닛 내의 이미지 데이터의 인코딩에 영향을 미칠 것이며, 프라이버시 마스크에 의해 보호되어야 하는 이미지 데이터에 관한 일부 정보는 양자화 파라미터의 리버스 엔지니어링(reverse engineering)을 통해 얻을 수 있다. 또한, 프라이버시 마스크 테두리의 급격한 품질 변화를 피할 수 있으므로 시각적 잡음을 줄일 수 있다.
본 발명의 방법의 변형 예에 따르면, 미리결정된 인코딩 파라미터는 식별된 인코딩 유닛을 인코딩하기 위해 사용되며, 상기 미리 결정된 인코딩 파라미터는 미리 결정된 인코딩 유닛 크기 및 미리 결정된 양자화 파라미터 중 적어도 하나일 수 있다. 미리결정된 인코딩 유닛 크기 또는 양자화 파라미터를 실시함으로써, 프라이버시 마스크에 의해 차단될 이미지 데이터에 관한 정보가 마스크된 영역 내의 양자화 파라미터 또는 인코딩 유닛 크기의 공간 패턴의 연구에 의해 액세스될 수 없다는 것이 보장될 수 있다.
상기 이미지를 인코딩하기 위해 사용될 각 양자화 파라미터를 결정하는 단계는 상기 식별된 인코딩 유닛들의 양자화 파라미터들을 미리결정된 감소된 품질의 양자화 파라미터로 설정하는 단계를 포함할 수 있다. 이는 프라이버시 마스크에 의해 커버되는 이미지 부분을 인코딩하기 위해 사용되는 비트의 수를 감소시키는 것을 가능하게 한다. 그렇지 않고, 양자화 파라미터의 결정이 프라이버시 마스크에 관계없이 통상적으로 수행된다면, 프라이버시 마스크에 의해 커버되는 이미지의 부분은 사용자에게 아무런 가치가 없는 고품질로 인코딩될 수 있다. 대신에, 프라이버시 마스크에 의해 커버되는 이미지 부분의 품질을 감소시킴으로써, 비트는 모니터링 목적으로 실제 사용되는 관심있는 다른 이미지 부분에 사용하기 위해 세이브될 수 있다.
식별된 인코딩 유닛 내의 픽셀은 미리 결정된 큰 사이즈의 변형된 인코딩 유닛으로 그룹핑되거나 재그룹핑될 수 있다. 일반적으로, 작은 인코딩 유닛을 사용하여 이미지 부분을 인코딩하는 것보다 큰 인코딩 유닛을 사용하여 그 이미지 부분을 인코딩하기 위해 더 적은 비트가 필요하다. 큰 인코딩 유닛을 사용하면 더 많은 정보가 손실될 수 있지만, 프라이버시 마스크의 경우 그곳에 보여줄 관심있는 이미지 데이터가 없기 때문에 걱정할 필요가 없다. 인코딩 유닛의 크기가 이미지 데이터의 분석에 기초하여 결정되는 인코딩 방식이 있다. 이러한 방식에서, 정보는 적어도 이론적으로 프라이버시 마스크 영역 내에서 인코딩 유닛 크기의 공간 패턴의 리버스 엔지니어링에 의해 프라이버시 마스크 아래에서 유출될 수 있다. 확장된 프라이버시 마스크 영역 내의 픽셀들을 그룹화하기 위한 미리결정된 인코딩 유닛 크기를 설정함으로써, 이러한 위험은 회피된다.
프라이버시 마스크는 균일한 컬러, 흐림(blurring) 및 픽셀화 중 적어도 하나를 포함할 수 있다.
본 방법의 변형 예에 따르면, 프라이버시 마스크는 프라이버시 마스크 영역 내의 픽셀들이 인접한 픽셀들의 픽셀화 그룹들로 그룹화되는 픽셀화를 포함하며, 여기서, 각각의 픽셀화 그룹의 각 픽셀의 픽셀값은 각각의 픽셀화 그룹을 나타내는 공통 픽셀값으로 설정되고, 상기 방법은 상기 프라이버시 마스크 영역 내의 상기 이미지의 픽셀들을 상기 픽셀화 그룹들에 대응하는 인코딩 유닛들로 그룹화하는 단계를 더 포함한다. 이러한 방법은 프라이버시 마스크의 경계에서 품질 차이에 의해 야기되는 성가신 시각적 잡음을 회피하는 것을 가능하게 한다. 또한, 인코딩 유닛이 프라이버시 마스크에 의해 커버되어야 하는 이미지 데이터에 관한 정보를 유도하는데 사용될 수 있는 픽셀화와 다른 공간 패턴을 형성하지 않도록 함으로써 보안을 향상시킨다.
상기 이미지를 인코딩하기 위해 사용될 각 양자화 파라미터를 결정하는 단계는, 이미지 내의 관련 영역의 식별에 기초하여 각 인코딩 유닛에 대한 양자화 파라미터를 설정하는 단계를 포함할 수 있으며, 관련 영역의 인코딩 유닛에 제 1 양자화 파라미터가 부여되고, 비관련 영역의 인코딩 유닛에 제 2 양자화 파라미터가 부여되고, 상기 제 1 양자화 파라미터는 상기 제 2 양자화 파라미터보다 높은 화질을 제공하는 압축을 나타낸다. 양자화 파라미터를 결정하기 위해 이러한 접근법을 사용하여 가용 대역폭 및 저장소의 효율적인 사용을 가능하게 한다. 이미지의 관련 영역을 나타내지 않는 데 사용되는 다수의 비트를 유지하는 것이 가능하여 이미지의 관련 영역을 고품질로 표현할 수 있다.
상기 이미지를 인코딩하기 위해 사용될 각 양자화 파라미터를 결정하는 단계는, 각각의 인코딩 유닛에 대한 그룹 값을 형성하기 위해 각 인코딩 유닛에 대한 픽셀을 나타내는 정보의 공간 통계적 척도(spatial statistical measure)를 계산하는 단계, 그룹 값들 간의 차이를 계산하는 단계, 상기 차이를 임계 값과 비교하는 단계, 상기 차이가 임계 값과 동일하거나 그 이상이면 상기 인코딩 유닛을 상기 이미지의 관련 영역에 있는 것으로 식별하는 단계, 상기 차이가 상기 임계 값 미만이면 상기 인코딩 유닛을 상기 이미지의 관련 영역이 아닌 영역에 있는 것으로 식별하는 단계를 더 포함할 수 있다. 이는 이미지에서 관련성이 있거나 관련성이 없는 영역을 식별하는 효율적인 방법을 제공할 수 있다.
상기 공간 통계적 척도는 상기 정보의 첨도(kurtosis), 왜곡(skewness), 편차(variance), 표준 편차, 사분 범위(interquartile range), 중간 값, 평균, 합계로 이루어진 그룹 중 적어도 하나 일 수 있다.
각 인코딩 유닛은 적어도 256 픽셀들을 포함할 수 있다. 이 크기는 사람의 얼굴의 크기에 대응할 수 있으며, 많은 모니터링에서 이미지의 관련 부분으로 간주할 수 있다.
이미지 내의 픽셀을 나타내는 정보는 휘도, 광 강도 및 컬러 값에 관한 데이터로 이루어진 그룹 중 적어도 하나 일 수 있다.
제 2 양태에 따르면, 이들 및 다른 목적들은 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템에 의해 전체적으로 또는 부분적으로 달성되며, 상기 시스템은, 상기 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하고, 상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하도록 구성된 수신 모듈, 프라이버시 마스크가 상기 이미지 상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하도록 구성된 프라이버시 마스크 입력 모듈, 상기 프라이버시 마스크 영역 내에 적어도 부분적으로 위치하는 모든 인코딩 유닛을 식별하고, 상기 식별된 코딩 유닛과 정렬되도록 상기 프라이 비트 마스크 영역을 확장하도록 구성된 적응 모듈(adaptation module), 상기 이미지를 인코딩하기 위해 사용될 각각의 인코딩 유닛에 대한 각각의 양자화 파라미터를 결정하도록 구성된 압축 결정 모듈, 상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하도록 구성된 프라이버시 마스크 적용 모듈, 및 상기 결정된 양자화 파라미터를 이용하여 적용된 프라이버시 마스크를 갖는 이미지를 인코딩하도록 구성된 인코더 모듈을 포함한다. 이러한 인코딩 시스템을 사용하여 대역폭 및 저장소의 효율적인 사용을 보장할 수 있다. 초기 프라이버시 마스크에 의해 부분적으로 커버되는 인코딩 유닛의 비마스크 부분(non-masked parts)을 통해 프라이버시 마스크에 의해 차단되는 이미지 데이터에 대한 정보의 유출(leakage)을 회피하는 것도 가능하다. 제 2 양태의 인코딩 시스템은 일반적으로 제 1 양태의 방법과 동일한 방식으로 장점들을 수반하여 구현될 수 있다.
일 실시 예에서, 프라이버시 마스크 입력 모듈은 프라이버시 마스크 영역 내의 픽셀들이 이웃한 픽셀들의 픽셀화 그룹들로 그룹화되는 픽셀화에 대한 정보를 수신하도록 구성되고, 상기 수신 모듈은 상기 프라이버시 마스크 영역 내의 상기 이미지들의 픽셀들을 상기 픽셀 화그룹들에 대응하는 인코딩 유닛들로 그룹화하도록 구성되고, 상기 프라이버시 마스크 적용 모듈은 각각의 픽셀화 그룹의 각 픽셀의 픽셀 값을 각각의 픽셀화 그룹을 나타내는 공통 픽셀 값으로 설정하도록 구성된다. 이러한 방식으로, 프라이버시 마스크의 경계에서 성가신 시각적 잡음이 회피될 수 있다. 또한 개선된 보안은 제1 양태의 방법과 관련하여 상술한 바와 같이 보장될 수 있다.
압축 결정 모듈은 이미지 내의 관련 영역들의 식별에 기초하여 각 인코딩 유닛에 대한 양자화 파라미터를 설정하도록 구성될 수 있으며, 관련 영역의 인코딩 유닛에 제 1 양자화 파라미터가 부여되고, 관련 영역이 아닌 인코딩 유닛에 제 2 양자화 파라미터가 부여되고, 상기 제 1 양자화 파라미터는 상기 제 2 양자화 파라미터보다 높은 화질을 제공하는 압축을 나타낸다. 따라서, 인코딩 시스템은 이용 가능한 비트들을 효율적으로 사용할 수 있다.
상기 인코딩 시스템의 압축 결정 모듈은 각각의 인코딩 유닛에 대한 그룹 값을 형성하기 위해 각 인코딩 유닛에 대한 픽셀을 나타내는 정보의 공간 통계적 척도를 계산하고, 그룹 값들 간의 차이들을 계산하고, 상기 차이들을 임계 값과 비교하고, 상기 차이가 상기 임계 값과 동일하거나 이상이면 상기 인코딩 유닛을 상기 이미지의 관련 영역에 있는 것으로 식별하고, 상기 차이가 상기 임계 값 미만이면 상기 인코딩 유닛을 상기 이미지의 관련 영역이 아닌 영역에 있는 것으로 식별하도록 구성될 수 있다. 이런 방식으로 인코딩 시스템은 모니터링을 사용하는 경우에 필요성을 고려하여 비트가 현명하게 소비되도록 할 수 있다.
제 3 양태에 따르면, 이들 및 다른 목적은 제 2 양태에 따른 디지털 인코딩 시스템을 포함하는 카메라에 의해 전체적으로 또는 부분적으로 달성된다.
제 4 양태에 따르면, 이들 및 다른 목적은 전체적으로 또는 부분적으로, 프로세서에 의해 실행될 때 제 1 양태에 따른 방법을 수행하도록 적응된 명령들을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 상세한 설명 및 특정 예는 본 발명의 바람직한 실시예를 나타내지만, 단지 예시로서 주어진 것으로 이해되어야 하며, 본 발명의 범위 내의 다양한 변경 및 수정은 상세한 설명으로부터 당업자에게 자명해질 것이다.
따라서, 본 발명은 설명된 디바이스의 특정 컴포넌트 부분들 또는 그러한 디바이스 및 방법이 변경될 수 있는 것으로 기술된 방법들의 단계들에 제한되지 않는 것으로 이해되어야 한다. 또한, 본 명세서에서 사용된 용어는 특정 실시예를을 설명하기 위한 것일 뿐이며, 제한하려는 의도가 있는 것은 아니다. 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, 단수, "그", "상기" 라는 문구는 명백하게 다르게 지시하지 않는 한 하나 이상의 구성요소가 있음을 의미하는 것으로 의도된다. 따라서, 예를 들어, "오브젝트" 또는 "그 오브텍트"에 대한 의미는 여러 오브젝트 등을 포함할 수 있다. 또한, "포함하는"이라는 단어는 다른 구성요소 또는 단계들을 배제하지 않는다.
본 발명은 첨부된 개략적인 도면을 참조하여 예로서보다 상세하게 기술될 것이며,
도 1은 카메라에 의해 모니터링되는 장면의 사시도이고,
도 2는 디지털 이미지의 예시이며,
도 3은 도 2의 디지털 이미지와 인코딩 유닛들로 그룹화된 픽셀들의 예시이며,
도 4는 도 1의 장면의 이미지의 예시이며,
도 5는 프라이버시 마스크가 적용된 도 4의 이미지의 예시이며,
도 6a 내지 도 6c는 이미지 및 상이한 픽셀화를 도시하며,
도 7은 이미지의 픽셀들이 그룹화된 인코딩 유닛을 도시하는 도 5의 이미지의 예시이며,
도 8은 식별된 인코딩 유닛을 나타내는 도 5 및 도 7의 이미지의 예시이며,
도 9는 프라이버시 마스크가 확장된 도 7의 이미지의 예시이다.
도 10은 본 발명의 방법의 변형예를 나타내는 흐름도이며,
도 11은 일 실시 예에 따른 인코딩 시스템의 블록도이며,
도 12는 일 실시 예에 따른 카메라의 블록도이다.
도 1은 카메라(2)에 의해 모니터링되는 장면(1)을 나타낸다. 장면(1)에는 창문(4)와 출입구(5)가 있는 집(3)이 있다. 자동차(6)는 집 앞에 주차되고, 제1 사람(7)은 집 밖에 서있다. 제2 사람(8)은 집 안에 있고, 창문들(4) 중 하나를 통해 볼 수 있다.
카메라(2)는 장면의 이미지를 캡처한다. 도 2에는 이미지(10)의 주요 구조가 도시된다. 이미지(10)는 카메라(2)의 이미지 센서(도시되지 않음)의 픽셀에 대응하는 다수의 픽셀(11)로 구성된다. 예를 들어 이미지는 1280x720 픽셀, 1920x1080 픽셀 또는 3840x2160 픽셀로 구성될 수 있다.
도 3에 도시된 바와 같이, 이미지(10)의 픽셀(11)은 인접한 픽셀(11)의 인코딩 유닛(12)으로 그룹화될 수 있다. 또한 인코딩 유닛(12)은 매크로블록, 픽셀 블록, 코딩 트리 유닛 또는 코딩 유닛으로 지칭될 수 있다. 인코딩 유닛(12)은 대부분의 경우 8x8, 16x16 또는 32x32 픽셀로 구성된 정사각형이 될 수 있다. 픽셀(11)을 다른 크기 및 형태의 인코딩 유닛으로 그룹화하는 것도 가능하다.
도 4는 카메라(2)에 의해 캡쳐된 이미지(20)를 나타낸다. 이미지(20)에서, 집 안의 제2 사람(8)을 창문을 통해 볼 수 있음을 알 수 있다. 장면(1)을 모니터링하는 목적은 집(3) 밖에서 일어나는 일을 추적하는 것이지 집(3) 안에서 일어나는 일을 추적하는 것이 아니다. 따라서, 집(3)의 내부를 나타내는 이미지(20)의 부분을 가리는(mask) 것이 바람직할 수 있다. 도 5에 도시된 바와 같이, 카메라(2)의 사용자는 이미지 데이터가 차단되어야 할 프라이버시 마스크 영역(21)을 지정할 수 있다. 도 5에서, 프라이버시 마스크(21)는 단순히 검은색 직사각형이다. 따라서, 프라이버시 마스크 (21) 뒤의 이미지 데이터는 장면(1)에서 푸티지(footage)를 보고있는 운영자에게는 보이지 않을 것이다.
프라이버시 마스크(21)는 다른 형태를 취할 수도 있음을 유의해야 한다. 예를 들어, 이미지 위에 검은색 사각형을 중첩하는 대신에 픽셀화된 프라이버시 마스크가 사용될 수 있다. 도 6a에는 사람 얼굴 이미지가 도시된다. 이 얼굴은 얼굴을 마스킹하는 것이 바람직한 장면의 이미지 일부일 수 있으므로 장면에 등장하는 사람은 식별될 수 없다. 픽셀화는 도 6b에서 수행되며, 여기서 이미지 내의 픽셀은 픽셀화 그룹(31)으로 그룹화된다. 각각의 픽셀화 그룹(31)에 대해, 픽셀화 그룹(31)의 모든 픽셀은 그 픽셀화 그룹(31) 내의 픽셀을 나타내는 하나의 공통 값으로 설정된다. 예를 들어, 픽셀화 그룹(31) 내의 모든 픽셀 값의 평균이 공통 값으로서 사용될 수 있다. 그룹 내의 하나의 단일 픽셀의 값이 동일한 픽셀화 그룹의 모든 픽셀에 대한 공통 값으로 사용되는 픽셀화의 변형과, 픽셀화 그룹 내의 픽셀의 서브세트의 평균이 그 공통 값으로서 사용되는 변형도 있다.
도 6b에서 알 수 있는 바와 같이, 이미지(30) 내에 얼굴이 있음을 검출하는 것도 가능하다. 이미지에서 그 사람을 아는 사람이 그 사람을 알아볼 수도 있다. 도 6c는 보다 큰 크기의 픽셀화 그룹(32)이 사용되는 예를 도시한다. 도 6b와 동일한 방식으로, 픽셀화 그룹(32) 내의 모든 픽셀에 대해 공통 픽셀 값이 설정되지만, 픽셀화 그룹이 더 크기 때문에, 마스크된 영역에 정보가 덜 남게되어 얼굴이 있는지 알기 어렵다. 픽셀화 그룹의 크기는 이미지의 크기, 마스킹될 대상까지의 거리 및 대상을 식별할 수 없는 정도(degree)와 같은 요소에 따라 선택될 수 있다.
도 7에서, 이미지(20)가 한번 더 도시되었지만, 이는 이미지(20)의 픽셀들이 그룹화된 인코딩 유닛(22)을 개략적으로 도시한 것이다. 프라이버시 마스크(21)는 각각 다수의 인코딩 유닛(22)을 완전히 커버(cover)하고, 또한 다수의 인코딩 유닛(22)을 부분적으로 커버(cover)한다는 것을 알 수 있다. 프라이버시 마스크(21)에 의해 적어도 부분적으로 커버되는 모든 인코딩 유닛(22)은 도 8에서 점선 패턴으로 표시되고, 식별된 인코딩 유닛(23)으로 지칭될 것이다. 프라이버시 마스크 (21)에 의해 적어도 부분적으로 커버되는 모든 인코딩 유닛(22)은 도 8에서 점선 패턴으로 표시되고, 식별된 인코딩 유닛(23)으로 지칭될 것이다. 명확성을 위해, 점선으로 표시된 패턴이 검은색 사각형의 상부에서 보이지 않더라도, 프라이버시 마스크(21)에 의해 완전히 커버된 인코딩 유닛이 식별된 인코딩 유닛(23)에 포함된다.
본 발명에 따르면, 도 7 및 도 8에 도시된 초기 프라이버시 마스크 영역(21)은 확장된 프라이버시 마스크 영역(24)을 형성하는 식별된 인코딩 유닛(23)과 정렬되도록 확장된다. 따라서, 초기 프라이버시 마스크 영역(21), 즉 식별된 인코딩 유닛(23) 내에 적어도 부분적으로 존재하는 모든 인코딩 유닛(22)은 확장된 프라이버시 마스크(24)에 의해 커버된다. 따라서, 초기 프라이버시 마스크(21) 외부인 식별된 인코딩 유닛(23) 내의 이미지 데이터가 초기 프라이버시 마스크 영역(21) 내의 이미지 데이터에 대한 액세스를 부주의하게 제공하지 않도록 보장될 수 있다. 즉, 프라이버시 마스크 아래에서 정보의 유출(leakage)이 방지된다. 이는 부분적으로 커버링된 인코딩 유닛들의 인코딩이 적어도 부분적으로 프라이버시 마스크 영역(21) 내에 존재하는 정보에 기초하는 경우에 발생할 수 있다.
도 6의 프라이버시 마스크의 확장은 다소 과장된 것처럼 보일 수 있지만, 인코딩 유닛(22)은 개략적이라는 것을 유의해야 한다. 도면의 명확성을 위해, 픽셀 및 인코딩 유닛은 크기가 과장되어 있다. 예를 들어, 1920x1080 픽셀의 이미지 프레임을 16x16 픽셀의 인코딩 유닛으로 나눌 경우 120x68 인코딩 유닛이 될 것이며, 이는 복잡한 도면을 나타낼 것이다.
확장된 프라이버시 마스크(24)로 이미지(20)를 인코딩하기 위해, 양자화 파라미터는 이미지(20) 내의 각 인코딩 유닛(22)에 대해 결정된다. 일부 응용에서는, 전체 이미지에 대해 하나의 양자화 파라미터를 설정하는 것이 가능할 수 있으며, 따라서 각각의 인코딩 유닛 (22)에 동일한 양자화 파라미터를 부여한다. 양자화 파라미터는 사용자 입력에 의해 설정되거나 다른 방식으로, 예를 들어 비디오 시퀀스 내의 이미지의 움직임에 기초하여 결정될 수 있다. 그러나, 많은 경우에, 이미지의 상이한 부분에 대해 상이한 양자화 파라미터를 설정하는 것이 유리하며, 개별적인 인코딩 유닛까지도 가능하다. 일부 인코딩 방식에서는, 이미지 데이터가 나머지 이미지보다 덜 압축되어야 하는 ROI(regions of interest)로 종종 언급되는 하나 이상의 관심 영역을 설정할 수 있다. 도 1에 도시된 장면(1)을 예로 들면, 사용자는 그 앞의 영역에서 집(3)을 커버하는 ROI를 설정할 수 있다. 또한 관심 없는 영역을 설정할 수도 있다. 예를 들어, 사용자는 집(3) 위의 하늘에 관심이 없을 수 있으므로 하늘을 나타내는 이미지 영역이 나머지 이미지보다 더 압축되어야 한다고 결정할 수 있다.
또한, ROI가 동적이 되도록 ROI 기반 인코딩 방법을 더욱 개선하기 위한 노력이 이루어졌다. 그러한 하나의 방법은 출원인의 유럽 특허 EP 3,021,583 호에 개시되어 있으며, 이는 본 명세서에 참고로 포함된다. 이 방법에 따르면 이미지의 관련 영역과 비관련 영역은 이미지 픽셀의 블록 통계를 연구하여 결정된다. 공간 통계적 척도는 각 픽셀 그룹에 대한 그룹 값을 형성하기 위해 이미지 내의 인접 픽셀의 각 그룹에 대해 결정된다. 그룹 값은 서로 비교되며, 한 그룹의 그룹 값이 인접 그룹과 충분히 다를 경우 해당 그룹이 이미지의 관련 영역에 있는 것으로 결정된다. 이러한 동적 ROI를 사용하면, 관심있는 세부정보가 있는 이미지 영역에서 좋은 이미지 품질을 얻을 수 있으며, 관심있는 세부정보가 포함되지 않은 이미지 영역에 대해서는 비트를 적게 소비할 수 있다. 예를 들어, 모니터링 상황에서 사람의 얼굴은 관련성이 있는 것으로 간주될 수 있지만, 잔디밭 내의 작은 부분은 관련성이 없는 것으로 간주될 수 있다. 그룹 값들이 계산되는 인접 픽셀들의 그룹은 인코딩 유닛(22)과 동일하거나 동일하지 않을 수도 있다. 예를 들어, 이미지의 관련 및 비관련 영역을 식별하기 위해 사용되는 픽셀 그룹은, 예를 들어, 32x32 픽셀의 그룹이 16x16 픽셀로 각각 구성된 4개의 인코딩 유닛을 포함하도록 인코딩 유닛(22)보다 클 수 있다. 이미지의 관련 영역 및 비관련 영역의 식별에 기초하여 인접 픽셀들의 그룹에 대해 양자화 파라미터가 결정되면, 그 양자화 파라미터는 인접 픽셀들의 그룹 내의 모든 인코딩 유닛들에 적용된다.
이용 가능한 대역폭 및/또는 저장소를 잘 이용하기 위해, 상기 방법의 변형에 따르면, 양자화 파라미터는 확장된 프라이버시 마스크(24) 내의 이미지(20)의 부분들로부터의 확장된 프라이버시 마스크(24) 외부의 이미지(20)의 부분들에 대해 다르게 설정될 수 있다. 특히, 디코딩된 이미지 프레임의 낮은 이미지 품질 및 높은 압축을 의미하는 양자화 파라미터가 식별된 인코딩 유닛(23)에 대해 높게 설정될 수 있다. 프라이버시 마스크에 의해 커버되어야 할 이미지 부분에 많은 세부정보들이 있을 수 있으며, 양자화 파라미터들이 결정되는 방법에 따라, 이미지의 그 부분에 대한 낮은 양자화 파라미터들을 유도할 수 있으며, 이는 디코딩된 이미지 프레임의 높은 이미지 품질 및 낮은 압축을 의미한다. 그러나 프라이버시 마스크가 이미지에 일단 적용되면, 프라이버시 마스크에 의해 커버된 영역에는 높은 이미지 품질을 유지할 수 없으며 볼 수 있는 프라이버시 마스크만 있고 관련 이미지 데이터는 없다. 식별된 인코딩 유닛들(23), 즉 확장된 프라이버시 마스크(24)에 의해 커버되는 인코딩 유닛들에 대해 낮은 이미지 품질을 나타내는 양자화 파라미터를 설정함으로써, 비트들이 세이브될 수 있고, 비디오 시퀀스의 다른 이미지, 동일한 모니터링 시스템에 있는 다른 카메라의 이미지 또는 이미지(20)의 다른 부분들에서 보다 잘 사용되도록 배치될 수 있다. 예를 들어, 0-51의 양자화 파라미터가 설정될 수 있는 코덱에서, 0은 최소 압축을 의미하고, 51은 최대 압축(most severe compression)을 의미하며, 51의 양자화 파라미터는 식별된 인코딩 유닛(23)에 대해 설정될 수 있다.
유사하게, 식별된 인코딩 유닛의 픽셀은 미리 결정된 인코딩 유닛 크기의 인코딩 유닛으로 그룹화되거나 재그룹화될 수 있다. 예를 들어, 코덱은 8x8 픽셀에서 64x64 픽셀 범위의 인코딩 유닛 크기 또는 매크로블록 크기 또는 코딩 트리 유닛 크기를 사용할 수 있다. 식별된 인코딩 유닛(23)의 픽셀, 즉 확장된 프라이버시 마스크(24)에 의해 커버되는 픽셀에 대해 64 × 64 픽셀의 미리 결정된 인코딩 유닛 크기가 사용될 수 있다.
프라이버시 마스크는 인코더에 의해 적용되기 때문에 인코딩 유닛이 본질적으로 프라이버시 마스크와 정렬되는 종래의 프라이버시 마스킹 방법이 존재한다는 것을 여기서 알 수 있다. 이러한 방법들에서, 프라이버시 마스크는 마스킹될 영역을 심하게(severely) 압축함으로써 적용된다. 이에 따라, 프라이버시 마스크 영역에서 정보가 크게 손실되어 이미지 데이터가 뷰어(viewer)에 대해 충분히 차단된다. 이러한 방법은 인코더가 구현되는 방식에 완전히 의존하기 때문에 프라이버시 마스크의 모양을 제어할 수 없다. 상기 동일하게 의도된 프라이버시 마스크는 상이한 인코더들에서 상이하게 적용될 것이며, 이는 이미지 프레임들의 동일한 비디오 시퀀스가 상이한 인코더들로 동시에 전송되는 경우 바람직하지 않을 수 있다. 보안과 관련하여, 그러한 방법은 또한 모든 이미지 데이터가 마스크될 영역에서 인코더에 실제로 제공되기 때문에 신뢰성이 저하될 수 있다. 따라서 프라이버시 마스크 아래에서 정보를 추출할 수 있다.
도 7-9에서, 프라이버시 마스크(21)는 단지 검은색 직사각형이다. 이미 언급한 바와 같이, 프라이버시 마스크는 도 6a-c에 도시된 바와 같이 픽셀화(pixelization)의 형태일 수도 있다. 픽셀화된 프라이버시 마스크를 사용하면 위에서 설명된 방법은 더 향상될 수 있다. 전술한 바와 같이, 초기 프라이버시 마스크(21)는 초기 프라이버시 마스크(21)에 의해 적어도 부분적으로 커버되는 식별된 인코딩 유닛(23)과 정렬되도록 확장되어, 확장된 프라이버시 마스크(24)를 형성한다. 상기 확장된 프라이버시 마스크 영역(24) 내에서, 이미지의 픽셀은 픽셀화 그룹(31, 32)의 크기에 대응하도록 그룹화되거나 재그룹화될 수 있다. 예를 들어, 이미지(20)가 초기에 16x16 픽셀의 인코딩 유닛으로 그룹화되고, 픽셀화 그룹에 대해 설정된 크기가 32x32 픽셀이라고 가정하면, 픽셀 그룹 크기의 불일치가 있음을 알 수 있다. 따라서, 확장된 프라이버시 마스크 영역(24) 내에서, 인코딩 유닛은 각 픽셀화 그룹(31, 32)이 하나의 인코딩 유닛(22)에 대응하도록 픽셀화 그룹(31, 32)과 동일한 크기의 인코딩 유닛(22)으로 그룹화될 수 있다. 이로써, 인코딩 유닛과 픽셀화 그룹의 오정렬로 인한 성가신 시각적 잡음을 피할 수 있다. 인코딩 유닛과 픽셀화 그룹의 이러한 정렬은 프라이버시 마스크를 실제로 확장하지 않고도 수행될 수 있다. 그러나, 이러한 방식으로, 양자화 파라미터가 결정되는 방법에 따라, 부분적으로 커버된 인코딩 유닛의 가시적인 부분을 통해 프라이버시 마스크 아래에서 여전히 정보가 유출될 수 있다.
전술한 방법은 이제 본 발명의 방법의 변형 예의 흐름도인 도 10을 참조하여보다 간단하게 요약될 것이다.
이미지 내의 픽셀들을 나타내는 정보가 수신된다(단계S1). 그 픽셀들은 인접 픽셀들의 인코딩 유닛으로 그룹화된다(S2). 또한, 이미지에 적용되는 프라이버시 마스크를 나타내는 정보가 수신된다(S3). 프라이버시 마스크에 의해 적어도 부분적으로 커버될, 즉 적어도 부분적으로 프라이버시 마스크 영역 내에 있는 이미지 내의 인코딩 유닛이 식별된다(S4). 프라이버시 마스크는, 확장된 프라이버시 마스크 영역을 커버하기 위해, 상기 식별된 인코딩 유닛을 커버하도록 확장된다(S5). 이미지 내의 각 인코딩 유닛에 대해, 양자화 파라미터가 결정된다(S6). 확장된 프라이버시 마스크가 이미지에 적용되고(S7), 상기 이미지는 결정된 양자화 파라미터를 사용하여 프라이버시 마스크로 인코딩된다(S8). 비디오 시퀀스 내의 후속 이미지에 대해 동일한 절차가 사용될 수 있다.
도 11은 상술한 방법들에 따라 동작될 수 있는 인코딩 시스템(40)의 간략한 블록도이다. 인코딩 시스템(40)은 인코딩할 이미지의 픽셀을 나타내는 정보를 수신하도록 구성된 수신 모듈(41)을 포함한다. 전술한 바와 같이, 이 정보는 예를 들어, 휘도, 광 강도 및 컬러 값에 관한 데이터 중 적어도 하나 일 수 있다. 또한 상기 수신 모듈은 상기 픽셀을 인접한 픽셀 그룹의 인코딩 유닛으로 그룹화하도록 구성된다. 또한 인코딩 유닛은 매크로블록 또는 픽셀 블록으로 지칭될 수 있다.
또한 인코딩 시스템(40)은 프라이버시 마스크가 이미지에 적용될 프라이버시 마스크 영역을 나타내는 정보를 수신하기 위한 프라이버시 마스크 입력 모듈(42)을 갖는다. 하나 이상의 프라이버시 마스크가 동일한 이미지에 적용될 수 있고, 이들은 동일하거나 다른 타입, 다른 모양 및 다른 크기일 수 있음을 유의해야 한다. 예를 들어, 하나의 프라이버시 마스크는 검은색 사각형일 수 있고, 다른 프라이버시 마스크는 픽셀화된 사각형일 수 있다. 프라이버시 마스크 정보는 모니터링된 장면의 디스플레이된 이미지 상에서 사용자가 박스를 드로잉하는 것과 같은 임의의 적절한 방식으로 입력될 수 있다. 배경 부분에서 설명된 바와 같이, 또한 프라이버시 마스크 정보는 예를 들어, 사용자에 의해 설정된 조건이 만족되었는지를 결정하기 위해 사용될 수 있는 움직임 검출기, 객체 검출기, 얼굴 검출기로부터 기인할 수 있다.
또한, 인코딩 시스템(40)은 프라이버시 마스크 영역 내에 적어도 부분적으로 위치하는 모든 인코딩 유닛을 식별하고, 그 식별된 인코딩 유닛과 정렬되도록 프라이버시 마스크 영역을 확장하는 적응 모듈(43)을 갖는다. 이러한 방식으로, 상기 적응 모듈은 프라이버시 마스크에 의해 부분적으로 커버되면서 인코딩 유닛이 뷰어(viewer)에 부분적으로 액세스 가능하지 않도록 보장할 수 있다.
압축 결정 모듈(44)은 각각의 인코딩 유닛에 대한 각각의 양자화 파라미터를 결정하기 위해 인코딩 시스템(40)에 포함된다. 이러한 결정은 다양한 공지 또는 가능한 진보적인 방법 중 하나로 수행될 수 있다.
또한 인코딩 시스템(40)은 확장된 프라이버시 마스크 영역에 프라이버시 마스크를 적용하도록 구성된 프라이버시 마스크 적용 모듈(45)을 포함한다.
또한, 인코딩 시스템(40)은 결정된 양자화 파라미터를 이용하여 적용된 프라이버시 마스크를 갖는 이미지의 실제 인코딩을 수행하는 인코더 모듈(46)을 갖는다. 따라서, 인코딩 시스템(40)은 확장된 프라이버시 마스크를 갖는 이미지를 인코딩할 수 있어서, 프라이버시 마스크 아래의 정보 유출이 회피될 수 있고 시각적 잡음이 감소될 수 있다.
전술한 방법의 변형예에 따라, 압축 결정 모듈(44)은 EP 3 021 583에 개시된 바와 같은 동적 ROI 방법에 따라 동작할 수 있다.
도 12에는 카메라(1)의 블록도가 도시되어 있다. 카메라(1)는 일반적으로 그 자체로 공지된 바와 같이, 광학기(51) 및 이미지 센서(52)를 포함한다. 또한 카메라(1)는 상술한 인코딩 시스템(40) 및 이미지 프로세싱 파이프 라인으로도 지칭될 수 있는 이미지 프로세싱 모듈(53)을 포함한다. 이미지 프로세싱 모듈은 예를 들어, 디모자이킹(demosaicing), 노이즈 필터링, 선명화 및 톤 매핑(tone mapping)과 같은 프로세스를 수행할 수 있다. 당업자가 알고 있는 바와 같이, 카메라는 추가적인 컴포넌트를 가질 수 있지만, 본 발명의 의도를 간략하게 설명하기 위해 필요하지 않기 때문에, 이들은 도 12에 도시되지 않았으며, 더 이상 설명되지 않을 것이다.
당업자는 전술한 실시 예들을 여러 가지 방식으로 변형할 수 있고, 상기 실시 예들에 도시된 바와 같은 본 발명의 장점들을 여전히 사용할 수 있음을 이해할 것이다. 일례로서, 양자화 파라미터는 임의의 원하는 방식으로 결정될 수 있다. 이들은 전체 이미지에 대해 정적으로 설정되거나 이미지 분석 또는 이미지 통계에 기반한 보다 정교한 방식으로 결정될 수 있다.
프라이버시 마스크는 상이한 형태를 취할 수 있고, 예를 들어 사각형 또는 다른 형상의 착색된 또는 검은색 영역이 될 수 있다. 이들은 상술한 바와 같이 픽셀화될 수 있거나, 또는 각 픽셀의 픽셀 값을 인접 픽셀의 픽셀 값의 평균으로 대체함으로써 즉 다소 강건한 노이즈 필터를 적용하여 흐려지거나 번질 수 있다. 픽셀화와 번짐(smearing)은 때론 흐림(blurring)으로 언급된다.
이미지의 다른 인코딩 유닛이 인코딩되는 방식에 따라 인코딩 및 디코딩된 이미지가 블럭키(blocky)하게 보일 수 있다. 예를 들어, 하나의 인코딩 유닛 또는 매크로블록이 인트라 모드(I- 블록)로 코딩되고, 인접한 인코딩 유닛 또는 매크로블록이 인터 모드(P- 블록 또는 B- 블록)로 인코딩되는 경우, 그 사이의 경계가 확실히 보일 수 있다. 따라서, 많은 인코더가 인코딩 유닛들 간의 경계에 걸친 차이를 완화(smooth)할 수 있는 디블로킹(deblocking) 필터를 적용한다. 이는 경계의 양측에 몇 개의 픽셀 값의 평균을 형성하고 경계 근처의 픽셀 값을 평균값으로 대체함으로써 수행될 수 있다. 이미지 데이터가 프라이버시 마스크 아래로부터 유출되지 않도록 보장하기 위해, 이러한 디블로킹 필터는 마스크된 인코딩 유닛, 즉 식별된 코딩 유닛(23)에 대해 턴 오프될 수 있다.
상술한 본 방법의 단계들의 순서는 중요하지 않다는 것을 유의해야 한다. 예를 들어, 양자화 파라미터는 우선 프라이버시 마스크에 관계없이 이미지의 모든 인코딩 유닛에 대해 설정될 수 있고, 그 양자화 파라미터는 식별된 인코딩 유닛에서 오버라이드(overridden)될 수 있다. 또한, 프라이버시 마스크에 의해 커버될 인코딩 유닛을 먼저 식별하고, 그들을 위한 저품질 양자화 파라미터를 설정한 다음 확장된 프라이버시 마스크 영역 외부의 인코딩 유닛에 대한 양자화 파라미터를 결정할 수도 있다. 유사하게, 이미지의 픽셀들은 먼저 모두 인코딩 유닛들로 그룹화될 수 있고, 확장된 프라이버시 마스크 영역에서 재그룹화되거나, 확장된 프라이버시 마스크 영역 내에서 하나의 방식으로 그리고 확장된 프라이버시 마스크 영역 외부에서 다른 방식으로 그룹화될 수 있다.
인코딩은 양자화 파라미터 및/또는 인코딩 유닛 크기를 설정하는 것이 가능한 한 임의의 원하는 코덱을 사용하여 임의의 원하는 방법에 따라 수행될 수 있다. H.264, H.265, MPEG-4 Part 2 또는 VP9 코덱과 같은 블록 기반 하이브리드 코덱이 인코딩을 위해 사용될 수 있다. 가장 일반적인 형태에서, 본 발명은 양자화 파라미터들 및/또는 인코딩 유닛 크기들에 대해 인플렉서블(inflexible)한 임의의 인코딩 방법으로 실제 사용될 수 있다.
도 12와 관련하여 설명된 바와 같이, 인코딩 시스템은 카메라에 통합될 수 있다. 그러나 인코딩 시스템을 별도로 배치하고 카메라에 동작가능하게 연결할 수도 있다. 또한, 예를 들면, 프라이버시 마스크없이 카메라에서 제어 센터로 이미지를 전송하고, 제어 센터(예를 들어, VMS(비디오 관리 시스템))에 프라이버시 마스크를 적용하는 것도 가능하다. 이러한 경우에, 인코딩 시스템은 VMS 또는 제어 센터에 배치될 수 있고, 인코딩된 이미지는 카메라로부터 수신되고, 디코딩된 후 재인코딩되지만, 프라이버시 마스크로 트랜스코딩(transcoding)하기 위해 사용될 수 있다. 다른 액세스 권한이 이미지의 다른 사용자에게 적용되는 경우 이는 중요할 수 있다. 예를 들어, 경찰이 나중에 변론이용(forensic use)을 위해 사용할 수 있도록 프라이버시 마스크없이 비디오 시퀀스를 녹화하는 것이 바람직할 수 있지만, 라이브 전송을 감시하는 감시자는 마스크되지 않은 이미지를 볼 수 있도록 허여되지 않을 수 있다.
본 방법은 컴퓨터 판독 가능 저장 매체에 저장된 명령을 실행함으로써 수행될 수 있다. 명령들은 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 집적 회로에 구현된 주문 제작 처리 장치, ASIC, FPGA, 또는 개별 컴포넌트를 포함하는 논리 회로와 같은 임의의 종류의 프로세서에 의해 실행될 수 있다.
상기 인코딩 시스템은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로서 구현될 수 있다.
카메라는 가시 광선 카메라, 적외선 카메라 또는 열 카메라와 같은 모든 종류의 카메라일 수 있다.
따라서, 본 발명은 도시된 실시 예들로 제한되어서는 안되며, 첨부된 청구 범위에 의해서만 정의되어야 한다.

Claims (15)

  1. 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하는 방법에 있어서,
    디지털 이미지의 픽셀들을 나타내는 정보를 수신하는 단계,
    상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하는 단계,
    프라이버시 마스크가 상기 이미지상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하는 단계,
    적어도 부분적으로 상기 프라이버시 마스크 영역 내에 위치하는 모든 인코딩 유닛들을 식별하는 단계,
    상기 식별된 인코딩 유닛들과 정렬되도록 상기 프라이버시 마스크 영역을 확장하는 단계,
    각 인코딩 유닛에 대해, 상기 이미지를 인코딩하기 위해 사용되는 각각의 양자화 파라미터를 결정하는 단계,
    상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하는 단계, 및
    상기 결정된 양자화 파라미터들을 이용하여 상기 적용된 프라이버시 마스크를 갖는 상기 이미지를 인코딩하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  2. 제1항에 있어서, 미리결정된 인코딩 파라미터는 상기 식별된 인코딩 유닛들을 인코딩하기 위해 사용되며, 상기 미리 결정된 인코딩 파라미터는 미리 결정된 인코딩 유닛 크기 및 미리 결정된 양자화 파라미터 중 적어도 하나인 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  3. 제1항에 있어서, 상기 이미지를 인코딩하기 위해 사용될 각각의 양자화 파라미터를 결정하는 단계는 상기 식별된 인코딩 유닛들의 양자화 파라미터들을 미리 결정된 감소된 품질의 양자화 파라미터로 설정하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  4. 제1항에 있어서, 상기 프라이버시 마스크는 상기 프라이버시 마스크 영역 내의 픽셀들이 인접 픽셀들의 픽셀화 그룹들로 그룹화되는 픽셀화를 포함하고, 각각의 픽셀화 그룹의 각 픽셀의 픽셀 값은 각각의 픽셀화 그룹을 나타내는 공통 픽셀 값으로 설정되고,
    상기 방법은 상기 프라이버시 마스크 영역 내의 상기 이미지의 픽셀들을 상기 픽셀화 그룹들에 대응하는 인코딩 유닛들로 그룹화하는 단계를 더 포함하는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  5. 제1항에 있어서, 상기 이미지를 인코딩하기 위해 사용될 각 양자화 파라미터를 결정하는 단계는,
    관련 영역들의 인코딩 유닛들에는 제 1 양자화 파라미터가 부여되고, 비관련 영역들의 인코딩 유닛들에는 제 2 양자화 파라미터가 부여되도록, 상기 이미지 내의 관련 영역들의 식별에 기초하여 각 인코딩 유닛에 대한 양자화 파라미터를 설정하는 단계를 포함하며, 상기 제 1 양자화 파라미터는 상기 제 2 양자화 파라미터보다 높은 화질을 제공하는 압축을 나타내는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  6. 제5항에 있어서, 상기 이미지를 인코딩하기 위해 사용될 각각의 양자화 파라미터를 결정하는 단계는,
    각각의 인코딩 유닛에 대한 그룹 값을 형성하기 위해 각 인코딩 유닛에 대한 픽셀들을 나타내는 정보의 공간 통계적 척도를 계산하는 단계,
    그룹 값들 간의 차이들을 계산하는 단계,
    상기 차이들을 임계 값과 비교하는 단계,
    상기 차이가 상기 임계 값 이상이면, 상기 인코딩 유닛을 상기 이미지의 관련 영역에 있는 것으로 식별하는 단계, 및
    상기 차이가 상기 임계 값 미만이면, 상기 인코딩 유닛을 상기 이미지의 비관련 영역에 있는 것으로 식별하는 단계를 포함하는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  7. 제6항에 있어서, 상기 공간 통계적 척도는 상기 정보의 합계, 평균, 중간 값, 사분 범위, 표준 편차, 편차, 왜곡 및 첨도로 이루어진 그룹 중 적어도 하나인 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  8. 제6항에 있어서, 각각의 인코딩 유닛은 적어도 256 픽셀들을 포함하는 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  9. 제1항에 있어서, 상기 이미지의 픽셀들을 나타내는 상기 정보는 휘도, 광 강도 및 컬러 값들에 관한 데이터로 이루어진 그룹 중 적어도 하나인 것을 특징으로 하는 디지털 이미지를 인코딩하는 방법.
  10. 프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템에 있어서,
    상기 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하고, 상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하도록 구성된 수신 모듈,
    프라이버시 마스크가 상기 이미지상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하도록 구성된 프라이버시 마스크 입력 모듈,
    상기 프라이버시 마스크 영역 내에 적어도 부분적으로 위치하는 모든 인코딩 유닛들을 식별하고, 상기 식별된 인코딩 유닛들과 정렬되도록 상기 프라이버시 마스크 영역을 확장하도록 구성된 적응 모듈,
    상기 이미지를 인코딩하기 위해 사용될 각각의 인코딩 유닛에 대한 각각의 양자화 파라미터를 결정하도록 구성된 압축 결정 모듈,
    상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하도록 구성된 프라이버시 마스크 적용 모듈, 및
    상기 결정된 양자화 파라미터들을 이용하여 상기 적용된 프라이버시 마스크를 갖는 상기 이미지를 인코딩하도록 구성된 인코더 모듈을 포함하는 것을 특징으로 하는 디지털 이미지 인코딩 시스템.
  11. 제10항에 있어서,
    상기 프라이버시 마스크 입력 모듈은 상기 프라이버시 마스크 영역 내의 픽셀들이 인접 픽셀들의 픽셀화 그룹들로 그룹화되는 픽셀화에 관한 정보를 수신하도록 구성되며,
    상기 수신 모듈은 상기 프라이버시 마스크 영역 내의 상기 이미지의 픽셀들을 상기 픽셀화 그룹들에 대응하는 인코딩 유닛들로 그룹화하며,
    상기 프라이버시 마스크 적용 모듈은 각각의 픽셀화 그룹의 각 픽셀의 픽셀 값을 각각의 픽셀화 그룹을 나타내는 공통 픽셀 값으로 설정하도록 구성되는 것을 특징으로 하는 디지털 이미지 인코딩 시스템.
  12. 제10항에 있어서, 상기 압축 결정 모듈은, 관련 영역들의 인코딩 유닛들에는 제 1 양자화 파라미터가 부여되고, 비관련 영역들의 인코딩 유닛들에는 제 2 양자화 파라미터가 부여되도록, 상기 이미지 내의 관련 영역들의 식별에 기초하여 각 인코딩 유닛에 대한 양자화 파라미터를 설정하고, 상기 제 1 양자화 파라미터는 상기 제 2 양자화 파라미터보다 높은 이미지 품질을 제공하는 압축을 나타내는 것을 특징으로 하는 디지털 이미지 인코딩 시스템.
  13. 제12항에 있어서, 상기 압축 결정 모듈은,
    각각의 인코딩 유닛에 대한 그룹 값을 형성하기 위해 각 인코딩 유닛에 대한 픽셀들을 나타내는 정보의 공간 통계적 척도를 계산하고,
    그룹 값들 간의 차이들을 계산하고,
    상기 차이들을 임계 값과 비교하고,
    상기 차이가 상기 임계 값 이상이면, 상기 인코딩 유닛을 상기 이미지의 관련 영역에 있는 것으로 식별하고,
    상기 차이가 상기 임계 값 미만이면, 상기 인코딩 유닛을 상기 이미지의 비관련 영역에 있는 것으로 식별하는 것을 특징으로 하는 디지털 이미지 인코딩 시스템.
  14. 카메라로서,
    프라이버시 마스크를 포함하는 디지털 이미지를 인코딩하기 위한 디지털 이미지 인코딩 시스템을 포함하고,
    상기 시스템은:
    상기 디지털 이미지 내의 픽셀들을 나타내는 정보를 수신하고, 상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하도록 구성된 수신 모듈,
    프라이버시 마스크가 상기 이미지상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하도록 구성된 프라이버시 마스크 입력 모듈,
    상기 프라이버시 마스크 영역 내에 적어도 부분적으로 위치하는 모든 인코딩 유닛들을 식별하고, 상기 식별된 인코딩 유닛들과 정렬되도록 상기 프라이버시 마스크 영역을 확장하도록 구성된 적응 모듈,
    상기 이미지를 인코딩하기 위해 사용될 각각의 인코딩 유닛에 대한 각각의 양자화 파라미터를 결정하도록 구성된 압축 결정 모듈,
    상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하도록 구성된 프라이버시 마스크 적용 모듈, 및
    상기 결정된 양자화 파라미터들을 이용하여 상기 적용된 프라이버시 마스크를 갖는 상기 이미지를 인코딩하도록 구성된 인코더 모듈을 포함하는 카메라.
  15. 프라이버시 마스크를 포함하는 디지털 이미지의 인코딩을 컴퓨팅 디바이스에 의해 실행하기 위한 명령어들이 저장된 비 일시적 컴퓨터 판독 가능 저장 매체를 포함하는 제조 물품으로서,
    상기 컴퓨팅 디바이스로 하여금:
    디지털 이미지의 픽셀들을 나타내는 정보를 수신하는 단계,
    상기 이미지의 픽셀들을 인접한 픽셀들의 그룹들의 인코딩 유닛들로 그룹화하는 단계,
    프라이버시 마스크가 상기 이미지상에 적용되는 프라이버시 마스크 영역을 나타내는 정보를 수신하는 단계,
    적어도 부분적으로 상기 프라이버시 마스크 영역 내에 위치하는 모든 인코딩 유닛들을 식별하는 단계,
    상기 식별된 인코딩 유닛들과 정렬되도록 상기 프라이버시 마스크 영역을 확장하는 단계,
    각 인코딩 유닛에 대해, 상기 이미지를 인코딩하기 위해 사용되는 각각의 양자화 파라미터를 결정하는 단계,
    상기 이미지의 확장된 프라이버시 마스크 영역에 상기 프라이버시 마스크를 적용하는 단계, 및
    상기 결정된 양자화 파라미터들을 이용하여 상기 적용된 프라이버시 마스크를 갖는 상기 이미지를 인코딩하는 단계를 포함하는 동작들을 수행하도록 하는 제조 물품.
KR1020170165075A 2016-12-20 2017-12-04 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법 KR102188002B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16205465.4 2016-12-20
EP16205465.4A EP3340623B1 (en) 2016-12-20 2016-12-20 Method of encoding an image including a privacy mask

Publications (2)

Publication Number Publication Date
KR20180071945A KR20180071945A (ko) 2018-06-28
KR102188002B1 true KR102188002B1 (ko) 2020-12-07

Family

ID=57755001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165075A KR102188002B1 (ko) 2016-12-20 2017-12-04 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법

Country Status (6)

Country Link
US (1) US10636263B2 (ko)
EP (1) EP3340623B1 (ko)
JP (1) JP6871149B2 (ko)
KR (1) KR102188002B1 (ko)
CN (1) CN108206951B (ko)
TW (1) TWI804478B (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
GB2560393B (en) * 2017-07-31 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
EP3640903B1 (en) * 2018-10-18 2023-12-27 IDEMIA Identity & Security Germany AG Signal dependent video surveillance
EP3672244B1 (en) * 2018-12-20 2020-10-28 Axis AB Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
KR102544626B1 (ko) * 2019-01-23 2023-06-19 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법
CN110096955A (zh) * 2019-03-21 2019-08-06 北京迈格威科技有限公司 监控方法、装置、系统和存储介质
EP3796654A1 (en) * 2019-09-20 2021-03-24 Axis AB Privacy masks where intra coefficients are set to zero
US11577084B2 (en) * 2020-04-08 2023-02-14 Pacesetter, Inc. Method and device for managing biological activity data storage utilizing lossy compression
CN111783803B (zh) * 2020-08-14 2022-06-28 支付宝(杭州)信息技术有限公司 实现隐私保护的图像处理方法及装置
US11899805B2 (en) * 2020-09-11 2024-02-13 IDEMIA National Security Solutions LLC Limiting video surveillance collection to authorized uses
FR3114418A1 (fr) * 2020-09-18 2022-03-25 Data Smart Process Masquage dynamique de zones privatives dans une caméra PTZ.
CN112468823A (zh) * 2020-11-10 2021-03-09 浙江大华技术股份有限公司 一种基于模拟录像装置的隐私遮挡方法、装置和存储介质
EP4009634A1 (en) * 2020-12-07 2022-06-08 Axis AB A device and a method of encoding images including a privacy filter
CN114727108A (zh) * 2021-01-04 2022-07-08 北京金山云网络技术有限公司 量化因子调整方法、装置、电子设备及存储介质
EP4192006A1 (en) * 2021-12-03 2023-06-07 Axis AB A method for controlling a bitrate of a video stream captured with an image acquisition device
CN114584787A (zh) * 2022-05-05 2022-06-03 浙江智慧视频安防创新中心有限公司 一种基于数字视网膜敏感视频内容隐藏的编码方法与装置
CN115081467B (zh) * 2022-07-22 2023-02-03 深圳市成为信息股份有限公司 一种手持机采集原始图像的方法、手持机及存储介质
CN115718445B (zh) * 2022-11-15 2023-09-01 杭州将古文化发展有限公司 适用于博物馆的智能物联网管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232754A (ja) 2009-03-26 2010-10-14 Sony Corp データマスク装置およびマスクデータ復元システム
US20120236935A1 (en) 2011-03-18 2012-09-20 Texas Instruments Incorporated Methods and Systems for Masking Multimedia Data
JP2014225726A (ja) 2013-05-15 2014-12-04 富士通株式会社 情報処理装置、プログラム、及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69732865T2 (de) * 1996-01-29 2006-04-13 Matsushita Electric Industrial Co., Ltd., Kadoma Kodierer mit Mitteln zur Ergänzung eines digitalen Bildes mit Bildelementen
JP2005229188A (ja) * 2004-02-10 2005-08-25 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
JP4599080B2 (ja) * 2004-04-02 2010-12-15 ソニー株式会社 画像符号化方法，撮像装置およびコンピュータプログラム
WO2006070249A1 (en) 2004-12-27 2006-07-06 Emitall Surveillance S.A. Efficient scrambling of regions of interest in an image or video to preserve privacy
KR101113844B1 (ko) 2005-03-08 2012-02-29 삼성테크윈 주식회사 감시카메라 및 감시카메라의 프라이버시 보호방법
JP5123166B2 (ja) * 2005-04-04 2013-01-16 トムソン ライセンシング 量子化きざみを局所的に調整する方法
US8326061B2 (en) * 2008-05-12 2012-12-04 Google Inc. Fast visual degrading of images
FR2932045B1 (fr) 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
KR101271461B1 (ko) 2009-10-09 2013-06-05 한국전자통신연구원 감시영상의 프라이버시 정보 보호 장치 및 방법
JP5791256B2 (ja) * 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
JP2013229666A (ja) * 2012-04-24 2013-11-07 Toshiba Corp 異常点検装置および遠隔監視点検システム
JP6273566B2 (ja) * 2013-04-12 2018-02-07 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
CN106101706B (zh) * 2016-06-30 2019-11-19 华为技术有限公司 一种图像编码方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232754A (ja) 2009-03-26 2010-10-14 Sony Corp データマスク装置およびマスクデータ復元システム
US20120236935A1 (en) 2011-03-18 2012-09-20 Texas Instruments Incorporated Methods and Systems for Masking Multimedia Data
JP2014225726A (ja) 2013-05-15 2014-12-04 富士通株式会社 情報処理装置、プログラム、及び画像処理方法

Also Published As

Publication number Publication date
JP6871149B2 (ja) 2021-05-12
CN108206951A (zh) 2018-06-26
US10636263B2 (en) 2020-04-28
KR20180071945A (ko) 2018-06-28
EP3340623A1 (en) 2018-06-27
EP3340623B1 (en) 2023-04-12
TWI804478B (zh) 2023-06-11
US20180174414A1 (en) 2018-06-21
JP2018142950A (ja) 2018-09-13
CN108206951B (zh) 2022-04-15
TW201838414A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
KR102188002B1 (ko) 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법
TWI766906B (zh) 編碼隱私遮罩影像
TWI619376B (zh) 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統
US10277901B2 (en) Encoding a video stream having a privacy mask
US7697783B2 (en) Coding device, coding method, decoding device, decoding method, and programs of same
CN106341664B (zh) 一种数据处理方法及装置
CN112543330B (zh) 模糊隐私遮蔽的编码方法、系统及存储介质
KR102525246B1 (ko) 프라이버시 마스크를 포함하는 이미지를 인코딩하는 방법
EP2564591A1 (en) Method of processing an image

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant