KR20180135130A - 동적 영상정보 마스킹 장치 및 방법 - Google Patents

동적 영상정보 마스킹 장치 및 방법 Download PDF

Info

Publication number
KR20180135130A
KR20180135130A KR1020170054346A KR20170054346A KR20180135130A KR 20180135130 A KR20180135130 A KR 20180135130A KR 1020170054346 A KR1020170054346 A KR 1020170054346A KR 20170054346 A KR20170054346 A KR 20170054346A KR 20180135130 A KR20180135130 A KR 20180135130A
Authority
KR
South Korea
Prior art keywords
image information
information
masking
image
user
Prior art date
Application number
KR1020170054346A
Other languages
English (en)
Inventor
이동혁
박남제
Original Assignee
제주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제주대학교 산학협력단 filed Critical 제주대학교 산학협력단
Priority to KR1020170054346A priority Critical patent/KR20180135130A/ko
Publication of KR20180135130A publication Critical patent/KR20180135130A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 동적 영상정보 마스킹 장치 및 그 방법에 관한 것이다. 본 발명의 일 실시예에 따른 동정 영상정보 마스킹 장치는, 영상정보가 입력되는 영상 수집부; 상기 입력된 영상정보가 저장되는 영상 DB; 사용자로부터 상기 영상 DB에 저장된 영상정보에 대한 재생 요청이 수신되는 영상 서비스부; 사전에 정의된 추출 정보를 바탕으로 상기 영상정보에서 오브젝트를 추출하는 오브젝트 추출부; 오브젝트를 식별하기 위한 식별 정보가 저장되는 식별 DB; 상기 추출된 오브젝트 중에서 상기 식별 정보와 일치하는 오브젝트를 식별하는 오브젝트 식별부; 상기 식별 정보가 상기 사용자에게 노출 가능한지 여부를 가리키는 상기 사용자의 권한이 저장된 권한 DB; 및 상기 사용자의 권한을 상기 권한 DB에서 조회하고, 상기 권한에 따라 상기 식별된 오브젝트 중에서 일부를 마스킹 처리하는 마스킹 처리부; 를 포함하고, 상기 영상 서비스부는, 상기 마스킹 처리된 오브젝트가 포함된 영상 정보를 상기 재생 요청에 대한 응답으로 전송할 수 있다.

Description

동적 영상정보 마스킹 장치 및 방법{Dynamic image information masking apparatus and method thereof}
본 발명은 동적 영상정보 마스킹 장치 및 그 방법에 관한 것이다. 보다 자세하게는, 사용자로부터 영상 재생을 요청 받았을 때 사용자의 권한에 따라 영상에 포함된 정보의 일부 또는 전부를 단계적으로 마스킹함으로써 영상에 포함된 개인 정보를 보호하는 동적 영상정보 마스킹 장치 및 방법에 관한 것이다.
일반적으로 CCTV, DVR 등과 같은 보안 및 감시용 영상 시스템은 24시간 감시가 필요한 주택가나 학교, 놀이터 주변의 방범 취약지, 근무요원이 상시 관리할 수 없는 취약 개소, 은행, 백화점, 공항, 항만 따위의 공공 시설물 등에 감시 카메라 등의 장비를 구축하고, 이와 네트워크로 연결된 원격지의 중앙관제센터에 현장 영상을 실시간으로 전송하여 표시 및 기록함으로써 상황 관리자가 모니터링을 통해 각종 사고나 위험 상황, 범죄 등을 사전에 예방하는 안전 점검 및 다양한 정보를 수집하여 후속 대책이나 수습 조치를 취할 수 있는 데다 적은 인력으로도 많은 감시 장소의 이상 유무를 파악할 수 있음은 물론 추후 범죄수사나 실종자(미아) 찾기 등에 필요한 핵심적인 정보를 제공할 수 있다.
한 개인은 평균 하루에 150번 이상 CCTV에 찍힐 정도로 감시 시스템을 피해서 생활하기는 힘들다. 이러한 감시 시스템에서 감시 카메라가 전송한 영상을 중앙관제센터에서 재생 또는 모니터링하는 경우 사람 안면 등과 같이 사생활과 관련된 민감한 개인 정보가 그대로 노출됨으로 인해 이른바 프라이버시 침해 문제가 발생하게 된다.
예를 들어, 최근 CCTV의 성능이 개선됨에 따라, CCTV 영상으로부터 획득된 사람의 안면 정보를 바탕으로 하는 안면 인식 등을 통해 다양한 업무(예를 들어, 범인 검거 등)를 자동 처리하는 기술들이 개발되고 있지만, 이러한 기술들이 악용될 경우, 개인들에 대한 중대한 프라이버시(privacy) 침해가 발생할 우려가 있다.
프라이버시 보호를 위해서 감시 시스템은 영상에 대한 사용자의 접근을 권한에 따라 제한하는 접근제어를 도입하고 있다. 종래의 접근제어 방법은 동영상 전체를 암호화하거나 인물 전체를 마스킹(masking) 처리 하여 보관하고, 불특정인이 해당 영상에 접근시 접근 권한을 가진 사람인지 여부를 판별하여 영상을 복호화하여 전체를 보여주거나, 인물에 대한 마스킹을 해제하여 보여주는 방식이다.
하지만, 종래의 접근제어 방법은 접근 권한을 가진 사람이면 암호화된 영상 전체를 복호화하여 보거나, 마스킹된 인물 전체에 대하여 언마스킹(unmasking) 하여 볼 수 있기 때문에, 공개가 불필요한 개인 정보까지 노출되는 문제점이 있다.
따라서, 영상에 포함된 프라이버시 관련 개인 정보를 보호하기 위하여, 영상 재생을 요청한 사용자의 권한에 따라 동적으로 영상에 포함된 정보를 마스킹 처리하는 기술의 제공이 요구 된다.
한국공개특허 제 10-2012-0124783 호
본 발명이 해결하고자 하는 기술적 과제는 사용자의 요청에 따라 감시 영상을 재생할 때, 동적으로 사용자의 권한을 확인하고 상기 권한에 따라 영상정보에 포함된 일부 영역을 마스킹 처리하고, 상기 처리된 마스킹이 포함된 영상을 재생하는 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 동정 영상정보 마스킹 장치는, 영상정보가 입력되는 영상 수집부; 상기 입력된 영상정보가 저장되는 영상 DB; 사용자로부터 상기 영상 DB에 저장된 영상정보에 대한 재생 요청이 수신되는 영상 서비스부; 사전에 정의된 추출 정보를 바탕으로 상기 영상정보에서 오브젝트를 추출하는 오브젝트 추출부; 오브젝트를 식별하기 위한 식별 정보가 저장되는 식별 DB; 상기 추출된 오브젝트 중에서 상기 식별 정보와 일치하는 오브젝트를 식별하는 오브젝트 식별부; 상기 식별 정보가 상기 사용자에게 노출 가능한지 여부를 가리키는 상기 사용자의 권한이 저장된 권한 DB; 및 상기 사용자의 권한을 상기 권한 DB에서 조회하고, 상기 권한에 따라 상기 식별된 오브젝트 중에서 일부를 마스킹 처리하는 마스킹 처리부; 를 포함하고, 상기 영상 서비스부는, 상기 마스킹 처리된 오브젝트가 포함된 영상 정보를 상기 재생 요청에 대한 응답으로 전송할 수 있다.
상기와 같은 본 발명에 따르면, 감시 영상을 재생할 때 재생 요청한 사용자의 권한에 따라 동적으로 상기 감시 영상에 포함된 개인 정보를 마스킹 처리함으로써 사용자의 권한 이외의 개인 정보가 노출되는 것을 막음으로써 프라이버시를 보호할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른, 감시 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법을 설명하기 위한 영상정보의 예시다.
도 5는 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법을 설명하기 위한 식별 DB의 예시이다.
도 6은 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법을 설명하기 위한 권한 DB의 예시이다.
도 7은 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법에 따라 마스킹 처리된 영상정보의 예시다.
도 8은 본 발명의 일실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른, 감시 시스템의 구성도이다. 도 1을 참조하여, 본 발명의 일 실시예에 따른 감시 시스템(10)의 구성을 설명한다.
도 1을 참조하면, 본 발명에 일 실시예에 따른 감시 시스템(10)은 감시 장치(20), 감시 서버(30) 및 사용자 단말기(50)를 포함할 수 있다.
감시 장치(20)는 감시 대상을 포함한 영상을 촬영하고, 상기 촬영된 영상을 감시 서버(30)에 전송할 수 있다. 도 1에는 예시적으로, 감시 장치(20)가 인터넷을 이용하여 상기 촬영된 영상을 감시 서버(30)에 전송하는 것으로 도시되어 있지만, 감시 서버(30)에 직접 연결되어 상기 촬영된 영상을 감시 서버(30)에 전송할 수도 있다.
감시 장치(20)는 CCTV(closed-circuit television), USB(Univeral Serial Bus) 카메라(camera), IP(Internet Protocol) 카메라 또는 Wi-Fi 카메라를 포함할 수 있다. 감시 장치(20)는 촬영된 영상을 실시간 또는 일정 시간 주기로 감시 서버(30)에 전송할 수 있다. 감시 장치(20)는 상기 촬영된 영상을 암호화하여 감시 서버(30)에 전송할 수 있다.감시 서버(30)는 감시 장치(20)에서 전송된 상가 촬영된 영상을 수신할 수 있고, 상기 수신된 영상을 저장 한다. 감시 서버(30)은 암호화된 영상을 수신되면, 상기 영상을 복호화하고, 복호화된 영상을 저장한다. 사용자 단말기(50)로부터 상기 저장된 영상에 대한 재생 요청이 수신되면 상기 저장된 영상을 사용자 단말기(50)에 제공할 수 있다.
감시 서버(30)는 본 발명의 일 실시예에 따른 동적 영상정보 마스킹 장치를 포함할 수 있다. 감시 서버(30)는 상기 영상을 사용자 단말기(50)에 제공할 때, 상기 동적 영상정보 마스킹 장치을 이용하여, 사용자 단말기(50)의 사용자의 권한에 따라 상기 영상의 일부 또는 전부를 단계적으로 마스킹 처리한 마스킹 영상을 사용자 단말기(50)에 제공할 수 있다.
상기 동적 영상정보 마스킹 장치는 상기 영상에 대한 재생 요청이 수신되면, 저장된 영상의 원본을 이용하여 상기 사용자의 권한에 따라 마스킹 처리한다. 종래의 기술은 영상에 포함된 모든 오브젝트에 관하여 일괄적으로 마스킹 처리해서 저장한 후 재생 요청이 수신되면, 저장된 마스킹 영상을 제공하는 방식이다. 본 발명은, 재생 요청이 수신되었을 때, 영상 내에 포함된 오브젝트 중에서 사용자의 권한에 따라 노출 여부를 판단하고, 상기 권한에 따라 노출이 불가한 오브젝트만 마스킹 처리함으로써, 동적으로 마스킹 처리가 가능하고, 영상에 포함된 개인 프라이버시를 보호하는 효과가 있다.사용자 단말기(50)는 상기 감시 영상을 감시 서버(30)에 요청하고, 감시 서버(30)에서 제공하는 감시 영상을 재생할 수 있다. 사용자 단말기(50)는 감시 서버(30)에 감시 영상을 요청할 때, 사용자 단말기(50)의 사용자에 관한 정보도 함께 전송할 수 있다. 사용자 단말기(50)는 감시 서버(30)로부터 상기 사용자의 권한에 따라 마스킹 처리된 감시 영상을 제공 받을 수 있으며, 상기 마스킹 처리된 감시 영상을 재생할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 장치의 구성도이다. 도 2를 참조하여, 본 발명의 일 실시예에 따른 동적 영상정보 마스킹 장치(100)의 구성을 설명한다.
본 발명의 일 실시예에 따른 동적 영상정보 마스킹 장치(100)는 영상 수집부(110), 영상 DB(120), 영상 서비스부(130), 오브젝트 추출부(140), 오브젝트 식별부(150), 식별 DB(160), 마스킹 처리부(170) 및 권한 DB(180)를 포함할 수 있다.
영상 수집부(110)는 영상정보를 수신할 수 있다. 상기 영상정보는 동영상 또는 이미지(image)를 포함할 수 있다. 예를 들어, 상기 영상정보는 CCTV와 같은 감시 장치에서 촬영된 감시 영상일 수 있다. 영상 수집부는 복수개의 CCTV(closed-circuit television), USB(Univeral Serial Bus) 카메라(camera), IP(Internet Protocol) 카메라 또는 Wi-Fi 카메라로부터 복수개의 영상 정보를 수신할 수 있다.
영상 DB(120)에는 영상 수집부(110)에서 수신된 영상정보가 저장될 수 있다. 영상 DB(120)은 상기 영상정보가 저장되는 데이터베이스(database) 또는 대용량 스토리지(storage) 일 수 있다.
영상 서비스부(130)는 영상 DB(120)에 저장된 영상정보에 대한 재생 요청을 수신하고, 상기 재생 요청된 영상정보에 포함된 영상의 일부분이 마스킹 처리된 영상정보를 상기 재생 요청에 대한 응답으로 제공할 수 있다. 영상 서비스부(130)를 상기 재생 요청이 가리키는 영상정보를 영상 DB(120)에서 조회하고, 오브젝트 추출부(140)에 상기 조회된 영상정보를 제공하며, 마스킹 처리부(170)로부터 마스킹 처리된 상기 영상정보를 제공받을 수 있다. 영상 서비스부(130)는 마스킹 처리부(170)로부터 제공 받은 상기 마스킹 처리된 영상정보를 상기 재생 요청에 대한 응답으로 제공할 수 있다.
영상 서비스부(130)는 오브젝트 식별부(150)에 상기 재생 요청을 전송한 사용자에 관한 정보를 제공할 수 있다. 영상 서비스부(130)는 상기 사용자에 관한 정보를 마스킹 처리부(170)에 제공함으로써, 사용자의 권한에 따라 동적으로 마스킹을 처리할 수 있다. 영상 서비스부(130)는 상기 영상정보에 대한 요청이 왔을 때, 상기 사용자의 권한에 따라 상기 영상정보를 마스킹 처리함으로써, 동적으로 마스킹된 영상정보를 제공할 수 있다. 상기 사용자의 권한은, 상기 영상정보에 포함된 식별된 오브젝트(object) 중에서 상기 사용자에게 표시될 수 있는 오브젝트 또는 표시될 수 없는 오브젝트에 관한 정보를 가리킬 수 있다.
영상 서비스부(130)는 상기 마스킹 처리된 영상정보를 제공할 때, 상기 마스킹 처리된 영상정보 전체를 제공하거나, 상기 마스킹 처리된 영상정보를 실시간 스트리밍(streaming)으로 제공할 수 있다.
영상 서비스부(130)는 사용자의 권한에 따라 영상 수집부(130)에서 수집한 복수개의 영상 정보 중 사용자에게 제공하기 위한 영상 정보의 개수를 조절할 수 있다. 영상 서비스부(130)는 복수개의 영상 정보 중 사용자의 권한이 높은 경우에는 사용자에게 제공하기 위한 영상 정보의 개수를 많게 조절할 수 있고, 사용자의 권한이 낮은 경우에는 사용자에게 제공하기 위한 영상 정보의 개수를 낮게 조절할 수 있다. 따라서, 사용자의 권한이 높은 경우에는 많은 감시 장치로부터 수신한 영상 정보를 받아보게 함으로써 사각 지대 등으로 인하여 오브젝트를 감시할 수 없는 문제점 등을 방지할 수 있다.
오브젝트 추출부(140)는 상기 영상정보에서 사전에 정의된 오브젝트를 추출할 수 있다. 상기 오브젝트는 사람의 안면 또는 자동차의 번호판을 포함할 수 있다. 오브젝트 추출부(140)는 상기 오브젝트를 추출하기 위한 추출 정보를 바탕으로 상기 영상정보에서 상기 오브젝트를 추출할 수 있다. 상기 추출 정보는 상기 오브젝트에 관한 메타 데이터(meta data)일 수 있다. 상기 메타 데이터는 벡터 데이터(vector data) 또는 패턴 데이터(pattern data)를 포함할 수 있다.
예를 들어, 상기 추출 정보는 상기 영상정보에 포함된 정지 이미지에서 사람의 안면으로 인식될 수 있는 부분 이미지를 추출하기 위한 픽셀(pixel)의 벡터 데이터 또는 패턴 데이터일 수 있다.
오브젝트 추출부(140)은 영상 정보에 포함된 정지 영상을 전처리 하고, 전처리된 정지 영상에서 상기 추출 정보에 해당하는 특징점을 찾고, 상기 특징점이 형성하는 상기 정지 영상의 일부 영역을 상기 오브젝트를 추출할 수 있다. 이러한 특징 추출은, 지식기반 방법, 특징기반 방법, 템플릿 매칭 방법(tamplate-based matching), 외형기반 방법 등 공지 기술에 해당하기 때문에, 자세한 설명을 생략한다.
오브젝트 식별부(150)는 오브젝트 추출부(140)에서 추출된 오브젝트 중에서 사전에 정의된 오브젝트를 식별한다. 오브젝트 식별부(150)는 식별 DB(160)에 저장된 식별 정보를 조회하고, 상기 추출된 오브젝트 중에서 상기 식별 정보와 일치하는 오브젝트를 식별할 수 있다. 오브젝트 식별부(150)는 상기 식별된 오브젝트를 상기 식별 정보와 함께 마스킹 처리부(170)에 제공할 수 있다.
상기 식별 정보는, 상기 오브젝트를 식별하기 위한 메타 데이터일 수 있다. 상기 메타 데이터는, 벡터 데이터 또는 패턴 데이터를 포함할 수 있다.
오브젝트 식별부(150)은 상기 추출된 오브젝트와 상기 식별 정보의 일치 정도를 가리키는 유사도를 계산할 수 있다. 오브젝트 식별부(150)은 상기 유사도가 사전에 정해진 임계값 이상인 경우에만, 상기 추출된 오브젝트를 상기 식별 정보와 일치하는 오브젝트로 식별할 수 있다.
식별 DB(160)에 저장되는 상기 식별 정보는, 특정 오브젝트로 인식할 수 있는 정보를 가리킬 수 있다. 예를 들어, 상기 식별 정보는 상기 추출된 사람의 안면 중에서 특정인의 안면을 식별하기 위한 정보일 수 있다. 다른 예를 들어, 상기 식별 정보는 범죄인으로 등록된 사람의 안면 식별 정보일 수 있다. 또 다른 예를 들어, 상기 식별 정보는 남자 또는 여자로 식별될 수 있는 안면 식별 정보일 수 있다. 또 다른 예를 들어, 상기 식별 정보는 특정 번호의 자동차 번호판 식별 정보일 수 있다.
마스킹 처리부(170)는 사용자의 권한을 추출된 오브젝트별로 권한 DB(180)에서 조회하고, 상기 권한에 따라 식별된 오브젝트 각각에 대한 단계적 마스킹 처리를 수행할 수 있다. 마스킹 처리부(170)는 상기 재생 요청을 전송한 사용자에 관한 권한을 권한 DB(180)에서 조회할 수 있다. 마스킹 처리부(170)는 상기 조회된 권한을 바탕으로 상기 식별된 오브젝트 중에서 일부를 마스킹 처리할 수 있다. 상기 권한은 상기 식별된 오브젝트 각각에 대하여 상기 사용자에게 표시할 지 여부를 가리키는 정보일 수 있다.
마스킹 처리부(170)는 상기 권한에 따라 상기 식별된 오브젝트 중에서 일부를 마스킹 처리하고, 상기 마스킹 처리된 영상정보를 영상 서비스부(130)에 제공할 수 있다. 상기 마스킹 처리된 영상정보는 상기 사용자에게 제공되어 재생될 수 있다. 예를 들어, 상기 식별 정보가 상기 사용자의 안면 식별 정보이고, 상기 사용자의 권한은 자신의 안면 외에는 다른 사람의 안면에 관한 시청 권한이 없는 경우, 마스킹 처리부(170)는 상기 식별된 사용자의 안면에 관한 오브젝트를 제외한 다른 모든 오브젝트를 마스킹 처리함으로써, 상기 사용자에게 다른 사람의 개인 프라이버시 노출을 막을 수 있다.
마스킹 처리부(170)는 사용자 권한에 따라 오브젝트에 처리되는 마스킹의 노출 정도를 조절할 수 있다.
본 발명에 따른 동적 영상정보 마스킹 장치는 저장된 영상 원본에 포함된 오브젝트를 추출하고, 추출한 오브젝트 각각에 대하여 사용자의 권한을 판단할 수 있다. 예를 들면, 저장된 영상 원본에 A, B, C라는 오브젝트가 포함되어 있는 경우, A, B, C 오브젝트 각각에 따른 사용자의 권한 및 사용자의 권한에 따른 노출 여부를 판단할 수 있다. 마스킹 처리부(170)는 오브젝트 A, B, C 각각의 사용자 권한이 상이한 경우 각각에 대한 마스킹 처리를 상이하게 수행할 수 있다. 즉, 오브젝트 A에 대한 마스킹 처리와 B에 대한 마스킹 처리, 그리고 C에 대한 마스킹 처리를 각각 상이하게 수행할 수 있다. 이러한 사용자 권한에 따른 단계적 마스킹 처리는 사용자의 권한에 따라 노출이 허용되는 객체와, 노출이 허용되지 않는 객체 또는 일부 노출이 허용되는 객체 등을 구분하여 프라이버시를 강화한 영상 정보를 사용자에게 제공할 수 있다는 효과가 있다. 마스킹 처리부(170)는 예를 들면, 색상 처리, 음영 처리, 명도 처리, 채도 처리, 그림자 처리, 모자이크 처리, 블렌딩 처리, 블러링 처리 등의 방식을 이용하여 마스킹 처리를 수행할 수 있다.
도8은 본 발명의 일실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이다. 도8을 참고하면, 마스킹 처리부(170)는 사용자의 권한에 따라 노출이 엄격하게 제한된 오브젝트의 경우에는 색상 처리, 음영 처리, 명도 처리, 채도 처리, 그림자 처리, 모자이크 처리, 블렌딩 처리, 블러링 처리 등의 방식을 이용하여 오브젝트의 확인이 불가능하도록 처리할 수 있다. 또는 마스킹 처리부(170)는 사용자의 권한에 따라 노출이 일부 허용된 오브젝트의 경우에는 색상 처리, 음영 처리, 명도 처리, 채도 처리, 그림자 처리, 모자이크 처리, 블렌딩 처리, 블러링 처리 등의 방식을 이용하여 오브젝트의 확인이 어느 정도 가능하도록 처리할 수 있다. 또는, 마스킹 처리부(170)는 사용자의 권한에 따라 노출이 상당 부분 허용된 오브젝트의 경우에는 음영 처리, 명도 처리, 채도 처리, 그림자 처리, 모자이크 처리, 블렌딩 처리, 블러링 처리 등의 방식을 이용하여 오브젝트의 확인이 가능하도록 처리할 수 있다.
또한, 마스킹 처리부(170)는 예를 들면, 성별, 오브젝트의 종류 등과 같은 추가정보를 제공할 수 있다. 마스킹 처리부(170)는 사용자의 권한에 따라 오브젝트를 통하여 제공할 수 있는 추가 정보를 조절할 수 있다.
도9는 본 발명의 다른 실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이고, 도10은 본 발명의 또 다른 실시예에 따른 마스킹 처리부의 동작을 설명하기 위한 도면이다. 도9 내지 도10을 참조하면, 마스킹 처리부(170)는 예를 들면, 사용자의 권한에 따라 노출이 엄격하게 제한된 오브젝트의 경우에는 추가 정보를 제공하지 않을 수 있다. 또는, 마스킹 처리부(170)는 예를 들면, 사용자의 권한에 따라 노출이 일부 허용된 오브젝트의 경우에는 사람, 강아지, 차량 등 오브젝트의 종류 확인이 가능하도록 추가 정보를 제공할 수 있다. 또는, 마스킹 처리부(170)는 예를 들면, 사용자의 권한에 따라 노출이 상당 부분 허용된 오브젝트의 경우에는 사람의 성별, 강아지의 종류, 차량의 종류 등의 확인이 가능하도록 추가 정보를 제공할 수 있다.
본 발명의 실시예에 따르면, 상기 사용자에게 재생 요청을 받은 영상정보를 상기 사용자에게 제공하기 전에, 상기 사용자의 권한에 따라 마스킹 처리함으로써, 동적으로 영상정보를 마스킹 처리할 수 있다. 영상 DB(120)에는 영상정보의 원본만 저장되어 있으며, 사용자로부터 재생 요청이 수신될 때마다, 상기 사용자의 권한을 확인하고, 상기 권한에 따라 영상정보 중에서 일부를 마스킹 처리함으로써, 사용자에게 노출될 필요가 없는 정보는 마스킹 처리됨으로써, 영상정보에 포함된 개인 프라이버시가 보호될 수 있다.
도 3은 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법의 순서도이다. 도 3을 참조하여, 본 발명의 일 실시예에 따른 동적 영상정보 마스킹 방법을 설명한다.
동적 영상정보 마스킹 장치(100)는, 사용자로부터 영상 재생 요청을 수신한다(S100). 동적 영상정보 마스킹 장치(100)는 유선 또는 무선 연결을 통해서 상기 재생 요청을 수신할 수 있다. 동적 영상정보 마스킹 장치(100)는 상기 재생 요청이 가리키는 영상정보가 동적 영상정보 마스킹 장치(100)에 저장된 경우는 상기 영상정보에 포함된 오브젝트에 대하여 마스킹 처리한다.
동적 영상정보 마스킹 장치(100)는 상기 재생 요청이 가리키는 영상정보에서 오브젝트를 추출한다(S110). 동적 영상정보 마스킹 장치(100)는 사전에 정의된 추출 정보를 이용하여 상기 오브젝트를 추출한다. 상기 추출 정보는, 상기 영상정보에 포함된 상기 오브젝트를 추출하기 위한 메타 데이터일 수 있다. 상기 메타 데이터는 오브젝트의 형상에 관한 벡터 데이터 또는 패턴 데이터를 포함할 수 있다. 예를 들어, 동적 영상정보 마스킹 장치(100)은 상기 영상정보에 포함된 동영상의 각 프레임(frame)에서 상기 추출 정보를 바탕으로 인식 가능한 모든 오브젝트를 추출할 수 있다. 상기 추출되는 오브젝트는 상기 추출 정보에 매칭(matching) 되는 부분 이미지 일 수 있다.
동적 영상정보 마스킹 장치(100)는 상기 추출된 오브젝트 중에서 일부의 오브젝트를 식별한다(S120). 동적 영상정보 마스킹 장치(100)는 상기 추출된 오브젝트 중에서 사전에 정의된 식별 정보와 일치하는 오브젝트를 식별할 수 있다. 상기 식별 정보는 식별 DB(160)에 저장될 수 있다. 상기 식별 정보는 상기 추출된 오브젝트 중에서 특정 오브젝트를 식별하기 위한 메타 데이터일 수 있다. 예를 들어서, 상기 식별 정보는 영상정보에서 추출된 사람들의 안면 중에서 특정인의 안면을 인식하기 위한 정보일 수 있다.
동적 영상정보 마스킹 장치(100)는 상기 재성 요청을 전송한 사용자의 권한을 조회하고, 상기 권한을 바탕으로 상기 식별된 오브젝트의 마스킹 여부를 결정한다(S130). 상기 권한은 상기 식별 정보에 매칭되는 오브젝트가 상기 사용자에게 노출될 수 있는지 여부를 가리킬 수 있다. 예를 들어서, 상기 사용자가 일반 사용자 권한인 경우, 상기 영상정보에 포함된 안면 중에서 상기 사용자의 안면을 제외한 다른 안면은 모두 마스킹 처리될 수 있다.
동적 영상정보 마스킹 장치(100)는 상기 권한에 따른 마스킹 여부에 따라 결정된 마스킹 대상 오브젝트에 관하여 마스킹 처리한다(S140). 상기 마스킹 처리는 상기 마스킹 대상 오브젝트가 상기 사용자에게 식별 불가능하도록 처리하는 것을 의미한다. 예를 들어, 상기 마스킹 처리는 상기 오브젝트를 스크램블링(scrambling) 하는 것일 수 있다.
동적 영상정보 마스킹 장치(100)는 상기 마스킹 처리된 영상정보를 상기 재용 요청에 대한 응답으로 전송한다(S150). 동적 영상정보 마스킹 장치(100)는 상기 재생 요청이 가리키는 영상정보의 전부에 대하여 마스킹 처리한 후 상기 마스킹 처리된 영상정보를 전송하거나, 상기 영상정보 중에서 일부에 대하여 마스킹 처리한 후 상기 마스킹 처리된 영상정보를 전송할 수 있다. 예를 들어, 동적 영상정보 마스킹 장치(100)는 실시간으로 상기 영상정보를 마스킹 처리하면서 스트리밍 방식으로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른, 동적 영상정보 마스킹 방법을 설명하기 위한 영상정보의 예시고, 도 5는 동적 영상정보 마스킹 방법을 설명하기 위한 식별 DB의 예시이며, 도 6은 동적 영상정보 마스킹 방법을 설명하기 위한 권한 DB의 예시이고, 도 7은 동적 영상정보 마스킹 방법에 따라 마스킹 처리된 영상정보의 예시다. 도 4 내지 도 7을 참조하여, 본 발명의 일 실시예에 따른 동적 영상정보 마스킹 방법을 설명한다.
도 4는 사용자가 재생을 요청한 영상정보가 동영상인 경우, 상기 동영상에 포함된 일 프레임을 나타내는 이미지(200)이다. 상기 영상정보는 도 4에 도시된 이미지(200)가 복수 포함되어 있으므로, 도 4의 일 이미지를 가지고 설명하고 추가적인 이미지에 관한 설명은 설명의 중복을 피하기 위해 생략하지만, 통상의 기술자는 용이하게 실시할 수 있다.
본 발명의 일 실시예에 따른 오브젝트 추출부(140)는 이미지(200)에서 사람의 안면 형상을 가리키는 오브젝트를 추출할 수 있다. 오브젝트 추출부(140)는 이미지(200)에서 남자 안면 형상과 여자 안면 형상을 각각 오브젝트로 추출할 수 있다. 오브젝트 식별부(150)는 도 5와 같이 구성된 식별 DB(300)를 바탕으로, 상기 추출된 오브젝트를 식별할 수 있다. 오브젝트 식별부(150)는 남자 안면 형상의 오브젝트와 일치하는 식별 대상 "A"의 식별 정보가 일치하기 때문에 남자 안면 형상의 오브젝트를 식별 대상 "A"로 식별한다. 마찬가지로, 오브젝트 식별부(150), 여자 안면 형상의 오브젝트를 식별 대상 "B"로 식별한다.
마스킹 처리부(170)는 도 6에 도시된 권한 DB(400)를 바탕으로, 상기 사용자의 권한을 조회하고, 조회된 권한에 따라 마스킹 대상 여부를 판단하며, 상기 식별된 오브젝트가 상기 마스킹 대상인 경우 마스킹 처리한다. 예를 들어, 상기 사용자의 권한이 "일반 관리자"인 경우에 식별 대상 "A"는 상기 사용자에게 허용되지 않기 때문에 식별 대상 "A"는 마스킹 대상이 되며, 식별 대상 "B"는 상기 사용자에게 허용되기 때문에 마스킹 대상이 되지 않는다.
마스킹 처리부(170)는, 도 7과 같이, 식별 대상 "A" 에 대응되는 오브젝트인 남자 안면 형상의 오브젝트에 대하여 마스킹 처리한 마스킹 영상 정보(500)을 출력할 수 있다. 마스킹 처리부(170)가 출력한 마스킹 영상 정보(500)는, 영상 서비스부(130)에 의해서 상기 재생 요청한 상기 사용자에게 무선 또는 유선을 통해서 제공될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
동적 영상정보 마스킹 장치: 100
영상 수집부: 110
영상 DB: 120
영상 서비스부: 130
오브젝트 추출부: 140
오브젝트 식별부: 150
식별 DB: 160
마스킹 처리부: 170
권한 DB: 180

Claims (12)

  1. 영상정보가 입력되는 영상 수집부;
    상기 입력된 영상정보가 저장되는 영상 DB;
    사용자로부터 상기 영상 DB에 저장된 영상정보에 대한 재생 요청이 수신되는 영상 서비스부;
    사전에 정의된 추출 정보를 바탕으로 상기 영상정보에서 오브젝트를 추출하는 오브젝트 추출부;
    오브젝트를 식별하기 위한 식별 정보가 저장되는 식별 DB;
    상기 추출된 오브젝트 중에서 상기 식별 정보와 일치하는 오브젝트를 식별하는 오브젝트 식별부;
    상기 식별 정보가 상기 사용자에게 노출 가능한지 여부를 단계적으로 가리키는 상기 사용자의 권한이 저장된 권한 DB; 및
    상기 사용자의 권한을 상기 오브젝트별로 상기 권한 DB에서 조회하고, 상기 권한에 따라 상기 식별된 오브젝트 각각에 대한 단계적 마스킹 처리를 수행하는 마스킹 처리부; 를 포함하고,
    상기 영상 서비스부는,
    상기 마스킹 처리된 오브젝트가 포함된 영상 정보를 상기 재생 요청에 대한 응답으로 전송하는,
    동적 영상정보 마스킹 장치.
  2. 제1항에 있어서,
    상기 마스킹 처리부는,상기 사용자 권한에 따라 상기 오브젝트에 처리되는 마스킹의 노출 정도를 조절하는 동적 영상정보 마스킹 장치.
  3. 제1항에 있어서,
    상기 영상 서비스부는,
    상기 사용자로부터 상기 영상정보에 대한 재생 요청이 수신되면, 상기 영상정보를 상기 영상 DB에서 조회하고, 상기 조회된 영상정보를 상기 오브젝트 추출부에 제공하여 상기 영상정보에서 오브젝트를 추출하며, 상기 추출된 오브젝트를 상기 오브젝트 식별부에 제공하여 상기 오브젝트를 식별하고, 상기 식별된 오브젝트를 상기 마스킹 처리부에 제공하여 마스킹 처리하며, 상기 마스킹 처리된 오브젝트를 상기 영상정보에 포함시키는,
    동적 영상정보 마스킹 장치.
  4. 제1항에 있어서,
    상기 추출 정보는,
    상기 오브젝트를 추출하기 위한 메타 데이터이며,
    상기 오브젝트 추출부는,
    상기 영상정보에서 포함된 정지 영상에서 상기 추출 정보에 매칭되는 부분 이미지를 상기 오브젝트로 추출하는,
    동적 영상정보 마스킹 장치.
  5. 제4항에 있어서,
    상기 추출 정보는,
    사람의 안면 또는 차량의 번호판을 인식하기 위한 정보를 포함하는,
    동적 영상정보 마스킹 장치.
  6. 제1항에 있어서,
    상기 식별 정보는,
    특정 오브젝트를 식별하기 위한 메타 데이터를 포함하며
    상기 오브젝트 식별부는,
    상기 추출된 오브젝트 중에서 상기 식별 정보와 일치하는 정도를 가리키는 유사도를 수치화하고, 상기 유사도가 사전에 정해진 임계값 이상이면 상기 추출된 오브젝트를 식별 대상 오브젝트로 식별하는,
    동적 영상정보 마스킹 장치.
  7. 제1항에 있어서,
    상기 마스킹 처리부는,
    상기 식별된 오브젝트 중에서 상기 사용자의 권한에 따라 상기 사용자에게 노출 가능한 오브젝트를 제외한 나머지 오브젝트를 마스킹 처리하는,
    동적 영상정보 마스킹 장치.
  8. 제1항에 있어서,
    상기 영상 수집부는 CCTV(closed-circuit television), USB(Univeral Serial Bus) 카메라(camera), IP(Internet Protocol) 카메라 및 Wi-Fi 카메라 중 둘 이상의 장치로부터 복수개의 영상 정보를 수신하며,
    상기 영상 서비스부는, 상기 사용자의 권한에 따라 상기 영상 수집부에서 수집한 복수개의 영상 정보 중 사용자에게 제공하기 위한 영상 정보의 개수를 조절하는 동적 영상정보 마스킹 장치.
  9. 영상정보가 수신되는 단계;
    상기 영상정보가 저장되는 단계;
    사용자로부터 상기 영상정보에 대한 재생 요청이 수신되는 단계;
    사전에 정의된 추출 정보를 바탕으로 상기 영상정보에서 오브젝트가 추출되는 단계;
    사전에 정의된 식별 정보를 바탕으로 상기 추출된 오브젝트가 식별되는 단계;
    상기 사용자의 권한에 따라 상기 식별된 오브젝트 각각에 대한 단계적 마스킹 처리가 수행되는 단계; 및
    상기 마스킹 처리된 오브젝트를 포함하는 상기 영상정보가 상기 재생 요청에 대한 응답으로 전송되는 단계;를 포함하되,
    상기 사용자의 권한은,
    상기 식별 정보와 매칭되는 오브젝트가 상기 사용자에게 노출 가능한지 여부를 단계적으로 가리키는,
    동적 영상정보 마스킹 방법.
  10. 제9항에 있어서,
    상기 영상정보가 수신되는 단계는,
    상기 영상정보가 CCTV에서 촬영되는 단계; 및
    상기 CCTV에서 촬영된 상기 영상정보가 수신되는 단계;를 포함하는,
    동적 영상정보 마스킹 방법.
  11. 제9항에 있어서,
    상기 추출 정보는,
    상기 오브젝트를 추출하기 위한 메타 데이터를 포함하며,
    상기 오브젝트가 추출되는 단계는,
    상기 영상정보에 포함된 정지 영상에서 상기 추출 정보에 매칭되는 부분 이미지를 상기 오브젝트로 추출하는 단계;를 포함하는,
    동적 영상정보 마스킹 방법.
  12. 제9항에 있어서,
    상기 식별 정보는,
    특정 오브젝트를 식별하기 위한 메타 데이터를 포함하며,
    상기 추출된 오브젝트가 식별되는 단계는,
    상기 추출된 오브젝트와 상기 식별 정보가 일치하는 정도를 가리키는 유사도가 계산되는 단계; 및
    상기 유사도가 사전에 정해진 임계값 이상이면 상기 추출된 오브젝트가 식별 대상 오브젝트로 식별되는 단계;를 포함하는,
    동적 영상정보 마스킹 방법.
KR1020170054346A 2017-04-27 2017-04-27 동적 영상정보 마스킹 장치 및 방법 KR20180135130A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170054346A KR20180135130A (ko) 2017-04-27 2017-04-27 동적 영상정보 마스킹 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170054346A KR20180135130A (ko) 2017-04-27 2017-04-27 동적 영상정보 마스킹 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180135130A true KR20180135130A (ko) 2018-12-20

Family

ID=64952788

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170054346A KR20180135130A (ko) 2017-04-27 2017-04-27 동적 영상정보 마스킹 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180135130A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872282A (zh) * 2019-01-16 2019-06-11 众安信息技术服务有限公司 一种基于计算机视觉的图像脱敏方法与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872282A (zh) * 2019-01-16 2019-06-11 众安信息技术服务有限公司 一种基于计算机视觉的图像脱敏方法与系统

Similar Documents

Publication Publication Date Title
KR101610657B1 (ko) 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
US10284885B1 (en) Method and apparatus for redacting video for compression and identification of releasing party
WO2012046907A1 (ko) 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
CN110188603B (zh) 一种用于智慧社区的隐私防泄密方法及其系统
KR101522311B1 (ko) 미리보기 기능을 갖춘 감시카메라 영상 반출 시스템
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
KR101626546B1 (ko) 개인정보 보호를 지원하는 영상정보 처리기기 및 방법
KR102012672B1 (ko) 얼굴인식 기반의 사람 특징인식을 이용한 방범 시스템 및 방법
CA2592511A1 (en) Efficient scrambling of regions of interest in an image or video to preserve privacy
US11520931B2 (en) Privacy masking method using format-preserving encryption in image security system and recording medium for performing same
JPWO2009013822A1 (ja) 映像監視装置および映像監視プログラム
JP2023111974A (ja) 画像マスキング装置及び画像マスキング方法
CN112818758A (zh) 电力施工现场的监测方法、系统、装置和存储介质
JP2022189835A (ja) 撮像装置
KR102150001B1 (ko) 복수의 cctv에 대한 통합 관리 방법 및 장치
KR20180135130A (ko) 동적 영상정보 마스킹 장치 및 방법
KR20170131785A (ko) 영상 보안 시스템에서 프라이버시 객체 마스킹 및 사용자 인증을 위한 키 관리 방법 및 이러한 방법을 사용하는 영상 보안 시스템
JP2002281486A (ja) 画像取得システム
KR102302041B1 (ko) 개인정보 보호를 위한 cctv 영상관리 시스템
KR101714130B1 (ko) 실시간 사건 사고 동영상 촬영 시스템
WO2017047862A1 (ko) 영상의 색 히스토그램 및 질감 정보를 이용한 영상 키 인증 방법 및 시스템
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
KR101830774B1 (ko) 계층형 프레임워크 기반의 개인영상정보 보호 시스템
KR101736813B1 (ko) 착모확인을 통한 출입문의 보안장치
KR20190029952A (ko) 영상 정보 처리 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
AMND Amendment