KR20230033700A - 프라이버시 보호 이미지 분배 - Google Patents

프라이버시 보호 이미지 분배 Download PDF

Info

Publication number
KR20230033700A
KR20230033700A KR1020237000506A KR20237000506A KR20230033700A KR 20230033700 A KR20230033700 A KR 20230033700A KR 1020237000506 A KR1020237000506 A KR 1020237000506A KR 20237000506 A KR20237000506 A KR 20237000506A KR 20230033700 A KR20230033700 A KR 20230033700A
Authority
KR
South Korea
Prior art keywords
image
encrypted
user
personal
source image
Prior art date
Application number
KR1020237000506A
Other languages
English (en)
Inventor
엘레나 부르차누
마달리나 볼보차누
에마누엘라 할레르
제오르지아나 엠. 로스카
보그단 체베레
라두 티티우
Original Assignee
비트데펜더 아이피알 매니지먼트 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비트데펜더 아이피알 매니지먼트 엘티디 filed Critical 비트데펜더 아이피알 매니지먼트 엘티디
Publication of KR20230033700A publication Critical patent/KR20230033700A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09C—CIPHERING OR DECIPHERING APPARATUS FOR CRYPTOGRAPHIC OR OTHER PURPOSES INVOLVING THE NEED FOR SECRECY
    • G09C5/00—Ciphering apparatus or methods not provided for in the preceding groups, e.g. involving the concealment or deformation of graphic data such as designs, written or printed messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0464—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload using hop-by-hop encryption, i.e. wherein an intermediate entity decrypts the information and re-encrypts it before forwarding it
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0891—Revocation or update of secret information, e.g. encryption key update or rekeying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/04—Masking or blinding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/42—Anonymization, e.g. involving pseudonyms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60—Digital content management, e.g. content distribution
    • H04L2209/608—Watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/76—Proxy, i.e. using intermediary entity to perform cryptographic operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Storage Device Security (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Table Devices Or Equipment (AREA)
  • Cereal-Derived Products (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

일부 실시예들은 개별 사용자의 프라이버시를 보호하는 방식으로 복수의 사용자들에게 데이터(예를 들어, 기록된 비디오, 사진, 기록된 오디오 등)를 분배하는 것을 가능하게 한다. 일부 실시예들은 동형 암호화 및 프록시 재암호화 기술(homomorphic encryption and proxy re-encryption techniques)을 레버리지로 하여 각각의 데이터를 조작하여 이것의 선택된 부분들이 각 데이터에 현재 액세스하는 사용자의 신원에 따라서 드러나도록 한다.

Description

프라이버시 보호 이미지 분배
본 출원은 2020년 7월 7일에 출원된 미합중국 가특허출원 번호 제62/705,604호(발명의 명칭 "프라이버시 보호 감시 시스템 및 방법(Privacy-Preserving Surveillance Systems and Methods)"의 출원일에 대한 우선권을 주장하며 그 전체 내용은 본 명세서에서 참조로서 포함된다.
본 발명은 이미지 처리, 구체적으로는 선택된 사용자의 프라이버시를 보호하는 방식으로 복수의 사용자에게 이미지를 분배하기 위하여 암호화 조작(cryptographic manipulation)을 채용하는 것에 대한 것이다.
이미징 기술과 인공 지능에 있어서의 최근의 발전은 디지털 감시(digital surveillance)의 폭증을 가져왔다. 공공 공간의 비디오 감시는 전통적으로 경찰에 의하여 범죄 예방을 위하여 사용되어 왔다. 감시 카메라들은 또한 매장, 사무실 및 학교에서 사유 재산에 사용되는 것이 증가되어왔다. 상기 카메라들에 의해서 수집된 데이터는 여러 특징들, 예를 들어서, 자동차 번호판 또는 특정 이미지에 등장하는 사람의 신원을 추출하기 위하여 종종 추가로 가공된다.
그러한 기술들의 광범위한 사용은 일부 문제를 야기한다. 민주주의를 지지하는 활동가들은 일부 정부들이 정치적 반대파, 반체제 인사, 특정 사회 집단 및 인종 집단을 타켓으로 한 감시를 활용한다고 비난한다. 근래에는, 일반 대중들도 집단적 감시의 수용도가 떨어졌고, 이를 프라이버시의 침해로 보는 것이 증가하고 있다.
따라서, 프라이버시를 보호하는 비디오 감시 시스템 및 방법들을 개발하는 데 있어 실질적인 필요성이 존재한다.
본 발명의 일태양에 따르면, 커스터마이징된 프라이버시 보호 이미지를 복수의 사용자에게 분배하는 방법은, 관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할(encrypted-domain image segmentation)을 수행하여 복수의 사용자 특정 암호화된 개인 이미지를 생성하기 위하여 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 포함한다. 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함한다. 상기 방법은 또한, 상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하기 위하여 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 포함한다. 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형(transforming)한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함한다. 상기 방법은 또한, 상기 소스 이미지의 사용자 특정 평문 버전(plaintext version)을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하기 위하여 상기 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 포함한다.
본 발명의 다른 태양에 따르면, 컴퓨터 시스템은 관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하여 복수의 사용자 특정 개인 이미지를 생성하도록 구성된 프라이버시 관리 서버를 포함한다. 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함한다. 상기 프라이버시 관리 서버는 상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하도록 추가적으로 구성된다. 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함한다. 상기 프라이버시 관리 서버는 상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하도록 추가적으로 구성된다.
본 발명의 또 다른 태양에 따르면, 비-일시적 컴퓨터 판독가능 매체(non-transitory computer-readable medium)는 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서에 의하여 실행될 때, 상기 프라이버시 관리 서버로 하여금, 관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하여 복수의 사용자 특정 개인 이미지를 생성하도록 하는 명령들을 저장한다. 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함한다. 상기 명령들은 추가적으로 상기 프라이버시 관리 서버로 하여금, 상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하도록 야기한다. 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함한다. 상기 명령들은 추가적으로 상기 프라이버시 관리 서버로 하여금, 상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하도록 야기한다.
본 발명의 전술한 태양들 및 장점들은 후술하는 상세한 설명 및 도면을 참조로 이해하면 더욱 잘 이해될 것이다.
도 1은 본 발명의 일부 실시예에 따른 예시적인 프라이버시 보호 감시 시스템(privacy-preserving surveillance system)을 보여주는 도면.
도 2는 본 발명의 일부 실시예에 따른 입력 센서의 예시적 구성요소를 보여주는 도면.
도 3은 본 발명의 일부 실시예에 따른 클라이언트 장치의 예시적 구성요소를 보여주는 도면.
도 4는 본 발명의 일부 실시예에 따른 이미지 분배 서버의 예시적 구성요소를 보여주는 도면.
도 5는 본 발명의 일부 실시예에 따른 프라이버시 관리 서버의 예시적 구성요소를 보여주는 도면.
도 6은 본 발명의 일부 실시예에 따른 예시적 소스 이미지를 보여주는 도면.
도 7은 본 발명의 일부 실시예에 따른 도 6의 소스 이미지 내에 포함된 예시적 공개 이미지를 보여주는 도면.
도 8은 본 발명의 일부 실시예에 따른 도 6의 소스 이미지 내에 포함된 예시적 개인 이미지를 보여주는 도면.
도 9는 본 발명의 일부 실시예에 따른 예시적 사용자 마스크를 보여주는 도면.
도 10은 본 발명의 일부 실시예에 따른 프라이버시 보호 감시 시스템을 구성(set-up)하기 위하여 수행되는 예시적 데이터 교환을 보여주는 도면.
도 11은 본 발명의 일부 실시예에 따른 프라이버시 보호 감시 시스템의 작동 중에 수행되는 예시적 데이터 교환을 보여주는 도면.
도 12는 도 11에 도시된 실시예의 프라이버시 관리 서버에 의해서 수행되는 단계들의 예시적 시퀀스를 보여주는 도면.
도 13은 본 발명의 선택적 실시예에서 수행되는 예시적 데이터 교환을 보여주는 도면.
도 14는 도 13에 도시된 실시예의 프라이버시 관리 서버에 의해서 수행되는 단계들의 선택적 예시적 시퀀스를 보여주는 도면.
도 15는 본 발명의 일부 실시예에 따른 이미지 분배 서버에 의해서 수행되는 단계들의 예시적 시퀀스를 보여주는 도면.
도 16은 본 발명의 일부 실시예에 따른 클라이언트 장치와 분배 서버 사이의 교환을 개괄적으로 보여주는(outlining) 단계들의 예시적 시퀀스를 보여주는 도면.
도 17-A는 본 발명의 일부 실시예에 따른 선택된 클라이언트 장치에 이용가능한 예시적 재구성된 이미지를 보여주는 도면.
도 17-B는 본 발명의 일부 실시예에 따른 또 다른 클라이언트 장치에 이용가능한 또 다른 예시적 재구성된 이미지를 보여주는 도면.
도 18은 프라이버시 보호 방식으로 선택된 과업(task)을 수행하도록 구성되는 본 발명의 실시예에서의 예시적 데이터 교환을 보여주는 도면.
도 19는 본 발명의 일부 실시예에 따른 작업(operation)을 수행하도록 구성된 컴퓨팅 장치의 예시적 하드웨어 구성을 보여주는 도면.
이하의 설명에서, 구조들 사이에서 언급된 모든 연결들은 직접적인 동작 연결들 (operative connections) 또는 매개 구조들을 통한 간접적인 동작 연결들일 수 있는 것으로 이해된다. 구성 요소들의 세트는 하나 이상의 구성 요소를 포함한다. 구성 요소의 임의의 열거는 적어도 하나의 구성 요소를 언급하는 것으로 이해된다. 복수의 구성 요소는 적어도 2개의 구성 요소를 포함한다. 달리 특정되지 않는다면, "또는(OR)"의 어떠한 사용도 비배타적인 "또는"을 의미한다. 달리 요구되지 않는다면, 기술된 어떠한 방법 단계들도 설명된 특정 순서로 반드시 실행될 필요는 없다. 제2 구성 요소로부터 유도되는 제1 구성 요소(예컨대, 데이터)는 제2 구성 요소와 동일한 제1 구성 요소는 물론, 제2 구성 요소 그리고 선택적으로는 다른 데이터를 처리하는 것에 의해 생성된 제1 구성 요소를 포함한다. 파라미터에 따라 결정 또는 판정하는 것은 파라미터에 따라 그리고 선택적으로는 다른 데이터에 따라 결정 또는 판정하는 것을 포함한다. 달리 구체화되지 않는다면, 일부 수량/데이터의 표시자는 수량/데이터 그 자체, 또는 수량/데이터 그 자체와 상이한 표시자일 수 있다. 컴퓨터 프로그램은 과업을 수행하는 프로세서 명령들의 시퀀스이다. 본 발명의 일부 실시예들에서 설명되는 컴퓨터 프로그램들은 독립형 소프트웨어 개체들 또는 다른 컴퓨터 프로그램들의 서브-개체들(예를 들어, 서브루틴들, 라이브러리들)일 수 있다. "데이터베이스"라는 용어는 본 명세서에서 데이터의 임의의 조직된 집합을 의미하기 위하여 사용된다. 암호화된 도메인 절차/작업(encrypted-domain procedure/operation)을 수행하는 것은 본 명세서에서 암호화된 도메인에서의, 즉 입력을 해독하는 것과 관련 없는 방식으로 암호화된 출력을 생성하기 위하여 암호화된 입력에서 직접적으로, 개별 절차/작업을 수행하는 것을 의미한다. 암호화된 도메인 절차는 입력을 해독하고 그리고 나서 개별 절차의 출력을 암호화하는 절차와는 구별된다. 달리 설명하면, 암호화된 도메인 절차/작업을 암호화된 아이템에서 수행하는 개체는 개별 아이템의 평문 버전(plaintext version)을 인지할 필요가 없다. 컴퓨터 판독 가능 매체는 자성, 광, 및 반도체 저장 매체와 같은 비-일시적 매체(non-transitory media)(예컨대, 하드 드라이브, 광 디스크, 플래시 메모리, DRAM)는 물론, 전도성 케이블 및 파이버 옵틱 링크와 같은 통신 링크들을 포함한다. 일부 실시예들에 따르면, 본 발명은, 그 중에서도, 본원에 설명된 방법들을 수행하기 위해 프로그래밍된 하드웨어(예컨대, 하나 이상의 프로세서들)는 물론, 본원에서 설명된 방법들을 수행하기 위한 명령들을 인코딩하는 컴퓨터-판독 가능 매체를 포함하는 컴퓨터 시스템을 제공한다.
후술하는 설명은 본 발명의 실시예들을 예시적으로 설명하는 것이며, 반드시 제한적인 것은 아니다.
도 1은 본 발명의 일부 실시예에 따른 예시적인 프라이버시 보호 감시 시스템(10)을 보여준다. "감시(surveillance)"라는 용어는 본 명세서에서 특정 예시적인 용례(use case)에 집중해서 개시 내용을 단지 명확하도록 하기 위하여 사용하는 것이지 범죄 예방과 같은 통상적인 감시 활동으로 제한하려는 의미는 아니다. 후술하는 기재가 비디오 감시 실시예에 포커스를 맞추겠지만, 설명되는 시스템들과 방법들은, 동일한 문서 상에서 작업하는 복수의 당사자들 사이의 협업 동안에 프라이버시 보호 및/또는 보안성 담보, 온라인 메시징을 통하여 이뤄지는 사이버 폭력(cyber-bullying) 예방 등과 같은 다른 적용예에도 적용될 수 있다.
시스템(10)은 그 중에서도, 입력 센서(14), 분배 서버(30), 프라이버시 관리 서버(40) 및 다수의 클라이언트 장치들(12a-c)을 포함하고 이들은 모두 인터넷을 포함할 수 있는 네트워크(15)에 의하여 연결된다.
센서(14)(예를 들어, 카메라, 마이크 등)는 아래에서 설명되는 바와 같이 추가로 조작되고 변형되는 신호(예를 들어, 이미지 및/또는 사운드의 인코딩)를 획득하도록 구성된다. 비디오 감시 실시예에서, 센서(14)는 학교 운동장, 시장 광장 등과 같은 공공 공간의 이미지를 획득하도록 위치된 비디오 카메라를 포함할 수 있다. 이와 같이, 센서(14)는 신호를 획득하기 위한 하드웨어 및/또는 소프트웨어 수단(예: 전하 결합 장치 - CCD 광 센서), 획득한 신호를 저장하기 위한 컴퓨터 판독 가능 매체 및 각 신호를 전송하기 위한 수단(예: 물리 계층 통신 하드웨어(physical layer communication hardware), 인코더, 안테나 등)을 포함할 수 있다. 도 2는 본 발명의 일부 실시예에 따른 전용 소프트웨어 모듈(dedicated software module)을 포함할 수 있는 입력 센서(14)의 다른 예시적인 구성요소를 도시한다. 암호 엔진(cryptographic engine)(16)은 획득한 이미지/음성 레코딩(recording)을 암호화한다. 통신 모듈(18)은 생성된 암호화된 신호를 아래에서 설명하는 바와 같이 프라이버시 관리 서버(40) 및/또는 이미지 분배 서버(30)에 추가적으로 전송한다.
일부 실시예에서, 암호 엔진(16)은 동형 암호화 방식(homomorphic encryption scheme)에 따라 데이터를 암호화한다. 동형 암호화는 암호화된 데이터의 덧셈 및/또는 곱셈과 같은 특정 연산을 수행할 수 있도록 하는 특정 종류의 암호화이며, 이러한 연산의 결과를 해독하면 각 연산을 동일한 데이터의 평문 버전(plaintext version)에 적용하는 것과 동일한 출력이 생성된다. 달리 말하면, Enc(p) = c가 p가 평문 메시지를 나타내고 c가 이의 대응되는 암호문(ciphertext)을 나타내는 동형 암호화 작업을 나타내는 경우, Dec(c) = p는 그 암호문으로부터 각 각의 평문 메시지를 복구하는 동형 해독 작업을 나타내고, Eval (F, {c 1 , ..., c k }) = C는 함수 F를 암호문 집합 c i 에 적용함으로써 암호문 C를 생성하는 동형 평가 절차를 나타내며 이 때 다음과 같다:
Figure pct00001
, [1]
여기서 p i =Dec(c i ), i=1, ..., k. 공식적인 수학적 언어에서, 동형 암호화 방식의 암호화 및 해독 과정은 평문 공간과 암호문 공간 사이의 동형사상(homomorphisms)이라고 말할 수 있다.
일부 동형 암호화 방식/암호 시스템(cryptosystem)이 본 기술분야에서 알려져 있다. 덧셈과 곱셈의 임의의 조합 상에서 동형 속성(homomorphic property)을 보존하는 방식은 일반적으로 완전한 동형인 것(fully homomorphic)으로 알려져 있다. 예로는 특히 GSW(Gentry-Sahai-Waters) 체계가 있다. 다른 방식/알고리즘은 특정 유형의 작업(operation)에 대해서만, 예를 들어 Paillier 방식의 경우 덧셈에 대해서만, RSA(Rivest-Shamir-Adelman)의 경우 곱셈에 대해서만 동형이다. 이러한 방식(scheme)은 부분적으로 동형인 것(partially homomorphic )으로 당업계에 알려져 있다. 대조적으로, 위에서 설명한 동형 속성을 갖지 않는 암호(cipher)는 본 명세서에서 비동형인 것(non-homomorphic)으로 간주된다. 비동형 암호의 예로는 일부 TLS(Transport Layer Security) 통신 프로토콜에서 사용되는 AES(Advanced Encryption Standard)가 있다.
클라이언트 장치(12a-c)는 일반적으로, 입력 센서(14)에 의해 제공되는 데이터에 액세스 및/또는 이를 처리(예를 들어, 시각화, 플레이 백 등)하는 데 사용되는, 퍼스널 컴퓨터, 스마트폰, TV 등과 같은 임의의 최종 사용자 전자 장치를 나타낸다. 도 3에 도시된 바와 같은 일부 실시예에서, 클라이언트 장치(12)는 분배 서버(30)와의 사용자 인증 교환(예를 들어, 로그인 절차)을 수행하고 이어서 재구성된 이미지(reconstructed image)를 사용자에게 디스플레이하도록 구성된 감시 소프트웨어 애플리케이션(22)을 실행할 수 있다. 데이터 재구성 엔진(data reconstruction engine)(24)은 후술하는 바와 같이 평문 공개 이미지의 세트(a set of plaintext public images) 및 암호화된 개인 이미지의 세트로부터 이미지를 재구성하도록 구성된다. 클라이언트 암호 엔진(client cryptographic engine)(26)은 수신된 암호화된 개인 이미지(들)를 해독하도록 구성된다. 일부 실시예에서, 엔진(26)은 동형 해독 알고리즘(homomorphic decryption algorithm)을 실현한다.
분배 서버(30) 및 프라이버시 관리 서버(40) 각각은 총칭적으로 서로 물리적으로 근접되어 있을 수도 있고 그렇지 않을 수도 있는 상호 연결된 컴퓨터 시스템의 세트를 나타낸다. 서버(30 및 40)의 예시적인 구성요소가 도 4 및 도 5에 각각 도시되어 있다. 일부 실시예에서, 이러한 구성요소들은 적어도 하드웨어 프로세서에서 실행되는 컴퓨터 프로그램(소프트웨어)을 나타낸다. 도시된 모든 구성요소가 동일한 하드웨어 프로세서 또는 물리적 머신에서 실행될 필요는 없다. 통상의 기술자라면 선택적 실시예에서 도시된 구성요소들의 일부가 ASIC(application-specific integrated circuit) 및/또는 FPGA(field-programmable gate arrays)와 같은 전용 하드웨어에서, 펌웨어에서, 상기의 조합된 것에서 구현될 수 있음을 이해할 것이다.
일부 실시예에서, 분배 서버(30)는 예를 들어 사용자 등록 및/또는 인증을 위한 클라이언트 장치들(12a-c)과의 통신 뿐만 아니라 선택적으로 암호화된 데이터를 각각의 클라이언트 장치로 배포하는 것을 포함하는 감시 서비스를 관리한다. 일반성의 손실 없이, 서버(30)는 본 명세에서 이미지 분배 서버, 즉 이미지(예를 들어, 비디오)를 클라이언트에 분배하도록 구성된 서버로 지칭될 수 있다. 기술자는 실제 실시예 및 사용 사례에 따라 서버(30)가 오디오, 전자 문서 등과 같은 다른 종류의 데이터를 배포할 수 있음을 이해할 것이다. 사용자 관리자 구성요소(32)는 사용자 및/또는 계정 데이터(사용자 이름, 비밀번호, 다양한 서비스 계약 매개변수 등)의 세트를 관리하고 사용자 등록 및 계정 관리를 위한 사용자 인터페이스를 제공한다.
접근 관리자 구성요소(access manager component)(38)는 데이터 저장소(20)로/로부터 데이터를 선택적으로 저장 및/또는 검색할 수 있고 각각의 클라이언트 장치에서 현재 인증된 사용자의 신원에 따라 이러한 데이터를 각 클라이언트 장치(12a-c)에 선택적으로 전달할 수 있다. 접근 관리자(38)는 무엇보다도 웹 서버를 포함할 수 있다.
암호 키 관리자(cryptographic key manager)(34)는 클라이언트 장치(12a-c) 및 프라이버시 관리 서버(40)와의 키 생성 및 교환 절차를 개시 및/또는 수행할 수 있다. 키 관리자(34)는 또한 프록시 재암호화 토큰의 세트(a set of proxy re-encryption tokens)를 생성하고 각각의 그러한 토큰을 감시 서비스의 등록된 사용자 및/또는 클라이언트 장치(12a-c)에 선택적으로 연관시킬 수 있다. 이러한 프로세스에 대한 보다 상세한 것은 이하에서 설명된다.
관리 암호 엔진(administration cryptographic engine)(36)은 아래에서 추가로 설명되는 바와 같이 데이터 암호화 및/또는 해독 작업을 수행하도록 구성될 수 있다. 엔진(36)은 동형 암호화/해독 알고리즘의 버전을 구현할 수 있다.
일부 실시예에서, 데이터 저장소(20)는 개인 및 공개 데이터의 데이터베이스를 저장하도록 구성된 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 공개 데이터(public data)는 예를 들어 평문(즉, 암호화되지 않은) 이미지와 같이, 모든 사용자가 액세스할 수 있는 임의의 데이터를 포함할 수 있다. 개인 데이터(private data)는 선택된 사용자에 의해서만 접근 및/또는 해독될 수 있다. 개인 데이터의 예는 아래에 보여지는 바와 같이 사용자 특정 및 합성 프록시 재암호화 이미지(composite proxy re-encrypted images)를 포함한다. 이러한 데이터는 선택적 삽입 및 검색을 가능하게 하기 위해 사용자에 따라 인덱싱될 수 있다. 인덱싱은 당업계에 알려진 임의의 형태를 취할 수 있다.
일부 실시예에서, 프라이버시 관리 서버(40)(도 5)는 입력 센서(14)에 의해 제공된 데이터에서 개인/비밀 아이템의 암호화(cryptography) 및 자동 탐지와 같은 서비스를 제공한다. 서버(40)의 재암호화 엔진(46)은 아래에 보다 자세히 나와 있는 것처럼 암호화된 데이터에 대한 키 스왑 절차(key-swap procedure)를 수행하도록 구성된다. 본 명세서에서 키-스왑 절차는 하나의 키로 해독 가능한 것으로부터 또 다른 키로 해독 가능한 것으로 암호문을 변형하는 절차를 의미한다. 키-스왑 절차의 한 예는 당업계에 프록시 재암호화로 알려져 있으며, 이는 엔터티 Z로 하여금, 다른 엔터티 Y에 대한 일부 정보가 제공될 때, 엔터티 X의 공개 키(public key) 하에서 암호화된 암호문을 변경할 수 있도록 하여 엔터티 Y에 의해 이를 해독 가능하게 만든다. 달리 말하면, 엔터티 Y는 그 자신의 비밀 키를 사용하여 X의 공개 키 하에서 암호화된 암호문을 해독할 수 있지만, 엔터티 Y에 특정된 재암호화 키(또한 재암호화 토큰으로 본 기술분야에서 알려짐)를 이용하여 각 암호문이 엔터티 Z에 의하여 프록시 재암호화된 이후에 가능하다. 이러한 일반적인 방법을 도 1에 도시된 예시적인 액터(actor)로 변환(translating)하면, 프라이버시 관리 서버(40)의 일부 실시예들은 분배 서버(30)의 공개 키로 이미 암호화된 데이터를 프록시 재암호화하고, 각각의 데이터를 클라이언트 장치(12a-c)의 선택된 사용자에 의해 해독가능하게 만든다. 프록시 재암호화 절차는 각각의 사용자 및/또는 장치에 특정적인 재암호화 토큰, 예를 들어 각각의 사용/장치의 공개 암호화 키에 따라 생성된 토큰을 채용한다.
일부 실시예에서, 재암호화 엔진(46)은 암호화된 도메인에서 작동하고, 즉 각각의 키-스왑 절차는 입력을 해독하지 않고 수행된다. 암호화된 도메인 키 스왑(encrypted-domain key-swaps)을 달성하기 위해, 엔진(46)의 일부 실시예는 클라이언트 장치(12a-c), 분배 서버(30) 및/또는 입력 센서(14)에 의해 구현되는 동형 암호화/해독 알고리즘과 호환되는 프록시 재암호화 알고리즘을 구현한다. 그러한 알고리즘은 본 기재의 범위를 벗어난다; 예를 들어 https://gitlab.com/palisade/palisade-development에서 사용할 수 있는 PALISADE 코드 라이브러리와 같은 일부의 그러한 예가 암호화 기술분야에 알려져 있다.
아이템 탐지기(42)의 세트는 센서(14)로부터 수신된 입력 데이터(예를 들어, 감시 카메라에 의해 캡쳐된 프레임)가 선택된 사용자와 관련된 개인/비밀 아이템의 표현(representation)을 포함하는지 여부를 결정하도록 구성될 수 있다. 예시적인 개인 아이템으로는 특히 사람, 얼굴 또는 몇몇 다른 신체 부위, 로고/상표, 자동차 번호판, 은행 카드, 개인 ID(예: 운전면허증, 여권), 손으로 쓴 글자 및 사람의 서명을 들 수 있다. 소리와 함께 작동하도록 구성된 실시예에서, 예시적인 개인 아이템은 사람의 식별을 가능하게 하는 임의의 아이템, 예를 들어 음색(timbre), 보컬 프라이(vocal fry), 피치(pitch), 템포(tempo), 억양(inflection) 등과 같은 임의의 음성 품질(voice quality)을 포함할 수 있다. 다른 예시적인 개인 소리 아이템은 이름 및 선택된 단어(예를 들어, 비속어, 인종 차별적 비방 등)의 발언(utterance), 총성, 말싸움 소리 등을 포함한다. 텍스트 문서 및/또는 전자 메시지를 처리하도록 구성된 실시예에서, 예시적인 개인 아이템들은 쓰여진 이름(written name), 주소, 신용 카드 번호와 같은 금융 정보 등을 포함한다. 다른 예로는 특히 선택한 작성자가 쓴 텍스트, 선택한 주제에 대해 쓴 텍스트, 선택한 스타일로 쓰거나 선택한 감정을 전달하는 텍스트가 있다.
개인 아이템은 사용자 특정적일 수 있다. 예를 들어, 학교 운동장 감시 사용 사례에서 각각의 부모는 자신의 자녀를 개인 아이템으로 정의할 수 있고, 따라서 각각의 자녀는 각각의 부모에게만 표시될 수 있다. 일부 실시예에서, 다수의 사용자는 개인 아이템을 공유할 수 있고 그리고/또는 단일 사용자가 다수의 개인 아이템을 가지고 있을 수 있다. 이러한 일 예에서, 특정 사용자 그룹의 모든 구성원(예: 3학년 자녀의 부모들)은 그들의 자녀의 또래의 얼굴을 볼 수 있지만 다른 사용자는 그럴 수 없다.
도 6은 감시 카메라(입력 센서(14))로부터 수신된 예시적인 소스 이미지(70)를 도시하고, 이미지(70)는 사람(예를 들어, 어린이(72a-b)), 얼굴(72c) 및 특정 물체(72d)를 포함하는 예시적 개인/비밀 아이템을 보여준다. 도 7 내지 도 8은 예시적인 소스 이미지(70)에 포함된 예시적인 공개 및 개인 이미지를 보여준다. 일부 실시예에서, 개인 이미지는 개인/비밀 아이템의 표현(예를 들어, 숫자의 배열)을 포함한다. 도 8의 예에서, 개인 이미지(76a)는 도 6의 개인 아이템(72a)을 보여주는 소스 이미지의 영역을 포함한다. 다음으로, 공개 이미지(74)(도 7)는 어떠한 개인 아이템을 보여주지 않는 소스 이미지(70)의 또 다른 영역을 포함할 수 있다. 예를 들어, 공개 이미지(74)는 사적인 것(개인적인 것)이 아닌 소스 이미지(70)의 모든 콘텐츠를 보여줄 수 있다. 예시적인 공개 이미지는 장면(풍경, 건물, 나무, 뜰, 하늘 등)의 배경을 포함한다. 일부 실시예에서, 공개 이미지(74) 및/또는 개인 이미지(들)(76a)는 소스 이미지와 동일한 크기를 가지는 숫자의 배열(array)로 표현된다.
아이템 탐지기(item detector)(42)는 본 기술분야에서 알려진 임의의 방법을 사용하여 구성될 수 있다. 예를 들어, 예시적인 아이템 탐지기(42)는 소스 이미지 내에서 각각의 개인 아이템의 인스턴스를 식별하도록 미리 훈련된 인공 신경망의 세트와 같은 인공 지능(AI) 시스템(43a)을 포함할 수 있다. 예시적인 AI 시스템(43a)은 무엇보다도 얼굴 인식 모듈 및 이미지 분할 모듈(image segmentation module)을 포함한다. 이러한 아이템 탐지기의 구조 및 훈련은 본 설명의 범위를 벗어난다. 여러 아키텍처 및 훈련 전략이 본 기술분야에서 알려져 있다.
이미지 처리 실시예(image processing embodiment)에서, 예시적인 아이템 탐지기(42)는 소스 이미지(70)를 수신하고 개인 아이템의 표현을 보여주는 소스 이미지의 영역(예를 들어, 특정 사람의 얼굴을 보여주는 소스 이미지의 영역)을 나타내는 사용자 마스크를 출력할 수 있다. 도 9는 도 6의 개인 아이템(72a)과 연관된 예시적인 사용자 마스크(80a)를 도시한다. 예시적인 사용자 마스크는 각각의 개인 아이템의 이미지에 속하는 픽셀의 서브세트를 특징으로 한다. 또 다른 예시적인 사용자 마스크는 소스 이미지(70)의 연속 영역(contiguous region)내에 위치된 모든 픽셀을 포함하고, 상기 영역은 개인 아이템을 보여준다. 예를 들어, 도 9에 도시된 실시예에서, 그러한 영역은 개인 아이템의 이미지를 둘러싸는 다각형(polygon)(예를 들어, 컨벡스 헐(convex hull), 바운딩 박스(bounding box) 등)의 내부로서 정의될 수 있다. 사용자 마스크의 편리한 컴퓨터 판독 가능 인코딩은 숫자의 희소 어레이(sparse array)를 포함하며, 상기 어레이는 소스 이미지(70)와 동일한 크기를 갖고, 여기서 상기 마스크의 픽셀에 대응하는 요소를 제외한 모든 요소는 0이다. 복수의 사용자 마스크가 단일 사용자(즉, 단일 재암호화 토큰, 이하 참조)와 연계될 수 있다. 일부 사용자 마스크는 겹칠 수 있다.
일부 실시예에서, 탐지기(42)는 암호화된 도메인에서, 즉 소스 이미지를 복호화하지 않고 작동한다. 이러한 암호화된 도메인 작동을 달성하기 위해, AI 시스템(43a)(예를 들어, 얼굴 인식을 구현하는 신경망)은 동형 암호화 방식과 호환되도록 의도적으로 구성될 수 있습니다. 예를 들어, 탐지기(들)(42)는 동형으로 암호화된 소스 이미지(homomorphically-encrypted source image)를 수신할 수 있고, 응답으로 동형으로 암호화된 사용자 마스크를 출력할 수 있으며, 사용자 마스크는 소스 이미지를 암호화하는 데 사용된 것과 동일한 암호화 키를 사용하여 암호화된다. 몇몇 그러한 AI 시스템이 본 기술분야에서 알려져 있다. 예로는 N. Dowlin et al., "CryptoNets: Applying Neural Networks to Encrypted Data with High Throughput and Accuracy", Proceedings of the 33rd International Conference on Machine Learning, New York, NY, 2016, JMLR: W&CP vol. 48에 기술된 CryptoNets 등이 있다. 그러한 일 예에서, AI 시스템(43a)은 선택된 레이어들이 미리 결정된 정도의 다항식과 대등하고 ReLU(rectifier linear units)와 같은 전형적인 비선형 활성화 함수(typical non-linear activation function)가 다항식 근사(polynomial approximation)로 대체되는 신경망을 포함한다.
일부 실시예에서, AI 시스템(43a)은 각 사용자에 의해 제공되거나 그렇지 않으면 이들에 의하여 표시된 훈련 데이터를 사용하여 AI 훈련 시스템(11)(예를 들어, 프로세서에서 실행되는 기계 학습 알고리즘)에 의해 미리 훈련된다. 그러한 일 예에서, 서비스를 위하여 등록하면, 각 사용자는 얼굴의 이미지 또는 사람의 음성 샘플과 같은 각 사용자의 비밀 아이템(들)의 샘플 표현(샘플로 표현한 것, sample representation)을 제공할 수 있다. 일부 실시예는, 그런 다음, 입력 센서(14)로부터 수신된 데이터 스트림(data stream) 내의 각각의 개인 아이템의 표현을 식별하도록 AI 시스템(43a)을 훈련시킬 수 있다. 관련 예는 각 사용자에 의해 제공되는 목표 얼굴(target face)에 얼굴 인식 소프트웨어를 훈련시키는 것이다. 훈련은 아이템 탐지기(들)(42)로 전송되는 최적화된 탐지기 파라미터 값(45a)의 세트를 생성한다. 신경망 실시예에서, 예시적인 파라미터(45a)는 무엇보다도 시냅스 가중치(synapse weight) 및 뉴런 편향(neuron bias)의 세트를 포함한다.
도 10은 본 발명의 일부 실시예에 따른 프라이버시 보호 감시 서비스를 초기화/설정하기 위해 수행되는 예시적인 교환을 도시한다. 도시된 예에서, 분배 서버(30)는 분배 서버(30)에 특정적인 한 쌍의 동형 암호화 키(여기서는 관리 키로 간주됨)를 생성하고 획득된 신호/이미지(들)을 암호화하는데 사용하기 위하여 입력 센서(14)에 상기 쌍의 공개 키(public key)(52)를 전송하기 위하여 키 생성 절차를 수행한다. 서버(30)는 또한 클라이언트 장치(12)(총칭적으로 도 1의 클라이언트 장치(12a-c) 중 임의의 것을 나타냄)와의 키 생성 및/또는 교환 프로토콜에 관여하고, 이 때 장치(12)는 클라이언트 장치(12)를 통하여 프라이버시 보호 감시 서비스에 접근하는 각 사용자를 위하여 특정된 암호화 키(여기서는 사용자 키로 간주됨)의 특유한 세트를 생성한다. 선택적 실시예는 장치 특정적인 암호화 키를 생성할 수 있다. 사용자 및/또는 장치 키 생성은 각 사용자의 초기 서비스 구성 절차의 일부로 가입(signup) 시 일어날 수 있으며 동형 암호화 키 생성 알고리즘에 따라 진행될 수 있다. 그런 다음 클라이언트 장치(12)는 공개 사용자 키(들)(54)를 분배 서버(30)로 보낸다. 키(들)(54)을 수신하는 것에 응답하여, 키 관리자(34)는 각 사용자 및/또는 클라이언트 장치와 고유하게 연관된 프록시 재암호화 토큰(들)(50)의 세트를 생성할 수 있다. 일부 실시예는 사용자/장치 키를 생성하기 위하여 클라이언트 장치(12)에 의해 사용되는 동형 암호화 알고리즘과 호환되는 토큰 생성 알고리즘을 통해, 각각의 사용자/장치와 관련된 공개 키에 따라 그리고 관리 키에 따라 사용자 특정적 토큰(들)(50)의 각 세트를 생성한다. 이러한 키 생성 프로토콜/절차는 본 기재의 범위를 벗어난다. 암호화 기술 분야에서 몇 가지 예가 알려져 있다. 그리고 나서 재암호화 토큰(50)은 이하에서 상세히 설명되는 바와 같이 사용자 특정적 개인 이미지의 프록시 재암호화에 사용하기 위해 프라이버시 관리 서버(40)로 전송된다.
도 11 및 도 13은 프라이버시 보호 감시 시스템의 두 가지 예시적인 실시예에서 수행되는 데이터 교환을 보여준다. 명확성을 위해, 이하의 설명은 비디오 감시에 초점을 맞출 것인데, 즉, 관련 소스 데이터는 이미지 데이터를 포함한다. 통상의 기술자라면 본 명세서에 기술된 방법이, 관련 데이터가 사운드(예를 들어, 음성 녹음), 텍스트 등의 인코딩을 포함하는 다른 응용예에 적용될 수 있음을 이해할 것이다.
도 12 및 도 14는 도 11 및 도 13에 의해 각각 설명된 실시예에서 프라이버시 관리 서버(40)에 의해 수행되는 단계의 선택적 시퀀스를 보여준다. 차례로, 도 15는 이미지 분배 서버(30)에 의해 수행되는 예시적인 단계를 보여준다.
일부 실시예에서, 입력 센서(14)에 의해 획득된 데이터는, 예를 들어 숫자의 어레이를 포함하는 평문 이미지 I로서 인코딩되며, 각 숫자는 별개의 위치/픽셀에서 각각의 이미지의 강도를 나타낸다. 일부 이미지는 복수의 채널(예: 빨간색, 녹색 및 파란색)을 가질 수 있다. 그러한 실시예에서, 각각의 채널은 별도의 어레이에 의해서 표현될 수 있다. 그런 다음 이미지 I는 공개 관리 키(들)(52)에 따라 센서 암호 엔진(16)에 의해 암호화되어 프라이버시 관리 서버(40)로 전송되는 암호화된 데이터 스트림(60)을 생성한다. 스트림(60)은 예를 들어 암호화된 소스 이미지의 세트를 포함할 수 있다:
Figure pct00002
, [2]
여기서 Enc(x, k)는 총칭적으로 키 k를 사용하는 수량(quantity) x의 암호화를 나타내고 k p admin 은 공개 관리 키(들)(52)를 나타낸다. 별 기호(*)는 암호화된 수량을 나타내기 위해 전체적으로 사용된다. 비디오 감시 실시예에서, 각각의 암호화된 소스 이미지 I * 는 특유의 프레임(distinct frame)에 대응할 수 있고 각각의 프레임이 촬영된(taken) 때의 순간을 나타내는 연관된 타임스탬프(timestamp)로 태깅될 수 있다.
데이터 스트림(60)을 수신하는 것에 응답으로, 각각의 암호화된 소스 이미지 I * 를 위하여, 단계(204)(도 12)에서, 서버(40)는 각각의 이미지가 개인 데이터(즉, 일부 사용자에 의하여 개인적인 것으로 간주되는 아이템의 이미지)를 포함하는지를 결정하기 위하여 아이템 탐지기(들)(42)를 적용할 수 있다. 긍정(yes)인 경우, 탐지기(들)(42)의 일부 실시예는 여러 개인적 아이템을 보여주는 소스 이미지의 영역을 식별하는 사용자 마스크의 세트(도 9의 예시적인 마스크(80a) 참조)를 반환한다(return). 또한 이러한 마스크는 각각의 아이템을 개인적인 것으로 선언한 사용자에 따라 인덱싱된다. 일부 실시예는 공개 데이터만을 포함하는 현재 프레임의 영역을 포함하는 공개 마스크의 세트를 추가로 결정할 수 있다. 예시적인 실시예에서, 공개 마스크는 모든 사용자 마스크를 반전시키고(inverting) 그 결과를 중첩(superposing)함으로써 결정된다. 다른 실시예에서, 아이템 탐지기(42)는 사용자 마스크와 함께 공용 마스크의 세트를 반환하도록 훈련될 수 있다.
그러나, 프라이버시 관리 서버(40)가 비밀 관리 키(들)를 소유하지 않고 따라서 소스 이미지(들) I * 를 해독할 수 없기 때문에, 아이템 탐지기(들)(42)의 일부 실시예는 암호화된 도메인에서, 즉 암호화된 데이터에서 직접 작동하고, 그리고 암호화된 출력을 생성한다(즉, 사용자 마스크도 암호화됨). 따라서, 일부 실시예에서, 아이템 탐지기(42)가 서버(40)에서 실행되더라도, 서버(40)는 소스 이미지의 콘텐츠 뿐만 아니라 소스 이미지의 어떤 영역이 개인 아이템을 포함하는지(있는 경우) 인지(감지)하지 못한다.
일부 실시예에서, 단계(206-208)들의 세트(도 12)는 아이템 탐지기(들)(42)의 출력에 따라 현재 소스 이미지 I * 로부터 암호화된 공개 및 개인 이미지들의 세트를 추출하기 위해 암호화된 도메인 이미지 분할 절차를 수행한다. 각각의 개인 이미지는 특유의 사용자 마스크(distinct user mask) 내에 위치된 현재의 소스 이미지의 (암호화된) 콘텐츠를 포함할 수 있다. 일부 실시예에서, 사용자 마스크 i와 연관된 암호화된 개인 이미지는 암호화된 마스크 i 및 암호화된 소스 이미지의 픽셀별(픽셀 단위) 곱셈(a pixel-wise multiplication)에 따라 결정될 수 있다:
Figure pct00003
, [3]
여기서 M * i 는 아이템 탐지기(들)(42)에 의해 반환된 암호화된 사용자 마스크 i를 나타낸다:
Figure pct00004
, [4]
여기서 M i 는 암호화되지 않은/평문 사용자 마스크(unencrypted/plaintext user mask) i를 나타낸다.
여기서 원으로 둘러싸인 점 연산자(circled dot operator)는 픽셀별(픽셀 단위) 곱셈을 나타낸다:
Figure pct00005
, [5]
이 때, 쌍 {xy}는 각각, 소스 이미지 및 사용자 마스크 내의 위치/픽셀을 인덱싱한다. 픽셀별 곱셈은 동일한 크기의 이미지/어레이에 적용된다.
한편, 현재의 프레임의 암호화된 공개 이미지(도 11의 아이템(62))는 암호화된 소스 이미지와 암호화된 공개 마스크의 요소별 곱셈에 따라 컴퓨팅될 수 있다:
Figure pct00006
, [6]
여기서 M *PUBLIC 은 아이템 탐지기(들)(42)에 의해 생성된 암호화된 공개 마스크를 나타낸다:
Figure pct00007
, [7]
여기서 M PUBLIC 은 각각의 암호화되지 않은/평문 공개 마스크(unencrypted/plaintext public mask)를 나타낸다.
일부 실시예에서, 단계(210)에서, 프라이버시 관리 서버(40)는 각각의 사용자/마스크 i와 연관된 재암호화 토큰에 따라 위에서 본 바와 같이(예를 들어, 공식 [2]) 결정된 개인 이미지(들)를 프록시 재암호화하기 위해 재암호화 엔진(46)을 채용하여, 개별적, 사용자 특정적인 재암호화된 개인 이미지(66)(도 11)를 생성할 수 있고, 이는 다시 이미지 분배 서버(30)로 전송된다. 이러한 프록시 재암호화는 각 개인 이미지가 사용자/마스크 i와 연관된 복호화 키(decryption key)의 소유자에 의해서만 해독될 수 있는 것을 확실히 한다. 일부 실시예에서, 재암호화된 개인 이미지(66)는 서버(30)가 데이터 저장소(20)로/로부터 이미지(66)를 선택적으로 삽입 및/또는 검색할 수 있도록 각 사용자의 표시자(indicator)로 태깅된다. 단계들(212-214)들의 추가 시퀀스는 암호화된 공개 이미지(62) 및 재암호화된 개인 이미지(들)(66)를 클라이언트 장치(12a-c)로의 추가 분배를 위해 서버(60)로 전송한다.
도 13 내지 도 14에 설명된 선택적 실시예에서, 단계(230)에서, 서버(40)는 해독을 위해 암호화된 사용자 마스크(들)(64)를 이미지 분배 서버(30)에 전송할 수 있고, 응답으로, 서버(30)로부터 해독된 사용자 마스크(들)(65)를 수신할 수 있다. 일부 실시예에서, 해독된 마스크(들)(65)는 아이템 탐지기(들)(42)에 의해 결정된 암호화된 사용자 마스크의 평문 버전을 포함한다:
Figure pct00008
, [8]
여기서 Dec(x,k)는 총칭적으로 키 k를 사용하는 수량 x의 복호화를 나타내고, k s admin 은 이미지 분배 서버(30)가 보유한 비밀 암호 키(secret cryptographic key)를 나타낸다. 그러한 실시예에서, 소스 이미지가 개인 아이템을 보여주는지 여부와 소스 이미지의 어느 영역이 그러한지 프라이버시 관리 서버(40)가 명확하게 알 수 있더라도, 서버(40)가 각각의 소스 이미지 I * 의 어떤 영역도 해독할 수 없기 때문에 프라이버시는 여전히 보호된다.
다음으로, 단계(234)는 각각의 해독된 사용자 마스크(65) 내에 위치한 암호화된 프레임의 픽셀을 복사함으로써 개인 이미지를 추출할 수 있다. 일부 실시예에서, 이것은 마스크 i와 연관된 암호화된 개인 이미지를 다음과 같이 결정하는 것이 될 수 있다:
Figure pct00009
[9]
추가 단계(236)는 재암호화 엔진(46)을 채용하여 각각의 마스크 i와 연관된 사용자의 재암호화 토큰으로 각각의 그러한 개인 이미지를 프록시 재암호화하여 개별적인 재암호화된 개인 이미지를 생성할 수 있다. 다음으로, 단계(238)에서 일부 실시예는 단계(236)에서 결정된 복수의 개별적인 재암호화된 개인 이미지에 따라 합성 재암호화된 개인 이미지(composite proxy re-encrypted image)(67)를 컴퓨팅할 수 있다. 일부 실시예에서, 합성 이미지(67)는 모자이크 방식으로 다수의 개인 이미지로부터 조합된 단일 이미지를 포함하며, 각각의 개별적인 재암호화된 개인 이미지는 각각의 사용자 마스크 Mi에 대응하는 합성 이미지의 영역을 차지한다. 합성 개인 이미지를 계산하는 것은 각각의 프록시 재암호화된 개인 이미지를 소스 이미지의 크기로 제로-패딩(zero-padding)하여 용이하게 될 수 있다. 다음으로 합성 재암호화 개인 이미지(67)는 다음에 따라 계산될 수 있다:
Figure pct00010
, [10]
여기서 ReEnc(x, t)는 총칭적으로 토큰 t를 사용하는 암호문 x의 프록시 재암호화를 나타내고, t i 는 사용자/마스크 i와 연관된 재암호화 토큰을 나타낸다. 여기에서 원 안의 더하기 연산자는 픽셀별 덧셈(픽셀 단위 덧셈, pixel-wise addition)을 나타낸다:
Figure pct00011
, [11]
이 때, {xy} 쌍은 각각, 예시적인 이미지 I 1 및 I 2 내의 위치/픽셀을 인덱싱한다. 픽셀별 덧셈은 동일한 크기의 이미지에 적용할 수 있다.
다음으로 계산된 합성 재암호화 개인 이미지(67)는 단계(240)에서 이미지 분배 서버로 전송될 수 있다. 선택적인 실시예에서, 프라이버시 관리 서버(40)는 개별적인 프록시 재암호화 개인 이미지를 컴퓨팅하고 각각의 이미지를 분배 서버(30)로 전송할 수 있다. 다음으로, 서버(30)는 예를 들어 식 [10]을 사용하여, 수신된 개별적인 재암호화 이미지로부터 합성 이미지(67)를 결정할 수 있다.
한편(도 14의 단계 226), 프라이버시 관리 서버(40)는 위에 나타낸 바와 같이(예를 들어, 식 [6]) 암호화된 공개 이미지(62)를 컴퓨팅할 수 있다. 대안적으로, 이미지(62)는 평문 공개 마스크에 따라 결정될 수 있다:
Figure pct00012
, [12]
여기서 M PUBLIC 은 분배 서버(30)로부터 수신된다. 또 다른 실시예에서, M PUBLIC 은 서버(30)로부터 수신된 모든 평문 사용자 마스크 M i 를 반전(inverting)시키고 그 결과를 중첩(superposing)함으로써 컴퓨팅될 수 있다. 임의의 이러한 상황에서, 이미지(62)는 서버(40)가 암호화된 도메인에서, 즉 소스 이미지를 복호화하지 않고 이미지 분할을 수행한다는 사실에 의해 관리 키로 암호화된다. 달리 말하면, 서버(40)는 공개 이미지(62)의 평문 콘텐츠를 인식하지 못한다. 단계(228)에서, 암호화된 공개 이미지(62)는 복호화 및 클라이언트로의 추가 배포(분배, distribution)를 위해 서버(30)로 전송된다.
도 15는 본 발명의 일부 실시예에 따른 이미지 분배 서버(30)의 예시적인 작동을 보여준다. 단계들(252-254)의 시퀀스에서, 서버(30)는 개인 관리 서버(40)로부터의 통신을 기다릴 수 있다. 그러한 통신이 암호화된 사용자 마스크를 포함할 때(단계 256은 "예"를 리턴함), 이미지 분배 서버(30)는 개별 마스크들을 이들의 비밀 관리 키(예: 위의 공식 [6])에 따라 해독하기 위해 암호 엔진(36)을 채용하고, 해독된 마스크(들)를 프라이버시 관리 서버(40)로 전송한다.
통신이 암호화된 공개 이미지(62)를 포함할 때, 서버(40)는 이를 해독하여 해독된 공개 이미지(63)를 산출할 수 있고:
Figure pct00013
, [13]
그리고 이미지(63)를 데이터 저장소(20)에 저장한다. 해독된 공개 이미지(63)는 타임스탬프, 프레임 번호 또는 이미지(63)를 이것이 추출된 소스 이미지와 연관시키는 다른 표시자로 태깅될 수 있다.
서버(40)로부터 수신된 통신이 재암호화된 개인 이미지(각각 서버(40)가 흐름도 12 또는 14를 따르는지에 따라 사용자/마스크 i에 특정적이거나 또는 합성임)를 포함할 때, 이미지 분배 서버(30)는 각각의 개인 이미지를 데이터 저장소(20)에 삽입할 수 있다. 재암호화된 개인 이미지는 또한 타임스탬프 및/또는 각 이미지(들)를 각 소스 이미지에 연관시키는 라벨에 따라 태깅될 수 있다. 또한, 개인 이미지는 특정 사용자 및/또는 마스크와의 연관성을 나타내기 위해 태깅될 수 있다(태그를 지정할 수 있다).
도 16은 도 1의 클라이언트 장치(12a-c) 중 임의의 것을 총칭적으로 나타내는 클라이언트 장치(12)와 관련하여 이미지 분배 서버(30)에 의해 수행되는 추가의 예시적인 단계를 도시한다. 단계(280)에서, 클라이언트 장치(12)는 사용자 인증 절차를 수행하여 장치(12)의 현재 사용자를 분배 서버(30)로 식별할 수 있다. 단계(280)는 본 기술분야에 알려진 임의의 사용자 인증 프로토콜(예를 들어, 패스워드, 이중 요소형(two-factor), 생체형(biometric) 등)을 구현할 수 있다. 단계(282)에서, 장치(12)는 다음으로 예를 들어 특정 감시 카메라로부터의 그리고 특정 시간 프레임 내에 캡쳐된 이미지를 보기 위한 요청을 나타내기 위해 서버(30)에 쿼리를 전송할 수 있다. 응답으로, 단계(284-290)들의 시퀀스에서, 이미지 분배 서버(30)는 쿼리에 따라 데이터 저장소(20)로부터 공개 및 개인 이미지의 세트를 선택적으로 검색하고 각각의 이미지를 클라이언트 장치(12)로 전송할 수 있다. 프라이버시 관리 서버(40)가 도 12 또는 도 14에 도시된 흐름도에 따라 동작하는지 여부에 따라서, 개인 이미지(들)은 개별적인 재암호화된 개인 이미지(66) 또는 합성 재암호화된 개인 이미지(67)를 각각 포함할 수 있다. 이러한 트랜잭션은, 예를 들어 웹 인터페이스를 통해 수행될 수 있다. 선택적인 실시예에서, 이미지 분배 서버(30)는 클라이언트 장치(20)와의 전용 연결(dedicated connection)(예를 들어, VPN 터널)을 열고 각각의 연결을 통해 공개 및 개인 이미지(들)를 전송할 수 있다.
통상의 기술자라면 공개 이미지가 분배 전에 평문으로 해독되었지만 단계 (288)가 반드시 각 공개 이미지를 평문으로 전송하는 것을 포함하지 않는다는 것을 이해할 것이다. 대신에, 단계(288)는 예를 들어 TLS/HTTPS 상의 전송의 일부로서 전송된 공개 이미지를 재암호화하는 것을 포함할 수 있다. 그러나 이러한 암호화는 클라이언트 장치에서 이미지 재구성에 영향을 미치지 않는다. TLS/HTTPS 트랜잭션에서 수신 클라이언트 장치는 항상 페이로드(payload)를 해독할 수 있다.
공개 및 개인 이미지 수신에 응답하여, 단계(292)에서, 클라이언트 장치(12)는 클라이언트 장치(12)의 각 사용자와 연관된 비밀 암호 키를 사용하여 각 개인 이미지를 해독하기 위해 클라이언트 암호 엔진(26)(도 3)을 사용할 수 있다. 다음으로, 단계(294)에서, 데이터 재구성 엔진(24)은 복호화된(해독된) 개인 이미지(들)에 따라 그리고 추가로 이미지 분배 서버(30)로부터 수신된 복호화된(해독된) 공개 이미지(63)에 따라 재구성된 이미지를 컴퓨팅할 수 있다. 예를 들어, 재구성된 이미지는 복호화된(해독된) 공개 이미지(63) 및 복호화된(해독된) 개인 이미지의 픽셀별 덧셈을 통해 컴퓨팅될 수 있다:
Figure pct00014
[14]
또는
Figure pct00015
, [15]
여기서 R i 는 사용자 i에게 보여지는 재구성된 이미지를 나타내고, k s i 는 사용자 i의 비밀키를 나타낸다. 소스 이미지가 복수 사용자들의 개인 데이터를 포함하는 경우, 공식 [14]는, 클라이언트 장치(12)의 현재 사용자 i와 다른 사용자에 속하는 사용자 마스크들 M j 에 대응하는 재구성된 이미지의 영역이 비어 있을 수 있다는 점에서, 전체 재구성된 이미지를 컴퓨팅하지 못할 수 있다. 완전히 재구성된 이미지를 얻기 위해, 일부 실시예는 누락된 영역을 더미 데이터(dummy data), 예를 들어 0(zero), 무작위 노이즈(random noise), 무작위 색상(random color) 등으로 채울 수 있다.
공식 [14]에 따라 프레임을 재구성하는 것은 개별 사용자(distinct user)와 관련된 마스크가 겹칠 수 있는 상황, 예를 들어 일부 정보가 복수의 사용자(예를 들어서, 선택된 그룹의 구성원들)와 관련될 수 있는 한편, 다른 정보는 각 사용자에게만 비공개(private)인 경우에 바람직할 수 있다. 이러한 상황의 또 다른 예는 다중 레이블 분류(multi-label classification)를 생성하도록 구성된 자동 이미지 분할 시스템에서 발생할 수 있다.
재구성된 이미지가 합성 개인 이미지로부터 컴퓨팅되는 실시예에서, 재구성된 이미지 Ri는 완전하지만 사용자 i에 의해 보유된 비밀 키 k s i 는 각각의 사용자의 개인 데이터만을 해독할 수 있다. 따라서 다른 사용자의 사용자 마스크 M j 에 대응하는 재구성된 이미지의 영역은 스크램블된 이미지(scrambled image, 뒤죽박죽 또는 뒤섞인 이미지)를 보여주게 된다. 이 효과는 도 17-A 및 도 17-B에서 설명되어 있고, 이는 어떻게 두 명의 개별 사용자가 동일한 소스 이미지의 재구성을 보는지 보여준다. 도 17-A는 아이템(72a)(도 6)을 비공개(개인적인 것)로 선언한 사용자 A가 본 재구성된 이미지를 도시한다. 사용자 A는 개인 아이템(72a)의 이미지를 보게 되지만 그러나 아이템(72b-c-d)(도 6)의 이미지와 같은 다른 사용자의 개인 아이템의 이미지는 볼 수 없다(도 6 참조). 그림 17-B는 아이템 72b가 비공개(개인적인 것)인 다른 사용자 B가 본 재구성 이미지를 보여준다. 사용자 B는 아이템 72b의 이미지를 볼 수 있지만 개인 아이템(72a 및 72c-d)의 이미지는 볼 수 없다.
공식 [15]에 따라, 즉 합성된 암호화된 개인 이미지로부터 프레임 R i 를 재구성하는 것은 아이템 탐지기(42)가 비중첩 사용자 마스크만 생성하고 그리고/또는 개별 사용자(distinct user)가 개인 정보를 공유하지 않는 실시예에서 바람직할 수 있다. 그렇지 않으면 마스크 오버랩(mask overlap)으로 덮여진 재구성된 이미지의 영역은 임의의 개별 사용자(individual user)에 의하여 해독될 수 없으므로 따라서 스크램블링된 것처럼 보일 수 있다. 합성 개인 이미지로 작동하면 추가로 컴퓨팅 리소스를 절약할 수 있는데, 그 이유는 이것이 개별 개인 이미지(individual private image)를 저장, 인덱싱 및 각 사용자에게 선택적으로 전달하는 대신 동일한 암호화된 개인 데이터(즉, 하나의 합성 개인 이미지)를 모든 사용자에게 보낼 수 있도록 하기 때문이다. 그러한 실시예에서, 서버(40)는 분배 서버(30)의 추가 개입 없이 개인 및 공개 이미지를 데이터 저장소(20)에 직접 삽입할 수 있다. 합성 재암호화된 개인 이미지를 사용하는 실시예의 단점(downside)은 이것이 개별 개인 이미지를 사용하는 실시예에 비해 상대적으로 낮은 수준의 프라이버시를 보장한다는 것인데, 그 이유는 개인 이미지를 컴퓨팅할 때 서버(40)가 해독된/평문 마스크로 작동하기 때문이다. 다르게 말하면, 서버(40)는 개인 이미지의 콘텐츠를 인식하지 못하지만, 이것이 예를 들어 소스 이미지가 개인 아이템을 포함하는지 여부를 알고 있으며, 또한 서버는 각각의 평문 마스크를 통해 각각의 개인 아이템의 대략적인 위치를 알고 있다.
도 18은 본 발명의 일부 실시예에 따른 프라이버시 보호 감시 시스템의 개선(enhancement)을 도시한다. 일부 실시예에서, 프라이버시 관리 서버(40)(도 5)에는 입력 센서(14)로부터 수신된 암호화된 데이터 스트림(60)에 따라 특정 과업을 수행하도록 구성된 이미지 과업 모듈(image task module)(44)이 추가로 부여된다. 이미지 처리 과업의 한 예는 이벤트 탐지(이미지 또는 이미지들의 시퀀스가 특정 이벤트의 발생을 나타내는지 여부를 결정하는 것)를 포함한다. 예를 들어, 학교 감시 실시예에서, 과업 모듈(44)은 감시 카메라에 의해 캡쳐된 이미지를 분석하여 이미지가 싸움 또는 괴롭힘 사건을 나타내는지 여부를 결정하도록 구성될 수 있다. 트래픽 모니터링 실시예에서, 상기 과업 모듈은 소스 이미지가 사고, 교통 체증 등을 나타내는지 여부를 자동으로 결정할 수 있다. 다른 예시적인 과업은 이미지에서 사람을 세고 상기 카운트(수)가 사전 결정된 임계값을 초과하는지 여부를 결정하는 것을 포함한다. 또 다른 예시적인 과업은, 이미지가 특정 유형의 객체(예를 들어, 무기, 개인 ID, 은행 카드, 자동차 번호판 등)를 보여주는지 여부를 결정하는 것과 같은 임의의 이미지 분류/라벨링 과업을 일반적으로 포함한다. 통상의 기술자라면 위의 예가 이미지 처리를 포함하지만 이러한 태양이 제한적인 것을 의미하지 않으며 일부 실시예는 사운드 파일, 텍스트 문서 등과 같은 다른 유형의 데이터를 처리하도록 변경될 수 있음을 이해할 것이다. 예를 들어서, 사운드 처리 실시예에서, 과업 모듈(44)은 입력 센서(14)에 의해 캡쳐된 소리가 총소리, 사람들의 고함, 모욕 또는 차별적인 언어 등을 나타내는지 여부를 결정할 수 있다.
일부 실시예에서, 과업 모듈(44)(도 5)은 각각의 과업을 수행하도록 미리 훈련된 AI 시스템(43b)을 포함한다. 이러한 몇 가지 예는 컴퓨터 비전(computer vision) 분야에 알려져 있다. 그들의 아키텍처 및 훈련은 본 명세서의 범위를 넘어선다. AI 시스템(43b)은 시스템(11)이 예를 들어 기계 학습 프로세스를 통해 최적화된 과업 모듈 파라미터 값(45b)(예를 들어, 시냅스 가중치 등)의 세트를 결정할 수 있고 이미지 과업 모듈(44)의 런타임 인스턴스(runtime instance)를 실례화(instantiate)하기 위하여 값(45b)을 사용할 수 있다는 의미에서 AI 훈련 시스템(11)에 의해 미리 훈련될 수 있다.
과업 모듈(44)은 암호화된 도메인에서, 즉 소스 데이터를 복호화하지 않고 작동할 수 있다. 그러한 실시예에서, 모듈(44)은 암호화된 이미지를 입력하고 각각의 과업을 실행한 결과를 포함하는 암호화된 출력을 생성할 수 있으며, 각각의 출력은 분배 서버(30)와 연관된 공개 관리 키 k p admin 으로 암호화된다. 예를 들어, 과업 모듈(44)의 출력은 판정(verdict) 또는 라벨의 암호화된 버전(예를 들어, 데이터 스트림(60)이 특정 이벤트의 발생을 나타내는지 아닌지 여부에 따라 YES/NO)을 포함할 수 있다. 모듈(44)은 암호화된 도메인에서 실행되기 때문에 프라이버시 관리 서버(40)는 과업 결과를 알지 못한다.
일부 실시예에서, 과업 모듈(44)의 출력은 선택된 사용자의 재암호화 토큰을 사용하여 엔진(46)(도 5)에 의해 프록시 재암호화되어, 미리 결정된 통지 장치(13)(예를 들어, 선택된 사용자의 스마트폰)로의 전달을 위해 분배 서버(30)로 전송되는 재암호화된 과업 결과(86)를 생성한다. 일부 실시예에서, 통지 장치(13)는 또한 해독된 공개 이미지(63)를 수신할 수 있어서, 각각의 사용자는 각각의 이벤트 또는 상황의 발생을 통지받는 것에 추가하여 공개적으로 이용 가능한 이미지 데이터를 보게 될 수 있다. 예를 들어, 학교 교장(또는 보안 요원)은 교내에서 싸움이 벌어지고 있다는 통지를 받을 수 있지만, 그러한 정보가 개인적(비공개)인 것으로 간주되는 경우 이들은 실제로 누가 싸움에 가담했는지는 알 수 없다. 한편, 과업 결과(86)는 선택된 통지 장치에 의해서만 해독될 수 있기 때문에, 학교 교장을 제외한 모든 사용자는 싸움의 발생을 인식하지 못할 수 있다. 또한, 서버(40)의 소유자/운영자도 이러한 이벤트를 인식하지 못한다.
일부 실시예는 소스 이미지에 포함된 모든 개인 정보를 보도록 허용될 수 있는 슈퍼 유저(super user)의 추가에 의해 더욱 개선된다. 이러한 슈퍼 유저는 학교 교장, 회사의 인사부서의 대표 등의 결정권자(authority figure)를 나타낼 수 있다. 감시 서비스 설정 시, 이미지 분배 서버(30)는 한 쌍의 암호 키(cryptographic key) 뿐만 아니라 슈퍼 유저와 관련된 재암호화 토큰들의 세트를 생성할 수 있다. 하나의 이러한 예시적인 실시예에서, 사용자 마스크를 결정하고 개인 이미지를 추출하는 것에 응답하여, 프라이버시 관리 서버(40)는 슈퍼 유저의 재암호화 토큰(들)으로 모든 사용자와 연관된 추출된 개인 이미지를 프록시 재암호화하고, 따라서 슈퍼 유저만 액세스할 수 있는 합성 개인 이미지를 생성할 수 있다. 각각의 재암호화된 개인 데이터는 다음으로 이미지 분배 서버(30)로 전송되고 또한 복호화된(해독된) 공개 이미지(63)와 함께 슈퍼 유저가 액세스할 수 있게 된다. 슈퍼 유저는 각각의 재암호화된 개인 이미지를 복호화하고 따라서 공개 이미지(63) 및 복호화된(해독된) 합성 개인 이미지에 따라서 소스 이미지를 완전히 재구성할 수 있다. 한편, 슈퍼 유저의 개인 암호화 키를 소유하지 않은 사용자는 다른 사용자에 속하는 개인 데이터를 볼 수 없다.
도 19는 본 명세서에 기술된 방법 중 일부를 실행하도록 구성된 예시적인 컴퓨터 시스템(90)을 도시한다. 컴퓨터 시스템(90)은 이미지 분배 서버(30) 및 프라이버시 관리 서버(40)뿐만 아니라 클라이언트 장치(12a-c) 중 임의의 것을 나타낼 수 있다. 도시된 하드웨어 구성은 개인용 컴퓨터의 구성이다; 이동 전화 및 서버와 같은 다른 컴퓨팅 기기의 구성은 도 19에 도시된 것과 약간 다를 수 있다. 프로세서(들)(92)는 신호 및/또는 데이터의 세트로 산술 및/또는 논리 연산을 실행하도록 구성된 물리적 장치(예컨대, 반도체 기판에 형성된 멀티-코어 집적 회로, 마이크로프로세서 등)를 포함한다. 그러한 신호 또는 데이터는 프로세서 명령들, 예를 들어, 머신 코드의 형태로 프로세서(들)(92)에 전달되고 인코딩될 수 있다. 프로세서(들)(92)는 중앙 처리 장치(CPU) 및/또는 그래픽스 처리 장치(graphics processing unit, GPU)들의 어레이(array)를 포함할 수 있다.
메모리 유닛(93)은 연산들을 수행하는 도중에 프로세서(들)(92)에 의해 액세스되거나 생성되는 데이터 및/또는 명령 인코딩들을 저장하는 휘발성 컴퓨터-판독 가능 매체(예컨대, 다이나믹 랜덤 액세스 메모리-DRAM)를 포함할 수 있다. 입력 장치(94)는 사용자가 컴퓨터 시스템(90)으로 데이터 및/또는 명령들을 도입할 수 있게 하는 개별 하드웨어 인터페이스 및/또는 어댑터를 포함하여, 특히 컴퓨터 키보드, 마우스, 트랙패드(trackpad) 및 마이크를 포함할 수 있다. 출력 장치(95)는 특히 모니터와 같은 디스플레이 장치 및 스피커는 물론, 각 컴퓨팅 장치가 사용자에게 데이터를 통신하게 할 수 있는 그래픽 카드와 같은 하드웨어 인터페이스/어댑터를 포함할 수 있다. 일부 실시예들에서, 입력 장치와 출력 장치(94, 95)는 하드웨어의 공통적인 부품(예를 들어서, 터치 스크린)을 공유한다. 저장 장치(96)는 소프트웨어 명령들 및/또는 데이터의 비휘발성 저장, 판독, 및 기록을 가능하게 하는 컴퓨터-판독 가능 매체를 포함한다. 예시적인 저장 장치는 자기 디스크 및 광 디스크 및 플래시 메모리 장치들은 물론, CD 및/또는 DVD 디스크들 및 드라이브들과 같은 소거 가능 매체를 포함한다. 네트워크 어댑터(들)(97)는 전자 통신 네트워크(예를 들어, 도 1의 네트워크(15)) 및/또는 다른 장치/컴퓨터 시스템에 결합된 물리적 링크 상에서 데이터를 통신하기 위한 기계, 전기 및 신호 회로망(mechanical, electrical, and signaling circuitry)을 포함한다. 어댑터(들)(97)는 다양한 통신 프로토콜을 사용하여 데이터를 송신 및/또는 수신하도록 추가로 구성될 수 있다.
컨트롤러 허브(98)는 프로세서(들)(92)와 컴퓨터 시스템(90)의 나머지 하드웨어 구성요소들 사이의 통신을 가능하게 하는 복수의 시스템, 주변, 및/또는 칩셋 버스들, 및/또는 다른 모든 회로망을 일반적으로 나타낸다. 예를 들어, 컨트롤러 허브(98)는 메모리 컨트롤러, 입력/출력(I/O) 컨트롤러, 및 인터럽트 컨트롤러(interrupt controller)를 포함할 수 있다. 하드웨어 제조사에 따라서, 일부의 그러한 컨트롤러는 하나의 집적 회로에 합쳐질 수 있고, 그리고/또는 프로세서(들)(92)와 통합될 수 있다. 다른 예에서, 컨트롤러 허브(98)는 프로세서(92)를 메모리(93)에 연결시키는 노스브리지, 및/또는 프로세서(92)를 장치(94, 95, 96 및 97)들에 연결시키는 사우스브리지를 포함할 수 있다.
본 명세서에 기술된 예시적인 시스템 및 방법은 데이터(예를 들어, 기록된 비디오, 사진, 기록된 오디오, 디지털 문서 등)를 각각의 사용자들의 프라이버시를 보호하는 방식으로 복수의 사용자에게 분배할 수 있게 한다. 일부 실시예는 각각의 데이터를 조작(manipulation)하기 위해 동형 암호화 및 프록시 재암호화 기술을 채용하여, 그것의 선택된 부분이 각각의 데이터에 현재 액세스하는 사용자의 신원에 따라 드러나도록 한다.
일부 실시예의 하나의 예시적인 적용예는 비디오 감시를 포함하는데, 이 때, 분배된 데이터는 감시 카메라로부터 수신된 이미지 스트림을 포함한다. 일부 실시예는 이미지가 선택된 사용자에 의해 비밀로 간주되는 아이템(예를 들어, 특정 사람 또는 얼굴, 특정 번호판 등)을 포함하는지 여부를 결정하고 각각의 이미지를 조작하고 선택적으로 암호화하기 위해 이미지 인식 기술을 채용하여, 각 사용자만이 비밀 아이템을 볼 수 있게 된다. 한편, 다른 사용자는 동일한 이미지의 또 다른 버전에 대한 액세스 권한을 부여받을 수 있는데, 여기서 비밀 아이템은 가려진다(예를 들어, 숨기거나, 잘라내거나, 뒤섞는 등).
하나의 예시적인 사용 사례는 괴롭힘, 싸움 및 언어 공격의 징후에 대해 학교 운동장을 모니터링하는 것을 포함한다. 일부 실시예에서, 선택된 사용자(예를 들어, 부모)는 자녀 중 일부를 개인 아이템으로 지정할 수 있습니다. 비디오 카메라로 캡쳐한 학교 운동장의 이미지는 여러 사용자에게 배포될 수 있다. 그러나 사적인 것으로 간주되는 부모와 학교 교장에게 배포되는 이미지에는 각 아동의 얼굴을 보여주지만, 다른 모든 사용자에게 배포되는 이미지에서는 그러한 얼굴이 가려지거나 뒤섞일 수 있다. 이러한 조작은 예를 들어 괴롭힘을 당한 아동의 프라이버시를 보호하고 그리고/또는 사건의 조사가 수행될 때까지 가해자의 신원 공개를 지연시킬 수 있다.
일부 실시예의 적용은 감시에 제한되지 않는다. 또 다른 예에서, 카메라는 제품 또는 프로토타입의 프리젠테이션을 기록(recording)한다. 그런 다음 상기 이미지는 예를 들어 화상 회의 형식으로 복수의 원격 사용자에게 전송된다. 그러나 다른 사용자는 동일한 이미지의 다른 버전을 받을 수 있다. 예를 들어, 비공개 계약(NDA)에 서명한 사용자에게는 각 제품이나 프로토타입이 표시될 수 있지만 다른 사용자에게 배포된 이미지에서는 각 아이템이 가려져/뒤섞일 수 있다.
개인적인 것/비밀로 간주되는 아이템의 성질은 실시예들 사이에서 크게 다를 수 있다. 일부 예로서는 특히 공격적인 손짓, 의복 아이템(머리 스카프, 수영복 등), 장신구 아이템, 특정 신체 부위(맨다리, 가슴 등), 무기, 회사 로고, 바닥에 누워 있는 신체(잠재적으로 노숙자 또는 의료 지원이 필요한 사람) 및 유니폼을 입은 사람(예: 경찰, 의료진)등이 있다. 인공 지능 시스템(43)(도 5)은 소스 이미지 내에서 임의의 이러한 유형의 개인 아이템을 인식하도록 훈련될 수 있다. 그 다음으로 일부 사용자는 각 아이템의 이미지를 보게 되지만 다른 사용자는 그렇지 않다.
많은 종래의 비디오 감시 시스템은 획득된 이미지에 대한 무단 접근을 방지하기 위하여 암호화를 사용한다. 이러한 일부의 시스템은 자동 이미지 인식 및/또는 이미지 분할 기능으로 또한 보강된다. 그러나 기존의 감시 시스템은 이미지 인식에 대비하여 소스 이미지를 먼저 해독한다. 예를 들어, 이미지 분석을 수행하는 기존의 컴퓨터 시스템은 통상적으로 또한 소스 이미지를 해독하기 위한 암호 키(cryptographic key)를 소유한다. 반대로, 본 발명의 일부 실시예는 동형 암호화(homomorphic encryption)를 지렛대로 하여 암호화된 도메인에서 직접, 즉 소스 이미지를 먼저 해독하지 않고 자동 아이템 탐지/마스크 형성(item detection/mask construction)을 수행한다. 구체적으로, 본 명세서에 기술된 바와 같은 프라이버시 관리 서버는 소스 데이터를 해독하기 위한 키조차 갖지 않는다. 결과적으로, 본 발명의 실시예에서, 이미지 인식 및/또는 분할을 수행하는 컴퓨터 시스템은 분석된 이미지의 내용을 인식하지 못하며, 이는 시스템의 사용자의 프라이버시를 실질적으로 향상시킨다.
본 발명의 일부 실시예에 의한 동형 암호화의 사용은 또한 이미지 분석 활동으로부터 사용자 관리/이미지 분배 활동을 분리하는 것을 허용한다. 도 1에 도시된 바와 같은 예시적인 프라이버시 보호 비디오 감시 시스템에서, 서버(30 및 40)는 별도의 엔터티에 의해 소유 및 운영될 수 있다. 본 발명의 일부 실시예의 이점을 보여주는 하나의 예시적인 사용 사례 시나리오에서, 회사 A는 입력 센서(들)(14) 및 분배 서버(30)를 소유 및 운영하고 이미지 처리 서비스, 즉 서버(40)에 의해 제공되는 서비스를 다른 회사 B에 도급을 준다(contract out). 센서(14)는 사무실 건물로부터 이미지를 수집할 수 있고, 회사 A는 변칙적인 사무실의 움직임(anomalous office dynamics), 알 수 없는 사람의 존재 등과 같은 이벤트를 자동으로 탐지하고, 특정 사무실 이벤트에서의 출석 (여부)을 판단하고, 특정 직원이 일하러 도착했는지 또는 퇴근했는지 등을 결정하는데 관심이 있을 수 있다. 서버(40)가 암호화되지 않은 데이터에 액세스할 수 없고 추가로 들어오는 소스 데이터를 해독하기 위한 정보가 부족하기 때문에 회사 B는 개인 정보를 보호하는 방식으로 이러한 서비스를 제공할 수 있다. 대신, 이미지 분할 및/또는 다른 과업 실행은 암호화된 도메인에서 수행되며 이러한 작업의 결과는 회사 A의 대표자에 의해 운영되는 컴퓨터 시스템(예: 서버(30), 선택된 클라이언트 장치들(12a-c))에 의해서만 해독 가능하다. 도 11 및 도 13에 설명된 바와 같은 실시예에서, 분배 서버(30)가 소스 데이터 자체에 액세스할 수 없지만 이것의 "공개 부분", 즉 개인/비밀 아이템을 보여주지 않는 소스 이미지의 부분에만 액세스할 수 있다는 점에 의하여 프라이버시가 더욱 강화된다.
일부 실시예의 적용예는 이미지 처리/비디오 감시에 제한되지 않으며, 특히 사운드 파일, 문서 및 전자 메시지의 처리에 적용될 수 있다. 하나의 이러한 예시적인 실시예에서, 대상 사람의 음성이 개인적인 아이템으로 선택될 수 있다. 사운드 녹음과 같은 소스 데이터는 본 명세서에서 보여진 바와 같이 처리될 수 있는데, 즉, 개인적인(비공개) 부분과 공개 부분으로 분할될 수 있으며, 여기서 개인적인 부분은 대상 사람의 발언(utterance)을 포함하는 소스 녹음의 세그먼트로 구성될 수 있다. 그런 다음 개인적인 부분은 사용자들의 선택된 서브세트에 대응하는 토큰으로 프록시 재암호화될 수 있다. 각각의 사운드 레코딩을 재구성할 때, 선택된 사용자는 대상 사람이 말하는 것을 들을 수 있지만 다른 사용자는 듣지 못할 수 있다. 다른 예시적인 실시예는 특정 단어(예를 들어, 욕설, 선택된 이름 등)의 발언을 왜곡(distort)/뒤섞을 수 있다(scramble).
예시적인 문서 또는 메시지 처리 실시예에서, 개인 아이템은 특정 이름, 주소, 전화 번호, 신용 카드 또는 은행 계좌 번호 등을 포함할 수 있다. 일부 실시예에서 개인 아이템은 문서의 전 부분(entire parts), 예를 들어서, 특정 섹션/챕터, 특정 저자가 있는 부분, 특정 주제를 다루는 부분을 포함할 수 있다. 또 다른 예시적인 실시예에서, 개인 아이템은 분노, 위협, 자살 충동, 노골적인 성적 의도 등과 같은 특정 정서를 나타내는 대화(예를 들어, 전자 메시지 교환)의 일부를 포함할 수 있다. 아이템 탐지기(42)는 규칙들의 세트 또는 미리 훈련된 인공 지능 시스템을 사용하여 암호화된 소스 문서에서 이러한 개인 아이템을 자동으로 식별할 수 있다. 본 명세서에 보여진 바와 같은 선택적 프록시 재암호화 기술을 사용하여, 그리고 나서 선택된 사용자는 각각의 개인 아이템을 평문으로 볼 수 있는 반면 다른 사용자는 볼 수 없는 방식으로 동일한 문서가 복수의 사용자에게 분배(배포)될 수 있다.
본 발명의 범위를 벗어나지 않으면서 다양한 방법으로 상기 실시예들이 변경될 수 있음은 통상의 기술자에게 자명할 것이다. 따라서, 본 발명의 범위는 이하의 청구항들과 이들의 법적 균등물에 의하여 결정되어야 한다.

Claims (21)

  1. 커스터마이징된 프라이버시 보호 이미지를 복수의 사용자에게 분배하는 방법으로서,
    상기 방법은,
    관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하여 복수의 사용자 특정 암호화된 개인 이미지를 생성하고(이 때, 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함함),
    상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차(encrypted-domain key change procedure)를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하고(이 때, 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함함), 그리고
    상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하기 위하여, 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 포함하는 방법.
  2. 제1항에 있어서,
    상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하는 것은 상기 선택된 사용자의 개인 아이템과 상기 다른 사용자의 개인 아이템을 어느 것도 보여주지 않도록 선택된 상기 소스 이미지의 영역을 포함하는 암호화된 공개 이미지를 결정하는 것을 추가로 포함하고,
    상기 방법은 상기 암호화된 공개 이미지를 해독과 클라이언트 장치들로 추가적인 분배를 위해 상기 이미지 분배 서버로 전송하기 위하여 상기 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 추가적으로 포함하며,
    상기 클라이언트 장치들은 추가적으로 상기 이미지 분배 서버로부터 수신된 해독된 공개 이미지에 따라서 상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 선택된 재암호화된 이미지를 수신하는 것에 응답으로, 선택된 장치가 상기 선택된 사용자에 의하여 운용되는지 여부에 따라서 복수의 클라이언트 장치들로부터 장치를 선택하기 위하여, 그리고
    상기 클라이언트 장치를 선택하는 것에 응답으로, 상기 선택된 재암호화된 이미지를 상기 선택된 장치에 전송하기 위하여 상기 이미지 분배 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 추가로 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    다른 재암호화된 이미지(the other re-encrypted image)를 수신하는 것에 응답으로, 다른 장치(the other device)가 다른 사용자(the other use)에 의하여 운용되는지 여부에 따라서 상기 복수의 클라이언트 장치들로부터 또 다른 장치를 선택하기 위하여, 그리고
    다른 장치(the other device)를 선택하는 것에 응답으로, 다른 장치(the other device)에 다른 재암호화된 이미지(the other re-encrypted image)를 전송하기 위하여 상기 이미지 분배 서버의 적어도 하나의 하드웨어 프로세서를 채용하는 것을 추가로 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 선택된 개인 이미지를 결정하는 것은, 상기 선택된 사용자의 개인 아이템을 보여주는 소스 이미지의 영역을 식별하는 마스크를 계산하기 위하여 사전 훈련된 탐지기를 채용하는 것(이 때, 상기 마스크는 상기 암호화된 도메인에서 계산되고 상기 관리 키로 해독가능함)과,
    상기 암호화된 소스 이미지 및 상기 마스크의 픽셀별 곱셈(pixel-wise multiplication)에 따라서 상기 선택된 개인 이미지를 결정하는 것을 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 암호화된 소스 이미지는 동형 암호화 방식(homomorphic encryption scheme)에 따라서 암호화되는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 선택된 사용자에 의하여 운용되는 클라이언트 장치에 의해서 재구성되는 소스 이미지의 평문 버전은 상기 선택된 사용자의 개인 아이템을 보여주고 다른 사용자의 개인 아이템은 보기 어렵게 하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 개인 아이템은 사람 및 인간 얼굴로 구성되는 그룹에서 선택되는 아이템을 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 개인 아이템은 은행 카드를 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 개인 아이템은 상표를 포함하는 것을 특징으로 하는 방법.
  11. 관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하여 복수의 사용자 특정 개인 이미지를 생성하도록(이 때, 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함함),
    상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하도록(이 때, 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함함), 그리고
    상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하도록 구성된, 프라이버시 관리 서버를 포함하는 컴퓨터 시스템.
  12. 제11항에 있어서,
    상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하는 것은 상기 선택된 사용자의 개인 아이템과 상기 다른 사용자의 개인 아이템을 어느 것도 보여주지 않도록 선택된 상기 소스 이미지의 영역을 포함하는 암호화된 공개 이미지를 결정하는 것을 추가로 포함하고,
    상기 프라이버시 관리 서버는 상기 암호화된 공개 이미지를 해독과 클라이언트 장치들로 추가적인 분배를 위해 상기 이미지 분배 서버로 전송하도록 추가적으로 구성되며,
    상기 클라이언트 장치들은 추가적으로 상기 이미지 분배 서버로부터 수신된 해독된 공개 이미지에 따라서 상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성되는 것을 특징으로 하는 컴퓨터 시스템.
  13. 제11항에 있어서,
    상기 이미지 분배 서버를 추가로 포함하고,
    상기 이미지 분배 서버는,
    상기 선택된 재암호화된 개인 이미지를 수신하는 것에 응답으로, 선택된 장치가 상기 선택된 사용자에 의하여 운용되는지 여부에 따라서 복수의 클라이언트 장치들로부터 장치를 선택하도록, 그리고
    상기 클라이언트 장치를 선택하는 것에 응답으로, 상기 선택된 재암호화된 개인 이미지를 상기 선택된 장치에 전송하도록 추가적으로 구성되는 것을 특징으로 하는 컴퓨터 시스템.
  14. 제13항에 있어서,
    상기 이미지 분배 서버는,
    다른 재암호화된 개인 이미지(the other re-encrypted private image)를 수신하는 것에 응답으로, 다른 장치(the other device)가 다른 사용자(the other use)에 의하여 운용되는지 여부에 따라서 상기 복수의 클라이언트 장치들로부터 또 다른 장치를 선택하도록, 그리고
    다른 장치(the other device)를 선택하는 것에 응답으로, 다른 장치(the other device)에 다른 재암호화된 개인 이미지(the other private re-encrypted image)를 전송하도록 추가적으로 구성되는 것을 특징으로 하는 컴퓨터 시스템.
  15. 제11항에 있어서,
    상기 선택된 개인 이미지를 결정하는 것은, 상기 선택된 사용자의 개인 아이템을 보여주는 소스 이미지의 영역을 식별하는 마스크를 계산하기 위하여 사전 훈련된 탐지기를 채용하는 것(이 때, 상기 마스크는 상기 암호화된 도메인에서 계산되고 상기 관리 키로 해독가능함)과,
    상기 암호화된 소스 이미지 및 상기 마스크의 픽셀별 곱셈(pixel-wise multiplication)에 따라서 상기 선택된 개인 이미지를 결정하는 것을 포함하는 것을 특징으로 하는 컴퓨터 시스템.
  16. 제11항에 있어서,
    상기 암호화된 소스 이미지는 동형 암호화 방식(homomorphic encryption scheme)에 따라서 암호화되는 것을 특징으로 하는 컴퓨터 시스템.
  17. 제11항에 있어서,
    상기 선택된 사용자에 의하여 운용되는 클라이언트 장치에 의해서 재구성되는 소스 이미지의 평문 버전은 상기 선택된 사용자의 개인 아이템을 보여주고 다른 사용자의 개인 아이템은 보기 어렵게 하는 것을 특징으로 하는 컴퓨터 시스템.
  18. 제11항에 있어서,
    상기 개인 아이템은 사람 및 인간 얼굴로 구성되는 그룹에서 선택되는 아이템을 포함하는 것을 특징으로 하는 컴퓨터 시스템.
  19. 제11항에 있어서,
    상기 개인 아이템은 은행 카드를 포함하는 것을 특징으로 하는 컴퓨터 시스템.
  20. 제11항에 있어서,
    상기 개인 아이템은 상표를 포함하는 것을 특징으로 하는 컴퓨터 시스템.
  21. 프라이버시 관리 서버의 적어도 하나의 하드웨어 프로세서에 의하여 실행될 때, 상기 프라이버시 관리 서버로 하여금,
    관리 키로 해독 가능한 암호화된 소스 이미지를 수신하는 것에 응답으로, 상기 소스 이미지의 암호화된 도메인 이미지 분할을 수행하여 복수의 사용자 특정 개인 이미지를 생성하도록 하고(이 때, 선택된 개인 이미지는 상기 복수의 사용자들 중에서 선택된 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 영역을 포함하고, 또한 또 다른 개인 이미지는 상기 복수의 사용자들 중에서 또 다른 사용자의 개인 아이템을 보여주기 위하여 선택된 상기 소스 이미지의 또 다른 영역을 포함함),
    상기 이미지 분할에 응답으로, 암호화된 도메인 키 변경 절차를 수행하여 복수의 사용자 특정 재암호화된 이미지를 생성하도록 하며(이 때, 선택된 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 상기 선택된 사용자의 개인 키로 해독 가능한 것으로 상기 선택된 개인 이미지를 변형한 결과를 포함하고, 또한 또 다른 재암호화된 이미지는 상기 관리 키로 해독 가능한 것으로부터 다른 사용자의 개인 키로 해독 가능한 것으로 다른 개인 이미지를 변형한 결과를 포함함), 그리고
    상기 소스 이미지의 사용자 특정 평문 버전을 재구성하도록 구성된 클라이언트 장치로 추가로 분배하도록 상기 복수의 사용자 특정 재암호화된 이미지를 이미지 분배 서버로 전송하도록 하는, 명령들을 저장하는 비-일시적 컴퓨터 판독가능 매체(non-transitory computer-readable medium).
KR1020237000506A 2020-07-07 2021-07-06 프라이버시 보호 이미지 분배 KR20230033700A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062705604P 2020-07-07 2020-07-07
US62/705,604 2020-07-07
US17/305,322 US11604893B2 (en) 2020-07-07 2021-07-05 Privacy-preserving image distribution
US17/305,322 2021-07-05
PCT/EP2021/068655 WO2022008507A1 (en) 2020-07-07 2021-07-06 Privacy-preserving image distribution

Publications (1)

Publication Number Publication Date
KR20230033700A true KR20230033700A (ko) 2023-03-08

Family

ID=79172711

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237000506A KR20230033700A (ko) 2020-07-07 2021-07-06 프라이버시 보호 이미지 분배
KR1020237000510A KR20230036100A (ko) 2020-07-07 2021-07-06 합성 재암호화된 이미지를 이용한 이미지 분배

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237000510A KR20230036100A (ko) 2020-07-07 2021-07-06 합성 재암호화된 이미지를 이용한 이미지 분배

Country Status (9)

Country Link
US (3) US11599669B2 (ko)
EP (2) EP4179702A1 (ko)
JP (2) JP2023533020A (ko)
KR (2) KR20230033700A (ko)
CN (2) CN115868152A (ko)
AU (2) AU2021306579A1 (ko)
CA (2) CA3180722A1 (ko)
IL (2) IL299677A (ko)
WO (2) WO2022008507A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150042A1 (en) * 2019-11-15 2021-05-20 International Business Machines Corporation Protecting information embedded in a machine learning model
KR102245349B1 (ko) * 2020-02-11 2021-04-28 한국과학기술원 비디오로부터의 색상 스키마 추출 방법 및 장치
US11928187B1 (en) * 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
WO2023181163A1 (ja) * 2022-03-23 2023-09-28 日本電気株式会社 照合システム、照合装置、照合方法及びプログラム
WO2024062409A1 (en) * 2022-09-23 2024-03-28 Goatai S.R.L. Data processing system for privacy preserving video analysis

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473757B2 (en) * 2009-02-18 2013-06-25 Cisco Technology, Inc. Protecting digital data such as images on a device with image acquisition capabilities
US8972742B2 (en) 2009-09-04 2015-03-03 Gradiant System for secure image recognition
JP5269033B2 (ja) 2009-12-18 2013-08-21 韓國電子通信研究院 映像のプライバシーマスキング方法及び装置
US9298878B2 (en) * 2010-07-29 2016-03-29 Oracle International Corporation System and method for real-time transactional data obfuscation
US9083526B2 (en) 2011-04-29 2015-07-14 International Business Machines Corporation Fully homomorphic encryption
EP2621171A1 (en) 2012-01-27 2013-07-31 Alcatel Lucent System and method for sharing videos
CN105574467A (zh) 2014-10-09 2016-05-11 多媒体影像解决方案有限公司 用于具有人物辨识的相机的隐私
US20160294781A1 (en) * 2015-01-25 2016-10-06 Jennifer Kate Ninan Partial or complete image obfuscation and recovery for privacy protection
US10079674B2 (en) * 2015-02-26 2018-09-18 New York University Systems and methods for privacy-preserving functional IP verification utilizing fully homomorphic encryption
WO2017129804A1 (en) 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US10333715B2 (en) 2016-11-14 2019-06-25 International Business Machines Corporation Providing computation services with privacy
CA2957567A1 (en) 2017-02-10 2018-08-10 Spxtrm Health Inc. Secure monitoring of private encounters

Also Published As

Publication number Publication date
JP2023534417A (ja) 2023-08-09
KR20230036100A (ko) 2023-03-14
US11599669B2 (en) 2023-03-07
AU2021306579A1 (en) 2023-01-05
AU2021304435A1 (en) 2023-01-05
US11768957B2 (en) 2023-09-26
JP2023533020A (ja) 2023-08-01
US20220012359A1 (en) 2022-01-13
US20220012366A1 (en) 2022-01-13
US11604893B2 (en) 2023-03-14
EP4179702A1 (en) 2023-05-17
CN115868152A (zh) 2023-03-28
WO2022008507A1 (en) 2022-01-13
US20230229805A1 (en) 2023-07-20
CA3184510A1 (en) 2022-01-13
EP4179690A1 (en) 2023-05-17
CA3180722A1 (en) 2022-01-13
WO2022008509A1 (en) 2022-01-13
IL299677A (en) 2023-03-01
IL299684A (en) 2023-03-01
CN115868140A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
US11599669B2 (en) Image distribution using composite re-encrypted images
Padilla-López et al. Visual privacy protection methods: A survey
Hassan et al. [Retracted] The Rise of Cloud Computing: Data Protection, Privacy, and Open Research Challenges—A Systematic Literature Review (SLR)
CN112949545B (zh) 识别人脸图像的方法、装置、计算设备和介质
US9971879B2 (en) Secure recording and rendering of encrypted multimedia content
Luo et al. Anonymous subject identification and privacy information management in video surveillance
Selvaraj et al. Whirlpool algorithm with hash function based watermarking algorithm for the secured transmission of digital medical images
Yang et al. Multimedia security and privacy protection in the internet of things: research developments and challenges
CN113052045B (zh) 识别指静脉图像的方法、装置、计算设备和介质
Wong et al. A privacy-preserving framework for surveillance systems
Vadrevu et al. A review on privacy preservation techniques in surveillance and health care data publication
Suganya et al. Automatic classification for preventing duplication of online multimedia data in secure cloud infrastructure
Jeremiah et al. CCTV Footage De-identification for Privacy Protection: A Comprehensive Survey
EP1040619A1 (fr) Dispositif d'authentification d'images numeriques
Saravanan et al. Privacy preserving on remote sensing data using reversible data hiding
Demla et al. MieWC: Medical image encryption using wavelet transform and multiple chaotic maps
Tasevski et al. StegYou: model for hiding, retrieving and detecting digital data in images
KR101810201B1 (ko) 파일 보안 시스템 및 방법
Nalavade et al. Deep Neural Network and GAN-Based Reversible Data Hiding in Encrypted Images: A Privacy-Preserving Approach
Selvaraj et al. C., K.; Seng, GH Cryptographic Encryption and Optimization for Internet of Things Based Medical Image Security. Electronics 2023, 12, 1636
Hu et al. Multimedia security and privacy protection in the internet of things: research developments and challenges
Raja et al. Deep Steg Block: Deep Learning-Enhanced Steganography for Secure Communication in IoT Devices Using Blockchain
Nisa et al. Breakthroughs and Challenges in Multimedia Privacy and Security in the Internet of Things (IoT)
Sah et al. Visual Steganography and Encryption Tachniques with Hardware Implementation
Uz Zaman Security during Transmission of Data Using Web Steganography

Legal Events

Date Code Title Description
E902 Notification of reason for refusal