KR102454677B1 - 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술 - Google Patents

암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술 Download PDF

Info

Publication number
KR102454677B1
KR102454677B1 KR1020210009997A KR20210009997A KR102454677B1 KR 102454677 B1 KR102454677 B1 KR 102454677B1 KR 1020210009997 A KR1020210009997 A KR 1020210009997A KR 20210009997 A KR20210009997 A KR 20210009997A KR 102454677 B1 KR102454677 B1 KR 102454677B1
Authority
KR
South Korea
Prior art keywords
object information
information area
encryption key
image processing
detected
Prior art date
Application number
KR1020210009997A
Other languages
English (en)
Other versions
KR20220107400A (ko
Inventor
김상태
김동욱
유혜린
해지원
홍성운
김승현
채명수
Original Assignee
주식회사 노타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노타 filed Critical 주식회사 노타
Priority to KR1020210009997A priority Critical patent/KR102454677B1/ko
Priority to US17/581,427 priority patent/US20220237317A1/en
Publication of KR20220107400A publication Critical patent/KR20220107400A/ko
Application granted granted Critical
Publication of KR102454677B1 publication Critical patent/KR102454677B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H04N21/44055—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption by partially decrypting, e.g. decrypting a video stream that has been partially encrypted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • H04N21/63345—Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key by transmitting keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술이 개시된다. 영상 처리 시스템에 의해 수행되는 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법은, 영상 정보로부터 객체정보 영역을 탐지하는 단계; 상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 상기 탐지된 객체정보 영역을 비 식별화하는 단계; 및 상기 비 식별화된 객체정보 영역을 상기 암호키를 이용하여 복원하는 단계를 포함할 수 있다.

Description

암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술{ENCRYPTION KEY-BASED VIDEO PERSONAL INFORMATION DE-IDENTIFICATION AND RESTORATION TECHNOLOGY}
아래의 설명은 영상 처리 기술에 관한 것으로, 암호키를 이용하여 영상 정보로부터 탐지된 대상정보를 비 식별화 및 복원하는 방법 및 시스템에 관한 것이다.
교통량 측정 카메라, CCTV, 디지털 도어락 등 영상을 기록하는 단말에 저장된 개인정보에 대해 프라이버시 이슈로 자동 모자이크 등 비 식별화 기술의 수요가 증가하고 있다. 이러한 수요의 증가에도 불구하고 현재의 영상 정보에 대한 개인정보의 비 식별화를 위한 기술은 복원을 위한 방식을 제공하지 않는다는 문제점이 있다.
일례로, 한국공개특허 제10-2013-0047223호(모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치)에 영상 수집 장치를 통하여 입력된 영상에서 대상 객체를 추출하여 추출된 대상 객체에서 사생활 보호 영역을 검출하고, 입력된 영상의 원본 이미지에 변형을 가하지 않고 검출된 사생활 보호 영역만을 그래픽 처리하여 대상 객체의 사생활 보호 영역을 엄폐하는 구성이 개시되어 있다.
암호키를 이용하여 영상 정보에서 탐지된 객체정보 영역을 비 식별화하는 방법 및 시스템을 제공할 수 있다.
암호키를 이용하여 영상 정보에서 비 식별화된 객체정보 영역을 복원하는 방법 및 시스템을 제공할 수 있다.
영상 처리 시스템에 의해 수행되는 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법은, 영상 정보로부터 객체정보 영역을 탐지하는 단계; 상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 상기 탐지된 객체정보 영역을 비 식별화하는 단계; 및 상기 비 식별화된 객체정보 영역을 상기 암호키를 이용하여 복원하는 단계를 포함할 수 있다.
상기 비 식별화하는 단계는, 상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 솔팅(sorting) 테이블 기반의 제1 방식 및 랜덤 가역 테이블 기반의 제2 방식 중 어느 하나 이상의 방식을 통해 상기 탐지된 객체정보 영역에 대한 비 식별화를 수행하는 단계를 포함할 수 있다.
상기 탐지된 객체정보 영역과 관련하여 생성된 암호키는, 수도랜덤 함수의 시드값으로 사용되고, 상기 영상 정보로부터 탐지된 객체정보 영역의 각각에 서로 다른 암호키가 부여될 수 있다.
상기 비 식별화하는 단계는, 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 탐지된 객체정보 영역에서 픽셀의 위치를 재배열하는 솔팅 테이블을 구성하고, 상기 구성된 솔팅 테이블을 이용하여 상기 탐지된 객체정보 영역의 픽셀을 재배치하는 단계를 포함할 수 있다.
상기 비 식별화하는 단계는, 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 탐지된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블을 구성하고, 상기 구성된 랜덤 가역 테이블을 이용하여 상기 탐지된 객체정보 영역의 각 픽셀값을 변조하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 상기 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 비 식별화된 객체정보 영역에서 픽셀의 위치를 재배열하는 솔팅 테이블을 구성하고, 상기 구성된 솔팅 테이블을 이용하여 상기 비 식별화된 객체정보 영역을 역산하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 상기 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 비 식별화된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블을 구성하고, 상기 구성된 랜덤 가역 테이블을 이용하여 상기 비 식별화된 객체정보 영역에 변조된 각 픽셀값을 복원하는 단계를 포함할 수 있다.
상기 탐지하는 단계는, 객체 탐지를 위한 학습 모델을 이용하여 영상 정보로부터 객체정보 영역을 탐지하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 상기 복원된 객체정보 영역의 타입(type)에 따라 상기 복원된 객체정보 영역에 포함된 객체정보를 구분하는 단계를 포함할 수 있다.
영상 정보의 비 식별화 및 복원을 위한 영상 처리 시스템은, 영상 정보로부터 객체정보 영역을 탐지하는 객체정보 영역 탐지부; 상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 상기 탐지된 객체정보 영역을 비 식별화하는 객체정보 영역 비 식별화부; 및 상기 비 식별화된 객체정보 영역을 상기 암호키를 이용하여 복원하는 객체정보 영역 복원부를 포함할 수 있다.
영상 정보 내에서 탐지된 객체정보 영역을 비 식별화하고, 비 식별화된 객체정보 영역을 복원함으로써 개인정보를 안전하게 보호할 수 있다.
영상 정보 내에서 탐지된 객체정보 영역 중 원하는 객체정보 영역에 대하여 비 식별화 및 복원을 수행할 수 있다.
도 1은 일 실시예에 따른 영상 처리 시스템에서 비 식별화 및 복원 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 영상 처리 시스템에서 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 영상 처리 시스템에서 객체정보 영역을 비 식별화하는 동작을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 있어서, 객체정보 영역을 비 식별화하는 동작을 설명하기 위한 예이다.
도 6은 일 실시예에 있어서, 객체정보 영역을 복원하는 동작을 설명하기 위한 예이다.
도 7은 일 실시예에 있어서, 객체정보 영역을 비 식별화하는 동작을 설명하기 위한 또 다른 예이다.
도 8은 일 실시예에 있어서, 객체정보 영역을 복원하는 동작을 설명하기 위한 또 다른 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 영상 처리 시스템에서 비 식별화 및 복원 동작을 설명하기 위한 도면이다.
영상 처리 시스템은 전자 기기로부터 촬영된 영상 정보를 획득할 수 있다. 예를 들면, 전자 기기는 스마트 폰, 웨어러블 디바이스, CCTV, 블랙박스 등 카메라가 포함된 전자 기기를 의미할 수 있다. 이러한 전자 기기는 특정 위치에 고정되어 설치됨으로써 특정 공간을 촬영할 수 있다. 또는, 전자 기기는 특정 위치에 설치되지 않고 이동 중에 촬영될 수 있다. 전자 기기로부터 사람, 사물 등에 대한 객체의 촬영이 이루어질 수 있다.
일례로, 영상 처리 시스템은 실시간으로 촬영되는 영상 정보를 이용할 수 있고, 사전(과거)에 촬영된 영상 정보를 이용하여 비 식별화 및 복원 동작을 수행할 수 있다. 영상 처리 장치는 영상 정보에 구성된 시간에 따라 이동되는 객체정보 영역을 각각 인식하여 추적함으로써 객체정보 영역에 대한 비 식별화 및 복원을 수행할 수 있다.
실시예에서는 전자 기기로부터 촬영된 영상 정보, 즉, 가공되지 않은 영상 정보를 원본 영상이라고 기재하기로 한다. 영상 처리 시스템은 전자 기기로부터 촬영된 영상 정보로부터 객체정보 영역을 탐지할 수 있다. 이때, 영상 처리 시스템은 객체 탐지를 위한 학습 모델을 이용하여 영상 정보로부터 객체정보 영역을 탐지할 수 있다. 객체 탐지를 위한 학습 모델은 사전에 객체 탐지를 위하여 학습된 모델로서, 딥러닝 기술이 적용된 것일 수 있다. 예를 들면, 객체 탐지를 위한 학습 모델은 객체 탐지를 위한 데이터 셋(영상 데이터)을 학습시킨 것일 수 있다. 이때, 객체 탐지를 위한 학습 모델은 CNN, RNN 등 다양한 네트워크 기반으로 구성된 것일 수 있으며, 이에 한정되는 것은 아니다.
영상 처리 장치는 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 탐지된 객체정보 영역을 비 식별화할 수 있다. 이때, 탐지된 객체정보 영역과 관련하여 생성된 암호키는 수도랜덤 함수의 시드값으로 사용될 수 있으며, 객체정보 영역 각각에 서로 다른 암호키가 부여된 것을 의미할 수 있다. 예를 들면, 영상 정보 내에 복수의 객체정보 영역이 탐지될 수 있다. 탐지된 복수의 객체정보 영역 각각에 대하여 서로 다른 암호키가 부여될 수 있다. 이때, 복수의 객체정보 영역 각각에 대응하여 기 설정된 암호키가 부여될 수 있고, 또는, 복수의 객체정보 영역 각각에 암호키 생성 방식에 기초하여 생성된 각각의 암호키가 부여될 수 있다.
이때, 영상 처리 장치는 탐지된 객체정보 영역이 복수 개의 객체정보 영역들에 대해 분류된 값에 따라 암호키를 설정할 수 있다. 예를 들면, 영상 정보 내에서 0~4까지 5개의 객체가 탐지되었다고 가정하기로 한다. 탐지된 5개의 객체에 대하여 객체 0, 객체 1, 객체 2, 객체 3, 객체 4, 객체 5라고 기재하기로 한다. 객체 0, 객체 3은 "0000" 차량 번호판으로 분류되고, 객체 1, 객체 2, 객체4번은 "0001" 차량 번호판으로 분류되었을 때 "0000" 차량의 번호판의 경우 암호키 A를 이용해서 2개의 객체정보를 비식별화/복원, "0001" 번 차량의 번호판의 경우 암호키 B를 이용해서 3개의 객체정보를 비식별화/복원할 수 있다. 다시 말해서, 영상 처리 시스템은 하나의 객체정보가 포함된 객체정보 영역 각각에 동일한, 유사한, 또는 기 설정된 기준에 의하여 그룹의 객체정보 영역을 생성하고, 생성된 그룹의 객체정보 영역에 기초하여 암호키를 그룹단위로 적용할 수 있다. 또한, 영상 처리 시스템은 복수의 객체정보가 포함되어 있는 객체정보 영역들을 그룹화하여 암호키를 부여할 수도 있다.
영상 처리 장치는 솔팅(sorting) 테이블 기반의 제1 방식 및 랜덤 가역 테이블 기반의 제2 방식 중 어느 하나 이상의 방식을 이용하여 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 탐지된 객체정보 영역에 대한 비 식별화를 수행할 수 있다. 여기서, 비 식별화란, 탐지된 객체정보 영역에 테두리, 패턴, 박스(box), 블러(blur) 또는 모자이크를 포함하는 특수 처리된 것을 의미할 수 있다. 영상 정보 내에 탐지된 객체정보 영역이 특수 처리되어 표시될 수 있다. 예를 들면, 특수 처리된 객체정보 영역은 영상 정보 내에서 특수 처리 방식에 따라 투명, 반투명, 불투명(비공개) 형태로 표시될 수 있다. 더 나아가, 영상 처리 시스템은 탐지된 객체정보 영역에 포함된 객체의 타입(type)(예를 들면, 사물, 사람 등)에 따라 객체정보 영역을 다르게 구분할 수도 있다. 예를 들면, 객체가 사람일 경우, 모자이크 처리할 수 있고, 객체가 사물일 경우, 박스 표시만 할 수도 있다.
영상 처리 장치는 비 식별화된 객체정보 영역을 암호키를 이용하여 복원할 수 있다. 영상 처리 장치는 복원된 객체정보 영역을 영상 정보 내에서 공개할 수 있다. 다시 말해서, 영상 처리 장치는 영상 정보 내에서 비 식별화된 객체정보 영역에 특수 처리를 제거할 수 있다. 예를 들면, 영상 처리 장치는 비 식별화된 객체정보 영역 중 비 식별화된 전체의 객체정보 영역 또는 비 식별화된 일부의 객체정보 영역만 복원시킬 수 있다.
또한, 영상 처리 장치는 복원된 객체정보 영역의 타입에 따라 복원된 객체정보 영역에 포함된 객체정보를 구분할 수 있다. 영상 처리 장치는 객체정보 영역을 탐지할 때, 판별된 객체정보를 이용하여 복원 시에 객체정보를 구분할 수 있고, 객체정보 영역을 복원한 후, 복원된 객체정보 영역에 포함된 객체정보를 판별함으로써 객체정보를 각각 구분할 수 있다. 예를 들면, 복원된 객체정보 영역들이 동일한 안면 정보들일지라도 각각의 안면 정보가 구분될 수 있다.
도 2는 일 실시예에 따른 영상 처리 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 영상 처리 시스템에서 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법을 설명하기 위한 흐름도이다.
영상 처리 시스템(100)의 프로세서는 객체정보 영역 탐지부(210), 객체정보 영역 비 식별화부(220) 및 객체정보 영역 복원부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 영상 처리 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법이 포함하는 단계들(310 내지 330)을 수행하도록 영상 처리 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 영상 처리 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 영상 처리 시스템을 제어할 수 있다. 이때, 객체정보 영역 탐지부(210), 객체정보 영역 비 식별화부(220) 및 객체정보 영역 복원부(230) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 330)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(310)에서 객체정보 영역 탐지부(210)는 영상 정보로부터 객체정보 영역을 탐지할 수 있다. 예를 들면, 객체정보 영역 탐지부(210)는 영상 정보를 객체 탐지를 위한 학습 모델에 입력할 수 있다. 객체정보 영역 탐지부(210)는 객체 탐지를 위한 학습 모델을 이용하여 영상 정보로부터 객체정보 영역을 탐지할 수 있다.
단계(320)에서 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 탐지된 객체정보 영역을 비 식별화할 수 있다. 객체정보 영역 비 식별화부(220)는 솔팅(sorting) 테이블 기반의 제1 방식 및 랜덤 가역 테이블 기반의 제2 방식 중 어느 하나 이상의 방식을 이용하여 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 탐지된 객체정보 영역에 대한 비 식별화를 수행할 수 있다.
도 4를 참고하면, 비 식별화하는 동작을 설명하기 위한 흐름도이다. 예를 들면, 객체정보 영역 비 식별화부(220)는 사용자 또는 컴퓨터 프로그램에 의하여 선택된 비 식별화를 수행하기 위한 방식을 수신할 수 있다. 일례로, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 솔팅 테이블 기반의 제1 방식(410)을 통해 탐지된 객체정보 영역을 비 식별화할 수 있다. 도 5를 참고하면, 솔팅 테이블 기반의 제1 방식에 대하여 설명하기로 한다. 도 5에서는 암호키를 이용하여 객체정보 영역의 픽셀 위치를 랜덤으로 재배치하여 비 식별화하는 동작에 대하여 설명하기로 한다. 실시예에서는 암호키가 수도랜덤 함수의 시드값으로 사용될 수 있다. 이때, 암호키에 의해 생성된 수도랜덤 함수에 기초하여 탐지된 객체정보 영역에서 픽셀의 위치가 재배열되는 솔팅 테이블이 생성될 수 있다. 영상 정보 내에서 객체정보 영역이 탐지됨에 따라, 객체정보 영역 비 식별화부(220)는 생성된 솔팅 테이블을 이용하여 탐지된 객체정보 영역의 픽셀을 재배치할 수 있다.
다른 예로서, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 랜덤 가역 테이블 기반의 제2 방식(420)을 통해 탐지된 객체정보 영역을 비 식별화할 수 있다. 도 7을 참고하면, 랜덤 가역 테이블 기반의 제2 방식에 대하여 설명하기로 한다. 실시예에서는 암호키가 수도랜덤 함수의 시드값으로 사용될 수 있다. 이때, 암호키에 의해 생성된 수도랜덤 함수에 기초하여 탐지된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블이 생성될 수 있다. 영상 정보 내에서 객체정보 영역이 탐지됨에 따라, 객체정보 영역 비 식별화부(220)는 생성된 랜덤 가역 테이블을 이용하여 탐지된 객체정보 영역의 픽셀에서 각 픽셀값을 변조할 수 있다. 이때, 랜덤 가역 테이블을 이용하여 변조가 수행될 때, 변조 수식(A+B%255)에 기초하여 변조의 정도가 조절될 수 있다. 다시 말해서, 각 픽셀별 0 내지 255의 값을 갖는 RGB 색상 정보에 기초하여 픽셀값을 변조시키기 위한 연산을 통해 변조의 정도가 조절될 수 있다. 이때, 도 7의 변조 수식에서 A는 원본 영상, B는 랜덤 가역 테이블을 의미할 수 있다.
또 다른 예로서, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 솔팅 테이블 기반의 제1 방식과 랜덤 가역 테이블 기반의 제2 방식이 조합된 제3 방식(430)을 통해 탐지된 객체정보 영역을 비 식별화할 수 있다. 예를 들면, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역에 제1 방식과 제2 방식을 각각 차례로 또는 동시에 수행함으로써 탐지된 객체정보 영역을 비 식별화할 수 있다. 또는, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역 중 일부에 대하여 제1 방식을 적용하고, 탐지된 객체정보 영역 중 나머지에 대하여 제2 방식을 적용할 수 있다. 반대로, 객체정보 영역 비 식별화부(220)는 탐지된 객체정보 영역 중 일부에 대하여 제2 방식을 적용하고, 탐지된 객체정보 영역 중 나머지에 대하여 제1 방식을 적용할 수 있다. 상기 설명된 동작 이외에도 제 3방식이 수행되는 동작은 다양하게 존재할 수 있다.
단계(330)에서 객체정보 영역 복원부(230)는 비 식별화된 객체정보 영역을 암호키를 이용하여 복원할 수 있다. 도 6을 참고하면, 솔팅 테이블을 이용하여 비 식별화된 객체정보 영역을 복원하는 동작을 설명하기로 한다. 실시예에서는 암호키가 수도랜덤 함수의 시드값으로 사용될 수 있다. 이때, 암호키에 의해 생성된 수도랜덤 함수에 기초하여 탐지된 객체정보 영역에서 픽셀의 위치가 재배열되는 솔팅 테이블이 생성될 수 있다. 영상 정보 내에서 비 식별화된 객체정보 영역이 탐지됨에 따라, 객체정보 영역 복원부(230)는 생성된 솔팅 테이블을 이용하여 비 식별화된 객체정보 영역을 역산할 수 있다. 이에, 비 식별화된 객체정보 영역이 복원될 수 있다.
도 8을 참고하면, 랜덤 가역 테이블을 이용하여 비 식별화된 객체정보 영역을 복원하는 동작을 설명하기로 한다. 실시예에서는 암호키가 수도랜덤 함수의 시드값으로 사용될 수 있다. 이때, 암호키에 의해 생성된 수도랜덤 함수에 기초하여 탐지된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블이 생성될 수 있다. 영상 정보 내에서 비 식별화된 객체정보 영역이 탐지됨에 따라, 객체정보 영역 복원부(230)는 생성된 랜덤 가역 테이블을 이용하여 비 식별화된 객체정보 영역의 픽셀에 변조된 각 픽셀값을 복원할 수 있다. 이때, 랜덤 가역 테이블을 이용하여 복원이 수행될 때, 복원 수식(A-B%255)에 기초하여 복원의 정도가 조절될 수 있다. 다시 말해서, 각 픽셀별 0 내지 255의 값을 갖는 RGB 색상 정보에 기초하여 픽셀값을 변조시키기 위한 연산을 통해 변조된 영상 정보에 대한 복원 정도가 조절될 수 있다. 이때, 도 8의 변조 수식에서 A는 원본 영상, B는 랜덤 가역 테이블을 의미할 수 있다.
또한, 객체정보 영역 복원부(230)는 암호키를 이용하여 솔팅 테이블 기반의 제1 방식과 랜덤 가역 테이블 기반의 제2 방식이 조합된 제3 방식을 통해 비 식별된 객체정보 영역을 복원할 수 있다. 예를 들면, 객체정보 영역 복원부(230)는 비 식별된 객체정보 영역에 제1 방식과 제2 방식을 각각 차례로 또는 동시에 수행함으로써 비 식별화된 객체정보 영역을 복원할 수 있다. 또는, 객체정보 영역 복원부(230)는 비 식별화된 객체정보 영역 중 일부에 대하여 제1 방식을 적용하고, 비 식별화된 객체정보 영역 중 나머지에 대하여 제2 방식을 적용할 수 있다. 반대로, 객체정보 영역 복원부(230)는 비 식별화된 객체정보 영역 중 일부에 대하여 제2 방식을 적용하고, 비 식별화된 객체정보 영역 중 나머지에 대하여 제1 방식을 적용할 수 있다. 상기 설명된 동작 이외에도 제 3방식이 수행되는 동작은 다양하게 존재할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 영상 처리 시스템에 의해 수행되는 영상 정보의 비 식별화 및 복원을 위한 영상 처리 방법에 있어서,
    영상 정보로부터 객체정보 영역을 탐지하는 단계;
    상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 상기 탐지된 객체정보 영역을 비 식별화하는 단계; 및
    상기 비 식별화된 객체정보 영역을 상기 암호키를 이용하여 복원하는 단계
    를 포함하고,
    상기 탐지된 객체정보 영역과 관련하여 생성된 암호키는, 수도랜덤 함수의 시드값으로 사용되고, 상기 영상 정보로부터 탐지된 객체정보 영역의 각각에 서로 다른 암호키가 부여되는 것을 특징으로 하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 비 식별화하는 단계는,
    상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 솔팅(sorting) 테이블 기반의 제1 방식 및 랜덤 가역 테이블 기반의 제2 방식 중 어느 하나 이상의 방식을 통해 상기 탐지된 객체정보 영역에 대한 비 식별화를 수행하는 단계
    를 포함하는 영상 처리 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 비 식별화하는 단계는,
    암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 탐지된 객체정보 영역에서 픽셀의 위치를 재배열하는 솔팅 테이블을 구성하고, 상기 구성된 솔팅 테이블을 이용하여 상기 탐지된 객체정보 영역의 픽셀을 재배치하는 단계
    를 포함하는 영상 처리 방법.
  5. 제2항에 있어서,
    상기 비 식별화하는 단계는,
    암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 탐지된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블을 구성하고, 상기 구성된 랜덤 가역 테이블을 이용하여 상기 탐지된 객체정보 영역의 각 픽셀값을 변조하는 단계
    를 포함하는 영상 처리 방법.
  6. 제1항에 있어서,
    상기 복원하는 단계는,
    상기 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 비 식별화된 객체정보 영역에서 픽셀의 위치를 재배열하는 솔팅 테이블을 구성하고, 상기 구성된 솔팅 테이블을 이용하여 상기 비 식별화된 객체정보 영역을 역산하는 단계
    를 포함하는 영상 처리 방법.
  7. 제1항에 있어서,
    상기 복원하는 단계는,
    상기 암호키에 기초하여 생성되는 수도랜덤 함수를 통해 상기 비 식별화된 객체정보 영역에서 픽셀값을 변조시키는 랜덤 가역 테이블을 구성하고, 상기 구성된 랜덤 가역 테이블을 이용하여 상기 비 식별화된 객체정보 영역에 변조된 각 픽셀값을 복원하는 단계
    를 포함하는 영상 처리 방법.
  8. 제1항에 있어서,
    상기 탐지하는 단계는,
    객체 탐지를 위한 학습 모델을 이용하여 영상 정보로부터 객체정보 영역을 탐지하는 단계
    를 포함하는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 복원하는 단계는,
    상기 복원된 객체정보 영역의 타입(type)에 따라 상기 복원된 객체정보 영역에 포함된 객체정보를 구분하는 단계
    를 포함하는 영상 처리 방법.
  10. 영상 정보의 비 식별화 및 복원을 위한 영상 처리 시스템에 있어서,
    영상 정보로부터 객체정보 영역을 탐지하는 객체정보 영역 탐지부;
    상기 탐지된 객체정보 영역과 관련하여 생성된 암호키를 이용하여 상기 탐지된 객체정보 영역을 비 식별화하는 객체정보 영역 비 식별화부; 및
    상기 비 식별화된 객체정보 영역을 상기 암호키를 이용하여 복원하는 객체정보 영역 복원부
    를 포함하고,
    상기 탐지된 객체정보 영역과 관련하여 생성된 암호키는, 수도랜덤 함수의 시드값으로 사용되고, 상기 영상 정보로부터 탐지된 객체정보 영역의 각각에 서로 다른 암호키가 부여되는 것을 특징으로 하는 영상 처리 시스템.
KR1020210009997A 2021-01-25 2021-01-25 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술 KR102454677B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210009997A KR102454677B1 (ko) 2021-01-25 2021-01-25 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
US17/581,427 US20220237317A1 (en) 2021-01-25 2022-01-21 Technology for de-identifying and restoring personal information in encryption key-based image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009997A KR102454677B1 (ko) 2021-01-25 2021-01-25 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술

Publications (2)

Publication Number Publication Date
KR20220107400A KR20220107400A (ko) 2022-08-02
KR102454677B1 true KR102454677B1 (ko) 2022-10-17

Family

ID=82494638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009997A KR102454677B1 (ko) 2021-01-25 2021-01-25 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술

Country Status (2)

Country Link
US (1) US20220237317A1 (ko)
KR (1) KR102454677B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240145628A (ko) * 2023-03-28 2024-10-07 주식회사 애브체인 데이터 생성 단말기 및 이의 개인정보 처리방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338341B1 (ko) * 2012-08-21 2013-12-06 경북대학교 산학협력단 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2164056A2 (en) * 2004-12-27 2010-03-17 Emitall Surveillance S.A. Efficient scrambling of regions of interests in an image or video to preserve privacy
KR20120035299A (ko) * 2010-10-05 2012-04-16 한국인터넷진흥원 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
EP2981063B1 (en) * 2014-07-31 2020-03-04 Samsung Electronics Co., Ltd Method of modifying image including photographing restricted element, and device for performing the method
US10657634B2 (en) * 2015-12-05 2020-05-19 Indiana University Research And Technology Corporation Systems and methods for image processing
US9779531B1 (en) * 2016-04-04 2017-10-03 Adobe Systems Incorporated Scaling and masking of image content during digital image editing
US10558815B2 (en) * 2016-05-13 2020-02-11 Wayfair Llc Contextual evaluation for multimedia item posting
KR102561306B1 (ko) * 2016-12-01 2023-07-31 한화비전 주식회사 영상 처리 장치 및 방법
US10798313B2 (en) * 2017-08-22 2020-10-06 Alarm.Com Incorporated Preserving privacy in surveillance
EP3471060B1 (en) * 2017-10-16 2020-07-08 Nokia Technologies Oy Apparatus and methods for determining and providing anonymized content within images
KR102066778B1 (ko) * 2017-12-29 2020-01-15 경일대학교산학협력단 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
CN112585605A (zh) * 2018-09-06 2021-03-30 索尼公司 信息处理系统、信息处理方法、终端装置和信息处理装置
US11120523B1 (en) * 2020-03-12 2021-09-14 Conduent Business Services, Llc Vehicle passenger detection system and method
US11526626B2 (en) * 2020-07-10 2022-12-13 De-Identification Ltd. Facial anonymization with consistent facial attribute preservation in video
US11606197B2 (en) * 2020-07-26 2023-03-14 HCL Technologies Italy S.p.A. Method and system for encrypting and decrypting a facial segment in an image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338341B1 (ko) * 2012-08-21 2013-12-06 경북대학교 산학협력단 Ｃｃｔｖ 카메라 촬영 영상의 친밀도 기반 보안 전송 시스템 및 그 방법

Also Published As

Publication number Publication date
US20220237317A1 (en) 2022-07-28
KR20220107400A (ko) 2022-08-02

Similar Documents

Publication Publication Date Title
US11157646B2 (en) Systems and methods for processing and handling privacy-sensitive image data
Agrawal et al. Person de-identification in videos
US11425335B2 (en) Protecting privacy in video content
JP5269033B2 (ja) 映像のプライバシーマスキング方法及び装置
US9454675B2 (en) Apparatus and method for protecting personal information of recorded image, and computer-readable recording medium having computer program recorded therein
KR102601432B1 (ko) 이미지 또는 비디오에서 관심 물체를 강조하는 방법
KR20200077370A (ko) 영상 마스킹 장치 및 영상 마스킹 방법
EP3923587A1 (en) Method and device for partially unmasking an object in a video stream
KR102454677B1 (ko) 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
CN112115811A (zh) 基于隐私保护的图像处理方法、装置和电子设备
TW202044798A (zh) 密碼化裝置、密碼化方法
Jaiswal et al. Forensic image analysis using inconsistent noise pattern
CA3132010A1 (en) SYSTEMS AND METHODS FOR PRODUCING A PROTECTED VIDEO SEQUENCE
Gurung et al. Virtual numeric authentication system using contour detection of color-banded fingertips
KR102200865B1 (ko) 이미지 데이터의 개인 정보 보호를 위한 방법 및 시스템
WO2020158541A1 (ja) センサ装置、暗号化方法
EP4116942A1 (en) Method for tracking target objects in a specific space, and device using the same
KR101288248B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
KR102371391B1 (ko) Ai 활용 차량 번호판 인식 시스템 및 이를 위한 동작 방법
US11388330B1 (en) Method for tracking target objects in a specific space, and device using the same
KR20190096116A (ko) 생체정보 보안방법
CN114004726A (zh) 水印显示方法、装置、计算机设备和存储介质
Cichowski et al. Visual data encryption for privacy enhancement in surveillance systems
KR101292907B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
TWI740145B (zh) 視訊的資訊隱藏與隱私保護方法、電子裝置、電腦程式產品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant