KR102473801B1 - 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치 - Google Patents
공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치 Download PDFInfo
- Publication number
- KR102473801B1 KR102473801B1 KR1020220058619A KR20220058619A KR102473801B1 KR 102473801 B1 KR102473801 B1 KR 102473801B1 KR 1020220058619 A KR1020220058619 A KR 1020220058619A KR 20220058619 A KR20220058619 A KR 20220058619A KR 102473801 B1 KR102473801 B1 KR 102473801B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- modulated
- data
- information
- target object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 description 19
- 238000013507 mapping Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
Abstract
본 발명은 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 방법에 있어서, (a) 익명화 추적 장치가, 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크를 통해, 사람은 상기 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조한 변조된 영상들을 획득하는 단계; (b) 상기 익명화 추적 장치가, 상기 변조된 영상들을 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조된 영상들로부터 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 단계; 및 (c) 상기 익명화 추적 장치가, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 상기 특정 공간에서의 상기 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 단계; 를 포함하는 방법에 관한 것이다.
Description
본 발명은 공간 내에서 오브젝트들을 추적하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 공간 내에 위치하는 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치에 관한 것이다.
특정 장소의 보안을 위하여 CCTV 등의 카메라를 이용한 보안 시스템이 일반적으로 사용되고 있다. 이러한 카메라는 대형 마트, 백화점, 연구소, 공공기관 등과 같은 대형 건물의 내부 또는 가정, 어린이집, 편의점, 은행 등과 같은 소형 건물뿐만 아니라 공원, 도로 등의 공공 장소에 설치되며, 카메라를 통해 촬영된 영상을 통해 실시간으로 감시하거나 해당 장소에 대한 정보 분석을 위하여 녹화된 영상을 이용하고 있다.
하지만, 이러한 다중 이용 시설에서 촬영된 영상에는 해당 시설을 방문한 사람이나 해당 시설에 위치한 오브젝트들에 대한 다양한 개인 정보가 포함되어 있으므로, 오브젝트들을 추적하는 것에 한계가 있을 뿐만 아니라, 이러한 개인 정보가 포함된 녹화된 영상을 정보 분석에 이용하기에는 많은 제약이 있다.
특히, 해당 시설에서 발생한 사건 등에 대하여 녹화된 영상을 확인하고자 할 경우에도, 개인 정보의 보호를 위하여 당사자인 경우에도 해당 영상에 촬영된 다른 사람의 개인 정보 보호를 위하여 임의로 확인할 수 없으며, 해당 영상을 확보하기 위해서는 당사자 이외의 다른 사람의 개인 정보를 보호하기 위한 영상 처리를 하여야만 하는 등의 문제점이 있다.
따라서, 본 출원인은 이와 같은 다중 시설에서의 촬영 영상에서 익명화를 통해 오브젝트들을 추적할 수 있는 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 다중 시설에서의 오브젝트들을 익명화하여 추적할 수 있도록 하는 것을 다른 목적으로 한다.
또한, 본 발명은, 다중 시설에서 익명화를 통해 오브젝트들을 추적한 정보를 비익명화에 동의한 특정 오브젝트들에 맵핑할 수 있도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 다중 시설에서 익명화된 추적 정보를 비익명화된 오브젝트에 맵핑함으로써 데이터의 활용도를 증대시킬 수 있도록 하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 방법에 있어서, (a) 익명화 추적 장치가, 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크를 통해, 사람은 상기 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조한 변조된 영상들을 획득하는 단계; (b) 상기 익명화 추적 장치가, 상기 변조된 영상들을 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조된 영상들로부터 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 단계; 및 (c) 상기 익명화 추적 장치가, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 상기 특정 공간에서의 상기 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 단계; 를 포함하는 방법이 제공된다.
상기에서, (d) 상기 익명화 추적 장치가, 상기 적어도 하나의 타겟 오브젝트 중 특정 타겟 오브젝트로부터 비익명화 개인 정보의 공개에 대한 동의 정보가 획득되면, 상기 특정 타겟 오브젝트에 대응되는 특정 익명화 트래킹 정보를 상기 특정 타겟 오브젝트의 비익명화 개인 정보에 매칭하여 상기 특정 익명화 트래킹 정보를 특정 비익명화 트래킹 정보로 변환하는 단계; 를 더 포함할 수 있다.
상기 (c) 단계에서, 상기 익명화 추적 장치는, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 식별된 상기 적어도 하나의 변조된 타겟 오브젝트에 대한 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는 특정 변조된 타겟 오브젝트의 경우, 상기 특정 변조된 타겟 오브젝트에 대응되는 특정 비익명화 개인 정보를 상기 특정 변조된 타겟 오브젝트에 매칭하며, 상기 특정 비익명화 개인 정보가 매칭된 상기 특정 변조된 타겟 오브젝트를 트래킹하여 특정 비익명화 트래킹 정보를 생성할 수 있다.
상기 (a) 단계에서, 상기 익명화 추적 장치는, 상기 적어도 하나의 카메라로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득하거나, 상기 원본 영상들을 저장하는 NVR(network video recorder)로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득할 수 있다.
상기 변조된 타겟 오브젝트 정보는, 상기 변조된 타겟 오브젝트에 대응되는 변조된 영역 데이터, 상기 변조된 타겟 오브젝트의 위치 정보 및 상기 변조된 타겟 오브젝트를 촬영한 카메라의 카메라 정보를 포함할 수 있다.
상기 익명화 트래킹 정보는, 상기 타겟 오브젝트의 트러젝터리 정보 및 상태 정보를 포함할 수 있다.
상기 변조 네트워크는 상기 원본 영상들을, 사람은 상기 원본 영상들을 구분할 수 없으나 상기 러닝 네트워크는 상기 원본 영상들과 동일하게 인식할 수 있도록, 변조하도록 학습된 상태이며, 학습 장치에 의해, (i) 상기 학습용 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습용 데이터를 변조(obfuscation)하여 학습용 변조 데이터를 생성하도록 하며, (ii) 상기 학습용 변조 데이터를 학습된 파라미터를 가지는 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 학습된 파라미터를 이용하여 상기 학습용 변조 데이터를 네트워크 연산하여 상기 학습용 변조 데이터에 대응하는 특징 정보를 생성하도록 하고, (iii) 상기 특징 정보 또는 상기 특징 정보를 이용하여 생성한 태스크 특화 출력과 이에 대응되는 그라운드 트루스를 참조하여 획득한 제1 에러를 최소화하며, 상기 학습용 데이터와 상기 학습용 변조 데이터를 참조하여 획득한 제2 에러를 최대화하도록 상기 변조 네트워크가 학습된 상태일 수 있다.
상기 변조 네트워크는, 상기 학습 장치에 의해, 입력되는 데이터가 real인지 fake인지를 판별하는 디스크리미네이터에 입력된 상기 학습용 변조 데이터에 대응되는 학습용 변조 데이터 스코어를 상기 제2 에러로 획득한 상태에서, 상기 제1 에러를 최소화하며 상기 제2 에러를 최대화하도록 상기 변조 네트워크를 학습시킴과 더불어, 상기 디스크리미네이터에 입력된 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터 - 상기 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터는 각각 상기 학습용 데이터 또는 상기 학습용 변조 데이터를 변환한 데이터 임 - 에 대응되는 학습용 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 최대화하며 상기 학습용 변조 데이터 스코어를 최소화하도록 상기 디스크리미네이터를 학습시킨 상태일 수 있다.
본 발명의 다른 일 실시예에 따르면, 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 익명화 추적 장치에 있어서, 특정 공간 내에서 오브젝트들을 익명화하여 추적하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 상기 특정 공간 내에서 상기 오브젝트들을 익명화하여 추적하기 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (i) 상기 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크를 통해, 사람은 상기 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조한 변조된 영상들을 획득하는 프로세스, (ii) 상기 변조된 영상들을 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 변조된 영상들로부터 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 프로세스, 및 (iii) 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 상기 특정 공간에서의 상기 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 프로세스를 수행하는 익명화 추적 장치가 제공된다.
상기 프로세서는, (iv) 상기 적어도 하나의 타겟 오브젝트 중 특정 타겟 오브젝트로부터 비익명화 개인 정보의 공개에 대한 동의 정보가 획득되면, 상기 특정 타겟 오브젝트에 대응되는 특정 익명화 트래킹 정보를 상기 특정 타겟 오브젝트의 비익명화 개인 정보에 매칭하여 상기 특정 익명화 트래킹 정보를 특정 비익명화 트래킹 정보로 변환하는 프로세스를 더 수행할 수 있다.
상기 프로세서는, 상기 (iii) 프로세스에서, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 식별된 상기 적어도 하나의 변조된 타겟 오브젝트에 대한 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는 특정 변조된 타겟 오브젝트의 경우, 상기 특정 변조된 타겟 오브젝트에 대응되는 특정 비익명화 개인 정보를 상기 특정 변조된 타겟 오브젝트에 매칭하며, 상기 특정 비익명화 개인 정보가 매칭된 상기 특정 변조된 타겟 오브젝트를 트래킹하여 특정 비익명화 트래킹 정보를 생성할 수 있다.
상기 프로세서는, 상기 (i) 프로세스에서, 상기 적어도 하나의 카메라로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득하거나, 상기 원본 영상들을 저장하는 NVR(network video recorder)로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득할 수 있다.
상기 변조된 타겟 오브젝트 정보는, 상기 변조된 타겟 오브젝트에 대응되는 변조된 영역 데이터, 상기 변조된 타겟 오브젝트의 위치 정보 및 상기 변조된 타겟 오브젝트를 촬영한 카메라의 카메라 정보를 포함할 수 있다.
상기 익명화 트래킹 정보는, 상기 타겟 오브젝트의 트러젝터리 정보 및 상태 정보를 포함할 수 있다.
상기 변조 네트워크는 상기 원본 영상들을, 사람은 상기 원본 영상들을 구분할 수 없으나 상기 러닝 네트워크는 상기 원본 영상들과 동일하게 인식할 수 있도록, 변조하도록 학습된 상태이며, 학습 장치에 의해, (i) 상기 학습용 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습용 데이터를 변조(obfuscation)하여 학습용 변조 데이터를 생성하도록 하며, (ii) 상기 학습용 변조 데이터를 학습된 파라미터를 가지는 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 학습된 파라미터를 이용하여 상기 학습용 변조 데이터를 네트워크 연산하여 상기 학습용 변조 데이터에 대응하는 특징 정보를 생성하도록 하고, (iii) 상기 특징 정보 또는 상기 특징 정보를 이용하여 생성한 태스크 특화 출력과 이에 대응되는 그라운드 트루스를 참조하여 획득한 제1 에러를 최소화하며, 상기 학습용 데이터와 상기 학습용 변조 데이터를 참조하여 획득한 제2 에러를 최대화하도록 상기 변조 네트워크가 학습된 상태일 수 있다.
상기 변조 네트워크는, 상기 학습 장치에 의해, 입력되는 데이터가 real인지 fake인지를 판별하는 디스크리미네이터에 입력된 상기 학습용 변조 데이터에 대응되는 학습용 변조 데이터 스코어를 상기 제2 에러로 획득한 상태에서, 상기 제1 에러를 최소화하며 상기 제2 에러를 최대화하도록 상기 변조 네트워크를 학습시킴과 더불어, 상기 디스크리미네이터에 입력된 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터 - 상기 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터는 각각 상기 학습용 데이터 또는 상기 학습용 변조 데이터를 변환한 데이터 임 - 에 대응되는 학습용 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 최대화하며 상기 학습용 변조 데이터 스코어를 최소화하도록 상기 디스크리미네이터를 학습시킨 상태일 수 있다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 다중 시설에서의 오브젝트들을 익명화하여 추적할 수 있게 된다.
또한, 본 발명은, 다중 시설에서 익명화를 통해 오브젝트들을 추적한 정보를 비익명화에 동의한 특정 오브젝트들에 맵핑할 수 있다.
또한, 본 발명은, 다중 시설에서 익명화된 추적 정보를 비익명화된 오브젝트에 맵핑함으로써 데이터의 활용도를 증대시킬 수 있게 된다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 익명화 추적 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 변조한 변조된 공간 이미지를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 변조한 변조된 공간 이미지를 이용하여 익명화된 특정 오브젝트들을 검출한 상태를 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 검출된 익명화된 특정 오브젝트들을 트래킹하는 상태를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 익명화 추적 정보를 비익명화 오브젝트에 맵핑하는 상태를 개략적으로 도시한 것이고,
도 7은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 방법을 개략적으로 도시한 것이고,
도 8은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 다른 방법을 개략적으로 도시한 것이고,
도 9는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것이고,
도 10은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것이다.
도 1은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 익명화 추적 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 변조한 변조된 공간 이미지를 개략적으로 도시한 것이고,
도 4는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 적어도 하나의 카메라를 통해 촬영된 공간 이미지를 변조한 변조된 공간 이미지를 이용하여 익명화된 특정 오브젝트들을 검출한 상태를 개략적으로 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 검출된 익명화된 특정 오브젝트들을 트래킹하는 상태를 개략적으로 도시한 것이고,
도 6은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 익명화 추적 정보를 비익명화 오브젝트에 맵핑하는 상태를 개략적으로 도시한 것이고,
도 7은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 방법을 개략적으로 도시한 것이고,
도 8은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 다른 방법을 개략적으로 도시한 것이고,
도 9는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것이고,
도 10은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 익명화 추적 장치를 개략적으로 도시한 것으로, 익명화 추적 장치(1000)는 특정 공간 내에서의 오브젝트들을 익명화하여 추적하기 위한 인스트럭션들이 저장된 메모리(1100)와, 메모리(1100)에 저장된 인스트럭션들에 따라 특정 공간 내에서의 오브젝트들을 익명화하여 추적하기 위한 동작을 수행하는 프로세서(1200)를 포함할 수 있다.
구체적으로, 익명화 추적 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.
한편, 익명화 추적 장치(1000)의 프로세서(1200)는 메모리(1100)에 저장된 인스트럭션들에 따라, 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크(obfuscation network)를 통해, 사람은 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조(obfuscate)한 변조된 영상(obfuscated image)들을 획득하는 프로세스, 변조된 영상들을 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 변조된 영상들로부터 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 프로세스, 및 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 특정 공간에서의 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 프로세스를 수행할 수 있다.
이와 같이 구성된 본 발명의 일 실시예에 따른 익명화 추적 장치(1000)를 이용하여 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 방법을 설명하면 다음과 같다.
먼저, 도 2를 참조하면, 특정 공간 내에 설치된 적어도 하나의 카메라(c1, c2)로부터 특정 공간을 촬영한 적어도 하나의 원본 영상들이 획득될 수 있다.
이때, 카메라는 CCTV를 포함할 수 있으나, 이에 한정되지 않으며 이미지인 프레임들이 연속되는 영상을 촬영하는 모든 카메라를 포함할 수 있다. 그리고, 카메라는 특정 공간의 모든 영역을 커버할 수 있도록 다수 개로 설치될 수 있으며, 각각의 인접하는 카메라는 카메라 사이의 공통 시야를 확보할 수 있도록 설치될 수 있다. 이를 통해 일부 영역에서 오브젝트가 완전히 차단(occlusion)되는 것을 최소화할 수 있으며, 일부 차단(occlusion)에 대해서는 외관 특징(appearance feature)으로 매칭하여 오브젝트를 추적할 수 있도록 할 수 있다.
다음으로, 도 3을 참조하면, 익명화 추적 장치(1000)는 특정 공간을 촬영하는 적어도 하나의 카메라(c1, c2)로부터 촬영된 원본 영상들을 변조 네트워크를 통해 변조한 변조된 영상들을 획득할 수 있다.
이때, 변조 네트워크는 카메라들(c1, c2)로부터 획득된 원본 영상, 즉, 원본 영상의 각각의 프레임에서의 이미지들을 익명화할 수 있다.
그리고, 원본 영상들의 익명화는, 사람은 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있는 변조된 영상들로 변조(obfuscate)하도록 학습된 변조 네트워크를 통해 수행될 수 있으며, 변조 네트워크의 학습에 대해서는 다음에 설명하기로 한다.
또한, 원본 영상들의 익명화는 특정 공간 내를 촬영하는 카메라들(c1, c2) 각각에서 수행되거나 카메라들(c1, c2)로부터 촬영된 영상을 수신하는 익명화 추적 장치(1000)에서 수행될 수 있다.
한편, 원본 영상들의 익명화는 카메라들(c1, c2)로부터 촬영된 영상을 저장하는 NVR(network video recorder)에서 수행될 수 있다.
이때, NVR은 익명화 추적 장치(1000)에 네트워크로 연결되거나, NVR 자체가 익명화 추적 장치(1000)에 포함되어 있을 수 있다. 하지만, 본 발명은 이에 한정되지 않으며, 변조 네트워크가 설치된 다양한 장치나 설비에서 원본 영상들에 대한 익명화가 수행될 수 있다.
일 예로, 익명화 추적 장치(1000)는, 적어도 하나의 카메라에 포함된 변조 네트워크를 통해 원본 영상들을 변조한 변조된 영상들을 적어도 하나의 카메라로부터 획득하거나, 원본 영상들을 저장하는 NVR에 포함된 변조 네트워크를 통해 원본 영상들을 변조한 변조된 영상들을 NVR로부터 획득할 수 있다.
다음으로, 도 4를 참조하면, 익명화 추적 장치(1000)는 변조된 영상들을 러닝 네트워크에 입력하여 러닝 네트워크로 하여금 변조된 영상들로부터 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 할 수 있다. 이때, 변조된 타겟 오브젝트 정보는 변조된 타겟 오브젝트에 대응되는 변조된 영역 데이터, 변조된 타겟 오브젝트의 위치 정보, 및 변조된 타겟 오브젝트를 촬영한 카메라의 카메라 정보를 포함할 수 있다. 그리고, 카메라 정보는 카메라 식별 정보 및 카메라의 위치 정보를 포함할 수 있다.
그리고, 익명화 추적 장치(1000)는 변조된 영상들에서 변조된 타겟 오브젝트를 제외한 다른 영역들을 삭제함으로써 개인 정보의 노출을 방지할 수 있게 된다.
다음으로, 도 5를 참조하면, 익명화 추적 장치(1000)는 적어도 하나의 변조된 타겟 오브젝트 정보들을 참조하여 특정 공간에서의 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 변조된 트래킹 정보를 생성할 수 있다.
이때, 변조된 트래킹 정보는 변조된 타겟 오브젝트, 즉, 타겟 오브젝트의 트러젝터리(trajectory) 정보 및 상태 정보를 포함할 수 있다.
일 예로, 익명화 추적 장치(1000)는 변조된 타겟 오브젝트 정보의 영역 데이터로부터 특징 정보를 추출하고, 특징 정보를 통해 변조된 타겟 오브젝트의 식별 정보, 자세 정보, 행동 정보, 관심 정보, 표정 정보 등의 상태 정보를 검출할 수 있다.
또한, 익명화 추적 장치(1000)는 변조된 타겟 오브젝트 정보의 변조된 타겟 오브젝트의 위치 정보 및 카메라 정보를 이용하여 변조된 영상의 각각의 프레임에서의 변조된 타겟 오브젝트의 이동 위치를 추적함으로써 변조된 타겟 오브젝트가 특정 공간 내에서 이동한 트러젝터리 정보를 검출할 수 있다.
즉, 익명화 추적 장치(1000)는 익명화된 오브젝트들, 즉, 사람이나 물체들을 검출하며, 각각의 익명화된 오브젝트들의 이동, 행동, 관심, 표정 등을 실시간 또는 녹화된 변조된 영상을 통해 개인 정보의 침해 없이 분석할 수 있다.
또한, 익명화 추적 장치(1000)는 변조된 타겟 오브젝트들을 추적할 경우, 인접하는 카메라들의 사이의 공통 시야를 통해 익명화된 오브젝트들의 동선을 용이하게 추적할 수 있으며, 일부 차단(occlusion)이 일어날 경우 외관 특징(appearance feature) 매칭을 통해 추적할 수 있다.
즉, 카메라 내 오브젝트의 위치로부터 공간에서의 위치를 추정하기 위하여, 오브젝트의 바닥(floor/ground)에서의 위치를 카메라 영상으로부터 추정하고, 이를 실제 공간(평면도)으로 투영함으로써 로컬 포지션(local position)으로부터 글로벌 포지션(global position)을 획득할 수 있으며, 다중 카메라로부터 잡힌 하나의 오브젝트에 대한 다수의 클로벌 포지션들을 클러스터링(clustering)하거나, 카메라 별로 따로 얻은 글로벌 포지션 궤적들을 일정 시간 간격마다 클러스터링하거나, 이웃한 카메라들 사이의 대응관계를 먼저 찾아 노이즈를 제거한 뒤 클로벌 포지션을 얻는 등의 방법을 통해 다중 카메라로부터의 클로벌 싱글 트러젝터리(global single trajectory)를 획득할 수 있다.
한편, 익명화 추적 장치(1000)는 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 식별된 적어도 하나의 변조된 타겟 오브젝트에 대한 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는 특정 변조된 타겟 오브젝트의 경우, 특정 변조된 타겟 오브젝트에 대응되는 특정 비익명화 개인 정보를 특정 변조된 타겟 오브젝트에 매칭하며, 특정 비익명화 개인 정보가 매칭된 특정 변조된 타겟 오브젝트를 트래킹하여 특정 비익명화 트래킹 정보를 생성할 수 있다.
즉, 익명화 추적 장치(1000)는 식별된 변조된 타겟 오브젝트들에 대하여 비익명화 개인 정보의 공개에 대한 동의 정보가 미리 획득되어 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있을 경우, 변조된 타겟 오브젝트를 트래킹한 정보를 비익명화 개인 정보에 매칭하여 비익명화 트래킹 정보로 생성할 수 있다.
다음으로, 도 6을 참조하면, 익명화 추적 장치(1000)는 적어도 하나의 타겟 오브젝트 중 특정 타겟 오브젝트로부터 비익명화 개인 정보의 공개에 대한 동의 정보가 획득되면, 특정 타겟 오브젝트에 대응되는 특정 익명화 트래킹 정보를 특정 타겟 오브젝트의 비익명화 개인 정보에 매칭하여 특정 익명화 트래킹 정보를 특정 비익명화 트래킹 정보로 변환하여 줄 수 있다.
즉, 영상 분석에 동의한 오브젝트들의 경우, 익명화 추적 장치(1000)는 영상 분석에 동의한 오브젝트들의 익명화된 트래킹 정보들을 각각의 오브젝트들에 매칭함으로서 오브젝트들 각각에 대한 분석 정보를 제공할 수 있게 된다.
일 예로, 대형 마트의 경우, 마트 내를 촬영되는 다중 카메라들에 의한 영상으로부터 고객들을 익명화하여 트래킹하며, 체크 아웃시 해당 고객이 영상 분석에 동의할 경우, 해당 고객의 변조된 트래킹 정보를 해당 고객의 정보로 매칭하여 해당 고객의 마트 이용 정보로 분석하며, 비동의 고객의 정보는 통계로 활용할 수 있다. 그리고, 영상 분석에 동의한 고객이 다시 해당 마트를 방문할 경우, 해당 고객을 자동으로 인식하여 마트 내에서의 해당 고객을 익명화하여 추적 및 분석하며, 분석 결과에 따라 해당 고객에게 맞는 다양한 정보를 제공하여 줄 수 있다.
또한, 해당 고객이 해당 마트의 다른 지점을 방문할 경우에도 동일하게 인식하여 분석 및 정보를 제공하여 줄 수 있으며, 이를 통해 매장 순방문자와 방문자별 기록 등의 다양한 분석 정보를 획득할 수 있게 된다.
이를 통해 본 발명은, 기존 익명화 기술을 이용하여 마트, 몰 등의 특정 공간 내 방문자들의 개인정보를 침해하지 않으면서도 (건물 전체 영역 등) 대규모 공간에서의 이동 경로를 추적할 수 있게 된다.
이때, 익명화된 상태로의 추적(anonymous tracking)은 통계 수준의 정보만 제공 가능하여 활용도에 한계가 있다. 즉, 마트나 몰의 회원제 또는 건물의 출입 등록 시스템을 활용하면 일부 방문자에 대해 비디오 분석에 대한 동의를 얻을 수 있으나, 공공 장소에서는 동의하지 않은 방문자도 있을 수 있어 익명 상태의 추적은 여전히 필요하다. 따라서, 본 발명은 익명화된 상태로 이동 경로 및 행동 등의 비디오 분석 결과를 지니고 있다가 비디오 분석에 동의한 회원임이 확인되는 순간 기존의 익명화된 추적 정보를 자연인과 맵핑함으로써 데이터의 활용도를 크게 증대시킬 수 있다.
한편, 원본 영상을 변조하는 변조 네트워크를 학습하는 방법을 설명하면 다음과 같다.
도 7은 본 발명의 일 실시예에 따른 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 원본 영상을 변조하는 변조 네트워크를 학습하는 방법을 개략적으로 도시한 것이다.
먼저, 학습용 데이터(x)가 획득되면, 학습 장치(100)는, 학습용 데이터(x)를 변조 네트워크(O)에 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조(obfuscation)하여 학습용 변조 데이터(x', O(x))를 생성하도록 한다.
이때, 학습용 데이터(x)는 학습에 이용하기 위한 원본 데이터인 학습용 원본 데이터 또는 학습용 원본 데이터를 변환(modify)한 학습용 변환 데이터일 수 있으며, 학습용 변환 데이터는 학습용 원본 데이터에 랜덤 노이즈 생성 네트워크(미도시)를 통해 생성된 랜덤 노이즈를 부가하여 생성할 수 있다. 일 예로, 랜덤 노이즈 생성 네트워크로 하여금 정규분포 N(0, σ)에 따른 랜덤 노이즈를 생성하도록 하며, 생성된 노이즈를 학습용 원본 데이터에 추가하여 학습용 변환 데이터를 생성할 수 있다. 또한, 학습용 변환 데이터는 랜덤 노이즈 이외에도, 학습용 원본 데이터를 블루(blur) 처리하거나 학습용 원본 데이터의 해상도를 변경하여 생성할 수 있으나, 이에 한정되지 않으며, 학습용 원본 데이터를 변환(modify)하는 다양한 방법이 적용될 수 있다.
또한, 학습용 변조 데이터(x')는, 사람에게는 학습용 데이터(x)와 다르게 인식되나, 러닝 네트워크에서는 학습용 데이터(x)와 동일하거나 유사한 것으로 인식될 수 있다.
한편, 변조 네트워크(O)는 일 예로, 입력되는 학습용 데이터(x)로 이미지를 컨볼루션 연산하는 다수의 컨볼루션 레이어들을 포함하는 엔코더(encoder)와, 엔코더에서 출력되는 피처맵을 디컨볼루션하여 학습용 변조 데이터(x')를 출력하는 다수의 디컨볼루션 레이어들을 포함하는 디코더(decoder)를 포함할 수 있으나, 이에 한정되지 않으며, 입력되는 학습용 데이터를 학습용 변조 데이터로 변조하는 다양한 구조의 러닝 네트워크를 포함할 수 있다.
다음으로, 학습 장치(100)는 학습용 변조 데이터(x')를 학습된 파라미터를 가지는 러닝 네트워크(F)에 입력하여 러닝 네트워크(F)로 하여금 학습된 파라미터를 이용하여 학습용 변조 데이터(x')를 러닝 연산하여 학습용 변조 데이터(x')에 대응하는 제1 학습용 특징(characteristic) 정보(F(x'))를 생성하도록 하며, 학습용 데이터(x)를 러닝 네트워크(F)에 입력하여 러닝 네트워크(F)로 하여금 학습된 파라미터를 이용하여 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대응하는 제2 학습용 특징 정보(F(x))를 생성하도록 할 수 있다.
이때, 러닝 네트워크(F)는 머신 러닝 네트워크를 포함할 수 있으나, 이에 한정되지 않으며, 학습된 파라미터에 따라 입력되는 학습용 변조 데이터(x')를 러닝 연산하여 제1 학습용 특징 정보(F(x'))를 출력하며, 학습용 데이터(x)를 러닝 연산하여 제2 학습용 특징 정보(F(x))를 출력하도록 하는 모든 러닝 네트워크를 포함할 수 있다. 그리고, 머신 러닝 네트워크는 K-최근접 이웃(k-Nearest Neighbors), 선형 회귀(Linear Regression), 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM, Support Vector Machine), 결정 트리(Decision Tree)와 랜덤 포레스트(Random Forest), 신경망(Neural Network), 군집(Clustering), 시각화(Visualization)와 차원 축소(Dimensionality Reduction), 연관 규칙 학습(Association Rule Learning), 심층 신뢰 신경망(Deep Belief Network), 강화 학습(Reinforcement Learning), 및 Deep learning 알고리즘 중 적어도 하나를 포함할 수 있으나, 머신 러닝 네트워크는 이에 한정되지 않으며 다양한 러닝 알고리즘을 포함할 수 있다.
그리고, 제1 학습용 특징 정보(F(x')와 제2 학습용 특징 정보(F(x))는 학습용 데이터(x)에 대한 피처(feature) 또는 로짓(logits) 일 수 있다. 또한, 제1 학습용 특징 정보(F(x')와 제2 학습용 특징 정보(F(x))는 학습용 데이터(x) 내 소정 특징과 연관된 피처값, 또는 소정 특징과 관련한 벡터(vector), 행렬(matrix) 및 좌표(coordinate) 중 적어도 하나에 관한 값을 포함하는 로짓일 수 있다. 예를 들어, 학습용 데이터(x)가 얼굴 이미지 데이터인 경우에, 위의 결과는 얼굴 인식을 위한 클래스, 얼굴 특징, 일 예로, 웃음에 대한 상태, 얼굴 특징점(landmark point, 예를 들어, 눈의 양 끝점)에 관한 좌표일 수 있다.
다음으로, 학습 장치(100)는 제1 학습용 특징 정보(F(x'))와 제2 학습용 특징 정보(F(x))를 참조한 제1 에러를 최소화하며, 학습용 데이터(x)와 학습용 변조 데이터(x')를 참조한 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다. 즉, 학습 장치(100)는 변조 네트워크(O)를 학습시킴에 있어서, 제 2 에러를 이용하여 변조 네트워크(O)가 학습용 데이터(x)와는 차이가 많은 학습용 변조 데이터(x')를 출력하도록 학습시키며, 제1 에러를 이용하여 변조 네트워크(O)가 학습 데이터(x)를 변조하여 러닝 네트워크(F)에서는 학습용 데이터(x)와 동일하거나 유사하게 인식되도록 하는 학습용 변조 데이터(x')를 출력하도록 학습시킨다.
이때, 학습 장치(100)는 제1 학습용 특징 정보(F(x'))와 제2 학습용 특징 정보(F(x))의 차이에 의해 제1 에러를 획득할 수 있다. 일 예로, 학습 장치(100)는 제1 학습용 특정 정보(F(x'))와 제2 학습용 특징 정보(F(x))의 노름(norm) 또는 코사인 유사도(cosine similarity)에 제1 에러를 획득할 수 있으나, 이에 한정되지 않으며, 제1 학습용 특징 정보(F(x'))와 제2 학습용 특징 정보(F(x))의 차이를 산출할 수 있는 다양한 알고리즘을 적용할 수 있다. 또한, 학습 장치(100)는 학습용 데이터(x)와 학습용 변조 데이터(x')의 차이에 의해 제2 에러를 획득할 수 있다.
한편, 학습 장치(100)는 제1 학습용 특징 정보(F(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 프로바빌리티(probability)와 학습용 데이터(x)에 대응되는 그라운드 트루스(ground truth)를 참조하여 획득한 클래스 로스를 더 참조하여 제1 에러를 획득할 수도 있다. 이때, 프로바빌리티는 설정된 클래스별로 러닝 네트워크(F)에서 출력되는 제1 학습용 특징 정보(F(x'))가 정답일 확률을 나타낼 수 있다. 예를 들어, 학습용 데이터가 얼굴 이미지 데이터인 경우에, 얼굴이 웃는 상태일 프로바빌리티는 0.75, 웃지 않는 상태일 프로바빌리티는 0.25 등과 같이 출력될 수 있다. 이때, 러닝 네트워크(F)에서 출력되는 제1 학습용 특징 정보(F(x'))를 클래스별로 매핑하는 데 소프트맥스(softmax)를 사용할 수 있으나, 이에 한정되지 않으며, 제1 학습용 정보(F(x'))를 클래스별로 매핑하는 다양한 알고리즘이 이용될 수 있다.
즉, 학습 장치(100)는 제1 학습용 특징 정보(F(x'))와 제2 학습용 특징 정보(F(x))의 차이에 클래스 로스를 추가하여 제1 에러를 획득하고, 획득된 제1 에러를 최소화하도록 하며, 학습용 데이터(x)와 학습용 변조 데이터(x')의 차이에 의한 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
또한, 학습 장치(100)는 학습용 변조 데이터(x')의 엔트로피, 노이즈 정도 중 적어도 일부를 참조로 하여 퀄리티(quality)를 측정하고, 측정된 퀄리티를 더 참조하여 제1 에러를 획득할 수 있다. 즉, 학습 장치(100)는 학습용 변조 데이터(x')의 퀄리티를 최소화, 일 예로, 학습용 변조 데이터(x')의 엔트로피, 노이즈 등을 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
그리고, 학습 장치(100)는 제1 에러를 최소화하도록 하며, 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 경우, 러닝 네트워크(F)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 변조 네트워크(O)에 대해서만 학습을 진행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 다른 방법을 개략적으로 도시한 것으로, 도 7에서의 러닝 네트워크(F)를 학습된 파라미터를 가지는 다수의 러닝 네트워크(F1, F2, ??, Fn)으로 구성한 것이다. 하기의 설명에서는 상기 도 7의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 학습용 데이터(x)가 획득되면, 학습 장치(100)는, 학습용 데이터(x)를 변조 네트워크(O)에 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조(obfuscation)하여 학습용 변조 데이터(x', O(x))를 생성하도록 한다.
이때, 학습용 데이터(x)는 학습에 이용하기 위한 원본 데이터인 학습용 원본 데이터 또는 학습용 원본 데이터를 변환(modify)한 학습용 변환 데이터일 수 있으며, 학습용 변조 데이터(x')는, 사람에게는 학습용 데이터(x)와 다르게 인식되나, 러닝 네트워크에서는 학습용 데이터(x)와 동일하거나 유사한 것으로 인식될 수 있다.
다음으로, 학습 장치(100)는 학습용 변조 데이터(x')를 각각 제1 학습된 파라미터 내지 제n 학습된 파라미터를 가지는 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)로 하여금 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 이용하여 학습용 변조 데이터(x')를 러닝 연산하여 학습용 변조 데이터(x')에 대응하는 제1-1 학습용 특징(characteristic) 정보(F1(x')) 내지 제1-n 학습용 특징 정보(Fn(x'))를 생성하도록 한다. 또한, 학습 장치(100)는 학습용 데이터(x)를 각각 제1 학습된 파라미터 내지 제n 학습된 파라미터를 가지는 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)으로 하여금 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 이용하여 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대응하는 제2-1 학습용 특징 정보(F1(x)) 내지 제2-n 학습용 특징 정보(Fn(x))를 생성하도록 할 수 있다.
다음으로, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))와 제2-1 학습용 특징 정보(F1(x))를 참조한 제1-1 에러 내지 제1-n 학습용 특징 정보(Fn(x'))와 제2-n 학습용 특징 정보(Fn(x))를 참조한 제1-n 에러의 평균인 제1 에러를 최소화하며, 학습용 데이터(x)와 학습용 변조 데이터(x')를 참조한 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
즉, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))와 제2-1 학습용 특징 정보(F1(x))를 참조한 제1-1 에러를 획득하고, 제1-2 학습용 특징 정보(F2(x'))와 제2-2 학습용 특징 정보(F2(x))를 참조한 제1-2 에러를 획득하는 동작에 따라 제1-n 학습용 특징 정보(Fn(x'))와 제2-n 학습용 특징 정보(Fn(x))를 참조한 제1-n 에러를 산출하고, 산출된 제1-1 에러 내지 제1-n 에러의 평균인 제1 에러를 획득한다, 그리고, 학습 장치(100)는 제1 에러를 최소화하며, 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
한편, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제1 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제1 클래스 로스를 더 참조하여 제1-1 에러를 획득한다. 즉, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))와 제2-1 학습용 특징 정보(F1(x))의 차이에, 제1 클래스 로스를 추가하여 제1-1 에러를 획득할 수 있다. 그리고, 제1-2 학습용 특징 정보(F2(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제2 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제2 클래스 로스를 더 참조하여 제1-2 에러를 획득하는 동작에 따라 제1-n 학습용 특징 정보(Fn(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제n 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제n 클래스 로스를 더 참조하여 제1-n 에러를 획득한다. 그리고, 학습 장치(100)는 제1-1 에러 내지 제1-n 에러의 평균으로 제1 에러를 획득하고, 획득된 제1 에러를 최소화하도록 하며, 학습용 데이터(x)와 학습용 변조 데이터(x')의 차이에 의한 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
또한, 학습 장치(100)는 학습용 변조 데이터(x')의 엔트로피, 노이즈 정도 중 적어도 일부를 참조로 하여 퀄리티를 측정하고, 측정된 퀄리티를 더 참조하여 제1 에러를 획득할 수 있다. 즉, 학습 장치(100)는 학습용 변조 데이터(x')의 퀄리티를 최소화, 일 예로, 학습용 변조 데이터(x')의 엔트로피, 노이즈 등을 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
그리고, 학습 장치(100)는 제1 로스를 최소화하도록 하며, 제2 로스를 최대화하도록 변조 네트워크(O)를 학습시킬 경우, 러닝 네트워크(F)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 변조 네트워크(O)에 대해서만 학습을 진행할 수 있다.
한편, 상기에서는 학습용 변조 데이터(x')를 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 획득된 제1-1 학습용 특징 정보(F1(x')) 내지 제1-n 학습용 특징 정보(Fn(x'))와, 학습용 데이터(x)를 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 획득된 제2-1 학습용 특징 정보(F1(x)) 내지 제2-n 학습용 특징 정보(Fn(x))를 이용하여 제1-1 에러 내지 제1-n 에러를 산출하고, 제1-1 에러 내지 제1-n 에러의 평균으로 제1 에러를 획득하고, 제1 에러를 최소화하며 제2 에러를 최대화하도록 변조 네트워크(O)를 학습하였으나, 이와는 달리, 제1-1 에러 내지 제1-n 에러를 최소화하도록 변조 네트워크(O)를 순차적으로 학습시킬 수도 있다.
즉, 학습 장치(100)는 학습용 데이터(x)를 변조 네트워크(O)로 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조하여 제1 학습용 변조 데이터(x1')를 생성하도록 한다. 그리고, 학습 장치(100)는 제1 학습용 변조 데이터(x1')를 제1 러닝 네트워크(F1)에 입력하여 제1 러닝 네트워크(F1)로 하여금 제1 러닝 네트워크(F1)의 제1 학습된 파라미터에 의해 제1 학습용 변조 데이터(x1')를 러닝 연산하여 제1 학습용 변조 데이터(x1')에 대한 제1-1 학습용 특징 정보(F1(x1'))를 출력하도록 하며, 학습용 데이터(x)를 제1 러닝 네트워크(F1)에 입력하여 제1 러닝 네트워크(F1)로 하여금 제1 러닝 네트워크(F1)의 제1 학습된 파라미터에 의해 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대한 제2-1 학습용 특징 정보(F1(x))를 출력하도록 한다. 이후, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x1')와 제2-1 학습용 특징 정보(F1(x)를 참조한 제1-1 에러를 최소화하며, 학습용 데이터(x)와 제1 학습용 변조 데이터(x1')를 참조한 제2-1 에러를 최대화하도록 변조 네트워크(O)를 학습시켜 변조 네트워크(O)이 제1 학습된 변조 네트워크(O1)이 되도록 한다.
그리고, 학습 장치(100)는 상수인 k를 2부터 n까지 증가시켜가며 상기의 동작을 반복하여 제n 러닝 네트워크(Fn)까지 수행함으로써 제n 학습된 변조 네트워크(On)을 획득할 수 있게 된다.
즉, 학습 장치(100)는, 학습용 데이터(x)를 제(k-1) 학습된 변조 네트워크(O(k-1))로 입력하여 제(k-1) 변조 네트워크(O(k-1))로 하여금 학습용 데이터(x)를 변조하여 제k 학습용 변조 데이터(xk')를 생성하도록 한다. 그리고, 학습 장치(100)는 제k 학습용 변조 데이터(xk')를 제k 러닝 네트워크(Fk)에 입력하여 제k 러닝 네트워크(Fk)로 하여금 제k 러닝 네트워크(Fk)의 제k 학습된 파라미터에 의해 제k 학습용 변조 데이터(xk')를 러닝 연산하여 제k 학습용 변조 데이터(xk')에 대한 제1-k 학습용 특징 정보(Fn(xk'))를 출력하도록 하며, 학습용 데이터(x)를 제k 러닝 네트워크(Fk)에 입력하여 제k 러닝 네트워크(Fk))로 하여금 제k 러닝 네트워크(Fk)의 제k 학습된 파라미터에 의해 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대한 제2-k 학습용 특징 정보(Fk(xk))를 출력하도록 한다, 이후, 학습 장치(100)는 제1-k 학습용 특징 정보(Fk(xk'))와 제2-k 학습용 특징 정보(Fk(x)를 참조한 제1-k 에러를 최소화하며, 학습용 데이터(x)와 제k 학습용 변조 데이터(xk')를 참조한 제2-k 에러를 최대화하도록 제(k-1) 학습된 변조 네트워크(O(k-1))를 학습시켜 제(k-1) 학습된 변조 네트워크(O(k-1))이 제k 학습된 변조 네트워크(Ok)이 되도록 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것이다. 이하의 설명에서는 상기 도 7와 도 8의 설명으로부터 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 학습용 데이터(x)가 획득되면, 학습 장치(100)는, 학습용 데이터(x)를 변조 네트워크(O)에 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조(obfuscation)하여 학습용 변조 데이터(x', O(x))를 생성하도록 한다.
다음으로, 학습 장치(100)는 학습용 변조 데이터(x')를 학습된 파라미터를 가지는 러닝 네트워크(F)에 입력하여 러닝 네트워크(F)로 하여금 학습된 파라미터를 이용하여 학습용 변조 데이터(x')를 러닝 연산하여 학습용 변조 데이터(x')에 대응하는 제1 학습용 특징(characteristic) 정보(F(x'))를 생성하도록 하며, 학습용 데이터(x)를 러닝 네트워크(F)에 입력하여 러닝 네트워크(F)로 하여금 학습된 파라미터를 이용하여 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대응하는 제2 학습용 특징 정보(F(x))를 생성하도록 할 수 있다.
다음으로, 학습 장치(100)는 입력되는 데이터가 리얼(real)인지 페이크(fake)인지를 판별하는 디스크리미네이터(discriminator)(D)에 입력된 학습용 변조 데이터(x')에 대응되는 학습용 변조 데이터 스코어를 제2 에러로 획득한 상태에서, 제1 학습용 특징 정보(F(x'))와 제2 학습용 특징 정보(F(x))를 참조한 제1 에러를 최소화하며, 학습용 변조 데이터 스코어인 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킴과 더불어, 디스크리미네이터(D)에 입력된 학습용 데이터에 대응되는 학습용 데이터 스코어를 최대화하며 학습용 변조 데이터 스코어를 최소화하도록 디스크리미네이터(D)를 학습시킬 수 있다. 이때, 학습용 데이터를 디스크리미네이터(D)에 입력하는 것과는 달리, 학습용 데이터 또는 학습용 변조 데이터를 변환한 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터를 디스크리미네이터(D)에 입력하여 학습된 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 출력하도록 하며, 학습용 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 최대화하며, 학습용 변조 데이터 스코어를 최소화하도록 디스크리미네이터(D)를 학습시킬 수 있다.
즉, 학습 장치(100)는 변조 네트워크(O)를 학습시킴에 있어서, 제1 에러를 이용하여 러닝 네트워크(F)에서는 학습용 데이터(x)와 동일하거나 유사하게 인식되도록 학습용 데이터(x)를 변조하여 학습용 변조 데이터(x')를 출력하도록 학습시키며, 제 2 에러를 이용하여 원본 데이터(x)와의 구별이 어렵도록 하는 학습용 변조 데이터(x')를 출력하도록 학습시킬 수 있다.
이때, 디스크리미네이터(D)에 입력된 학습용 데이터(x)에 대응되는 학습용 데이터 스코어의 최대값은 학습용 데이터(x)를 리얼로 판별하는 1이며, 디스크리미네이터(D)에 입력된 학습용 변조 데이터(x')에 대응되는 학습용 변조 데이터 스코어의 최소값은 학습용 변조 데이터(x')를 페이크로 판별하는 0일 수 있다.
한편, 학습 장치(100)는 제1 학습용 특징 정보(F(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 클래스 로스를 더 참조하여 제1 에러를 획득할 수도 있다.
그리고, 학습 장치(100)는 제1 에러를 최소화하도록 하며, 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 경우, 러닝 네트워크(F)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 변조 네트워크(O)에 대해서만 학습을 진행할 수 있다.
도 10은 본 발명의 일 실시예에 따른 공간 내에서 오브젝트들을 익명화하여 추적하는 방법에서 카메라로부터 촬영된 영상을 변조하는 변조 네트워크를 학습하는 또 다른 방법을 개략적으로 도시한 것으로, 도 9에서의 러닝 네트워크(F)를 학습된 파라미터를 가지는 다수의 러닝 네트워크(F1, F2, ??, Fn)으로 구성한 것이다. 하기의 설명에서는 상기 도 7 내지 도 9의 설명에서 용이하게 이해 가능한 부분에 대해서는 상세한 설명을 생략하기로 한다.
먼저, 학습용 데이터(x)가 획득되면, 학습 장치(100)는, 학습용 데이터(x)를 변조 네트워크(O)에 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조(obfuscation)하여 학습용 변조 데이터(x', O(x))를 생성하도록 한다.
다음으로, 학습 장치(100)는 학습용 변조 데이터(x')를 각각 제1 학습된 파라미터 내지 제n 학습된 파라미터를 가지는 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)로 하여금 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 이용하여 학습용 변조 데이터(x')를 러닝 연산하여 학습용 변조 데이터(x')에 대응하는 제1-1 학습용 특징(characteristic) 정보(F1(x')) 내지 제1-n 학습용 특징 정보(Fn(x'))를 생성하도록 한다. 또한, 학습 장치(100)는 학습용 데이터(x)를 각각 제1 학습된 파라미터 내지 제n 학습된 파라미터를 가지는 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)으로 하여금 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn) 각각의 제1 학습된 파라미터 내지 제n 학습된 파라미터를 이용하여 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대응하는 제2-1 학습용 특징 정보(F1(x)) 내지 제2-n 학습용 특징 정보(Fn(x))를 생성하도록 할 수 있다.
다음으로, 학습 장치(100)는 1-1 학습용 특징 정보(F1(x')와 제2-1 학습용 특징 정보(F1(x))를 참조한 제1-1 에러 내지 제1-n 학습용 특징 정보(Fn(x'))와 제2-n 학습용 특징 정보(Fn(x))를 참조한 제1-n 에러의 평균인 제1 에러를 최소화하며, 디스크리미네이터(D)에 입력된 학습용 변조 데이터(x')에 대응되는 학습용 변조 데이터 스코어인 상기 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시키고, 디스크리미네이터(D)에 입력된 학습용 데이터(x)에 대응되는 학습용 데이터 스코어를 최대화하며, 학습용 변조 데이터 스코어를 최소화하도록 디스크리미네이터(D)를 학습시킬 수 있다.
즉, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))와 제2-1 학습용 특징 정보(F1(x))를 참조한 제1-1 에러를 획득하고, 제1-2 학습용 특징 정보(F2(x'))와 제2-2 학습용 특징 정보(F2(x))를 참조한 제1-2 에러를 획득하는 동작에 따라 제1-n 학습용 특징 정보(Fn(x'))와 제2-n 학습용 특징 정보(Fn(x))를 참조한 제1-n 에러를 산출하고, 산출된 제1-1 에러 내지 제1-n 에러의 평균인 제1 에러를 획득한다, 그리고, 학습 장치(100)는 제1 에러를 최소화하며, 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
한편, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제1 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제1 클래스 로스를 더 참조하여 제1-1 에러를 획득한다. 즉, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x'))와 제2-1 학습용 특징 정보(F1(x))의 차이에, 제1 클래스 로스를 추가하여 제1-1 에러를 획득할 수 있다. 그리고, 제1-2 학습용 특징 정보(F2(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제2 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제2 클래스 로스를 더 참조하여 제1-2 에러를 획득하는 동작에 따라 제1-n 학습용 특징 정보(Fn(x'))를 클래스별로 맵핑한 학습용 변조 데이터(x')에 대한 제n 프로바빌리티와 학습용 데이터(x)에 대응되는 그라운드 트루스를 참조하여 획득한 제n 클래스 로스를 더 참조하여 제1-n 에러를 획득한다. 그리고, 학습 장치(100)는 제1-1 에러 내지 제1-n 에러의 평균으로 제1 에러를 획득하고, 획득된 제1 에러를 최소화하도록 하며, 학습용 데이터(x)와 학습용 변조 데이터(x')의 차이에 의한 제2 에러를 최대화하도록 변조 네트워크(O)를 학습시킬 수 있다.
그리고, 학습 장치(100)는 제1 로스를 최소화하도록 하며, 제2 로스를 최대화하도록 변조 네트워크(O)를 학습시킬 경우, 러닝 네트워크(F)의 학습된 파라미터는 고정하여 업데이트하지 않으며, 변조 네트워크(O)에 대해서만 학습을 진행할 수 있다.
한편, 상기에서는 학습용 변조 데이터(x')를 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 획득된 제1-1 학습용 특징 정보(F1(x')) 내지 제1-n 학습용 특징 정보(Fn(x'))와, 학습용 데이터(x)를 제1 러닝 네트워크(F1) 내지 제n 러닝 네트워크(Fn)에 입력하여 획득된 제2-1 학습용 특징 정보(F1(x)) 내지 제2-n 학습용 특징 정보(Fn(x))를 이용하여 제1-1 에러 내지 제1-n 에러를 산출하고, 제1-1 에러 내지 제1-n 에러의 평균으로 제1 에러를 획득하고, 제1 에러를 최소화하며 제2 에러를 최대화하도록 변조 네트워크(O)를 학습하였으나, 이와는 달리, 제1-1 에러 내지 제1-n 에러를 최소화하도록 변조 네트워크(O)를 순차적으로 학습시킬 수도 있다.
즉, 학습 장치(100)는 학습용 데이터(x)를 변조 네트워크(O)로 입력하여 변조 네트워크(O)로 하여금 학습용 데이터(x)를 변조하여 제1 학습용 변조 데이터(x1')를 생성하도록 한다. 그리고, 학습 장치(100)는 제1 학습용 변조 데이터(x1')를 제1 러닝 네트워크(F1)에 입력하여 제1 러닝 네트워크(F1)로 하여금 제1 러닝 네트워크(F1)의 제1 학습된 파라미터에 의해 제1 학습용 변조 데이터(x1')를 러닝 연산하여 제1 학습용 변조 데이터(x1')에 대한 제1-1 학습용 특징 정보(F1(x1'))를 출력하도록 하며, 학습용 데이터(x)를 제1 러닝 네트워크(F1)에 입력하여 제1 러닝 네트워크(F1)로 하여금 제1 러닝 네트워크(F1)의 제1 학습된 파라미터에 의해 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대한 제2-1 학습용 특징 정보(F1(x))를 출력하도록 한다. 이후, 학습 장치(100)는 제1-1 학습용 특징 정보(F1(x1')와 제2-1 학습용 특징 정보(F1(x)를 참조한 제1-1 에러를 최소화하며, 디스크리미네이터(D)에 입력된 제1 학습용 변조 데이터(x1')에 대응되는 제1 학습용 변조 데이터 스코어인 제2-1 에러를 최대화하도록 변조 네트워크(O)를 학습시켜 변조 네트워크(O)이 제1 학습된 변조 네트워크(O1)이 되도록 하고, 디스크리미네이터(D)에 입력된 학습용 데이터에 대응되는 제1 학습용 데이터 스코어를 최대화하며, 제1 학습용 변조 데이터 스코어를 최소화하도록 디스크리미네이터(D)를 학습시켜 디스크리미네이터(D)가 제1 학습된 디스크리미네이터(D1)가 되도록 한다.
그리고, 학습 장치(100)는 상수인 k를 2부터 n까지 증가시켜가며 상기의 동작을 반복하여 제n 러닝 네트워크(Fn)까지 수행함으로써 제n 학습된 변조 네트워크(On)을 획득할 수 있게 된다.
즉, 학습 장치(100)는, 학습용 데이터(x)를 제(k-1) 학습된 변조 네트워크(O(k-1))로 입력하여 제(k-1) 변조 네트워크(O(k-1))로 하여금 학습용 데이터(x)를 변조하여 제k 학습용 변조 데이터(xk')를 생성하도록 한다. 그리고, 학습 장치(100)는 제k 학습용 변조 데이터(xk')를 제k 러닝 네트워크(Fk)에 입력하여 제k 러닝 네트워크(Fk)로 하여금 제k 러닝 네트워크(Fk)의 제k 학습된 파라미터에 의해 제k 학습용 변조 데이터(xk')를 러닝 연산하여 제k 학습용 변조 데이터(xk')에 대한 제1-k 학습용 특징 정보(Fn(xk'))를 출력하도록 하며, 학습용 데이터(x)를 제k 러닝 네트워크(Fk)에 입력하여 제k 러닝 네트워크(Fk))로 하여금 제k 러닝 네트워크(Fk)의 제k 학습된 파라미터에 의해 학습용 데이터(x)를 러닝 연산하여 학습용 데이터(x)에 대한 제2-k 학습용 특징 정보(Fk(xk))를 출력하도록 한다, 이후, 학습 장치(100)는 제1-k 학습용 특징 정보(Fk(xk'))와 제2-k 학습용 특징 정보(Fk(x)를 참조한 제1-k 에러를 최소화하며, 제(k-1) 학습된 디스크리미네이터(D(k-1))에 입력된 제k 학습용 변조 데이터(xk')에 대응되는 제k 학습용 변조 데이터 스코어인 제2-k 에러를 최대화하도록 제(k-1) 학습된 변조 네트워크(O(k-1))를 학습시켜 제(k-1) 학습된 변조 네트워크(O(k-1))이 제k 학습된 변조 네트워크(Ok)이 되도록 하고, 제(k-1) 학습된 디스크리미네이터(D(k-1))에 입력된 학습 데이터(x)에 대응되는 제k 학습용 데이터 스코어를 최대화하며, 제k 학습용 변조 데이터 스코어를 최소화하도록 제(k-1) 학습된 디스크리미네이터(D(k-1))를 학습시켜 제(k-1) 학습된 디스크리미네이터(D(k-1))가 제k 학습된 디스크리미네이터(Dk)가 되도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 익명화 추적 장치,
1100: 메모리,
1200: 프로세서
1100: 메모리,
1200: 프로세서
Claims (16)
- 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 방법에 있어서,
(a) 익명화 추적 장치가, 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크를 통해, 사람은 상기 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조한 변조된 영상들을 획득하는 단계;
(b) 상기 익명화 추적 장치가, 상기 변조된 영상들을 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 상기 변조된 영상들 내에서 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 단계; 및
(c) 상기 익명화 추적 장치가, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 상기 특정 공간에서의 상기 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 단계;
를 포함하는 방법. - 제1항에 있어서,
(d) 상기 적어도 하나의 타겟 오브젝트 중 특정 타겟 오브젝트로부터 특정 비익명화 개인 정보의 공개에 대한 동의 정보가 획득되면, 상기 익명화 추적 장치가, 상기 특정 타겟 오브젝트를 트래킹하여 획득된 특정 익명화 트래킹 정보를 상기 특정 타겟 오브젝트의 상기 특정 비익명화 개인 정보에 매칭하여 상기 특정 익명화 트래킹 정보를 특정 비익명화 트래킹 정보로 변환하는 단계;
를 더 포함하는 방법. - 제1항에 있어서,
상기 (c) 단계에서,
상기 익명화 추적 장치는, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 식별된 상기 적어도 하나의 변조된 타겟 오브젝트에 대한 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는 특정 변조된 타겟 오브젝트의 경우, 상기 특정 변조된 타겟 오브젝트에 대응되는 특정 비익명화 개인 정보를 상기 특정 변조된 타겟 오브젝트에 매칭하며, 상기 특정 비익명화 개인 정보가 매칭된 상기 특정 변조된 타겟 오브젝트를 트래킹하여 특정 비익명화 트래킹 정보를 생성하는 방법. - 제1항에 있어서,
상기 (a) 단계에서,
상기 익명화 추적 장치는, 상기 적어도 하나의 카메라에 포함된 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 상기 적어도 하나의 카메라로부터 획득하거나, 상기 원본 영상들을 저장하는 NVR(network video recorder)에 포함된 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 상기 NVR로부터 획득하는 방법. - 제1항에 있어서,
상기 변조된 타겟 오브젝트 정보는, 상기 변조된 타겟 오브젝트에 대응되는 변조된 영역 데이터, 상기 변조된 타겟 오브젝트의 위치 정보 및 상기 변조된 타겟 오브젝트를 촬영한 카메라의 카메라 정보를 포함하는 방법. - 제1항에 있어서,
상기 익명화 트래킹 정보는, 상기 타겟 오브젝트의 트러젝터리 정보 및 상태 정보를 포함하는 방법. - 제1항에 있어서,
상기 변조 네트워크는 상기 원본 영상들을, 사람은 상기 원본 영상들을 구분할 수 없으나 상기 러닝 네트워크는 상기 원본 영상들과 동일하게 인식할 수 있도록, 변조하도록 학습된 상태이며,
학습 장치에 의해, (i) 학습용 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습용 데이터를 변조(obfuscation)하여 학습용 변조 데이터를 생성하도록 하며, (ii) 상기 학습용 변조 데이터를 학습된 파라미터를 가지는 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 학습된 파라미터를 이용하여 상기 학습용 변조 데이터를 네트워크 연산하여 상기 학습용 변조 데이터에 대응하는 특징 정보를 생성하도록 하고, (iii) 상기 특징 정보 또는 상기 특징 정보를 이용하여 생성한 태스크 특화 출력과 이에 대응되는 그라운드 트루스를 참조하여 획득한 제1 에러를 최소화하며, 상기 학습용 데이터와 상기 학습용 변조 데이터를 참조하여 획득한 제2 에러를 최대화하도록 상기 변조 네트워크가 학습된 상태인 방법. - 제7항에 있어서,
상기 학습 장치에 의해, 입력되는 데이터가 리얼인지 페이크인지를 판별하는 디스크리미네이터에 입력된 상기 학습용 변조 데이터에 대응되는 학습용 변조 데이터 스코어를 상기 제2 에러로 획득한 상태에서, 상기 제1 에러를 최소화하며 상기 제2 에러를 최대화하도록 상기 변조 네트워크를 학습시킴과 더불어, 상기 디스크리미네이터에 입력된 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터 - 상기 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터는 각각 상기 학습용 데이터 또는 상기 학습용 변조 데이터를 변환한 데이터 임 - 에 대응되는 학습용 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 최대화하며 상기 학습용 변조 데이터 스코어를 최소화하도록 상기 디스크리미네이터를 학습시키는 것을 특징으로 하는, 방법. - 특정 공간 내에서의 오브젝트들을 익명화하여 추적하는 익명화 추적 장치에 있어서,
특정 공간 내에서 오브젝트들을 익명화하여 추적하기 위한 인스트럭션들이 저장된 메모리; 및
상기 메모리에 저장된 상기 인스트럭션들에 따라 상기 특정 공간 내에서 상기 오브젝트들을 익명화하여 추적하기 위한 동작을 수행하는 프로세서;
를 포함하며,
상기 프로세서는, (i) 상기 특정 공간을 촬영하는 적어도 하나의 카메라로부터 촬영된 원본 영상들을 변조 네트워크를 통해, 사람은 상기 원본 영상들을 구분할 수 없으나 러닝 네트워크는 원본 영상들과 동일하게 인식할 수 있도록 변조한 변조된 영상들을 획득하는 프로세스, (ii) 상기 변조된 영상들을 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 추적하고자 하는 적어도 하나의 타겟 오브젝트에 대응되는 적어도 하나의 변조된 타겟 오브젝트를 상기 변조된 영상들 내에서 검출하여 적어도 하나의 변조된 타겟 오브젝트 정보를 출력하도록 하는 프로세스, 및 (iii) 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 상기 특정 공간에서의 상기 적어도 하나의 변조된 타겟 오브젝트를 트래킹하여 적어도 하나의 익명화 트래킹 정보를 생성하는 프로세스를 수행하는 익명화 추적 장치. - 제9항에 있어서,
상기 프로세서는, (iv) 상기 적어도 하나의 타겟 오브젝트 중 특정 타겟 오브젝트로부터 비익명화 개인 정보의 공개에 대한 동의 정보가 획득되면, 상기 특정 타겟 오브젝트에 대응되는 특정 익명화 트래킹 정보를 상기 특정 타겟 오브젝트의 비익명화 개인 정보에 매칭하여 상기 특정 익명화 트래킹 정보를 특정 비익명화 트래킹 정보로 변환하는 프로세스를 더 수행하는 익명화 추적 장치. - 제9항에 있어서,
상기 프로세서는, 상기 (iii) 프로세스에서, 상기 적어도 하나의 변조된 타겟 오브젝트 정보를 참조하여 식별된 상기 적어도 하나의 변조된 타겟 오브젝트에 대한 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는지를 확인하고, 미리 획득된 비익명화 개인 정보의 공개에 대한 동의 정보가 있는 특정 변조된 타겟 오브젝트의 경우, 상기 특정 변조된 타겟 오브젝트에 대응되는 특정 비익명화 개인 정보를 상기 특정 변조된 타겟 오브젝트에 매칭하며, 상기 특정 비익명화 개인 정보가 매칭된 상기 특정 변조된 타겟 오브젝트를 트래킹하여 특정 비익명화 트래킹 정보를 생성하는 익명화 추적 장치. - 제9항에 있어서,
상기 프로세서는, 상기 (i) 프로세스에서, 상기 적어도 하나의 카메라로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득하거나, 상기 원본 영상들을 저장하는 NVR(network video recorder)로부터 상기 변조 네트워크를 통해 상기 원본 영상들을 변조한 상기 변조된 영상들을 획득하는 익명화 추적 장치. - 제9항에 있어서,
상기 변조된 타겟 오브젝트 정보는, 상기 변조된 타겟 오브젝트에 대응되는 변조된 영역 데이터, 상기 변조된 타겟 오브젝트의 위치 정보 및 상기 변조된 타겟 오브젝트를 촬영한 카메라의 카메라 정보를 포함하는 익명화 추적 장치. - 제9항에 있어서,
상기 익명화 트래킹 정보는, 상기 타겟 오브젝트의 트러젝터리 정보 및 상태 정보를 포함하는 익명화 추적 장치. - 제9항에 있어서,
상기 변조 네트워크는 상기 원본 영상들을, 사람은 상기 원본 영상들을 구분할 수 없으나 상기 러닝 네트워크는 상기 원본 영상들과 동일하게 인식할 수 있도록, 변조하도록 학습된 상태이며,
학습 장치에 의해, (i) 학습용 데이터를 상기 변조 네트워크에 입력하여 상기 변조 네트워크로 하여금 상기 학습용 데이터를 변조(obfuscation)하여 학습용 변조 데이터를 생성하도록 하며, (ii) 상기 학습용 변조 데이터를 학습된 파라미터를 가지는 상기 러닝 네트워크에 입력하여 상기 러닝 네트워크로 하여금 상기 학습된 파라미터를 이용하여 상기 학습용 변조 데이터를 네트워크 연산하여 상기 학습용 변조 데이터에 대응하는 특징 정보를 생성하도록 하고, (iii) 상기 특징 정보 또는 상기 특징 정보를 이용하여 생성한 태스크 특화 출력과 이에 대응되는 그라운드 트루스를 참조하여 획득한 제1 에러를 최소화하며, 상기 학습용 데이터와 상기 학습용 변조 데이터를 참조하여 획득한 제2 에러를 최대화하도록 상기 변조 네트워크가 학습된 상태인 익명화 추적 장치. - 제15항에 있어서,
상기 변조 네트워크는, 상기 학습 장치에 의해, 입력되는 데이터가 리얼인지 페이크인지를 판별하는 디스크리미네이터에 입력된 상기 학습용 변조 데이터에 대응되는 학습용 변조 데이터 스코어를 상기 제2 에러로 획득한 상태에서, 상기 제1 에러를 최소화하며 상기 제2 에러를 최대화하도록 상기 변조 네트워크를 학습시킴과 더불어, 상기 디스크리미네이터에 입력된 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터 - 상기 학습용 변환된 데이터 또는 학습용 변환된 변조 데이터는 각각 상기 학습용 데이터 또는 상기 학습용 변조 데이터를 변환한 데이터 임 - 에 대응되는 학습용 변환된 데이터 스코어 또는 학습용 변환된 변조 데이터 스코어를 최대화하며 상기 학습용 변조 데이터 스코어를 최소화하도록 상기 디스크리미네이터를 학습시킨 상태인 익명화 추적 장치.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210089369 | 2021-07-07 | ||
| KR1020210089369 | 2021-07-07 | ||
| US17/511,734 | 2021-10-27 | ||
| US17/511,734 US11388330B1 (en) | 2021-07-07 | 2021-10-27 | Method for tracking target objects in a specific space, and device using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102473801B1 true KR102473801B1 (ko) | 2022-12-05 |
Family
ID=81850213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220058619A KR102473801B1 (ko) | 2021-07-07 | 2022-05-12 | 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11818453B2 (ko) |
| EP (1) | EP4116942A1 (ko) |
| JP (1) | JP7471004B2 (ko) |
| KR (1) | KR102473801B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11886955B2 (en) | 2022-02-16 | 2024-01-30 | Protopia AI, Inc. | Self-supervised data obfuscation in foundation models |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130047223A (ko) * | 2011-10-31 | 2013-05-08 | 한국전자통신연구원 | 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 |
| KR20130065567A (ko) * | 2011-12-09 | 2013-06-19 | 정영규 | 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 |
| KR20140144398A (ko) * | 2013-06-11 | 2014-12-19 | 임철수 | Cctv영상자료 외부제공시스템 및 외부제공방법 |
| US20200005615A1 (en) * | 2018-06-29 | 2020-01-02 | Alarm.Com Incorporated | Object tracking using disparate monitoring systems |
| KR102202577B1 (ko) * | 2019-12-09 | 2021-01-14 | 네오컨버전스 주식회사 | 딥러닝 기반 개인정보 비식별화 방법 및 장치 |
| US10956726B1 (en) * | 2017-12-12 | 2021-03-23 | Amazon Technologies, Inc. | Obfuscating portions of video data |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3514760B1 (en) | 2018-01-23 | 2020-06-17 | Honda Research Institute Europe GmbH | Method and system for privacy compliant data recording |
| CN108897777B (zh) * | 2018-06-01 | 2022-06-17 | 深圳市商汤科技有限公司 | 目标对象追踪方法及装置、电子设备和存储介质 |
| US11122237B2 (en) * | 2018-06-05 | 2021-09-14 | Axon Enterprise, Inc. | Systems and methods for redaction of screens |
| KR102083192B1 (ko) * | 2018-09-28 | 2020-03-02 | 주식회사 이고비드 | 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치 |
| US20210051294A1 (en) * | 2019-08-12 | 2021-02-18 | Microsoft Technology Licensing, Llc | Content aware automatic background blurring |
-
2022
- 2022-05-12 KR KR1020220058619A patent/KR102473801B1/ko active IP Right Grant
- 2022-05-23 EP EP22174748.8A patent/EP4116942A1/en active Pending
- 2022-05-27 JP JP2022086785A patent/JP7471004B2/ja active Active
- 2022-06-10 US US17/837,647 patent/US11818453B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130047223A (ko) * | 2011-10-31 | 2013-05-08 | 한국전자통신연구원 | 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 |
| KR20130065567A (ko) * | 2011-12-09 | 2013-06-19 | 정영규 | 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 |
| KR20140144398A (ko) * | 2013-06-11 | 2014-12-19 | 임철수 | Cctv영상자료 외부제공시스템 및 외부제공방법 |
| US10956726B1 (en) * | 2017-12-12 | 2021-03-23 | Amazon Technologies, Inc. | Obfuscating portions of video data |
| US20200005615A1 (en) * | 2018-06-29 | 2020-01-02 | Alarm.Com Incorporated | Object tracking using disparate monitoring systems |
| KR102202577B1 (ko) * | 2019-12-09 | 2021-01-14 | 네오컨버전스 주식회사 | 딥러닝 기반 개인정보 비식별화 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11886955B2 (en) | 2022-02-16 | 2024-01-30 | Protopia AI, Inc. | Self-supervised data obfuscation in foundation models |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7471004B2 (ja) | 2024-04-19 |
| EP4116942A1 (en) | 2023-01-11 |
| US11818453B2 (en) | 2023-11-14 |
| JP2023010582A (ja) | 2023-01-20 |
| US20230007985A1 (en) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102184787B1 (ko) | 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 | |
| KR102183335B1 (ko) | 프라이버시를 위하여 데이터를 컨실링 처리할 수 있는 변조 네트워크에 대응되는 적응 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 | |
| Calderara et al. | Detecting anomalies in people’s trajectories using spectral graph analysis | |
| EP4009278B1 (en) | Method for producing labeled image from original image while preventing private information leakage of original image and server using the same | |
| Pujol et al. | A soft computing approach to violence detection in social media for smart cities | |
| US11048917B2 (en) | Method, electronic device, and computer readable medium for image identification | |
| US10924632B2 (en) | Apparatus and methods for determining and providing anonymized content within images | |
| KR20220052838A (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치 | |
| US11244248B1 (en) | Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same | |
| KR20220052837A (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치 | |
| Leroux et al. | Privacy aware offloading of deep neural networks | |
| KR102473801B1 (ko) | 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치 | |
| JP7227326B2 (ja) | 再識別のための評価デバイスおよび対応する方法、ならびにシステムおよびコンピュータプログラム | |
| US11388330B1 (en) | Method for tracking target objects in a specific space, and device using the same | |
| Asmitha et al. | Improved multiview biometric object detection for anti spoofing frauds | |
| Pitafi et al. | Revolutionizing Perimeter Intrusion Detection: A Machine Learning-Driven Approach with Curated Dataset Generation for Enhanced Security | |
| Yuganthini et al. | Activity tracking of employees in industries using computer vision | |
| Mucha et al. | Depth and thermal images in face detection-a detailed comparison between image modalities | |
| Singh et al. | Chronological ant lion optimizer-based deep convolutional neural network for panic behavior detection in crowded scenes | |
| Menon et al. | Enhancing biometric recognition with spatio-temporal reasoning in smart environments | |
| Fábián et al. | A Comparative Study on the Privacy Risks of Face Recognition Libraries | |
| Reddy et al. | Automatic face expressions and gesture detection system using blockchain security | |
| Paul et al. | Integrated Intelligent Surveillance System Using Deep Learning | |
| Jiang | Privacy-preserving risk assessment and access control in smart buildings | |
| Malayinmel Purushothaman et al. | Presentation Attack Detection for Multispectral Face Biometric System Using Federated Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |