KR102328199B1 - Trackable de-identification method, apparatus and system - Google Patents

Trackable de-identification method, apparatus and system Download PDF

Info

Publication number
KR102328199B1
KR102328199B1 KR1020200004953A KR20200004953A KR102328199B1 KR 102328199 B1 KR102328199 B1 KR 102328199B1 KR 1020200004953 A KR1020200004953 A KR 1020200004953A KR 20200004953 A KR20200004953 A KR 20200004953A KR 102328199 B1 KR102328199 B1 KR 102328199B1
Authority
KR
South Korea
Prior art keywords
data
identification
identified
database
information
Prior art date
Application number
KR1020200004953A
Other languages
Korean (ko)
Other versions
KR20200088236A (en
Inventor
이일구
김소희
오영은
Original Assignee
성신여자대학교 연구 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성신여자대학교 연구 산학협력단 filed Critical 성신여자대학교 연구 산학협력단
Publication of KR20200088236A publication Critical patent/KR20200088236A/en
Application granted granted Critical
Publication of KR102328199B1 publication Critical patent/KR102328199B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법은 객체 식별 정보를 포함하는 원본 데이터를 수신하는 단계; 상기 원본 데이터로부터 상기 객체 식별 정보를 비식별화하여 비식별화 데이터를 생성하는 단계; 상기 원본 데이터 및 상기 비식별화 데이터를 데이터베이스에 저장하는 단계; 및 상기 비식별화 데이터를 기초로 상기 객체를 추적하는 단계;를 포함한다.A traceable de-identification method according to an embodiment of the present invention comprises the steps of: receiving original data including object identification information; de-identifying the object identification information from the original data to generate de-identification data; storing the original data and the de-identified data in a database; and tracking the object based on the de-identification data.

Figure R1020200004953
Figure R1020200004953

Description

추적 가능한 비식별화 방법, 장치 및 시스템{TRACKABLE DE-IDENTIFICATION METHOD, APPARATUS AND SYSTEM}TRACKABLE DE-IDENTIFICATION METHOD, APPARATUS AND SYSTEM

본 발명은 추적 가능한 비식별화 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 객체 식별 정보의 비식별화 및 객체 추적이 동시에 가능한 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a trackable de-identification method, apparatus and system, and more particularly, to a method, apparatus and system capable of simultaneously de-identifying object identification information and object tracking.

사물인터넷(Internet of Things; IoT) 기기를 통해 수집한 데이터의 비식별화 기술은 다수의 사물 센서를 통해 수집되고 공유되는 데이터의 개인정보 유출을 방지하기 위해 수집된 원본 데이터를 비식별화 처리하는 기술이다. 이러한 비식별화 기술은 영상, 음성 등의 원본 데이터로부터 개인을 식별할 수 있는 요소를 제거해 프라이버시 침해를 방지하고, 기밀성이 보장되는 이점이 있다.The de-identification technology of data collected through the Internet of Things (IoT) device de-identifies the collected original data to prevent personal information leakage of data collected and shared through multiple object sensors. it's technology This de-identification technology has the advantage of preventing privacy infringement and ensuring confidentiality by removing elements that can identify individuals from original data such as video and audio.

그러나, 기존의 비식별화 기술의 일부는 원본의 복원이 가능하기 때문에 보안성이 약하고, 원본의 복원이 원천적으로 불가능한 비식별화 기술은 객체와 관련된 모든 정보를 익명화함으로써 어떤 정보도 남지 않아 빅데이터로의 이용 가능성이 제한되는 한계가 있다.However, some of the existing de-identification technologies have weak security because the original can be restored, and the de-identification technology, which is fundamentally impossible to restore the original, anonymizes all information related to the object, leaving no information behind, so big data There are limitations that limit the availability of the furnace.

본 발명은 위와 같은 문제점을 해결하기 위하여, 원본 데이터에 대하여 비식별화 기술 및 객체 추적 기술을 동시에 적용하여 보안성뿐만 아니라 데이터 활용 가능성을 향상시키는 추적 가능한 비식별화 방법, 장치 및 시스템을 제공하고자 한다.In order to solve the above problems, the present invention is to provide a traceable de-identification method, apparatus and system that improves data utilization as well as security by simultaneously applying de-identification technology and object tracking technology to original data do.

일 실시예에 따른 추적 가능한 비식별화 방법은, 객체 식별 정보를 포함하는 원본 데이터를 수신하는 단계; 상기 원본 데이터로부터 상기 객체 식별 정보를 비식별화하여 비식별화 데이터를 생성하는 단계; 상기 원본 데이터 및 상기 비식별화 데이터를 데이터베이스에 저장하는 단계; 및 상기 비식별화 데이터를 기초로 상기 객체를 추적하는 단계;를 포함한다.A traceable de-identification method according to an embodiment includes: receiving original data including object identification information; de-identifying the object identification information from the original data to generate de-identification data; storing the original data and the de-identified data in a database; and tracking the object based on the de-identification data.

상기 비식별화 데이터를 생성하는 단계는, 비식별화 하고자 하는 상기 객체를 인식하는 단계; 상기 객체 식별 정보로부터 객체의 특징 정보를 추출하는 단계; 및 상기 객체에 식별자(Identifier; ID)를 할당하여 상기 비식별화 데이터를 생성하는 단계;를 포함할 수 있다.The generating of the de-identification data may include: recognizing the object to be de-identified; extracting characteristic information of an object from the object identification information; and generating the de-identified data by allocating an identifier (ID) to the object.

상기 데이터베이스는 제1 데이터베이스 및 제2 데이터베이스를 포함하고, 상기 원본 데이터 및 상기 비식별화 데이터를 데이터베이스에 저장하는 단계는, 상기 객체의 특징 정보 및 상기 식별자를 상기 제1 데이터베이스에 저장하는 단계; 및 상기 원본 데이터를 암호화 처리하여 상기 제2 데이터베이스에 저장하는 단계;를 포함할 수 있다.The database includes a first database and a second database, and the storing of the original data and the de-identified data in a database may include: storing characteristic information of the object and the identifier in the first database; and encrypting the original data and storing it in the second database.

상기 원본 데이터는 영상 데이터를 포함하고, 상기 비식별화 데이터를 생성하는 단계는, 상기 영상 데이터로부터 고정 영역, 및 상기 객체가 이동하는 영역을 포함하는 비식별화 영역을 구분하는 단계; 상기 비식별화 영역에 대하여 상기 이동하는 객체의 픽셀을 검출하는 단계; 및 상기 검출한 픽셀에 상기 식별자를 할당하여 상기 비식별화 데이터를 생성하는 단계;를 포함할 수 있다.The original data includes image data, and the generating of the de-identified data may include: separating a de-identified area including a fixed area and a moving area of the object from the image data; detecting a pixel of the moving object with respect to the unidentified area; and generating the de-identified data by allocating the identifier to the detected pixel.

상기 원본 데이터는 음성 데이터를 포함하고, 상기 비식별화 데이터를 생성하는 단계는, 상기 음성 데이터의 문맥을 기초로 상기 객체 식별 정보를 포함하는 비식별화 영역을 선택하는 단계; 상기 음성 데이터로부터 상기 비식별화 영역을 제거하는 단계; 및 상기 비식별화 영역이 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하는 단계;를 포함할 수 있다.The original data includes voice data, and the generating of the de-identification data may include: selecting a de-identification region including the object identification information based on a context of the voice data; removing the de-identified region from the voice data; and inserting a sound different from the existing sound of the voice data in the region from which the de-identified region is removed.

상기 객체를 추적하는 단계는, 상기 비식별화 데이터, 상기 특징 정보 및 상기 식별자를 이용하여 상기 객체의 이동 정보를 분석하는 단계를 포함할 수 있다.The tracking of the object may include analyzing movement information of the object using the de-identification data, the characteristic information, and the identifier.

상기 원본 데이터를 수신하는 단계에서, 상기 원본 데이터는 제1 사물인터넷 기기를 포함하는 복수의 사물인터넷 기기로부터 수신되고, 상기 추적 가능한 비식별화 방법은, 사용자가 사용자 장치를 이용하여 상기 제1 사물인터넷 기기에 필요한 정보를 요청하는 단계; 상기 사용자의 요청에 따라 상기 제1 사물인터넷 기기를 제외한 사물인터넷 기기를 포함하는 주변 기기를 탐색하는 단계; 상기 주변 기기로부터 상기 비식별화 데이터를 수신하는 단계; 및 상기 비식별화 데이터를 기초로 상기 사용자 장치에 응답하는 단계;를 더 포함할 수 있다.In the receiving of the original data, the original data is received from a plurality of IoT devices including a first IoT device, and the trackable de-identification method includes: a user using a user device to perform the first thing requesting necessary information from an Internet device; searching for peripheral devices including IoT devices other than the first IoT device according to the user's request; receiving the de-identification data from the peripheral device; and responding to the user device based on the de-identification data.

일 실시예에 따른 추적 가능한 비식별화 장치는, 객체 식별 정보를 포함하는 원본 데이터를 수신하는 통신부; 상기 원본 데이터로부터 생성한 비식별화 데이터를 이용하여 객체를 추적하도록 동작하는 제어부; 및 상기 원본 데이터 및 상기 비식별화 데이터가 저장되는 데이터베이스를 포함하는 메모리;를 포함하고, 상기 제어부는, 상기 원본 데이터로부터 상기 객체 식별 정보를 비식별화하여 상기 비식별화 데이터를 생성하는 비식별화 엔진; 및 상기 비식별화 데이터를 기초로 상기 객체를 추적하는 추적 엔진;을 포함한다.A traceable de-identification apparatus according to an embodiment includes: a communication unit configured to receive original data including object identification information; a control unit operable to track an object using de-identified data generated from the original data; and a memory including a database in which the original data and the de-identified data are stored, wherein the control unit de-identifies the object identification information from the original data to generate the de-identified data. fire engine; and a tracking engine that tracks the object based on the de-identification data.

상기 비식별화 엔진은, 비식별화 하고자 하는 상기 객체를 인식하는 객체 인식부; 상기 객체 식별 정보로부터 객체의 특징 정보를 추출하는 특징 검출부; 상기 객체에 식별자(Identifier; ID)를 할당하여 상기 비식별화 데이터를 생성하는 생성부; 및 상기 데이터베이스에 상기 원본 데이터 및 상기 비식별화 데이터를 저장하는 처리부;를 포함할 수 있다.The de-identification engine may include: an object recognition unit for recognizing the object to be de-identified; a feature detection unit for extracting feature information of an object from the object identification information; a generator for allocating an identifier (ID) to the object to generate the de-identified data; and a processing unit configured to store the original data and the de-identified data in the database.

상기 데이터베이스는 제1 데이터베이스 및 제2 데이터베이스를 포함하고, 상기 처리부는, 상기 객체의 특징 정보 및 상기 식별자를 상기 제1 데이터베이스에 저장하고, 상기 원본 데이터를 암호화 처리하여 상기 제2 데이터베이스에 저장할 수 있다.The database may include a first database and a second database, and the processing unit may store the characteristic information and the identifier of the object in the first database, and encrypt the original data and store it in the second database. .

상기 원본 데이터는 영상 데이터를 포함하고, 상기 비식별화 엔진은 영상 데이터를 비식별화하여 제1 비식별화 데이터를 생성하는 제1 데이터부를 포함하고, 상기 제1 데이터부는, 상기 영상 데이터로부터 고정 영역, 및 상기 객체가 이동하는 영역을 포함하는 비식별화 영역을 구분하고, 상기 비식별화 영역에 대하여 상기 이동하는 객체의 픽셀을 검출하고, 상기 검출한 픽셀에 상기 식별자를 할당하여 상기 제1 비식별화 데이터를 생성할 수 있다.The original data includes image data, and the de-identification engine includes a first data unit configured to de-identify image data to generate first de-identified data, wherein the first data unit is fixed from the image data. Classifying an unidentified area including an area and an area in which the object moves, detecting a pixel of the moving object with respect to the unidentified area, and assigning the identifier to the detected pixel, Can generate de-identified data.

상기 원본 데이터는 음성 데이터를 포함하고, 상기 비식별화 엔진은 상기 음성 데이터를 비식별화하여 제2 비식별화 데이터를 생성하는 제2 데이터부를 포함하고, 상기 제2 데이터부는, 상기 음성 데이터의 문맥을 기초로 상기 객체 식별 정보를 포함하는 비식별화 영역을 선택하고, 상기 음성 데이터로부터 상기 비식별화 영역을 제거하고, 상기 비식별화 영역이 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하여 상기 제2 비식별화 데이터를 생성할 수 있다.The original data includes voice data, and the de-identification engine includes a second data unit configured to de-identify the voice data to generate second de-identified data, wherein the second data unit includes: Selecting a de-identification region including the object identification information based on a context, removing the de-identification region from the voice data, and placing the de-identification region in a region from which the de-identification region is removed is different from the existing sound of the voice data The second de-identification data may be generated by inserting a sound.

상기 추적 엔진은, 상기 비식별화 데이터, 상기 특징 정보 및 상기 식별자를 이용하여 상기 객체의 이동 정보를 분석할 수 있다.The tracking engine may analyze the movement information of the object using the de-identification data, the characteristic information, and the identifier.

일 실시예에 따른 추적 가능한 비식별화 시스템은, 전술한 내용에 따른 추적 가능한 비식별화 장치; 상기 비식별화 장치에 객체 식별 정보를 포함하는 원본 데이터를 전송하는 사물인터넷 기기; 및 상기 사물인터넷 기기에 필요한 정보를 요청하고, 상기 비식별화 장치로부터 상기 객체의 이동 정보를 포함하는 추적 데이터를 수신하는 사용자 장치;를 포함한다.A trackable de-identification system according to an embodiment includes a trackable de-identification device according to the above description; an IoT device for transmitting original data including object identification information to the de-identification device; and a user device that requests information necessary for the IoT device and receives tracking data including movement information of the object from the de-identification device.

본 발명의 실시예들에 따르면, 원본 데이터에 대하여 비식별화 기술 및 객체 추적 기술을 동시에 적용하여 보안성뿐만 아니라 데이터 활용 가능성이 향상된, 추적 가능한 비식별화 방법, 장치 및 시스템이 제공될 수 있다. According to embodiments of the present invention, a traceable de-identification method, apparatus, and system can be provided, in which not only security but also data utilization is improved by simultaneously applying de-identification technology and object tracking technology to original data. .

도 1은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 비식별화 엔진을 더 구체적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 제1 데이터베이스를 더 구체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템의 내부망 통신 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템의 외부망 통신 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법을 설명하기 위한 흐름도이다.
도 7은 도 6에 따른 추적 가능한 비식별화 방법 중 일부 단계를 더 구체적으로 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법을 시스템의 관점에서 설명하기 위한 흐름도이다.
1 is a diagram schematically illustrating a trackable de-identification system according to an embodiment of the present invention.
2 is a diagram illustrating in more detail a de-identification engine according to an embodiment of the present invention.
3 is a diagram illustrating in more detail a first database according to an embodiment of the present invention.
4 is a diagram for explaining an internal network communication method of a trackable de-identification system according to an embodiment of the present invention.
5 is a diagram for explaining a method for communicating with an external network of a trackable de-identification system according to an embodiment of the present invention.
6 is a flowchart illustrating a trackable de-identification method according to an embodiment of the present invention.
7 is a flowchart for describing in more detail some steps of the trackable de-identification method according to FIG. 6 .
8 is a flowchart illustrating a traceable de-identification method from a system point of view according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. In the following examples, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the following embodiments, terms such as include or have means that the features or components described in the specification are present, and the possibility of adding one or more other features or components is not excluded in advance. In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and shape of each configuration shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and technically various interlocking and driving are possible, as will be fully understood by those skilled in the art, and each embodiment may be independently implemented with respect to each other, It may be possible to implement them together in a related relationship.

도 1은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a trackable de-identification system according to an embodiment of the present invention.

도 1을 참조하면, 일 실시예에 따른 추적 가능한 비식별화 시스템은 사물인터넷(Internet of Things; IoT) 기기(100), 통신망(20), 추적 가능한 비식별화 장치(10)(이하, 비식별화 장치(10)로 설명할 수 있다.) 및 사용자 장치(600)를 포함할 수 있다. Referring to FIG. 1 , a trackable de-identification system according to an embodiment includes an Internet of Things (IoT) device 100 , a communication network 20 , and a trackable de-identification device 10 (hereinafter, non-identification). It may be described as the identification device 10 ) and the user device 600 .

일 실시예에 따른 추적 가능한 비식별화 시스템은 영상 데이터, 음성 데이터 등을 포함하는 원본 데이터를 대상으로 한 객체 비식별화 및 추적 솔루션일 수 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사물인터넷 기기(100), 비식별화 장치(10) 또는 사용자 장치(600)의 수가 도 1과 같이 한정되는 것은 아니다.The trackable de-identification system according to an embodiment may be an object de-identification and tracking solution targeting original data including image data, audio data, and the like. FIG. 1 is an example for explaining the invention, and the number of IoT devices 100 , de-identification devices 10 , or user devices 600 is not limited as in FIG. 1 .

사물인터넷 기기(100)는 외부 환경에 대한 원본 데이터를 수집하는 기기로서, 카메라와 마이크를 사용하는 기기를 포함할 수 있다. 사물인터넷 기기(100)는 비식별화 장치(10)와 연결될 수 있다. The IoT device 100 is a device that collects original data about an external environment, and may include a device using a camera and a microphone. The IoT device 100 may be connected to the de-identification device 10 .

원본 데이터는 비식별화 및 추적의 대상이 되는 객체를 식별할 수 있는 객체 식별 정보를 포함할 수 있다. 객체 식별 정보는 개인을 식별할 수 있는 개인정보 및 민감정보 등을 포함할 수 있으며, 이 외에도 개인을 식별할 수 있는 요소가 포함되는 다양한 정보를 포함할 수 있다.The original data may include object identification information capable of identifying an object to be de-identified and tracked. The object identification information may include personal information and sensitive information that can identify an individual, and in addition to this, may include various information including elements that can identify an individual.

일 예로, 영상 데이터를 수집하는 사물인터넷 기기(100)는 CCTV, 블랙박스 등을 포함할 수 있고, 음성 데이터를 수집하는 사물인터넷 기기(100)는 AI 스피커, 녹음기 등을 포함할 수 있다. 사물인터넷 기기(100)는 전술한 바에 한정되지 않으며, 영상 혹은 음성 데이터 둘 중 하나 이상의 데이터를 수집, 저장, 가공, 송수신하는 카메라 또는 마이크가 부착된 기기를 포함할 수 있다.For example, the IoT device 100 for collecting image data may include a CCTV, a black box, and the like, and the IoT device 100 for collecting voice data may include an AI speaker, a recorder, and the like. The IoT device 100 is not limited to the above, and may include a device having a camera or a microphone that collects, stores, processes, and transmits/receives one or more of video or audio data.

사물인터넷 기기(100)는 단일 기기일 뿐만 아니라 다수의 기기를 연결하여 통신하도록 설계될 수 있다. The IoT device 100 may be designed to communicate by connecting a plurality of devices as well as a single device.

사물인터넷 기기(100)는 센서(102)를 포함할 수 있다. 센서(102)는 카메라나 마이크에 한정되지 않으며, 적외선 센서, 온/습도 센서, 소리 감지 센서 중 적어도 하나를 더 포함하여 수집되는 데이터의 품질을 향상시킬 수 있다. 센서(102)는 사물인터넷 기기(100)에 내장되거나 부착되는 등의 형태로 구비될 수 있으며, 센서(102)의 구비 형태는 본 발명을 한정하지 않는다. The IoT device 100 may include a sensor 102 . The sensor 102 is not limited to a camera or a microphone, and may further include at least one of an infrared sensor, a temperature/humidity sensor, and a sound sensor to improve the quality of collected data. The sensor 102 may be provided in the form of being embedded in or attached to the IoT device 100 , and the form of the sensor 102 is not limited to the present invention.

수집되는 원본 데이터는 사물인터넷 기기(100)를 통하지 않고 별도의 데이터베이스에 저장된 데이터나 사용자가 지정한 데이터를 직접 사용할 수 있다. Data stored in a separate database or data designated by a user may be directly used as the collected original data without going through the IoT device 100 .

원본 데이터는 센서(102) 기반의 카메라 및/또는 마이크가 부착된 기기로부터 수집한 영상 및/또는 음성 데이터를 포함하지만, 이에 한정되지 않으며, 사물인터넷(IoT) 데이터, 다양한 주변 센서로부터 수집한 데이터 등 객체의 비식별화 이후 객체 추적 서비스와 연계하는 서비스에 사용될 때 필요한 다양한 데이터가 포함될 수 있다. 또한, 원본 데이터는 문자 등의 시청각적으로 인식 가능한 다양한 형태의 데이터 등을 포함할 수 있다.The original data includes, but is not limited to, image and/or audio data collected from a device to which a sensor 102-based camera and/or microphone is attached, and Internet of Things (IoT) data, data collected from various peripheral sensors After de-identification of objects, such as, various data necessary when used in services linked to object tracking services may be included. In addition, the original data may include various types of audiovisually recognizable data such as text.

일 실시예에 따른 추적 가능한 비식별화 장치(10)는 통신부(11), 제어부(12) 및 메모리(13)를 포함할 수 있다.The trackable de-identification device 10 according to an embodiment may include a communication unit 11 , a control unit 12 , and a memory 13 .

통신부(11)는 객체 식별 정보를 포함하는 원본 데이터를 수신할 수 있다.The communication unit 11 may receive original data including object identification information.

통신부(11)는 통신망(20)을 통해 사물인터넷 기기(100), 비식별화 장치(10) 및 사용자 장치(600)가 서로 통신하기 위한 기능을 제공하거나, 다른 추적 가능한 비식별화 시스템(미도시)와 통신하기 위한 기능을 제공할 수도 있다. The communication unit 11 provides a function for the Internet of Things device 100 , the de-identification device 10 and the user device 600 to communicate with each other through the communication network 20 , or another traceable de-identification system (not shown). It may provide a function for communicating with the city).

단일 또는 복수의 사물인터넷 기기(100)는 무선 또는 유선 통신 방식을 이용하여 통신망(20)을 통해 복수의 사물인터넷 기기(100) 상호 간 및/또는 비식별화 장치(100)나 사용자 장치(600)와 통신할 수 있다.A single or a plurality of IoT devices 100 mutually and/or a de-identification device 100 or a user device 600 through the communication network 20 using a wireless or wired communication method ) can communicate with

예를 들어, 통신망(20)은 PAN(Personal Area Network), LAN(Local Area Network), CAN(Campus Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), BBN(Broad Band Network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있으나, 이에 제한되지 않는다.For example, the communication network 20 may include a Personal Area Network (PAN), a Local Area Network (LAN), a Campus Area Network (CAN), a Metropolitan Area Network (MAN), a Wide Area Network (WAN), and a Broad Band Network (BBN). , the Internet, and the like, may include any one or more arbitrary networks, but is not limited thereto.

제어부(12)는 원본 데이터로부터 생성한 비식별화 데이터를 이용하여 객체를 추적하도록 동작할 수 있다. 제어부(12)는 객체를 비식별화하는 비식별화 엔진(200) 및 객체를 추적하는 추적 엔진(300)을 포함한다. The controller 12 may operate to track the object using de-identified data generated from the original data. The control unit 12 includes a de-identification engine 200 for de-identifying an object and a tracking engine 300 for tracking the object.

제어부(12)는 프로세서(Processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(Processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The controller 12 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to, for example, a data processing device embedded in hardware having a physically structured circuit to perform a function expressed as a code or command included in a program. As an example of the data processing device embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) Circuit) and a processing device such as an FPGA (Field Programmable Gate Array) may be included, but the scope of the present invention is not limited thereto.

일 실시예에 따른 비식별화 엔진(200)은 원본 데이터로부터 객체 식별 정보를 비식별화하여 비식별화된 데이터(이하, 비식별화 데이터로 설명한다.)를 생성할 수 있다. The de-identification engine 200 according to an embodiment may de-identify object identification information from original data to generate de-identified data (hereinafter, described as de-identified data).

비식별화 엔진(200)은 원본 데이터로부터 객체 식별 정보를 원천적으로 삭제하여 복원 불가능하도록 할 수 있다. 비식별화 엔진(200)은 비식별화 데이터에 객체의 특징을 기초로 디지털 식별자(Identifier; ID)를 할당할 수 있다.The de-identification engine 200 may fundamentally delete the object identification information from the original data so that it cannot be restored. The de-identification engine 200 may allocate a digital identifier (ID) to the de-identification data based on the characteristics of the object.

일 예로, 영상 데이터를 비식별화할 때는 배경이 되는 고정 데이터와 대비하여 변화가 있는 이동하는 객체의 픽셀을 검출해 비식별화 심볼로 대체할 수 있다. 음성 데이터를 비식별화할 때는 음성의 문맥을 기반으로 객체 식별 정보를 판별한 후, 해당하는 부분을 원천적으로 삭제하고 비식별화 음으로 대체할 수 있다.For example, when de-identifying image data, a pixel of a moving object that has a change in comparison with fixed data serving as a background may be detected and replaced with a de-identification symbol. When de-identifying voice data, after determining object identification information based on the context of the voice, the corresponding part may be fundamentally deleted and replaced with a de-identified sound.

비식별화 엔진(200)의 자세한 동작에 관하여는 후술하는 도 2에서 더 상세히 설명하기로 한다. The detailed operation of the de-identification engine 200 will be described in more detail with reference to FIG. 2 to be described later.

일 실시예에 따른 추적 엔진(300)은 비식별화 데이터, 식별자 등을 기초로 객체의 이동 정보를 분석하여 객체를 추적할 수 있다. The tracking engine 300 according to an embodiment may track the object by analyzing movement information of the object based on de-identification data, an identifier, and the like.

추적 엔진(300)은 영상 내 다중 이동 객체를 인지하고 판별하여 각 객체에 부여된 디지털 식별자를 기반으로, 객체의 이동 정보와 행위를 지속적으로 추적하고 분석할 수 있다. 객체의 이동 패턴 정보를 수집하기 위해 줌 인, 줌 아웃, 화면 전환 및 방향 변경 등을 이용할 수 있다. 추적 엔진(300)은 다수의 사물인터넷 기기(100)로부터 수집된 영상과 음성을 함께 활용하여 동일한 이동 객체로 판단되는 대상을 지속적으로 추적할 수 있다.The tracking engine 300 may recognize and determine multiple moving objects in the image and continuously track and analyze the movement information and behavior of the object based on the digital identifier assigned to each object. In order to collect the movement pattern information of the object, zoom in, zoom out, screen change, direction change, etc. may be used. The tracking engine 300 may continuously track a target determined to be the same moving object by using the images and voices collected from a plurality of IoT devices 100 together.

추적 엔진(300)을 이용하여 객체를 추적할 때, 센서(102)는 단일 센서일 수도 있고, 다중 센서로서 복수의 센서들이 협력하여 동작할 수도 있다.When tracking an object using the tracking engine 300, the sensor 102 may be a single sensor, or a plurality of sensors may operate cooperatively as multiple sensors.

메모리(13)는 비식별화 장치(10)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. The memory 13 performs a function of temporarily or permanently storing data processed by the de-identification device 10 .

메모리(13)는 원본 데이터, 비식별화 데이터 및/또는 이들 데이터가 가공된 형태의 데이터가 저장되는 데이터베이스(database; 이하, DB로 설명할 수 있다.)를 포함할 수 있다. 메모리(13)는 비식별화 데이터를 저장하는 제1 데이터베이스(400) 및 원본 데이터를 저장하는 제2 데이터베이스(500)를 포함할 수 있다. 제1 데이터베이스(400)는 '개방형 데이터베이스'로, 제2 데이터베이스(500)는 '암호화 데이터베이스'로 명명될 수 있다.The memory 13 may include a database (hereinafter, referred to as a DB) in which original data, de-identified data, and/or data in a form in which these data are processed are stored. The memory 13 may include a first database 400 for storing de-identified data and a second database 500 for storing original data. The first database 400 may be referred to as an 'open database' and the second database 500 may be referred to as an 'encryption database'.

개방형 데이터베이스(400)에는 비식별화 데이터가 저장되어 외부로 공개될 수 있다. 개방형 데이터베이스(400)에는 비식별화된 객체의 디지털 식별자(ID)와 해당 객체가 갖는 특징 정보가 저장될 수 있다. 상기 특징 정보의 개수는 한정되지 않으며, 필요에 따라 무한히 늘어날 수 있다. 그리고, 개방형 데이터베이스(400)에는 유사한 특징끼리 묶이는 객체의 그룹화 정보가 저장될 수 있다. 개방형 데이터베이스(400)에 저장되는 데이터는 비식별화 엔진(200)에 의해 생성되는 비식별화 데이터 등과 추적 엔진(300)에 의해 생성되는 추적 결과 데이터 등에 의해 지속적으로 갱신될 수 있다.De-identified data may be stored in the open database 400 and disclosed to the outside. The open database 400 may store a digital identifier (ID) of an unidentified object and characteristic information of the object. The number of the feature information is not limited and may be infinitely increased as necessary. In addition, grouping information of objects in which similar features are grouped may be stored in the open database 400 . The data stored in the open database 400 may be continuously updated by the de-identification data generated by the de-identification engine 200 , and the tracking result data generated by the tracking engine 300 .

개방형 데이터베이스(400)에 관하여는 후술하는 도 3에서 더 상세히 설명하기로 한다.The open database 400 will be described in more detail with reference to FIG. 3 to be described later.

암호화 데이터베이스(500)에는 외부(가령, 사물인터넷 기기(100))에서 수집된 원본 데이터가 저장될 수 있다. 원본 데이터가 암호화 처리를 거쳐 암호화되어 안전하게 저장될 수 있으며, 수동으로 추가한 데이터 등이 더 포함될 수 있다. 암호화 처리 방식은 데이터의 종류와 민감도에 따라 양방향 암호화 또는 단방향 암호화되어 저장될 수 있다.The encryption database 500 may store original data collected from the outside (eg, the IoT device 100 ). The original data may be encrypted and stored safely through encryption processing, and manually added data may be further included. The encryption processing method may be stored after two-way encryption or one-way encryption according to the type and sensitivity of data.

실시예에 따라서, 객체에 부여된 디지털 식별자와 특징 정보는 상기 제1 및 제2 DB(400, 500)와 별도의 데이터베이스에 분리되어 저장될 수도 있다. 또한 일 실시예에 따른 메모리(13)는 개방형 데이터베이스(400) 및 암호화 데이터베이스(500)를 모두 포함할 수도 있고, 둘 중 어느 하나만 포함할 수도 있다.According to an embodiment, the digital identifier and characteristic information assigned to the object may be stored separately from the first and second DBs 400 and 500 and separate databases. In addition, the memory 13 according to an embodiment may include both the open database 400 and the encryption database 500 , or may include only one of the two.

메모리(13)는 자기 저장 매체(Magnetic Storage Media) 또는 플래시 저장 매체(Flash Storage Media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The memory 13 may include a magnetic storage medium or a flash storage medium, but the scope of the present invention is not limited thereto.

비식별화 장치(10)는 사용자 장치(600)의 요청에 따라 사물인터넷 기기(100)에 의해 수집된 데이터를 비식별화 엔진(200)을 이용하여 비식별화하고, 비식별화된 데이터를 활용하여 추적 엔진(300)을 이용하여 객체를 추적할 수 있다. 여기서, 활용 데이터는 개방형 데이터베이스(400)에 저장된 비식별화 영상 데이터, 음성 데이터, 특징 정보, 그룹화 정보 등 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않으며, 암호화 데이터베이스(500)에 저장된 원본 데이터가 포함될 수도 있다.The de-identification device 10 de-identifies the data collected by the IoT device 100 according to the request of the user device 600 using the de-identification engine 200, and collects the de-identified data. The object can be tracked by using the tracking engine 300 . Here, the utilization data may include at least some of unidentified image data, audio data, feature information, grouping information, etc. stored in the open database 400 , but is not limited thereto, and the original data stored in the encrypted database 500 . may be included.

이와 같이, 본 발명의 일 실시예에 따르면, 원본 데이터에 대하여 비식별화 기술 및 객체 추적 기술을 동시에 적용하여 보안성뿐만 아니라 데이터 활용 가능성을 향상시킬 수 있다.As described above, according to an embodiment of the present invention, not only security but also data availability can be improved by simultaneously applying the de-identification technique and the object tracking technique to the original data.

도 2는 본 발명의 일 실시예에 따른 비식별화 엔진을 더 구체적으로 도시한 도면이다. 2 is a diagram illustrating in more detail a de-identification engine according to an embodiment of the present invention.

일 실시예에 따른 비식별화 엔진(200)은 제1 데이터부(210) 및 제2 데이터부(220)를 포함할 수 있다. 데이터부들(210, 220)은 각각 객체 인식부(212, 222), 특징 검출부(214, 224), 생성부(216, 226) 및 처리부(218, 228)를 포함할 수 있다.The de-identification engine 200 according to an embodiment may include a first data unit 210 and a second data unit 220 . The data units 210 and 220 may include object recognition units 212 and 222 , feature detection units 214 and 224 , generators 216 and 226 , and processing units 218 and 228 , respectively.

객체 인식부(212, 222)는 비식별화 하고자 하는 객체를 인식할 수 있다. 특징 검출부(214, 224)는 객체 식별 정보로부터 객체의 특징 정보를 추출할 수 있다. 생성부(216, 226)는 해당 객체에 식별자(Identifier; ID)를 할당하여 상기 비식별화 데이터를 생성할 수 있다. 처리부(218, 228)는 데이터베이스에 원본 데이터, 비식별화 데이터, 검출한 객체별 특징 정보 등을 저장 및 관리할 수 있다.The object recognition units 212 and 222 may recognize an object to be de-identified. The feature detectors 214 and 224 may extract feature information of the object from the object identification information. The generators 216 and 226 may generate the de-identified data by allocating an identifier (ID) to a corresponding object. The processing units 218 and 228 may store and manage original data, de-identified data, characteristic information for each detected object, and the like in a database.

이하, 제1 데이터부(210)는 영상 데이터를 담당하는 영상 데이터부, 제2 데이터부(220)는 음성 데이터를 담당하는 음성 데이터부인 것을 예로 들어 설명한다.Hereinafter, the first data unit 210 will be described as an image data unit in charge of image data and the second data unit 220 as an audio data unit in charge of audio data as an example.

제1 데이터부(210)는 특징 기반으로 객체를 인식하고, 객체의 특징을 추출하고, 제1 비식별화 데이터를 생성하여 제1 데이터베이스(400)에 저장할 수 있다.The first data unit 210 may recognize an object based on a characteristic, extract a characteristic of the object, generate first de-identified data, and store it in the first database 400 .

구체적으로, 제1 객체 인식부(212)는 수집된 영상 데이터를 수신하여 영상 내 비식별화 대상이 되는 객체를 인식할 수 있다. 객체는 사람에 한정되지 않으며, 개인정보 침해의 소지가 있는 대상도 포함될 수 있다. 개인정보 침해의 소지가 있는 대상에는 차량 번호, 개인 핸드폰 번호, 민감 정보 등이 포함될 수 있다.Specifically, the first object recognizer 212 may receive the collected image data and recognize the object to be de-identified in the image. The object is not limited to a person, and may include a subject that may infringe on personal information. Subjects that may infringe on personal information may include vehicle numbers, personal cell phone numbers, and sensitive information.

제1 특징 검출부(214)에서는 인식된 객체의 특징 정보를 검출하여 비식별화 대상으로 선정할 수 있다. 상기 특징 정보의 개수는 한정되지 않으며, 이후 객체 식별에 필요한 만큼 검출할 수 있다. 특징 정보는 비식별화 엔진(200)에 탑재된 메모리(미도시)에 임시적으로 저장될 수 있다.The first feature detection unit 214 may detect feature information of the recognized object and select it as a de-identification target. The number of the feature information is not limited, and thereafter, as many as necessary for object identification may be detected. The feature information may be temporarily stored in a memory (not shown) mounted in the de-identification engine 200 .

제1 비식별화부(216)는 영상 내 비식별화 대상이 되는 움직이는 객체, 개인을 식별하는데 이용될 수 있는 각종 정보를 비식별화 대상으로 지정할 수 있다. 객체(개인) 식별 정보에는 객체의 신체 정보, 개인 정보, 민감 정보 등이 포함될 수 있다.The first de-identification unit 216 may designate, as de-identification targets, various pieces of information that can be used to identify moving objects and individuals to be de-identified in the image. The object (individual) identification information may include body information, personal information, sensitive information, and the like of the object.

제1 비식별화부(216)는 영상 데이터로부터 고정 영역 및 비식별화 영역을 구분할 수 있다. 상기 비식별화 영역은 비식별화 대상이 되는 객체가 이동하는 영역을 포함할 수 있다. 이후, 제1 비식별화부(216)는 비식별화 영역에 대하여 이동하는 객체에 해당하는 픽셀을 검출할 수 있다. 상기 검출한 픽셀에 디지털 식별자를 할당하여 제1 비식별화 데이터를 생성할 수 있다. 상기 검출된 픽셀을 제거하고 제거된 픽셀을 대체하여 비식별화 심볼을 삽입하여 대체할 수 있다. The first de-identification unit 216 may distinguish a fixed region and a non-identification region from the image data. The de-identification area may include an area in which an object to be de-identified moves. Thereafter, the first de-identification unit 216 may detect a pixel corresponding to an object moving with respect to the de-identification area. First de-identified data may be generated by allocating a digital identifier to the detected pixel. The detected pixel may be removed and the removed pixel may be replaced by inserting a de-identification symbol.

비식별화된 객체에는 디지털 식별자가 부여되어 추후 객체 추적에 활용될 수 있다. A digital identifier is given to the de-identified object and can be used for tracking the object in the future.

제1 처리부(218)는 제1 비식별화 데이터, 제1 특징 검출부(214)에서 검출한 특징 정보와 디지털 식별자를 개방형 데이터베이스(400)에 저장할 수 있으며, 가공하여 저장할 수도 있다. 이때, 원본 데이터는 암호화 처리하여 암호화 데이터베이스(500)에 저장할 수 있다. 정보를 저장할 때, 객체를 효율적으로 추적하기 위해 그룹화 정보를 이용하여 동일한 특성을 갖고 있는 객체끼리 그룹화하여 저장할 수 있으나, 이 외에도 특정 산출식을 통해 구해진 수치 등이 추가로 저장될 수 있다.The first processing unit 218 may store the first de-identified data, the characteristic information detected by the first characteristic detection unit 214 , and the digital identifier in the open database 400 , or may process and store it. In this case, the original data may be encrypted and stored in the encrypted database 500 . When storing information, objects having the same characteristics can be grouped and stored using grouping information to efficiently track objects.

제2 데이터부(220)는 문맥 기반으로 객체를 인식하고, 특징을 추출하고, 제2 비식별화 데이터를 생성하여 제1 데이터베이스(400)에 저장할 수 있다.The second data unit 220 may recognize an object based on a context, extract a feature, generate second de-identification data, and store it in the first database 400 .

구체적으로, 제2 객체 인식부(222)는 수집된 음성 데이터를 수신하여 음성 내 비식별화 대상이 되는 객체를 인식할 수 있다.Specifically, the second object recognizer 222 may receive the collected voice data and recognize the object to be de-identified in the voice.

제2 특징 검출부(224)에서는 음성 내 개인정보에 해당하는 부분의 특징을 검출하여 비식별화 대상으로 선정할 수 있다. 제2 특징 검출부(224)에서 검출한 특징 정보의 개수는 한정되지 않으며 이후 객체 식별에 필요한 만큼 검출할 수 있다. 식별된 특징은 비식별화 엔진(200)에 탑재된 메모리(미도시)에 임시적으로 저장될 수 있다.The second feature detection unit 224 may detect a feature of a portion corresponding to personal information in the voice and select it as a de-identification target. The number of feature information detected by the second feature detection unit 224 is not limited and may be detected as needed for object identification thereafter. The identified characteristic may be temporarily stored in a memory (not shown) mounted in the de-identification engine 200 .

수집된 음성은 제2 비식별화부(226)에서 음성 내 개인을 식별하는데 이용될 수 있는 각종 정보를 비식별화 대상으로 지정할 수 있다. 객체 식별 정보에는 객체의 전화번호, 주소, 민감 정보 등이 포함될 수 있다.As for the collected voice, the second de-identification unit 226 may designate various types of information that can be used to identify an individual in the voice as the de-identification target. The object identification information may include a phone number, an address, and sensitive information of the object.

제2 비식별화부(226)는 음성 데이터의 문맥을 기초로 객체 식별 정보를 포함하는 비식별화 영역을 선택하고, 음성 데이터로부터 상기 비활성화 영역을 제거할 수 있다. 제2 비식별화부(226)는 상기 비활성화 영역을 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하여 제2 비식별화 데이터를 생성할 수 있다.The second de-identification unit 226 may select a de-identification region including object identification information based on the context of the voice data, and remove the deactivation region from the voice data. The second de-identification unit 226 may generate the second de-identification data by inserting a sound different from the existing sound of the voice data in the region from which the inactive region is removed.

제2 처리부(228)는 각 특징을 개방형 데이터베이스(400)에 저장할 수 있다. 제2 처리부(228)는 제2 비식별화 데이터, 제2 특징 검출부(224)에서 검출한 특징 정보 등을 개방형 데이터베이스(400)에 가공하여 저장할 수 있다. 이때, 원본 데이터는 암호화 처리하여 암호화 데이터베이스(500)에 저장할 수 있다. 또한, 제2 처리부(228)는 그룹화 정보를 이용하여 동일한 특성을 갖고 있는 객체끼리 그룹화하여 저장할 수 있다.The second processing unit 228 may store each feature in the open database 400 . The second processing unit 228 may process and store the second de-identified data and the characteristic information detected by the second characteristic detection unit 224 in the open database 400 . In this case, the original data may be encrypted and stored in the encrypted database 500 . Also, the second processing unit 228 may group and store objects having the same characteristics by using the grouping information.

데이터부들(210, 220)의 구체적인 비식별화 방법은 전술한 바에 한정되지 않으며, 수집한 데이터의 종류에 따라 다양할 수 있다.A specific de-identification method of the data units 210 and 220 is not limited to the above, and may vary depending on the type of collected data.

도 3은 본 발명의 일 실시예에 따른 제1 데이터베이스(400)를 더 구체적으로 도시한 도면이다.3 is a diagram illustrating in more detail the first database 400 according to an embodiment of the present invention.

개방형 데이터베이스(400)에는 비식별화 데이터(410), 특징 테이블(420) 및 그룹화 정보(430)가 저장될 수 있다.The open database 400 may store de-identified data 410 , a feature table 420 , and grouping information 430 .

비식별화 데이터(410)는 원본 데이터로부터 객체 식별 정보가 비식별화된 데이터를 포함할 수 있다. The de-identification data 410 may include data in which object identification information is de-identified from original data.

특징 테이블(420)에는 디지털 식별자(ID)(422) 및 비식별화 엔진(200)에서 검출한 각 객체의 특징 정보(424)가 저장될 수 있으며, 이에 한정되지 않고, 데이터 분석을 위한 객체 출현 빈도, 장소 등에 관한 정보도 함께 저장될 수 있다. 특징 테이블(420)에 저장되는 데이터(422, 424)는 추후 추적 엔진(300)에서 객체를 효과적으로 추적하는데 사용될 수 있다.The digital identifier (ID) 422 and the feature information 424 of each object detected by the de-identification engine 200 may be stored in the feature table 420 , but the present invention is not limited thereto, and object appearance for data analysis Information on frequency, place, etc. may also be stored. The data 422 and 424 stored in the feature table 420 may be used later to effectively track the object in the tracking engine 300 .

특징 테이블(420)은 최신 상태를 유지하도록 비식별화 엔진(200)과 추적 엔진(300)에 의해 지속적으로 업데이트될 수 있다. 특징 테이블(420) 내에서 오랜 기간 동안 사용되지 않은 데이터는 정기적으로 삭제하여 영상 속 출현 객체에 대한 정확성과 가용성을 높일 수 있다.The feature table 420 may be continuously updated by the de-identification engine 200 and the tracking engine 300 to keep it up to date. Data that has not been used for a long period of time in the feature table 420 may be periodically deleted to increase the accuracy and availability of the object appearing in the image.

특징 테이블(420)에 저장된 특징 정보(424)는 추적 가능한 비식별화 장치(10)가 이용되는 환경을 고려하여 객체를 식별하는데 필요한 특징을 단기, 중기, 장기 데이터로 구분하고 차등적으로 반영할 수 있다. 단기 특징에는 객체가 착용한 옷, 신발, 장신구, 소품 등이 포함될 수 있다. 중기 특징에는 객체 이동 패턴, 출현 시각, 출현 빈도 등이 포함될 수 있다. 장기 특징에는 객체의 얼굴 등 신체적 특징, 연령 등이 포함될 수 있다.The feature information 424 stored in the feature table 420 divides the features necessary for identifying an object into short-term, medium-term, and long-term data in consideration of the environment in which the trackable de-identification device 10 is used and differentially reflects it. can Short-term characteristics may include clothes, shoes, accessories, and props worn by the object. The mid-term characteristics may include an object movement pattern, an appearance time, an appearance frequency, and the like. The organ characteristics may include physical characteristics such as a face of the object, age, and the like.

특징 정보(424) 중 중기 특징에 해당하는 객체 이동 패턴, 출현 시각, 출현 빈도를 분석하였을 때 영상에 고정적으로 출현하는 객체가 있다면 개방형 데이터베이스(400) 외부에 위치한 캐시 메모리(미도시)를 사용하여 빠르게 객체를 식별하고 객체 오탐율을 감소시킬 수 있다.When an object movement pattern, appearance time, and frequency of appearance corresponding to the intermediate feature among the feature information 424 are analyzed, if there is an object that appears fixedly in the image, a cache memory (not shown) located outside the open database 400 is used. It can quickly identify objects and reduce the object false positive rate.

그룹화 정보(430)는 추적 엔진(300)에서 효율적으로 객체 추적을 할 수 있도록 참조되는 정보이다. 추적 엔진(300)에서 지정된 객체를 추적할 때 객체 수가 많아 디지털 식별자(ID)만으로 추적하는데 어려움이 있는 경우, 그룹화 정보(430)를 활용한 그룹핑과 컬러링 기능을 활용할 수 있다. 그룹핑은 추적하고자 하는 대상 혹은 대상들을 그룹으로 묶어 관리할 수 있는 기능이고, 컬러링은 추적 대상을 원하는 색으로 지정하여 객체 추적에 있어서 가시성을 높이는 기능이 될 수 있다.The grouping information 430 is information referenced so that the tracking engine 300 can efficiently track an object. When the tracking engine 300 tracks a designated object, if there is a difficulty in tracking only the digital identifier (ID) due to the large number of objects, a grouping and coloring function using the grouping information 430 may be utilized. Grouping is a function to group and manage an object to be tracked or objects to be tracked, and coloring can be a function to increase visibility in object tracking by designating a tracking object in a desired color.

예를 들어, 교도소, 통제 구역 등에서 통제하고자 하는 대상 그룹을 감시하고 추적해야 하는 경우나, 어린이집 혹은 유치원 등에서 대상 그룹을 안전하게 보호해야 하는 경우, 다중 객체 중 추적하는 표본 대상을 그룹핑하고 특수색으로 지정하여 표시할 수 있다. 이러한 경우, 통제 대상에게서 이상 행동이 감지되면 눈에 띄는 다른 색으로 표시하거나 경고음을 울려 알릴 수 있다.For example, when it is necessary to monitor and track a target group to be controlled in a prison, a control area, etc., or when it is necessary to safely protect the target group in a daycare center or kindergarten, group the tracking sample among multiple objects and designate a special color can be displayed. In this case, when abnormal behavior is detected from the control target, it can be displayed in a different color or sound an alarm to notify you.

다른 예시로, 상업 지역, 오프라인 매장, 전시회 등에서 대상 그룹의 소비 패턴, 이동 경로를 추적하는 경우, 객체의 성별, 나이 등 원하는 기준에 따라 각각 다른 색으로 표시하고 각 관심 그룹 구분을 위해 필터 옵션 기능을 추가할 수 있다.As another example, when tracking consumption patterns and movement routes of target groups in commercial areas, offline stores, exhibitions, etc., different colors are displayed according to desired criteria such as gender and age of objects, and filter options function to differentiate each interest group can be added.

도 4는 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템의 내부망 통신 방법을 설명하기 위한 도면이다.4 is a diagram for explaining an internal network communication method of a trackable de-identification system according to an embodiment of the present invention.

하나의 네트워크로 연결된 추적 가능한 비식별화 장치(10)는 같은 통신망(20)에 다수의 사물인터넷 기기(100)를 연결하여 구성할 수 있다. 다시 말해, 다수의 사물인터넷 기기(100)와 비식별화 장치(10)는 동일한 통신망(20)에 의해 연결되고, 상기 통신망(20)을 통해 서로 정보를 주고 받을 수 있다.The trackable de-identification device 10 connected to one network may be configured by connecting a plurality of IoT devices 100 to the same communication network 20 . In other words, the plurality of IoT devices 100 and the de-identification device 10 are connected by the same communication network 20 , and can exchange information with each other through the communication network 20 .

각 사물인터넷 기기(100)는 센서(102)를 통해 각 기기가 담당하는 공간에서 발생하는 원본 데이터를 서로 주고 받으며 협력하여 통신할 수 있다. 다수의 기기(100)로부터 원본 데이터를 수집하여 사용하면 영상과 음성 내 출현하는 객체가 동일 객체인지 여부를 정확히 판단할 수 있다. Each IoT device 100 can communicate with each other by exchanging original data generated in a space in charge of each device through the sensor 102 . When original data is collected and used from a plurality of devices 100 , it can be accurately determined whether the objects appearing in the video and the audio are the same object.

또한, 복수의 사물인터넷 기기들(100)이 협력하여 데이터 수집, 가공, 저장함으로써 기기들(100)의 성능, 시간, 배터리를 효율적으로 사용하여 데이터를 처리할 수 있다. 복수의 사물인터넷 기기들(100)을 배치함으로서 원본 데이터의 오차 범위를 줄이고, 이동 객체의 동선을 정확히 파악할 수 있다.In addition, since a plurality of IoT devices 100 cooperate to collect, process, and store data, the performance, time, and battery of the devices 100 can be efficiently used to process data. By disposing the plurality of IoT devices 100 , the error range of the original data can be reduced and the movement of the moving object can be accurately identified.

실시예에 따라서, 사용자는 추적 가능한 비식별화 장치(10)에서 비식별화 엔진(200)과 추적 엔진(300)을 선택적으로 사용할 수 있다. 일 예로, 추적 엔진(300)만 사용하고자 하는 경우, 동일 통신망(20) 내에 설치된 지문 인식 센서(102)가 객체의 입실과 퇴실을 확인하고 사물인터넷 기기(100)를 통해 비식별화 장치(10)에 신호를 보낼 수 있다. 이 경우, 입실 시에만 부분적으로 비식별화 엔진(200)을 사용하고, 퇴실 시에는 비식별화 엔진(200)을 사용하지 않도록 설정할 수 있다. 또는, 적외선 센서(102)를 이용해 객체의 유무를 판단하고, 추적 대상이 되는 객체가 부재할 경우, 기기들(100)의 작동을 중단함으로써 다수의 사물인터넷 기기들(100)이 설치된 환경에서 불필요한 영상을 수집하지 않고, 에너지 효율을 높일 수 있다.According to an embodiment, the user may selectively use the de-identification engine 200 and the tracking engine 300 in the trackable de-identification device 10 . For example, when only the tracking engine 300 is to be used, the fingerprint recognition sensor 102 installed in the same communication network 20 checks the entry and exit of the object, and the de-identification device 10 through the IoT device 100 ) can be signaled. In this case, it may be set to partially use the de-identification engine 200 only when entering and not to use the de-identification engine 200 when leaving the room. Alternatively, the presence or absence of an object is determined using the infrared sensor 102 , and when the object to be tracked is absent, the operation of the devices 100 is stopped, which is unnecessary in an environment in which a plurality of IoT devices 100 are installed. It is possible to increase energy efficiency without collecting images.

다른 예시로, 카메라를 포함하는 사물인터넷 기기(100)가 동작 인식 센서(102)를 포함하는 경우, 데이터베이스(400, 500)에 객체를 식별할 만한 충분한 데이터가 쌓이지 않아도 동일 통신망(20)에 있는 기기들(100)이 협력하여 사용자의 동작을 감지하고 객체의 이동 패턴과 동작 패턴을 예측할 수 있다.As another example, if the IoT device 100 including a camera includes the motion recognition sensor 102, even if sufficient data to identify the object is not accumulated in the databases 400 and 500, the The devices 100 may cooperate to detect a user's motion and predict a motion pattern and motion pattern of an object.

도 5는 본 발명의 일 실시예에 따른 추적 가능한 비식별화 시스템의 외부망 통신 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a method for communicating with an external network of a trackable de-identification system according to an embodiment of the present invention.

추적 가능한 비식별화 장치(10)는 통신망(20) 외부에 위치한 외부 사물인터넷 기기(110)와 연계되어 동작할 수 있다. 사용자가 사용자 장치(600)를 통해 사물인터넷 기기(100)에 외부와 통신을 통해서 얻을 수 있는 특정 데이터를 요청하면, 기기(100)의 센서(102)는 외부 사물인터넷 기기(110)의 외부 센서(112)에 신호를 보내 사용자 요청에 필요한 데이터를 수신할 수 있다.The trackable de-identification device 10 may operate in connection with the external IoT device 110 located outside the communication network 20 . When a user requests specific data obtainable through communication with the outside from the IoT device 100 through the user device 600 , the sensor 102 of the device 100 is an external sensor of the external IoT device 110 . It can send a signal to 112 to receive the data required by the user request.

사용자가 제어하는 사물인터넷 기기(100)는 추적 가능한 비식별화 장치(10)와 동일 통신망(20) 상에 구축될 수 있고, 기기(100)에 부착된 센서(102)가 외부 센서(112)와 통신하는 구조로 설계될 수 있다.The IoT device 100 controlled by the user may be built on the same communication network 20 as the trackable de-identification device 10 , and the sensor 102 attached to the device 100 is an external sensor 112 . It can be designed in a structure that communicates with

실시예에 따라서, 추적 가능한 비식별화 장치(10)가 직접 외부 사물인터넷 기기(110)의 센서(112)에 요청하여 통신할 수도 있다.According to an embodiment, the trackable de-identification device 10 may directly request and communicate with the sensor 112 of the external IoT device 110 .

도 6은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법을 설명하기 위한 흐름도이다. 이하에서 설명하는 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법은 전술한 비식별화 장치(10)에서 수행될 수 있다. 이하, 도 1 내지 도 5에서 전술한 내용과 중복되는 내용은 설명을 간략히 하거나 생략하되, 도 1 내지 도 5를 함께 참고하여 설명한다.6 is a flowchart illustrating a trackable de-identification method according to an embodiment of the present invention. The traceable de-identification method according to an embodiment of the present invention described below may be performed by the de-identification apparatus 10 described above. Hereinafter, descriptions of the contents overlapping with the above in FIGS. 1 to 5 will be simplified or omitted, but will be described with reference to FIGS. 1 to 5 together.

도 6을 참조하면, 객체 식별 정보를 포함하는 원본 데이터를 수신할 수 있다(S100). 센서(102)가 장착된 사물인터넷 기기(100)는 음성 및 영상 등 다양한 데이터를 포함하는 원본 데이터를 수집할 수 있다.Referring to FIG. 6 , original data including object identification information may be received ( S100 ). The IoT device 100 equipped with the sensor 102 may collect original data including various data such as voice and image.

이후, 상기 원본 데이터로부터 객체 식별 정보를 비식별화하여 비식별화 데이터를 생성할 수 있다(S200). 비식별화 엔진(200)은 원본 데이터에서 객체 식별 정보를 각기 데이터 종류에 적합한 방식으로 비식별화할 수 있다.Thereafter, de-identification data may be generated by de-identifying the object identification information from the original data (S200). The de-identification engine 200 may de-identify the object identification information in the original data in a manner suitable for each data type.

원본 데이터가 영상 데이터일 경우, S200 단계는 아래의 단계들을 포함할 수 있다.When the original data is image data, step S200 may include the following steps.

영상 데이터로부터 고정 영역, 및 상기 객체가 이동하는 영역을 포함하는 비식별화 영역을 구분할 수 있다. 이후, 상기 비식별화 영역에 대하여 이동하는 객체의 픽셀을 검출할 수 있고, 상기 검출한 픽셀에 식별자(422)를 할당하여 비식별화 데이터(410)를 생성할 수 있다. 이때, 상기 검출한 픽셀에 식별자(422)를 할당할 뿐만 아니라 비식별화 심볼로 대체할 수도 있다. From the image data, a fixed area and an unidentified area including a moving area of the object may be distinguished. Thereafter, a pixel of an object moving with respect to the unidentified area may be detected, and an identifier 422 may be assigned to the detected pixel to generate de-identified data 410 . In this case, an identifier 422 may be assigned to the detected pixel and replaced with a de-identified symbol.

한편, 원본 데이터가 음성 데이터일 경우, S200 단계는 아래의 단계들을 포함할 수 있다.Meanwhile, when the original data is voice data, step S200 may include the following steps.

음성 데이터의 문맥을 기초로 상기 객체 식별 정보를 포함하는 비식별화 영역을 선택하고, 상기 음성 데이터로부터 비식별화 영역을 제거할 수 있다. 이후, 상기 비식별화 영역이 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하여 대체할 수 있다.The non-identification region including the object identification information may be selected based on the context of the voice data, and the non-identification region may be removed from the voice data. Thereafter, a sound different from the existing sound of the voice data may be inserted and replaced in the region from which the de-identified region is removed.

이후, 원본 데이터 및 비식별화 데이터를 데이터베이스(400, 500)에 저장할 수 있다(S300). 원본 데이터 및 비식별화 데이터는 데이터베이스(400, 500)에 저장될 수 있다. 이때, 원본 데이터는 암호화 처리를 거쳐 암호화 데이터베이스(500)에 저장될 수 있다.Thereafter, the original data and the de-identified data may be stored in the databases 400 and 500 ( S300 ). The original data and the de-identified data may be stored in the databases 400 and 500 . In this case, the original data may be stored in the encryption database 500 through encryption processing.

이후, 비식별화 데이터를 기초로 객체를 추적할 수 있다(S400). 추적 엔진(300)은 S200 단계에서 추출된 객체의 특징 정보(424)를 기초로 객체를 추적할 수 있다. 객체의 추적은 단일 사물인터넷 기기(100)만으로 수행될 수도 있고, 복수의 사물인터넷 기기(100)를 이용하여 수행될 수도 있다.Thereafter, the object may be tracked based on the de-identification data (S400). The tracking engine 300 may track the object based on the feature information 424 of the object extracted in step S200 . Tracking of an object may be performed only by a single IoT device 100 or by using a plurality of IoT devices 100 .

다시 도 4를 함께 참조하여 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법에 대하여 설명한다. 원본 데이터를 수신하는 단계(S100)에서, 상기 원본 데이터는 제1 사물인터넷 기기(100a)를 포함하는 복수의 사물인터넷 기기(100)로부터 수신될 수 있다. 이때, 비식별화 데이터를 생성하는 단계(S200)는 다음의 단계들을 포함할 수 있다.A traceable de-identification method according to an embodiment of the present invention will be described with reference again to FIG. 4 . In the step of receiving the original data ( S100 ), the original data may be received from a plurality of IoT devices 100 including the first IoT device 100a. In this case, the step of generating the de-identified data ( S200 ) may include the following steps.

사용자가 사용자 장치(600)를 이용하여 제1 사물인터넷 기기(100a)에 필요한 정보를 요청할 수 있다. 상기 사용자의 요청에 따라 상기 제1 사물인터넷 기기(100a)를 제외한 사물인터넷 기기(100)를 포함하는 주변 기기를 탐색할 수 있다. 주변 기기는 제1 사물인터넷 기기(100a)를 제외한 사물인터넷 기기(100), 외부 사물인터넷 기기(110)(도 5 참고)를 포함하는 것일 수 있다. 이후, 상기 주변 기기로부터 비식별화 데이터를 수신하고, 상기 비식별화 데이터를 기초로 사용자 장치에 응답할 수 있다. 상기 응답은 비식별화 데이터를 기초로 생성한 객체 추적 정보를 수신하는 것일 수 있다.The user may request information necessary for the first IoT device 100a by using the user device 600 . According to the user's request, a peripheral device including the IoT device 100 other than the first IoT device 100a may be searched for. The peripheral device may include the IoT device 100 excluding the first IoT device 100a and the external IoT device 110 (refer to FIG. 5 ). Thereafter, de-identification data may be received from the peripheral device, and a response may be made to the user device based on the de-identification data. The response may be to receive object tracking information generated based on de-identification data.

도 7은 도 6에 따른 추적 가능한 비식별화 방법 중 일부 단계인 S200 단계를 더 구체적으로 설명하기 위한 흐름도이다. 비식별화 데이터를 생성하는 단계(S200)는 후술하는 단계들을 포함할 수 있다. 도 1 내지 도 3을 함께 참고하여 설명할 수 있다.7 is a flowchart for explaining in more detail step S200, which is a part of the trackable de-identification method according to FIG. 6 . The step of generating the de-identified data ( S200 ) may include steps to be described later. It may be described with reference to FIGS. 1 to 3 together.

비식별화 하고자 하는 상기 객체를 인식할 수 있고(S210), 객체 식별 정보로부터 객체의 특징 정보(424)를 추출할 수 있다(S220). 그리고, 해당 객체에 식별자(ID)를 할당하여 비식별화 데이터(410)를 생성할 수 있다(S230).The object to be de-identified may be recognized (S210), and characteristic information 424 of the object may be extracted from the object identification information (S220). Then, de-identification data 410 may be generated by allocating an identifier (ID) to the corresponding object (S230).

비식별화 데이터(410)와 원본 데이터에서 추출한 객체의 특징 정보(424)는 제1 데이터베이스(400)의 특징 테이블(420)에 저장될 수 있다. 이때, 특징 테이블(420)에는 객체의 특징 정보(424)를 기반으로 객체 별로 부여된 디지털 식별자(ID) 및 그룹화 정보(430)도 저장되어 객체를 통합적으로 관리할 수 있다. The de-identification data 410 and the feature information 424 of the object extracted from the original data may be stored in the feature table 420 of the first database 400 . In this case, the digital identifier (ID) and grouping information 430 given to each object based on the characteristic information 424 of the object are also stored in the characteristic table 420 to manage the object in an integrated manner.

객체를 추적하는 단계(S400)(도 6 참고)는, 비식별화 데이터(410), 특징 정보(424) 및 식별자를 이용하여 객체의 이동 정보를 분석하는 단계를 포함할 수 있다.The step of tracking the object ( S400 ) (refer to FIG. 6 ) may include analyzing the movement information of the object using the de-identification data 410 , the characteristic information 424 , and the identifier.

도 8은 본 발명의 일 실시예에 따른 추적 가능한 비식별화 방법을 시스템의 관점에서 설명하기 위한 흐름도이다. 이하, 도 4 및 도 5를 함께 참고하여, 사용자의 요청에 따라 추적 가능한 비식별화 장치(10)를 활용해 원하는 데이터를 획득할 수 있는 방법에 대하여 설명한다.8 is a flowchart illustrating a traceable de-identification method from a system point of view according to an embodiment of the present invention. Hereinafter, a method for acquiring desired data by using the trackable de-identification device 10 according to a user's request will be described with reference to FIGS. 4 and 5 together.

도 8을 참조하면, 사용자가 사용자 장치(600)를 이용하여 제1 사물인터넷 기기(100a)(도 4 참고)를 통해 필요한 정보를 요청할 수 있다(S600). 여기서, 사용자의 요청을 인식하는 사물인터넷 기기(100)는 음성 인식, 영상 인식, 터치 인식 등 요청을 인지하는 센서(102)를 구비할 수 있다. 예를 들어 가전 제품, 모바일 장비, 웨어러블 디바이스 등 다양한 사물인터넷 기기(100)가 인터넷으로 연결되어 사용자의 요청을 인식할 수 있다. Referring to FIG. 8 , a user may request necessary information through the first IoT device 100a (refer to FIG. 4 ) using the user device 600 ( S600 ). Here, the IoT device 100 for recognizing a user's request may include a sensor 102 for recognizing a request such as voice recognition, image recognition, and touch recognition. For example, various IoT devices 100 such as home appliances, mobile devices, and wearable devices may be connected to the Internet to recognize a user's request.

사물인터넷 기기(100)는 사용자의 요청에 따라 적절한 주변 기기를 탐색할 수 있다(S700). 상기 주변 기기는 추적 가능한 비식별화 장치(10)가 연동되어 있는 기기일 수도 있고, 비식별화 장치(10)와 연동되지 않은 일반 사물인터넷 기기일 수도 있다. The IoT device 100 may search for an appropriate peripheral device according to a user's request (S700). The peripheral device may be a device to which the trackable de-identification device 10 is interlocked, or may be a general IoT device that is not interlocked with the de-identification device 10 .

사물인터넷 기기(100)는 사용자가 요청한 데이터를 보유한 주변 기기로부터 비식별화 데이터를 수신할 수 있다(S800). The IoT device 100 may receive de-identification data from a peripheral device having data requested by the user (S800).

사용자가 요청한 데이터를 수신한 사물인터넷 기기(100)는 해당 비식별화 데이터를 기초로 사용자 장치(600)에 응답할 수 있다(S900). 이때, 추적 가능한 비식별화 장치(10)는 사용자의 요청과 기기(100)의 응답이 반복되며 축적된 데이터를 기반으로 명령어 및 응답 히스토리를 분석해 학습할 수 있고, 보다 개선된 사용자 맞춤형 서비스를 제공할 수 있다.The IoT device 100 that has received the data requested by the user may respond to the user device 600 based on the corresponding de-identification data (S900). At this time, the trackable de-identification device 10 can learn by analyzing the command and response history based on the data accumulated by repeating the user's request and the response of the device 100, and provides a more improved user-customized service can do.

실시예Example

이하, 추적 가능한 비식별화 장치(10)를 안전, 통신, 교통, 보건, 의료, 상업, 보험 등 다양한 분야에서 활용할 수 있는 실시예에 대해 설명한다.Hereinafter, an embodiment in which the trackable de-identification device 10 can be utilized in various fields such as safety, communication, traffic, health, medical care, commerce, and insurance will be described.

본 발명은 반려동물을 키우는 가구, 맞벌이 가구, 1인 가구 등 실내 모니터링을 필요로 하는 사용자가 집 내부의 상황을 안전하게 관리할 수 있는 시스템을 제공할 수 있다. 도 4를 참조하면, 센서(102)를 구비한 사물인터넷 기기(100)는 가정 내 홈 CCTV일 수 있다. 가정에 카메라가 장착된 홈캠, IP카메라 등 홈 CCTV와 같은 사물인터넷 기기(100)를 설치하여 카메라 방향을 조절하여 집 내부의 상황을 실시간으로 전달받고, 통신망(20)을 통해 클라우드 저장소에 보관하는 방식으로 사용할 수 있다. The present invention can provide a system that allows a user who needs indoor monitoring, such as households raising companion animals, dual-income households, and single-person households, to safely manage the situation inside the house. Referring to FIG. 4 , the IoT device 100 having the sensor 102 may be a home CCTV in the home. By installing an IoT device 100 such as a home CCTV, such as a home cam or IP camera equipped with a camera in the home, adjusting the camera direction to receive the situation inside the house in real time, and to store it in the cloud storage through the communication network 20 method can be used.

이때, 개인의 사생활이 가장 많이 노출되는 집 안에서 수집한 데이터로 인해 발생할 수 있는 개인정보와 민감정보의 유출 가능성은 본 발명의 비식별화 장치(10)의 비식별화 엔진(200)을 통해 해결할 수 있다. 비식별화 엔진(200)의 영상 비식별화부(216)에서는 수집한 영상 데이터 중 프라이버시로 간주되는 픽셀을 비식별화 심볼로 대체해 원본 데이터 복원을 불가능하게 하므로 가정 내에 설치되는 홈 CCTV(홈캠, IP카메라) 데이터가 외부로 데이터가 유출되어도 보안상 안전할 수 있다. 또한 마이크를 통해 수집된 민감정보나 계좌 정보와 같이 유출되면 개인에게 큰 타격을 입힐 수 있는 음성정보에 대해서는 음성 비식별화부(226)에서 해당 부분을 제거한 후 다른 음으로 대체하는 음성 비식별화도 진행할 수 있다. At this time, the possibility of leakage of personal information and sensitive information that may occur due to data collected in a house where personal privacy is most exposed is solved through the de-identification engine 200 of the de-identification device 10 of the present invention. can The image de-identification unit 216 of the de-identification engine 200 replaces the pixels considered as privacy among the collected image data with de-identification symbols to make it impossible to restore the original data, so home CCTV (home cam, IP camera) data can be secure even if data is leaked to the outside. In addition, for voice information that can cause great damage to individuals if leaked, such as sensitive information or account information collected through a microphone, the voice de-identification unit 226 removes the corresponding part and replaces it with another sound. can

사물인터넷 기기(100)의 센서(102)가 될 수 있는 카메라와 마이크를 통해 수집한 객체의 특징을 기반으로 가족 구성원을 식별해 고유 디지털 ID를 부여한 후, 원본 데이터 내 이동 객체 자체는 비식별화할 수 있다. 여기서, 구성원 간 세부적인 특징을 파악하여 서로 다른 사람으로 인식될 경우, 다른 심볼로 처리할 수 있다. 개인정보 및 민감정보를 구분하는 기술은 훈련 데이터를 통해 더욱 효과적으로 학습될 것이며, 테스트 데이터를 통해 비식별화 엔진(200)과 추적 엔진(300)의 성능을 지속적으로 향상시킬 수 있다.After identifying a family member based on the characteristics of the object collected through the camera and microphone, which can be the sensor 102 of the IoT device 100, and giving a unique digital ID, the moving object itself in the original data can be de-identified. can Here, when detailed characteristics between members are identified and recognized as different people, they can be treated as different symbols. The technology for classifying personal information and sensitive information will be more effectively learned through training data, and the performance of the de-identification engine 200 and the tracking engine 300 can be continuously improved through the test data.

도 4와 같이 집 안에 복수의 카메라(100)를 설치할 경우, 추적 엔진(300)은 각 카메라(100)끼리 네트워킹을 통해 이동 객체를 정확하게 추적할 수 있다. 단일 카메라(100)가 있는 환경에서는 줌인, 줌아웃 기능을 활용해 객체를 추적할 수 있다. 객체의 데이터가 축적될수록 정확한 분석과 학습이 가능하며, 사용자에 최적화된 맞춤형 서비스를 제공할 수 있다.When a plurality of cameras 100 are installed in a house as shown in FIG. 4 , the tracking engine 300 may accurately track a moving object through networking between the cameras 100 . In an environment with a single camera 100, an object can be tracked by using zoom-in and zoom-out functions. Accurate analysis and learning are possible as object data is accumulated, and customized services optimized for users can be provided.

또한, 본 발명은 스마트홈에 장착된 센서들을 통해 가전기기의 사용 현황을 파악하고 불필요하게 낭비되고 있는 전기나 가스에 대해 사용자에게 적절한 조언을 제공해 줄 수 있다. 각종 스마트 가전기기(100)에 부착된 센서(102)는 영상 센서, 음성 센서, 적외선 센서, 온/습도 센서, 소리 감지 센서 등이 될 수 있다. 상기 센서(102)를 통해 가정 내의 전기 및 가스 사용현황을 파악하고, 낭비되고 있는 부분을 방지할 수 있는 서비스를 제공할 수 있다.In addition, the present invention can identify the usage status of home appliances through sensors mounted in the smart home and provide appropriate advice to the user about unnecessary waste of electricity or gas. The sensor 102 attached to the various smart home appliances 100 may be an image sensor, an audio sensor, an infrared sensor, a temperature/humidity sensor, a sound sensor, and the like. Through the sensor 102, it is possible to identify the current state of electricity and gas usage in the home, and provide a service capable of preventing a wasted portion.

또한, 본 발명은 차량 내 음성처리기기와 도로변, 길가, 및 주차장에 설치된 CCTV에 적용되어 사용자에게 기존 위성 정보로는 파악하기 어려운 실내 주차장과 같은 실내 교통정보 등을 제공할 수 있다. 도 5를 참조하면, 사용자가 자동차 안에서 차량에 탑재된 음성비서(102)를 통해 '현재 교통상황 알려줘', '주차장 내 여유 공간 알려줘' 등의 질의를 음성으로 요청하면, 상기 음성비서는 즉시 사용자가 요청한 지역의 주차장을 검색하여 상황을 알려줄 수 있다. 이때, 차량 내 사물인터넷 기기(100)는 해당 음성을 인지한 후, 정보를 얻기 위해 주변에 위치한 외부 사물인터넷 기기인 CCTV(110)와 통신할 수 있다. 외부 사물인터넷 기기(110)는 도로 및 길가에 설치된 CCTV 외에도 실내에 설치된 CCTV 등 교통 정보 획득 또는 기타 정보를 갖고 있는 기기가 될 수 있다. 주변 기기(110)와의 네트워킹을 통해 상기 차량 내 사물인터넷 기기(100)는 기존 위성 정보로는 파악하기 어려운 실내 상황과 보다 정확한 교통 정보를 전달받을 수 있다. 사용자가 선호하는 주차장이 있는 경우, 해당 주차장 내 CCTV(110)나 외부 센서(112)와 통신하여 주차 상황을 전달받을 수 있다. 이때, 차량 인메모리에 저장된 음성 명령은 비식별화 장치(10)의 비식별화 엔진(200)을 통해 안전하게 비식별화될 수 있다. 이후 품질 향상을 위해 음성 비식별화부(226)는 사용자 질의에서 개인을 식별할 수 있는 정보를 제거한 후, 비식별화 처리하여 개방형 데이터베이스(400)에 저장할 수 있다. 이후, 사용자로부터 새로운 요청이 들어왔을 때 개방형 데이터베이스(400)에 저장된 기존 정보를 같이 활용하여 맞춤형 서비스를 제공할 수 있다.In addition, the present invention can be applied to a voice processing device in a vehicle and a CCTV installed on a roadside, a roadside, and a parking lot to provide a user with indoor traffic information, such as an indoor parking lot, which is difficult to grasp with existing satellite information. Referring to FIG. 5 , when a user requests by voice a query such as 'Tell me about the current traffic situation' or 'Tell me about free space in the parking lot' through the voice assistant 102 mounted on the vehicle in the car, the voice assistant immediately responds to the user. can search for a parking lot in the requested area and inform you of the situation. In this case, the in-vehicle IoT device 100 may communicate with the CCTV 110 , which is an external IoT device located nearby, in order to obtain information after recognizing the corresponding voice. The external IoT device 110 may be a device having traffic information acquisition or other information such as CCTV installed indoors in addition to CCTV installed on roads and roadside. Through networking with the peripheral device 110 , the in-vehicle IoT device 100 can receive indoor conditions and more accurate traffic information that are difficult to understand with conventional satellite information. If there is a parking lot preferred by the user, the parking situation may be transmitted by communicating with the CCTV 110 or the external sensor 112 in the corresponding parking lot. In this case, the voice command stored in the vehicle in-memory may be safely de-identified through the de-identification engine 200 of the de-identification device 10 . Thereafter, in order to improve quality, the voice de-identification unit 226 may remove information that can identify an individual from the user's query, de-identify it, and store it in the open database 400 . Thereafter, when a new request is received from a user, a customized service may be provided by using the existing information stored in the open database 400 together.

이 외에도 차량 내에 설치된 블랙박스(100)가 수집한 영상 및 음성 데이터 중 객체 식별 정보에 대해 비식별화를 진행할 수 있다. 이러한 기술은 추후 자율주행차나 기타 산업 기관에서 사용되는 영상, 음성 처리장치에도 활용할 수 있다.In addition, de-identification of object identification information among the video and audio data collected by the black box 100 installed in the vehicle may be performed. These technologies can be used for video and audio processing devices used in autonomous vehicles and other industrial organizations in the future.

또한, 본 발명은 노인이 홀로 사는 집 혹은 요양원의 사물인터넷 기기(100)를 통해 노인의 움직임을 추적하고, 이동 경로와 패턴을 분석해 응급 상황 및 돌발 상황에 대비할 수 있다. 도 4를 참조하면, 노인이 자주 머무는 위치마다 카메라와 같은 다수의 사물인터넷 기기(100)를 장착하면, 노인이 집에서 움직이는 경로를 파악할 수 있다. 설치된 다수의 카메라(100)에 적용된 비식별화 장치(10)의 추적 엔진(300)은 기기 간 네트워킹을 통해 노인의 이동 경로에 따른 데이터를 수집할 수 있다. 이때, 노인의 정확한 움직임 형태와 패턴을 분석할 수 있으므로 적절한 케어 및 맞춤형 서비스 제공이 가능할 수 있다. 노인의 움직임을 관찰하고 싶은 보호자는 사용자 장치(600)을 통해 노인의 안부를 확인할 수 있다. 만약 노인의 거동 혹은 이동 패턴이 기록된 개방형 데이터베이스(400)에 저장된 특징과 다른 이상한 점이 포착된다면, 예를 들어, 부엌에 있던 기기와 거실에 있는 기기 간 네트워킹을 통해 사용자 및 보호자에게 해당 특이 사항을 제공할 수 있다. 또한, 사물인터넷 기기(100)는 영상 데이터뿐만 아니라, 음성데이터도 함께 수집 및 공유함으로써 보다 더 정확한 서비스의 제공이 가능할 수 있다. 노인의 행동을 파악하는 사물인터넷 기기(100)가 수집한 영상 데이터는 영상 비식별화부(216)를 통해, 음성 데이터는 음성 비식별화부(226)을 통해 원천적으로 비식별되기에 서비스의 안전성이 확보될 수 있다.In addition, according to the present invention, it is possible to prepare for emergency and unexpected situations by tracking the movement of the elderly through the IoT device 100 of the home or nursing home where the elderly live alone, and analyzing the movement route and pattern. Referring to FIG. 4 , if a plurality of IoT devices 100 such as cameras are mounted at each location where the elderly frequently stay, the path of the elderly moving in the house can be identified. The tracking engine 300 of the de-identification device 10 applied to the installed plurality of cameras 100 may collect data along the movement path of the elderly through device-to-device networking. In this case, it is possible to analyze the precise movement form and pattern of the elderly, so that it is possible to provide appropriate care and customized services. A guardian who wants to observe the movement of the elderly may check the safety of the elderly through the user device 600 . If an abnormality different from the characteristic stored in the open database 400 in which the behavior or movement pattern of the elderly is recorded is detected, for example, through networking between the device in the kitchen and the device in the living room, the specific information is provided to the user and guardian can provide In addition, the IoT device 100 may provide a more accurate service by collecting and sharing audio data as well as image data. Since the image data collected by the IoT device 100 that identifies the behavior of the elderly is de-identified through the image de-identification unit 216 and the voice data is fundamentally de-identified through the voice de-identification unit 226, the safety of the service is improved. can be secured.

또한, 본 발명은 의료업계의 수술실 CCTV 영상 데이터 속 의사, 간호사, 환자 등의 이동 객체를 비식별화함으로써 외부 시스템과 차단시켜 수술실 촬영의 프라이버시 문제를 기술적으로 해결할 수 있다. 비식별화 엔진(200)을 통해 영상 속 객체를 비식별화하고 추적 엔진(300)으로 객체를 추적함으로써, 수술실에 설치된 카메라가 부착된 사물인터넷 기기(100)를 통해 내부 상황을 확인하여 원본 데이터를 적극적으로 활용할 수 있다.In addition, the present invention can technically solve the privacy problem of operating room shooting by de-identifying moving objects such as doctors, nurses, and patients in the CCTV image data of the operating room in the medical industry and blocking it from the external system. By de-identifying the object in the image through the de-identification engine 200 and tracking the object with the tracking engine 300, the internal situation is checked through the IoT device 100 with the camera installed in the operating room and the original data can be actively used.

개방형 데이터베이스(400)에 저장된 의료 데이터는 비식별화되고 심볼로 대체되어 외부로 공개할 수 있기 때문에 의료 사고시 분쟁을 줄이고, 사고 발생시 정확한 사고 원인에 대해 조사할 수 있다. 또한, 기존에는 불가능했던 민감한 의료 데이터를 수집할 수 있어 추후 보호자, 의료진, 간병인에게 맞춤형 의료 서비스를 제공하고 난치병 치료법 개발 등 향상된 서비스 제공이 가능하다.Since the medical data stored in the open database 400 can be de-identified and replaced with symbols and disclosed to the outside, it is possible to reduce disputes during medical accidents and to investigate the exact cause of accidents when accidents occur. In addition, it is possible to collect sensitive medical data, which was previously impossible, to provide customized medical services to guardians, medical staff, and caregivers in the future, and to provide improved services such as the development of treatments for incurable diseases.

도 4와 같이 병실, 진료실, 수술실 등에 CCTV와 같은 다수의 사물인터넷 기기(100)를 연결하여 서로 통신하면 환자와 의료진의 행적 분석에 정확성을 높일 수 있다. 본 실시예에 그룹핑과 컬러링을 적용하면, 관심 집단을 설정하여 효율적으로 객체를 추적할 수 있다. 예를 들어, 그룹화 정보(430)(도 3 참고)를 이용하여 의료진 및 병원 관리인과 환자로 구분하여 그룹으로 지정하고 각각 다른 색으로 지정하여 관리할 수 있다.As shown in FIG. 4 , when a plurality of IoT devices 100 such as CCTV are connected to each other in a hospital room, medical treatment room, or operating room to communicate with each other, it is possible to increase the accuracy in analyzing the behavior of patients and medical staff. If grouping and coloring are applied to this embodiment, it is possible to efficiently track an object by setting an interest group. For example, by using the grouping information 430 (refer to FIG. 3 ), medical staff, hospital administrators, and patients may be divided into groups, and may be managed by designating them in different colors.

또한, 본 발명은 쇼핑몰, 스트릿 상가, 번화가, 광장 등 유동 인구가 많은 상업지역에 적용되어 사람들의 이동 패턴을 분석해 상업적 데이터를 구축할 수 있다.In addition, the present invention can be applied to commercial areas with a large floating population, such as shopping malls, street shopping malls, downtown areas, and plazas, to analyze people's movement patterns to construct commercial data.

상업 지역에 CCTV와 같은 사물인터넷 기기(100)을 설치하고, 기기가 수집한 데이터에서 연령, 성별에 따른 이동 패턴, 머무르는 시간 등을 분석해 소비패턴과 대상 그룹별 특징을 잡아내 마케팅이나 홍보에 활용할 수 있고, 시장 규모를 효율적으로 파악할 수 있다. 특히, 길거리에 설치되어 있는 다수의 CCTV가 설치되어 있는 경우처럼 모든 사람에게 영상과 음성 데이터 활용 동의를 받을 수 없는 경우, 본 발명의 비식별화 장치(10)를 이용하여 원본 데이터의 객체 식별 정보를 비식별화함으로써 보안성도 확보함과 동시에 빅데이터로도 이용할 수 있다. 사물인터넷 기기(100)로부터 오랜 기간 동안 데이터가 수집되고 데이터가 축적될수록 해당 데이터에 대한 정확도가 향상되고, 정보의 신뢰성을 제공할 수 있다.Install IoT devices 100 such as CCTVs in commercial areas, analyze movement patterns according to age and gender, and length of stay from the data collected by the devices to capture consumption patterns and characteristics of each target group and utilize them for marketing or promotion and can effectively determine the size of the market. In particular, when it is not possible to obtain consent to use video and audio data from everyone, such as when multiple CCTVs installed on the street are installed, object identification information of the original data using the de-identification device 10 of the present invention By de-identifying the data, it can be used as big data while securing security. As data is collected from the IoT device 100 for a long period of time and data is accumulated, the accuracy of the corresponding data may be improved, and reliability of information may be provided.

상업 지역에 설치된 CCTV(100)를 통해 영상 데이터를 수집하면 영상 속 객체에서 확인할 수 있는 얼굴, 성별, 신장 등 신체적 특징을 기반으로 각 객체를 식별하여 디지털 ID를 부여하고, 심볼로 대체하여 비식별화할 수 있다. 비식별화된 영상 데이터에서 대상이 되는 객체를 지정하면 활성화되며, 객체의 디지털 ID를 출력하고, 해당 객체의 데이터와 본 시스템의 개방형 데이터베이스(400)에 저장되어 있는 데이터를 비교하여 얼마나 일치하는지 산출한 후, 함께 출력할 수 있다. 객체에 대한 새로운 데이터는 다시 데이터베이스(400)에 기록되고, 차후 추적 엔진(300)에서 기존 데이터베이스에 있는 데이터와 비교할 때 반영된다.When video data is collected through CCTV 100 installed in a commercial area, each object is identified based on physical characteristics such as face, gender, and height that can be identified in the object in the video, given a digital ID, and replaced with a symbol to de-identify can get angry It is activated when a target object is specified in the de-identified image data, the digital ID of the object is output, and the data of the object is compared with the data stored in the open database 400 of the present system to calculate how much they match After that, you can print them together. The new data for the object is again recorded in the database 400 , and then reflected when compared with the data in the existing database in the tracking engine 300 .

또한, 본 발명은 적절한 증거자료나 객관적인 사실 입증을 위한 데이터를 요구하는 보험분야에서 프라이버시 침해 없이 비식별화된 영상 및 음성 데이터를 통해 사고 원인과 과실 여부를 명확히 판단할 수 있다.In addition, the present invention can clearly determine the cause of an accident and negligence through de-identified video and audio data without infringing privacy in the insurance field that requires appropriate evidence or data for objective fact verification.

또한, 본 발명은 적절한 증거자료나 객관적인 사실 입증을 위한 데이터를 요구하는 보험분야에도 활용될 수 있다. 피보험자가 보험사에 보험금을 청구하게 되면 사고를 입증할 수 있는 증거 자료를 제출해야 하는데, 이때 각종 사물인터넷 기기(100)에서 수집한 영상과 음성 데이터에 일 실시예에 따른 비식별화 장치(10)를 적용하여 사고 입증 증거 자료로 제출할 수 있다.In addition, the present invention can be applied to the insurance field that requires data to prove appropriate evidence or objective facts. When the insured claims the insurance money from the insurance company, it is necessary to submit evidence to prove the accident. can be applied and submitted as evidence of the accident.

사고가 자주 발생하는 장소, 사고가 예상되는 지역에 비식별화 장치(10)를 설치하면, 프라이버시 침해 없이 사고 원인과 과실 여부를 명확히 판단할 수 있고, 보험사 측에서도는 입증 수단을 갖출 수 있으므로 리스크를 감소시킬 수 있다.If the de-identification device 10 is installed in a place where accidents frequently occur or where accidents are expected, the cause and negligence of the accident can be clearly determined without infringing privacy, and the insurance company can also have a means of proof, thereby reducing the risk. can be reduced

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium may be to store a program executable by a computer. Examples of the medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and those configured to store program instructions, including ROM, RAM, flash memory, and the like.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims Various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

따라서, 본 발명의 사상은 앞에서 설명된 실시예들에 국한하여 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위가 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and not only the claims described below, but also all scopes equivalent to or changed from the claims described below are of the spirit of the present invention. would be said to belong to the category.

10: 비식별화 장치 100: 사물인터넷 기기
102: 센서 110: 외부 사물인터넷 기기
112: 외부 센서 11: 통신부
12: 제어부 13: 메모리
20: 통신망 200: 비식별화 엔진
212, 222: 객체 인식부 214, 224: 특징 검출부
216, 226: 생성부 218, 228: 처리부
300: 추적 엔진 400: 제1 데이터베이스
410: 비식별화 데이터 420: 특징 테이블
422: 디지털 식별자 424: 특징 정보
430: 그룹화 정보 500: 제2 데이터베이스
600: 사용자 장치
10: de-identification device 100: IoT device
102: sensor 110: external IoT device
112: external sensor 11: communication unit
12: control unit 13: memory
20: network 200: de-identification engine
212, 222: object recognition unit 214, 224: feature detection unit
216, 226: generating unit 218, 228: processing unit
300: tracking engine 400: first database
410: de-identified data 420: feature table
422: digital identifier 424: characteristic information
430: grouping information 500: second database
600: user device

Claims (14)

객체 식별 정보를 포함하는 원본 데이터를 수신하는 단계;
비식별화 엔진이 상기 원본 데이터로부터 상기 객체 식별 정보를 비식별화하여 복원 불가능한 비식별화 데이터를 생성하는 단계;
상기 원본 데이터 및 상기 비식별화 데이터를 데이터베이스에 저장하는 단계; 및
추적 엔진이 상기 비식별화 데이터 및 상기 원본 데이터 중 적어도 하나를 기초로 상기 객체를 추적하는 단계;를 포함하고,
상기 데이터베이스는 제1 데이터베이스 및 제2 데이터베이스를 포함하고,
상기 원본 데이터 및 상기 비식별화 데이터를 상기 데이터베이스에 저장하는 단계는,
상기 비식별화 데이터를 외부로 공개될 수 있는 형태로 상기 제1 데이터베이스에 저장하는 단계; 및
상기 원본 데이터를 암호화 처리하여 상기 제2 데이터베이스에 저장하는 단계;를 포함하고,
상기 제1 데이터베이스는 상기 객체를 추적하는 단계에서 생성된 추적 결과 데이터에 의해 갱신되는, 추적 가능한 비식별화 방법.
receiving original data including object identification information;
generating, by a de-identification engine, de-identification data that cannot be restored by de-identifying the object identification information from the original data;
storing the original data and the de-identified data in a database; and
a tracking engine tracking the object based on at least one of the de-identified data and the original data;
The database includes a first database and a second database,
Storing the original data and the de-identified data in the database comprises:
storing the de-identified data in the first database in a form that can be disclosed to the outside; and
Including; encrypting the original data and storing it in the second database;
and the first database is updated by the tracking result data generated in the step of tracking the object.
제1항에 있어서,
상기 비식별화 데이터를 생성하는 단계는,
비식별화 하고자 하는 상기 객체를 인식하는 단계;
상기 객체 식별 정보로부터 객체의 특징 정보를 추출하는 단계; 및
상기 객체에 식별자(Identifier; ID)를 할당하여 상기 비식별화 데이터를 생성하는 단계;를 포함하는, 추적 가능한 비식별화 방법.
According to claim 1,
The step of generating the de-identified data includes:
recognizing the object to be de-identified;
extracting characteristic information of an object from the object identification information; and
Generating the de-identification data by allocating an identifier (ID) to the object; Containing, a traceable de-identification method.
제1항에 있어서,
상기 제1 데이터베이스에는 상기 비식별화 데이터, 특징 테이블 및 상기 객체가 복수일 때 상기 객체의 유사성을 기초로 한 그룹화 정보가 저장되고, 상기 특징 테이블은 상기 객체의 특징 정보와 상기 비식별화 데이터를 생성할 때 사용하는 식별자를 포함하며,
상기 객체를 추적하는 단계에서, 상기 비식별화 데이터, 상기 특징 테이블, 상기 그룹화 정보 및 상기 제2 데이터베이스에 저장된 원본 데이터 중 적어도 하나를 이용하여 상기 객체를 추적하는, 추적 가능한 비식별화 방법.
According to claim 1,
The first database stores the de-identification data, the feature table, and grouping information based on the similarity of the objects when there are a plurality of objects, and the feature table stores the feature information of the object and the de-identification data. Contains the identifier used when generating,
In the tracking of the object, the object is tracked using at least one of the de-identification data, the feature table, the grouping information, and original data stored in the second database.
제2항에 있어서,
상기 원본 데이터는 영상 데이터를 포함하고, 상기 비식별화 데이터는 상기 영상 데이터를 비식별화한 제1 비식별화 데이터를 포함하고,
상기 제1 비식별화 데이터를 생성하는 단계는,
상기 영상 데이터로부터 고정 영역, 및 상기 객체가 이동하는 영역을 포함하는 비식별화 영역을 구분하는 단계;
상기 비식별화 영역에 대하여 상기 이동하는 객체의 픽셀을 검출하는 단계; 및
상기 검출한 픽셀에 상기 식별자를 할당하여 상기 제1 비식별화 데이터를 생성하는 단계;를 포함하는, 추적 가능한 비식별화 방법.
3. The method of claim 2,
The original data includes image data, and the de-identified data includes first de-identified data obtained by de-identifying the image data,
The step of generating the first de-identification data comprises:
distinguishing an unidentified area including a fixed area and a moving area of the object from the image data;
detecting a pixel of the moving object with respect to the unidentified area; and
and generating the first de-identification data by allocating the identifier to the detected pixel.
제2항 또는 제4항에 있어서,
상기 원본 데이터는 음성 데이터를 포함하고, 상기 비식별화 데이터는 상기 음성 데이터를 비식별화한 제2 비식별화 데이터를 포함하고,
상기 제2 비식별화 데이터를 생성하는 단계는,
상기 음성 데이터의 문맥을 기초로 상기 객체 식별 정보를 포함하는 비식별화 영역을 선택하는 단계;
상기 음성 데이터로부터 상기 비식별화 영역을 제거하는 단계; 및
상기 비식별화 영역이 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하여 상기 제2 비식별화 데이터를 생성하는 단계;를 포함하는, 추적 가능한 비식별화 방법.
5. The method of claim 2 or 4,
The original data includes voice data, and the de-identified data includes second de-identified data obtained by de-identifying the voice data,
The step of generating the second de-identification data includes:
selecting a de-identification area including the object identification information based on the context of the voice data;
removing the de-identified region from the voice data; and
and generating the second de-identification data by inserting a sound different from the existing sound of the voice data in the region from which the de-identification region is removed.
제3항에 있어서,
상기 객체의 특징 정보는, 상기 객체의 이동 패턴, 출현 시각 및 출현 빈도 중 적어도 하나를 포함하는 중기 데이터를 포함하고,
상기 객체를 추적하는 단계에서, 상기 중기 데이터를 이용하여 상기 객체의 이동 정보를 분석하는, 추적 가능한 비식별화 방법.
4. The method of claim 3,
The characteristic information of the object includes mid-term data including at least one of a movement pattern, an appearance time, and an appearance frequency of the object,
In the step of tracking the object, the trackable de-identification method of analyzing the movement information of the object using the intermediate data.
제2항에 있어서,
상기 원본 데이터를 수신하는 단계에서, 상기 원본 데이터는 제1 사물인터넷 기기를 포함하는 복수의 사물인터넷 기기로부터 수신되고,
상기 추적 가능한 비식별화 방법은,
사용자가 사용자 장치를 이용하여 상기 제1 사물인터넷 기기에 필요한 정보를 요청하는 단계;
상기 사용자의 요청에 따라 상기 제1 사물인터넷 기기를 제외한 사물인터넷 기기를 포함하는 주변 기기를 탐색하는 단계;
상기 주변 기기로부터 상기 비식별화 데이터를 수신하는 단계; 및
상기 비식별화 데이터를 기초로 상기 사용자 장치에 응답하는 단계;를 더 포함하는, 추적 가능한 비식별화 방법.
3. The method of claim 2,
In the receiving of the original data, the original data is received from a plurality of IoT devices including a first IoT device,
The traceable de-identification method is,
requesting information necessary for the first IoT device by a user using a user device;
searching for peripheral devices including IoT devices other than the first IoT device according to the user's request;
receiving the de-identification data from the peripheral device; and
and responding to the user device based on the de-identification data.
객체 식별 정보를 포함하는 원본 데이터를 수신하는 통신부;
상기 원본 데이터로부터 생성한 비식별화 데이터를 이용하여 객체를 추적하도록 동작하는 제어부; 및
상기 원본 데이터 및 상기 비식별화 데이터가 저장되는 데이터베이스를 포함하는 메모리;를 포함하고,
상기 제어부는,
상기 원본 데이터로부터 상기 객체 식별 정보를 비식별화하여 복원 불가능한 상기 비식별화 데이터를 생성하는 비식별화 엔진; 및
상기 비식별화 데이터 및 상기 원본 데이터 중 적어도 하나를 기초로 상기 객체를 추적하는 추적 엔진;을 포함하고,
상기 데이터베이스는 제1 데이터베이스 및 제2 데이터베이스를 포함하고,
상기 제1 데이터베이스에는 상기 비식별화 데이터가 외부로 공개될 수 있는 형태로 저장되고,
상기 제2 데이터베이스에는 상기 원본 데이터가 암호화 처리되어 저장되며,
상기 제1 데이터베이스는 상기 객체를 추적하는 단계에서 생성된 추적 결과 데이터에 의해 갱신되는, 추적 가능한 비식별화 장치.
a communication unit for receiving original data including object identification information;
a control unit operable to track an object using de-identified data generated from the original data; and
A memory including a database in which the original data and the de-identified data are stored;
The control unit is
a de-identification engine de-identifying the object identification information from the original data to generate the de-identification data that cannot be restored; and
a tracking engine that tracks the object based on at least one of the de-identified data and the original data;
The database includes a first database and a second database,
In the first database, the de-identified data is stored in a form that can be disclosed to the outside,
The original data is encrypted and stored in the second database,
The first database is updated by the tracking result data generated in the step of tracking the object, trackable de-identification device.
제8항에 있어서,
상기 비식별화 엔진은,
비식별화 하고자 하는 상기 객체를 인식하는 객체 인식부;
상기 객체 식별 정보로부터 객체의 특징 정보를 추출하는 특징 검출부;
상기 객체에 식별자(Identifier; ID)를 할당하여 상기 비식별화 데이터를 생성하는 생성부; 및
상기 데이터베이스에 상기 원본 데이터 및 상기 비식별화 데이터를 저장하는 처리부;를 포함하는, 추적 가능한 비식별화 장치.
9. The method of claim 8,
The de-identification engine is
an object recognition unit for recognizing the object to be de-identified;
a feature detection unit for extracting feature information of an object from the object identification information;
a generator for allocating an identifier (ID) to the object to generate the de-identified data; and
A traceable de-identification device comprising a; a processing unit for storing the original data and the de-identification data in the database.
제8항에 있어서,
상기 비식별화 엔진은,
상기 제1 데이터베이스에 상기 비식별화 데이터, 특징 테이블 및 상기 객체가 복수일 때 상기 객체의 유사성을 기초로 한 그룹화 정보를 저장하고, 상기 특징 테이블은 상기 객체의 특징 정보와 상기 비식별화 데이터를 생성할 때 사용하는 식별자를 포함하며,
상기 추적 엔진은, 상기 비식별화 데이터, 상기 특징 테이블, 상기 그룹화 정보 및 상기 제2 데이터베이스에 저장된 원본 데이터 중 적어도 하나를 이용하여 상기 객체를 추적하는, 추적 가능한 비식별화 장치.
9. The method of claim 8,
The de-identification engine is
store the de-identification data, the feature table, and grouping information based on the similarity of the object when there are a plurality of the objects in the first database, wherein the feature table includes the feature information of the object and the de-identification data Contains the identifier used when generating,
The tracking engine is configured to track the object by using at least one of the de-identification data, the feature table, the grouping information, and original data stored in the second database.
제9항에 있어서,
상기 원본 데이터는 영상 데이터를 포함하고, 상기 비식별화 데이터는 상기 영상 데이터를 비식별화한 제1 비식별화 데이터를 포함하고,
상기 비식별화 엔진은 상기 영상 데이터를 비식별화하여 상기 제1 비식별화 데이터를 생성하는 제1 데이터부를 포함하고,
상기 제1 데이터부는,
상기 영상 데이터로부터 고정 영역, 및 상기 객체가 이동하는 영역을 포함하는 비식별화 영역을 구분하고,
상기 비식별화 영역에 대하여 상기 이동하는 객체의 픽셀을 검출하고,
상기 검출한 픽셀에 상기 식별자를 할당하여 상기 제1 비식별화 데이터를 생성하는, 추적 가능한 비식별화 장치.
10. The method of claim 9,
The original data includes image data, and the de-identified data includes first de-identified data obtained by de-identifying the image data,
The de-identification engine includes a first data unit configured to de-identify the image data to generate the first de-identified data,
The first data unit,
distinguishing a non-identifying area including a fixed area and a moving area of the object from the image data;
Detecting the pixel of the moving object with respect to the unidentified area,
and generating the first de-identification data by allocating the identifier to the detected pixel.
제9항에 있어서,
상기 원본 데이터는 음성 데이터를 포함하고, 상기 비식별화 데이터는 상기 음성 데이터를 비식별화한 제2 비식별화 데이터를 포함하고,
상기 비식별화 엔진은 상기 음성 데이터를 비식별화하여 상기 제2 비식별화 데이터를 생성하는 제2 데이터부를 포함하고,
상기 제2 데이터부는,
상기 음성 데이터의 문맥을 기초로 상기 객체 식별 정보를 포함하는 비식별화 영역을 선택하고,
상기 음성 데이터로부터 상기 비식별화 영역을 제거하고,
상기 비식별화 영역이 제거된 영역에 상기 음성 데이터의 기존 음과 다른 음을 삽입하여 상기 제2 비식별화 데이터를 생성하는, 추적 가능한 비식별화 장치.
10. The method of claim 9,
The original data includes voice data, and the de-identified data includes second de-identified data obtained by de-identifying the voice data,
The de-identification engine includes a second data unit configured to de-identify the voice data to generate the second de-identified data,
The second data unit,
selecting a de-identification area including the object identification information based on the context of the voice data;
removing the de-identified region from the voice data;
and generating the second de-identification data by inserting a sound different from an existing sound of the voice data into an area from which the de-identification area is removed.
제10항에 있어서,
상기 객체의 특징 정보는, 상기 객체의 이동 패턴, 출현 시각 및 출현 빈도 중 적어도 하나를 포함하는 중기 데이터를 포함하고,
상기 추적 엔진은, 상기 중기 데이터를 이용하여 상기 객체의 이동 정보를 분석하는, 추적 가능한 비식별화 장치.
11. The method of claim 10,
The characteristic information of the object includes mid-term data including at least one of a movement pattern, an appearance time, and an appearance frequency of the object,
The tracking engine, a trackable de-identification device that analyzes the movement information of the object by using the intermediate data.
제8항 내지 제13항 중 어느 한 항에 따른 추적 가능한 비식별화 장치;
상기 비식별화 장치에 객체 식별 정보를 포함하는 원본 데이터를 전송하는 사물인터넷 기기; 및
상기 사물인터넷 기기에 필요한 정보를 요청하고, 상기 비식별화 장치로부터 상기 객체의 이동 정보를 포함하는 추적 데이터를 수신하는 사용자 장치;를 포함하는, 추적 가능한 비식별화 시스템.
A trackable de-identification device according to any one of claims 8 to 13;
an IoT device for transmitting original data including object identification information to the de-identification device; and
A user device for requesting information necessary for the IoT device and receiving tracking data including movement information of the object from the de-identification device;
KR1020200004953A 2019-01-14 2020-01-14 Trackable de-identification method, apparatus and system KR102328199B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190004816 2019-01-14
KR20190004816 2019-01-14

Publications (2)

Publication Number Publication Date
KR20200088236A KR20200088236A (en) 2020-07-22
KR102328199B1 true KR102328199B1 (en) 2021-11-18

Family

ID=71893017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200004953A KR102328199B1 (en) 2019-01-14 2020-01-14 Trackable de-identification method, apparatus and system

Country Status (1)

Country Link
KR (1) KR102328199B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653639B1 (en) * 2023-07-06 2024-04-02 (주)시정 Object tracking method, apparatus and system using vision transformer and reference image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230027479A (en) * 2021-08-19 2023-02-28 주식회사 유니유니 Deep learning-based abnormal behavior detection system using de-identified data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626546B1 (en) 2015-12-09 2016-06-01 주식회사 베스트디지탈 Apparatus and method for processing image information to support protection of personal information
KR101696801B1 (en) * 2016-10-21 2017-01-16 이형각 integrated image monitoring system based on IoT camera
KR101894399B1 (en) * 2017-08-22 2018-09-04 첵트 엘엘씨 Monitoring system having personal information protection function and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA20150059A1 (en) * 2012-03-27 2015-02-27 Sicpa Holding Sa Managing Objects in a Supply Chain Using a Secure Identifier
KR101946333B1 (en) * 2017-01-13 2019-02-11 아이알링크 주식회사 System of de-identification of personal data of call center

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626546B1 (en) 2015-12-09 2016-06-01 주식회사 베스트디지탈 Apparatus and method for processing image information to support protection of personal information
KR101696801B1 (en) * 2016-10-21 2017-01-16 이형각 integrated image monitoring system based on IoT camera
KR101894399B1 (en) * 2017-08-22 2018-09-04 첵트 엘엘씨 Monitoring system having personal information protection function and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102653639B1 (en) * 2023-07-06 2024-04-02 (주)시정 Object tracking method, apparatus and system using vision transformer and reference image

Also Published As

Publication number Publication date
KR20200088236A (en) 2020-07-22

Similar Documents

Publication Publication Date Title
JP4753193B2 (en) Flow line management system and program
US20220092881A1 (en) Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program
US10824713B2 (en) Spatiotemporal authentication
CN101221621B (en) Method and system for warning a monitored user about adverse behaviors
US8130774B2 (en) Object tracking method and system
WO2018180588A1 (en) Facial image matching system and facial image search system
US20190108735A1 (en) Globally optimized recognition system and service design, from sensing to recognition
JP6689566B2 (en) Security system and security method
KR102356666B1 (en) Method and apparatus for risk detection, prediction, and its correspondence for public safety based on multiple complex information
US20190108405A1 (en) Globally optimized recognition system and service design, from sensing to recognition
CN111414854A (en) Target crowd trajectory tracking method and device
WO2021180004A1 (en) Video analysis method, video analysis management method, and related device
KR102328199B1 (en) Trackable de-identification method, apparatus and system
CN111325954B (en) Personnel loss early warning method, device, system and server
US20150242980A1 (en) Processes to Enable Individuals to Opt Out (or be Opted Out) of Various Facial Recognition and other Schemes and Enable Businesses and other Entities to Comply with Such Decisions
US20170316258A1 (en) Augmenting gesture based security technology for improved differentiation
CN110073364A (en) Object detection systems and its method based on RGBD sensing
KR101372327B1 (en) Safety management system of school zone and the service method
KR102282352B1 (en) Ai movement-tracing apparatus of infected asymptomatic people and method using the same
KR102460915B1 (en) Method and apparatus of providing traffic information, and computer program for executing the method.
Dlodlo et al. The internet of things in community safety and crime prevention for South Africa
US10628682B2 (en) Augmenting gesture based security technology using mobile devices
di Bella et al. Smart Security: Integrated systems for security policies in urban environments
US11854266B2 (en) Automated surveillance system and method therefor
KR20200067654A (en) Missing accident first response system and method for operating thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right