KR102502034B1 - Method and system for retrieving de-identified object in video - Google Patents

Method and system for retrieving de-identified object in video Download PDF

Info

Publication number
KR102502034B1
KR102502034B1 KR1020220105440A KR20220105440A KR102502034B1 KR 102502034 B1 KR102502034 B1 KR 102502034B1 KR 1020220105440 A KR1020220105440 A KR 1020220105440A KR 20220105440 A KR20220105440 A KR 20220105440A KR 102502034 B1 KR102502034 B1 KR 102502034B1
Authority
KR
South Korea
Prior art keywords
identified
image
feature vector
location information
time information
Prior art date
Application number
KR1020220105440A
Other languages
Korean (ko)
Inventor
김상태
곽찬웅
Original Assignee
주식회사 노타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노타 filed Critical 주식회사 노타
Priority to KR1020220105440A priority Critical patent/KR102502034B1/en
Application granted granted Critical
Publication of KR102502034B1 publication Critical patent/KR102502034B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

A method and system for searching for a de-identified object in an image are disclosed. The de-identified object search method according to an embodiment may include the steps of: receiving an object image for a target object to be searched in a de-identified image for the de-identified image generated by de-identifying at least one object in an arbitrary image; extracting a feature vector of the target object from the object image through a deep learning model; and extracting time information and location information of the target object corresponding to the extracted feature vector from the de-identified image through a de-identified object database. Accordingly, it is possible to search for a de-identified object in an image using a feature vector of a specific object.

Description

영상의 비 식별 처리 객체를 검색하는 방법 및 시스템{METHOD AND SYSTEM FOR RETRIEVING DE-IDENTIFIED OBJECT IN VIDEO}Method and system for searching non-identified processing object of video {METHOD AND SYSTEM FOR RETRIEVING DE-IDENTIFIED OBJECT IN VIDEO}

아래의 설명은 영상 처리 기술에 관한 것으로, 영상에서 탐지되어 비 식별화된 객체를 검색하는 방법 및 시스템에 관한 것이다.The following description relates to image processing technology, and relates to a method and system for searching for a non-identified object detected in an image.

교통량 측정 카메라, CCTV, 디지털 도어락 등 영상을 기록하는 단말에 저장된 개인정보에 대해 프라이버시 이슈로 사람의 얼굴과 같은 객체에 대한 자동 모자이크 등의 비 식별화 기술의 수요가 증가하고 있다. 예를 들어, 특정한 문제 상황에 대한 CCTV 영상의 열람 시, 이러한 CCTV 영상에는 다양한 사람들의 민감정보가 포함되어 있기 때문에 해당 문제 상황과 관련이 없는 사람에 대한 모자이크 작업이 필수적으로 요구된다. 그러나, 이러한 모자이크 작업과 같은 비 식별화 과정은 비용과 기간이 많이 소요된다는 문제점이 있다.Demand for non-identification technology such as automatic mosaic for objects such as human faces is increasing due to privacy issues regarding personal information stored in terminals that record images such as traffic measurement cameras, CCTVs, and digital door locks. For example, when viewing CCTV images of a specific problem situation, mosaic work is required for people who are not related to the problem situation because these CCTV images contain sensitive information of various people. However, there is a problem in that the non-identification process such as the mosaic work takes a lot of cost and time.

[선행문헌번호] [Prior document number]

한국공개특허 제10-2013-0047223호 Korean Patent Publication No. 10-2013-0047223

특정 객체의 피처 벡터를 이용하여 영상에서 비 식별화된 객체를 검색할 수 있는 비 식별화 객체 검색 방법 및 시스템을 제공한다.A non-identified object search method and system capable of searching for a non-identified object in an image using a feature vector of a specific object are provided.

영상에서 탐지된 객체의 영상 내 위치정보와 피처 벡터를 서로 연계하여 저장하는 비 식별화 객체 데이터베이스를 구축할 수 있는 객체 비 식별화 방법 및 시스템을 제공한다.Provided is an object de-identification method and system capable of constructing a de-identification object database that stores location information and feature vectors of objects detected in an image in association with each other.

적어도 하나의 프로세서를 포함하는 컴퓨터 시스템의 비 식별화 객체 검색 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 임의의 영상 내의 적어도 하나의 객체를 비 식별화하여 생성된 비 식별화 영상에 대해, 상기 비 식별화 영상에서 검색하고자 하는 타겟 객체에 대한 객체 이미지를 입력받는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 객체 이미지에서 딥러닝 모델을 통해 상기 타겟 객체의 피처 벡터를 추출하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 비 식별화 객체 데이터베이스를 통해 상기 추출된 피처 벡터에 대응하는 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 단계를 포함하는 비 식별화 객체 검색 방법을 제공한다. A non-identified object search method of a computer system including at least one processor, wherein, for a non-identified image generated by de-identifying at least one object in an arbitrary image by the at least one processor, Receiving an object image for a target object to be searched for in a non-identified image; extracting, by the at least one processor, a feature vector of the target object from the object image through a deep learning model; and extracting, by the at least one processor, time information and location information from the non-identified image of the target object corresponding to the extracted feature vector through a non-identified object database. Provides an object search method.

일측에 따르면, 상기 비 식별화 객체 데이터베이스는 상기 비 식별화 영상에 등장하는 객체들 각각의 피처 벡터 및 상기 객체들 각각의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장하도록 구현되는 것을 특징으로 할 수 있다.According to one side, the non-identified object database is implemented to store feature vectors of each of the objects appearing in the non-identified image and time information and location information of each of the objects in the non-identified image in association with each other. can be characterized as being

다른 측면에 따르면, 상기 시간 정보는 상기 비 식별화 영상에서 상기 타겟 객체가 등장하는 프레임에 대한 정보를 포함하고, 상기 위치 정보는 프레임내에서의 상기 타겟 객체의 공간적 위치에 대한 정보를 포함하는 것을 특징으로 할 수 있다.According to another aspect, the time information includes information about a frame in which the target object appears in the non-identified image, and the location information includes information about a spatial location of the target object within the frame. can be characterized.

또 다른 측면에 따르면, 상기 시간 정보 및 위치 정보를 추출하는 단계는,According to another aspect, the step of extracting the time information and location information,

상기 타겟 객체에 대해 추출된 피처 벡터인 제1 피처 벡터와의 유사도가 임계값 이상인 제2 피처 벡터를 상기 비 식별화 객체 데이터베이스에서 추출하는 단계; 및 상기 추출된 제2 피처 벡터와 연계하여 상기 비 식별화 객체 데이터베이스에 저장된 시간 정보 및 위치 정보를 추출하는 단계를 포함하는 것을 특징으로 할 수 있다. extracting, from the non-identified object database, a second feature vector having a degree of similarity with a first feature vector extracted for the target object that is equal to or greater than a threshold value; and extracting time information and location information stored in the non-identified object database in association with the extracted second feature vector.

또 다른 측면에 따르면, 상기 비 식별화 객체 데이터베이스는, 상기 임의의 영상에서 각 프레임별로 객체 영역을 탐지하고, 상기 탐지된 객체 영역의 피처 벡터를 추출하고, 상기 추출된 피처 벡터와 상기 탐지된 객체 영역의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장함으로써 구현되는 것을 특징으로 할 수 있다.According to another aspect, the non-identified object database detects an object region for each frame in the random image, extracts a feature vector of the detected object region, and extracts the extracted feature vector and the detected object. It may be characterized in that it is implemented by storing time information and location information in the non-identified image of a region in association with each other.

또 다른 측면에 따르면, 상기 비 식별화 객체 데이터베이스는, 상기 임의의 영상에서 각 프레임별로 객체 영역을 탐지하고, 상기 탐지된 객체 영역의 피처 벡터들을 추출하고, 상기 추출된 피처 벡터들을 객체별로 복수의 그룹으로 그룹핑하고, 상기 복수의 그룹마다 대표 피처 벡터를 설정하고, 상기 대표 피처 벡터와 상기 탐지된 객체 영역의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장함으로써 구현되는 것을 특징으로 할 수 있다.According to another aspect, the non-identified object database detects an object region for each frame in the random image, extracts feature vectors of the detected object region, and converts the extracted feature vectors to a plurality of objects for each object. It is implemented by grouping into groups, setting representative feature vectors for each of the plurality of groups, and storing the representative feature vectors and time information and location information in the non-identified image of the detected object region in association with each other. can be done with

또 다른 측면에 따르면, 상기 시간 정보 및 위치 정보를 추출하는 단계는, 상기 비 식별화 객체 데이터베이스를 통해 상기 대표 피처 벡터에 대응하는 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 것을 특징으로 할 수 있다.According to another aspect, the extracting of the time information and location information may include obtaining time information and location information from the non-identified image of the target object corresponding to the representative feature vector through the non-identified object database. It can be characterized by extraction.

또 다른 측면에 따르면, 상기 비 식별화 객체 데이터베이스는 상기 복수의 그룹들 각각의 식별자를 더 연계하여 저장함으로써 구현되고, 상기 시간 정보 및 위치 정보를 추출하는 단계는, 상기 그룹핑된 피처 벡터들의 대표 피처 벡터와 상기 복수의 그룹 중 대응하는 그룹의 식별자를 연계하여 저장하는 인덱스 테이블을 통해 상기 대표 피처 벡터에 대응하는 그룹의 식별자를 추출하고, 상기 추출된 그룹의 식별자를 통해 상기 비 식별화 객체 데이터베이스에서 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 것을 특징으로 할 수 있다.According to another aspect, the non-identified object database is implemented by further linking and storing identifiers of each of the plurality of groups, and the step of extracting the time information and location information includes representative features of the grouped feature vectors. The identifier of the group corresponding to the representative feature vector is extracted through an index table that links and stores the vector and the identifier of the corresponding group among the plurality of groups, and from the non-identified object database through the identifier of the extracted group. It may be characterized by extracting time information and location information from the non-identified image of the target object.

컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.A computer program stored in a computer readable recording medium is provided in combination with a computer device to execute the method on the computer device.

상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.A computer readable recording medium having a program for executing the method in a computer device is recorded.

컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 임의의 영상 내의 적어도 하나의 객체를 비 식별화하여 생성된 비 식별화 영상에 대해, 상기 비 식별화 영상에서 검색하고자 하는 타겟 객체에 대한 객체 이미지를 입력받고, 상기 객체 이미지에서 딥러닝 모델을 통해 상기 타겟 객체의 피처 벡터를 추출하고, 비 식별화 객체 데이터베이스를 통해 상기 추출된 피처 벡터에 대응하는 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.It includes at least one processor implemented to execute a computer-readable command, and for a non-identified image generated by de-identifying at least one object in an arbitrary image by the at least one processor, the non-identified image Receives an object image of a target object to be searched for in an identification image, extracts a feature vector of the target object from the object image through a deep learning model, and responds to the extracted feature vector through a non-identification object database. It provides a computer device characterized in that for extracting time information and location information from the non-identified image of the target object.

특정 객체의 피처 벡터를 이용하여 영상에서 비 식별화된 객체를 검색할 수 있다.A non-identified object may be searched for in an image using a feature vector of a specific object.

영상에서 탐지된 객체의 영상 내 시간 정보 및 위치 정보와 피처 벡터를 서로 연계하여 저장하는 비 식별화 객체 데이터베이스를 구축할 수 있다. A non-identified object database may be constructed that stores time information and location information of an object detected in an image and feature vectors in association with each other.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 객체 비 식별화 시스템의 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 비 식별화 객체 검색 시스템의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 객체 비 식별화 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 비 식별화 객체 검색 방법의 예를 도시한 흐름도이다.
도 7 내지 도 9는 본 발명의 일실시예에 있어서, 비 식별화 객체 데이터베이스를 구축하는 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 있어서, 비 식별화 객체를 검색하는 과정의 예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 있어서, 영상에서 추출된 다수의 특징 벡터들을 복수의 그룹으로 그룹핑하는 예를 도시한 도면이다.
도 12는 본 발명의 일실시예에 있어서, 인덱스 테이블을 구성하여 비 식별화 객체를 검색하는 예를 도시한 도면이다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention.
2 is a block diagram illustrating an example of a computer device according to one embodiment of the present invention.
3 is a diagram illustrating an example of an object de-identification system according to an embodiment of the present invention.
4 is a diagram illustrating an example of a non-identified object search system according to an embodiment of the present invention.
5 is a flowchart illustrating an example of an object de-identification method according to an embodiment of the present invention.
6 is a flowchart illustrating an example of a non-identified object search method according to an embodiment of the present invention.
7 to 9 are diagrams illustrating examples of constructing a non-identified object database according to an embodiment of the present invention.
10 is a diagram illustrating an example of a process of searching for a non-identified object according to an embodiment of the present invention.
11 is a diagram illustrating an example of grouping a plurality of feature vectors extracted from an image into a plurality of groups according to an embodiment of the present invention.
12 is a diagram illustrating an example of searching for a non-identified object by constructing an index table according to an embodiment of the present invention.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an embodiment will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들에 따른 비 식별화 객체 검색 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 비 식별화 객체 검색 방법 및/또는 객체 비 식별화 방법은 비 식별화 객체 검색 시스템을 구현하는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 실시예에 따라 객체 비 식별화 방법은 비 식별화 객체 검색 시스템을 구현하는 컴퓨터 장치와는 다른 컴퓨터 장치에 의해 수행될 수도 있다. 한편, 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 비 식별화 객체 검색 방법 및/또는 객체 비 식별화 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 비 식별화 객체 검색 방법 및/또는 객체 비 식별화 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.The non-identified object search system according to embodiments of the present invention may be implemented by at least one computer device, and the non-identified object search method and/or object non-identification method according to embodiments of the present invention It may be performed via at least one computer device implementing the non-identified object retrieval system. According to embodiments, the object de-identification method may be performed by a computer device other than a computer device implementing the de-identification object retrieval system. On the other hand, a computer program according to an embodiment of the present invention may be installed and driven in a computer device, and the computer device may perform a non-identified object search method and/or a non-identified object search method according to embodiments of the present invention under the control of the driven computer program. Alternatively, an object de-identification method may be performed. The above-described computer program may be combined with a computer device and stored in a computer readable recording medium to execute a non-identifying object search method and/or an object non-identification method on a computer.

도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.1 is a diagram illustrating an example of a network environment according to an embodiment of the present invention. The network environment of FIG. 1 shows an example including a plurality of electronic devices 110 , 120 , 130 , and 140 , a plurality of servers 150 and 160 , and a network 170 . 1 is an example for explanation of the invention, and the number of electronic devices or servers is not limited as shown in FIG. 1 . In addition, the network environment of FIG. 1 only describes one example of environments applicable to the present embodiments, and the environment applicable to the present embodiments is not limited to the network environment of FIG. 1 .

복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.The plurality of electronic devices 110, 120, 130, and 140 may be fixed terminals implemented as computer devices or mobile terminals. Examples of the plurality of electronic devices 110, 120, 130, and 140 include a smart phone, a mobile phone, a navigation device, a computer, a laptop computer, a digital broadcast terminal, a personal digital assistant (PDA), and a portable multimedia player (PMP). ), and tablet PCs. As an example, FIG. 1 shows the shape of a smartphone as an example of the electronic device 110, but in the embodiments of the present invention, the electronic device 110 substantially uses a wireless or wired communication method to transmit other information via the network 170. It may refer to one of various physical computer devices capable of communicating with the electronic devices 120 , 130 , and 140 and/or the servers 150 and 160 .

통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and short-distance wireless communication between devices as well as a communication method utilizing a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, and a broadcasting network) that the network 170 may include may also be included. For example, the network 170 may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). , one or more arbitrary networks such as the Internet. In addition, the network 170 may include any one or more of network topologies including a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. Not limited.

서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 객체인식 서비스, 안면인식 서비스, 클라우드 서비스, 게임 서비스, 컨텐츠 제공 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.Each of the servers 150 and 160 communicates with the plurality of electronic devices 110, 120, 130, and 140 through the network 170 to provide commands, codes, files, contents, services, and the like, or a computer device or a plurality of computers. Can be implemented in devices. For example, the server 150 provides a service (eg, object recognition service, face recognition service, cloud service, game service) to a plurality of electronic devices 110, 120, 130, and 140 accessed through the network 170. , content providing service, group call service (or voice conference service), messaging service, mail service, social network service, map service, translation service, financial service, payment service, search service, etc.).

도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.2 is a block diagram illustrating an example of a computer device according to one embodiment of the present invention. Each of the plurality of electronic devices 110 , 120 , 130 , and 140 or each of the servers 150 and 160 described above may be implemented by the computer device 200 shown in FIG. 2 .

이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.As shown in FIG. 2 , the computer device 200 may include a memory 210, a processor 220, a communication interface 230, and an input/output interface 240. The memory 210 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. Here, a non-perishable mass storage device such as a ROM and a disk drive may be included in the computer device 200 as a separate permanent storage device distinct from the memory 210 . Also, an operating system and at least one program code may be stored in the memory 210 . These software components may be loaded into the memory 210 from a computer-readable recording medium separate from the memory 210 . The separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, a disk, a tape, a DVD/CD-ROM drive, and a memory card. In another embodiment, software components may be loaded into the memory 210 through the communication interface 230 rather than a computer-readable recording medium. For example, software components may be loaded into memory 210 of computer device 200 based on a computer program installed by files received over network 170 .

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor 220 may be configured to process commands of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to processor 220 by memory 210 or communication interface 230 . For example, processor 220 may be configured to execute received instructions according to program codes stored in a recording device such as memory 210 .

통신 인터페이스(230)은 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication interface 230 may provide a function for the computer device 200 to communicate with other devices (eg, storage devices described above) through the network 170 . For example, a request, command, data, file, etc. generated according to a program code stored in a recording device such as the memory 210 by the processor 220 of the computer device 200 is controlled by the communication interface 230 to the network ( 170) to other devices. Conversely, signals, commands, data, files, etc. from other devices may be received by the computer device 200 through the communication interface 230 of the computer device 200 via the network 170 . Signals, commands, data, etc. received through the communication interface 230 may be transferred to the processor 220 or the memory 210, and files, etc. may be stored as storage media that the computer device 200 may further include (described above). permanent storage).

입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.The input/output interface 240 may be a means for interface with the input/output device 250 . For example, the input device may include a device such as a microphone, keyboard, or mouse, and the output device may include a device such as a display or speaker. As another example, the input/output interface 240 may be a means for interface with a device in which functions for input and output are integrated into one, such as a touch screen. The input/output device 250 and the computer device 200 may be configured as one device.

또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.Also, in other embodiments, computer device 200 may include fewer or more elements than those of FIG. 2 . However, there is no need to clearly show most of the prior art components. For example, the computer device 200 may be implemented to include at least some of the aforementioned input/output devices 250 or may further include other components such as a transceiver and a database.

도 3은 본 발명의 일실시예에 따른 객체 비 식별화 시스템의 예를 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 비 식별화 객체 검색 시스템의 예를 도시한 도면이다. 실시예에 따라 객체 비 식별화 시스템(300)은 비 식별화 객체 검색 시스템(400)에 포함되는 형태로 구현될 수 있다. 다른 실시예에서 객체 비 식별화 시스템(300)과 비 식별화 객체 검색 시스템(400)은 각각 별도의 물리적인 전자 장치(일례로, 컴퓨터 장치(200))에 의해 구현되어 네트워크(일례로, 네트워크(170)를 통해 서로 통신하도록 구현될 수 있다. 예를 들어, 비 식별화 객체 검색 시스템(400)은 네트워크를 통해 객체 비 식별화 시스템(300)이 구현하는 비 식별화 객체 데이터베이스(310)에 접근할 수 있다.3 is a diagram showing an example of an object de-identification system according to an embodiment of the present invention, and FIG. 4 is a diagram showing an example of a non-identification object search system according to an embodiment of the present invention. According to embodiments, the object de-identification system 300 may be implemented in a form included in the de-identification object search system 400 . In another embodiment, the object de-identification system 300 and the de-identification object retrieval system 400 are each implemented by a separate physical electronic device (eg, computer device 200) and are implemented in a network (eg, network It may be implemented to communicate with each other through 170. For example, the de-identified object search system 400 is connected to the non-identified object database 310 implemented by the object de-identification system 300 through a network. can access

객체 비 식별화 시스템(300)은 입력되는 영상(320)을 통해 비 식별화 객체 데이터베이스(310)를 구현할 수 있다. 영상(320)은 스마트 폰, 웨어러블 디바이스, CCTV, 블랙박스 등 카메라가 포함된 전자 기기에 의해 촬영된 영상을 의미할 수 있다. 전자 기기는 특정 위치에 고정되어 설치됨으로써 특정 공간을 촬영하여 영상(320)을 생성할 수도 있으나, 특정 위치에 설치되지 않고 이동 중에 영상(320)을 촬영 및 생성할 수도 있다. 이처럼, 전자 기기로부터 사람, 사물 등에 대한 객체의 촬영이 이루어짐에 따라 영상(320)이 생성되어 객체 비 식별화 시스템(300)으로 입력될 수 있다. 이때, 전자 기기는 객체 비 식별화 시스템(300)을 포함하거나 또는 객체 비 식별화 시스템(300)을 구현하는 물리적인 전자 장치와는 별도의 장치일 수 있다.The object de-identification system 300 may implement the de-identification object database 310 through the input image 320 . The image 320 may refer to an image captured by an electronic device including a camera, such as a smart phone, a wearable device, a CCTV, or a black box. The electronic device may generate the image 320 by photographing a specific space by being fixedly installed in a specific location, but may also capture and generate the image 320 while moving without being installed in a specific location. In this way, as objects such as people and objects are photographed from the electronic device, an image 320 may be generated and input to the object de-identification system 300 . In this case, the electronic device may include the object de-identification system 300 or may be a device separate from a physical electronic device implementing the object de-identification system 300 .

영상(320)의 처리를 위해, 객체 비 식별화 시스템(300)은 도 3에 도시된 바와 같이 피처 추출부(330), 시간 및 위치 정보 생성부(340), 저장부(350) 및 객체 비 식별화부(360)를 포함할 수 있다. 여기서, 피처 추출부(330), 시간 및 정보 생성부(340), 저장부(350) 및 객체 비 식별화부(360)는 일례로, 객체 비 식별화 시스템(300)을 구현하는 컴퓨터 장치(200)가 객체 비 식별화 방법을 수행하도록 제어하기 위한 프로세서(220)의 동작들에 대한 기능적 표현들(functional expressions)일 수 있다. To process the image 320, the object de-identification system 300 includes a feature extractor 330, a time and location information generator 340, a storage unit 350, and an object ratio An identification unit 360 may be included. Here, the feature extraction unit 330, the time and information generation unit 340, the storage unit 350, and the object de-identification unit 360 are, for example, a computer device 200 implementing the object de-identification system 300. ) may be functional expressions for operations of the processor 220 for controlling to perform the object de-identification method.

피처 추출부(330)는 입력되는 영상(320)의 각 프레임별로 객체 영역을 탐지하고, 탐지된 객체 영역의 피처 벡터를 추출할 수 있다. 여기서 객체는 일례로 사람의 얼굴을 포함할 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 객체는 차량의 번호판과 같이 영상(320)에서 탐지 및 추적이 가능한 다양한 항목들 중 적어도 하나일 수 있다.The feature extractor 330 may detect an object region for each frame of the input image 320 and extract a feature vector of the detected object region. Here, the object may include, for example, a human face, but is not limited thereto. For example, the object may be at least one of various items that can be detected and tracked in the image 320, such as a license plate of a vehicle.

시간 및 위치 정보 생성부(340)는 탐지된 객체 영역의 영상(320)에서의 시간 정보 및 위치 정보를 생성할 수 있다. 여기서, 시간 정보는 영상(320)에서 객체가 등장하는 프레임에 대한 정보를 포함할 수 있고, 상기 위치 정보는 프레임내에서의 객체의 공간적 위치에 대한 정보를 포함할 수 있다. 이때, 공간적 위치는 프레임내에서의 객체의 좌표에 대응할 수 있다. 다시 말해, 이러한 시간 정보 및 위치 정보를 알고 있으면 특정한 객체가 영상(320)의 어느 프레임의 어느 위치에 출현하는가를 파악할 수 있게 된다.The time and location information generator 340 may generate time and location information in the image 320 of the detected object area. Here, the time information may include information about a frame in which an object appears in the image 320, and the location information may include information about a spatial location of an object within the frame. In this case, the spatial position may correspond to the coordinates of the object within the frame. In other words, if such time information and location information are known, it is possible to determine where a specific object appears in which frame of the image 320 .

저장부(350)는 피처 추출부(330)에 의해 추출된 피처 벡터와 시간 및 위치 정보 생성부(340)에 의해 생성된 시간 정보 및 위치 정보를 서로 연계하여 비 식별화 객체 데이터베이스(310)에 저장할 수 있다. 다시 말해, 특정한 객체의 피처 벡터를 통해 비 식별화 객체 데이터베이스(310)를 검색하면, 해당 피처 벡터에 대응하는 객체의 영상(320) 내의 시간 정보 및 위치 정보를 파악할 수 있게 된다.The storage unit 350 associates the feature vector extracted by the feature extraction unit 330 with the time information and location information generated by the time and location information generation unit 340 and stores them in the non-identified object database 310. can be saved In other words, if the non-identified object database 310 is searched through the feature vector of a specific object, time information and location information in the image 320 of the object corresponding to the corresponding feature vector can be identified.

객체 비 식별화부(360)는 영상(320)에 포함된 객체들을 비 식별화함으로써, 비 식별화 영상(370)을 생성할 수 있다. 예를 들어, 비 식별화 영상(370)은 영상 내의 사람의 얼굴과 같은 특정한 객체들의 영역이 비 식별화(일례로, 모자이크)됨에 따라 공개되더라도 민감한 정보를 포함하지 않도록 편집된 영상을 의미할 수 있다. 그러나, 각각의 객체들은 피처 벡터와 시간 정보 및 위치 정보가 비 식별화 객체 데이터베이스(310)에 서로 연계하여 저장되어 있기 때문에, 피처 벡터를 통해 해당 객체들이 비 식별화 영상(370)의 어느 프레임의 어느 위치에 출현하는가를 파악할 수 있게 된다.The object de-identification unit 360 may generate a de-identified image 370 by de-identifying objects included in the image 320 . For example, the non-identified image 370 may mean an image edited so as not to include sensitive information even if disclosed as regions of specific objects such as a person's face in the image are de-identified (eg, mosaic). there is. However, since the feature vector, time information, and location information of each object are stored in association with each other in the non-identified object database 310, the corresponding objects are selected from a certain frame of the non-identified image 370 through the feature vector. You can figure out where it appears.

비 식별화 객체 검색 시스템(400)은 입력되는 객체 이미지(410)를 통해 탐지되는 타겟 객체의 피처 벡터를 이용하여 비 식별화 객체 데이터베이스(310)를 검색함으로써, 타겟 객체의 비 식별화 영상(370) 내에서의 시간 정보 및 위치 정보를 획득할 수 있다. 이를 위해, 비 식별화 객체 검색 시스템(400)은 도 4에 도시된 바와 같이 피처 추출부(420) 및 비 식별화 객체 검색부(430)를 포함할 수 있다. 본 실시예에서는 비 식별화 객체 검색 시스템(400)이 외부의 물리적인 장치에 구현된 비 식별화 객체 데이터베이스(310)에 네트워크를 통해 접속하는 예를 설명하고 있으나, 실시예에 따라 비 식별화 객체 데이터베이스(310)는 비 식별화 객체 검색 시스템(400)이 포함하는 형태로 구현될 수도 있다. 예를 들어, 객체 비 식별화 시스템(300)이 구축한 비 식별화 객체 데이터베이스(310)가 비 식별화 객체 검색 시스템(400)으로 복사되는 경우나 비 식별화 객체 검색 시스템(400)이 객체 비 식별화 시스템(300)을 포함하는 경우의 실시예가 고려될 수 있다. 또한, 피처 추출부(420) 및 비 식별화 객체 검색부(430)는 비 식별화 객체 검색 시스템(400)을 구현하는 컴퓨터 장치(200)가 비 식별화 객체 검색 방법을 수행하도록 제어하기 위한 프로세서(220)의 동작들에 대한 기능적 표현들(functional expressions)일 수 있다. The non-identified object search system 400 searches the non-identified object database 310 using the feature vector of the target object detected through the input object image 410, so that the non-identified image 370 of the target object ) It is possible to obtain time information and location information within. To this end, the non-identified object search system 400 may include a feature extraction unit 420 and a non-identified object search unit 430 as shown in FIG. 4 . Although this embodiment describes an example in which the non-identified object search system 400 accesses the non-identified object database 310 implemented in an external physical device through a network, the non-identified object according to the embodiment The database 310 may be implemented in a form included in the non-identified object search system 400 . For example, when the non-identified object database 310 built by the object de-identification system 300 is copied to the non-identified object search system 400 or the non-identified object search system 400 Embodiments are contemplated where the identification system 300 is included. In addition, the feature extraction unit 420 and the non-identification object search unit 430 are processors for controlling the computer device 200 implementing the non-identification object search system 400 to perform the non-identification object search method. It may be functional expressions for the operations of (220).

피처 추출부(420)는 입력되는 객체 이미지(410)에서 객체 영역을 탐지하고, 탐지된 객체 영역의 피처 벡터를 추출할 수 있다. 이미 설명한 바와 같이, 객체는 일례로 사람의 얼굴을 포함할 수 있으나 이에 한정되는 것은 아니다.The feature extractor 420 may detect an object region in the input object image 410 and extract a feature vector of the detected object region. As already described, the object may include, for example, a human face, but is not limited thereto.

비 식별화 객체 검색부(430)는 추출된 피처 벡터를 이용하여 비 식별화 객체 데이터베이스(310)를 검색하여 대응하는 피처 벡터와 연계되어 저장된 시간 정보 및 위치 정보(440)를 추출할 수 있다. 예를 들어, 비 식별화 객체 검색부(430)는 추출된 피처 벡터인 제1 피처 벡터와 유사도가 임계값 이상인 제2 피처 벡터를 비 식별화 객체 데이터베이스(310)에서 추출할 수 있다. 일례로, 유사도는 피처들간의 유사도를 의미할 수 있으며, 피처들간의 유사도를 계산하는 방식은, 유클리디안 디스턴스(Euclidean distance)나 코사인 유사도(cosine similarity)와 같이 이미 잘 알려진 방식들 중 적어도 하나를 이용하여 이루어질 수 있다.The non-identified object search unit 430 may search the non-identified object database 310 using the extracted feature vector and extract time information and location information 440 stored in association with the corresponding feature vector. For example, the non-identified object search unit 430 may extract, from the non-identified object database 310, a second feature vector whose similarity to the first feature vector, which is the extracted feature vector, is equal to or greater than a threshold value. As an example, the degree of similarity may mean the degree of similarity between features, and the method of calculating the degree of similarity between features is at least one of well-known methods such as Euclidean distance or cosine similarity. It can be done using

이후, 비 식별화 객체 검색부(430)는 제2 피처 벡터와 연계하여 비 식별화 객체 데이터베이스(310)에 저장된 시간 정보 및 위치 정보(440)를 추출할 수 있다. 따라서, 비 식별화 객체 검색 시스템(400)은 시간 정보 및 위치 정보(440)를 통해 객체 이미지(410)에서 탐지된 객체의 비 식별화 영상(370)에서의 출현 프레임과 해당 프레임내에서의 공간적 위치를 파악할 수 있게 된다. 다시 말해, 민감한 정보로서의 객체들의 영역이 비 식별화된 비 식별화 영상(370)에서도 타겟 객체의 출현 프레임(출현 시간)과 프레임내에서의 공간적 위치를 파악할 수 있게 된다.Thereafter, the non-identified object search unit 430 may extract time information and location information 440 stored in the non-identified object database 310 in association with the second feature vector. Therefore, the non-identified object search system 400 determines the frame of appearance in the non-identified image 370 of the object detected in the object image 410 through the time information and location information 440 and the spatial information within the corresponding frame. location can be identified. In other words, even in the non-identified image 370 in which the regions of objects as sensitive information are de-identified, the appearance frame (appearance time) of the target object and the spatial location within the frame can be grasped.

도 5는 본 발명의 일실시예에 따른 객체 비 식별화 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 객체 비 식별화 방법은 앞서 설명한 객체 비 식별화 시스템(300)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 5의 방법이 포함하는 단계들(510 내지 540)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.5 is a flowchart illustrating an example of an object de-identification method according to an embodiment of the present invention. The object de-identification method according to this embodiment may be performed by the computer device 200 implementing the object de-identification system 300 described above. In this case, the processor 220 of the computer device 200 may be implemented to execute a control instruction according to an operating system code included in the memory 210 or a code of at least one computer program. Here, the processor 220 controls the computer device 200 so that the computer device 200 performs the steps 510 to 540 included in the method of FIG. 5 according to a control command provided by a code stored in the computer device 200. can control.

단계(510)에서 컴퓨터 장치(200)는 영상에서 각 프레임별로 객체 영역을 탐지할 수 있다. 여기서 영상은 일례로 앞서 도 3을 통해 설명한 영상(320)에 대응할 수 있다. 일실시예에서 가공되지 않은 영상 정보를 원본 영상이라고 할 때, 컴퓨터 장치(200)는 원본 영상으로부터 객체 영역을 탐지할 수 있다. 일례로, 컴퓨터 장치(200)는 객체 탐지를 위한 학습 모델을 이용하여 영상 정보로부터 객체 영역을 탐지할 수 있다. 객체 탐지를 위한 학습 모델은 사전에 객체 탐지를 위하여 학습된 모델로서, 딥러닝 기술이 적용된 것일 수 있다. 예를 들면, 객체 탐지를 위한 학습 모델은 객체 탐지를 위한 데이터 셋(영상 데이터)을 학습시킨 것일 수 있다. 이때, 객체 탐지를 위한 학습 모델은 CNN, RNN 등 다양한 네트워크 기반으로 구성된 것일 수 있으며, 이에 한정되는 것은 아니다. In step 510, the computer device 200 may detect an object area for each frame in the image. Here, as an example, the image may correspond to the image 320 described above with reference to FIG. 3 . In one embodiment, when unprocessed image information is referred to as an original image, the computer device 200 may detect an object region from the original image. For example, the computer device 200 may detect an object region from image information using a learning model for object detection. A learning model for object detection is a model learned in advance for object detection, and may be one to which deep learning technology is applied. For example, a learning model for object detection may be one obtained by learning a data set (image data) for object detection. In this case, the learning model for object detection may be configured based on various networks such as CNN and RNN, but is not limited thereto.

단계(520)에서 컴퓨터 장치(200)는 탐지된 객체 영역의 피처 벡터를 추출할 수 있다. 예를 들어, 영상에 포함된 사람의 얼굴들 각각에 대한 피처 벡터들이 추출될 수 있다.In step 520, the computer device 200 may extract a feature vector of the detected object area. For example, feature vectors for each of the human faces included in the image may be extracted.

단계(530)에서 컴퓨터 장치(200)는 추출된 피처 벡터와 탐지된 객체 영역의 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 비 식별화 객체 데이터베이스에 저장할 수 있다. 비 식별화 객체 데이터베이스는 앞서 도 3 및 도 4를 통해 설명한 비 식별화 객체 데이터베이스(310)에 대응할 수 있다. 이때, 위치정보는 특정 객체가 영상에 등장하는 프레임에 대한 시간 정보와 상기 해당하는 프레임내에서의 객체의 공간적 위치에 대한 정보를 포함할 수 있다. 실시예에 따라 시간 정보 및 위치 정보는 특정 객체가 영상에 등장하는 시간(일례로, 프레임)에 대한 정보만을 포함하도록 구현될 수도 있다.In operation 530, the computer device 200 may store the extracted feature vector in a non-identified object database by linking the extracted feature vector with time information and location information in the image of the detected object area. The non-identified object database may correspond to the non-identified object database 310 described above with reference to FIGS. 3 and 4 . In this case, the location information may include time information about a frame in which a specific object appears in the image and information about the spatial location of the object in the corresponding frame. According to embodiments, the time information and location information may be implemented to include only information about a time (eg, frame) in which a specific object appears in an image.

단계(540)에서 컴퓨터 장치(200)는 영상에서 탐지된 객체 영역을 비 식별화하여 비 식별화 영상을 생성할 수 있다. 여기서 객체 영역은 모자이크 방식과 같이 이미 잘 알려진 비 식별화 방법들 중 어느 하나를 통해 비 식별화될 수 있다. 보다 구체적인 예로, 비 식별화란, 탐지된 객체 영역에 테두리, 패턴, 박스(box), 블러(blur) 또는 모자이크를 포함하는 특수 처리를 수행하는 것을 의미할 수 있다. 다시 말해, 영상에서 탐지된 객체 영역이 특수 처리되어 표시될 수 있다. 예를 들면, 특수 처리된 객체 영역은 영상 내에서 특수 처리 방식에 따라 투명, 반투명, 불투명(비공개) 형태로 표시될 수 있다. 더 나아가, 컴퓨터 장치(200)는 탐지된 객체 영역에 포함된 객체의 타입(type)(예를 들면, 사물, 사람 등)에 따라 객체 영역에 서로 다른 비 식별화 방법을 적용할 수도 있다. 예를 들면, 객체가 사람의 얼굴인 경우에는 모자이크 처리를 할 수 있고, 객체가 사물일 경우에는 박스 표시만을 추가할 수도 있다.In step 540, the computer device 200 may generate a non-identified image by de-identifying the object region detected in the image. Here, the object region may be de-identified through one of well-known de-identification methods such as a mosaic method. As a more specific example, non-identification may mean performing special processing including a border, pattern, box, blur, or mosaic on the detected object area. In other words, the object area detected in the image may be specially processed and displayed. For example, a specially processed object area may be displayed in a transparent, translucent, or opaque (non-disclosed) form according to a special processing method within an image. Furthermore, the computer device 200 may apply different de-identification methods to the object area according to the type (eg, object, person, etc.) of the object included in the detected object area. For example, if the object is a human face, mosaic processing may be performed, and if the object is a thing, only a box mark may be added.

이처럼, 영상은 비 식별화됨에 따라 민감한 정보의 노출을 막을 수 있으며, 비 식별화 객체 데이터베이스(310)를 통해 특정한 피처 벡터에 대응하는 객체의 위치정보를 얻을 수 있다. 이미 설명한 바와 같이, 위치정보는 영상에서 대응하는 객체가 등장하는 프레임에 대한 시간 정보와 해당하는 프레임내에서의 객체의 공간적 위치에 대한 정보를 포함하기 때문에 비 식별화 영상에서도 특정 객체를 검색하는 것이 가능해진다.In this way, as the image is de-identified, exposure of sensitive information can be prevented, and location information of an object corresponding to a specific feature vector can be obtained through the non-identified object database 310. As already described, since location information includes time information about a frame in which a corresponding object appears in an image and information about a spatial location of an object in a corresponding frame, it is difficult to search for a specific object even in a non-identified image. it becomes possible

도 6은 본 발명의 일실시예에 따른 비 식별화 객체 검색 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 비 식별화 객체 검색 방법은 앞서 설명한 비 식별화 객체 검색 시스템(400)을 구현하는 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 6의 방법이 포함하는 단계들(610 내지 630)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다. 만약, 비 식별화 객체 검색 시스템(400)이 앞서 설명한 객체 비 식별화 시스템(300)을 포함하는 경우, 비 식별화 객체 검색 방법은 비 식별화 객체 데이터베이스를 생성하는 과정을 더 포함할 수 있다. 이러한 과정은 앞서 도 5를 통해 설명한 단계들(510 내지 540)을 포함할 수 있다.6 is a flowchart illustrating an example of a non-identified object search method according to an embodiment of the present invention. The non-identified object search method according to the present embodiment may be performed by the computer device 200 implementing the non-identified object search system 400 described above. In this case, the processor 220 of the computer device 200 may be implemented to execute a control instruction according to an operating system code included in the memory 210 or a code of at least one computer program. Here, the processor 220 controls the computer device 200 so that the computer device 200 performs the steps 610 to 630 included in the method of FIG. 6 according to a control command provided by a code stored in the computer device 200. can control. If the non-identified object search system 400 includes the object de-identification system 300 described above, the non-identified object search method may further include creating a non-identified object database. This process may include steps 510 to 540 previously described with reference to FIG. 5 .

단계(610)에서 컴퓨터 장치(200)는 임의의 영상 내의 적어도 하나의 객체를 비 식별화하여 생성된 비 식별화 영상에 대해, 비 식별화 영상에서 검색하고자 하는 타겟 객체에 대한 객체 이미지를 입력받을 수 있다. 비 식별화 영상은 앞서 도 3 및 도 4를 통해 설명한 비 식별화 영상(370)에 대응할 수 있고, 객체 이미지는 앞서 도 4를 통해 설명한 객체 이미지(410)에 대응할 수 있다.In step 610, the computer device 200 receives an object image for a target object to be searched for in a non-identified image for a non-identified image generated by de-identifying at least one object in an arbitrary image. can The non-identified image may correspond to the non-identified image 370 described above with reference to FIGS. 3 and 4 , and the object image may correspond to the object image 410 described above with reference to FIG. 4 .

단계(620)에서 컴퓨터 장치(200)는 객체 이미지에서 딥러닝 모델을 통해 타겟 객체의 피처 벡터를 추출할 수 있다. 예를 들어, 컴퓨터 장치(200)는 객체 이미지에서 사람의 얼굴 영역을 찾아, 얼굴 영역에서 눈, 코, 입 등의 정보를 이용하여 얼라인먼트(alignment)를 맞추고, 얼라인먼트가 맞춰진 얼굴의 이미지에서 N(N은 2 이상의 자연수) 개의 피처들을 포함하는 피처 벡터를 추출할 수 있다.In step 620, the computer device 200 may extract a feature vector of the target object from the object image through a deep learning model. For example, the computer device 200 finds a face region of a person in an object image, aligns it using information such as eyes, nose, and mouth in the face region, and N( N is a natural number greater than or equal to 2) may extract a feature vector including features.

단계(630)에서 컴퓨터 장치(200)는 비 식별화 객체 데이터베이스를 통해 추출된 피처 벡터에 대응하는 타겟 객체의 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출할 수 있다. 앞서 설명한 바와 같이 비 식별화 객체 데이터베이스는 비 식별화 영상에 등장하는 객체들 각각의 피처 벡터 및 비 식별화 영상에 등장하는 객체들 각각의 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장하도록 구현될 수 있다. 이때, 시간 정보는 비 식별화 영상에서 타겟 객체가 등장하는 프레임에 대한 정보를 포함할 수 있고, 위치 정보는 프레임내에서의 타겟 객체의 공간적 위치에 대한 정보를 포함할 수 있다. 예를 들어, 컴퓨터 장치(200)는 타겟 객체에 대해 추출된 피처 벡터인 제1 피처 벡터와의 유사도가 임계값 이상인 제2 피처 벡터를 비 식별화 객체 데이터베이스에서 추출할 수 있다. 이후, 컴퓨터 장치(200)는 추출된 제2 피처 벡터와 연계하여 비 식별화 객체 데이터베이스에 저장된 시간 정보 및 위치 정보를 추출할 수 있다.In operation 630, the computer device 200 may extract time information and location information from the non-identified image of the target object corresponding to the feature vector extracted through the non-identified object database. As described above, the non-identified object database links the feature vector of each object appearing in the non-identified image and the time information and location information in the non-identified image of each object appearing in the non-identified image to each other. can be implemented to store In this case, the time information may include information about a frame in which the target object appears in the non-identified image, and the location information may include information about the spatial location of the target object within the frame. For example, the computer device 200 may extract a second feature vector whose similarity to the first feature vector, which is a feature vector extracted with respect to the target object, is equal to or greater than a threshold value from the non-identified object database. Thereafter, the computer device 200 may extract time information and location information stored in the non-identified object database in association with the extracted second feature vector.

따라서, 컴퓨터 장치(200)는 이러한 시간 정보 및 위치 정보를 통해 객체가 비 식별화된 영상에서도 이러한 비 식별화 영상의 복원 없이 타겟 객체를 검색할 수 있게 된다.Accordingly, the computer device 200 can search for a target object even in an image in which an object is de-identified through such time information and location information without restoring such a de-identified image.

도 7 내지 도 9는 본 발명의 일실시예에 있어서, 비 식별화 객체 데이터베이스를 구축하는 예를 도시한 도면이다.7 to 9 are diagrams illustrating examples of constructing a non-identified object database according to an embodiment of the present invention.

도 7은 원본 영상의 하나의 프레임(710)의 예를 나타내고 있다. 이때, 프레임(710)에는 다수의 사람들의 얼굴들이 나타나 있다. 이때, 객체 비 식별화 시스템(300)은 도 8에서와 같이 프레임(710)에서 객체 영역들(810 및 820)을 탐지할 수 있으며, 객체 영역들(810 및 820) 각각의 피처 벡터와 시간 정보 및 위치 정보를 추출할 수 있다. 이때, 추출된 피처 벡터와 시간 정보 및 위치 정보는 서로 연계되어 비 식별화 객체 데이터베이스(310)에 저장될 수 있다. 이후, 객체 비 식별화 시스템(300)은 프레임(710)에서 탐지된 객체 영역들(810 및 820) 각각을 비 식별화할 수 있다. 도 9에서는 탐지된 객체 영역들(810 및 820)이 모자이크 방식으로 비 식별화된 예를 나타내고 있다.7 shows an example of one frame 710 of an original video. At this time, a plurality of people's faces are displayed in the frame 710 . At this time, the object de-identification system 300 may detect the object regions 810 and 820 in the frame 710 as shown in FIG. 8, and feature vectors and time information of each of the object regions 810 and 820. and location information can be extracted. In this case, the extracted feature vector, time information, and location information may be stored in the non-identified object database 310 in association with each other. Then, the object de-identification system 300 may de-identify each of the detected object regions 810 and 820 in the frame 710 . 9 shows an example in which the detected object regions 810 and 820 are de-identified in a mosaic manner.

도 10은 본 발명의 일실시예에 있어서, 비 식별화 객체를 검색하는 과정의 예를 도시한 도면이다. 객체 이미지(1010)가 입력되는 비 식별화 객체 검색 시스템(400)은 객체 이미지(1010)로부터 피처 벡터를 추출할 수 있다. 이후, 비 식별화 객체 검색 시스템(400)은 추출된 피처 벡터로 비 식별화 객체 데이터베이스(310)에서 시간 정보 및 위치 정보를 검색할 수 있다. 시간 정보 및 위치 정보는 비 식별화 영상에서 객체 이미지(1010)의 객체가 등장하는 프레임에 대한 정보와 해당 프레임내에서의 타겟 객체의 좌표를 포함할 수 있다. 따라서 비 식별화 객체 검색 시스템(400)은 객체 이미지(1010)의 타겟 객체가 비 식별화 영상(370)에서 출현하는 시간(프레임)과 출현 횟수(프레임의 수), 각 프레임내에서의 타겟 객체의 위치 등을 식별할 수 있게 된다. 다시 말해, 객체의 식별이 어렵도록 비 식별화가 진행된 영상에서도 이러한 영상의 복원 없이 타겟 객체를 검색할 수 있게 된다.10 is a diagram illustrating an example of a process of searching for a non-identified object according to an embodiment of the present invention. The non-identified object retrieval system 400 to which the object image 1010 is input may extract a feature vector from the object image 1010 . Thereafter, the non-identified object search system 400 may search the non-identified object database 310 for time information and location information using the extracted feature vector. The time information and location information may include information about a frame in which an object of the object image 1010 appears in the non-identified image and coordinates of a target object within the corresponding frame. Therefore, the non-identified object search system 400 determines the time (frame) and number of appearances (number of frames) of the target object of the object image 1010 in the non-identified image 370, and the target object within each frame. position can be identified. In other words, it is possible to search for a target object even in an image in which de-identification has been performed to make it difficult to identify the object, without restoring the image.

만약, 객체 이미지(1010)의 타겟 객체의 피처 벡터와 유사도가 임계값 이상인 피처 벡터가 비 식별화 객체 데이터베이스(310)에 존재하지 않는 경우, 비 식별화 객체 검색 시스템(400)은 객체 이미지(1010)의 타겟 객체가 비 식별화 영상(370)에 출현하지 않음을 통보할 수 있을 것이다.If a feature vector having a similarity with a feature vector of a target object of the object image 1010 does not exist in the non-identified object database 310, the object image 1010 ) may be notified that the target object does not appear in the non-identified image 370.

한편, 동일한 사람의 얼굴이라도 추출되는 특징 벡터는 조금씩 상이할 수 있다. 따라서 영상의 객체 영역에 대해 추출되는 다수의 특징 벡터들은 객체별로 복수의 그룹으로 그룹핑될 수 있다.On the other hand, even if the face of the same person is extracted, the extracted feature vectors may be slightly different. Accordingly, a plurality of feature vectors extracted for the object region of the image may be grouped into a plurality of groups for each object.

도 11은 본 발명의 일실시예에 있어서, 영상에서 추출된 다수의 특징 벡터들을 복수의 그룹으로 그룹핑하는 예를 도시한 도면이다. 일례로, 객체 비 식별화 시스템(300)은 영상의 각 프레임별로 탐지 모델을 통해 탐지된 객체의 시간 정보(일례로, 프레임 순서나 프레임 식별자)와 위치 정보(bbox(bounding box) 정보(x, y, width, height))를 서로 연계하여 데이터베이스(1110)에 저장할 수 있다. 여기서 데이터베이스는 비 식별화 객체 데이터베이스(310)에 대응할 수 있다. 또한, 객체 비 식별화 시스템(300)은 각 bbox 별로 특징 벡터를 추출하고, 원본 영상의 bbox 영역은 비 식별화할 수 있다.11 is a diagram illustrating an example of grouping a plurality of feature vectors extracted from an image into a plurality of groups according to an embodiment of the present invention. For example, the object de-identification system 300 provides time information (eg, frame order or frame identifier) and location information (bbox (bounding box) information (x, y, width, height)) may be associated with each other and stored in the database 1110. Here, the database may correspond to the non-identified object database 310 . In addition, the object de-identification system 300 may extract a feature vector for each bbox and de-identify the bbox region of the original video.

이때, 각 프레임별로, 그리고 객체별로 추출되는 다수의 특징 벡터들은 동일한 객체에 대한 특징 벡터라 하더라도 조금씩 상이할 수 있다. 이에 객체 비 식별화 시스템(300)은 표(1120)와 같이 나타난 다수의 특징 벡터들간의 유사도에 기초하여 특징 벡터들을 복수의 그룹으로 그룹핑할 수 있다. 이때 각 그룹은 각 객체에 대응할 수 있다. 이때, 객체 비 식별화 시스템(300)은 각 그룹에서 유사도 점수가 가장 높은 특징 벡터를 대표 특징 벡터로 선정할 수 있다. 일례로, 각 그룹내 유사도 비교는 코사인 유사도를 기준으로 진행될 수 있다. 각 그룹별로 대표 특징 벡터가 선정되면, 객체 비 식별화 시스템(300)은 선정된 대표 특징 벡터를 해당 객체의 특징 벡터로서 데이터베이스(1110)에 저장할 수 있다.In this case, a plurality of feature vectors extracted for each frame and for each object may be slightly different even if they are feature vectors for the same object. Accordingly, the object de-identification system 300 may group the feature vectors into a plurality of groups based on similarities between the feature vectors shown in table 1120. In this case, each group may correspond to each object. In this case, the object de-identification system 300 may select a feature vector having the highest similarity score in each group as a representative feature vector. For example, similarity comparison within each group may be performed based on cosine similarity. When a representative feature vector is selected for each group, the object de-identification system 300 may store the selected representative feature vector in the database 1110 as a feature vector of a corresponding object.

이 경우, 비 식별화 객체 검색 시스템(400)은 타겟 객체의 특징 벡터를 이용하여 데이터베이스(1110)를 검색함으로써, 특징 벡터와 유사도가 임계값 이상인 대표 특징 벡터를 추출할 수 있다. 또한, 비 식별화 객체 검색 시스템(400)은 추출된 대표 특징 벡터와 연계하여 데이터베이스(1110)에 저장된 프레임의 식별자(시간 정보)와 bbox 정보(프레임내에서의 타겟 객체의 위치 정보)를 얻을 수 있게 된다. 다시 말해, 비 식별화 객체 검색 시스템(400)은 비 식별화된 영상의 복원 없이도 특징 벡터를 이용하여 타겟 객체가 등장하는 시간 정보 및 위치 정보를 얻을 수 있다.In this case, the non-identified object retrieval system 400 may search the database 1110 using the feature vector of the target object to extract a representative feature vector having a similarity with the feature vector equal to or greater than a threshold value. In addition, the non-identified object search system 400 can obtain the frame identifier (time information) and bbox information (position information of the target object within the frame) stored in the database 1110 in association with the extracted representative feature vector. there will be In other words, the non-identified object retrieval system 400 may obtain time information and location information of the target object using the feature vector without restoring the non-identified image.

한편, 보다 빠른 검색을 위해 별도의 인덱스 테이블이 활용될 수도 있다.Meanwhile, a separate index table may be utilized for faster search.

도 12는 본 발명의 일실시예에 있어서, 인덱스 테이블을 구성하여 비 식별화 객체를 검색하는 예를 도시한 도면이다. 일례로, 객체 비 식별화 시스템(300)은 대표 특징 벡터와 그룹의 식별자(Id)가 서로 연계되어 저장된 인덱스 테이블(1210)을 활용할 수 있다. 여기서 그룹의 식별자는 객체의 식별자에 대응할 수 있다. 이때, 비 식별화 객체 데이터베이스(310)에 대응하는 도 12의 데이터베이스(1220)에는 시간 정보(프레임의 순서 또는 식별자), 위치 정보(bbox 정보) 및 대표 특징 벡터 이외에도 그룹의 식별자(Id)가 더 연계되어 저장될 수 있다.12 is a diagram illustrating an example of searching for a non-identified object by constructing an index table according to an embodiment of the present invention. For example, the object de-identification system 300 may utilize an index table 1210 in which a representative feature vector and an identifier (Id) of a group are stored in association with each other. Here, the identifier of the group may correspond to the identifier of the object. At this time, in the database 1220 of FIG. 12 corresponding to the non-identified object database 310, in addition to time information (frame order or identifier), location information (bbox information), and representative feature vector, the identifier (Id) of the group is further included. It can be linked and stored.

이때, 비 식별화 객체 검색 시스템(400)은 타겟 객체의 특징 벡터를 통해 인덱스 테이블을 검색하여 그룹의 식별자를 획득할 수 있다. 타겟 객체의 특징 벡터를 통해 데이터베이스(1220)를 직접 검색할 수도 있으나, 데이터베이스(1220)에는 하나의 그룹에 대해 다수의 동일한 대표 특징 벡터들이 저장되어 있을 수 있으며, 해당 엔티티들 각각과 유사도를 비교하기에는 시간적, 성능적 소모가 많을 수 있다. 예를 들어, 동일한 객체가 100개의 프레임에 등장하는 경우, 비 식별화 객체 검색 시스템(400)은 동일한 대표 특징 벡터과 100번의 동일한 유사도 비교 과정을 거쳐야 한다. 이에 비 식별화 객체 검색 시스템(400)은 인덱스 테이블을 이용함으로써, 동일한 대표 특징 벡터에 대해서는 한 번의 유사도 비교를 통해 원하는 그룹의 식별자를 획득할 수 있으며, 획득한 그룹의 식별자를 이용하여 데이터베이스(1220)를 단순 검색하여 동일한 식별자의 시간 정보와 위치 정보를 얻을 수 있게 된다. 다시 말해, 인덱스 테이블을 이용함으로써, 검색에 요구되는 유사도 비교의 횟수를 획기적으로 줄일 수 있다.At this time, the non-identified object search system 400 may obtain the identifier of the group by searching the index table through the feature vector of the target object. Although the database 1220 may be directly searched through the feature vector of the target object, the database 1220 may store a plurality of identical representative feature vectors for one group, and it is difficult to compare the degree of similarity with each of the corresponding entities. It can be time consuming and performance consuming. For example, when the same object appears in 100 frames, the non-identified object search system 400 must go through the same representative feature vector and the same similarity comparison process 100 times. Accordingly, the non-identified object search system 400 may obtain an identifier of a desired group through one-time similarity comparison for the same representative feature vector by using the index table, and use the obtained identifier of the group to obtain the database 1220. ), it is possible to obtain time information and location information of the same identifier. In other words, by using the index table, the number of similarity comparisons required for search can be drastically reduced.

이와 같이 본 발명의 실시예들에 따르면, 특정 객체의 피처 벡터를 이용하여 영상에서 비 식별화된 객체를 검색할 수 있다. 또한, 영상에서 탐지된 객체의 영상 내 위치정보와 피처 벡터를 서로 연계하여 저장하는 비 식별화 객체 데이터베이스를 구축할 수 있다. As described above, according to embodiments of the present invention, a non-identified object may be searched for in an image using a feature vector of a specific object. In addition, a non-identified object database may be constructed that stores location information and feature vectors of objects detected in an image in association with each other.

이상에서 설명된 장치는 하드웨어 구성요소로 구현되거나, 또는 하드웨어 구성요소와 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as hardware components or a combination of hardware components and software components. For example, devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable PLU (programmable logic unit). logic unit), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. The software and/or data may be embodied in any tangible machine, component, physical device, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. there is. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. In this case, the medium may continuously store a program executable by a computer or temporarily store the program for execution or download. In addition, the medium may be various recording means or storage means in the form of a single or combined hardware, but is not limited to a medium directly connected to a certain computer system, and may be distributed on a network. Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions. In addition, examples of other media include recording media or storage media managed by an app store that distributes applications, a site that supplies or distributes various other software, and a server.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (12)

적어도 하나의 프로세서를 포함하는 컴퓨터 시스템의 비 식별화 객체 검색 방법에 있어서,
상기 적어도 하나의 프로세서에 의해, 임의의 영상 내의 적어도 하나의 객체를 비 식별화하여 생성된 비 식별화 영상에 대해, 상기 비 식별화 영상에서 검색하고자 하는 타겟 객체에 대한 객체 이미지를 입력받는 단계;
상기 적어도 하나의 프로세서에 의해, 상기 객체 이미지에서 딥러닝 모델을 통해 상기 타겟 객체의 피처 벡터를 추출하는 단계; 및
상기 적어도 하나의 프로세서에 의해, 비 식별화 객체 데이터베이스를 통해 상기 추출된 피처 벡터에 대응하는 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 단계
를 포함하고,
상기 비 식별화 객체 데이터베이스는,
상기 임의의 영상에서 각 프레임별로 객체 영역을 탐지하고,
상기 탐지된 객체 영역의 피처 벡터들을 추출하고,
상기 추출된 피처 벡터들을 객체별로 복수의 그룹으로 그룹핑하고,
상기 복수의 그룹마다 대표 피처 벡터를 설정하고,
상기 대표 피처 벡터와 상기 탐지된 객체 영역의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장함으로써 구현되는 것
을 특징으로 하는 비 식별화 객체 검색 방법.In the non-identified object search method of a computer system including at least one processor,
Receiving, by the at least one processor, an object image of a target object to be searched for in the non-identified image for a non-identified image generated by de-identifying at least one object in an arbitrary image;
extracting, by the at least one processor, a feature vector of the target object from the object image through a deep learning model; and
Extracting, by the at least one processor, time information and location information from the non-identified image of the target object corresponding to the extracted feature vector through a non-identified object database.
including,
The non-identified object database,
Detecting an object region for each frame in the arbitrary image,
Extracting feature vectors of the detected object region;
Grouping the extracted feature vectors into a plurality of groups for each object;
Setting a representative feature vector for each of the plurality of groups;
Implemented by storing the representative feature vector and time information and location information in the non-identified image of the detected object region in association with each other
Characterized by a non-identified object search method. 제1항에 있어서,
상기 비 식별화 객체 데이터베이스는 상기 비 식별화 영상에 출현하는 객체들 각각의 피처 벡터 및 상기 객체들 각각의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장하도록 구현되는 것을 특징으로 하는 비 식별화 객체 검색 방법.According to claim 1,
The non-identified object database is implemented to store feature vectors of each of the objects appearing in the non-identified image and time information and location information of each of the objects in the non-identified image in association with each other. A de-identified object retrieval method that does. 제1항에 있어서,
상기 시간 정보는 상기 비 식별화 영상에서 상기 타겟 객체가 출현하는 프레임에 대한 정보를 포함하고,
상기 위치 정보는 프레임내에서의 상기 타겟 객체의 공간적 위치에 대한 정보를 포함하는 것
을 특징으로 하는 비 식별화 객체 검색 방법. According to claim 1,
The time information includes information on a frame in which the target object appears in the non-identified image,
The location information includes information on the spatial location of the target object within a frame.
Characterized by a non-identified object search method. 제1항에 있어서,
상기 시간 정보 및 위치 정보를 추출하는 단계는,
상기 타겟 객체에 대해 추출된 피처 벡터인 제1 피처 벡터와의 유사도가 임계값 이상인 제2 피처 벡터를 상기 비 식별화 객체 데이터베이스에서 추출하는 단계; 및
상기 추출된 제2 피처 벡터와 연계하여 상기 비 식별화 객체 데이터베이스에 저장된 시간 정보 및 위치 정보를 추출하는 단계
를 포함하는 것을 특징으로 하는 비 식별화 객체 검색 방법.According to claim 1,
The step of extracting the time information and location information,
extracting, from the non-identified object database, a second feature vector having a degree of similarity with a first feature vector extracted for the target object that is equal to or greater than a threshold value; and
extracting time information and location information stored in the non-identified object database in association with the extracted second feature vector;
Non-identified object search method comprising a. 제1항에 있어서,
상기 비 식별화 객체 데이터베이스는,
상기 임의의 영상에서 각 프레임별로 객체 영역을 탐지하고,
상기 탐지된 객체 영역의 피처 벡터를 추출하고,
상기 추출된 피처 벡터와 상기 탐지된 객체 영역의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장함으로써 구현되는 것
을 특징으로 하는 비 식별화 객체 검색 방법.According to claim 1,
The non-identified object database,
Detecting an object region for each frame in the arbitrary image,
extracting a feature vector of the detected object region;
Implemented by storing the extracted feature vector and time information and location information in the non-identified image of the detected object region in association with each other
Characterized by a non-identified object search method. 삭제delete 제1항에 있어서,
상기 시간 정보 및 위치 정보를 추출하는 단계는,
상기 비 식별화 객체 데이터베이스를 통해, 상기 타겟 객체의 추출된 피처 벡터에 대응하는 대표 피처 벡터에 연계된 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 것을 특징으로 하는 비 식별화 객체 검색 방법.According to claim 1,
The step of extracting the time information and location information,
and extracting time information and location information from the non-identified image linked to a representative feature vector corresponding to the extracted feature vector of the target object through the non-identified object database. method. 제7항에 있어서,
상기 비 식별화 객체 데이터베이스는 상기 복수의 그룹들 각각의 식별자를 더 연계하여 저장함으로써 구현되고,
상기 시간 정보 및 위치 정보를 추출하는 단계는,
상기 그룹핑된 피처 벡터들의 대표 피처 벡터와 상기 복수의 그룹 중 대응하는 그룹의 식별자를 연계하여 저장하는 인덱스 테이블을 통해, 상기 타겟 객체의 추출된 피처 벡터에 대응하는 대표 피처 벡터에 연계된 그룹의 식별자를 추출하고, 상기 추출된 그룹의 식별자를 통해 상기 비 식별화 객체 데이터베이스에서 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하는 것
을 특징으로 하는 비 식별화 객체 검색 방법.According to claim 7,
The non-identified object database is implemented by further linking and storing the identifiers of each of the plurality of groups,
The step of extracting the time information and location information,
An identifier of a group linked to a representative feature vector corresponding to an extracted feature vector of the target object through an index table that links and stores a representative feature vector of the grouped feature vectors and an identifier of a corresponding group among the plurality of groups. Extracting and extracting time information and location information in the non-identified image of the target object from the non-identified object database through the identifier of the extracted group.
Characterized by a non-identified object search method. 제1항 내지 제5항, 제7항 또는 제8항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.Claims 1 to 5, 7 or 8, a computer readable recording medium on which a program for executing the method of any one of claims is recorded in a computer device. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
를 포함하고,
상기 적어도 하나의 프로세서에 의해,
임의의 영상 내의 적어도 하나의 객체를 비 식별화하여 생성된 비 식별화 영상에 대해, 상기 비 식별화 영상에서 검색하고자 하는 타겟 객체에 대한 객체 이미지를 입력받고,
상기 객체 이미지에서 딥러닝 모델을 통해 상기 타겟 객체의 피처 벡터를 추출하고,
비 식별화 객체 데이터베이스를 통해 상기 추출된 피처 벡터에 대응하는 상기 타겟 객체의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 추출하고,
상기 비 식별화 객체 데이터베이스는,
상기 임의의 영상에서 각 프레임별로 객체 영역을 탐지하고,
상기 탐지된 객체 영역의 피처 벡터들을 추출하고,
상기 추출된 피처 벡터들을 객체별로 복수의 그룹으로 그룹핑하고,
상기 복수의 그룹마다 대표 피처 벡터를 설정하고,
상기 대표 피처 벡터와 상기 탐지된 객체 영역의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장함으로써 구현되는 것
을 특징으로 하는 컴퓨터 장치.at least one processor implemented to execute computer readable instructions
including,
by the at least one processor,
For a non-identified image generated by de-identifying at least one object in a certain image, an object image of a target object to be searched for in the non-identified image is input;
extracting a feature vector of the target object from the object image through a deep learning model;
extracting time information and location information from the non-identified image of the target object corresponding to the extracted feature vector through a non-identified object database;
The non-identified object database,
Detecting an object region for each frame in the arbitrary image,
Extracting feature vectors of the detected object region;
Grouping the extracted feature vectors into a plurality of groups for each object;
Setting a representative feature vector for each of the plurality of groups;
Implemented by storing the representative feature vector and time information and location information in the non-identified image of the detected object region in association with each other
Characterized by a computer device. 제10항에 있어서,
상기 비 식별화 객체 데이터베이스는 상기 비 식별화 영상에 출현하는 객체들 각각의 피처 벡터 및 상기 객체들 각각의 상기 비 식별화 영상에서의 시간 정보 및 위치 정보를 서로 연계하여 저장하도록 구현되는 것
을 특징으로 하는 컴퓨터 장치.According to claim 10,
The non-identified object database is implemented to store feature vectors of each of the objects appearing in the non-identified image and time information and location information of each of the objects in the non-identified image in association with each other
Characterized by a computer device. 제10항에 있어서,
상기 시간 정보는 상기 비 식별화 영상에서 상기 타겟 객체가 출현하는 프레임에 대한 정보를 포함하고,
상기 위치 정보는 프레임내에서의 상기 타겟 객체의 공간적 위치에 대한 정보를 포함하는 것
을 특징으로 하는 컴퓨터 장치.According to claim 10,
The time information includes information on a frame in which the target object appears in the non-identified image,
The location information includes information on the spatial location of the target object within a frame.
Characterized by a computer device.
KR1020220105440A 2022-08-23 2022-08-23 Method and system for retrieving de-identified object in video KR102502034B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220105440A KR102502034B1 (en) 2022-08-23 2022-08-23 Method and system for retrieving de-identified object in video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220105440A KR102502034B1 (en) 2022-08-23 2022-08-23 Method and system for retrieving de-identified object in video

Publications (1)

Publication Number Publication Date
KR102502034B1 true KR102502034B1 (en) 2023-02-21

Family

ID=85328500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220105440A KR102502034B1 (en) 2022-08-23 2022-08-23 Method and system for retrieving de-identified object in video

Country Status (1)

Country Link
KR (1) KR102502034B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070083730A (en) * 2004-09-21 2007-08-24 유클리드 디스커버리스, 엘엘씨 Apparatus and method for processing video data
KR20130108425A (en) * 2011-01-07 2013-10-02 알까뗄 루슨트 Method and apparatus for comparing videos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070083730A (en) * 2004-09-21 2007-08-24 유클리드 디스커버리스, 엘엘씨 Apparatus and method for processing video data
KR20130108425A (en) * 2011-01-07 2013-10-02 알까뗄 루슨트 Method and apparatus for comparing videos

Similar Documents

Publication Publication Date Title
CN109961009B (en) Pedestrian detection method, system, device and storage medium based on deep learning
KR102225093B1 (en) Apparatus and method for estimating camera pose
WO2019218824A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
US20150339536A1 (en) Collaborative text detection and recognition
US8805091B1 (en) Incremental image processing pipeline for matching multiple photos based on image overlap
WO2012015919A1 (en) Automatic media sharing via shutter click
CN111444744A (en) Living body detection method, living body detection device, and storage medium
WO2020166883A1 (en) Method and system for editing video on basis of context obtained using artificial intelligence
US9665773B2 (en) Searching for events by attendants
CN111046235A (en) Method, system, equipment and medium for searching acoustic image archive based on face recognition
KR102592551B1 (en) Object recognition processing apparatus and method for ar device
JP2018165926A (en) Similar image retrieval device
US11087137B2 (en) Methods and systems for identification and augmentation of video content
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
US20140232748A1 (en) Device, method and computer readable recording medium for operating the same
JP2020127194A (en) Computer system and program
Singh et al. Face recognition using open source computer vision library (OpenCV) with python
KR101826669B1 (en) System and method for video searching
KR102502034B1 (en) Method and system for retrieving de-identified object in video
CN110738175A (en) Face image processing method and device, computer equipment and storage medium
JP7389955B2 (en) Information processing device, information processing method and program
CN112236777A (en) Vector-based object recognition in hybrid clouds
KR102641630B1 (en) Method and system for detecting noise feature using pair-wise similarity matrix between features stored in database
JP7307887B2 (en) Information processing device, information processing method and program
KR20190143666A (en) Method, system, and non-transitory computer readable record medium for converting image to location data

Legal Events

Date Code Title Description
GRNT Written decision to grant