KR102424095B1 - 개인정보를 보장하는 실시간 라벨링 방법 및 장치 - Google Patents

개인정보를 보장하는 실시간 라벨링 방법 및 장치 Download PDF

Info

Publication number
KR102424095B1
KR102424095B1 KR1020200177003A KR20200177003A KR102424095B1 KR 102424095 B1 KR102424095 B1 KR 102424095B1 KR 1020200177003 A KR1020200177003 A KR 1020200177003A KR 20200177003 A KR20200177003 A KR 20200177003A KR 102424095 B1 KR102424095 B1 KR 102424095B1
Authority
KR
South Korea
Prior art keywords
devices
images
personal information
real
time labeling
Prior art date
Application number
KR1020200177003A
Other languages
English (en)
Other versions
KR20220086844A (ko
Inventor
김성륜
오승은
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200177003A priority Critical patent/KR102424095B1/ko
Publication of KR20220086844A publication Critical patent/KR20220086844A/ko
Application granted granted Critical
Publication of KR102424095B1 publication Critical patent/KR102424095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

개시된 기술은 개인정보를 보장하는 실시간 라벨링 방법 및 장치에 관한 것으로, 복수의 이동체가 카메라를 이용하여 지상에 대한 복수의 이미지를 각각 촬영하고 복수의 디바이스들에게 각각 전송하는 단계; 상기 복수의 디바이스가 상기 복수의 이미지로부터 믹스업(Mix up) 된 샘플 이미지를 계산하고 각자 계산한 샘플 이미지를 서로 공유하는 단계; 상기 복수의 디바이스가 상기 공유된 샘플 이미지를 딥러닝 모델에 입력하여 예측값을 각자 측정하고 상기 예측값을 서로 공유하는 단계; 상기 복수의 디바이스가 상기 공유된 예측값으로부터 역 믹스업(Inverse Mix up) 된 예측값을 계산하는 단계; 및 상기 복수의 디바이스가 상기 역 믹스업된 예측값을 상기 복수의 이미지에 대한 라벨값으로 입력하는 단계를 포함한다.

Description

개인정보를 보장하는 실시간 라벨링 방법 및 장치 {REAL TIME LABELING METHOD AND DEVICE FOR ENSURING PRIVACY}
개시된 기술은 이동체에서 획득한 영상을 개인정보 노출 없이 실시간으로 라벨링하는 방법 및 장치에 관한 것이다.
이동체들로 이루어진 네트워크 상에서 실시간으로 얻은 데이터 셈플을 강화학습에 활용하기 위해서는 빠른 속도로 라벨링을 입력하는 기술이 요구된다. 라벨링을 입력을 위해 단말과 단말 또는 단말과 서버 간에 데이터를 교환할 수 있다. 이때, 데이터 교환 과정에서 각 이동체가 얻은 샘플에 대하여 개인정보(Privacy)를 보장하는 것이 중요한 이슈이다. 일반적인 데이터 교환 방식으로는 단말기 갖는 샘플을 직접 교환하는 방식, 단말이 트레이닝하는 모델을 교환하는 방식, 단말이 트레이닝하는 모델의 결과값을 교환하는 방식 등이 존재한다.
한편, 개인정보 유출을 방지하기 위해서 이용되는 방법 또한 다양하게 존재한다. 예컨대, 샘플에 랜덤하게 생성한 노이즈를 섞어서 전송하거나 양자화 레벨(Quantization Level)을 제어하는 방식, 그리고 믹스업(Mix up)을 이용하는 방식이 존재한다. 이 중 믹스업은 레이블이 다른 임의의 두 샘플을 섞는 방식으로 데이터 증강(Data Augmentation)에 주로 이용되는 것으로 샘플에 포함된 개인정보를 방지하는 데에도 효과적이다.
한편, 상술한 바와 같이 단말이 직접 샘플을 교환하는 방식의 경우에는 테스트 정확도를 충분히 향상시킬 수 있지만 개인정보의 유출이 발생하는 문제가 있었다. 그리고 트레이닝된 모델을 교환하는 방식은 샘플을 직접 교환하는 대신 모델을 이용하여 간접적인 교환을 함으로써 개인정보의 유출은 피할 수 있으나 모델 자체의 정보량이 커서 통신 환경이 양호하지 않은 경우에는 테스트가 실패할 확률이 높아지는 문제가 있었다. 그리고 모델에서 출력된 결과값을 이용하는 방식은 개인정보가 유출되지 않고 교환되는 정보량 또한 적은 편이라는 장점이 있으나 테스트 정확도가 충분하지 못하다는 문제가 있었다.
한국 등록특허 제10-1843066호
개시된 기술은 이동체에서 획득한 영상을 개인정보 노출 없이 실시간으로 라벨링하는 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 복수의 이동체가 카메라를 이용하여 지상에 대한 복수의 이미지를 각각 촬영하고 복수의 디바이스들에게 각각 전송하는 단계; 상기 복수의 디바이스가 상기 복수의 이미지로부터 믹스업(Mix up) 된 샘플 이미지를 계산하고 각자 계산한 샘플 이미지를 서로 공유하는 단계; 상기 복수의 디바이스가 상기 공유된 샘플 이미지를 딥러닝 모델에 입력하여 예측값을 각자 측정하고 상기 예측값을 서로 공유하는 단계; 상기 복수의 디바이스가 상기 공유된 예측값으로부터 역 믹스업(Inverse Mix up) 된 예측값을 계산하는 단계; 및 상기 복수의 디바이스가 상기 역 믹스업된 예측값을 상기 복수의 이미지에 대한 라벨값으로 입력하는 단계를 포함하는 개인정보를 보장하는 실시간 라벨링 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 복수의 이동체로부터 전송되는 복수의 이미지를 수신하는 안테나; 딥러닝 모델을 저장하는 저장장치; 및 상기 복수의 이미지로부터 믹스업 된 샘플 이미지를 계산하고 상기 샘플 이미지를 타 디바이스에 전송하여 획득한 예측값으로부터 역 믹스업(Inverse Mix up) 된 예측값을 계산하고 상기 역 믹스업된 예측값을 상기 복수의 이미지에 대한 라벨값으로 입력하는 연산장치를 포함하는 개인정보를 보장하는 실시간 라벨링 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 개인정보를 보장하는 실시간 라벨링 방법 및 장치는 라벨값을 입력할 때 개인정보를 이용하지 않아서 유출을 방지하는 효과가 있다.
또한, 빠르게 입력된 라벨값을 이용하여 모델의 테스트 정확도를 높이는 효과가 있다.
또한, 다른 모델의 예측값을 이용하여 공간 다이버시티를 획득하는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 개인정보를 보장하는 실시간 라벨링 시스템을 이용하는 과정을 나타낸 도면이다.
도 3은 개시된 기술의 일 실시예에 따른 개인정보를 보장하는 실시간 라벨링 장치에 대한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 개인정보를 보장하는 실시간 라벨링 시스템을 이용하는 과정을 나타낸 도면이다. 도 1을 참조하면 시스템(100)은 복수의 이동체 및 복수의 디바이스를 포함한다. 복수의 이동체는 드론과 같이 이동 가능한 무인체일 수 있으며 복수의 디바이스는 지상의 기지국이나 인프라 등에 설치되어 복수의 이동체들과 통신하는 RSU일 수 있다. 복수의 이동체 및 복수의 디바이스는 분산 네트워크를 형성하는 복수개의 노드일 수 있다.
복수의 이동체들은 지상에 대한 이미지를 각각 촬영한다. 이동체 A 및 이동체 B는 서로 다른 위치를 비행하는 중이므로 서로 다른 이미지가 촬영될 수 있다. 당연하게도 두 이미지 간에는 이동체 A와 이동체 B의 위치를 식별할 수 있는 정보들이 포함된다. 예컨대 지상의 도로나 교통표지판 내지는 구조물, 랜드마크 등과 같이 이동체의 경로를 나타낼 수 있는 정보를 포함할 수 있다.
한편, 각 이동체들이 촬영한 복수의 이미지들은 라벨값이 입력되지 않은 데이터로 일종의 로데이터(Raw data)일 수 있다. 복수의 이동체들은 이러한 이미지를 촬영하고 실시간으로 네트워크를 통해 복수의 디바이스로 전송한다.
복수의 디바이스들은 복수의 이미지로부터 믹스업(Mix up) 된 샘플 이미지를 계산한다. 그리고 각자 계산한 샘플 이미지를 서로 공유한다. 예컨대, 기지국 A의 디바이스와 기지국 B의 디바이스가 서로 계산한 샘플 이미지를 공유할 수 있다. 물론 더 많은 수의 디바이스가 존재하더라도 네트워크를 통해 서로 샘플 이미지를 공유하는 것이 가능하다.
여기에서 믹스업에 적용된 믹스비율(Mixing ratio)는 제외하고 믹싱된 결과값인 샘플 이미지만을 공유한다. 즉, 믹스 비율은 각 디바이스들이 샘플 이미지를 생성하는데 사용하는 각자의 개인키(Private Key)일 수 있다. 이와 같이 공유된 샘플 이미지를 딥러닝 모델에 입력하여 예측값을 각자 측정하고 이를 서로 공유한다.
복수의 디바이스는 자신이 공유한 샘플 이미지에 대한 다른 디바이스의 예측값을 이용한다. 각 디바이스 별로 모델이 탑재될 수 있으며 자신이 믹스업한 샘플 이미지에 대한 다른 모델들의 예측값의 평균을 계산할 수 있다. 복수의 디바이스들이 모두 이러한 방법에 따라 타 디바이스의 예측값을 수신하면 각자 자신의 믹스 비율을 이용하여 역 믹스업된 예측값을 출력할 수 있다. 이와 같이 역 믹스업된 예측값을 구하면 이를 이미지의 라벨값으로 입력할 수 있다.
한편, 복수의 디바이스들은 이와 같이 생성된 라벨값을 이용하여 각자의 모델을 트레이닝할 수 있다. 이러한 프로세스를 통해 라벨값이 입력되지 않은 이동체의 이미지에 실시간으로 라벨값을 입력할 수 있으며 라벨링 수행 시 발생할 수 있는 샘플 프라이버시 손실을 방지할 수 있다. 그리고 이러한 과정에서 다른 디바이스의 모델에서 출력된 예측값을 이용하기 때문에 공간 다이버시티가 증가되는 효과가 발생될 수 있다. 즉 이동체의 이동 경로와 위치에 대한 상관관계를 파악할 수 있으므로 보다 높은 정확도로 트레이닝을 수행할 수 있다.
삭제
삭제
삭제
삭제
삭제
삭제
도 3은 개시된 기술의 일 실시예에 따른 개인정보를 보장하는 실시간 라벨링 장치에 대한 블록도이다. 도 3을 참조하면 라벨링 장치(300)는 안테나(310), 저장장치(320) 및 연산장치(330)를 포함한다.
안테나(310)는 복수의 이동체로부터 전송되는 복수의 이미지를 수신한다. 안테나는 일반적은 V2X 통신에 이용하는 방향성 안테나를 이용할 수 있다. 안테나(310)는 V2X 통신에 따른 주파수를 이용하여 네트워크 상의 복수의 이동체들로부터 이미지를 수신할 수 있다.
저장장치(320)는 딥러닝 모델을 저장한다. 딥러닝 모델은 타 디바이스로부터 전송된 샘플 이미지로부터 예측값을 획득할 수 있으며, 연산장치(330)에서 구해진 라벨값을 이용하여 모델을 트레이닝 할 수 있다.
연산장치(330)는 복수의 이미지로부터 믹스업 된 샘플 이미지를 계산한다. 상술한 바와 같이 믹스 비율에 따른 샘플 이미지가 계산될 수 있다. 그리고 샘플 이미지를 타 디바이스에 전송한다. 그리고 타 디바이스들로부터 샘플 이미지에 대한 예측값을 획득하고 이로부터 역 믹스업(Inverse Mix up) 된 예측값을 출력한다. 이와 같이 역 믹스업된 예측값을 복수의 이미지에 대한 라벨값으로 입력할 수 있다.
한편, 상술한 라벨링 장치(300)는 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
개시된 기술에서 믹스업된 샘플 이미지는 일례로
Figure 112021152306048-pat00035
과 같은 형태가 될 수 있다. 여기에서
Figure 112021152306048-pat00036
가 믹스 비율(Mixing ratio)를 의미한다. 믹스업 알고리즘을 통해 출력된 샘플 이미지
Figure 112021152306048-pat00037
,
Figure 112021152306048-pat00038
를 데이터 교환에 사용함으로써 개인정보의 유출 문제를 일정수준 해결할 수 있고 테스트의 정확도 향상 또한 기대할 수 있다.
삭제
삭제
삭제
삭제
삭제
역 믹스업된 예측값
Figure 112021152306048-pat00039
및
Figure 112021152306048-pat00040
도 믹스업과 유사하게 아래 수학식 2와 같이 계산될 수 있다.
[수학식 2]
Figure 112021152306048-pat00041
여기에서
Figure 112022042642095-pat00048
은 공유된 샘플 이미지
Figure 112022042642095-pat00043
를 딥러닝 모델에 입력하여 얻은 예측값 평균이며,
Figure 112022042642095-pat00049
는 공유된 샘플 이미지
Figure 112022042642095-pat00045
를 딥러닝 모델에 입력하여 얻은 예측값 평균이고,
Figure 112022042642095-pat00046
는 아래 수학식 3과 같이 계산될 수 있다.
[수학식 3]
Figure 112021152306048-pat00047
삭제
개시된 기술의 일 실시예에 따른 개인정보를 보장하는 실시간 라벨링 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (11)

  1. 복수의 이동체가 카메라를 이용하여 지상에 대한 복수의 이미지를 각각 촬영하고 복수의 디바이스들에게 각각 전송하는 단계;
    상기 복수의 디바이스가 상기 복수의 이미지로부터 믹스업(Mix up) 된 샘플 이미지를 계산하고 각자 계산한 샘플 이미지를 서로 공유하는 단계;
    상기 복수의 디바이스가 상기 공유된 샘플 이미지를 딥러닝 모델에 입력하여 예측값을 각자 측정하고 상기 예측값을 서로 공유하는 단계;
    상기 복수의 디바이스가 상기 공유된 예측값으로부터 역 믹스업(Inverse Mix up) 된 예측값을 계산하는 단계; 및
    상기 복수의 디바이스가 상기 역 믹스업된 예측값을 상기 복수의 이미지에 대한 라벨값으로 입력하는 단계;를 포함하는 개인정보를 보장하는 실시간 라벨링 방법.
  2. 제 1 항에 있어서,
    상기 복수의 이동체가 촬영한 이미지는 라벨값이 입력되지 않은 로데이터(Raw data)이고, 상기 이미지는 상기 복수의 이동체가 지나는 경로를 포함하는 개인정보를 보장하는 실시간 라벨링 방법.
  3. 제 1 항에 있어서,
    상기 복수의 디바이스는 상기 딥러닝 모델 각각의 믹스비율(Mixing ratio)에 따라 상기 복수의 이미지를 각각 믹스업하고,
    상기 믹스비율은 상기 복수의 디바이스 간에 공유되지 않는 개인키(Private Key)인 것을 특징으로 하는 개인정보를 보장하는 실시간 라벨링 방법.
  4. 제 1 항에 있어서,
    상기 복수의 이동체 및 상기 복수의 디바이스는 분산 네트워크를 형성하는 복수개의 노드이고,
    상기 복수의 이동체는 공중을 비행하는 드론이고, 상기 복수의 디바이스는 지상의 기지국 내 탑재되는 것을 특징으로 하는 개인정보를 보장하는 실시간 라벨링 방법.
  5. 제 1 항에 있어서, 상기 역 믹스업 된 예측값을 계산하는 단계는,
    상기 복수의 디바이스가 상기 공유된 예측값의 평균을 계산하고 자신의 믹스비율을 이용하여 상기 예측값을 역 믹스업하는 개인정보를 보장하는 실시간 라벨링 방법.
  6. 제 1 항에 있어서, 상기 라벨값으로 입력하는 단계는,
    상기 복수의 디바이스가 상기 라벨값을 이용하여 상기 딥러닝 모델을 트레이닝하는 단계를 더 포함하는 개인정보를 보장하는 실시간 라벨링 방법.
  7. 복수의 이동체로부터 전송되는 복수의 이미지를 수신하는 안테나;
    딥러닝 모델을 저장하는 저장장치; 및
    상기 복수의 이미지로부터 믹스업 된 샘플 이미지를 계산하고 상기 샘플 이미지를 타 디바이스에 전송하여 획득한 예측값으로부터 역 믹스업(Inverse Mix up) 된 예측값을 계산하고 상기 역 믹스업된 예측값을 상기 복수의 이미지에 대한 라벨값으로 입력하는 연산장치;를 포함하는 개인정보를 보장하는 실시간 라벨링 장치.
  8. 제 7 항에 있어서,
    상기 복수의 이동체가 촬영한 이미지는 라벨값이 입력되지 않은 로데이터(Raw data)이고, 상기 이미지는 상기 복수의 이동체가 지나는 경로를 포함하는 개인정보를 보장하는 실시간 라벨링 장치.
  9. 제 7 항에 있어서,
    상기 연산장치는 믹스비율(Mixing ratio)에 따라 상기 복수의 이미지를 믹스업하고,
    상기 믹스비율은 상기 타 디바이스와 공유하지 않는 개인키(Private Key)인 것을 특징으로 하는 개인정보를 보장하는 실시간 라벨링 장치.
  10. 제 9 항에 있어서,
    상기 연산장치는 상기 타 디바이스에서 전송된 상기 예측값의 평균을 계산하고 상기 믹스비율을 이용하여 상기 예측값의 평균을 역 믹스업하는 개인정보를 보장하는 실시간 라벨링 장치.
  11. 제 7 항에 있어서,
    상기 연산장치는 상기 라벨값을 이용하여 상기 딥러닝 모델을 트레이닝하는 개인정보를 보장하는 실시간 라벨링 장치.
KR1020200177003A 2020-12-17 2020-12-17 개인정보를 보장하는 실시간 라벨링 방법 및 장치 KR102424095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177003A KR102424095B1 (ko) 2020-12-17 2020-12-17 개인정보를 보장하는 실시간 라벨링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177003A KR102424095B1 (ko) 2020-12-17 2020-12-17 개인정보를 보장하는 실시간 라벨링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220086844A KR20220086844A (ko) 2022-06-24
KR102424095B1 true KR102424095B1 (ko) 2022-07-21

Family

ID=82216021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177003A KR102424095B1 (ko) 2020-12-17 2020-12-17 개인정보를 보장하는 실시간 라벨링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102424095B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072957A (ja) 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像加工方法、画像加工システム及びプログラム
KR102170620B1 (ko) 2019-05-10 2020-10-28 네이버 주식회사 지역적 특징을 가지는 분류기 학습을 위한 학습 데이터 생성 방법 및 그 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843066B1 (ko) 2017-08-23 2018-05-15 주식회사 뷰노 기계 학습에 있어서 데이터 확대를 이용하여 데이터의 분류를 수행하는 방법 및 이를 이용한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072957A (ja) 2016-10-25 2018-05-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像加工方法、画像加工システム及びプログラム
KR102170620B1 (ko) 2019-05-10 2020-10-28 네이버 주식회사 지역적 특징을 가지는 분류기 학습을 위한 학습 데이터 생성 방법 및 그 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Seungeun Oh외 5인, "Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation With Two-Way Mixup", IEEE Communications Letters vol.24, Issue. 10, (2020.10.31.) 1부.*

Also Published As

Publication number Publication date
KR20220086844A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
US10740964B2 (en) Three-dimensional environment modeling based on a multi-camera convolver system
US20190130427A1 (en) Candidate site evaluation system and candidate site evaluation method
CN110874637B (zh) 基于隐私数据保护的多目标融合学习方法、装置和系统
CN105243119A (zh) 确定图像的待叠加区域、叠加图像、图片呈现方法和装置
CN111161202A (zh) 车辆行为信息获取方法、装置、计算机设备和存储介质
CN112819857A (zh) 目标跟踪方法及其装置、介质和电子设备
CN109388722B (zh) 一种用于添加或查找社交联系人的方法与设备
KR102424095B1 (ko) 개인정보를 보장하는 실시간 라벨링 방법 및 장치
CN111553712A (zh) 用于水务工程管材信息追溯的区块链系统和追溯方法
JP2020135879A (ja) 画像処理装置、方法及び記憶媒体
KR102252599B1 (ko) 토지감정평가서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
Gioia et al. On cleaning strategies for WiFi positioning to monitor dynamic crowds
US20210192954A1 (en) Merging support information distribution apparatus, merging support system, merging support information distribution method, and computer program
Lin et al. VCLT: An accurate trajectory tracking attack based on crowdsourcing in VANETs
CN111368752B (zh) 车辆损伤的分析方法和装置
EP3672206B1 (en) A method for determining a geofence parameter of a geofence area related to a point of interest and related electronic device
Alam et al. A decision-making model for self-driving vehicles based on GPT-4V, federated reinforcement learning, and blockchain
Kavati Deep learning-based pothole detection for intelligent transportation systems
CN108235367B (zh) 无线保真WiFi设备识别方法及装置
CN111488928A (zh) 用于获取样本的方法及装置
KR102415990B1 (ko) 공간 다중모드 검출을 수행하는 방법 및 장치
JP2021004936A (ja) 地図更新データ生成装置及び地図更新データ生成方法
GB2532387A (en) Information processing system, relay device, information processing device, program, and information processing method
US20210217034A1 (en) Rent calculation apparatus, rent calculation method, and program
Sarla et al. Sustainable Concrete Strength Prediction Using ARIMA Model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant