KR102469380B1 - 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 - Google Patents
영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 Download PDFInfo
- Publication number
- KR102469380B1 KR102469380B1 KR1020220023782A KR20220023782A KR102469380B1 KR 102469380 B1 KR102469380 B1 KR 102469380B1 KR 1020220023782 A KR1020220023782 A KR 1020220023782A KR 20220023782 A KR20220023782 A KR 20220023782A KR 102469380 B1 KR102469380 B1 KR 102469380B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- identification
- image data
- user device
- identified
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013503 de-identification Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000010365 information processing Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26613—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for generating or managing keys in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Storage Device Security (AREA)
Abstract
정보처리장치에 의해 수행되는 영상 데이터의 비식별화 처리 방법으로, 원본 영상 데이터를 휘발성 메모리에 임시로 저장하는 단계; 상기 원본 영상 데이터에서 개인정보영역을 검출하는 단계; 상기 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화 단계; 비휘발성 메모리에 비식별화 영상 데이터를 저장하는 단계; 및 상기 비식별화 처리를 위한 비식별화 정보를 암호화키로 암호화하어 상기 비휘발성 메모리에 저장하는 단계;를 포함한다.
Description
본 발명은 개인정보 비식별화 및 복원 방법과 시스템에 관한 것으로, 보다 구체적으로 임베디드 장치에서 영상 데이터의 개인정보를 비식별화하고 사용자 장치에서 이를 복원하는 방법 및 시스템에 관한 것이다.
자율주행차, 블랙박스, 드론, CCTV 등에서 촬영된 영상에는 사람 얼굴, 차량번호, 간판의 전화번호 등 다양한 개인정보가 포함될 수 있다. 이러한 영상 데이터는 다양한 방식으로 가공, 활용되고 있는데 이 과정에서 개인정보보호는 중요한 이슈이다. 나아가 인스타그램, 유튜브, 틱톡, 트위터 등의 활성화에 따라 다양한 영상이 네트워크를 통해 실시간 전송되거나 녹화 편집 후 업로드되는데, 이 경우에도 다양한 개인정보가 공중에 노출될 수 있다.
개인정보보호를 위한 법적 요구에 따라 영상 데이터는 비식별화 처리가 된 상태로 저장, 관리, 이용, 전송되어야 한다. 여기서, 비식별화는 특정 개인을 식별할 수 없도록 개인정보의 일부 또는 전부를 변환하는 일련의 과정으로, 식별 요소 중 다른 값으로 대체하는 가명처리, 데이터의 총합 값만 보여주고 개별 데이터는 보여주지 않는 총계처리, 일부 식별 요소를 지우는 데이터 삭제, 데이터 정확한 값은 감추고 범주 값으로 변환하는 범주화, 중요 식별자가 보이지 않게 하는 데이터 마스킹, 스크램블링 등의 방법이 있다.
일반적인 영상데이터의 개인정보 비식별화 방법은 영상획득장치에 저장된 원본 영상 파일을 하드카피하여 전용 비식별화 단말기에(PC , 셋탑등) 저장하여 비식별화를 실행하는 방식과, 영상 획득 장치로부터 획득한 원본 영상파일을 네트워크를 통해 클라우드나 서버 장치에 전송하여 식별화를 수행하는 방식이 주를 이루고 있다. 이러한 종래의 개인정보 비식별화 처리 방법은 원본 영상파일의 복사, 저장, 전송 등의 과정에서 해킹이나 분실에 의해 개인정보가 포함된 영상파일의 유출 위험이 존재한다.
종래의 방식은 또한 비식별화 처리 및 복원을 위해, 비식별화 처리를 하는 특정장치가 원본 영상과 비식별화 영상 파일을 동시에 관리해야 하므로 파일 용량이 커서 메모리 요구가 크고, 저장장치의 비효율적 사용이 불가피하다. 즉, 특정 장치가 다수의 영상획득장치에 획득된 영상을 처리하기 위해 많은 자원(네트워크 통신량, CPU, GPU, Memory 등의 하드웨어 자원)을 요구할 수 있어서 비용적 측면이나 시간적, 보완적 측면에서 비효율성이 크다.
(특허문헌 1) KR10-2020-0036656 A
본 발명은 상기한 문제점들을 효과적으로 해결하기 위해, 영상획득장치에 직접 장치되어 영상 획득 단계에서부터 영상내 개인정보 영역을 비식별화하여 개인정보가 비식별화된 영상만 저장함으로써 개인정보 보호의 품질을 향상하면서 통신 및 하드웨어 자원을 효율적으로 이용할 수 있는 임베디드 비식별화 장치를 제공하고자 한다.
본 발명은 또한 비식별화 전의 원본 영상이 필요한 경우 암호화된 비식별화정보를 이용하여 비식별화 영상 데이터로부터 원본 영상을 복원할 수 있도록 하는 방법을 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 측면에 의한 정보처리장치에 의해 수행되는 영상 데이터의 비식별화 처리 방법은, 원본 영상 데이터를 휘발성 메모리에 임시로 저장하는 단계; 상기 원본 영상 데이터에서 개인정보영역을 검출하는 단계; 상기 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화 단계; 비휘발성 메모리에 비식별화 영상 데이터를 저장하는 단계; 및 상기 비식별화 처리를 위한 비식별화 정보를 암호화키로 암호화하어 상기 비휘발성 메모리에 저장하는 단계;를 포함한다.
상기 정보처리장치는 원본 영상 데이터를 획득하는 카메라에 인접하거나 상기 카메라에 포함되는 엣지디바이스이고, 상기 원본 영상 데이터는 카메라의 이미지 센서에서 획득되어 프레임별로 상기 휘발성 메모리에 일시적으로 저장되고 이후 소멸되는 것이 바람직하다.
상기 비식별화 정보는 개인정보영역의 좌표 정보와 비식별화 방법 정보를 포함하고, 상기 암호화키는 상기 비식별화 정보와 별개로 저장된다.
상기 영상 데이터의 비식별화 처리 방법은, 사용자 장치로부터 복원정보 요청을 수신하는 단계; 사용자 장치의 위치 정보를 확인하는 단계; 사용자 장치의 위치 정보가 지정된 위치와 일치하면, 미리 등록된 사용자 장치 정보를 이용하여 상기 암호화된 비식별화 정보를 재암호화 처리한 복원정보를 사용자 장치로 전송하는 단계; 사용자 장치로부터 암호화키 요청을 수신하면, 암호화 키에 유효 시간을 설정하는 단계; 및 상기 유효 시간이 설정된 암호화 키를 사용자 장치로 전송하는 단계;를 더 포함할 수 있다.
본 발명의 다른 측면에 의하면, 사용자 장치에 의해 수행되는 원본 영상 데이터 복원 방법은, 비식별화 영상 데이터를 수신하는 단계; 엣지디바이스로 복원요청정보를 전송하는 단계; 엣지디바이스로부터 복원정보를 수신하는 단계; 사용자 장치의 고유 정보를 이용하여 상기 복원정보를 복호화 하여 암호화된 비식별화정보를 획득하는 단계; 암호화키를 엣지디바이스에 요청하는 단계; 암호화키를 획득하는 단계; 상기 암호화키의 유효 시간에 기초하여 상기 암호화키를 유효화하는 단계; 및 유효화된 상기 암호화키를 이용하여 암호화된 비식별화정보를 복호화하여 원본 영상 데이터로 복원하는 단계;를 포함한다.
상기 비식별화 방법과 복원 방법은 각기 컴퓨터로 읽기 가능한 저장매체에 저장된 프로그램으로 구현되어 실행될 수 있다.
본 발명의 일 측면에 의한 영상 데이터의 비식별화 처리를 위한 엣지디바이스는, 원본 영상 데이터를 임시로 저장하는 휘발성 메모리, 원본 영상 데이터에서 개인정보영역을 검출하는 개인정보영역 검출부, 원본 영상 데이터의 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화부, 상기 비식별화 처리를 위한 비식별화 정보를 생성하고, 비식별화 정보를 암호화하는 비식별화 정보 생성부, 상기 비식별화 영상 데이터 및 암호화된 비식별화 정보를 저장하는 저장장치, 및 외부 장치와 유무선 통신을 하기 위한 통신모듈을 포함한다.
상기 비식별화 정보는 비식별화 대상 영역의 좌표 정보와 비식별화 방법 정보를 포함하고, 상기 암호화된 비식별화 정보와 별개로 암호화키가 상기 저장장치에 저장된다.
상기 엣지디자이스는 사용자 장치로부터 수신한 복원요청정보에 포함된 사용자 장치의 위치 정보를 확인하고, 사용자 장치의 위치 정보가 미리 설정된 위치와 일치하면 등록된 사용자 장치 정보를 이용하여 상기 암호화된 비식별화 정보를 재암호화 처리하는 복원정보 생성부를 더 포함할 수 있다.
상기 통신모듈은 복원정보를 사용자 장치로 전송하고, 상기 복원정보 생성부는 사용자 장치로부터 암호화키 요청을 수신하면, 암호화 키에 유효 시간을 설정하여 저장장치에 저장하고, 상기 유효 시간이 설정된 암호화 키를 사용자 장치로 전송한다.
본 발명의 일 실시예에 의하면, 원본 영상이 획득되는 엣지디바이스에서 일시적으로 원본 영상을 저장하고 개인정보 영역이 비식별화 처리된 영상 데이터만을 저장장치에 저장함으로써 개인정보 노출 위험을 원천 차단하면서 동시에 암호화에 의해 원본 영상이 필요할 경우 복원할 수 있어 영상 데이터의 개인정보 보호 품질과 활용성이 우수하다.
본 발명에 의하면, 비식별화 영상 데이터의 복호화를 위해 사용자 디바이스의 위치, 기기정보, 유효 기간에 기초하여 복원가능성을 제한함으로써 개인정보 보호의 품질을 향상할 수 있다.
도 1은 본 발명의 일 실시예에 의한 개인정보 비식별화를 위한 엣지디바이스의 하드웨어 관점 블록도이다.
도 2는 본 발명의 일 실시예에 의한 엣지디바이스의 블록도에서 영상 데이터 비식별화 방법을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터 비식별화 방법의 일 예이다.
도 4는 본 발명의 일 실시예에 따른 영상 데이터 비식별화 방법의 일 예로서, 이미지 세그먼테이션, 세그먼테이션 블록 섞기, 세그먼트 블록별 세그먼테이션 및 메핑 테이블을 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 의한 비식별화 영상 데이터의 복원 방법을 개략적으로 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 의한 엣지디바이스의 블록도에서 영상 데이터 비식별화 방법을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터 비식별화 방법의 일 예이다.
도 4는 본 발명의 일 실시예에 따른 영상 데이터 비식별화 방법의 일 예로서, 이미지 세그먼테이션, 세그먼테이션 블록 섞기, 세그먼트 블록별 세그먼테이션 및 메핑 테이블을 나타낸 개념도이다.
도 5는 본 발명의 일 실시예에 의한 비식별화 영상 데이터의 복원 방법을 개략적으로 나타낸 순서도이다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명한다.
일반적으로 카메라 등에서 획득된 영상 이미지 데이터는 비식별화 처리를 거쳐서 외부 서버를 포함한 다른 장치로 전송되거나 메모리에 저장, 관리된다. 프레임별로 개인정보영역 검출과 비식별화 처리를 거친 영상 데이터는 암호화 및 인코딩(encoding)를 거쳐 저장, 관리, 활용, 전송된다.
비식별화 처리 대상은 얼굴, 차량번호와 같은 개인정보 영역이고, 개인 정보 영역의 검출은 인공지능 학습모델 또는 얼굴 인식 엔진이나 숫자 인식 엔진 등 다양한 알고리즘에 의해 이루어진다.
한편, 사람 얼굴이나 차량 번호판 등 개인정보 영역이 검출되면 비식별화 처리가 프로세서에 의해 이루어지는데 마스킹, 스크램블링, 블러링, 범주화, 대체, 삭제 등의 다양한 방식으로 이루어질 수 있다.
비식별화 장치(100)와 사용자 장치는 정보처리장치로서 그 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다. 비식별화 장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 비식별화 장치(100)는 렌즈 등 광학계, 이미지 센서, 이미지 센서의 신호를 디지털화하는 아날로그 디지털 컨버터(ADC), ADC를 거쳐 전처리된 영상 데이터를 임시로 저장하는 휘발성 메모리, 상기 휘발성 메모리에 임시로 저장된 영상 데이터를 이용하여 각종 처리를 수행하고 장치의 작동을 수행하는 프로세서, 통신 모뎀 등의 통신 모듈, 각종 프로그램과 데이터를 저장하기 위한 비휘발성 메모리, 입출력 인터페이스(IO I/F) 등을 포함한다. 본 발명의 일 실시예에 따른 비식별화 장치(100)는 디지털 카메라, 스마트폰, 태블릿 등 촬상 소자를 구비한 정보처리장치인 것이 바람직하다. 다만, 일부 실시예의 경우 촬상 소자 없이 외부 카메라에서 촬상한 영상을 획득하여 처리하는 서버, PC 등일 수도 있다.
상기 휘발성 메모리는 램(Random Access Memory: RAM), Cache 메모리 등 데이터를 일시적으로 저장하는 메모리이다.
실시예에 따르면, 프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 일 실시예에 따르면, 프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC), CPU, GPU, DSP(digital signal processor), FPGA(field programmable gate array), ISP 등의 하드웨어 또는 하드웨어의 조합으로 구현될 수 있다.
이미지 센서는 광학계를 거친 광학적 신호를 전기 신호로 변환하는 CCD, CMOS 등의 촬상 소자일 수 있다.
이하 도 2 내지 4를 참조하여 본 발명의 바람직한 일 실시예를 설명한다. 앞서 설명한 비식별화 장치(엣지디바이스)의 각 구성요소에 대한 중복되는 설명은 생략한다.
도 2에 의하면, 본 발명의 일 실시예에 의한 비식별화 장치는 영상 데이터의 비식별화 처리를 위한 엣지디바이스로서, 카메라의 이미지 센서로부터 원본 영상 이미지를 수신한다. 엣지디바이스는 CCTV, 자율주행자동차의 카메라, 드론카메라 또는 스마트폰에 임베디드 디바이스로 구성될 수 있다. 상기 엣지디바이스는 원본 영상 데이터를 임시로 저장하는 휘발성 메모리, CPU, DSP, 저장장치, 통신모듈을 포함한다.
CPU는 원본 영상 데이터의 사이즈를 조절하는 이미지 리사이징부, 원본 영상 데이터의 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화부, 비식별화 처리를 위한 비식별화 정보를 생성하고 비식별화 정보를 암호화하는 비식별화 정보 생성부, 사용자 장치로부터 수신한 복원요청정보에 포함된 사용자 장치의 위치 정보를 확인하고, 사용자 장치 정보를 이용하여 암호화된 비식별화 정보를 재암호화 처리하는 복원정보 생성부, 및 엣지디바이스의 각 구성요소를 제어하는 중앙제어부를 포함한다.
휘발성 메모리는 원본 영상 이미지(110)와 각종 데이터를 수신하여 임시 저장한다.
DSP는 원본 영상 데이터에서 개인정보영역을 검출하는 개인정보영역 검출부를 포함한다. 개인정보영역 검출부는 원본 영상에서 프레임별로 개인 정보 보호를 필요로 하는 객체나 영역을 인식하고 추출하기 위해 인공지능(딥러닝) 학습모델을 이용하고, 이 인공지능 학습모델은 지속적으로 업데이트된다. 개인정보영역 검출부는 인퍼런싱을 위한 인공지능학습모델일 수 있으나, 이에 한정되지 않고 개인정보영역이나 객체를 검출하는 알고리즘을 포함하는 객체인식 엔진일 수 있다.
저장장치는 비휘발성 메모리로서, 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 저장장치는 복수의 데이터베이스를 포함한다. 저장장치는 비식별화 영상 데이터를 저장하는 비식별화영상 데이터베이스, 사용자 장치에 대한 정보를 저장하는 사용자 데이터베이스, 비식별화정보를 저장하는 비식별화정보 데이터베이스, 암호화키(K1) 데이터베이스, 복원정보를 저장하는 복원정보 데이터베이스를 포함한다.
도 2를 참조하여 영상 데이터 비식별화 방법의 과정을 설명한다.
휘발성 메모리에 임시 저장된 원본 영상 데이터는 이미지 리사이징부에서 그 크기가 조절된 후 다시 임시 저장된다(120, 130). 이미지 리사이징은 필수적인 과정은 아니고 생략될 수도 있다.
개인정보영역 검출부는 크기가 조절된 원본 영상 데이터에서 개인정보영역을 검출하고(140), 검출된 개인정보영역 정보(프레임별 개인정보 영역의 좌표)를 휘발성 메모리에 저장한다(150).
비식별화부는 개인정보영역 정보를 이용하여 원본 영상 데이터에 대한 비식별화 처리를 수행한다(160). 이때, 비식별화정보 생성부는 비식별화 처리를 위한 비식별화 정보를 생성하고 비식별화 정보를 암호화한다(170). 비식별화 정보는 개인정보영역에 대한 비식별화 방법에 대한 정보와 비식별화처리 영역 정보를 포함한다.
상기 비식별화부는 비식별화처리된 영상 데이터(비식별화 영상 데이터)를 비데오 인코더로 전송하고 비데오 인코더는 인코딩한 비식별화 영상 데이터를 저장장치의 비식별화영상 데이터베이스에 저장한다(181).
비식별화정보 생성부는 상기 비식별화정보를 암호화키(K1)로 암호화하여 저장장치의 비식별화정보 데이터베이스에 저장한다(182). 한편, 암호화키(K1)는 암호화키(K1) 데이터베이스에 저장된다. 암호화키(K1)는 사전에 암호화키(K1) 데이터베이스에 저장되어 있을 수 있으나, 이에 한정되지 않고 비식별화정보 생성부에서 비식별화 정보를 암호화할 때 임의로 생성되어 암호화키(K1) 데이터베이스에 저정될 수도 있다. 각각의 데이터베이스는 별개의 저장장치에 구현될 수도 있다.
이처럼 비식별화 영상 데이터, 비식별화 정보, 암호화키가 각기 별개의 데이터베이스에 저장되므로 정보 보안의 품질이 향상된다. 영상 데이터 활용을 위해 통신모듈을 통해 비식별화 영상 데이터가 사용자 장치로 전송되어도 비식별화 정보와 암화화키가 제공되지 않으므로 전송 과정 및 영상 데이터 활용 과정에서 개인정보가 노출될 가능성이 원천차단된다. 나아가 원본 영상 데이터는 임시로 휘발성 메모리에 저장될 뿐 비식별화 처리가 완료되면 프레임별로 순차 삭제되고 후속 영상 프레임이 저장되므로 원본 영상 데이터의 노출 가능성이 없고, 엣지디바이스에서 메모리를 효율적으로 사용할 수 있다.
비식별화 처리 방법 및 비식별화 정보 생성은, 예를 들어 도 3, 4에 도시된 바와 같은 방법으로 이루어질 수 있으나, 이에 한정되지는 않는다.
도 3, 4에 의하면, 비식별화 처리는 개인정보영역에 대한 세그먼테이션 및 매핑 테이블을 이용한 블록 섞기 방식으로 이루어진다. 즉, 비식별화 영역을 미리 규정된 특정 난수를 발생시켜 이미지 세그먼테이션 및 위치 재배열한다.
먼저, 검출된 개인정보영역 정보를 이용하여 원본 영상 데이터의 개인정보영역에 대해 이미지 세그먼트를 한다(1 내지 3). 검출된 개인정보영역을 세그먼테이션 할 수 있으나, 도 4와 같이 개인정보영역을 포함하는 직사각 영역을 비식별화영역으로 선정하고 이 비식별화영역에 대해 이미지 세그먼테이션을 할 수도 있다.
이후 분할된 이미지를 내부적으로 규정된 특정 난수에 의해 위치를 재배열(섞는)하며, 이 때 특정 난수 발생에 의해 조합된 복원키 값(R1, 블록섞기 키)을 이용하여 세그먼테이션 블록을 섞는다. 이후 각 세그먼트 블록별로 다시 세그먼테이션을 하고 블록섞기를 수행하여 2 단계에 걸쳐 블록 섞기를 수행한다(4 내지 6). 2단계 복원키 값(R1, 블록섞기 키)는 동일할 수 있으나, 각기 다를 수도 있다. 복원키 값(R1, 블록섞기 키)은 매핑 테이블에 대응되는 것으로 미리 데이터베이스화하여 저장되어 있다. 복원키 값(R1, 블록섞기 키)은 비식별화 정보의 일부로서 암호화되어 저장장치에 저장된다.
사전 영상 열람 권한을 부여 받은 사용자에게 내부적으로 규정된 특정 난수 발생에 의해 조합된 암호화키를 부여하여 원본 영상의 복원을 할 수 있도록 한다.
이하에서는 도 2, 5를 참조하여 허락받은 사용자 장치에서 원본 영상을 복원하는 과정을 상세히 설명한다.
도 5에 의하면, 사용자 장치(예를 들어, PC, 태블릿 컴퓨터 등과 같은 정보처리장치)는 엣지디바이스로부터 비식별화 영상 데이터를 수신하여 이용할 수 있다. 비식별화 영상 데이터는 개인정보영역이 비식별화 처리되어 사용자 장치는 원본 영상 데이터가 필요할 경우 엣지디바이스에 복원정보요청을 할 수 있다.
사용자 장치는 정보처리장치로서 프로세서, 메모리, 통신모듈을 포함하며, 그 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다.
한편 엣지디바이스의 사용자 데이터베이스에는 미리 정해진 허락받은 사용자 장치에 대한 정보가 미리 저장되어 있으며, 이 정보는 업데이트 될 수 있다. 사용자 장치에 대한 정보는 사용자 장치의 위치 정보, 기기 정보, 복원을 위한 암호화키값의 유효화 정보를 포함한다. 사용자 장치의 위치 정보는 미리 등록된 사용자 장치의 위치 정보로서 GPS, 또는 IP 어드레스일 수 있다. 기기 정보는 사용자 장치의 고유정보(MAC address)로서 허락된 특정 기기에 한정하여 복원을 허용한다. 유효화 정보는 암호화키의 유효화 조건을 한정한 것으로 예를 들어 암호화키의 유효 시간 또는 횟수일 수 있다.
도 5에 의하면, 원본 영상 복원을 위해 사용자 장치는 유무선 통신을 통해 엣지디바이스에 복원정보를 요청하는 복원정보요청의 call을 전송한다. 상기 복원요청 정보에는 사용자 장치의 위치 정보가 포함된다.
엣지디바이스의 복원정보 생성부는 사용자 장치로부터 수신한 복원요청 정보에 포함된 사용자 장치의 위치 정보를 확인한다. 만약 수신한 사용자 장치의 위치 정보가 사용자정보 데이터베이스에 미리 저장된 위치 정보와 일치하지 않을 경우에는 사용자 장치의 복원정보 요청에 대해 승인을 거절한다.
사용자 장치의 위치 정보가 사용자정보 데이터베이스에 미리 저장된 위치 정보와 일치하면 매칭되는 등록 사용자 장치의 고유 정보(MAC address)를 이용하여 상기 암호화된 비식별화 정보를 재암호화하여 사용자 정보 데이터베이스에 저장하고 사용자 장치로 전송한다. 이 때, 등록 사용자 장치 정보가 재암호화를 위한 암호(K2)로 이용된다.
사용자 장치는 재암호화된 비식별화 정보(복원 정보)를 수신하고, 장치의 고유 정보를 이용하여 상기 복원정보를 복호화 하여 암호화된 비식별화정보를 획득한다. 이때 고유정보(사용자 장치의 디바이스 정보)는 복원 전용프로그램에 플러그인 형태로 구현되며, 사용자 장치에 맥어드레스가 자동 입력되도록 구성되어 특정 장치에서만 복원이 가능하다. 이 후, 비식별화정보의 복원을 위해 사용자 장치는 추가로 엣지디바이스에 암호화키(K1)를 요청한다.
이때, 엣지디바이스는 사용자 장치의 위치 정보, 고유 정보(MAC address)에 매칭되는 유효화 조건을 이용하여 암호화 키에 유효화 조건을 설정하고 사용자 장치로 전송한다.
사용자 장치는 암호화키를 획득하면, 상기 암호화키의 유효 시간에 기초하여 상기 암호화키를 유효화한다. 암호화키에는 유효 시간이 설정되어 소정의 유효 시간 이내에만 이용가능하고, 유효 시간이 경과하면 암호화키는 삭제되거나 로킹되어 비활성화된다.
유효화된 암호화키를 이용하여 암호화된 비식별화정보를 복호화하여 원본 영상 데이터로 복원한다. 이때 암호화키는 원본 영상 전용 재생 프로그램이나 다른 영상재생 장치에 플러그인 형태로 작동 되게 하고 원본 영상 열람 권한이 부여된다.
본 발명의 실시예에 의하면 비식별화 정보는 위치정보 확인, 디바이스 정보 확인의 2단계 확인 후에 암호화 키를 받아야 복호화될 수 있어 보안성이 우수하다. 또한 유효화 조건에 따라 일단 받은 암호화키라 할지라도 복호화가 제한되므로 정당 사용자 장치에서도 특정 기간 내에만 복원이 가능하여 개인정보보호의 품질이 향상된다.
본 발명의 다양한 실시예는 서로 다르지만 상호 배타적이지 않다. 예를 들어, 본 명세서에 기재되어 있는 특정 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 상기 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.
Claims (8)
- 광학계, 이미지 센서, 휘발성 메모리, 프로세서, 비휘발성 메모리, 및 통신모듈을 포함하는 정보처리장치에 의해 수행되는 영상 데이터의 비식별화 처리 방법으로,
원본 영상 데이터를 휘발성 메모리에 임시로 저장하는 단계;
임시로 저장된 상기 원본 영상 데이터에서 개인정보영역을 검출하는 단계;
상기 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화 단계;
비휘발성 메모리에 상기 비식별화 영상 데이터를 저장하는 단계;
상기 비식별화 처리를 위한 비식별화 정보를 암호화키로 암호화하여 저장하는 단계;
상기 비식별화 영상 데이터를 사용자 장치로 전송하는 단계;
사용자 장치로부터 복원요청정보를 수신하는 단계;
복원요청정보에 포함된 사용자 장치의 위치 정보를 확인하는 단계;
사용자 장치의 위치 정보가 지정된 위치와 일치하면, 미리 등록된 사용자 장치 정보를 이용하여 상기 암호화된 비식별화 정보를 재암호화 처리한 복원정보를 사용자 장치로 전송하는 단계;
사용자 장치로부터 암호화키 요청을 수신하면, 암호화 키에 유효 시간을 설정하는 단계; 및
상기 유효 시간이 설정된 암호화 키를 사용자 장치로 전송하는 단계;를 포함하고,
비식별화 영상 데이터, 비식별화 정보, 암호화키가 각기 별개의 데이터베이스에 저장되며,
상기 원본 영상 데이터는 카메라의 이미지 센서에서 획득되어 프레임별로 상기 휘발성 메모리에 일시적으로 저장되고 비식별화 처리 후 삭제되는 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
- 삭제
- 제1항에 있어서,
상기 비식별화 정보는 개인정보영역의 좌표 정보와 비식별화 방법 정보를 포함하는 것을 특징으로 하는 영상 데이터의 비식별화 처리 방법.
- 삭제
- 삭제
- 영상 데이터의 비식별화 처리를 위한 엣지디바이스로서,
원본 영상 데이터를 임시로 저장하는 휘발성 메모리,
원본 영상 데이터에서 개인정보영역을 검출하는 개인정보영역 검출부,
원본 영상 데이터의 개인정보영역을 비식별화 처리하여 상기 원본 영상 데이터를 비식별화 영상 데이터로 변환하는 비식별화부,
상기 비식별화 처리를 위한 비식별화 정보를 생성하고, 비식별화 정보를 암호화하는 비식별화 정보 생성부,
상기 비식별화 영상 데이터 및 암호화된 비식별화 정보를 저장하는 저장장치,
외부 장치와 유무선 통신을 하기 위한 통신모듈, 및
사용자 장치로부터 수신한 복원요청정보에 포함된 사용자 장치의 위치 정보를 확인하고, 사용자 장치의 위치 정보가 미리 설정된 위치와 일치하면 등록된 사용자 장치 정보를 이용하여 상기 암호화된 비식별화 정보를 재암호화 처리하는 복원정보 생성부를 포함하고,
상기 비식별화 정보를 재암호화 처리한 복원정보는 통신모듈에 의해 사용자 장치로 전송되고,
상기 복원정보 생성부는 사용자 장치로부터 암호화키 요청을 수신하면, 암호화 키에 유효 시간을 설정하여 저장장치에 저장하고, 상기 유효 시간이 설정된 암호화 키를 사용자 장치로 전송하고,
비식별화 영상 데이터, 비식별화 정보, 암호화키가 각기 별개의 데이터베이스에 저장되며,
상기 원본 영상 데이터는 카메라의 이미지 센서에서 획득되어 프레임별로 상기 휘발성 메모리에 일시적으로 저장되고 비식별화 처리 후 삭제되는 것을 특징으로 하는 엣지디바이스.
- 제6항에 있어서,
상기 비식별화 정보는 비식별화 대상 영역의 좌표 정보와 비식별화 방법 정보를 포함하는 것을 특징으로 하는 엣지디바이스.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220023782A KR102469380B1 (ko) | 2022-02-23 | 2022-02-23 | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220023782A KR102469380B1 (ko) | 2022-02-23 | 2022-02-23 | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102469380B1 true KR102469380B1 (ko) | 2022-11-23 |
Family
ID=84236786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220023782A KR102469380B1 (ko) | 2022-02-23 | 2022-02-23 | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102469380B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003061076A (ja) * | 2001-08-10 | 2003-02-28 | Sogo Keibi Hosho Co Ltd | 監視装置、監視方法およびその方法をコンピュータに実行させるプログラム |
| JP2005286468A (ja) * | 2004-03-29 | 2005-10-13 | Mitsubishi Electric Corp | マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置 |
| JP4449717B2 (ja) * | 2004-11-30 | 2010-04-14 | 株式会社日立製作所 | 携帯端末 |
| JP2011118635A (ja) * | 2009-12-02 | 2011-06-16 | Wayz Japan Inc | 地図認証システム |
| KR20120053451A (ko) * | 2010-11-17 | 2012-05-25 | 한국전자통신연구원 | 차량용 프라이버시 마스킹 장치와 이를 이용한 프라이버시 보호 방법 |
| EP3557864A1 (en) * | 2016-12-16 | 2019-10-23 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and apparatus for image display using privacy masking |
| KR20190120663A (ko) * | 2018-04-16 | 2019-10-24 | 주식회사 아이에이 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
-
2022
- 2022-02-23 KR KR1020220023782A patent/KR102469380B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003061076A (ja) * | 2001-08-10 | 2003-02-28 | Sogo Keibi Hosho Co Ltd | 監視装置、監視方法およびその方法をコンピュータに実行させるプログラム |
| JP2005286468A (ja) * | 2004-03-29 | 2005-10-13 | Mitsubishi Electric Corp | マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置 |
| JP4449717B2 (ja) * | 2004-11-30 | 2010-04-14 | 株式会社日立製作所 | 携帯端末 |
| JP2011118635A (ja) * | 2009-12-02 | 2011-06-16 | Wayz Japan Inc | 地図認証システム |
| KR20120053451A (ko) * | 2010-11-17 | 2012-05-25 | 한국전자통신연구원 | 차량용 프라이버시 마스킹 장치와 이를 이용한 프라이버시 보호 방법 |
| EP3557864A1 (en) * | 2016-12-16 | 2019-10-23 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and apparatus for image display using privacy masking |
| KR20190120663A (ko) * | 2018-04-16 | 2019-10-24 | 주식회사 아이에이 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102328725B1 (ko) | 하나의 장치를 이용하여 다른 장치를 언로크하는 방법 | |
| US11155725B2 (en) | Method and apparatus for redacting video for compression and identification of releasing party | |
| US10181952B2 (en) | Encryption using biometric image-based key | |
| US10313338B2 (en) | Authentication method and device using a single-use password including biometric image information | |
| US10075618B2 (en) | Security feature for digital imaging | |
| TWI578749B (zh) | 用於遷移金鑰之方法及設備 | |
| US20150040212A1 (en) | Locking apparatus with enhanced security using iris image | |
| KR102066778B1 (ko) | 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법 | |
| CN106709319B (zh) | 一种二维码编码、解码应用权限控制系统及分级授权方法 | |
| JP2023534417A (ja) | 合成再暗号化画像を使用した画像配信 | |
| KR20210084806A (ko) | 홍채 인식 기반 왜곡 영상 복원 처리 방법 | |
| KR20170038542A (ko) | 보안 인증 장치 및 보안 인증 방법 | |
| KR102469380B1 (ko) | 영상 데이터의 개인정보 비식별화 및 복원 방법 및 장치 | |
| KR20200136829A (ko) | 기밀 데이터의 보호를 위한 사용자 장치 및 방법 | |
| CN114938465B (zh) | 一种基于特征序列的加密数据传输方法及装置 | |
| US20230276146A1 (en) | Image processing circuitry and image processing method | |
| CN115114667A (zh) | 一种安全芯片的隐私信息处理分类方法及装置 | |
| KR20210084805A (ko) | 지문 인식 기반 왜곡 영상 복원 처리 방법 | |
| KR20210084802A (ko) | 왜곡 영상 복원 처리 방법 | |
| KR101979102B1 (ko) | 영상 인증 방법 및 그 장치 | |
| KR20210084804A (ko) | 신분증 인식 기반 왜곡 영상 복원 처리 방법 | |
| KR102436602B1 (ko) | 영상 데이터의 개인정보 비식별화 방법 및 장치 | |
| KR101882299B1 (ko) | Cctv 상호인증을 통한 제어권 유출을 방지하는 보안 디바이스 유닛 | |
| KR20210084803A (ko) | 안면 인식 기반 왜곡 영상 복원 처리 방법 | |
| KR20210084807A (ko) | 문자열 인식 기반 왜곡 영상 복원 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |