KR102553801B1 - 차량 이미지 탑승자 개인정보 보호 방법 및 시스템 - Google Patents

차량 이미지 탑승자 개인정보 보호 방법 및 시스템 Download PDF

Info

Publication number
KR102553801B1
KR102553801B1 KR1020210154453A KR20210154453A KR102553801B1 KR 102553801 B1 KR102553801 B1 KR 102553801B1 KR 1020210154453 A KR1020210154453 A KR 1020210154453A KR 20210154453 A KR20210154453 A KR 20210154453A KR 102553801 B1 KR102553801 B1 KR 102553801B1
Authority
KR
South Korea
Prior art keywords
image
masking
vehicle
area
masking area
Prior art date
Application number
KR1020210154453A
Other languages
English (en)
Other versions
KR20230068553A (ko
Inventor
신용선
권순길
Original Assignee
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사 filed Critical 한국도로공사
Priority to KR1020210154453A priority Critical patent/KR102553801B1/ko
Publication of KR20230068553A publication Critical patent/KR20230068553A/ko
Application granted granted Critical
Publication of KR102553801B1 publication Critical patent/KR102553801B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량 이미지 탑승자 개인정보 보호 방법 및 시스템에 관한 것으로, 본 실시예에 따른 차량 이미지 탑승자 개인정보 보호 방법은 외부로부터 차량 이미지 조회 요청을 받은 서버가 차량 이미지 제공 시, 저장된 차량 이미지 중 조회 요청받은 요청 이미지를 선택하는 단계와, 선택한 요청 이미지에서 인공신경망을 기반으로 하여 마스킹 영역을 선택하는 단계와, 선택한 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성하는 단계, 그리고 생성한 마스킹 이미지를 조회 요청한 외부로 전송하는 단계를 포함한다. 이로 인해 본 발명은 차량 이미지에 대한 개인정보 보호를 강화하면서도 이를 위한 인력 소모를 최소화할 수 있다.

Description

차량 이미지 탑승자 개인정보 보호 방법 및 시스템{Method and System for Protecting Occupant Personal Information on Vehicle Image}
본 발명은 차량 이미지 탑승자 개인정보 보호 방법 및 시스템에 관한 것으로, 더욱 상세하게는 차량 이미지 조회 요청에 따라 요청 이미지를 제공시에 인공신경망을 기반으로 소정의 영역을 마스킹 처리한 마스킹 이미지를 제공하여 차량 이미지의 탑승자 개인정보를 보호함으로써, 개인정보 보호를 강화하면서도 이를 위한 인력 소모를 최소화하는 차량 이미지 탑승자 개인정보 보호 방법 및 시스템에 관한 것이다.
최근 ITS(Intelligent Traffic System), 무인단속 시스템(과속단속, 신호위반단속, 주정차위반 단속), 교통량 측정 장치(차량통행속도, 통행량), 범죄차량검거(방범용) 시스템, 주차 관제 시스템 등 카메라에서 촬영된 영상(이미지)을 이용하여 차량번호를 판독하고 이를 이용하는 분야가 증가하고 있다.
통상적으로 이러한 차량 촬영 시스템은 차량이 운행되는 현장에 설치되어 차량 이미지를 수집하는 촬영 장치와 촬영 장치에서 수집한 차량 이미지가 저장되는 서버를 구비하며, 서버는 요청 단말에서 차량 이미지의 조회를 요청하면 저장된 차량 이미지 중 요청 단말에서 요청한 이미지를 식별하여 요청 단말에 제공한다.
그런데 종래의 차량 촬영 시스템에서는 요청 단말이 차량 이미지 조회 요청시 촬영 장치에서 수집한 차량 이미지가 그대로 제공된다. 예를 들어 과속 차량의 차량 번호 정보를 획득하고자 요청 단말에서 차량 이미지를 조회 요청한 경우, 서버에서 제공되는 차량 이미지에는 차량 번호판뿐만 아니라 차량 탑승자가 함께 포함되므로 탑승자의 개인정보 유출의 문제점이 존재한다.
대한민국 등록특허 제10-0711030호
본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 차량 이미지 조회 요청에 따라 요청 이미지를 제공시에 인공신경망을 기반으로 소정의 영역을 마스킹 처리한 마스킹 이미지를 제공하여, 차량 이미지의 탑승자 개인정보를 보호할 수 있는 차량 이미지 탑승자 개인정보 보호 방법 및 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 방법은, 외부로부터 차량 이미지 조회 요청을 받은 서버가 차량 이미지 제공 시, 차량 이미지의 탑승자 개인정보를 보호하는 방법에 있어서, 저장된 차량 이미지 중 조회 요청받은 요청 이미지를 선택하는 단계와, 선택한 요청 이미지에서 인공신경망을 기반으로 하여 마스킹 영역을 선택하는 단계와, 선택한 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성하는 단계, 그리고 생성한 마스킹 이미지를 조회 요청한 외부로 전송하는 단계를 포함한다.
이때, 마스킹 영역을 선택하는 단계는 선택한 요청 이미지에서 인공신경망을 기반으로 창문 영역을 추출하는 단계와, 차량 소유자의 요청에 따라 기설정된 가림 좌석 정보에 기초하여 추출한 창문 영역 내에서 마스킹 영역을 결정하는 단계를 포함할 수 있다.
또한, 마스킹 영역을 결정하는 단계는 가림 좌석 정보가 운전석으로 설정된 경우 창문 영역 중 운전석에 해당하는 영역을 마스킹 영역으로 결정할 수 있다.
또한, 마스킹 영역을 결정하는 단계는 가림 좌석 정보가 보조석으로 설정된 경우 창문 영역 중 보조석에 해당하는 영역을 마스킹 영역으로 결정할 수 있다.
또한, 마스킹 영역을 결정하는 단계는 가림 좌석 정보가 전체좌석으로 설정되거나 또는 미설정된 경우 창문 영역 전체를 마스킹 영역으로 결정할 수 있다.
또한, 마스킹 영역을 결정하는 단계는 가림 좌석 정보가 가림 없음으로 설정된 경우 마스킹 영역이 존재 않는 것으로 결정할 수 있다.
또한, 마스킹 이미지를 생성하는 단계는 마스킹 영역의 이미지를 삭제하는 단계와, 대체 이미지를 생성하는 단계, 그리고 삭제한 이미지를 대신하여 생성한 대체 이미지를 마스킹 영역에 붙이는 단계를 포함할 수 있다.
또한, 대체 이미지를 생성하는 단계에서 생성한 대체 이미지는 요청 이미지의 번호판부를 확대하여 생성할 수 있다.
한편, 본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 시스템은 외부로부터 차량 이미지 조회 요청을 받아 차량 이미지 제공시, 차량 이미지의 탑승자 개인정보를 보호하는 시스템에 있어서, 저장된 차량 이미지 중 조회 요청받은 요청 이미지를 선택하고, 선택한 요청 이미지에서 인공신경망을 기반으로 하여 마스킹 영역을 선택하며, 선택한 마스킹 영역을 마스킹 처리하여 생성한 마스킹 이미지를 조회 요청한 외부로 전송하는 서버를 포함한다.
본 발명에 의하면, 차량 이미지 조회 요청에 따라 요청 이미지를 제공시에 인공신경망을 기반으로 소정의 영역을 마스킹 처리한 마스킹 이미지를 제공하여 차량 이미지의 탑승자 개인정보를 보호함으로써, 개인정보 보호를 강화하면서도 이를 위한 인력 소모를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 시스템을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 방법을 개략적으로 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 서버의 기능 블록도이다.
도 4는 본 발명의 일 실시예에 따른 서버의 영역 선택부를 보다 구체적으로 도시한 기능 블록도이다.
도 5는 본 발명의 일 실시예에 따른 마스킹 영역 선택 과정을 보다 구체적으로 도시한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 창문 영역 추출부에서의 창문 영역 추출 일례를 도시한 도면이다.
도 7 내지 도 8은 본 발명의 일 실시예에 따른 마스킹 영역 결정부에서의 마스킹 영역 결정 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 마스킹 처리부를 보다 구체적으로 도시한 기능 블록도이다.
도 10의 (a)와 (b)는 본 발명의 일 실시예에 따른 마스킹 처리부의 마스킹 처리 과정을 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 대체 이미지 일례를 도시한 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하 첨부한 도면을 참고로 본 발명에 따른 차량 이미지 탑승자 개인정보 보호 방법 및 시스템에 대해 보다 구체적으로 살펴본다.
도 1은 본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 시스템을 개념적으로 도시한 도면이다.
본 실시예에 따른 차량 이미지 탑승자 개인정보 보호 시스템(이하, '개인정보 보호 시스템'이라 한다.)은 차량 이미지 조회 요청에 따라 요청 이미지를 제공시에 인공신경망을 기반으로 소정의 영역을 마스킹 처리한 마스킹 이미지를 제공하여, 차량 이미지의 탑승자 개인정보를 보호하는 것을 특징으로 한다.
이를 위해, 본 실시예에 따른 개인정보 보호 시스템은 차량 이미지를 수집하는 촬영 장치(1)와, 차량 이미지 조회를 요청하는 요청 단말기(3), 그리고 차량 이미지를 저장 및 제공하는 서버(10)를 포함하여 구성될 수 있다. 이때, 촬영 장치(1)와 서버(10), 그리고 요청 단말기(3)와 서버(10) 간에는 네트워크(5)를 통해 통신 연결될 수 있다.
촬영 장치(1)는 다수개 구비될 수 있으며, 각각의 촬영 장치(1)는 도로 등 차량이 운행되는 장소 또는 그 주변에 설치되어 차량 이미지를 수집할 수 있다. 이때, 촬영 장치(1)는 소정의 조건(차량의 과속 등)이 충족되는 경우 차량 이미지를 수집할 수 있으며, 상시 수집할 수도 있다. 촬영 장치(1)에서 수집한 차량 이미지는 네트워크(5)를 통해 서버(10)로 전송되어 저장될 수 있다.
요청 단말기(3)은 다수개 구비될 수 있으며 서버(10)에 차량 이미지 조회를 요청할 수 있다. 구체적으로 요청 단말기(3)는 경찰서, 도로공사, 구청 등에 설치된 PC일 수 있으며, 특정 차량 이미지 또는 특정 조건에 해당하는 차량 이미지를 조회 요청하기 위한 요청 정보를 생성하며, 생성한 요청 정보를 네트워크(5)를 통해 서버(10)로 전송할 수 있다.
서버(10)는 다수개의 촬영 장치(1)로부터 수신한 차량 이미지를 저장할 수 있다. 이때, 서버(10)는 수신한 모든 차량 이미지를 소정 기간 저장하거나 또는 수신한 차량 이미지 중 특정 조건에 부합하는 차량 이미지를 소정 기간 저장할 수 있다. 예를 들어, 서버(10)는 특정 시간 동안 수집된 차량 이미지를 선택하여 저장하거나 또는 번호판을 포함하는 차량 이미지를 선택하여 저장할 수 있다.
서버(10)는 요청 단말기(3)로부터 요청 정보를 수신하면, 저장된 차량 이미지 중 요청 정보에 해당하는 요청 이미지를 선택하고, 선택한 요청 이미지를 마스킹 처리한 마스킹 이미지를 생성하여 요청 단말기(3)로 전송할 수 있다.
구체적으로, 요청 단말기(3)로부터 수신한 요청 정보에는 촬영 장치 식별 정보, 시간 정보, 차량 번호 정보, 촬영 위치 정보, 차량 이미지 식별 정보 중 적어도 하나의 정보를 포함하며, 서버(10)는 수신한 요청 정보에 기초하여, 저장된 차량 이미지 중 요청 정보에 해당하는 요청 이미지를 선택할 수 있다. 서버(10)는 선택한 요청 이미지에서 탑승자의 개인정보 보호를 위해 마스킹이 요구되는 마스킹 영역을 선택할 수 있다. 이때, 서버(10)는 인공신경망을 기반으로 하여 마스킹 영역을 선택하며, 마스킹 영역 선택에 사용되는 인공신경망의 일례로 YOLO(You Only Look Once)가 사용될 수 있다. 서버(10)는 선택한 마스킹 영역을 마스킹 처리하여 요청 이미지 상의 탑승자가 비식별화 처리되도록 하며, 요청 이미지를 조회 요청한 요청 단말기(3)로 이와 같이 마스킹 처리된 마스킹 이미지를 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량 이미지 탑승자 개인정보 보호 방법을 개략적으로 도시한 순서도이다.
이하에서는, 도 2를 참조하여 본 발명의 일 실시에에 따른 차량 이미지 탑승자 개인정보 보호 방법(이하, '개인정보 보호 방법'이라 한다.)을 설명하기로 한다.
서버(10)는 요청 단말기(3)로부터 차량 이미지 조회를 위한 요청 정보를 수신하면(S10), 요청 정보에 기초하여, 저장된 차량 이미지 중 요청 단말기(3)로부터 요청받은 요청 이미지를 선택할 수 있다(S20).
요청 이미지를 선택한 서버(10)는 인공신경망을 기반으로 요청 이미지에서 마스킹 영역을 선택하고(S30), 선택한 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성할 수 있다(S40).
마지막으로, 마스킹 이미지를 생성한 서버(10)는 요청 정보를 송신한 요청 단말기(3)로 생성한 마스킹 이미지를 전송할 수 있다(S50).
이와 같은 과정을 통해, 본 실시예에 따른 개인정보 보호 방법은 차량 이미지 조회 요청에 따라 요청 이미지를 제공시에 인공신경망을 기반으로 소정의 영역을 마스킹 처리한 마스킹 이미지를 제공하여 차량 이미지의 탑승자 개인정보를 보호함으로써, 개인정보 보호를 강화하면서도 이를 위한 인력 소모를 최소화할 수 있다.
도 3은 본 발명의 일 실시예에 따른 서버의 기능 블록도이다.
이하에서는, 도 3을 참조하여 본 발명의 일 실시예에 따른 개인정보 보호 시스템의 서버(10)에 대하여 보다 구체적으로 설명하기로 한다.
서버(10)는 네트워크(5)를 통해 촬영 장치(1) 또는 요청 단말기(3)와 통신하는 통신부(11)와, 차량 이미지를 저장하는 이미지 저장부(13)와, 저장된 차량 이미지 중 요청 이미지를 선택하는 이미지 선택부(14)와, 선택한 요청 이미지에서 마스킹 영역을 선택하는 영역 선택부(15), 그리고 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성하는 마스킹 처리부(16)를 포함하여 구성될 수 있다.
통신부(11)는 네트워크(5)를 통해 촬영 장치(1)로부터 차량 이미지를 수신하거나 또는 요청 단말기(3)로부터 요청 정보를 수신할 수 있다.
통신부(11)에서 수신한 차량 이미지는 이미지 저장부(13)로 제공될 수 있다. 이미지 저장부(13)는 통신부(11)로부터 제공된 차량 이미지를 저장할 수 있다. 이때, 이미지 저장부(13)는 수신한 모든 차량 이미지를 저장하거나 또는 수신한 차량 이미지 중 특정 조건에 부합하는 차량 이미지를 저장할 수 있다. 또한, 이미지 저장부(13)는 저장한 차량 이미지 중 소정 시간이 경과한 차량 이미지는 삭제할 수 있다.
통신부(11)에서 수신한 요청 정보는 이미지 선택부(14)로 제공될 수 있다. 이미지 선택부(14)는 통신부(11)로부터 제공된 요청 정보에 해당하는 요청 이미지를 이미지 저장부(13)에 저장된 차량 이미지 중에서 선택할 수 있다. 구체적으로, 이미지 선택부(14)는 이미지 저장부(13)에 저장된 차량 이미지 중, 요청 정보에 포함된 촬영 장치 식별 정보 또는 시간 정보 또는 차량 번호 정보 또는 촬영 위치 정보 또는 차량 이미지 식별 정보와 일치하는 차량 이미지를 식별하여 요청 이미지로 선택할 수 있다.
이미지 선택부(14)에서 요청 이미지를 선택하면, 영역 선택부(15)는 탑승자의 개인정보 보호를 위해 마스킹이 요구되는 마스킹 영역을 선택할 수 있다. 이때, 영역 선택부(15)는 YOLO와 같은 인공신경망을 기반으로 하여 마스킹 영역을 선택할 수 있다.
영역 선택부(15)에서 마스킹 영역을 선택하면, 마스킹 처리부(16)는 선택한 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성하며, 생성한 마스킹 이미지를 통신부(11)로 제공할 수 있다. 통신부(11)는 제공받은 마스킹 이미지를, 조회 요청한 요청 단말기(3)로 송신할 수 있다.
도 4는 본 발명의 일 실시예에 따른 서버의 영역 선택부를 보다 구체적으로 도시한 기능 블록도이고, 도 5는 본 발명의 일 실시예에 따른 마스킹 영역 선택 과정을 보다 구체적으로 도시한 순서도이며, 도 6은 본 발명의 일 실시예에 따른 창문 영역 추출부에서의 창문 영역 추출 일례를 도시한 도면이다. 그리고 도 7 내지 도 8은 본 발명의 일 실시예에 따른 마스킹 영역 결정부에서의 마스킹 영역 결정 일례를 도시한 도면이다.
도 4를 참조하면, 영역 선택부(15)는 마스킹 영역을 선택하기 위해, 창문 영역을 추출하는 창문 영역 추출부(151)와, 창문 영역 중 마스킹 영역을 결정하는 마스킹 영역 결정부(153), 그리고 마스킹 영역 선택을 위한 설정값이 저장되는 설정값 저장부(155)를 포함하여 구성될 수 있다.
창문 영역 추출부(151)는 도 6에 도시된 바와 같이 요청 이미지(i1) 상에서 차량의 창문 영역(wa)을 추출할 수 있다. 이때, 창문 영역 추출부(151)는 YOLO와 같은 인공신경망을 이용하여 요청 이미지 상에서 차량의 창문 영역(wa)을 선택 추출할 수 있다.
마스킹 영역 결정부(153)는 창문 영역 내에서 마스킹이 수행될 마스킹 영역을 결정할 수 있다. 이때, 마스킹 영역은 창문 영역 내 전체이거나 일부일 수 있으며, 경우에 따라서는 창문 영역 내에 마스킹 영역이 존재하지 않을 수 있다. 이러한 마스킹 영역 결정부(153)의 마스킹 영역 걸정은 설정값 저장부(155)에 저장된 가림 좌석 정보에 따를 수 있다.
구체적으로 설정값 저장부(155)는 차량 소유자의 요청에 따른 차량별 가림 좌석 정보를 저장할 수 있다. 이때, 가림 좌석 정보는 통신부(11)를 통해 외부로부터 수신한 정보로 차량 식별 정보를 포함하며, 차량 소유자가 사전에 특정 인터넷 홈페이지에 접속하여 설정한 정보일 수 있다. 가림 좌석 정보의 설정값으로는 운전석, 보조석, 탑승석 전체 및 가림 없음이 포함될 수 있다.
창문 영역이 추출되면 마스킹 영역 결정부(153)는 요청 이미지 상의 차량 번호판을 추출하여 차량 식별 정보를 획득할 수 있으며, 획득한 차량 식별 정보에 기초하여 설정값 저장부(155)에 저장된 가림 좌석 정보 중 요청 이미지 상의 차량에 해당하는 가림 좌석 정보를 추출할 수 있다. 창문 영역은 추출한 가림 좌석 정보의 설정값에 따라 창문 영역 내에서 마스킹 영역을 결정할 수 있다.
이와 같이 본 실시예에 따른 개인정보 보호 방법 및 시스템은 차량 소유자의 사전 요청에 따라 가려지는 좌석을 다르게 하여, 단순히 개인정보를 보호하는데 그치지 않고 개인정보의 보호 단계를 차량 소유자의 요청에 따라 결정할 수 있다.
도 5를 참조하여 영역 선택부(15)에서 마스킹 영역을 결정하기까지의 과정을 살펴보면, 우선 창문 영역 추출부(151)는 인공신경망을 기반으로 요청 이미지에서 창문 영역을 추출할 수 있다(S31).
창문 영역이 추출되면, 마스킹 영역 결정부(153)는 설정값 저장부(155)에서 요청 이미지 상의 차량에 해당하는 가림 좌석 정보 설정값을 추출하고 추출한 설정값이 운전석 가림으로 설정되어 있는지 확인할 수 있다(S32).
만약, 추출한 설정값이 운전석 가림인 경우(S32-Y), 마스킹 영역 결정부(153)는 도 7에 도시된 바와 같이 창문 영역(wa) 중 운전석에 해당하는 영역을 마스킹 영역(ma)으로 결정할 수 있다(S33).
반면에, 추출한 설정값이 운전석 가림이 아닌 경우(S32-N), 마스킹 영역 결정부(153)는 추출한 설정값이 보조석 가림으로 설정되어 있는지 확인할 수 있다(S34).
만약, 추출한 설정값이 보조석 가림인 경우(S34-Y), 마스킹 영역 결정부(153)는 도 8에 도시된 바와 같이 창문 영역(wa) 중 보조석에 해당하는 영역을 마스킹 영역(ma)으로 결정할 수 있다(S35).
반면에, 추출한 설정값이 보조석 가림이 아닌 경우(S34-N), 마스킹 영역 결정부(153)는 추출한 설정값이 가림 없음으로 설정되어 있는지 확인할 수 있다(S36).
만약, 추출한 설정값이 가림 없음인 경우(S36-Y), 마스킹 영역 결정부(153)는 창문 영역(wa) 중 마스킹 영역(ma)이 존재하지 않는 것으로 결정할 수 있다(S37).
반면에, 추출한 설정값이 가림 없음이 아닌 경우(S36-N), 마스킹 영역 결정부(153)는 창문 영역(wa) 전체를 마스킹 영역(ma)으로 결정할 수 있다(S38). 이와 같이 추출한 설정값이 운전석 가림, 보조석 가림, 가림 없음이 모두 아닌 경우는 설정값이 탑승석 전체 가림이거나 또는 기저장된 설정값이 없는 경우일 수 있다.
도 9는 본 발명의 일 실시예에 따른 마스킹 처리부를 보다 구체적으로 도시한 기능 블록도이고, 도 10의 (a)와 (b)는 본 발명의 일 실시예에 따른 마스킹 처리부의 마스킹 처리 과정을 도시한 도면이다. 그리고 도 11은 본 발명의 일 실시예에 따른 대체 이미지 일례를 도시한 도면이다.
도 9를 참조하면, 마스킹 처리부(16)는 요청 이미지에서 마스킹 영역을 삭제하는 마스킹 영역 삭제부(161)와, 삭제한 마스킹 영역에 대체 이미지를 삽입하는 대체 이미지 삽입부(163), 그리고 대체 이미지를 생성하는 대체 이미지 생성부(165)를 포함하여 구성될 수 있다.
마스킹 영역 삭제부(161)는 도 10의 (a)에 도시된 바와 같이 요청 이미지(i1) 상에서 마스킹 영역 선택부(15)에서 선택한 마스킹 영역(ma)에 해당하는 부분을 삭제할 수 있다. 그리고 마스킹 영역(ma)에 해당하는 부분이 삭제되면, 마스킹 영역의 삭제된 이미지를 대신하여 대체 이미지 삽입부(163)가 대체 이미지를 마스킹 영역(ma)에 삽입하여, 마스킹 처리가 완료된 마스킹 이미지(i2)를 생성할 수 있다. 이때, 마스킹 영역에 삽입되는 대체 이미지는 대체 이미지 생성부(165)에서 생성할 수 있다. 대체 이미지에서 생성하는 대체 이미지로는 단순히 검은색의 이미지일 수 있으며, 이 경우 도 10의 (b)에 도시된 바와 같이 마스킹 이미지(i2)는 마스킹 영역(ma)이 검게 칠해진 상태일 수 있다. 이와 같이 마스킹 처리 과정에서 마스킹 영역의 이미지를 삭제한 후 대체 이미지를 삽입하는 이유는 조회 요청하여 제공한 마스킹 이미지에서 마스킹 영역에 삽입 처리된(마스킹된) 이미지를 제거하여 탑승객의 개인 정보를 획득하는 것을 차단하기 위함이다.
바람직하게, 대체 이미지 생성부(165)는 마스킹 영역 결정부(153)에서 추출한 차량 번호판 이미지를 이용하여 대체 이미지를 생성할 수 있다. 구체적으로, 대체 이미지 생성부(165)는 차량 번호판 이미지를 확대하여 대체 이미지를 생성하거나 또는 차량 번호판 이미지에서 추출한 차량 번호가 포함되는 대체 이미지를 생성할 수 있다. 이 경우 대체 이미지 삽입부(163)에서 대체 이미지 삽입이 완료된 마스킹 이미지(i2)는 도 11에 도시된 바와 같이 마스킹 영역(ma)에 차량 번호가 확대 출력될 수 있다. 따라서, 요청자가 요청 이미지를 확인시에 차량 번호를 별도로 확대하는 과정 없이도 용이하게 확인할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 촬영 장치
3: 요청 단말기
5: 네트워크
10: 서버
11: 통신부
13: 이미지 저장부
14: 이미지 선택부
15: 영역 선택부
151: 창문 영역 추출부
153: 마스킹 영역 결정부
155: 설정값 저장부
16: 마스킹 처리부
161: 마스킹 영역 삭제부
163: 대체 이미지 삽입부
165: 대체 이미지 생성부

Claims (9)

  1. 외부로부터 차량 이미지 조회 요청을 받은 서버가 차량 이미지 제공 시, 상기 차량 이미지의 탑승자 개인정보를 보호하는 방법에 있어서,
    저장된 차량 이미지 중 조회 요청받은 요청 이미지를 선택하는 단계;
    선택한 요청 이미지에서 인공신경망을 기반으로 하여 마스킹 영역을 선택하는 단계;
    선택한 상기 마스킹 영역을 마스킹 처리하여 마스킹 이미지를 생성하는 단계; 및
    생성한 마스킹 이미지를 조회 요청한 외부로 전송하는 단계를 포함하고,
    상기 마스킹 영역을 선택하는 단계는
    선택한 요청 이미지에서 인공신경망을 기반으로 창문 영역을 추출하는 단계;
    선택한 요청 이미지에서 차량 번호판을 추출하여 차량 식별 정보를 획득하는 단계;
    획득한 상기 차량 식별 정보에 기초하여, 차량 소유자의 요청에 따라 기설정된 가림 좌석 정보를 추출하는 단계; 및
    추출한 상기 가림 좌석 정보에 기초하여 추출한 창문 영역 내에서 상기 마스킹 영역을 결정하는 단계를 포함하며,
    상기 마스킹 이미지를 생성하는 단계는
    상기 마스킹 영역의 이미지를 삭제하는 단계;
    대체 이미지를 생성하는 단계; 및
    삭제한 이미지를 대신하여 생성한 대체 이미지를 상기 마스킹 영역에 붙이는 단계를 포함하고,
    상기 대체 이미지를 생성하는 단계는,
    상기 차량 식별 정보를 획득하는 단계에서 추출한 상기 차량 번호판을 확대하여 상기 대체 이미지를 생성하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 마스킹 영역을 결정하는 단계는
    상기 가림 좌석 정보가 운전석으로 설정된 경우 상기 창문 영역 중 운전석에 해당하는 영역을 상기 마스킹 영역으로 결정하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 방법.
  4. 제 1 항에 있어서, 상기 마스킹 영역을 결정하는 단계는
    상기 가림 좌석 정보가 보조석으로 설정된 경우 상기 창문 영역 중 보조석에 해당하는 영역을 상기 마스킹 영역으로 결정하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 방법.
  5. 제 1 항에 있어서, 상기 마스킹 영역을 결정하는 단계는
    상기 가림 좌석 정보가 전체좌석으로 설정되거나 또는 미설정된 경우 상기 창문 영역 전체를 상기 마스킹 영역으로 결정하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 방법.
  6. 제 1 항에 있어서, 상기 마스킹 영역을 결정하는 단계는
    상기 가림 좌석 정보가 가림 없음으로 설정된 경우 상기 마스킹 영역이 존재 않는 것으로 결정하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 방법.
  7. 삭제
  8. 삭제
  9. 외부로부터 차량 이미지 조회 요청을 받아 차량 이미지 제공시, 상기 차량 이미지의 탑승자 개인정보를 보호하는 시스템에 있어서,
    저장된 차량 이미지 중 조회 요청받은 요청 이미지를 선택하고, 선택한 요청 이미지에서 인공신경망을 기반으로 하여 마스킹 영역을 선택하며, 선택한 상기 마스킹 영역을 마스킹 처리하여 생성한 마스킹 이미지를 조회 요청한 외부로 전송하는 서버를 포함하고,
    상기 서버는
    선택한 요청 이미지에서 인공신경망을 기반으로 창문 영역을 추출하는 창문 영역 추출부;
    선택한 요청 이미지에서 차량 번호판을 추출하여 차량 식별 정보를 획득하고, 획득한 상기 차량 식별 정보에 기초하여, 차량 소유자의 요청에 따라 기설정된 가림 좌석 정보를 추출하며, 추출한 상기 가림 좌석 정보에 기초하여 추출한 창문 영역 내에서 상기 마스킹 영역을 결정하는 마스킹 영역 결정부;
    상기 마스킹 영역의 이미지를 삭제하는 마스킹 영역 삭제부;
    대체 이미지를 생성하는 대체 이미지 생성부; 및
    삭제한 이미지를 대신하여 상기 대체 이미지 생성부에서 생성한 대체 이미지를 상기 마스킹 영역에 삽입하는 대체 이미지 삽입부를 포함하며,
    상기 대체 이미지 생성부는 상기 마스킹 영역 결정부에서 추출한 상기 차량 번호판을 확대하여 상기 대체 이미지를 생성하는 것을 특징으로 하는 차량 이미지 탑승자 개인정보 보호 시스템.




KR1020210154453A 2021-11-11 2021-11-11 차량 이미지 탑승자 개인정보 보호 방법 및 시스템 KR102553801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210154453A KR102553801B1 (ko) 2021-11-11 2021-11-11 차량 이미지 탑승자 개인정보 보호 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154453A KR102553801B1 (ko) 2021-11-11 2021-11-11 차량 이미지 탑승자 개인정보 보호 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20230068553A KR20230068553A (ko) 2023-05-18
KR102553801B1 true KR102553801B1 (ko) 2023-07-12

Family

ID=86545637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154453A KR102553801B1 (ko) 2021-11-11 2021-11-11 차량 이미지 탑승자 개인정보 보호 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102553801B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225775A1 (ja) * 2017-06-06 2018-12-13 アイテック株式会社 画像マスキング装置及び画像マスキング方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711030B1 (ko) 2005-09-12 2007-04-24 (주)베이온 번호판 인식을 이용한 차량정보 관리시스템 및 그 방법
KR101045300B1 (ko) * 2009-01-22 2011-06-29 렉스젠(주) 개인정보 보호를 위한 차량 촬영 시스템 및 그 제어방법
KR101890589B1 (ko) * 2012-03-12 2018-09-28 한화에어로스페이스 주식회사 사생활 보호 영상 처리 시스템 및 방법
KR102313554B1 (ko) * 2019-11-28 2021-10-18 한국전자기술연구원 개인정보 비식별화 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225775A1 (ja) * 2017-06-06 2018-12-13 アイテック株式会社 画像マスキング装置及び画像マスキング方法

Also Published As

Publication number Publication date
KR20230068553A (ko) 2023-05-18

Similar Documents

Publication Publication Date Title
US8094887B2 (en) Method and system for analyzing image identifications to identify an entity
ES2364056T3 (es) Sistema automatizado de monitorización y comunicación de infracciones de tráfico.
CN106971552B (zh) 套牌现象检测方法和系统
KR101735684B1 (ko) 차량용 영상 기록 및 제공 장치와 이를 이용한 지역 정보 획득 장치 및 방법
CN108806272B (zh) 一种提醒多辆机动车车主违法停车行为的方法及装置
CN109005222B (zh) 一种城市管理系统及方法
KR101057882B1 (ko) 휴대용 불법단속 및 교통위반단속 시스템
CN110386108A (zh) 基于人脸识别的车载应用权限控制方法、系统及其设备
CN108932851B (zh) 一种记录机动车违法停车行为的方法及装置
US11735043B2 (en) Systems and methods for fraud prevention based on video analytics
KR102193279B1 (ko) Ｑｒ 코드 인식을 통한 부정주차 판별 시스템
KR101777389B1 (ko) 인지 정보 기반 인증 장치 및 방법
CN106652477A (zh) 一种违章识别的方法及装置
CN110929589A (zh) 车辆特征识别的方法、设备、计算机设备和存储介质
CN112085964A (zh) 车辆停车位置引导系统及方法
US10607100B2 (en) Device for recognizing vehicle license plate number and method therefor
KR101066081B1 (ko) 차량 탑재형 스마트 정보 판독 시스템 및 방법
CN106571040A (zh) 一种可疑车辆确认方法及设备
KR102553801B1 (ko) 차량 이미지 탑승자 개인정보 보호 방법 및 시스템
US7333632B2 (en) Image authenticating methods
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN106611500A (zh) 一种违规取证与处罚装置、方法及违规管理系统
CN108932853B (zh) 一种记录多台机动车违法停车行为的方法及装置
KR100770157B1 (ko) 이동형 차량번호 판독 및 증거수집 시스템
DE102020109591A1 (de) Biometrisches fahrzeugsystem mit automatisch erneuerten ablaufperioden zur aufbewahrung von daten

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right